네이버 봇(Yeti)이 실제로 하는 일 — 서버 로그 전수 분석

자체 도메인 서버 로그 408건 중 Yeti 방문 17건을 전수 분석했습니다. 사이트맵을 먼저 치고, 이미지를 20초에 한 장씩 열어보고, 404를 한 번도 내지 않습니다.

무엇을 봤나

우리 도메인(ollinda.kr) 서버 로그 408건에서 봇 방문만 골라, 그중 Yeti(네이버 크롤러) 17건을 전수 분석했습니다. UA만 믿지 않고 네이버가 공개한 공식 IP 대역(36개)과 역방향 DNS로 검증한 방문만 셌습니다.

① 몸이 둘이다

텍스트 수집기(Yeti/1.1)와 렌더 수집기(Chrome/149 … Yeti/1.1)가 따로 옵니다. 렌더 수집기는 CSS와 이미지까지 실제로 그립니다 — 사람이 보는 화면 그대로 봅니다.

② 이미지는 20초에 한 장

한 세션에서 이미지 6장을 가져간 간격이 11·20·19·20·21·20초였습니다. 랜덤이 아닙니다. 사진이 22장이면 이미지 확인에만 7분이 걸린다는 뜻입니다.

③ 추측하지 않는다 — 404가 0건

Yeti·Googlebot·bingbot은 404가 한 건도 없었습니다. 같은 기간 AI 봇들은 404율이 72~99%였습니다(존재하지 않는 주소를 찍어봄). 사이트맵과 링크에 없는 페이지는 검색엔진에게 존재하지 않습니다.

④ 매 세션 사이트맵부터

4개 세션 중 3개가 /sitemap.xml을 가장 먼저 요청했습니다. 사이트맵이 진입로입니다.

⑤ 재방문은 이틀 주기

8/10 → 8/12 → 8/14. 새 글을 올려도 최대 이틀은 기다려야 한다는 뜻입니다.

네이버 블로그는 이야기가 다릅니다

블로그는 네이버 자기 플랫폼이라 밖에서 크롤링해 갈 필요가 없습니다. 그래서 블로그 글에는 ‘Yeti가 훑고 갔나’라는 질문이 성립하지 않습니다. 저희가 발행 직후 확인한 글들은 20분 이내에 이미 색인돼 있었습니다. 위 이틀 주기는 자체 홈페이지 같은 외부 도메인 이야기입니다 — 둘을 섞어 보면 오판합니다.