구글 크롤러 로그로 구분하기 — Googlebot·Mediapartners-Google·AdsBot 의 user-agent·IP·robots.txt
Googlebot·Mediapartners-Google·AdsBot·Display-Ads-Bot 은 robots.txt 규칙과 IP 대역이 다르다. 로그에서 구글 크롤러를 찾고 IP 로 진짜인지 확인하는 방법.
IT 엔지니어의 기록 — 인프라, 자동화
Googlebot·Mediapartners-Google·AdsBot·Display-Ads-Bot 은 robots.txt 규칙과 IP 대역이 다르다. 로그에서 구글 크롤러를 찾고 IP 로 진짜인지 확인하는 방법.