컨텐츠로 건너뛰기

앜쓰고

IT 엔지니어의 기록 — 인프라, 자동화

  • DevTools
    • Docker & K8s
    • Git
    • Mac
    • Vagrant
  • NetTools
    • Mikrotik
    • WAF
  • 프로그래밍
    • Python
  • 프로젝트
    • AI
    • Auto-Trading
    • Blog
  • 소개

robots.txt

구글 크롤러 로그로 구분하기 — Googlebot·Mediapartners-Google·AdsBot 의 user-agent·IP·robots.txt

Blog2026년 11월 02일2026년 10월 21일 22분
구글 크롤러 로그로 구분하기

Googlebot·Mediapartners-Google·AdsBot·Display-Ads-Bot 은 robots.txt 규칙과 IP 대역이 다르다. 로그에서 구글 크롤러를 찾고 IP 로 진짜인지 확인하는 방법.

태그 Blog PlatformCloudflareMediapartners-Googlenginxrobots.txtSEO
앜쓰고

IT 엔지니어의 기록 — 인프라, 자동화

글과 코드는 그대로 따라 해 보고 막힌 곳을 적은 기록입니다. 환경이 다르면 결과도 다를 수 있습니다.

분류

  • DevTools
  • NetTools
  • 프로그래밍
  • 프로젝트

사이트

  • 소개
  • 연락
  • 개인정보처리방침
© 2026 앜쓰고

로그인

초대된 계정만 로그인할 수 있습니다.

Google로 로그인
Esc