robots.txt 생성기: 크롤러 허용·차단 규칙 만들기

User-agent와 공개하지 않을 경로를 구분해 입력합니다

모든 지원 크롤러에 같은 규칙을 적용하려면 *를 쓰고, 관리자 화면처럼 크롤링할 필요가 없는 경로를 Disallow에 입력합니다. 사이트맵을 만들었다면 XML 사이트맵 생성기 결과의 절대 주소를 Sitemap 줄에 추가할 수 있습니다.

robots.txt는 보안·접근 권한·확실한 색인 차단 장치가 아닙니다

robots.txt는 규칙을 따르는 크롤러에 접근 요청을 전달하는 공개 파일입니다. 민감한 주소를 숨기거나 비밀번호처럼 보호하지 못하고, 차단한 URL도 외부 링크를 통해 주소만 검색 결과에 나타날 수 있습니다. 비공개 정보는 인증으로 보호하고 색인 제외 목적에는 검색엔진이 지원하는 별도 방법을 검토하세요.

자주 묻는 질문

robots.txt로 검색 노출을 완전히 막을 수 있나요?

아니요. 크롤링을 막아도 주소가 다른 경로에서 발견되면 URL만 검색 결과에 나타날 수 있습니다.

비밀 페이지를 robots.txt로 보호해도 되나요?

안 됩니다. 파일 내용과 경로가 공개되므로 민감한 페이지는 로그인과 접근 권한으로 보호해야 합니다.

robots.txt 파일은 어디에 올려야 하나요?

해당 호스트의 최상위 경로에 robots.txt라는 이름으로 제공해야 하며 하위 폴더 파일은 전체 사이트 규칙이 아닙니다.