검색엔진의 수집 로봇(검색엔진 크롤러)를 위한 robots.txt 파일은 웹 표준의 하나로, 모든 웹 사이트 루트 폴더에 위치해야 한다. 이 파일은 검색엔진 로봇에 웹사이트의 사이트맵 위치, 접근 가능 파일과 가능하지 않은 파일 등의 정보를 알려준다. 이를 통해 관리자가 직접 수집이 되길 원하는 사이트와 그렇지 않은 사이트를 구분지을 수 있고 검색 엔진이 웹 사이트를 더 빠르고 효율적으로 수집할 수 있도록 도와준다. robots.txt 작성법 html이 아닌 일반 txt 파일로 작성한다. 사이트의 루트 디렉토리에 위치해야 한다. 도메인 주소에 /robots.txt를 입력하면 확인할 수 있다. 검색엔진 로봇명: 구글 Googlebot, 네이버 Yeti, 빙 Bingbot, 야후 Slurp 1) 모든 웹사이..