Robots.txt 는, 웹로버트(로봇) 페이지 정의

웹로보트(Web Robots )는  웹페이지들을 자동으로 돌아 다니면서 웹속에있는 정보들을 색인해서 검색엔진에서 이용 하거나, 웹페이지 속에 있는 이메일을 주소를 얻어내어서 스팸메일로 활용하는 역할을 하는 프로그램이다.
따라서 원치 않는 정보가 검색엔진이나  스패머들에게 공개될 수 있는데, 이를 방지하기 위하여 홈페이지 루트(root)에 robots.txt를 위치 시켜서 공개되지 않아야 할 부분을 정할 수있다.

http://www.citybell.com/robots.txt  
---- robots.txt --- 내용  
User-agent: *    
Disallow: /
뜻은 "User-agent: *" 모든 웹로보트 robots)들에게 허용 .
뜻은  "Disallow: /"      웹로보트 들은 /(루트) 가 방문 허용되지 않는다 , 즉 이 사이트 전체가 금지됨.

--------------- sample ---------
User-agent: *
Disallow: /cgi-bin/    <-- 금지되는 주소  즉) http://www.citybell.com/cgi-bin/  자료수집 금지할것
Disallow: /mypage/   <-- 금지되는 주소  즉) http://ww.citybell.com/mypage/ 자료수집 금지 할것
좀더 자세한 정보는

http://www.robotstxt.org/
사이트를 참고한다.

관련된 글: Word 2007로 TISTORY 블로그 포스팅하기
관련된 글: Sitemap.xml(사이트맵) 홈페이지 인덱싱하기(1)