robots.txt 

https://support.google.com/webmasters/answer/6062596?hl=ko&ref_topic=6061961

User-agent: Googlebot

Disallow: /nogooglebot/

User-agent: *

Allow: /

Sitemap: http://www.example.com/sitemap.xml

->해석 : 구글봇이 http://example.com/nogooglebot/ 폴더 또는 이 폴더의 하위 디렉토리를 크롤링 못하게 하였다.

* 전체 봇이 액세스 할 수 있다. 기본적으로 전체 액세스가 허용된다고 가정하기 때문에 생략가능 하다.

사이트의 사이트 맵은 http://www.example.com/sitemap.xml에 있다.