5. 검색 로봇에 대한 대처하기

robots.txt 의 효과적인 활용

1. robots.txt 의 효과적인 활용이란? 

robots.txt 파일은 검색엔진이  웹사이트에 접근하고 크롤링 할 수 있는 부분을 알려주어 검색 엔진의 트래픽을 조절하는데 사용됩니다. 

해서 특정 페이지가 검색 엔진의 결과에 노출되지 않길 원하는 경우, robots.txt로 제어할 수 있습니다.

웹사이트가 검색에 노출되지 않을 경우, robots.txt 설정 여부를 확인해보는 것도 도움이 됩니다.

2. robots.txt 의 효과적인 활용을 위한 권장 사항 

① 과도한 robots.txt 설정 지양 

② 민감한 컨텐츠는 보다 안전한 방법을 사용

③ 웹마스터를 위한 무료 도구 사용

3. robots.txt  설정하기 

① [운영모드> 환경설정> 사이트관리> SEO/SNS공유설정] 에서 robots.txt 을 설정합니다.