홈페이지가 검색에 노출되지 않게 하는 방법

robots.txt 파일은 웹을 수집하는 검색엔진 로봇이 사이트에 접근하는것을 제한하는 파일입니다. 검색로봇은 사이트의 페이지에 접근하기 전에 페이지에 대한 엑세스를 차단하는 robots.txt 파일이 있는지 여부를 확인합니다.

때문에 사용자가 검색엔진 로봇을 차단하거나 필요한 부분만을 검색엔진에 나타나게 할 수 있습니다. 이번장에서는 robots.txt의 사용방법에대해 알아보겠습니다. 

▶ 운영모드의 환경설정 SEO설정의 기타에서 다음 아래의 유형에 따라 코드를 robots.txt에 입력합니다.

검색엔진에서 사이트를 삭제하고 향후 어떤 검색봇도 접근하지 못하게 하려면 robots.txt 파일에 다음 내용을 입력합니다. 
User-agent: *
Disallow: /

robots.txt 파일을 사용하여 페이지 차단하기

예를 들어, 검색봇이 특정 디렉토리(예: board )의 모든 페이지를 검색하지 않도록 차단하려면 다음과 같이robots.txt를 사용 하시면 됩니다.
User-agent: *
Disallow: /board/

Googlebot이 특정 형식(예: .gif)의 파일을 모두 검색하지 않도록 차단하려면 다음과 같이 robots.txt를 사용 하시면 됩니다.
User-Agent: Googlebot
Disallow: /*.gif$

Googlebot이 ‘?’가 포함된 URL 즉, 도메인 이름으로 시작되거나 임의의 문자열 또는 물음표로 구성된URL 검색을 차단하려면 다음과 같이 하시면 됩니다. 
User-agent: Googlebot
Disallow: /*?

전체 웹사아트를 검색엔진이 색인하도록 허용하고자 할 때에는 다음과 같이robots.txt 파일 내용을 추가합니다.
User-agent: *
Disallow:
* 또 다른 해결 방법으로는 단순하게 robots.txt 에 내용을 제거 하는 것입니다.

♠ Tip

1. 다른 방법으로 검색을 완전히 막는 방법으로 해더코드에 다음과 같은 소스코드를 입력하세요.

2. 더 자세한 설명은구글 웹마스터 도구 https://support.google.com/webmasters/answer/6062596?hl=ko 참고하세요