robots.txt 는 두부플러스에서 어떻게 설정하나요?

robots.txt를 사용하여 검색로봇이 방문할 수 있도록 허용해야 합니다.

모든 검색엔진의 로봇에 대하여 접근 가능하게 설정하려면,

두부플러스에서는 [환경설정> 사이트관리> SEO/SNS공유설정 – 기타] 에서 설정하실 수 있습니다.

robots.txt에 해당 내용을 넣어 적절하게 사용하시기 바랍니다.

네이버 웹마스터 가이드 : https://searchadvisor.naver.com/guide/seo-basic-create

- User-agent : 다음의 규칙이 적용되는 로봇의 이름을 뜻합니다.

- Disallow : 차단할 경로 -> admin 페이지는 로봇에 배제하시어도 됩니다.

- Allow : 차단되지 않은 경로 -> 페이지 접근이 가능하다는 뜻입니다.

1. 두부플러스 內 작성된 내용  : admin 페이지만 접근할 수 없다.

User-agent: *

Disallow: /admin/

2. 네이버 內 모든 검색엔진이 로봇에 대하여 접근이 가능하게 설정

User-agent: *

allow: /

3. 네이버 검색로못만 접근 가능하게 설정

User-agent: Yeti

allow: /