웹 브라우저로 실제 사용자가 웹 뷰어에 접근하는지 아니면 웹 크롤러(Crawler) 또는 봇이 웹 뷰어에 접근하는지를 구분할 필요가 있습니다. 쓰리래빗츠 북은 HTTP 요청 헤더의 User-Agent 값으로 이를 구분합니다.

웹 크롤러 인지 아닌지가 다음에 영향을 줍니다.

• <통계 | 방문 통계> 메뉴에서 봇 여부

• 문서의 “외부 검색 엔진 접근을 막습니다.” 옵션을 선택했을 때 검색 엔진 판단 기준

• 검색 엔진에 최적화된 웹 뷰어 HTML 제공 여부

웹 크롤러 패턴 변경

쓰리래빗츠 북은 잘 알려진 봇의 User-Agent 값을 제공합니다. 필요하다면 다음 순서로 추가합니다.

1. <환경 설정 | 웹 크롤러> 메뉴로 이동합니다.

2. <웹 크롤러 패턴 변경> 링크를 클릭합니다.

3. “웹 크롤러 패턴”을 입력합니다.

4. <저장> 버튼을 클릭합니다.

웹 크롤러 여부 테스트

특정 User-Agent 값이 웹 크롤러인지 테스트할 수 있습니다.

1. <환경 설정 | 웹 크롤러> 메뉴로 이동합니다.

2. <1테스트> 링크를 클릭합니다.

3. 2User-Agent 값을 입력한 후 Enter 키를 누릅니다.