17.웹 크롤러

PDF 내려받기

웹 브라우저로 실제 사용자가 웹 뷰어에 접근하는지 아니면 웹 크롤러(Crawler) 또는 봇이 웹 뷰어에 접근하는지를 구분할 필요가 있습니다. 쓰리래빗츠 북은 HTTP 요청 헤더의 User-Agent 값으로 이를 구분합니다.

웹 크롤러 인지 아닌지가 다음에 영향을 줍니다.

17.1웹 크롤러 패턴 변경

쓰리래빗츠 북은 잘 알려진 봇의 User-Agent 값을 제공합니다. 필요하다면 다음 순서로 추가합니다.

  1. <환경 설정 | 웹 크롤러> 메뉴로 이동합니다.

  2. <웹 크롤러 패턴 변경> 링크를 클릭합니다.

  3. “웹 크롤러 패턴”을 입력합니다.

  4. <저장> 버튼을 클릭합니다.

17.2웹 크롤러 여부 테스트

특정 User-Agent 값이 웹 크롤러인지 테스트할 수 있습니다.

  1. <환경 설정 | 웹 크롤러> 메뉴로 이동합니다.

  2. <1테스트> 링크를 클릭합니다.

  3. 2User-Agent 값을 입력한 후 Enter 키를 누릅니다.