웹 브라우저로 실제 사용자가 웹 뷰어에 접근하는지 아니면 웹 크롤러(Crawler) 또는 봇이 웹 뷰어에 접근하는지를 구분할 필요가 있습니다. 매뉴얼웍스는 HTTP 요청 헤더의 User-Agent 값으로 이를 구분합니다.

웹 크롤러 인지 아닌지가 다음에 영향을 줍니다.

• <통계 | 방문 통계> 메뉴에서 봇 여부

• 문서의 “외부 검색 엔진 접근을 막습니다.” 옵션을 선택했을 때 검색 엔진 판단 기준

• 검색 엔진에 최적화된 웹 뷰어 HTML 제공 여부

AI 수집기

이용자가 AI에 문서 주소를 붙여넣으면 그 자리에서 페이지를 가져오는 수집기가 접근합니다. 이런 수집기는 이름에 bot이 없지만 매뉴얼웍스가 기본으로 인식하므로 따로 설정하지 않아도 됩니다.

• ChatGPT-User, Claude-User, Perplexity-User

• Google-Agent, GoogleAgent-URLContext, Google-GeminiNotebook, GoogleOther

• meta-externalagent, meta-externalfetcher

• MistralAI-User, MistralAI-Index, MistralAI-Training

• Grok이 사용하는 헤드리스 크롬(HeadlessChrome)

AI는 아니지만 이용자 요청에 따라 페이지를 가져오는 Google-InspectionTool, Google-Read-Aloud, Google-Pinpoint, GoogleMessages, FeedFetcher-Google도 인식합니다.

문서에서 “외부 검색 엔진 접근을 막습니다.” 옵션을 선택하면 이 수집기도 본문을 가져가지 못합니다. AI가 문서를 읽을 수 있게 하려면 이 옵션을 선택하지 않습니다.

웹 크롤러 패턴 변경

매뉴얼웍스는 잘 알려진 봇의 User-Agent 값을 제공합니다. 필요하다면 다음 순서로 추가합니다. 입력한 패턴은 소문자로 바꾸어 비교하므로 대소문자를 구분하지 않습니다.

1. <관리 | 환경 설정 | 웹 크롤러> 메뉴로 이동합니다.

2. <웹 크롤러 패턴 변경> 링크를 클릭합니다.

3. "웹 크롤러 패턴"을 입력합니다.

4. 저장 버튼을 클릭합니다.

웹 크롤러 여부 테스트

특정 User-Agent 값이 웹 크롤러인지 테스트할 수 있습니다.

1. <환경 설정 | 웹 크롤러> 메뉴로 이동합니다.

2. 1User-Agent 값을 입력합니다.

3. 2실행 버튼을 클릭합니다.