웹크롤링 문의

책 변경에서 [외부 검색 엔진 접근을 막습니다.] 옵션을 해제하고, 크롤링을 해봐도 클롤링이 불가하던데 혹시 방법이 있을까요? 크롤링툴은 python BeautifulSoup bs4 를 사용했습니다.

공개된 문서 인가요? 일단 공개해야 접근이 가능합니다. 그리고 해당 크롤러의 UserAgent가 어떻게 되는지 확인 부탁드립니다. 

감사합니다.