웹 크롤링 질문 드립니다.

매뉴얼 시스템의 내용을 파이썬을 사용하여 매뉴얼의 내용을 크롤링 하는 코드를 작성 중입니다.

아래와 같이 매뉴얼 경로를 url로 주고 requests를 통해 get을 하면 200코드는 떨어지나 매뉴얼 화면에 출력된 텍스트 내용은 가져오지 못하는 것 같습니다. (다른 사이트를 동일 코드로 실행해 보면 목차의 텍스트 등을 가지고 있습니다)
전에 전화로 문의 드렸을 때  User-Agent 를'bot' 으로 설정하고 get 해오면 된다고 하셨던 거 같은데 아래와 같이 사용하는 것이 맞는지 문의 드립니다.

def get_html_from_url(url):
    try:
        headers = {'User-Agent': 'bot'}
        # URL에서 HTML 내용 가져오기
        response = requests.get(url, headers=headers)
        # 오류가 발생하지 않았는지 확인
        response.raise_for_status()


        # BeautifulSoup를 사용하여 HTML 파싱
        soup = BeautifulSoup(response.content, 'html.parser')
        return soup
    except requests.exceptions.RequestException as e:
        print(f"Error occurred: {e}")
        return None