AI API 호출 내역 저장

매뉴얼웍스는 AI API 호출 내역을 모두 데이터베이스에 저장합니다.

AI API 호출 내역 지우기

스케줄러로 오래된 AI API 호출 내역을 삭제합니다. 스케줄러는 매일 04:30에 실행하며, 여러 서버로 운영할 때는 주 노드에서만 실행합니다. 기본적으로 AI API 호출 내역은 90일 동안만 보관합니다. 보관 기간을 변경하려면 콘솔에서 다음 명령어를 실행합니다.

set-preference -name AI_LOG_RETENTION_PERIOD -value 365

AI 사용량 보기

<AI | AI 사용량> 메뉴에서 AI 호출 내역을 확인할 수 있습니다. 1날짜를 선택하여 일 단위로 검색할 수 있습니다.

다음을 참고합니다.

• gemini-embedding-001 AI 모델처럼 문서를 임베딩할 때 입력 토큰을 반환하지 않으면 임베딩한 글자의 길이를 입력 토큰으로 간주합니다. 입력 토큰을 반환하는 모델은 해당 AI API가 반환한 입력 토큰 값을 사용합니다.

• 문서 임베딩 작업은 출력 토큰 정보를 제공하지 않습니다.

• 챗봇에서 유사도 비교를 위해 사용자 질문을 임베딩하는 작업도 호출 내역에 저장합니다. 작업 칸에 QUERY_EMBEDDING으로 표시합니다.

• AI 어시스턴트 칼럼 값이 Test일 때는 AI 모델 테스트를 수행한 기록입니다.

• AI 모델 칼럼에는 1요청한 모델과 실제 실행된 모델을 함께 표시합니다.

목록의 주요 칸은 다음과 같습니다.

이전

이 호출을 이끈 앞선 호출의 아이디입니다. 챗봇 답변 하나를 만드는 동안 이어진 호출을 따라갈 수 있습니다.

작업

챗봇 호출의 작업 종류입니다. 질문 임베딩(QUERY_EMBEDDING), 질의 분석(QUERY_TRANSFORMATION), 후보 검색(CANDIDATE_RETRIEVAL), 도구 호출, 답변(ANSWER), 자가 교정(SELF_CORRECTION) 등을 표시합니다.

피드백

챗봇 답변에 사용자가 남긴 피드백입니다.

챗봇 흐름 보기

세션 아이디를 클릭하면 “AI 흐름” 창이 열립니다. 한 세션에서 일어난 호출을 시간 순서대로 보여 주고, 호출을 클릭하면 모델, 작업, 입력, 토큰 수, 걸린 시간과 로그 내용을 오른쪽에 보여 줍니다. 오류로 끝난 호출은 따로 표시합니다.