Ollama는 온프레미스(내부 서버 설치형)로 AI 모델을 운영하는 도구입니다. 한글 처리, 응답 속도, 답변 품질은 주요 AI 제공자의 모델과 차이가 있습니다. 매뉴얼웍스는 설치형 AI 모델을 검증하고 테스트할 수 있도록 Ollama를 지원합니다.
Ollama, 로컬에서 LLM 실행하기
Ollama는 컴퓨터에서 대규모 언어 모델(LLM)을 다운로드하고 실행하는 오픈소스 도구입니다. 복잡한 설정 없이 몇 가지 명령어로 DeepSeek-R1, Llama3.2 같은 LLM을 로컬 환경에 구축합니다. 인터넷 연결 없이 모델을 테스트하거나 개발할 수 있습니다. 데이터 프라이버시를 유지하는 데도 도움이 됩니다.
Ollama 설치 및 실행
Ollama 사이트에서 프로그램을 다운로드하고 설치합니다.
Ollama를 매뉴얼웍스를 설치한 서버에 함께 설치하는 것은 권장하지 않습니다.
Ollama 주요 명령어
윈도우는 PowerShell, 리눅스는 터미널에서 다음 명령어를 실행합니다. 모델 추가와 삭제도 같은 방식으로 처리합니다.
버전 확인
ollama --version
매뉴얼웍스가 지원하는 기본 모델
여러 AI 모델 중 DeepSeek와 Llama의 소형 모델을 기본으로 제공합니다. 다른 모델은 임의로 추가합니다.
유형 | AI 모델 |
|---|---|
생성형 AI 모델 | deepseek-r1:1.5b |
llama3.2:1b | |
임베딩 AI 모델 | nomic-embed-text |
모델 목록 확인하기
Ollama에 추가한 모델을 확인하려면 터미널에서 다음 명령어를 실행합니다. 처음에는 목록이 비어 있습니다.
ollama list
모델 상세 정보 확인하기
AI 모델의 상세 정보를 확인하려면 터미널에서 다음 명령어를 실행합니다.
ollama show <model>
모델 추가하기
Ollama에 모델을 추가하려면 터미널에서 다음 명령어를 실행합니다.
ollama pull <model>
Ollama가 지원하는 모델 목록은 다음에서 확인합니다.
모델 삭제하기
Ollama에서 모델을 삭제하려면 터미널에서 다음 명령어를 실행합니다.
ollama rm <model>
Ollama를 운영하기 위한 하드웨어 사양
Ollama에서 운영하는 모델에 따라 필요한 사양이 다릅니다. AI 모델을 실행하려면 CPU 또는 GPU 리소스가 충분해야 합니다. CPU만으로도 실행할 수 있습니다. GPU가 있으면 더 빠릅니다.
Ollama는 NVIDIA/AMD GPU를 자동으로 감지합니다.
Ollama에서 권장하는 RAM 요구 사항은 다음과 같습니다.
7B 모델은 최소 8 GB RAM, 13B 모델은 16 GB RAM, 33B 모델은 32 GB RAM이 필요합니다.
Ollama 시작과 정지
윈도우
Ollama를 시작하려면 PowerShell에서 다음 명령어를 실행합니다.
ollama serve
윈도우 서비스에 등록하려면 NSSM을 이용합니다.
Ollama를 정지하려면 PowerShell에서 Ctrl + C 단축키를 입력합니다.
리눅스
리눅스 터미널에서 다음 명령어를 실행합니다.
ollama serve
Ollama를 정지하려면 리눅스 터미널에서 Ctrl + C 단축키를 입력합니다. 또는 다음 명령어를 실행합니다.
pkill -f "ollama serve"
다른 컴퓨터에서 Ollama 호출하기
Ollama는 API 키 없이 접속할 수 있습니다. 기본적으로는 Ollama를 설치한 서버에서만 호출합니다. 다른 컴퓨터에서 호출하려면 추가 설정이 필요합니다. IP 등으로 접근을 제한해야 합니다.
아래 설정과 상관없이 방화벽을 통해 Ollama의 포트 11434 접근이 가능해야 합니다.
윈도우
윈도우 환경 변수에서 OLLAMA_HOST를 0.0.0.0으로 설정합니다.
윈도우 시작에서 “시스템 환경 변수 편집”을 검색한 후 클릭합니다.
“1환경 변수”를 클릭합니다.
사용자 변수 또는 시스템 변수에서 “새로 만들기”를 클릭합니다.
변수 이름과 값을 입력한 후 저장합니다.
변수 이름: OLLAMA_HOST
변수 값: 0.0.0.0
특정 서버만 접근하게 하려면 0.0.0.0 대신 해당 서버의 IP 주소를 입력합니다. 여러 서버에서 접속해야 하면 방화벽으로 제한합니다.
Ollama를 다시 시작합니다.
리눅스
다음 환경 변수를 설정한 후 Ollama를 다시 시작합니다.
export OLLAMA_HOST=0.0.0.0
특정 서버만 접근하게 하려면 0.0.0.0 대신 해당 서버의 IP 주소를 입력합니다. 여러 서버에서 접속해야 하면 방화벽으로 제한합니다.
Ollama에 HTTPS 적용하기
Ollama는 기본적으로 HTTP(포트 11434)만 지원합니다. HTTPS로 운영하려면 아파치 웹 서버나 Nginx 같은 리버스 프록시(reverse proxy)를 앞단에 둡니다.