[인공지능 알아가기] 'Ollama'란? 오픈소스 LLM 플랫폼

챗지피티나 클로드, 딥시크와 같은 LLM을 자주 활용하다보면 오프라인 환경에서도 활용하고 싶다는 생각이 들 때가 있는데요.

그런데 LLM 초보인 저는 HuggingFace에서 다운받아서 하기에는 환경 설정부터하기 막막할 때가 있더라구요.

 

이런 경우에 여러 오픈소스 모델들을 간단한 명령어들로 실행할 수 있게 하는 아주 간단한 플랫폼이 있습니다. 

---

Ollama란?

 

Ollama는 다양한 LLM 모델을 로컬 환경에서 손쉽게 실행할 수 있게 해주는 오픈소스 플랫폼입니다.

HuggingFace나 GitHub는 오픈소스 모델을 배포하고 커뮤니티 공유에 초점을 맞추고 있는 한편, Ollama는 로컬 기반의 효율적인 모델 실행에 초점을 맞추고 있습니다. 

 

인터넷 연결 없이도 모델을 실행할 수 있어 데이터 보안성이 높으며, 복잡한 설정 없이 CLI(Command Line Interface)로 간단한 명령어 몇줄로 바로 실행이 가능합니다. 또한 개인개발자들도 활용 가능하게 경량 모델들이 제공되어 있습니다. 

 

 

---

Ollama 설치 및 실행방법 

# 아주 간단한 두 과정으로 Ollama는 실행 가능합니다. 

1. Ollama 사이트에서 Ollama 다운받기 & 설치하기
2. Terminal (Mac) / Powershell (Windows)에 들어가서 명령어 입력하기 

ollama run <model 이름>

* <model 이름>에는 원하는 모델 종류를 입력하면 됨 

 

# 이외에 간단한 Ollama 사용법은 다음과 같습니다! 

• 모델 설치: 명령어 실행 시 해당 모델이 로컬에 없으면 자동으로 다운로드됩니다.
• 설치된 모델 확인: ollama list 명령어로 로컬에 설치된 모델 목록을 확인할 수 있습니다.
• 모델 삭제: 더 이상 사용하지 않는 모델은 ollama rm [모델명]으로 삭제할 수 있습니다.

 

---

Ollama 지원 모델 목록

다음은 Ollama에서 지원하는 대표적인 모델들의 목록과 실행 명령어입니다. 간단한 명령어를 로컬환경에서 실행가능하다는 것이 놀랍습니다. 최근에 이슈가 되었던 DeepSeek-R1도 Ollama에서 지원되고 있습니다. 

Llama 3	Meta에서 개발한 최신 LLM 시리즈로, 다양한 자연어 처리 작업에 활용됩니다.	ollama run llama3
Mistral	Mistral AI에서 공개한 70억 파라미터 모델로, 효율적인 성능을 제공합니다.	ollama run mistral
CodeLlama	코드 생성에 특화된 모델로, 프로그래밍 코드 작성 및 보완에 유용합니다.	ollama run codellama
Phi-3	Microsoft Research에서 개발한 3.8B 파라미터 모델로, 우수한 언어 이해 능력을 보입니다.	ollama run phi3
Llama 2 Uncensored	검열되지 않은 Llama 2 모델로, 보다 자유로운 응답 생성을 지원합니다.	ollama run llama2-uncensored
LLaVA	Llama와 CLIP을 결합한 멀티모달 모델로, 이미지와 텍스트를 동시에 처리할 수 있습니다.	ollama run llava
Gemma	다양한 크기의 모델(2B, 7B)로 제공되며, 자연어 이해와 생성 작업에 활용됩니다.	ollama run gemma:2b 또는 ollama run gemma:7b
Solar	10.7B 파라미터를 가진 모델로, 복잡한 언어 작업에 적합합니다.	ollama run solar
DeepSeek-R1	강화 학습 기반의 모델로 수학, 코드, 추론 작업에서 뛰어난 성능을 발휘합니다.	ollama run deepseek-r1

 

이 외의 모델들에 대한 내용과 업데이트 사항을 알고 싶으면 Ollama 홈페이지의 모델목록을 확인해봐도 좋을 것 같습니다!

---

이렇게 Ollama를 사용하면 외부 서버에 의존하지 않고, 내 컴퓨터에서도 간단하게 LLM을 실행할 수 있습니다.

저는 간단한 프롬프트로 가벼운 Llama 3 모델을 활용해 심심할 때 영어로 대화하는 용도로 사용하고 있는데요.

 

 

여러분도 Ollama를 유용하게 활용하시길 바랍니다!

추가로 궁금한 점이나 나누고 싶은 이야기가 있다면 언제든지 댓글로 남겨주세요! 😊