개인용 AI 올라마

#2338

무료로 사용가능한 나만의 챗봇을 사용해 볼 수 있는 프로그램(올라마:Ollama)이 있다는 것을 알았다. 실질적으로 현재 내가 보유하고 있는 MacBook Air(M1)는 8GB의 메모리라서 재미를 보지는 못한다. 명령어에 따라 생성 시 첫 시동 시에는 나름 속도감이 있지만, 조금만 지나면 버벅거리며 한참을 기다려야 하는 상황이 연출된다.

옵시디언에서도 관련 플러그인을 설치하고 이런저런 테스트로 글을 생성하는 과정이 재미있었지만, 메모리 한계로 버벅거리는 문제가 있어 실제로 활용은 어려울 것 같다. 저사양에서 활용해 볼 수 있는 mistral과 llama3.2를 사용해 봤는데 llama3.2는 기존 모델보다 소형화되어서인지 그나마 사용해 볼 수 있는 수준이었던 것 같다. 사용해 보면서 느낀 이래서 고사양 고사양 하는구나.. 그래도 재미있는 프로그램을 알게 되었다. 

Ollama

맥의 기본 프로그램인 Notes에서 사용가능하게 해주는 프로그램도 사용해 봤는데 나름 재미있었다. 역시 이것도 속도가 문제가 된다는 것을 알 수 있었다.

NotesOllama