라마 3.2 사용하기(올라마 Ollama)

올라마(https://ollama.com/)에서 다운로드를 받습니다. macOS, Linux, Windows에서 모두 사용 가능합니다.

윈도에서 사용할 때에는 cmd 창에서 사용가능합니다.

다운로드 받고 설치를 하면 다음과 같이 배경에서 항시 실행하고 있습니다.

올라마 실행중

찾기에서 명령프롬프트(cmd)를 검색하여 실행합니다.

 

명령프롬프트 실행

올라마 블로그(https://ollama.com/blog/llama3.2)에서 설치 및 사용 방법에 대해 확인할 수 있습니다.

다음 명령어를 통해서 라마3.2가 다운로드, 설치, 실행이 됩니다. 

ollama run llama3.2

기본적으로 3B 모델이 설치되고, 만약 1B 모델을 원한다면 

ollama run llama3.2:1b

:1b를 붙여서 실행해주면 됩니다. 아쉽게도 한글은 지원되지 않아서 멍청한 답을 하고 있는 것을 확인할 수 있습니다.

올라마를 통해서 라마3.2 3B를 실행한 화면

말그대로 아주 가벼운 모델이므로 모바일이나 엣지 디바이스에서도 작동하여 간단한 인공지능 모델을 라즈베리 파이에 올려 사용할 수도 있습니다.