NightShadow의 블로그

https://huggingface.co/

huggingface 는 AI 분야의 github 같은 곳이라고 합니다. 이곳에는 발표되는 여러 AI 모델뿐 아니라 그 AI 를 특정한 목적으로 추가 학습을 시키는 파인튜닝 모델들도 올라옵니다. 

그중에 외국에서 발표한 모델을 한국어를 더 잘하도록 파인튜닝한 모델을 한번 받아 봤습니다. 

나름 검색해 보니 Bllossom 과 yanolja 에서 발표하는 모델이 많이 거론이 되더군요.

일단 제가 현재 사용하고 있는 ollama 에서는 gguf 형식의 파일만 바로 사용할 수 있기 때문에 gguf 파일이 있느냐가 중요합니다. 

yanolja 에서 최근 발표한 모델은 gemma3 를 파인튜닝한 모델인데 4b 버전은 gguf 파일을 구할 수가 없었고, 12b 는 속도 문제가 있기도 하기 때문에....

우선 Bllossom 의 LLama 3.2 를 파인튜닝한 버전을 받아보기로 했습니다. 원래 gguf 파일은 제작하시는 분들이 직접 만들어 주시는 경우도 있고 다른분이 만들어 주시는 경우도 있는데 없는 경우도 종종 있습니다. 그런데 LLama 3.2 3B 의 파인튜닝버전은 제작하시는 분들이 직접 올려주신 gguf 파일이 있더군요. 

https://huggingface.co/Bllossom

여기 가시면 여러 모델들이 올라와 있는데 그중 제가 다운받아볼 모델은...

https://huggingface.co/Bllossom/llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M

요겁니다. 3B 는 너무 낮은 성능의 모델 같기도 한데...일단 제가 잠깐 돌려보니 속도는 빠릅니다. ^^; 역시 3B 라 부족함은 있고요. 

위 링크로 가 보시면 다음과 같은 화면이 나오는데요.

표시해 놓은 "Use this model" 을 클릭해 보면 쭉 목록이 나오는데 저는 ollama 에 사용할거라 ollama 를 선택합니다. 그러면 다음과 같은 메시지를 보여줍니다.

옆에 copy 가 보이는데 버튼을 누르면 복사가 되고요. 저걸 터미널을 열어서 그냥 복사해 넣으면 저 모델을 다운로드 받고 실행해 줍니다. 

그러면 이렇게 잘 사용하면 되는데 한가지 문제가 있죠. 터미널에서 저 모델의 이름을 다 넣기엔 너무 이름이 깁니다. 

이걸 해결하려면 cp 와 rm 을 이용해야 합니다. 

ollama cp hf.co/Bllossom/llama-3.2-korean-Bllossom-3B-gguf-Q4_K_M:Q4_K_M llama32k

이렇게 입력하면 llama32k 라는 이름으로 모델이 하나 복사가 되어 추가 됩니다. 엄밀하게는 하나 더 복사된게 아니고요. alias 라고 하는데 별칭이 하나 더 추가 된겁니다. ollama list 입력해 보면 리스트에 llama32k 라는 모델이 하나 더 생기는데 잘보면 ID 번호는 복사본과 원본이 똑같습니다. 즉 같은 모델을 가리키는 이름을 하나 추가 한겁니다. 

그런이후에 이전 모델을 삭제합니다. 

ollama rm hf.co/Bllossom/llama-3.2-korean-Bllossom-3B-gguf-Q4_K_M:Q4_K_M

그러면 삭제되었다는 메시지가 나올거고 ollama list 해보면 새로 이름을 지어준 llama32k 만 보이고 기존의 긴 이름의 모델은 없어졌을 겁니다. 

앞으로는 ollama run llama32k 만 입력하면 해당 모델을 실행할 수 있습니다. 

>

인터넷을 검색해 보면 gguf 파일을 이용할때 대부분 modfile 을 만들어 추가를 하더군요. 그런데 grok 한테 물어보니 이렇게 그냥 해도 된다고 알려주더라고요. ^^; 

modfile 을 만드는게 좀 더 뭔가 설정을 할 수 있을지도 모르겠지만 일단은 이렇게 해도 됩니다. 

야놀자의 모델은 

https://huggingface.co/yanolja

여기서 찾으실 수 있습니다.