주말에 무엇을 하며 놀면 좋을까 생각하다가, 미니 서버를 한계까지 가동 해 보기로 했다.
chatGPT와 Gemini 모두가 버거운 시도일 것이라고 말렸으나, 그럴수록 해 보고 싶어졌다.
시키는대로 설치는 금방 했고 어렵지 않게 로그인 화면도 볼 수 있었다.
문제는 그 다음부터였는데 질문을 하면 대답을 보기까지가 너무 오래걸렸다.
간단한 질문에도 대답이 10초는 걸리는 것 같았다. 기대보다 훨씬 못 한 속도에 실망이 컸다.
GPT의 도움을 더 받아 경량화 모델도 설치 해 보고 세팅도 수정해 보고 최적화도 해 봤지만, 속도는 거의 바뀌지 않았다.
내가 잘 모르는 무슨 문제가 있는건가 싶었지만, 그게 정상이라고 GPT가 대답했다.
기분이 약간 나빴지만 CPU 로딩양을 보고 바로 수긍했다.
qwen 모델은 대답 중간중간에 한문이 계속 나왔다.
llama 모델은 영어로는 답변이 그럭저럭 잘 나오는데, 한국어로는 시간이 1.5배는 더 걸리는 것 같았다.
phi3 모델은 질문에 다른 대답만 했다.
kanana 모델은 한국에서 만들어졌지만, 가끔 영어로 대답을 한다. 한국어를 듣지만, 어떤 대답을 해야 할지를 모르는 것 같았다.
자료를 입력해서 정리하고 싶었는데, 왜 사람들이 그래픽 카드를 사려고 하는지 알 것 같은 주말이었다.
그래픽 카드가 있으면 훨씬 빠르게 진행 될 것 같긴 하다.