さて、ローカルLLMとしてBonsaiをProxmoxに入れてみました。
Bonsai-1.7Bにしてみましたが、結果....失敗です(汗)
ものすごく遅いです。Helloだけで１分以上応答なしです。
モデルのロードも時間がかかります。
ということで実用に耐えない結果なんです。
う〜ん駄目かなあ。GPUがないのでCPUのAVXとかいう命令を使うように
ollama.cppをコンパイルしてみたのですが、効果なし。
AI的にはVMの設定が悪いようなんですが、改善しません。
量子化1bitというモデルですが、動かん。
これだとOCIのPodmanで立てているGemmaのほうが全然いい。
VMにしてしまっていてLXCでないのもあるのかなあ。
GPUもいちおうNVidiaでないがあるのでパススルーしてなんとか
ならんかなあ。
ということでとりあえずは失敗しています。
いろいろ設定を変えてチャレンジしますか。
探した中ではラズパイでBonsaiやっている記事もあるので、
それより速いCPUですので、何とかProxmoxで動かしたいですよね。
まあ最初からうまくいかない話ですので、がんばります。
OCIのAmpereでollama.cppコンパイルという手もあるけどねえ。
ではでは。
