さて、ローカルLLMをご存知でしょうか？
Chat GPTなんかを自分のPCで動かせるやつです。
インターネットに繋がなくても処理ができて、機密情報を送らないので
安全、安心で処理してもらえるのです。
これが最大のメリットですが、CPUやGPUの環境がちゃんとしていないと
動かないんだというのを実証しました。
実際にはLMStudioというアプリを落としてきます。
こいつの中にモデルをダウンロードします。
Chat GPTのOSS版のgpt-ossというのをLMStudioがお勧めしてくるので、
ダウンロードすればLocal版Chat GTPが動きます。
ただ本当にPCスペックがないと動かないです。
3D CADが動くマシンなら大丈夫かと思い試しました。結果動きました。
数年前のCADマシンだと駄目でした。
やっぱり反応はちょっと遅いです。まあ当たり前ですかね。
ちょこっと動いたのですが、やりたいのはRAGです。
PDFを読み込んでもらって質問するというやつです。
これはちょっと準備が必要らしいので、まだできていません。
この魅力はAPIサーバーになるのでLAN内で１台建てておけばOKですね。
モデルもいろいろ選択できるようでGeminiと思われるLLMもありました。
比較もできますね。
こんなに手軽にできるとは思いませんでした。
VSCODE連携でコードを解析してもらうのもありですので夢は広がります。
楽しいですね。
ではでは。
