LLMの無料枠の検証

さて、LLMをAPIから使っていますか？

まあチャット画面が基本です。

その後CLINEなどのコード開発で使ってみるのですが、

無料枠でどこまでいけるか対決です（笑）

現在検証している無料枠は

1. さくらのAI Engine

2. Ollama Cloud

3. Cloudflare AI Workers

ですね。

これにCloudflare AI Gatewayを挟みます。

AI Gatewayを通すと消費量がわかるので便利です。

まずはLibreChatを入れましょう。

するとGPUがないと苦しいモデルばかりが使えるようになります。

トークン消費が激しいモデルは、無料枠ではきついので

そこそこのモデルを選ぶのが長持ちします。

Kimiとか使うとあっと言う間ですが、

さくらのAI Engineだけはトークン消費でないので、Kimiを使っても

気にしないですかね。

なのでGemma4で統一してエンドポイント切替がいい気がします。

私はGemma好き（笑）

無料枠＋AI Gatewayという組み合わせは日本でやっているマイナーな

人は私くらいですかね（汗）　そんなことないか。

セルフホスト無料＋AIチャット＋LLM無料枠＋AI Gatewayになると私くらいか（笑）

マイナー道を突き進む、Pascal好きです。

そういえば、私は最近Go言語習得中ですが、Pascalの匂いがすると思って

調べるとPascalの開発者のWirth先生の思想を受けているという事実があるみたい。

そう、モジュール化やシンプルな構造はPascal由来なんですね。

納得です。

Wirth先生の思想の対局はReactですがね。

私はWirth派です。

Pascal最高！

ではでは。

Continue使ったら買収された

さて、Continue使って、BYOKしていたら、なんと買収されたそう。

ちょっと前なんですね。

おいおい、ということで、別に今のところ影響はない。

そもそもBYOKだからね。

移行先はCLINEでいいみたい。

というか、そっちがメジャーだそう。（笑）

もう～私はすぐマイナー側を引くなあ～～

とりあえず困ってないので、CLINEを入れてみます。

Cursorとかでもいいのですが、ちょっと専用エディタは違和感が.....

と言っている時点で頭堅いですね。

変換が激しい世界ですので、追いつくのが大変。

CLINEはシーラインではなくクラインだそう（汗）

そうなの

ではでは。

GPU 8GでContinueを使ってみた。

さて、GPU 8GでどこまでローカルLLMでコード修正できるか試してみました。

PCには８GのGPUがありOllamaでGemma4 E2Bが載っています。

これをVSCodeのContinueでモデル指定してコード修正をやらせてみました。

結論は単純解析はOKだがもたつくケースが多い。

回路リファクタリングは苦しい。

になりました。Gemma4E2Bですと苦しいみたい。

しようがないのでSakura AI Engineのgpt-oss-120bに変えてみました。

さすがですね。すらすら動きます。思考もなかなかスムーズでした。

結局モデル呼び出しが連続するので無料枠を消費します。

やっぱり課金しないと大規模プロジェクトは厳しいのかも。

まあだから無料枠が太っ腹に見えても消費してしまい、課金だよね

となるのですかね。

まあ、こじんまりしたものなら十分ですので、仕事でがっつりはローカルで

我慢か課金かになりますな。（まあ当たり前の結論か）

でも試して納得するのは、非常に勉強になります。

身を持って体験は代えがたい。

Cursorいいですね。とりあえず私はこの程度から出発です。

リファクタリング提案してくれるのですが、怖くてAcceptを押せない（笑)

言語をしっかり理解しないと動かなくなりますな。

まあGemma4E2BなんでE4Bが動くはずなのでそっちと

Gemma4にFableの知能を入れた蒸留モデルでコーダー専用というのが

あるらしい。8Gに乗るのでこれを試したいです。

割り切るとどこまでいけるのかが楽しみです。

ではでは。

Teraxの紹介(VSCODEより快適？)

さて、noteのほうで紹介してくれていたTeraxを私も試してみました。 

何これ？ですがまあVSCODEでファイル開くのをもっとシンプルにしたものです。

起動は爆速、AIウインドウが組み込まれていてContinueいれなくても同等になりますね。

無駄がない。

MENUは英語ですが、シンプルなのであまり困らないでしょう。

terax.app

少し試しましたが、シェルとAIとファイルブラウザがいい感じです。

コンパイルはPowerShellでいけますが、SSHもできるみたい。

なのでリモートのファイルの開発を手元でできてビルドですが

便利なものはないので自分でシェルを叩きますが、これがいいですね。

２０年もシェル叩いている身からすれば、「これだよ！」的な感動です。

Goはビルドが速いので向いていると思います。

まだPowerShellしか使っていませんが、SSHでも試してみます。

日本では知名度低ですが、刺さる人には刺さります。

AIウインドが別画面にしたいですが、まだできないみたい。

使い方は手探りでGeminiに聞いていますが、Ollama使ってGemma4E2B

でやってますが、リファクタリングはしてくれそうなので、とりあえず

Codexとか使えない私（笑）なので、これでいいです。

説明より触ってみてくれれば納得かと。

玄人好みの一品ですな。

ではでは。

さくらでGO

さて、さくらでGOです。（電車でGOみたい）

レンタルサーバーなんですが、ホームページを借りるだけでは

勿体ないです。

ストレージを結構もらえます。ホームページの容量はたかがしれていますので

残りを遊ばせておくのはもったいない。

なんですが、公式アプリはちょっと役不足なんです。

そこでむりやりNextcloudをいれちゃいました。

ストレージサーバーとして使うには設定が大変ですが。

まあレンタルサーバーのバックエンドといえばPHPですね。

キラーアプリのWordpressを動かす為ですね。

WebサーバーはApacheですので　Apache+PHPが王道パターンです。

それだけでは普通なので、いろいろ調べたらGoが入っていることが

判明。SSHが使えるので、シェルでみてみると入っていました。

go versionで確認できます。　

おお〜いいね。ということで使い倒します。

コンパイルは爆速です。GoでCGIやGoでCron起動ができます。

Goってほんと移植性がいいですね。クロスコンパイルもできる。

さくらはFreeBSDなんですね。心配したが問題なし。

Daemonは作れないが面白いことできそうです。

言語的にはC+Pascalなんです。

var とか :=　もあるしね。習得は簡単。

ライブラリの使い方を覚えればPythonよりいいかも。

ゴルーチンってなんだろとかありましたが、まあ面白い。

結局私はコンパイラが好きです。

Rustも気になりますが、やはり敷居は高め。

スクリプト言語が流行っていたが、コンパイラが復権してきてうれしいかぎり。

実行するまでわからない言語より、事前にわかるコンパイラがいいのです。

もっとGoを深く学んでいきます。

ではでは

備忘録：AnythingLLMを立ち上げ

さて、AnythingLLMを導入しました。

Proxmox上です。（OCIじゃないですよ）

一日時間を溶かしたので、備忘録で書いておきます。

Ubuntu 24.04 (Proxmox VM)です。

Podmanで立ち上げ。

AnythingLLMはシングルユーザーで立ち上がります。

それを設定でマルチユーザーボタンをONにすることで、

ユーザー管理ができるようになります。

まあ、これは自然な流れでできるのですが、

だいぶ設定できて、別端末でログインしようとしたら、

ユーザー名、パスワードが認証されない。（涙）

なんで〜なんです。内部DBのSQLiteが壊れたかと思いました。

詰んだので、DBを削除してみると初期状態で立ち上がりました。

私のせいかなあと思っていたが、２度目で同じことすると

また認証されなくなった。

何かがおかしいぞ。ということでLogを見ました。

はい、JWT_SECRETがセットされていないよ〜というエラーです。

そんなの知らんがな。

ということでdocker-compose.ymlに

環境変数でJWT_SECRETを適当な文字でセットして起動すればOK

というオチでした。　公式にも書いてなく、マルチユーザーモードを

使う人だけ陥る罠でした。

小さくサンプルには書いてあるらしい。

これDocker歴長くないと切り抜けられないなあ。（笑）

ということでマルチユーザーで起動したので、思惑どおりの

動きになりました。

ローカルLLMは Gemma4E2Bとbge-mです。

強力な推論はさくらのAI Engineに振ります。（間はCloudflare AI Gatewayを通す）

さくらには Gemma4 31Bがあります。いいですね。

もう１つgpt-oss-120Bもあります。

他にもありますが、これでいきます。

AI Gateway入っても問題ないです。

いや、うちのローカルより推論速いですよ。GPUぶん回しですかね（笑）

それでTavilyは後まわしで、DuckDuckGoをエージェントでいれたら、

ほんとGeminiもどきです。

私Gemma好きなので Gemma4 31Bがいいのですが、回答の出足は

gpt-oss-120Bのほうが速いです。ストレスを感じないです。

得意そうな数学定理を聞いて、200t/s出てました。

完全無料パターンと、回数制限パターンが用意できました。

適材適所で使っていきましょう。

ではでは。

ローカルLLMでもWeb検索

さて、AI素人がチャットできて喜んでいるレベルの人です（笑）

AI関連の記事を読んでいますが、みなさんレベルが高い。

ついていけないことが多いですが、がんばって読んでいます。

やっぱりClaude Codeなどでプログラム指示って難しいし、

リソース食うんですね。

そこはおいおい習得していくので、手元のVRAM 8GのGPUをどう使い倒す

かを考える毎日です。

私はAI研究ではなくAIインフラに興味がある変態ですから（笑）

まあRAGなんですけどね。プライバシーに配慮したシステムとなると

これがいちばんわかりやすい。

そこでツール比較していたのですが、AnythingLLMにしようかなと

思っています。しかーし。SSOが弱い。

認証系が外部丸投げですな。う〜んOpenWebUIはOIDCで完璧なんですがね。

そこだけが惜しいのです。ちょっと認証実装を頑張らないと駄目そう。

本題はローカルLLMって知識のカットオフがあるので、新しいこと聞いても、

知りませんなんですよね。当たり前ですが、まあGeminiにもあって

意外や一年以上前とかなんです。

それをWeb検索と融合して補って推論するので最新情報の壁打ちもできているんですね。

「そんなことも知らんのか？」　はい、知りませんでした（汗）

日々学んでおります。

それでAnythningLLMには（他にもあるが）　検索エージェントを追加する

オプションがあってWeb検索と連動して推論ができるんですね。

もうボタン１つで設定できちゃうんです。

検索エンジンとしてDuckdugkGoとか指定できます。

すると一気にローカルLLMがGemini並（とはいかないが）になってくれます。

知識が増えた感じでローカルなのにいいじゃん。となりました。

（私は単純）

ちょっとした会話だけGeiminiに振らなくても同じ画面でRAGとチャットが

できるようになるので、これは便利そうです。

ここで検索エンジンは生データを取ってくるのでノイズが多いということで

AI専用にデータ整形してくれるTavilyというサービスがあります。

これはAPIキー取って使うのですが、無料枠あるんで私が使うチャットくらいは

余裕です。

これを使ったほうがいいですね。

まとめると

AnythingLLM +  Gemma4E2B Q4 QAT + Tavily

になります。ローカル環境＋Web検索連動になります。

E4Bでも試してみますが、E2Bでも検索タスクならいい感じですね。

VRAMはOllamaでGemma4E2B Q4 QATとbge-mを同時ロードできて

100%GPUで動いています。

これを社内からFQDNを取ってSSL証明書をつけるためにNginxで受けて

公開してSSOでAuthentikを使うインフラに昇華させるのが、私の仕事

（趣味？）です。(笑）

基盤はProxmoxです。

マニアでしょう。

ではでは。