背景

Mac miniを「動かす場所」にしたときの目的のひとつが、手元でAIを動かすことだった。ネットに出せない文書を扱える、という期待がある。

メモリは32GB。4ビットに圧縮したモデルで、14B(140億パラメータ)が9GBほど、27Bが17GB。32GBだと27Bあたりが上限で、70Bは入らない。先にこの見積もりをして、入れる順番を決めた。

入れたもの

モデルを動かす土台はOllamaにした。Homebrewで入れて、ログイン時に自動で立ち上がる。Mac上のDockerはGPUが使えないので、モデルを動かすものはDockerに入れず、Macに直接入れる。

モデルはqwen3の14bとgemma3の27bの2本。どちらもGPUに全部載った。

チャット画面はOpen WebUIを使った。こちらは普通のWebアプリなのでDocker(OrbStack)で動かし、Tailscaleの機能でHTTPSにして、iPhoneから開けるようにした。ついでに、うたかた・うたがさね・Open WebUIの3つへのリンクを並べた入口ページを作り、iPhoneのホーム画面に置いた。

ここまでで2時間ほど。入れるだけなら拍子抜けするほど簡単だった。

速さの体感

最初の一問を投げて、まず「遅いな」と思った。リモートで聞いたから遅いのかと疑ったが、生成はminiのGPUで行い、ネットワークを通るのは文字だけなので、経路は関係ない。遅いのは27Bの生成速度そのものだった。

モデル速さ読み込み
qwen3:14b約16トークン/秒2秒ほど
gemma3:27b約9トークン/秒8秒ほど

つまり、27Bは人が読む速さよりやや遅い。速さ優先なら14B。

もうひとつ試したのが、Claude Codeの裏側をこのローカルモデルに差し替えること。動くには動いたが、1問に7分39秒かかった。Codexの方も途中で止まった。Claude Codeが毎回送る長い指示文を14Bのモデルで処理するのは現実的でない。ローカルLLMはチャット用途と割り切った。

日本語で聞くとエラー、の正体

数日後、Open WebUIで日本語の質問をするとエラーになる、と気づいた。日本語対応が要るのかと思ったが、原因は言語と関係なかった。

既定のモデルがgemma3になっていて、Open WebUIが「ツール呼び出し」の定義を一緒に送っていた。gemma3はツール呼び出しに対応していないので、何語で聞いても同じエラーになる。モデルの設定で組み込みツールをオフにして解決した。既定のモデルは速くてツール対応のqwen3に変えた。

英語で返ってきた件もあった。これは同じチャットに英語の提案文の履歴が残っていたせいで、新しいチャットで日本語で聞けば日本語で返る。

感想

ローカルLLMがわりとすんなり入った。質問してみたが、結構遅い。

クラウドのLLMが優秀すぎて、ローカルLLMの使い所が難しいが、実験しながら何に使うかを検討したい。