背景
Mac miniを「動かす場所」にしたときの目的のひとつが、手元でAIを動かすことだった。ネットに出せない文書を扱える、という期待がある。
メモリは32GB。4ビットに圧縮したモデルで、14B(140億パラメータ)が9GBほど、27Bが17GB。32GBだと27Bあたりが上限で、70Bは入らない。先にこの見積もりをして、入れる順番を決めた。
入れたもの
モデルを動かす土台はOllamaにした。Homebrewで入れて、ログイン時に自動で立ち上がる。Mac上のDockerはGPUが使えないので、モデルを動かすものはDockerに入れず、Macに直接入れる。
モデルはqwen3の14bとgemma3の27bの2本。どちらもGPUに全部載った。
チャット画面はOpen WebUIを使った。こちらは普通のWebアプリなのでDocker(OrbStack)で動かし、Tailscaleの機能でHTTPSにして、iPhoneから開けるようにした。ついでに、うたかた・うたがさね・Open WebUIの3つへのリンクを並べた入口ページを作り、iPhoneのホーム画面に置いた。
ここまでで2時間ほど。入れるだけなら拍子抜けするほど簡単だった。
速さの体感
最初の一問を投げて、まず「遅いな」と思った。リモートで聞いたから遅いのかと疑ったが、生成はminiのGPUで行い、ネットワークを通るのは文字だけなので、経路は関係ない。遅いのは27Bの生成速度そのものだった。
| モデル | 速さ | 読み込み |
|---|---|---|
| qwen3:14b | 約16トークン/秒 | 2秒ほど |
| gemma3:27b | 約9トークン/秒 | 8秒ほど |
つまり、27Bは人が読む速さよりやや遅い。速さ優先なら14B。
もうひとつ試したのが、Claude Codeの裏側をこのローカルモデルに差し替えること。動くには動いたが、1問に7分39秒かかった。Codexの方も途中で止まった。Claude Codeが毎回送る長い指示文を14Bのモデルで処理するのは現実的でない。ローカルLLMはチャット用途と割り切った。
日本語で聞くとエラー、の正体
数日後、Open WebUIで日本語の質問をするとエラーになる、と気づいた。日本語対応が要るのかと思ったが、原因は言語と関係なかった。
既定のモデルがgemma3になっていて、Open WebUIが「ツール呼び出し」の定義を一緒に送っていた。gemma3はツール呼び出しに対応していないので、何語で聞いても同じエラーになる。モデルの設定で組み込みツールをオフにして解決した。既定のモデルは速くてツール対応のqwen3に変えた。
英語で返ってきた件もあった。これは同じチャットに英語の提案文の履歴が残っていたせいで、新しいチャットで日本語で聞けば日本語で返る。
感想
ローカルLLMがわりとすんなり入った。質問してみたが、結構遅い。
クラウドのLLMが優秀すぎて、ローカルLLMの使い所が難しいが、実験しながら何に使うかを検討したい。