ローカルLLMという世界 #5 - オープンウェイトモデルを使ってみる
#AI, ローカルLLM · 8min
はじめに
ここまでローカルLLMという世界と、それを動かすMac、そしてランタイムとハーネスについて書いてきたので最後は実際にモデルを動かしてみた感想なんかを書いていく。
総パラメータ数、有効パラメータ数、必要なメモリ、生成の速さ、そして実際に使いたいと思えるかはそれぞれ別の話である。
試した環境と比較の前提
試用機はApple M5 Max（18コアCPU・40コアGPU・128GBユニファイドメモリ・メモリ帯域614GB/s）。実行にはLM StudioとoMLXを使い、Qwen3.8-Flash-NextはoMLXで動かした。
モデルごとに量子化方式や実行環境は異なる。表にある容量は公式重みのサイズか、量子化した場合の概算で、同じ条件にそろえたベンチマークではない。以下の速度や使い勝手は、このMacで実際に試したときの感想として読んでほしい。
代表的なAIモデルと使用感要約
| モデル | 構造 | 総パラメータ / 有効パラメータ | ローカル運用の見どころ |
|---|---|---|---|
| gpt-oss-20b | MoE | 21B / 3.6B | 公式のMXFP4重みが約12.8GiB。16〜18GBではかなり厳しい。 24GBからならワンチャン |
| gpt-oss-120b | MoE | 117B / 5.1B | 公式重みが約60.8GiB。計算は軽いが、入れ物に大容量メモリが必要(96GB以上) |
| Gemma 4 26B A4B | MoE | 25.2B / 3.8B | Q4の目安は約14.4GB。ラップトップでも速さを狙いやすい |
| Gemma 4 31B | Dense | 30.7B / 30.7B | Q4の目安は約17.5GB。MoE版と品質・速度を比べやすい |
| Qwen3.8-27B | Dense | 27B / 27B | 4bit量子化なら重みは概算13.5GB。必要メモリを読みやすい基準点 |
| Qwen3.8-Flash-Next | MoE + n-gram embedding | 125B / 6B※ | 計算量は小さいが重みは巨大。長文とエージェント用途に重点 |
| GLM-5.3-Flash | MoE | 320B / 18B | 「Flash」でも一般的なMacには大きい。大容量マシン向け |
| DeepSeek-V4-Flash | MoE | 284B / 13B | 公式配布は混合低ビット精度。通常のラップトップの範囲を超える |
※ Qwen3.8-Flash-Nextはこれに51Bのn-gram embeddingと4Bの投機的デコード用モデルを持つ。「有効パラメータが小さい=必要メモリも小さい」ではない好例である。
モデルの構造やパラメータ数は公式モデルカードに基づく。量子化後の重み容量は配布モデルの実サイズ、またはビット数からの概算で、動作に必要なRAMそのものではない。実際に必要なメモリは、量子化方式、コンテキスト長、KVキャッシュ、実行エンジンによって変わる。
使ってみた感想
gpt-oss-20B(MoE)
OpenAIのオープンウェイトモデルの小さい方。公式には16GBでも動くとされるが、18GBのMacでもほぼ固まってかなり厳しい。24GBあるとワンチャン。
Reasoning effortをlow、medium、highから選べ、思考過程も出力できる(LM Studioなどでは)。
OpenAIの評価では一部のベンチマークでo3-miniと同等くらいの推論力があり、小さい割に結構賢い。
出力される日本語はChatGPTテイストが非常に強い。
gpt-oss-120B(MoE)
有効パラメータは5B(厳密には5.1Bらしい)なので、メモリに入ってしまえば総パラメータ数から想像するよりかなり軽快に動く。
公式重みだけで60.8GiBあるため、64GB級のメモリではほとんど余白がない。MacでOSやコンテキスト分まで含めて安定して動かしたければ96GB以上必要。
OpenAIの評価では一部のベンチマークでo4-miniと同等くらいの推論力を持っている。
パラメータも多いので非常に博識。リリースが2025年8月と比較的歴史があるが古さを感じさせない性能と速度をしている。
これを動かしたくてRAM128GBのMacを購入した奴がいるらしい。
(テキスト専用モデルなので画像を渡しても読み取ることはできない。)
Gemma 4 26B A4B(MoE)
Geminiと同じ研究や技術の系譜から作られたのがGemmaシリーズ。
一応GeminiはフロンティアモデルなのでChatGPTやClaudeと比較されることが多く、自分の観測範囲では残念ながら高評価されることは少ないのだがローカルLLM界隈でのGemmaの評価は非常に高い。
初リリースからしばらく経つが度々アップデートされており、量子化したりツールコールを改善したりしている。
Geminiの系譜であるため非常に自然な日本語を喋る。また26Bの割に日本の知識も豊富なようで法律とか聞いても普通に返してくる上にActive4BのMoEなので非常に高速に返事が返ってくる。 計算上は20GBでギリギリになるはずだが安定して動くなら32GB欲しいと思われる。
テキストだけでなく画像も扱えるマルチモーダルでもある。ただしコンテキストは最大256Kまで対応しているとはいえ、フルサイズを快適に扱えるかはKVキャッシュの量子化やランタイムにもよる。コンテキストも合わせると32GBあれば必ず十分というわけではない。
Active4Bという小ささもあって、めちゃくちゃ複雑なお願いをすると手元の環境ではたまに壊れるが簡単な会話であれば圧倒的に必要十分。
いかにも生成AI性だとわかるものを生成するがWebデザインさせると結構クオリティの高いランディングページを作成してくれる。
Gemma 4 31B(Dense)
30.7Bのパラメータすべてを毎トークン使うDenseモデル。26B同様、実行時の余白を考えると32GB以上のマシンの方が扱いやすい。
自分が試した範囲では、なぜか本家Geminiよりも金融系の知識に優れているように感じる(なぜだGemini…それでいいのか？)
Dense故に会話の速度は非常にゆっくりだが絶望するほど遅くはない。ただしコーディング用途で使うとイラッとする。
26B A4Bが快適なので僕はあまり使わない。
Qwen3.8 27B(Dense)
Qwen 27BシリーズはローカルLLM界隈の希望の星である。なぜならこのサイズのモデルとしては圧倒的に賢いからである。
わずかに27Bであるがコーディング用途において圧倒的に賢い。公式ベンチマークでも10倍以上の総パラメータを持つモデルを上回る項目があるローカルLLM界隈のオーパーツ。
Qwen3.Xシリーズでは3.6に続いての登場(3.7では27Bはリリースされなかった。)
ちなみにQwen27Bシリーズには一つ面白い特徴がある。こいつらは滅っっっっちゃ長考する。
Gemma4であれば一瞬で生成されるランディングページの生成に10分とか使う。めっちゃ考える。なので軽い作業で使うのは全くお勧めできない。だが賢い。
Alibaba製なので多言語対応もしっかりしているが時々見たこともない漢字を使う。Gemma 4と同様、画像も扱えるマルチモーダルでもある。
Qwen3.8-Flash-Next(MoE)
125Bの本体のうち6Bを有効化するMoEに、51Bのn-gram embeddingを組み合わせた実験的なモデル。ローカルLLMのボトルネックが「計算量だけではなく、重みを保持するメモリでもある」ことを極端な形で示している。
本来は51Bのn-gramを保持して動かせないので128GBのMacでは動かせないかと思われたがoMLXはSSDにn-gram分を展開することで起動に成功している。
Active6Bなので27Bより圧倒的に高速に生成できるが日本語力がイマイチなので会話は成立しない。
Qwen3.8と名乗るだけにコーディング作業は得意らしい。実際、Qwen4の実験的モデルとしてリリースされているのであんまりがっつり触ってたりはしない。
GLM-5.3-Flash(MoE)
320Bの総パラメータのうち18Bを有効化するMoE。名前のFlashは小型モデルという意味ではなく、同ファミリー内での効率重視版と見た方が妥当かもしれない。
320Bなので動かしたければ256GB以上のRAMを積んだMacが必要っぽいが量子化することで128GBのMacにもギリギリ収まるようになっている。もちろんFlashとは名ばかりのヘビー級。
Active18Bだけあって普通にヘビー級で、手元で使った量子化では頑張っても20tps行くか行かないか。
ただし非常に賢いので会話は非常にまとも。20tpsくらいまでは生成される文字を都度読んでいくことで生成 = 内容把握となるので推論の時間だけ耐えれたら割と時間効率は良いタイプかもしれない。
DeepSeek-V4-Flash(MoE)
284Bのうち13Bを有効化するMoE。長いコンテキストとエージェント用途を重視し、重みもFP4とFP8を混ぜて配布されている。
この規模になると、ローカルLLMといっても一般的なノートPCではなく大容量メモリを搭載したワークステーションの世界になるがGLM5.3 Flash同様、強く量子化すれば128GB級のMacでも動かせる。
Qwen3.8 27BやGLM5.3 Flashが来るまではローカルLLM界隈最強のモデルの一角をなしており非常に評価が高いモデル。
中国製モデルではあるが日本語力はイマイチで稀にほぼ中国語みたいな日本語を返すことがある。
あとがき
これを書いてる時にChatGPT、Claude、Grokが同じタイミングでダウンするということがあった。
そのときは寝るだけだったので特に困ることもなかったのだが、もし何か作業をしていて困ったなぁということになっていれば迷わずローカルLLMを起用しただろうことは想像に難くない。
仮に将来、ネットワーク越しのどこかの会社のすごいAIが使えないほど高額のサブスクでのみ提供されたとしても別に困ることはなさそうだ。
2010年くらいからコンピューティングとはクラウドであり、クラウドにあらずんばサービスにあらずな勢いの時代が長く続いた(これはちょっと言い過ぎ的表現)
クラウドは確かに便利である。自分もよく使わせてもらう。 しかしそのために自分のプライバシーやアカウントの生殺与奪を握られるのは許されるのだろうか？
生成AIというなかなかどうして相談しづらいことも含めて色々話す相手が手の届く範囲にあることの意味を少し見直してみる良い経験になったと思った。