ローカルLLMという世界 その1 - 手元で動くAI
#ローカルLLM · 5min
はじめに
ChatGPTに始まる生成AIブーム、私はというと当初はそこまで評価していなかった。
生成AIと同時期にWeb3やNFTも注目され、それらと一緒にもてはやされたことでうんざりしていた。
ただWeb3やNFTとは違い生成AIは本物だった。
すぐにGPT4、GPT4oに発展したかと思えばo1が来て思考を獲得していった。すごい勢いで時代が動いていった。
程なくしてChatGPTからはCodex(当初はOpenAIのクラウド上で開発するサービスで、そこにアクセスできればiPhoneだけでも開発できたやつ)が、AnthropicからClaude Codeがリリースされ、私は両方とも試した結果AnthropicのClaudeに重課金(毎月$100~$200)するほどに。
新モデルが来ると聞けばソワソワし、かつてのWWDCのようにワクワクしてモデルを待っては感想を書き連ねる日々を送っていました。
ただ生成AIに関してはずっと思っていることがありました。
電気をめっちゃ消費するんですよね。
一人の人間のつまらない雑談一個にとんでもない電力が消費されるのであれば宇宙にデータセンターを置くくらいのことをして電力問題を解決しなければいずれ使えなくなるだろ(これについては絶賛イーロンマスクがトライしていますが)と。
モデルの進化がいずれコモディティ化するとしてもサービスを稼働させるにあたっての電力は消せない。
かつて国内のスマホは通信無制限だった(約20年前)。これが時代の流れに応じて実態として7GBで制限がかかる従量課金サービスに移行して久しい。
おそらくは現存するAI企業もその方針に舵を切るだろう(執筆時点でも一部その動きもある模様)。
あるいはサービスの値上げもあり得る。どちらも来ると思うのだが、そうなったときにAIが気軽に使えないのはちょっと困る。エリクサー症候群の自分にとっては尚更だ。
今はまだ杞憂である。でもどうせそうなるのでちょっと対策をと思考し始めていた。
ローカルLLMという世界
この世にはフロンティアと呼ばれるAIモデルがある。ChatGPTやClaudeなんかのことでその時代の最前線のモデルであることからそう呼ばれている。
性能はおそらくみんな何かしらで体験していることと思うが、ほとんどの場合申し分ない。その時代の最高傑作である。(数ヶ月に一回変わるけど)
これとは違う哲学のもとに世に送り出されるAIモデルがある。このモデルは一般に公開されており無料で利用できるものも多い。利用するために必要なのはAIが動くだけの性能のコンピュータだけである。
このようなモデルのことをローカルLLMという。(エッジAIという言い方もあるがローカルLLMの方がメジャーっぽい)
当然ネットが無くても動く。プロンプトやファイルが外部に送られることもない。(ただしAIが人間の代わりにWeb検索するとなったらその限りではない)
ローカルLLMは自分のマシンで動くのでサービス側から回数制限がかかることもない。
また無料だからアホなAIしかないのか？というとそんなことはなく、無料公開されてるいくつかのモデルにはChatGPTやClaudeのフロンティアモデルに匹敵する性能のローカルLLMも出ていたりする。
そうなるともうクラウドの利用料も気にする必要はない。使った分はMacを充電するだけで足りる。(もちろんコンピュータの購入費用と電気代まで無料というわけではないが)
とんでもないことだ。有料のものと同等のものが無料で使える。それなら誰だってそっちを使いたいと思うだろうがそうはいかない。なぜならフロンティアに匹敵するAIを動かせるコンピュータを手に入れるには数千万円くらい必要だからだ(それならChatGPTの一番高いサブスク契約しておくほうが今の時点では安いもんね！)
なので当然のことながら一般人が動かせるローカルLLMの性能には限度がある。だけど常に最強のAIが必要なんだろうか？
「足るを知るものは富む」という諺がある。無限にAIに課金するのもコスパ的にはとてもいいんだけど、どこかで必要なAIに線引きをした上で自分が完全に制御できるAIを持つことを考えてみるのっていいことなんじゃないだろうか？そんなことを思った。
まずは棚卸しから
自分が感動したAIモデルがある。AnthropicのSonnet 4.5だ。
これまでのAIモデルはどうしても一つの指示をどうにかこなすので精一杯だった。その時代最高のAIモデルでさえそうだった。
しかしSonnet 4.5の登場でこれは一変する。
このAIモデルは一個の指示で自律的に行動し(それもかなり高速に)、こちらの意図した作業をスマートに遂行してしまう。
その後すぐにOpus 4.5、Sonnet 4.6、Opus 4.6ときて私は作りたいものをバンバン作ってリリースしていた。
今のAIモデルはSonnet 4.5よりもずっと賢いのだが、それでも一番記憶に刻まれたAIはSonnet 4.5である。
なので私の理想は手元のMacでSonnet 4.5くらいのAIが動いてくれることにした。これが僕の「足る」である。
小型化
手元のMacでSonnet 4.5くらいのAIが動いてくれるといいとして、どのくらい待てばSonnet 4.5クラスのローカルLLMが公開されるのかだ。
実はフロンティアモデルで実用化された技術や性能は時間が経つとよりローカルLLMにも降りてくる。
降りてくるとはつまり学習方法の改良やデータの質の向上によって、よりスペックの低いコンピュータで同等の性能が出せるってことである。
昨日までデータセンターでしか動かなかった種類の知能が未来においてはノートPCにすら入るということでもある。
だから「今のSonnet 4.5級」がいずれ手元に来るという期待はそれほど突飛なものではない。
そして小型化は日進月歩で進んでいる。
これはチャンスがあるのでは？
次
書きたいことを書いているととんでも無く長くなってしまったのでいくつかに分割することにしました🙏
次はローカルLLMの読み方を書きたいと思っております。
これはローカルLLM周りで使われる用語や選び方のまとめ的なやつにするつもりです。
生成AIまわりでとりあえず覚えておくと楽な情報がまとまっているのでさらっとでも読んでおくと良いかも?
ローカルLLMという世界(執筆予定のINDEXです！)
- その1：手元で動くAI（この記事）
- その2：ローカルLLMの読み方（公開準備中）
- その3：Macの選び方（公開準備中）
- その4：ランタイムとハーネス（公開準備中）
- その5：モデルを使ってみた（公開準備中）