LLaMA・Alpaca・Vicunaはデータと仕組みが公開された大規模言語モデルであり、GoogleのBardに匹敵する性能にまで進化している。
https://lmsys.org/blog/2023-03-30-vicuna/ より
LLaMA・Alpaca・Vicunaはデータと仕組みが公開された大規模言語モデルであり、これらの性能あたりのパラメータ数の時間変化を指数近似すると、およそ4.6ヶ月で性能あたりのパラメータ数は半分になる。
ムーアの法則に従えば18か月後にはGPT-4相当の大規模言語モデルがノートPCの上で動作することになる。
学習データの枯渇が起こるならば、研究対象は大規模化・高性能化から高能率化に移る。
GPT-4もバリエーションがあり、2023年のGPT-4ならGemma2 9bが上回っている[1]。
Gemma2 9bの量子化されたモデルは5.4GB[2]であり、GTX 1070Tiで動かせる。
2024年2月に出たGemma-7B-itよりも、2024年7月に出たGemma-2-2b-itの方がChatbot Alenaで勝ってるので、激烈な速度で高効率なモデルが開発されてる。2026年にスマホで2023年のGPT-4相当のモデルが動いている可能性すらある。
2023年5月の時には2024年2月ごろにスマホでGPT-4相当のモデルが動いてるかなと思ってた（大規模言語モデルの小規模化）けど外した。さすがにサンプル数が少なすぎた。
[1] https://huggingface.co/spaces/lmarena-ai/chatbot-arena-leaderboard
[2] https://ollama.com/library/gemma2:9b
今までの検索サイトのビジネスモデルでは、検索サイトと検索によって表示されるサイト（以降「被検索サイト」と呼称）の間には互恵関係があった。検索サイトから個々のウェブサイトへ閲覧者が流入するという利点が被検索サイトにはあった。
LLMが検索サイトに搭載され、検索語で知りたい情報が検索サイト自身に表示されるのであれば、被検索サイトのページビューは減少する。
閲覧者の流入がないのであれば、被検索サイトにとって検索サイトが敵になる。クロールされ、負荷を強いられ、情報を搾取されるようになるからだ。今までは被検索サイトは得られる利益と引き換えに、こうした問題を受忍してきた。しかし利益がなければ受忍する道理はない。
故に、被検索サイトもAI絵師の問題と同様に、サイトからの情報を学習に利用されることを拒否するようになる。
そうして出てくるのは、LLMを搭載したブラウザやOSだ。利用者の手元でLLMが動作し、情報を収集し、利用者の問い合わせに応じて回答する。大規模言語モデルの小規模化もそれを後押しする。
利用者にとってはLLMを通して情報を取得する形となるが、検索サイトは仲介することによる利益を広告として得ることができなくなる。すなわち、情報流通の費用が低減するのだ。
続いて勃興するのはLLMに最適化された情報の提示だ。SEOが検索エンジンに最適化したように、LLMに最適化された情報を提示して、自身の事業に有利な出力をするように仕向ける。その形態はビジュアルである必要がないため、セマンティックウェブ的になる。
購読の意味合いも変わってきて、LLMに食わせる情報源として購読するという形態が発生する。RSSが形を変えて復興する。
プライバシー: ユーザーの行動や興味を反映させるためには、大量の個人データを収集する必要があります。これはプライバシーの問題を引き起こす可能性がある。
しかし、プライバシーの問題はむしろ霧散する。今のLLMは営利企業のサーバーによって実行されており、その際の問い合わせ内容はサーバーに保存される。しかし、各利用者の手元のOSで動作するLLMではその問い合わせ内容は外部に出ることはなく、完全にプライバシーが保護される。
個々のデバイスでAIの訓練を行うというのは、コンピューティングリソースの観点からも難しいかもしれない。
集約されたLLMと個人化されたLLMでは、サーバーで動作する「集約されたLLM」の方が潤沢なコンピューティングリソースを使うことができるため、相対的により“賢い”LLMを利用することができる。そのため、公共知は集約されたLLM、個人知は手元のOSで動作するLLM、のように使い分けることになる。
情報の正確さや信頼性を保証することが難しくなる。ユーザーが選択的に情報をクロールや購読する場合、情報源が偏ったり、誤った情報が混入する可能性がある。また、エコーチャンバーのような問題も生じる。
営利企業が運営するLLMに対しても同じことが言える。営利企業であるがために広告・宣伝・プロパガンダを混ぜ込むなどの意図的な偏りが発生する。