t_wの輪郭

LLMローカル
あれ『ローカルLLMでzoltraakを動かせるか検証してみた』『最近ローカルLLMがアツいらしい – soy-software』あれあれ

あれ

2025/1/2 4:44:00

ローカルLLMが動いて日本語が出てるだけで驚異的に進歩してるんだけど、本家本元のクラウドサービス型のLLMも驚異的に進歩してるから、常に見劣りしますわね。

クラウドサービス型のLLMはローカルLLMの猛追を受けるために「デカくて賢いが高コスト」を宿命づけられてる。大変そう。


AWSがNovaで価格破壊しよるしのう!!


LLMそのものを提供して儲けるよりも、別のところで儲けないと厳しいかもしれない。

あれ

2024/5/15 3:48:00

VSCodeの拡張機能のContinueと、Ollamaを組み合わせると、ローカルのLLMがコードを書いてくれるようになるぞ。
ただし品質と生成速度はLLMモデル並びにそれを動かすPCのスペックで決まる。

あれ

2024/5/11 11:02:00

M4 iPad Proの発表を見ていたのだけど、私には全然ほしいとは思えなかった。
Youtuberとか、動画を作る人にとっては、持ち運べるワークステーションみたいで便利そうだと思った。
「M4が乗るぜ」って発表が出たときには、「すわローカルLLM」と思われたが、そういうアレではなかった。
AppleがローカルLLMを作ろうと思えばいつでも作れると思うのだけど、そうしていないのは有効な利用用途が見つかっていないのだろうと推量している。
ローカルで動くチャットボットを作ったところで、「だからなんやねん」という感じだし。

あれ

2024/5/7 13:44:00

1070Tiとか言う化石みたいなGPUでも動くLLMがまともな回答するようになってて怖い