あれ
2025/2/28 23:25:00
AIによって知識産業すらも機械工業になって巨大資本の上に成り立つようになるなら、すべての労働者は低賃金になりませんか？
再び労働者 vs 資本家の戦いが激化しませんか？
AIによって知識産業すらも機械工業になって巨大資本の上に成り立つようになるなら、すべての労働者は低賃金になりませんか？
再び労働者 vs 資本家の戦いが激化しませんか？
1人のITエンジニアとして、AIに置き換えられることを恐れていたのだけど、いましばらくは何とかなるかもしれない。
専門外の領域をAIに教えてもらったりやってもらったとしても、そこに対する確信を得るには専門知識が必要になるので、作業そのものは代替されても、AIに作業をさせる専門知識を持った人間はもうしばらくの間は需要がある。かもしれない。
良く知らん分野のやつをDeep Researchに入れても「ハァ？」ってなる。わからんもんはわからん。
根源的にLLMへの不信がある。
それはそれとして「AIが間違っててもええから速度だそうや」となる時代が来ると思う。
信心、あるいは「このAIはここまでならやってくれる」みたいな確率分布の把握。
批判的継承や。AIに対して批判的継承をやっていくぞ。
だめだ。要件を満たすものがない。
自分で作るしかないのだろうか。
もし万が一作るならば、knownetを改造してネイティブアプリにして、WebRTCでデバイス間同期すれば良さそう。そして立ちふさがるApple Developer税。
そういや昔OpenAIが好奇心駆動探索とか発表してたんだけど、この辺と自動コーディングを組み合わせたら無限ループを回避できないかな。
PayPay、JavaからRustにしたらCPUを10%に削減、メモリーを1.2%に削減できたらしい。クラウド費用に直結することを考えるとPromissingだわ。
言葉を文法に沿って出力するだけなら数百万パラメーターのLLMでもやってくれる。
知識や論理的な推論の部分をより効率的な別の仕組みでやってやれば、超高効率なAIが作れるはず。
ただ現状だと「知識や論理的な推論の部分を担うより効率的な別の仕組み」がないので、ニューラルネットワークに誤差逆伝播法で埋め込むしかない。研究が待たれる。
Word2Vecがベクトルの可算と減算で単語の意味を演算できたみたいに、「概念」をベクトル化して、その可算と減算が定義できれば、人間がやってる思考を高効率に演算できるはず。
Metaが発表したLarge Concept Models（LCM）はその辺に関係がありそうで気になってる（まだ内容を読んでない）。
GPT-4もバリエーションがあり、2023年のGPT-4ならGemma2 9bが上回っている[1]。
Gemma2 9bの量子化されたモデルは5.4GB[2]であり、GTX 1070Tiで動かせる。
2024年2月に出たGemma-7B-itよりも、2024年7月に出たGemma-2-2b-itの方がChatbot Alenaで勝ってるので、激烈な速度で高効率なモデルが開発されてる。2026年にスマホで2023年のGPT-4相当のモデルが動いている可能性すらある。
2023年5月の時には2024年2月ごろにスマホでGPT-4相当のモデルが動いてるかなと思ってた（大規模言語モデルの小規模化）けど外した。さすがにサンプル数が少なすぎた。
[1] https://huggingface.co/spaces/lmarena-ai/chatbot-arena-leaderboard
[2] https://ollama.com/library/gemma2:9b
同僚氏がTypeScriptにてガード節による型推論が効かないと悩んでいたのに対して、「functionをアロー関数にしたら直る気がする」という天啓が来たので伝えたら本当に直ってしまった。「なんでわかったんですか？」って聞かれたが、何もわからんので「わからん」と回答した。
AIによって知識産業すらも機械工業になって巨大資本の上に成り立つようになるなら、すべての労働者は低賃金になりませんか？
再び労働者 vs 資本家の戦いが激化しませんか？
良く知らん分野のやつをDeep Researchに入れても「ハァ？」ってなる。わからんもんはわからん。
根源的にLLMへの不信がある。
それはそれとして「AIが間違っててもええから速度だそうや」となる時代が来ると思う。
信心、あるいは「このAIはここまでならやってくれる」みたいな確率分布の把握。
批判的継承や。AIに対して批判的継承をやっていくぞ。
そういや昔OpenAIが好奇心駆動探索とか発表してたんだけど、この辺と自動コーディングを組み合わせたら無限ループを回避できないかな。
言葉を文法に沿って出力するだけなら数百万パラメーターのLLMでもやってくれる。
知識や論理的な推論の部分をより効率的な別の仕組みでやってやれば、超高効率なAIが作れるはず。
ただ現状だと「知識や論理的な推論の部分を担うより効率的な別の仕組み」がないので、ニューラルネットワークに誤差逆伝播法で埋め込むしかない。研究が待たれる。
Word2Vecがベクトルの可算と減算で単語の意味を演算できたみたいに、「概念」をベクトル化して、その可算と減算が定義できれば、人間がやってる思考を高効率に演算できるはず。
Metaが発表したLarge Concept Models（LCM）はその辺に関係がありそうで気になってる（まだ内容を読んでない）。
GPT-4もバリエーションがあり、2023年のGPT-4ならGemma2 9bが上回っている[1]。
Gemma2 9bの量子化されたモデルは5.4GB[2]であり、GTX 1070Tiで動かせる。
2024年2月に出たGemma-7B-itよりも、2024年7月に出たGemma-2-2b-itの方がChatbot Alenaで勝ってるので、激烈な速度で高効率なモデルが開発されてる。2026年にスマホで2023年のGPT-4相当のモデルが動いている可能性すらある。
2023年5月の時には2024年2月ごろにスマホでGPT-4相当のモデルが動いてるかなと思ってた（大規模言語モデルの小規模化）けど外した。さすがにサンプル数が少なすぎた。
[1] https://huggingface.co/spaces/lmarena-ai/chatbot-arena-leaderboard
[2] https://ollama.com/library/gemma2:9b
同僚氏がTypeScriptにてガード節による型推論が効かないと悩んでいたのに対して、「functionをアロー関数にしたら直る気がする」という天啓が来たので伝えたら本当に直ってしまった。「なんでわかったんですか？」って聞かれたが、何もわからんので「わからん」と回答した。