言語モデル
2022/6/10 23:40:00
拡散言語モデル
2024/10/30 12:33:00
『Xichuan: "逆に言えば LLM は単に言語モデルの一実装形態に過ぎないので、論理的推論とか...
2024/8/2 3:25:00
『Xichuan: "そもそもまず言語モデルという抽象的な概念があって、それをどのように実装するか、...
2024/8/2 3:24:00
Large Language Model
大規模言語モデル
遺伝的プログラミングで文章の類似度を学習させるの、CPUで一から学習させるには計算量が全然足りない。GPGPUで学習させたいが、再起的な構造と処理によって文章を処理しているために、GPGPUとは相性が悪い。構造から手をつけるべきか。
Transformerを参考にすると良さそうだが、あれを理解するのに手間取っている。さらに言えばAttentionも理解できていない。あり物のモデルを使ったり学習させるだけなら理解は不要だが、遺伝的プログラミングに組み込もうとすると十分に理解する必要がある。
普通の言語モデルも一から学習させると相応に時間がかかるだろうし、一晩で学習が進まないのを嘆くのは気が早すぎるかもしれない。私の投稿を学習データ化した物でさえ、一晩でやっと一巡できる程度だ。Wikipediaも学習データに含み出すととんでもない時間がかかる。