あれ
2025/8/11 12:31:00
一旦Repositoryで動くようにはなったが、複数のRepositoryに同一のDecoratorを着せられるようにしたい。後々のことを考えると、今のうちにきっちり作りこみたい。
一旦Repositoryで動くようにはなったが、複数のRepositoryに同一のDecoratorを着せられるようにしたい。後々のことを考えると、今のうちにきっちり作りこみたい。
「ゆる○○学」系列の動画が常にレコメンドに出てくる。さすがに食傷という状態で、「興味なし」をつけているのだが、それでも出てくる。どんだけ金をつぎ込んでるんだ。
「チャンネルをおすすめに表示しない」はちょっと過剰なので、「1ヶ月間チャンネルをおすすめに表示しない」とかが欲しい。
レコメンドはどうしてもユーザーの意図通りにはならないのがちょっとしんどいな。
サーバーサイドでの処理をレポジトリに置き換えようとしていたが、バチクソに沼っているので、全部捨ててクライアントサイドでの処理をレポジトリに置き換えた方が良い気がしてきた。1回全部捨てることにはなるが。
サーバーサイドでもうちょっと頑張ることにした。
LLMの学習用途かと思ったら対人間の教育用途だった。
AIが無限に問題を生成できたら、人間も無限に学習できそう。
過去の研究では『Prologによる解法知識を用いた誤答解説文付き多肢選択問題の生成』とかもあるけど、文章を何も加工せずにLLMに処理させたら問題が出てくると、作成者にとってはかなり楽である。
難易度調整精度を最大化するために、DPOが使われている。DPO便利だ。
自分の日記の文体に飽きた。
「○○をした。□□だった。」 毎回そんな調子だ。いい加減何らか変えていきたい。そういうわけで、今回は、よそ様のブログの構成をパクることで、自身の文章の引き出しを増やしつつ、気分転換を図る。
みなさん、調子はどうですか。私は引きこもりがたたって調子を崩しつつあります。
今日はリフレッシュの日としました。家にこもってPCで作業をし、家にこもってPCでSNSをしているので、だんだんPCを見るのが嫌になりつつあります。
たまには家から離れた時間を取ろうっていうことで、ドトールへ行ってきました。朝から。8時ぐらいに。そうすると混んでるんですね。平日の8時というのはどうも通勤の皆さんが出社前の憩いのひと時を過ごしているようで、席があまり良いところが残っていないという始末でした。
ダメだ、絶望的に文章が書けない。文章を書く脳が文体と密結合している。あと調子が悪いときに文章が書けるはずもない。やめだやめだ。また今度にする。おわり。
寝る前と起き抜け1発目でClaudeのレートリミットまでやっときたいな。
Claudeにデライトから調査すると良さそうな事項を抜き出してもらい、それについてDeep Researchをかけた。
こんな知的贅沢が許されるのか？IAとAIの融合の一つの体験している。空恐ろしくなる。
惜しむらくは、まあ、社会的成功などといったかたちではまだ成果が出ていないことだな。
この論文では「モデル拡張」手法を応用した「STEP」手法を用いて、LLMの事前学習時のGPUメモリーを削減している。
STEPを用いると、標準事前学習と比べて、最大メモリ要求量が368Mモデルで42.3%、680Mモデルで42.2%、1.2Bモデルで53.9%に削減できると報告されている。
安価なGPUでもLLMが学習できれば費用が低減できて嬉しい。消費電力を減らせれば費用低減できて嬉しいことに加えてエネルギー消費低減の点からSDGsへの貢献もできる。そういった意味で広範な意義がある研究。
個人的に手元のマシンのGPUが弱いのでこういう研究大好き。
モデルサイズが大きくなると削減率が高くなるような傾向があるんだろうか？
学習時間への影響はあるんだろうか？
「成果物の品質を上げるためにAIを使う」のは持続性がありそう。
コード生成で考えると、コードの量が増えるとAIはバカになるし、ビルド時間は増えるし、人間も読み切れなくなるし、バグが発生する領域も増える。
一方で、AIを使ってバグを減らせたり、設計を良くできたりすれば、AIはバカになりづらいし、ビルド時間は増えないし、変更が容易になるし、トラブルは減るし、人間も読みやすいし、利点が多い。
あと低品質・大量生産の方向は、すぐにレッドオーシャンになりそうで怖い。需要を食いつくす。
Claude Sonnet 4 をもってしても、やっぱLLMに文章書かせても面白くならないな。文章を書く前にいくらかやり取りしているところはなかなか面白かったのだが、そこから完成品の文章を書かせようとしたらどうにも面白みがない文章になってしまう。
朝は近所のハンバーガー屋さんでハンバーガーを食べてきた。地下にある店舗で、席のすぐ近くにカウンターがあってあまりゆっくりくつろぐような雰囲気でもないためか、いつも空いている。こちらとしては大変助かるのだが、これがこの店舗が果たして継続できるのかだろうかと言うと怪しいと思わざるを得ない。従って、足しげく通ってわずかなりとも支えるとともに、その効能を潰れるまでに目一杯享受することが良いだろう。潰れずにいてくれることがベストだが。地下の店舗なので、家賃が大いに安い可能性もある。
作業がAIありきになってきている。調べ物はAI。コードを書くのもAI。文章を書くのもAI。AIがなくなれば私は何もできなくなってしまうだろうな。
心理的にやりたくない作業もAI越しであればやっているような気分のことをできる。ウンコを素手では触りたくないが、トング越しならウンコを掴めるような心地だ。しかしその作業はまるで進んでおらず、堂々巡りを続けている。ウンコを握る必要がある。
夜の散歩を蛇行して散歩することを覚えた。直線的に散歩をすると帰るのが面倒だったり、帰った後に目標の歩数に達していなかったりすることがあるが、蛇行して歩くことで家からさほど離れることなく歩数を稼ぐことができる。いつもとは違う道を歩くことになるので、散歩コースの飽きに対して耐性があるように思う。
一旦Repositoryで動くようにはなったが、複数のRepositoryに同一のDecoratorを着せられるようにしたい。後々のことを考えると、今のうちにきっちり作りこみたい。
サーバーサイドでの処理をレポジトリに置き換えようとしていたが、バチクソに沼っているので、全部捨ててクライアントサイドでの処理をレポジトリに置き換えた方が良い気がしてきた。1回全部捨てることにはなるが。
サーバーサイドでもうちょっと頑張ることにした。
LLMの学習用途かと思ったら対人間の教育用途だった。
AIが無限に問題を生成できたら、人間も無限に学習できそう。
過去の研究では『Prologによる解法知識を用いた誤答解説文付き多肢選択問題の生成』とかもあるけど、文章を何も加工せずにLLMに処理させたら問題が出てくると、作成者にとってはかなり楽である。
難易度調整精度を最大化するために、DPOが使われている。DPO便利だ。
自分の日記の文体に飽きた。
「○○をした。□□だった。」 毎回そんな調子だ。いい加減何らか変えていきたい。そういうわけで、今回は、よそ様のブログの構成をパクることで、自身の文章の引き出しを増やしつつ、気分転換を図る。
みなさん、調子はどうですか。私は引きこもりがたたって調子を崩しつつあります。
今日はリフレッシュの日としました。家にこもってPCで作業をし、家にこもってPCでSNSをしているので、だんだんPCを見るのが嫌になりつつあります。
たまには家から離れた時間を取ろうっていうことで、ドトールへ行ってきました。朝から。8時ぐらいに。そうすると混んでるんですね。平日の8時というのはどうも通勤の皆さんが出社前の憩いのひと時を過ごしているようで、席があまり良いところが残っていないという始末でした。
ダメだ、絶望的に文章が書けない。文章を書く脳が文体と密結合している。あと調子が悪いときに文章が書けるはずもない。やめだやめだ。また今度にする。おわり。
寝る前と起き抜け1発目でClaudeのレートリミットまでやっときたいな。
Claudeにデライトから調査すると良さそうな事項を抜き出してもらい、それについてDeep Researchをかけた。
こんな知的贅沢が許されるのか？IAとAIの融合の一つの体験している。空恐ろしくなる。
惜しむらくは、まあ、社会的成功などといったかたちではまだ成果が出ていないことだな。
この論文では「モデル拡張」手法を応用した「STEP」手法を用いて、LLMの事前学習時のGPUメモリーを削減している。
STEPを用いると、標準事前学習と比べて、最大メモリ要求量が368Mモデルで42.3%、680Mモデルで42.2%、1.2Bモデルで53.9%に削減できると報告されている。
安価なGPUでもLLMが学習できれば費用が低減できて嬉しい。消費電力を減らせれば費用低減できて嬉しいことに加えてエネルギー消費低減の点からSDGsへの貢献もできる。そういった意味で広範な意義がある研究。
個人的に手元のマシンのGPUが弱いのでこういう研究大好き。
モデルサイズが大きくなると削減率が高くなるような傾向があるんだろうか？
学習時間への影響はあるんだろうか？
Claude Sonnet 4 をもってしても、やっぱLLMに文章書かせても面白くならないな。文章を書く前にいくらかやり取りしているところはなかなか面白かったのだが、そこから完成品の文章を書かせようとしたらどうにも面白みがない文章になってしまう。
朝は近所のハンバーガー屋さんでハンバーガーを食べてきた。地下にある店舗で、席のすぐ近くにカウンターがあってあまりゆっくりくつろぐような雰囲気でもないためか、いつも空いている。こちらとしては大変助かるのだが、これがこの店舗が果たして継続できるのかだろうかと言うと怪しいと思わざるを得ない。従って、足しげく通ってわずかなりとも支えるとともに、その効能を潰れるまでに目一杯享受することが良いだろう。潰れずにいてくれることがベストだが。地下の店舗なので、家賃が大いに安い可能性もある。
作業がAIありきになってきている。調べ物はAI。コードを書くのもAI。文章を書くのもAI。AIがなくなれば私は何もできなくなってしまうだろうな。
心理的にやりたくない作業もAI越しであればやっているような気分のことをできる。ウンコを素手では触りたくないが、トング越しならウンコを掴めるような心地だ。しかしその作業はまるで進んでおらず、堂々巡りを続けている。ウンコを握る必要がある。
夜の散歩を蛇行して散歩することを覚えた。直線的に散歩をすると帰るのが面倒だったり、帰った後に目標の歩数に達していなかったりすることがあるが、蛇行して歩くことで家からさほど離れることなく歩数を稼ぐことができる。いつもとは違う道を歩くことになるので、散歩コースの飽きに対して耐性があるように思う。