t_wの輪郭

NN

2022/3/24 6:11:00

Autoencoder 『Xユーザーの／さん: 「fp8の表現力が思ってたよりかなり低いな... あと、こうやって見ると、NNの重みや勾配の絶対値の平均が1.0付近で安定するよう初期化/スケール/正則化すれば低精度でも安定するんじゃないの？という感じがする」 / X』STNN 対角線形ネット無限幅深層モデル

Autoencoder

2025/1/13 5:08:00

『Xユーザーの／さん: 「fp8の表現力が思ってたよりかなり低いな... あと、こうやって見ると、NNの重みや勾配の絶対値の平均が1.0付近で安定するよう初期化/スケール/正則化すれば低精度でも安定するんじゃないの？という感じがする」 / X』

2025/1/12 6:15:00

https://x.com/kyo_takano/status/1878312135752851914

『Xユーザーの／さん: 「これの分散を1.0にするパターンがUnit Scaling (Blake, Orr, & Luschi, 2023)で既に提案されてた（フォロワーに教えてもらった）。論文中Appendix Cで議論されてるんだけど、float値の実際の中央点は2^0じゃなくて2^1だそうなので、理論的には分散をちょうどπにするのが正しそう https://t.co/C8YR9MYyCH」 / X』

STNN

2025/1/1 12:16:00

『XユーザーのKyoさん: 「先日のSTNNみたいに「パラメータを確率的にサンプルするNN」がアンサンブルによって高い精度を示すのは「情報を分散的に学習しているから」と解釈できて、ある情報を書き出すときのLLMも「条件（文脈）を確率的なパラメータとしたNN」であると言えるってワケ」 / X』

対角 NN 線形

対角線形ネット

2024/12/22 13:55:00

『知識転移の学習曲線: 可解な学習ダイナミクスの知見』

無限幅深層モデル

2024/12/22 13:54:00

『知識転移の学習曲線: 可解な学習ダイナミクスの知見』

無数のNN

2024/9/14 7:38:00

単語ごとにNNを作る格子の中のNN

単語ごとにNNを作る

2024/9/14 7:36:00

格子の中のNN

2024/9/14 4:56:00

WebNN

2024/9/8 1:51:00

『WebNN | Web Machine Learning』

2024/8/17 15:40:00

https://webmachinelearning.github.io/webnn-intro/