t_wの輪郭

機械学習
教師ありSimCSE教師なしSimCSEあれあれあれ『【論文要約】SimCSE: Simple Contrastive Learning of Sentence Embeddings』あれllm-book/bert-base-japanese-v3-unsup-simcse-jawiki

あれ

2023/8/13 4:21:00

学習方式も「教師なしSimCSE」から「教師ありSimCSE」変えたのでValidation Lossがちゃんと下がりよるわ
気分がよい

あれ

2023/8/12 9:33:00

ALBERTをSimCSEの学習させとるけど、Wikipediaのデータを20 epoch回すには1000時間かかるらしい

あれ

2023/8/11 8:00:00

やったー
幣WindowsでGPUでALBERTのSimCSEの学習ができるようになったぞ
1回の学習にかかる時間が40時間から2時間に短縮された
それでもGoogle Colabと比べると２倍時間かかるので、良いぱしょこんが欲しい
1070 Tiはそろそろ買い替えていい頃合いと思う

あれ

2023/8/11 5:09:00

昨日・今日とSentence Embeddingを吐くALBERTをSimCSEで学習させているが、少し前にちょいと試しで学習させたときの性能を上回ることができない。

機械学習はそんな淡い夢みたいなことが度々起こる。