t_wの輪郭

実験的にも、BERTの[CLS]トークン埋め込み や 平均プーリング埋め込み を使うぐらいだったら、GloVe等の（もっと古い時代の）単語埋め込みを使った方がましということが知られている

LambdaでBERTを動かせるようになったんだけども、この知識を200万円ぐらいで売りたい。

誰か買ってくんねーかなぁ……
AI構築を外注すると考えると、安いほうですわよ。

ちなみにAI構築を外注すると、1回の試行で数百万円かかった上でだいたい失敗するらしいぞ♥

500MBあるBERTをONNXに変換した後に量子化したら110MBほどになってLambdaで動かせるようになった。
Githubに乗せるファイルは100MB以下でないとだめなので、ダメ押しでgzipで圧縮したら75MBになった。

knownetの検索をBedrockからBERTに移行した。
検索精度の変化は定量的な比較をしてないので謎。体感的には変わらん気がする。

LambdaでBERTを動かして、Sentence Embeddingを取れるようになったぞ！！！

これでやっとBedrockにAIモデルを握られなくて済む。今まで睾丸をグリップされていた。

ぬーん。Mozcの漢字変換が気に入らない。

IMEは儲からないっぽいので、なかなか進歩してくれない。

BERT入れるだけで漢字変換がいい感じになりませんかのう……。

というか、iPadOS（多分iOSも）のIMEの漢字変換が進化しすぎやねんな。