t_wの輪郭

　昨日、狂ったようにプログラムを書いた反動で頭がうまく働かなかった。knownetでAPIを叩いている部分をNext.jsのServer Actionで置き換えようとしたが、理解が足りずにうまく動かずにいる。3000行ほど書いたけど全部捨てよっか。
　とりあえず、AmplifyのGraphQL APIを叩くにおいては認証（認可？）でnext/headersを使わずにdocument.cookieを使った方が良いということがわかった。next/headersを使うと、Server Actionの呼び出し元のComponentに始まり、すべての呼び出し元となるComponentをServer Component（RSC？）にしないと動かなくなってしまう。しかもそれが連鎖するので影響範囲がでかい。地獄。サンプルでnext/headersを使うのをやめろ。

　副業の受注が確定した。コンペで競合がつよつよエンジニア出してきてたらしいけど、私が勝った。イエーイ。単価が安すぎる説はある。
　Cartesian Genetic Programmingで文章の類似度を学習をやってたこととかを伝えたのが効いたのだろう。怪しい研究はしておくものだ。怪しさ故に「やっとるな」って感じが出て良い。もちろんBERTのファインチューニングみたいな王道についてもやったことがあることを伝えておいた。

　なんか大学の研究室で客員研究員をやらせてもらえそうな感じになっている。副業先への仲介をしてくれる会社の社長が、大学で教授をやっており、「どう？」という感じで声を掛けられた。縁やわ。大学行き直したいとか思っていたので、渡りに船だ。特に今の会社をやめる必要もなく、研究成果が出たら論文を出して博士号とろうぜという感じらしい。無職になって学費を払って大学に行くことを考えていたので、そんな都合の良いことをやっていいんだとなった。今までよくわからんものを作ってきたのが論文にできるかもしれない。

　夕飯のあと、どうも物足りなかったので、買い置きたる栗を食べた。焼き栗のつもりで食べたら生だった。生でも甘みが感じられる。すごい。15分焼いたら半生だった。45分ほど焼いたらそれなりになった。そうこうしているうちに満腹中枢が刺激され、物足りなさは消えていた。

あれ

Amplify knownet 『t_wの輪郭』Sentence Embedding BERT DataStore React Next.js

2023年11月14日日記

2023/11/14 15:26:00

朝

　特に記憶に無いです。

仕事

　「Next.jsを使えば忌々しいAmplifyのDataStoreを無くせるんじゃね？」とか思って、社内システムの移植を開始した。もともとReactで動いていたので、3時間ほどでシステムがNext.jsの上で動くようになった。Next.jsの恩恵が受けられるのはこれからだ。

夜

　「Next.jsを使えばBERTでSentence Embeddingを取るAPIをサーバーレスでつくれるんじゃね？」とかおもって実装した結果、比較的高性能な開発機であっても計算に3秒もかかることがわかり、検索には使えず無事死亡した。

デライトが落ちていた

　「あれ」ってどんなんだったっけと思って、デライトで検索しようとしたところ、デライトが落ちていた(障害のお知らせ)。普段当たり前のようにデライトが使えているが、knownetの開発を通じてデライトが安定稼働していたことの異常さに気付きつつある。knownetの方はちゃんと動いている期間のほうが短い。

　探そうとしていた情報については『t_wの輪郭』を参照して見つけられた。いざというときの保証として機能してくれた。

あれ

理腑攻勢限界質的難易度 knownet React

2023年11月13日日記

2023/11/13 12:05:00

knownetが盛大にバグっていた。

　無限にReactのレンダリングが走り、検索は動かずという状態だった。「何を見てたんだ？」とは思うものの、コードの変更において焦点外の箇所に波及してバグると、気づくことが非常に難しい。まじでコレを保守するの無理な気がしてきた。質的難易度が非常に高い。

　自動テストをやったほうが良いのはわかっているが、自動テストがどうも導入しづらい。

　Embeddingの類似度に基づいて関連付けの候補を出す機能だの検索結果から投稿を選んだ際に非表示の関連付けをつけて検索結果を強化する機能だのを追加したいのだが、もはや認知的攻勢限界に達しており、これ以上機能を追加することは考えられない。バグが生まれる可能性が極めて高い。しばらくは理腑やバグつぶしに徹したい。もう少し難易度が下がってきたら機能追加を考えよう。

あれ

knownet

knownetのデータ変換コマンド2023年11月11日

2023/11/11 0:18:00

aws dynamodb scan --table-name "Relation-cjmawb5ph5bldaq5adhzqfmvw4-staging" --attributes-to-get "id" | jq '.Items[].id.S' | xargs -P 20 -I{} aws dynamodb execute-statement --statement "UPDATE \"Relation-cjmawb5ph5bldaq5adhzqfmvw4-staging\" SET _version=0 SET _lastChangedAt=0 WHERE id='{}'"

あれ

ThemeProvider SearchField 近所のホルモン焼肉屋近所のホルモン丼屋生活習慣病予防健診バリウム 2023年11月7日 knownet 日記あれ

2023年11月7日日記

2023/11/7 14:11:00

日記を書く時、大体「何やってたっけ」って書いてから書き始めている。

健康診断

　健康診断に行ってきた。健康診断の予約をしたら保険証のコピーをFaxで送れと言ってきたので、そんな時代錯誤なところなら空いているだろうと推量していったところ普通に混んでいた。ワーオ。
　特に深く考えずに生活習慣病予防健診にしたのだが、人生初のバリウムを飲むことになってしまった。不味い不味いと聞き及ぶため、うわ〜〜と思いながら飲んだのだが、さほど不味くはなかった。時代の進歩とかで不味くなくなったのかもしれない。バリウムを飲んだ後は胃全体にバリウムを付着させるために、機械でグルグルされた。バリウムメリーゴーランドや。

昼食にホルモンラーメンを食べた

　健康診断で絶食だったため、バリウムしか飲んでおらず、健康診断後は相当に空腹だった。前から気になっていた近所のホルモン丼屋さんを覗いてみたが、行列だった。諦めた。また今度行きたい。

　仕方がないのでコレまた気になっていた近所のホルモン焼肉屋に行ってきた。昼はホルモンラーメンを提供している。ラーメンの提供は昼だけで、昼に店が開いているのは平日だけなため、非常にレアというか、食べに行ける機会が殆どない。
　そういうわけで食べに行ったところ、ホルモンラーメンは非常に良かった。焼肉屋が片手間で作ってるんだろうと侮っていたがちゃんと美味しいとんこつラーメンで、その上に専門店らしく質の高いホルモンが乗っかっていた。コレで1000円なのだから、利益出て無いでしょって味だった。
　当然この店も盛況で、私が店に入った後には次々に近所の会社の従業員たちが現われ、相席となった。最近相席をすることが多いな。

knownetの開発

　相変わらずナレッジベースのknownetの改良をしている。ネチネチと。

読み込み中...

あれ

knownet ゲーテッドタウン意味的接続景観高級住宅街高輪ゲートウェイ駅公共の福祉トリキ Backlogのチケット郵便局

2023年11月6日日記

2023/11/6 15:15:00

『t_wの輪郭』からIMEに単語登録

　朝から『t_wの輪郭』をいじっていた。IMEに単語登録するためのファイルを出力していた。まだデライトの投稿を取り込み切れていないので、ぜんぜん登録できる単語が集まらない。もうしばらくしたら取り込みが進むはずなので、明日また様子を見たい。

会社用のknownetに日本国憲法の全条文を投入

　knownetを会社用にデプロイしており、コレの業務利用のデモンストレーションのために、日本国憲法をデータとして取り込んでいた。文章内に出現する各単語に対しては、ちゃんといい感じに関連付けるようにしてある。この作業は本当に良い勉強になった。「国権」が「国の権利」ではなく「国の権力」であることを知ることができた。そんな感じで午前は終わった。

昼休憩を使って郵便局にて手続き

　郵便局に転居・転送サービスの届け出を出してきた。これを出すのはもっと早いほうが良かった。他の住所変更の何より先にやっても良いぐらいだった。何しろ、旧居への郵便が新居に転送されるのだから。

午後で本業をやっつける

　毎日、上司との進捗報告があるので、ガガガッとBacklogのチケットを一つやっつけた。チケットを一つこなしておくとやった感が出る。

　頭の調子が良いと本業がおろそかになって、逆に進捗が悪くなる減少がある。

しごおわの後に通院

　恒例の通院。「調子いいっす」、「次回薬減らしましょうね〜〜」、終わり。
　まじで調子が良いので、もう通院しなくても良いんじゃなかろうかとは思うものの、保険的に通院を続けている。不調が再来した場合にすぐに相談できる態勢を持っておきたい。

　通院の後にトリキに行ってビールを飲んで移動の手間を償却した。

トリキで食べすぎたので散歩した

　何駅か歩いた。30分は歩いた。

　高級住宅街を突っ切る。景観が良い。公共の福祉って感じだ。治安が悪くなったらゲーテッドタウンが増えるんだろうか。そうなると散歩ができなくなる。治安大事。

　徒歩のまま高輪ゲートウェイ駅に到着。高輪ゲートウェイ駅に来たのは初めてだったが、めちゃくちゃ作りかけって感じだった。でかい箱の中にとりあえず駅の機能だけがある感じ。

帰宅してknownetの検索機能をいい感じにする

　意味的接続による検索の順位付けを思いついたので、実装してみている。実装してみたは良いものの、実験するデータがない。手元のknownetにはろくすっぽデータが入っていない。日本国憲法いれてぇ〜〜〜。めんどくせぇ〜〜〜。

あれ

knownet

あれ

2023/10/31 14:06:00

knownetで他者による編集結果がちょっと遅れのリアルタイムで反映されるわけだが、クソである。
クソである。
どうクソかというと、投稿が編集順で並んでいるわけであるが、編集するとその投稿はページ上部に移動する。あなたが投稿を少し書き換えると、直ちにその投稿がページ上部に移動する。編集を続けたいにもかかわらず、投稿はあなたの視界から消え失せる。

あれ

knownet knownetの曖昧検索あれ Azure Cognitive Search

あれ

2023/10/4 14:54:00

このknownet、クラウド利用料がいくらかというとこうやぞこう！！！

類似技術のAzure Cognitive Searchは一番安いので$0.11/時間や

あれ

Bedrock knownet ベクトル検索曖昧検索

knownetの曖昧検索

2023/10/4 14:50:00

当初ベクトル検索を用いようとしていたが、検索速度や精度に問題が有るため取りやめた。

現在は検索語を分かち書きして、検索語を構成する句を含む投稿を取得、さらにその投稿と紐づく投稿を取得し、投稿のEmbeddingと検索語のEmbeddingのコサイン類似度で並び替えしている。

Embeddingの取得にはAmazon Bedrockを使っている。

knownetの曖昧検索の高速化あれあれあれ

knownet knownetの曖昧検索

あれ

2023/10/4 14:38:00

この検索結果は相当賢いんじゃないですか奥さん！！

あれすげあれ

knownet knownetの検索

knownetの2023年9月30日アップデート

2023/9/30 8:09:00

knownetの検索をアップデート: Sentence EmbeddingをALBERTからAmazon BedrockのTitan Text Embeddings v2に変更; 検索結果としてSentence Embeddingの類似順で100個だしていたのを、なんかいい感じに変更

URLを変更: 新URL: https://main.d3qyy5iftduw62.amplifyapp.com/; 旧URL: https://stg.d3qyy5iftduw62.amplifyapp.com/; バックエンドは同じなので投稿データはそのまま引き継がれている; いい加減にドメインを割り当てたい

Sentence Embeddingを用いた検索の様子