t_wの輪郭

=15.718837606837608[KB]
=0.015350427350427352[MB]
=8.98 / 585 [MB]
　
関連するURLのリストを持つと、やはり容量が大きくなる
数だけ持つべきかもしれない
　
ページランクを無視するならURLは残さなくてもいい

= 156.6405989165999[TB]
= 168191562393.1624[KB]
= 15.718837606837608 * 10700000000 [KB]
= ページメタ情報の容量 * クローラで得られるページ数

デライト外部検索通類をAWSへデプロイした。↓のリンクから利用できる
http://ec2-52-193-108-6.ap-northeast-1.compute.amazonaws.com:8080/
　
デライトクローラが取得した1万9千の輪郭から検索できる

• 1秒未満で検索が完了する
• 10個までしか検索結果が表示されない
  • ページャー未実装
• 検索結果に重複がある
  • 重複を削除する処理が未実装
• 見た目が悪い
  • CSS未実装
    • node.jsで直接HTMLを吐き出しているため、複雑なフロントエンドを作るのは手間がかかる
      • テンプレートエンジンなどに乗り換えたい
• 検索結果の並びがクロールされた順番になっている
  • ページランクで並び変える機能が未実装

コマンドラインからデライトを検索できるところまでは来た
検索が一瞬で終わる
連想配列から単語をキーとしてURLを取ってくるだけなので早い
ただ、検索結果にURLしか表示されない
デライトクローラをメタデータだけでなくページ内の内容も保存するように改変する