あれ2024/9/14 10:58:00 機械学習とDuckDBが相性が良い説がある。 HuggingFaceにあるデータセットのURLを指定するだけでSQLでデータ取得できる。 例: SELECT * FROM 'https://huggingface.co/datasets/izumi-lab/wikipedia-ja-20230720/resolve/main/data/train-00000-of-00008-ff339eae82f3a35d.parquet?download=true' LIMIT 10;
『Scaling Analytics @ Instagram: The power of deterministic sampling | by Analytics at Meta | Aug, 2024 | Medium』2024/8/21 3:11:00 https://medium.com/@AnalyticsAtMeta/scaling-analytics-instagram-the-power-of-deterministic-sampling-8ee7332d77ae