onnxに変換して量子化するコマンド
2023/12/2 9:38:00
python3 -m transformers.onnx --model=sentence-transformers/paraphrase-multilingual-mpnet-base-v2 onnx/ --opset=18
optimum-cli onnxruntime quantize --onnx_model ./onnx --output onnx_quantize/ --arm64
あれ
2024/4/6 22:30:00
!pip install --upgrade onnx
!pip install onnxruntime-gpu
!pip install optimum
!optimum-cli export onnx --model google/mt5-small onnx/
!optimum-cli onnxruntime quantize --onnx_model ./onnx --output onnx_quantize/ --arm64
あれ
2023/12/2 15:24:00
500MBあるBERTをONNXに変換した後に量子化したら110MBほどになってLambdaで動かせるようになった。
Githubに乗せるファイルは100MB以下でないとだめなので、ダメ押しでgzipで圧縮したら75MBになった。