SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints

AI 要約

Amazon SageMaker InferenceがNVIDIA Multi-Instance GPU（MIG）をサポートし、1つのGPUをハードウェア分離されたパーティションに分割して複数モデルを同時実行できるようになった。これにより、モデルのサイズに適したGPUリソースを割り当てることが可能となり、GPU利用率の最大化とコスト効率の向上が期待できる。MLエンジニアやAWSユーザーがSageMakerでモデルをデプロイする際、2つのAPIフィールドを設定するだけで利用可能となる。