Pruning LLMs Like a Physicist: Block Removal as an Ising Optimization Problem

AI 要約

この研究は、大規模言語モデル（LLM）の不要なブロック（層）を除去するプルーニング手法を、物理学のイジングモデルに基づく最適化問題として定式化したものです。従来のプルーニングは経験則や単純な重要度スコアに頼っていましたが、本手法はブロック間の相互依存関係を考慮した組み合わせ最適化として扱います。これにより、モデルの精度を維持しながら効率的にサイズを削減できる可能性があり、LLMの推論コスト削減や軽量化を目指す研究者・エンジニアに恩恵をもたらします。