第 6 章 Q4　量子化の導入判断｜「AI 開発してます」を見極める 10 の質問

Q4. 量子化の導入判断

モデルを量子化（INT8やINT4など）してデプロイした経験はありますか？品質が落ちないか確認するとき、どんなチェックをしていますか？
出典: @voidwarriorchan の投稿（2026-08-25）

この章で分かること

「量子化」がモデルの中で具体的に何を変えているのか（重みと活性値、それぞれのビット幅の意味）
ファイルサイズが小さくなることと、実際の応答が速くなることは別問題である理由
量子化と相性の良いGPUと悪いGPUがあること
品質劣化を測る具体的な指標（perplexity・KL divergence・ベンチマーク）と、その限界
面接でこの質問への回答から何を見極められるか

この質問は何を聞いているのか

この質問は2つの文でできている。前半の「モデルを量子化（INT8やINT4など）してデプロイした経験はありますか」は、モデルの数値表現を粗くしてから、実際に本番で動く推論サーバーに載せた経験を聞いている。量子化（quantization）とは、モデルの重み（学習によって決まった大量の数値パラメータ）を保存するときの精度を、通常使われる16bitや32bitの浮動小数点数から、8bit（INT8）や4bit（INT4）といった粗い整数値（あるいはFP8のような8bitの浮動小数点）に置き換える技術のことだ。INT8は256段階、INT4は16段階でしか数値を表せない——つまり量子化とは、数値の解像度を意図的に落とす作業である。

後半の「品質が落ちないか確認するとき、どんなチェックをしていますか」は、その代償として起きる出力の劣化を、感覚ではなく具体的な指標と手順で確認しているかを聞いている。つまりこの質問は、①メモリと計算コストを削るために数値表現を圧縮した実務経験があるか、②その副作用を定量的に測る規律を持っているか、を一度に確認できる。どちらも、自分で推論基盤（vLLMやTensorRT-LLMなど）を運用した経験がないと具体的には答えづらい内容になっている。

量子化とは、何をしていることなのか

公式ドキュメントの定義をまとめると、量子化は「モデルの重みと活性値を、より小さいデータ型で表現することで、推論にかかる計算コストとメモリコストを下げる技術」である。ここでいう活性値（activation）とは、入力されたトークン（= モデルが文章を扱う最小単位）がモデルの中を流れていく途中で生まれる、一時的な計算結果のことだ。重みは学習が終われば固定される数値、活性値は入力ごとに毎回変わる数値、という違いがある。

公式が挙げる効果は3つある。①メモリ削減——同じGPU（＝大量の掛け算を並列に行う計算チップ。LLMの推論はほぼGPU上で動く）でもより大きなモデルを載せられる。②コスト削減——1台のGPUで同時に処理できるリクエスト数が増え、1件あたりの単価が下がる。③高速化——ただしこれは「特にメモリの読み込み速度が律速するワークロードで」という条件付きであり、次の節で詳しく見る。

実務では「W4A16」「W8A8」のような表記がよく出てくる。Wは重み（Weight）、Aは活性値（Activation）のビット幅を表す。W4A16は「重みだけ4bit、計算そのものは16bitのまま」、W8A8は「重みも活性値も8bitにして、計算自体も8bitのまま行う」という意味だ。この2つは仕組みも効果もまったく違う——詳しくは次節で扱う。

「4bitまで削って、なぜ文章が書けるのか」という疑問は自然だが、根拠はいくつかある。学習済みモデルの重みの分布はゼロを中心にした釣鐘型に近く、もともと粗い数値でも表現しやすい形をしている。さらに、重みの中には出力への影響がほとんど無いものが大量にあり、少数の「重要な重み」だけ精度を残せば劣化を大きく抑えられることも分かっている。実務で使われるアルゴリズムはこの性質を別々の形で使う。AWQは活性値の統計から「重要な重み」を見つけてその精度を守る手法、GPTQは重みを1つ丸めるたびに生じた誤差を、まだ丸めていない残りの重みを少し動かして打ち消していく手法である。学習をやり直さずに、学習済みの重みへ量子化を適用するこのやり方はPTQ（post-training quantization、学習後量子化）と呼ばれ、本章で扱う手順はすべてこれにあたる。

「軽くなる」と「速くなる」は別問題

推論には大きく2つの段階がある。プロンプトを読み込んで最初の1語を作るまでの「読み込み段階（prefill）」と、そこから1語ずつ書き出していく「書き出し段階（decode）」だ。読み込み段階は大量の計算を一気に行うため演算能力そのものが律速になる（compute-bound）。一方、書き出し段階は1回あたりの計算量は小さいのに、巨大な重みを毎回メモリから読み出す必要があり、メモリの転送速度が律速になる（memory-bound）。

ここに量子化の効き方の分かれ目がある。W4A16のような「重みだけ」の量子化は、GPU上で行列の掛け算そのものを4bitのまま実行するわけではない。専用の低精度演算回路が無い場合、重みは計算の直前に16bitへ戻され（逆量子化）、通常の精度で計算される。つまり減っているのは「メモリから読み出すデータ量」だけで、演算量そのものは変わらない。これに対してW8A8やFP8（8bitの浮動小数点。整数のINT8と違い小数点の位置を動かせる形式）のように活性値も量子化する方式は、低精度のまま専用の演算回路（8bit行列積カーネル）を使えるため、メモリの転送と演算の両方を減らせる（図6-1）。

図 6-1　重みだけ4bitにしても、実際の掛け算はGPU上で16bitに戻してから行われる。読み込むデータ量は減るが、演算量そのものは変わらない。

この違いは、同時に処理するリクエスト数（バッチサイズ）を増やしたときに顕著に表れる。NVIDIAが公式に公開しているLlama-3.1-8Bの測定（H200 GPU、TensorRT-LLM v0.15、入力2,048トークン・出力128トークン、2026-08時点の公開値）では、重みだけを4bitにするINT4 AWQは、リクエストが1件のときはBF16（量子化しない場合）の1.33倍速いが、8件を同時に処理するとむしろ0.75倍——量子化しない方が速い——まで落ち込む（図6-2）。バッチが増えるほど演算の比重が増し、「読み込みだけ減らす」量子化の効果が薄れるためだ。同じ条件でFP8（重みと活性値の両方を量子化）は、1件でも64件でも1.3倍以上を保っている。

図 6-2　NVIDIA Model Optimizerの公式ベンチマーク（H200、TensorRT-LLM v0.15、2026-08時点）。同ページは「ピーク性能ではない」と注記している。横軸は等間隔の区分（実測点はバッチ1・8・64の3点のみ）。INT4 AWQはバッチ1で1.33倍速いが、バッチ8では0.75倍まで沈む。FP8はどのバッチでも1.3倍以上を保つ。

ここから実務上の教訓が導ける。論文やベンダーが示す「◯倍速い」という数値は、その実装・GPU・バッチサイズでの値でしかない。低い同時実行数でレイテンシを優先するならW4A16、高い同時実行数でスループットを優先するならW8A8やFP8、というのが分かれ目であり、実際に自分のワークロード（バッチサイズや同時接続数）で測り直さない限り、数字だけを信じるのは危うい。

GPUの世代によって使える形式が変わる

量子化形式が実際に低精度のまま計算されるかどうかは、GPUの世代（コンピュート・ケイパビリティと呼ばれる世代番号）に強く依存する。FP8で重みと活性値の両方を本来の速度で計算できるのは、Ada世代（RTX 40番台やL4など）とHopper世代（H100など）以降で、それより古いAmpere世代（A100など）では専用回路が無いため「重みだけ量子化（W8A16）」に自動でフォールバックしてしまう。一方でINT8は、vLLMの公式ドキュメントに「INT8 is not supported on compute capability >= 10.0」と明記されているとおり、最新のBlackwell世代のGPUでは使えない（図6-3）。

図 6-3　vLLM公式ドキュメント（2026-08時点）に基づく対応表。○は本来の低精度のまま計算、△は重みだけ量子化（W8A16／W4A16）へ自動で降格、×は非対応。TensorRT-LLMではAmpereのFP8とBlackwell以外のNVFP4は非対応になるなど、推論エンジンによって表は変わる。

2026-08時点の公式ドキュメントで実務の目安を整理すると、次のようになる。世代を確認せずに形式だけを選ぶと、「量子化したのに専用回路が使われず速くなっていない」という状態に気づけないまま本番に出してしまう。

GPU世代	推奨する形式	避ける形式	出典
Ampere以前（A100など）	INT8（W8A8）またはINT4（W4A16）	—	vLLM対応表
Ada／Hopper（RTX 40番台・H100など）	FP8（W8A8）	—	vLLM対応表
Blackwell	FP8またはNVFP4（NVIDIAがBlackwell世代向けに定めた4bit浮動小数点形式）	INT8	vLLM int8_w8a8.md

品質が落ちていないかは、どう測るのか

もっとも基本的な指標はperplexity（PPL）である。これは「次の1トークンを当てるとき、モデルが実質何択で迷っていたか」を表す数値で、低いほど良い。ただし公式ドキュメントは重要な注意を添えている。PPLは異なるモデル同士を比べる絶対スコアではなく、同じモデルのFP16版と量子化版という「同じ土俵」の中で差分を見るための指標だ、という点である。

PPLだけでは見えない劣化を捉えるために使われるのがKL divergence（2つの確率分布がどれだけ離れているかを表す量。0に近いほど量子化前後の出力分布が同じ）と、「Same top p」（量子化前後で、モデルが1位に選ぶトークンが一致した割合）だ。llama.cppが公式に公開している実測（Llama 3 8BをQ4_K_Mという定番の4bit形式で量子化、Wikitext-2で測定）では、PPLの悪化は+0.18（6.23→6.41）にとどまるのに、Same top pは91.9%だった。つまり平均するとほぼ同じに見えても、およそ12トークンに1回（計算例: 100% − 91.9% = 8.1%）はFP16版と違うトークンを1位に選んでいる。長い文章を生成するほど、この小さなズレが積み重なっていく。

もう一つの落とし穴は、平均スコアだけを見ることだ。Red Hat AIが公開するMeta-Llama-3.1-8B-Instructのw4a16（INT4）版の公式モデルカードでは、標準ベンチマーク群の平均は98.9%（OpenLLM v1）／96.1%（OpenLLM v2）まで品質が保たれているが、v2の内訳を見ると多段推論タスクMuSRだけは83.2%まで落ちている。多言語についても、Cohereの研究では日本語の自動指標の低下が平均1.7%にすぎないのに、人間が実際の応答を評価すると16.0%の劣化として現れた。自動指標は劣化を過小評価しやすい。

だからこそ、品質チェックは1回のベンチマークで終わらせず、段階を踏んで確認するのが公式の手順に沿ったやり方になる（図6-4）。それでも品質が足りなければQAT（quantization-aware training、量子化の誤差を織り込んでモデルを学習し直す方法。コストが大きい）に進む。

図 6-4　1回のベンチマークで「合格」と判断せず、疎通・標準ベンチ・自社データ・本番構成・本番監視の5段階を順に通す。途中で精度不足が分かれば前段の設定に戻る。

実務では何をするのか

Anthropic社やOpenAI社のAPIには、利用者が量子化を指定するパラメータは存在しない。量子化ライブラリの公式ドキュメントはすべて「自分でモデルファイルを用意し、自分の推論サーバーに載せる」という、サーバーを起動する側の手順として書かれており、量子化の指定はサーバーを起動する側のオプション（例えばvLLMの--quantization）として実装されている。つまりこの質問に実体験で答えられるのは、vLLMやTensorRT-LLMなどを使って自前でモデルを動かした経験がある人に限られる。

自前ホスティングでの経路は大きく2つある。1つ目は、すでに量子化済みの状態で配布されているモデルファイルをそのまま使う方法だ。Hugging Face上には量子化済みモデルのコレクションが公開されており、モデル名を指定するだけでサーバーが自動的に量子化設定を読み取って起動する。

vllm serve "RedHatAI/Meta-Llama-3.1-8B-Instruct-quantized.w4a16"

2つ目は、自分のモデルとデータで量子化をかける方法だ。手順はおおむね共通していて、①モデルを読み込む、②キャリブレーション（calibration）データ（重みや活性値の分布からスケール＝量子化の目盛りを決めるための少量のサンプル）を用意する、③量子化アルゴリズムを適用する、④vLLM上で精度を評価する、の4段階になる。公式が推奨するキャリブレーションデータの量は128〜512サンプル程度で、本番で実際に入ってくるデータの分布に近いものを使うほど精度が保たれやすい。FP8のように活性値を動的に量子化する方式では、キャリブレーションを省いても比較的品質が保てるとされている。

品質チェックは、疎通確認（量子化したモデルを読み込んで1文生成できるか）から始め、標準ベンチマークで比較する。標準ベンチマークの実行にはlm-evaluation-harness（EleutherAIが公開する評価ツール。コマンド名はlm_eval）を使う。

lm_eval --model vllm \
  --model_args pretrained=$MODEL,add_bos_token=True \
  --tasks gsm8k --num_fewshot 5 --batch_size auto

ここで注意したいのは、動作確認のために件数を絞るオプション（--limit）は公式ドキュメント自身が「テスト用」と明記していることだ。採否の最終判断は全件で行う必要がある。標準ベンチマークを通ったら自社のタスク・データで回帰テスト（量子化前にできていたことができなくなっていないかを、自社の実データで確かめるテスト）を行い、最後に本番と同じ起動構成（同じGPU世代・同じバッチ設定）のサーバーに対して評価をかけ直す。オフラインで測った数値と、本番構成で測った数値はずれることがあるからだ。本番投入後は、最初の1トークンが出るまでの時間（TTFT: time to first token）と、トークンごとの生成間隔（ITL: inter-token latency）、KVキャッシュの使用率（vLLMの/metricsが出すvllm:kv_cache_usage_perc）を継続的に監視し、量子化前と比べて悪化していないかを確認する。

なお、重みの量子化とは別に、会話履歴などを保持するKVキャッシュ（過去のトークンの計算結果を再利用するための一時メモリ）を量子化するという選択肢もある。こちらはスケールをキャリブレーションせずに使うと精度が落ちやすいため、重みの量子化とは別軸の判断として扱う必要がある。

回答を見極めるポイント

良い回答に含まれる要素

重み（W）と活性値（A）を区別して話し、「重みだけ量子化しても演算量そのものは減らない」ことを理解している
「速くなるのはメモリ読み込みが律速する場面（同時実行数の少ないdecode）」と条件を付けて説明し、バッチサイズが増えると効果が変わることまで踏み込んでいる
GPUの世代によって使える形式が変わることを踏まえて選んでいる（Blackwell世代でINT8を選ばない、など）
品質チェックが単発のベンチマークで終わらず、疎通確認から本番監視まで段階を踏んでいる
平均スコアだけでなく、タスクごと・言語ごとの劣化差にも触れている
数値を語るときにGPU世代やバッチサイズといった条件を添え、論文やベンダーの数値を鵜呑みにしていない

弱い回答のサイン

「4bitにすれば4倍速い」のように、ビット数の削減と速度をそのまま比例させて話す
「量子化はモデルを読み込むだけで済む」と言い、推論エンジン側の専用演算回路の話が出てこない
「perplexityが少し上がっただけだから問題ない」と平均値だけで判断し、タスクごとのばらつきに触れない
APIを使った話しかしていないのに「量子化して速くした」と語る（量子化はサーバー起動側の設定であり、API利用者には選択肢がない）

深掘り質問の例

量子化した後、BF16版とはどの指標で比較しましたか（perplexity・KL divergence・ベンチマーク・実タスクのどれですか）
バッチサイズや同時接続数を変えて性能を測り直したことはありますか
キャリブレーションデータには何を使いましたか。本番の入力分布とどれくらい近いものでしたか
精度が想定より落ちたとき、どのように対処しましたか

つまずきポイント

「メモリを4分の1にしたのだから速度も4倍になるはず」と思い込む。実際には重みだけの量子化はバッチサイズが増えると効果が薄れ、条件によっては量子化しない場合より遅くなることさえある。

チェックポイントを事前に用意せず、起動時にその場で変換する「オンライン量子化」の速度をそのまま本番の性能だと思い込む。この方式は手軽な反面、公式ドキュメントも速度改善が限定的だと明言している。本番の性能比較は事前に量子化したモデルで行う。

最新世代のGPUだから何でも高速に動くと思い込み、GPU世代と量子化形式の相性を確認しない。長年の定番だったINT8が、最新世代では非対応になっている場合がある。

perplexityの悪化が小さいことだけを根拠に「品質は保たれている」と判断する。平均では軽微でも、複数ステップの推論や特定の言語だけ大きく劣化している場合があり、自社の実タスクで確認しないと見抜けない。

理解度チェック

Q1. 「W4A16」と「W8A8」は何が違いますか？

Wは重み、Aは活性値（各トークンを処理する途中の計算結果）のビット幅を表す。W4A16は重みだけを4bitにし、実際の計算は16bitに戻して行う。W8A8は重みと活性値の両方を8bitにし、計算そのものも8bitのまま行える。

Q2. 量子化したモデルが、量子化していないモデルより遅くなることがあるのはなぜですか？

重みだけの量子化は、メモリからのデータ読み込みを減らすだけで演算量そのものは変えない。同時に処理するリクエスト数（バッチサイズ）が増えると演算の比重が増し、読み込みを減らす効果が薄れる。実測では、あるモデルでバッチ8のときINT4量子化がBF16の0.75倍まで速度が落ちた例がある。

Q3. perplexityの差が小さいだけでは品質チェックとして不十分な理由は何ですか？

perplexityは同じモデルのFP16版と量子化版を比べる差分の指標であり、モデル間の絶対的な優劣を示すものではない。また平均値としては小さくても、複数ステップの推論や特定の言語だけ大きく劣化している場合があり、平均だけでは見抜けない。

Q4. 最新のBlackwell世代のGPUで量子化モデルを動かすとき、避けたほうがよい形式は何ですか？

INT8。公式ドキュメントで、一定以上の世代のGPUではINT8が非対応であると明記されている。代わりにFP8やNVFP4を検討する。

Q5. AnthropicやOpenAIのAPIを使うだけの開発者が、この質問に実体験で答えにくいのはなぜですか？

量子化の指定は推論サーバーを起動する側の設定として実装されており、API利用者にはその操作自体が存在しないため。量子化の判断が発生するのは、vLLMなどを使って自前でモデルを動かす場合に限られる。

まとめ

量子化は重みや活性値の数値表現を粗くしてメモリと計算コストを下げる技術で、重みだけを量子化するか活性値も量子化するかで効き方がまったく違う
速くなるのは主にメモリ読み込みが律速する場面に限られ、バッチサイズが増えると重みだけの量子化は効果が薄れる（遅くなることさえある）
GPUの世代によって、同じ量子化形式でも本来の低精度のまま動くか、より高精度な計算にフォールバックするかが変わる
品質チェックはperplexityやKL divergenceといった指標に加え、自社タスクでの回帰テストと本番監視まで段階を踏んで行う必要がある

次章では、複数のリクエストをどうまとめて捌くか——Continuous Batchingの仕組みを見ていく。

Q4 量子化の導入判断