構築ログ VRAM 8GBで動くのは7Bまで、14B Q4_K_Mには10.4GB必要|公式GGUFサイズとKVキャッシュから計算し、実測で22.5倍の速度差が出た
ローカルLLMの必要VRAMを「GGUF実サイズ+KVキャッシュ+オーバーヘッド」に分解し、Qwen2.5の3B〜72Bで計算。Q4_K_Mの実効ビット数は4.0ではなく約4.9。同じPCで7Bと14Bを回した実測105件では生成速度に22.5倍の差が出た。
構築ログ
EA検証
構築ログ
EA検証
EA検証