GPTQ（GPT Quantization）由 IST Austria 团队 2022 年提出，是基于近似二阶信息（Hessian 矩阵）的逐层后训练量化方法
大语言模型的后训练 INT4/INT3 量化方案，逐层补偿误差，无需重新训练即可实现 4-bit 量化且精度损失极小。
…这些"显著权重"对应的输入激活值较大 · 对显著权重保留 FP16，其他权重 INT4 · 通过 per-group scale 调整，避免精度损失 与 GPTQ 对比 维度GPTQAWQ 量化原理 二阶 Hessian 补偿 激活感知保留重要权重 速度 较慢（需要 Hessian 计算） 较快…
模型量化3 处…P32 / FP16）映射到低精度（INT8 / INT4 / 1-bit）的过程，目的是减少模型大小、降低显存占用、提升推理速度。 主要方案 方案 提出方 精度 特点GPTQ学术界 INT4 / INT3 后训练量化，逐层补偿误差 AWQ MIT-IBM INT4 激活感知，保留重要权重精度…
GGUF1 处…2024 成为端侧 LLM 部署事实标准 · 2025 持续扩展支持新模型架构（MoE / 多模态） 相关概念 · 模型量化 GPTQAWQ · llama.cpp · 端侧AI 所属：模型部署与优化…
…1. 模型托管与分发：Model Card / 模型评测 / GGUF / ONNX / SafeTensors / 分布式模型缓存 2. 推理优化：量化（GPTQ/ AWQ / GGUF）/ 推测性解码 / KV 缓存 / Flash Attention / 连续批处理…
模型部署与优化1 处…Hugging Face — 国际，但与中国生态深度互通 核心技术维度 1. 模型量化与压缩：INT4 量化 /GPTQ/ AWQ / GGUF / OneBit / 知识蒸馏 / 模型剪枝 2. 推理引擎核心算法：PagedAttention / Continuous Batching /…
