博客 & 分享

记录技术探索、论文阅读与生活感悟

工程实践 2026-04-10 · 12 min

从零部署大模型:TensorRT-LLM 实战指南

详细记录了将 7B 参数大模型通过 TensorRT-LLM 部署到生产环境的完整流程,包括量化策略选择、推理优化和性能调优。

阅读全文 →