inference

AI 模型显存占用计算 (Memory/VRAM Usage)主要分为推理（Inference）和训练（Training）两种情况

理解 LLM 的资源占用主要分为两个方面：1. 显存占用 (Memory Footprint)：模型在运行时（推理或训练）需要占用多少内存（通常是 GPU 的 VRAM），这是决定需要多大显存的 GPU 的关键。2. 计算量 (Computational Cost)：模型进行一次完整的计算需要多少次浮点运算（FLOPs），这决定模型的运行速度。

模型在线服务和离线推理实现