kserve

KServe 是一个基于 Kubernetes 的机器学习模型服务框架，支持以 Kubernetes CRD 的形式将单个或多个经过训练的模型（例如 TFServing、TorchServe、Triton 等推理服务器）部署到模型服务运行时，使得模型的部署、更新和扩展变得更加简单快捷。