第3页谢先斌的博客

LMDeploy 由 MMDeploy 和 MMRazor 团队联合开发，是涵盖了 LLM 任务的全套轻量化、部署和服务解决方案。

Envoy XDS 介绍

预训练的大语言模型（LLM）可能无法完全满足特定用户需求，因此需要通过微调来提升其在特定任务中的表现。通过微调，模型能够更精准地适应用户的具体应用场景。本文为您介绍微调 LLM 时的策略选择（SFT/DPO）、微调技术（全参/LoRA/QLoRA）以及超参说明，旨在帮助实现模型性能的最佳优化。

SGLang 是一个用于大型语言模型（LLMs）和视觉语言模型（VLMs）的快速服务框架。

RLE（Run-Length Encoding）是一种简单且经典的无损数据压缩算法。它的核心思想是，对于一串连续出现多次的相同数据，用一个计数值和该数据本身来替代，从而达到压缩的目的。例如，字符串 “AAABBC” 经过 RLE 编码后可以表示为 “3A2B1C”。

本文系统地分析和讲解 Linux 的逻辑卷管理器 (LVM)，并提供一个清晰的实战教程。

NGFF（Next Generation Form Factor）协议，现通常被称为 M.2，是一种为固态硬盘（SSD）、Wi-Fi、蓝牙、全球导航卫星系统（GNSS）等设备设计的物理接口和规范。

kgateway 是一个基于 Envoy 的 Kubernetes 原生 API 网关

Envoy 提供了一个本地管理接口，该接口可用于查询和修改服务器配置

envoy 安装部署

验证当 golang httputil.ReverseProxy 代理的后端服务（Backend Server）没有启动或无法连接时，发往代理的请求是否会被代理服务缓存，等待后端恢复后再转发？结论是：不会。

Local Path Provisioner 为 Kubernetes 用户提供了一种利用各个节点上本地存储的方法。根据用户配置，Local Path Provisioner 会在节点上自动创建基于 hostPath 或 local 的持久卷（Persistent Volume）。

本文介绍在 ModelScope 社区下载模型的三种方式：1. 使用命令行工具下载；2. 使用 SDK 下载；3. 通过 Git 下载

KServe 是一个基于 Kubernetes 的机器学习模型服务框架，支持以 Kubernetes CRD 的形式将单个或多个经过训练的模型（例如 TFServing、TorchServe、Triton 等推理服务器）部署到模型服务运行时，使得模型的部署、更新和扩展变得更加简单快捷。

Litestar 是一个功能强大、灵活且高性能的 Python ASGI 框架。它的设计灵感来源于 NestJS（一个流行的 NodeJS 框架），并大量借鉴了 FastAPI 的成功经验，但在架构和功能上做出了自己的选择和优化。

在复杂的 Python 项目中，尤其是在机器学习和数据科学领域，管理配置信息往往是一项艰巨的任务。从简单的键值对到需要根据不同环境（开发、测试、生产）动态调整的复杂层次结构，传统的配置文件方式（如 INI、JSON）常常显得力不从心。OmegaConf 应运而生，它是一个强大而灵活的 Python 配置管理库，旨在简化这一过程，并提供前所未有的灵活性和安全性。

Python dataclasses 是 Python 3.7 引入的一个模块，它提供了一个装饰器 @dataclass，可以自动为类生成一些特殊方法，例如 __init__, __repr__, __eq__ 等。这使得创建只用于存储数据的类变得非常方便，大大减少了模板代码。

ko 是一个为 Go 应用程序设计的简单、快速的容器镜像构建器。它非常适合以下用例：镜像中只包含一个 Go 应用程序，并且对操作系统基础镜像的依赖很少或没有（例如，没有 cgo，没有操作系统软件包依赖）。

UPX 是一种非常流行的、针对 Golang 构建产物的压缩工具，它的压缩率通常很高。

使用 Redis 实现令牌桶限流是一个常见且高效的方法。它的核心思想是利用 Redis 的原子性操作来管理令牌的生产和消费，从而保证在高并发场景下的正确性。