Protocol Buffer(缩写Protobuf)是Google开发的一种跨语言、跨平台、可扩展的机制,用于序列化结构化数据。类似于XML,但是更小、更快和更简单。它是Google内部主要的数据交互格式。
介绍
发展历史
- 名称来自代码的类名
ProtocolBuffer
proto1:2001年出在Google内部开发和使用
proto2:2008年开源,独立后不依赖任何Google内部代码
proto3:(当前主流版本)2016年开源,整合了很多的意见和建议,提高开发效率。但不兼容之前版本
特点
- 支持多种语言,如 C++、Java、Python、Objective-C、C#、Ruby、Go、PHP、Dart
- 性能高:压缩率高,速度快
- 具有向后兼容的特性,更新
.proto 文件后,老版本依旧可以兼容(设计之初期望解决的问题)
- 最主流的
IDL(interface description language)
什么是序列化
序列化 是指将 数据结构 或 对象状态 转换成可取用(存储或网络传输)格式,以留待后续在相同或另一台计算机环境中,能恢复原先状态的过程
反序列化 是其逆操作的过程
常见的序列化格式包括:yaml、json、xml、protobuf等。
安装 protoc compiler
protoc(Protocol Compiler) 编译器
- 新版本参考安装(推荐)
- 安装包解压后放到
bin + include 目录(父目录为 /usr/local)
unzip protoc-xx.x-linux-x86_64.zip -d /usr/local
include 的文件也可以通过 protoc -I/usr/local/include 指定
源码安装
参考
- Golang 安装部署配置
$GOPATH/$GOBIN
- 二进制安装
protoc (protoc compiler)
直接到 github 下载,注意选择合适的版本
ubuntu 包安装
apt update
apt install protobuf-compiler golang-goprotobuf-dev
安装 protoc 插件
- protoc 插件本质是一个命令行工具,根据 proto 文件,生成目标代码
- 插件可执行文件命名格式
protoc-gen-$NAME,默认安装在某个 PATH 下(如 /usr/local/bin/),可以直接执行
- 当
protoc 命令中有 --${NAME}_out 参数时,会调用上述格式为 protoc-gen-$NAME 的插件
--${NAME}_out 参数控制传递给插件的 参数 和生成文件输出目录,并且是以 ${OPTION},${OPTION}:${OUT_PATH} 的形式
- 新的参数
--${NAME}_opt 专门来负责参数传递,区分开了两个功能
- 即
--${NAME}_out=${OPTION},${OPTION}:${OUT_PATH} 等价于 --${NAME}_out=${OUT_PATH} --${NAME}_opt=${OPTION},${OPTION}
示例:
protoc --go_out=. --go_opt=paths=source_relative \
--go-grpc_out=. --go-grpc_opt=paths=source_relative \
proto/demo.proto
说明:
- protoc 执行时,调用
protoc-gen-go 和 protoc-gen-go-grpc 两个插件
- 且均传递了参数
paths=source_relative
protoc-gen-go
安装 protoc-gen-go
export GO111MODULE=on
export GOPROXY=https://goproxy.io,direct
go install google.golang.org/protobuf/cmd/protoc-gen-go@latest
# old version
go get -u github.com/golang/protobuf/{proto,protoc-gen-go}
使用
以 proto3 为例(参考官方go示例)Protobuf 使用时,一般的步骤: