ProtoBuf

1. 介绍

Protocol Buffers(简称Protobuf)是由Google开发的一种用于数据序列化技术。与传统的XML和JSON相比，Protobuf具有更高的性能和更小的消息体积，特别适用于需要高效数据交换的场景

Protocol Buffers 是一种与语言无关、与平台无关的可扩展机制，用于序列化结构化数据。

它类似于 JSON，但体积更小、速度更快，并且会生成本机语言绑定。您只需定义一次希望如何对数据进行结构化，然后即可使用特殊生成的源代码轻松地将结构化数据写入各种数据流并从中读取数据，并使用各种语言。

Protocol Buffers 是定义语言（在 .proto 文件中创建）、proto 编译器生成的与数据交互的代码、特定于语言的运行时库以及写入文件（或通过网络连接发送）的数据的序列化格式的组合。

protobuf使用非常广泛，如很多平台的视频、直播间弹幕流即是使用这种技术传输，如有需要，还可对序列化消息进行gzip压缩，进一步减少消息体积，节省带宽，提高传输速度

1.1特点

速度快：Protobuf在序列化与反序列化数据时速度极快
占空间小：Protobuf序列化后的二进制数据非常小，可节省大量的存储和带宽
跨平台：Protobuf支持多种编程语言(常见的几乎都支持)，兼容性好
易扩展：使用.proto文件定义数据结构(包括字段类型、默认值和验证规则等)，添加新内容时，也可以轻松做到，不会破坏现有系统
简单易用：只需专注.proto数据结构文件的编写，对应的序列化与反序列化代码可自动生成

1.2使用场景

分布式系统：各服务之间需要频繁地进行数据交换，Protobuf可以显著提高通信效率
存储和持久化：Protobuf能节省很多存储空间，常用于日志记录、配置文件和数据持久化
移动应用：在网络带宽和存储空间有限的情况下，Protobuf能更好地提高性能

2.Proto

proto是protobuf定义数据结构的一种格式，用.proto后缀的文件保存，使用proto编译器可以把对应的proto结构编译为各目标语言的序列化与反序列化代码库

2.1 简单的使用模拟

使用proto语法(规则)定义我们的数据结构，保存在.proto后缀的文件内
使用proto编译器编译.proto文件，指定要编译成目标语言环境(Java、Python等)
- 结果将会生成对应语言的一个代码文件(内包含对应数据序列化与反序列化相关操作的类或函数)
接着使用生成的代码文件即可

2.2Proto语法

首先，先看一则消息结构，如下：

syntax = "proto3";

message Student {
  string id = 1;
  string name = 2;
  int32 age = 3;
}

proto3表示使用的proto版本，如不如上指明，编译器会默认为proto2
message Student表示定义一个名为Student的消息结构
{}内为消息的字段，采用类型字段名 = 编号;的形式描述

2.2.1字段类型

proto的类型主要有三类：标量类型、枚举或复合类型(如其它消息类型)

2.2.1.1标量类型

一个标量消息字段可以含有一个如下的类型——该表格展示了定义于.proto文件中的类型，以及与之对应的、在自动生成的访问类中定义的类型：

.proto Type	Notes	C++ Type	Java Type	Python Type[2]	Go Type	Ruby Type	C# Type	PHP Type
double		double	double	float	float64	Float	double	float
float		float	float	float	float32	Float	float	float
int32	使用变长编码，对于负值的效率很低，如果你的域有可能有负值，请使用sint64替代	int32	int	int	int32	Fixnum 或者 Bignum（根据需要）	int	integer
uint32	使用变长编码	uint32	int	int/long	uint32	Fixnum 或者 Bignum（根据需要）	uint	integer
uint64	使用变长编码	uint64	long	int/long	uint64	Bignum	ulong	integer/string
sint32	使用变长编码，这些编码在负值时比int32高效的多	int32	int	int	int32	Fixnum 或者 Bignum（根据需要）	int	integer
sint64	使用变长编码，有符号的整型值。编码时比通常的int64高效。	int64	long	int/long	int64	Bignum	long	integer/string
fixed32	总是4个字节，如果数值总是比总是比228大的话，这个类型会比uint32高效。	uint32	int	int	uint32	Fixnum 或者 Bignum（根据需要）	uint	integer
fixed64	总是8个字节，如果数值总是比总是比256大的话，这个类型会比uint64高效。	uint64	long	int/long	uint64	Bignum	ulong	integer/string
sfixed32	总是4个字节	int32	int	int	int32	Fixnum 或者 Bignum（根据需要）	int	integer
sfixed64	总是8个字节	int64	long	int/long	int64	Bignum	long	integer/string
bool		bool	boolean	bool	bool	TrueClass/FalseClass	bool	boolean
string	一个字符串必须是UTF-8编码或者7-bit ASCII编码的文本。	string	String	str/unicode	string	String (UTF-8)	string	string
bytes	可能包含任意顺序的字节数据。	string	ByteString	str	[]byte	String (ASCII-8BIT)	ByteString	string

默认值：当解析消息时，如果编码的消息不包含某些元素，则访问解析对象中的相应字段将返回该字段的默认值，默认值相关于类型：

对于字符串，默认值为空字符串
对于字节，默认值为空字节
对于布尔值，默认值是false
对于数字类型，默认值是0
对于枚举，默认值是第一个定义的枚举值，它必须是0

2.2.1.2枚举

定义一个类型，值为预定义值列表中的一个值

如下，是一个枚举参考：

enum Week {
  MONDAY = 0;
  TUESDAY = 1;
  WEDNESDAY = 2;
  THURSDAY = 3;
  FRIDAY = 4;
  SATURDAY = 5;
  SUNDAY = 6;
}

每个枚举都需要一个常量(32位整数范围内)
第一个需要为零

保留值：定义完一个枚举后，之后某个时间点可能由于业务需要，要修改其结构，或删除一些项，如果仅是注释掉或直接删除，会导致枚举的常量值不连续，后续其它开发者可以使用这些值新增其它枚举项，如果他们后续又加载相同.proto的旧版本，可能会导致严重的问题(如数据损坏等)

为了防止这种问题发生，我们可以用reserved将这些删除项的常量值声明为保留值，防止后续开发者使用。

enum Test {
  reserved 3, 5, 7 to 12, 37 to max;
  reserved "FIR", "CAR";
}

reserved后跟保留内容
数字表示保留常量
字符串表示保留字段名称
to用于连接连续的一段值
max表示指定常量数字范围的最大可能值
同一个reserved语句中不能同时混合字段名称和数字值

2.2.1.3其它消息类型

表示用message定义的其它消息类型

2.2.1.4嵌套消息

消息除了一个个定义，还可嵌套定义，如下：

message UserInfo {
  message Avatar {
    string url = 1;
    string date = 2;
  }
  string nickname = 1;
  string sign = 2;
  Avatar avatar = 3;
}

在消息内部定义的消息，即为嵌套消息，内部可通过其名称直接使用
外部如想使用嵌套消息，可通过_Parent_._Type_的形式引用，如：UserInfo.Avatar

如果想用其它.proto文件内定义的类型，可在文件头使用import文件路径导入指定文件使用

2.2.1.5映射

使用关键字map创建、声明，配对键/值字段类型

形式为：map<key, value> name = N;

key可以是数字或字符串类型(即除了浮点数和 bytes 外的所有标量类型)
value可以是任何类型，处理另一个map

举例一个映射如下

message Request {
  string url = 1;
  map<string, string> headers = 2;
}

2.2.2字段编号

定义消息字段时，必须给每个字段都分配一个编号，数值在1到536,870,911之间

给定的数值必须在该消息的所有字段中唯一
编号19,000至19,999为Protobuf实现保留，不可用
不可使用reserved定义的保留值

建议使用1到15的数字设置常用字段，因为它们只需一个字节进行编码，16之后的数字至少需要两个字节

2.2.3字段标签

用于声明在定义字段的类型前，起到某种作用

required：表示字段为必填字段，创建消息时，必须设置该字段的值
optional：表示字段是可选字段，创建消息时，可设置值也可不设置，消息接收方如可识别，则对应处理，如不可识别则忽略
repeated：表示该字段可重复0~N个，保留重复值的顺序，即相当于一个数组、列表】

2.2.4保留字段

与上方枚举提到的用法类型，通过reserved定义保留编号和保留字段名称

2.2.5注释

proto采用与C/C++同样式的注释方法：//或/* … */

2.3包

为了防止协议消息类型之间的名称冲突，可以在.proto文件中添加可选的package说明符

package foo;
message Test { ... }

定义消息类型的字段时可带上包说明符foo.Test bar = 1;

在编译为不同语言时，会做不同处理，如：对于java解析为java中的包，对于C++则解析为名称空间

3. 下载与安装

下载地址：github.com

选择合适的版本，下载到本地并解压到合适的目录，解压后文件夹中包含bin、include文件夹以及readme.txt。

将解压后的bin文件夹中的文件添加到环境变量中。

输入命令：

protoc --version

显示版本信息即安装成功。

4. 使用protobuf

.proto文件并不能直接使用，我们需要将其编译成对应编程语言的序列化工具代码，从而进行使用

这一步，我们需要使用上方安装的protoc对.proto文件进行编译，protoc是一个命令行工具，主要使用步骤就是在命令行中通过命令调用protoc对目标进行编译。

具体protoc的命令，可在命令行中，通过protoc --help命令，获取其部分命令解释。

例子：

新建文件example.proto，内容如下：

syntax = "proto3";

message Student {
string id = 1;
string name = 2;
int32 sex = 3;
int32 age = 4;
string address = 5;
}

在当前目录输入命令：

protoc --java_out=. example.proto

命令表示将example.proto编译为java代码，输出目录为.(即当前目录)

命令运行完成后，会在当前目录生成一个Example.java的文件，我们可在java程序内使用它对我们的消息进行序列化和反序列化

ProtoBuf#

1. 介绍#

1.1特点#

1.2使用场景#

2.Proto#

2.1 简单的使用模拟#

2.2Proto语法#

2.2.1字段类型#

2.2.1.1标量类型#

2.2.1.2枚举#

2.2.1.3其它消息类型#

2.2.1.4嵌套消息#

2.2.1.5映射#

2.2.2字段编号#

2.2.3字段标签#

2.2.4保留字段#

2.2.5注释#

2.3包#

3. 下载与安装#

4. 使用protobuf#

参考#