JSONL（JSON Lines）是一种文本数据格式，也被称为换行符分隔的 JSON（Newline-delimited JSON, NDJSON）或行分隔 JSON（Line-delimited JSON, LDJSON）。它专门用于存储和处理每行一个独立的 JSON 对象的数据集。
JSONL 的核心概念
JSONL 的设计理念非常简单：
- 每行一个 JSON 对象： 文件中的每一行都是一个完整的、独立的 JSON 值（通常是一个 JSON 对象或数组）。
- 换行符分隔： 不同行之间的 JSON 对象通过换行符
\n 进行分隔。
- 无逗号分隔： 与传统的 JSON 数组不同，JSONL 文件中的每行 JSON 对象之间没有逗号分隔。
为什么需要 JSONL？
传统的 JSON 文件通常包含一个大的 JSON 对象或一个包含多个对象的 JSON 数组。这种结构在处理小型数据集时很好，但对于大型数据集或需要流式处理的场景，JSONL 具有显著优势：
- 内存效率高： 处理 JSONL 文件时，不需要将整个文件加载到内存中。你可以逐行读取和处理数据，这对于处理大数据集非常有用，尤其是在内存有限的环境中。
- 流式处理友好： JSONL 文件可以轻松地进行流式读取和写入。这使得它非常适合实时数据处理、日志文件记录和数据管道。
- 易于追加： 新的记录可以简单地追加到文件的末尾，而无需解析和重写整个文件。
- 并行处理： 由于每行都是独立的 JSON 对象，JSONL 数据可以很容易地分割并进行并行处理。
- 与 Unix 工具兼容： JSONL 文件可以很好地与 Unix 风格的文本处理工具（如
grep、awk、sed）和 Shell 管道配合使用。
JSONL 与传统 JSON 的区别
| 特性 |
传统 JSON |
JSONL (JSON Lines) |
| 结构 |
通常是一个大的 JSON 对象或一个包含多个对象的数组。 |
每行一个独立的 JSON 对象（或任何有效的 JSON 值）。 |
| 分隔符 |
对象和数组元素之间使用逗号 , 分隔。 |
行之间使用换行符 \n 分隔，行内无逗号分隔。 |
| 文件整体 |
整个文件通常是一个有效的 JSON 结构。 |
整个文件本身不是一个有效的 JSON 数组，但每行都是。 |
| 使用场景 |
适用于小型、静态的数据集；配置 S 文件；API 响应等。 |
适用于大型、流式、需要逐行处理的数据集；日志文件；大数据处理；机器学习模型训练数据。 |
| 处理方式 |
通常需要一次性加载并解析整个文件。 |
可以逐行读取和处理，无需一次性加载整个文件。 |
JSONL 示例
这是一个 JSONL 文件的示例：
{"name": "Alice", "age": 30, "city": "New York"}
{"name": "Bob", "age": 25, "city": "San Francisco"}
{"name": "Charlie", "age": 35, "city": "London"}
在这个例子中，每一行都是一个独立的 JSON 对象，它们之间通过换行符分隔。
JSONL 的应用场景
JSONL 广泛应用于以下领域：
- 日志文件： 记录结构化的日志事件，方便后续分析。
- 大数据处理： 在数据管道中传输和存储大量记录，例如 Spark、Hadoop 等。
- 机器学习： 存储训练数据集，许多机器学习框架（如 TensorFlow、PyTorch）支持直接读取 JSONL 格式的数据。
- 数据导出/导入： 数据库或系统之间的大批量数据迁移。
- 流式 API： 当 API 需要返回大量记录并希望客户端能够逐条处理时。
总结
JSONL 是一种简洁而强大的数据格式，特别适合处理需要高效流式处理或内存受限的大型数据集。它通过将每个 JSON 对象放置在单独的行中，并使用换行符进行分隔，从而实现了简单性和可伸缩性。