bigdata

本文介绍大数据相关的概念、软件、环境部署和使用等。大数据分析的挑战包括采集数据、数据存储、数据分析、搜索、共享、传输、可视化、查询、更新、信息隐私和数据源等。

Kafka 是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。本文介绍 Kafka 的安装部署与使用方法。

ElasticSearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于 RESTful web 接口。本文介绍 ElasticSearch 安装使用。

Filebeat 是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat 会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读），并且转发这些信息到 elasticsearch 或者 logstarsh 中存放。本文介绍 Filebeat 安装部署。

Fluentd是比logstash和filebeat更轻量级的日志采集工具。本文介绍Fluentd安装使用方法。

Kibana 是一套分析与可视化平台，构建于Elasticsearch之上，旨在帮助用户更好地实现数据理解。

Logstash是一个具有实时流水线功能的开源数据收集引擎，Logstash可以动态地统一来自不同数据源的数据，并将数据规范化到您所选择的目的地，对于各种高级的下游分析和可视化用例清理和统一化所有的数据。本文介绍 Logstash 安装使用。

随着 Kafka 3.3+ 版本的发布，KRaft 模式（去 ZooKeeper 模式） 已经成为生产就绪的标准。本文介绍基于 Docker Compose 部署 3 节点 Kafka KRaft 集群 的方案，以及生产环境中高频使用的维护命令。

ElasticSearch 索引文件随时间大的吓人，服务器需要定期清理索引，本文介绍自动清理 ElasticSearch 索引方法。