Logstash由浅入深

Logstash架构

  • 6.x版本的架构图

  • 数据流量走势图

  • Pipline

    • input-filter-output的第三阶段处理流程

    • 队列管理

    • 插件生命周期的管理

  • Logshash Event

    • 内部流转的数据表现形式

    • 原始数据在input被转换为Event,在output event被转换为目标格式数据

    • 在配置文件中可以对Event中的属性进行增删改查

Queue的分类

  • In Memory

    • 无法处理进程Crash、机器宕机的情况,会导致数据的丢失
  • Persistent Queue In Disk
    • 可以处理进程Cash,保证数据不丢失

    • 保证数据至少被消费一次

    • 充当缓冲区,可以暂时代替kafka消息队列的作用

  • 配置建议

    • queue.type.persisted 默认为memory

    • queue.max_bytes:4gb 队列存储的最大数据量

logstash插件

发表评论