Home > Kafka
  • 【案例】达达日志系统(一)收集

    背景 随着达达业务迅猛发展,访问量的节节攀升,每天产生大量的日志,单日日志量从原来的约20G/天涨到超过500G/天,我们面临着新的架构设计挑战。 在提出解决方案之前,我们先来了解一下达达当前的日志现状: 1. 日志种类繁多 需要收集的日志包含: Nginx的访问日志 Tomcat的访问日志 应用程序的业务日志 其他日志:移动App的日志,达达快递员位移的日志等等 2. 海量的日志记录,接近TB级别 随着系统功能越来越多,访问量的增长,记录的日志也越来越多,越来越大。高峰时期,单日日志文件大小超过500G,接近TB...
    阅读全文 →