标签:flume

大数据

flume日志收集系统架构设计

flume日志收集系统架构设计
    flume是当下最为流行的日志收集工具,还有很多同类型的产品原理大多与flume相同,具体可参考:http://www.ttlsa.com/log-system/scribe-chukwa-kafka-flume-log-system-contrast/。本文会假设你已经...

Jenner 1年前 (2016-07-14) 7992℃ 1评论 2喜欢

Hadoop

flume+hive处理日志

flume+hive处理日志
翻译自:http://www.lopakalogic.com/articles/hadoop-articles/log-files-flume-hive/ 现在的情况是,你被告知需要设计一套方案,用来处理公司所有的日志文件。当然,业务用户希望他们可以通过可以想象到的方式对这些数据...

Jenner 3年前 (2015-04-01) 11890℃ 0评论 3喜欢

开源软件

flume日志收集系统搭建

flume日志收集系统搭建
flume原理简介 flume是Apache的一款开源日志收集软件。在flume中,主要有三个重要的角色:source、channel和sink。source负责收集日志,日志可以是来自任何地方,例如socket,本地文件等等。sink负责将收集来的日志处理掉,处理的方法同样可以...

Jenner 3年前 (2015-03-27) 11726℃ 0评论 0喜欢