首页 ›存档› 技术 › 查看内容

ApacheEagle：eBay开源分布式实时Hadoop数据安全引擎

2018-3-30 13:00 |来自: 互联网 377 0

摘要: 本文根据高效运维专家群友文章整理并发布。欢迎关注“高效运维”公众号，以抢先赏阅诚意满满的各种原创文章。作者介绍陈浩 Apache Eagle Committer 和 PMC 成员，eBay 分析平台基础架构部门高级软件工程师，负责 ...

本文根据高效运维专家群友文章整理并发布。欢迎关注“高效运维”公众号，以抢先赏阅诚意满满的各种原创文章。

作者介绍

陈浩

Apache Eagle Committer 和 PMC 成员，eBay 分析平台基础架构部门高级软件工程师，负责Eagle的产品设计、技术架构、核心实现以及开源社区推广等。

消息

日前，eBay公司隆重宣布正式向开源业界推出分布式实时安全监控方案：Apache Eagle，该项目已于2015年10月26日正式加入Apache基金会成为孵化器项目。

http://goeagle.io

Apache Eagle提供一套高效分布式的流式策略引擎，具有高实时、可伸缩、易扩展、交互友好等特点，同时集成机器学习对历史模型训练建立用户画像以实现智能实时地保护Hadoop生态系统中大数据的安全。

【小编补充】本文作者兼帅哥@陈浩同学将于 GOPS 2016 全球运维大会深圳站就此主题做专题演讲。这也是Apache Eagle首次公开演讲。如需报名参加本次大会，请查阅文末相关信息。

Eagle在eBay的使用场景

目前，Eagle的数据行为监控系统已经部署到一个拥有2500多个节点的Hadoop集群之上，用以保护数百PB数据的安全，并正计划于今年年底之前扩展到其他上十个Hadoop集群上，从而覆盖eBay所有主要Hadoop的10000多台节点。

在我们的生产环境中，我们已针对HDFS、Hive 等集群中的数据配置了一些基础的安全策略，并将于年底之前不断引入更多的策略，以确保重要数据的绝对安全。

目前，Eagle的策略涵盖多种模式，包括从访问模式、频繁访问数据集，预定义查询类型、Hive 表和列、HBase 表以及基于机器学习模型生成的用户Profile相关的所有策略等。

同时，我们也有广泛的策略来防止数据的丢失、数据被拷贝到不安全地点、敏感数据被未授权区域访问等。Eagle策略定义上极大的灵活性和扩展性使得我们未来可以轻易地继续扩展更多更复杂的策略以支持更多多元化的用例场景。

项目背景

随着大数据的发展，越来越多的成功企业或者组织开始采取数据驱动商业的运作模式。在eBay，我们拥有数千名工程师、分析师和数据科学家，他们每天访问分析数PB级的数据，以为我们的用户带来无与伦比的体验。在全球业务中，我们也广泛地利用海量大数据来连接我们数以亿计的用户。

近年来，Hadoop已经逐渐成为大数据分析领域最受欢迎的解决方案，eBay也一直在使用Hadoop技术从数据中挖掘价值，例如，我们通过大数据提高用户的搜索体验，识别和优化精准广告投放，充实我们的产品目录，以及通过点击流分析以理解用户如何使用我们的在线市场平台等。

目前，eBay的Hadoop集群总节点数据超过10000多个，存储容量超过170PB，活跃用户超过2000多。现在相关规模还在不断增长中，同时为了支持多元化需求，我们引入越来越多样的数据存储和分析方案，比如Hive、MapReduce、Spark和HBase等，随之带来的管理和监控的挑战越来越严峻，数据安全问题亦是其中最重要的之一。

大数据时代，安全问题开始变得空前的关键，特别eBay作为全球领先的电子商务公司，我们必须保证Hadoop中用户数据的绝对安全。

通常我们的安全措施根据如下几点：访问控制、安全隔离、数据分类、数据加密以及实时数据行为监控。

然而经过广泛的尝试和研究，我们意识到没有任何已经存在的产品或者解决方案，能够充分满足我们面临海量实时数据流和多元化用例场景下数据行为监控的需求。为了逾越这道鸿沟，eBay决定从头开始构建Eagle。

“Eagle 是开源分布式实时Hadoop数据安全方案，支持数据行为实时监控，能立即监测出对敏感数据的访问或恶意的操作，并立即采取应对的措施”

我们相信Eagle将成为Hadoop数据安全领域的核心组件之一，因此我们决定将它的功能分享给整个社区。

目前我们已经将Eagle捐赠给Apache软件基金会作为Apache孵化器项目开源，期望能够同开源社区一同协作开发，使得Eagle不断发展壮大，共同满足开源社区中更广泛的需求。

Eagle的数据行为监控方案可用于如下几类典型场景：

监控Hadoop中的数据访问流量
检测非法入侵和违反安全规则的行为
检测并防止敏感数据丢失和访问
实现基于策略的实时检测和预警
实现基于用户行为模式的异常数据行为检测

Eagle具有如下特点：

高实时：
我们充分理解安全监控中高度实时和快速反应的重要性，因此设计Eagle之初，我们竭尽可能地确保能在亚秒级别时间内产生告警，一旦综合多种因素确订为危险操作，立即采取措施阻止非法行为。
可伸缩：
在eBay，Eagle 被部署在多个大型Hadoop集群上，这些集群拥有数百PB的数据，每天有8亿以上的数据访问时间，因此Eagle必须具有处理海量实时数据的高度可伸缩能力。
简单易用：
可用性也是Eagle产品的核心设计原则之一。通过Eagle的Sandbox，使用者仅需数分钟便可以设置好环境并开始尝试。为了使得用户体验尽可能简单，我们内置了许多很好的例子，只需简单地点击几步鼠标，便可以轻松地完成策略地创建和添加。
用户Profile：
Eagle内置提供基于机器学习算法对Hadoop中用户行为习惯建立用户Profile的功能。我们提供多种默认的机器学习算法供你选择用于针对不同HDFS特征集进行建模，通过历史行为模型，Eagle可以实时地检测异常用户行为并产生预警。
开源：
Eagle一直根据开源的标准开发，并构建于诸多大数据领域的开源产品之上，因此我们决定以Apache许可证开源Eagle，以回馈社区，同时也期待获得社区的反馈、协作与支持。

Eagle概览

1. Eagle Architecture 数据流接入和存储（Data Collection and Storage）

Eagle提供高度可扩展的编程API，可以支持将任何类型的数据源集成到Eagle的策略执行引擎中。例如：

在Eagle HDFS审计事件（Audit）监控模块中，通过Kafka来实时接收来自Namenode Log4j Appender 或者 Logstash Agent 收集的数据；
在Eagle Hive 监控模块中，通过YARN API 收集正在运行Job的Hive查询日志，并保证比较高的可伸缩性和容错性。

2. 数据实时处理（Data Processing）

流处理API（Stream Processing API）：Eagle 提供独立于物理平台而高度抽象的流处理API，目前默认支持Apache Storm，但是也允许扩展到其他任意流处理引擎，比如Flink 或者 Samza等。

该层抽象允许开发者在定义监控数据处理逻辑时，无需在物理执行层绑定任何特定流处理平台，而只需通过复用、拼接和组装例如数据转换、过滤、外部数据Join等组件，以实现满足需求的DAG（有向无环图），同时，开发者也可以很容易地以编程地方式将业务逻辑流程和Eagle策略引擎框架集成起来。

Eagle框架内部会将描述业务逻辑的DAG编译成底层流处理架构的原生应用，例如Apache Storm Topology 等，从事实现平台的独立。

以下是一个Eagle如何处理事件和告警的示例：

StormExecutionEnvironment env =
ExecutionEnvironmentFactory.getStorm(config); // storm env
StreamProducer producer = env.newSource(new
KafkaSourcedSpoutProvider().getSpout(config)).renameOutputFields(1)
// declare kafka source
.flatMap(new AuditLogTransformer()) // transform event
.groupBy(Arrays.asList(0)) // group by 1st field
.flatMap(new UserProfileAggregatorExecutor()); // aggregate one-hour data by user
.alertWithConsumer(“userActivity“,”userProfileExecutor“) // ML policy evaluation env.execute(); // execute stream processing and
alert

告警框架（Alerting Framework): Eagle 告警框架由流元数据API、策略引擎服务提供API、策略Partitioner API 以及预警去重框架等组成:

流元数据API：允许用户声明事件的Schema，包括事件由哪些属性构成、每个属性的类型，以及当用户配置策略时如何在运行时动态解析属性的值等。
策略引擎服务提供API：允许开发者很容易地以插件的形式扩展新的策略引擎。WSO2 Siddhi CEP 引擎是Eagle 优先默认支持的策略引擎，同时机器学习算法也可作为另一种策略引擎执行。
扩展性：Eagle的策略引擎服务提供API允许你插入新的策略引擎