注册
登录
| 关键词： Hadoop Hortonworks 资料 架构 社群 程式 系统 平台 HDFS 伺服器 |
日本Hortonworks解决方案架构师蒋燚峰表示，Hadoop是美国Yahoo在2004年开发出来的大资料平台，在这10年之间变化非常大，现在的Hadoop平台上不再只是HDFS和MapReduce这两大系统而已， Hadoop也可以执行不同类型的资料处理流程，像是即时性（Real-time）、交互式（interactive）或是记忆体式（In-memory）的资料处理。他说，Hadoop社群贡献的程式码行数也在这两年间大幅暴增，反映出越来越多企业已经接受并采用Hadoop，这也将促使Hadoop平台的进化更快。 2011年美国Yahoo的Hadoop技术部门独立成Hortonworks公司，专门从事Hadoop大资料平台的开发和开源推广，并提供技术支援。 Hortonworks已从最初24名工程师，发展成为一家全球近800名员工的软体公司，并在去年底成为股票上市公司。目前Apache Hadoop开源专案中，有三分之一的核心开发者是Hortonworks的员工，Hortonworks也是贡献最多程式码的公司，是足以左右Hadoop发展的关键开发团队。 蒋燚峰表示，目前Hadoop主要演进聚焦在HDFS和YARN架构上。 HDFS（Hadoop Distributed File System）是Hadoop平台中的分散式档案系统，可用来提供高扩充性的储存架构，如日本Yahoo的Hadoop丛集多达上千台节点，HDFS储存容量也有近55PB。 YARN则是在Hadoop2.0版本中才出现的资源管理架构平台，能让Hadoop平台同时执行MapReduce、Spark等多个应用，并统一资源管理，实现多工作流。 「YARN可说是Hadoop2.0的代名词」他说。 近年HDFS的进化将聚焦于企业功能上，蒋燚峰表示，包括Namenode的HA高可用性架构、档案系统快照、HDFS和NFS串接闸道，以及资料加密机制等四大面向，例如2年以前，Hadoop丛集的Namenode只能部署在单一机器上，容易因当机而导致整套Hadoop失效，但是现在Hadoop已经可支援在两台伺服器上建立Namenode备援架构，当其中一台当机时，会自动启用另一台主机接手。档案系统快照功能则要能对整套分散储存系统进行快照，来执行资料保护与灾难备援。第三发展是让NFS网路硬碟能挂上HDFS系统，甚至能将HDFS上的资料夹串连到其他客户端伺服器上，让外部资料更容易自动复制到Hadoop平台内使用。资料加密机制则是要让使用者能指定一个 目标是打造出开放的企业级Hadoop Hortonworks目前主要产品是Hortonworks Data Platform（HDP），已可支援28个Hadoop平台上的不同套件或模组，蒋燚峰表示，最终目的是要打造出一个开放的企业级Hadoop产品（Open Enterprise Hadoop）。 蒋燚峰表示，HDP是唯一一个同时支持Linux和Windows的Hadoop产品，在治理面，资料从进到系统后的所有处理环节都经过统一的管理，Hortonworks提供专门做资料治理的Atlas服务，让企业用API串接HDP组件或外部工具，透过关键字搜寻到资料的每个来源，在维运面，透过统一仪表板介面管理上千台机器，也可提供自动预载功能，在云端服务平台上自动启动所需的VM。 不过，Hortonworks并非要开发出一套自有的Hadoop版本，蒋燚峰强调，HDP坚持采用百分之百的开源Hadoop版本，而不对社群版有任何客制化修改。 「Hortonworks修改的程式码都在Hadoop社群的基础架构与管理下开发，就像是Linux一样。」他说，没有任何一间公司可以超越整个社群的力量，也唯有将所有程式码都开源，所有合作伙伴才可以容易地让自家产品整合HDP。 若遇到Hortonworks协助导入的企业有客制需求时，蒋燚峰表示，也会将需求提供给Hadoop社群，或将自己修改的程式码贡献回社群，成为社群版本的功能，而不会变成私有功能。 |
|
声明：文章版权归原作者所有 部分文章转自互联网 如有侵权请联系
[邮箱地址] 删除
|
