大数据的价值越来越多地被人们认识到，并进行创新应用。随着信息技术的飞速发展，大数据时代已然来临，数据背后所隐藏的商业价值正逐渐引发人们的高度重视，产业资本的大举进入将有助于大数据产业的快速发展，在通信、商业、政治团体、医疗等各行各业中，数据无孔不入。经过分析处理后的大数据商业价值颇高，仅通过单个公司的业务渠道进行商业化变现，无法实现其商业价值最大化，大数据产业链不仅需要开发者和使用者，还需要依赖于大数据生态圈的开放形态。 某移动运营商企业数据中心多租户开放平台建设项目 某移动运营商自2014年起启动企业数据中心建设，目前已建成具备海量数据存储与处理能力的企业级数据中心，已接入B域、O域部分重点数据，支撑实现流量经营、客户满意度研究等专题应用。伴随着更多的租户接入、更大量的数据处理及数据管控需求、外部伙伴数据开放的合作意愿增长、实时营销处理场景应用逐渐增多，多租户数据中心对外开放能力升级迫在眉睫。 在原有企业数据中心基础上，形成一个企业级数据中心，两个Hadoop集群（生产集群和服务集群），一个数据交换中心，实现数据、平台安全、统一运营维护和多租户数据管理优化。 生产集群侧重BOM域的数据处理、存储功能以及对内数据提供；服务集群侧重对加工处理后的数据对外服务过程及管理；数据交换中心构建实时数据采集，针对多租户提供实时数据服务。
通过API服务提供对内数据和能力的开放，支撑数据中心多租户数据开发。
建设数据能力共享平台，在保证数据安全性的基础上，和企业外部客户建立合作共赢模式，提供多种技术组件，服务组件服务能力。
实现集群化部署，完善数据安全、平台安全能力，支持系统统一运维支撑。 主要技术要点：
采用Flume计算框架，实现文件和消息采集与解析；采用流式爬虫、中文分词、图片识别技术，实现互联网网页信息实时采集；采用FTP文件方式实现对数据文件的采集；采用Socket消息方式实现对消息数据的采集；采用sqoop方式实现将数据库数据装载到HDFS文件系统。
引入Hadoop 技术，在1个集群上承载批处理和流处理，基于Yarn资源管理可最大效率利用资源，实现消峰填谷。引入内存数据库，结合Storm，实现基于事件的实时动态营销。 在数据中心中，SPARK会承担越来越多的计算任务，节点数量会大幅增加，考虑到更好的开放性和资源共享能力，引入OC-SPARK来支持标签库、自助分析等应用； OC-SPARK的SQL引擎为SPARKSQL，在SPARKSQL无法支撑的业务逻辑场景下，可采用Scale实现； Mllib是SPARK对常用的机器学习算法实现库，为数据中心提供海量数据的机器学习能力，标签库中一些算法是基于Mllib实现的。 通过R语言完成MapReduce算法，数据中心中数据挖掘平台提供的挖掘能力基于该模块实现。 Redis是一个开源的可基于内存的Key-Value数据库，数据中心指标信息会存放在该数据库中，另外为保证对外数据服务的实时性，将结果数据存放在Redis中提供对外数据服务能力。 Kafka是分布式发布-订阅消息系统，数据中心对外提供的实时消息服务通过Kafka来实现。 通过技术创新将数据生产与数据服务分离，为企业级数据中心平台多租户提供开放式运营服务，成就同行业企业级大数据中心平台领先地位，可作为运营商数据中心平台建设技术导向。 建立一套面向多租户、开放式的大数据能力开放与管控平台，通过系统层监控运维能力支撑超大集群，提高系统稳定性，减少运维成本。 完善大数据生态链，提供多种数据开放形式和运营手段，实现各种信息资源在企业内外部不同主体间的共享和互操作能力。
华信咨询设计研究院有限公司，最迅捷感知信息化建设、运营价值链中不断变化的需求，提供全国范围内的工程咨询、设计、系统集成、EPC总包、代建、招标代理等服务。 网址：http://www.hxdi.com 本文转载于微信公众号: 华信咨询设计研究院(ctdigest)，更多微信文章请扫描关注公众号: |
|
声明：文章版权归原作者所有 部分文章转自互联网 如有侵权请联系
[邮箱地址] 删除
|
注册
登录
