hadoop中Configuration类剖析

2014-12-12 21:58 1107 0

摘要: Configuration是hadoop中五大组件的公用类，所以放在了core下，org.apache.hadoop.conf.Configruration。这个类是作业的配置信息类，任何作用的配置信...

关键词： nbsp Configuration 配置信息迭代 hadoop 函数 Writable Iterable 接口

Configuration是hadoop中五大组件的公用类，所以放在了core下，org.apache.hadoop.conf.Configruration。这个类是作业的配置信息类，任何作用的配置信息必须通过Configuration传递，因为通过Configuration可以实现在多个mapper和多个reducer任务之间共享信息。类图说明：Configuration实现了Iterable和Writable两个接口，其中实现Iterable是为了迭代，迭代出Configuration对象加载到内存中的所有name-value键值对。实现Writable是为了实现hadoop框架要求的序列化，可以将内存中的name-value序列化到硬盘，关于这两个接口的具体实现的话，我想不用再多说了，应该想的明白。下面来详细的分析下Configuration的工作原理，包含配置文件的加载，获取配置信息和加载配置信息的原理，以及在使用过程中应该注意的事项。研究任何一个类首先从构造函数开始，就算是使用的单例，静态工厂得到对象也同样离不开Constructor。Configuration有三个构造函数12345678910111213141516171819202122232425262728293031323334353637383940public Configuration() { this(true); }/** A new configuration where the behavior of reading from the

声明：文章版权归原作者所有部分文章转自互联网如有侵权请联系 [邮箱地址] 删除