2015年第三届大数据大赛完美收官，历时近四个月，13个赛题吸引了国内外近1440支队伍参赛，收到了近6000个算法结果跟创意方案。由4位潮汕小伙组成的华南理工大学cike队一举夺得海量“中文句式的句法精准分析”赛题冠军，海量大数据实践对他们进行了访谈。 “中国好创意”创新程序类句式海量赛题冠军队Cike分享在海量分享得奖心得 Q1.为什么选择海量提供的“中文句式的句法精准分析”这道赛题？ A1.首先，感谢海量公司提供这样一道有意思的赛题：判断句子的句法实际上涉及到句子中的语义倾向的判定，而我们知道，中文的语义分析一直是一个很有挑战性的问题。 “中文句式的句法精准分析”这个题目要求参赛者将口语化的中文文本分类为疑问句、否定句和陈述句。这个命题看起来简单，因为看到这个问题很直观地就会想用关键词比如“不”等来判定否定句，用疑问词类似“吗”等判定疑问句。但是在我们深入思考后发现这个赛题并没有那么简单，用关键词局限性很大，因为有些句子含有“不”词，但是却不是否定句。要真正解决这个问题需要用到语义学习相关知识。 我们对于语义学习这一领域也有着浓厚的兴趣。如果能够让计算机像人类理解文章一样去理解一个文档，而不是仅仅局限于理解其统计学上的特征，这将是人工智能领域一大突破。而当前语义学习算法也有着相当大的商业价值。很多公司在做品牌舆情分析时，会从各大社交平台获取其品牌相关评论文本。分析用户蕴含在这些文本中的情感，得到当前该品牌的有用信息。 海量句式赛题让我们实验室一些理论成果在实际应用中得到一种检验。因此我们组选择了赛题“中文句式的句法精准分析”。 Q2.在赛题实现过程中，遇到过哪些问题？通过什么方式解决的呢？ A2.我们首先想到的方法也是采用词库的方法，用否定词与疑问词对文档进行判定。我们通过观察数据集得到了一系列的词形成词库。当我们实现了第一个版本之后，我们发现效果并不理想。因为很多否定词有多种含义，比如“不管”既可以表达否定，也可以作为连词。很多疑问词也有这种现象。 为了处理这种现象，我们发现一个词是否能够作为特征判断句子的句法，不仅与其本身含义有关，还与其上下文相关。不同的词在表现出不同含义的时候有着不同的搭配。因此我们提出了一个多元组模型，将词语的上下文考虑进来。这种方法可以突破传统的词库法，可以反映出句子的浅层语义，因此相比于原来的方法有着显著的提高。 然而，我们比赛的最终模型也是有一定问题的。我们的方法还是无法达到真正“理解”句子语义的效果。因此，我们的后续工作是，采用深度学习的方法，再采用相关的语言学模型进行训练，最后得到一个能够“理解”句子的判定模型。 Q3.你们的赛题解题方法哪些方面体现了创意呢？ A3.算法的创新之处在于将文档中各个成分之间的关系以及句子结构考虑进来，并根据文档中情感倾向相关的特征采用混合分类模型进行分类。从统计学的角度，我们的算法解决了词语多义性的问题；从中文语法的角度，我们通过构建决策树来处理特殊句型。通过结合SVM和决策树的混合模型，能够更好地解决这一次赛题中遇到的问题。 Q4.你们的团队分工是怎样的？ A4.团队来自于华南理工大学的Computational Intelligence and Knowledge Engineering实验室，团队成员全部来自华南理工大学软件学院。四位团队成员的分工分别是：类模型设计、代码实现；分类模型设计、可视化展示；并行模型设计；实验预处理部分代码实现。 团队四人恰好都是潮汕人，讨论过程中普通话、潮汕话互相切换讨论，外人都听得云里雾里的，只有我们自己明白，也算是本次比赛中奇特有趣的一点。 Q5.你们心目中的最佳大数据应用是什么样的？你们认为好的大数据应用应该具备怎样的特征呢？ A5：我们认为好的大数据应用应该具备高速、鲁棒性和增量等特征。针对日益巨大的数据，一个好的大数据应用应该在付出较低成本的情况下保证高速的数据获取速度和数据处理速度，并能够有效地，处理和管理这些数据，从中挖掘出潜在的价值和信息。 而针对更新迅速的数据，一个好的大数据应用应确保模型稳定和高效。此外，一个好的大数据应用应该能够将用户或市场反馈的信息用于增量学习，以便能够更适应用户的需求。 本文转载自：微信公众账号 - 海量大数据实践，版权归原作者所有！ |
|
声明：文章版权归原作者所有 部分文章转自互联网 如有侵权请联系
[邮箱地址] 删除
|
注册
登录
