作者：新华三集团 丁远普
相比其他编程语言，SQL更简洁、易用。随着大数据的兴起，用户希望通过SQL来操作Hadoop，而不是通过编程的方式，由于这种急迫的需求，SQL on Hadoop引擎大量涌现。 SQL on Hadoop引擎的种类 第一类是在计算引擎（如MapReduce/Spark）之上覆盖SQL层，由SQL层负责SQL的解析、优化，最终转换成计算引擎的任务进行分布式处理，如Hive、Spark SQL等； 第二类是抛开了计算引擎，采用类MPP架构，自己做分布式计算，这类引擎更似一种专用引擎，如Impala、HAWQ、Presto、Drill等； 第三类是专用SQL引擎，如Phoenix，专门为HBase提供SQL支持，正是这种专一的目标，使其成为查询HBase性能最好的SQL引擎； 第四类是**分析引擎，如Apache Kylin，数据分析之前先进行**建模（创建数据立方体），以空间换取时间的方式加速数据查询；第五类则是最近兴起的流式SQL，使用SQL来处理流数据； 第五类则是最近兴起的流式SQL，使用SQL来处理流数据。 SQL on Hadoop引擎应用场景 OLAP场景 联机分析处理OLAP（On-Line Analytical Processing）支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。典型的应用就是复杂的动态的报表系统。OLAP的应用场景有如下特点： 数据更新实时性要求不高； 数据量大； 动态查询。 这类场景是分析类场景不涉及到数据的insert、update、delete操作，可选的SQL引擎有Hive、SparkSQL、Impala、Presto、Drill、HAWQ、Kylin。 2 OLTP场景 联机事务处理OLTP（on-line transaction processing）主要是执行日常的事务处理，比如数据库记录的增、删、改、查，如在线内容推荐系统等。OLTP应用有如下特点： 1）实时性要求高； 2）确定的SQL操作； 3）较高的事务要求。 这类场景涉及到对数据频繁的insert、update、delete操作，推荐HBase和Phoenix配合使用。 全文更多内容请点击“阅读原文”…… 新华三依托先进的IT技术助推新经济 推动国家实现强国富民，与有荣焉。 点击阅读原文，带你走进新IT的世界 本文转载于微信公众号: 新IT解决方案(H3C-NewIT)，更多微信文章请扫描关注公众号: |
|
声明：文章版权归原作者所有 部分文章转自互联网 如有侵权请联系
[邮箱地址] 删除
|
注册
登录
