你真的了解 OLAP 吗?

当提到 OLAP 技术 ,很多 技术人的第一反应 陈旧! 落伍! 今天我们来讲讲 技术圈对 OLAP 认知的四大误区。

误区1:OLAP 不适合大数据分析

传统的OLAP 技术确实存在数量限制,从几GB到几百GB。 此限制由服务器的设计或物理内存大小决定。在大数据处理中,存储在Hadoop平台上的数据通常为TB级甚至PB级。这比传统的OLAP可以处理的数据量要大很多。

Kyligence 对传统 OLAP 技术进行了重大革新,将 OLAP 模型构建任务基于 Hadoop 上的 Spark 或 MapReduce进行,其中 OLAP 模型本身以列式文件的形式存储在 Hadoop上。 Kyligence 数据模型可以增长到PB级,大多数情况下,查询延迟仍然低于1秒。 进一步优化可以提高OLAP 模型的构建速度,节省存储空间并提高查询速度。

例如,字节跳动在今日头条新闻服务的运营分析中使用 Apache Kylin 来帮助他们更好地为超过 1.2 亿的日常活跃用户提供服务。 根据Apache Kylin网站上所述,他们的OLAP Cube (在toutiao.com上)拥有超过2.4万亿的源记录。采用4+ TB存储(以及超过100 TB的源文件),大多数查询可以在不到1秒的时间内完成。相同的查询在Hive中需要耗费几个小时以上。

误区2: 构建和管理OLAP 模型很难

现实情况是,大多数熟悉Hadoop技术的数据工程师对 OLAP技术了解不多。另一方面,BI 世界中的大多数数据建模师并不熟悉Hadoop。Kyligence 提供 AI 增强的自动建模能力,可以大大缩短构建数据模型的学习曲线。

AI增强的自动建模

AI增强的自动建模将用户的查询作为输入并自动构建数据模型。用户可以导入SQL文件,粘贴SQL语句或从使用系统记录的查询历史。这些查询输入由机器学习算法分析,以识别度量,维度和表之间的关系。智能的引擎会自动修改模型定义以反映业务需求的调整,但通过查询训练一个初始的模型是我们推荐的平台使用出发点。

Kyligence不仅可以帮助用户构建数据模型,还可以帮助用户进行智能化的运维管理。随着时间的推移,Kyligence将分析模型的利用率并提出进一步优化。如果需要创建一个新的数据模型,Kyligence也会告知用户。

误区3: 只能在OLAP中查询聚合结果

在一些查询场景下,当业务人员深入查看汇总数据后,还希望查看原始数据。传统的 OLAP, 需要另一个查询工具来查看源数据库,但 Kyligence可提供智能查询路由,用户可以通过Kyligence Enterprise同时查询汇总结果和详细记录。

Kyligence是如何实现的呢?

  • 表索引:您可以将表索引视为源数据的本地缓存,与Hadoop文件系统中的OLAP模型存储在一起。

  • 查询下压:查询下压是将查询移交给Hive等大数据查询引擎以获取答案的过程。 以下是智能路由的逻辑示例:

误区4: 仅能绑定特定大数据分析工具

与传统的OLAP不同,Kyligence从一开始就以开放性为基础。Kyligence支持ODBC,JDBC,Rest API 和 MDX 查询。Kyligence 与所有主要的BI厂商合作,以提供最佳用户体验。在 2018 年 10 月,微软为 Kyligence发布了官方 PowerBI 连接器。

而在 2018 年 11 月,Kyligence与 Qlik 合作发布了Qlik 的 Kyligence 数据连接器。对于Tableau用户,Kyligence会自动将模型与Tableau同步,以避免重复工作和人为错误。此外Kyligence客户已在使用帆软、MicroStrategy 、Smartbi、 Cognos、OBIEE、BusinessObjects 等多种 BI 对接 Kyligence 平台实现大数据分析。

如果您最喜爱的 BI工具没有预先构建的Kyligence连接器,您可以通过BI工具使用我们的 ODBC 驱动程序连接 Kyligence,并立即体验提升的查询性能。

在本文中,我们重点讨论了人们对大数据多维分析,OLAP工具普遍存在的4大误区 。Kyligence 不仅为客户提供基于 Hadoop 的 OLAP 分析,也为企业提供统一的数据平台、数据融合架构、传统数据仓库迁移、云上数据湖构建等解决方案。

如您对于 Kyligence 场景化解决方案感兴趣,欢迎您报名即将在7月12日在上海召开的  Kylin Data Summit ,在峰会当天金融、制造、零售等多个行业的客户会现身说法,分享使用 Kyligence 的经验 (点击下方  阅读原文  ,了解大会详情)。

更多阅读

关于作者

康力,数据平台系统架构师,负责Kyligence 北美生态合作伙伴业务。

关于 Kyligence

Apache Kylin 在 PB 级别数据上带来了开创性的即时分析能力,并被全球超过1000多家企业所使用。由 Apache Kylin 核心团队创立的 Kyligence 公司的使命以自动化数据管理、发现、交互及洞察来为其客户提升生产效率。

Kyligence 获得了来自红点、思科、宽带资本、顺为资本、斯道资本(富达国际自有投资机构)及 Coatue Management 等投资机构的多轮投资,其全球客户包括欧莱雅、Xactly、招商银行及华为等。公司以双总部运营,中国总部位于上海,美国总部位于美国加利福尼亚硅谷圣何塞。

联系我们

网站:https://kyligence.io/

邮件:info@kyligence.io

电话: +86 21-61060928

点击下方“阅读原文”,报名参会

我来评几句
登录后评论

已发表评论数()

相关站点

+订阅
热门文章