南京绿林国际酒店欢迎您!

企业级技术与大数据BI

时间:2020-07-08 12:28

企业级技术与大数据BI是专著《Big Data Fundamentals: Concepts, Drivers Techniques》的第4章。作者将该部分分为7个部分:(1)OLTP;(2)OLAP;(3)ETL;(4)DW;(5)Data market;(6)传统BI;(7)大数据BI。

在一个如同分层系统来执行业务的企业里,战略层限制战术层,战术层限制操作层。各层之间能达到和谐一致是通过各种度量和绩效指标来实现的,这些度量和绩效指标指导操作层如何去处理业务。

这些度量聚合起来,再赋予一些额外的意义,便成为了关键绩效指标。关键绩效指标是战术层赖以评价公司绩效或者业务执行的关键。

关键绩效指标会与其它用来评估关键成功因素的度量相关联起来,最终这一系列丰富的度量指标便对应着由数据转化为信息,信息转化为知识,知识转化为智慧。

OLTP系统是一个处理面向事务型数据的软件系统。”联机事务”这个术语意指实时完成某项活动。OLTP系统存储经过规范化的操作数据,这些数据是结构化数据的一个常见来源、是分析处理的输入。大数据分析结构可以增强存储在底层RDB的OLTP数据。

OLAP系统处理数据分析操作。OLAP对BI、DM和机器学习重要。它们与大数据有关联,因为它们既能作为数据源,也能接收数据。OLAP可用于诊断性分析、预测性分析、规范性分析。

OLAP系统会存储一些聚集起来且去结构化的、支持快速汇报能力的历史数据。它们进一步运用了一些多维数据结构来存储历史数据的数据库,同时有基于多领域数据之间的关系来回答复杂操作的能力。

ETL表示了DW被喂食数据的主要过程。一份大数据解决方案是围绕着ETL的特征集来的,将各种不同类型的数据进行转换。

一个DW是一个由历史数据与当前数据组成的中央的、企业级的仓库。数据库常常被BI用来运行各种各样的分析操作,并且它们经常会与一个OLAP系统交互来支持多维分析操作。

从不同的业务系统而来的多数商业实体相关的数据会被周期性地E、T、L,最终合并到一个单独的去规范化的DB。由于有着来自于整个企业周期性的数据输入,一个给定的DW中的数据量会持续性地增长,导致数据分析任务的反映越来越慢。因此,DW往往包含被称为分析型DB的经过优化的DB,来处理报告与数据分析的任务。一个分析型DB能作为一个单独的关系系统存在,例如一个ILAP。

DM是存储在DW里的一个数据子集。DM术语一个分公司、一个部门、特定的业务范围。DW可以有多个DM。

传统BI主要使用描述性和诊断性分析来为历史活动或现今活动提供数据。并不智能,因为智能为正确格式的问题提供答案。可以正确阐述问题需要对商务事务和数据本身的理解。BI通过即席报表、仪表板对不同关键绩效指标作报告。

一次即席报表的重点在于它是基于商业中的一个特定领域的,比如他的营销管理、供应链管理。生成的特定汇报是具有丰富细节的,在性质上通常呈现扁平化风格。

仪表板会提供关键商务领域的全局视野。展示在仪表板中的信息有着实时或近实时的周期性间隔,仪表板中的数据展示是图表状。

DW和DM含有来自整个企业的商务实体的经过归一和验证过的信息。传统的BI在离不开DM,因为DM含有BI为了汇报用途所需的经过优化和独立的数据。如果没有DM,每运行一个操作=基于ETL从DW中临时E。增加成本。

传统BI用DW、DM进行汇报、数据分析,因为它们允许带了多重连接及聚合复杂分析操作的实现。

大数据BI通过对DW中干净的、统一的、企业范围的数据进行操作,并将之与半结构化、非结构化的数据源结合起来,且基于传统BI来建构。它同时包含了预测性分析、规范性分析,来加快上午绩效的企业级理解。

传统BI分析关注单个业务流程,big data BI关注同时处理多重业务进程给。有利于从更广角度揭露企业内的模式、异常。用以前未知的、深入的洞察性视角和信息来实现Data Mining。

大数据BI对存储在企业级DW中的非结构化、半结构化、结构化数据进行analysis。这need新型特征和technology的下一代DW,存储辣子不同源的统一数据格式的干净数据。