大数据分析

大数据分析

大数据分析是指对规模巨大的数据进行分析。大数据可以概括为4个V , 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、真实性(Veracity)。大数据作为时下最火热的IT 行业的词汇,随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临,大数据分析也应运而生。

目录

1 大数据分析与2014巴西世界杯

2 分析步骤

3 工具介绍

4 发展状况

5 应用案例

大数据分析与2014巴西世界杯

2014巴西世界杯于7月14日凌晨落下帷幕,德国战车1:0战胜阿根廷,第四次捧起大力神杯。

与往届世界杯不同的是:数据分析 成为巴西世界杯赛事外的精彩看点。伴随赛场上球员的奋力角逐,大数据也在全力演绎世界杯背后的分析故事。一向以严谨著称的德国队引入专门处理大数据的足球解决方案,进行比赛数据分析,优化球队配置,并通过分析对手数据找到比赛的“制敌”方式;谷歌、微软、Opta 等通过大数据分析预测赛果...... 大数据,不仅成为赛场上的“第12人”,也在某种程度上充当了世界杯的" 预言帝" 。

大数据分析邂逅世界杯,是大数据时代的必然发生,而大数据分析也将在未来改变我们生活的方方面面。

分析步骤

大数据分析的五个基本方面

1. Analytic Visualizations(可视化分析)

不管是对数据分析专家还是普通用户,数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据,让数据自己说话,让观众听到结果。

2. Data Mining Algorithms(数据挖掘算法)

可视化是给人看的,数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部,挖掘价值。这些算法不仅要处理大数据的量,也要处理大数据的速度。

3. Predictive Analytic Capabilities(预测性分析能力)

数据挖掘可以让分析员更好的理解数据,而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。

4. Semantic Engines(语义引擎)

我们知道由于非结构化数据的多样性带来了数据分析的新的挑战,我们需要一系列的工具去解析,提取,分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。

5. Data Quality and Master Data Management(数据质量和数据管理)

数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。

假如大数据真的是下一个重要的技术革新的话,我们最好把精力关注在大数据能给我们带来的好处,而不仅仅是挑战。

工具介绍

数据仓库有

Teradata AsterData, EMC GreenPlum, HP Vertica 等等。

数据集市有

QlikView 、 Tableau 、 Yonghong Data Mart 等等。

Yonghong Data Mart 是基于自有技术研发的一款数据存储、数据处理的软件。针对客户需要处理需求数据的量级不同,IT 系统架构的不同和存储系统的不同,提供了两种解决方案供客户选择一种本地模式,一种是MPP 模式。当需要处理的数据量级别处于TB 级以下,或者采用普通存储结构,或者单机已经足够满足性能需求,建议用户选择本地模式。当面对异构数据库存储系统,需要处理的数量级别在TB 级和PB 级以上,或者IT 系统和存储系统采用分布式,或者需要MPP 模式才能满足性能需求,基于分布式架构的并行处理模式更适合客户的需求。

Yonghong Data Mart底层技术:

1. 分布式计算

2. 分布式通信

3. 内存计算

4. 列存储

5. 库内计算

前端展现

用于展现分析的前端开源工具有JasperSoft ,Pentaho, Spagobi, Openi, Birt等等。

用于展现分析商用分析工具有Cognos, BO, Microsoft,

Oracle,Microstrategy,QlikView 、 Tableau 、 国内永洪科技 Yonghong Z-Suite 等等。

发展状况

开源大数据

1. Hadoop HDFS、Hadoop MapReduce, HBase、Hive 渐次诞生,早期Hadoop 生态圈逐步形成。

2. Hypertable是另类。它存在于Hadoop 生态圈之外,但也曾经有一些用户。 一体机数据仓库

IBM PureData(Netezza), OracleExadata, SAP Hana等等。

应用案例

2014年6月28日,奥地利研究人员发表研究公报称,通过对多家网上博彩公司长期以来的赔率、各球队的历史表现和近期球员伤病情况进行大数据分析,他们预测东道主巴西队问鼎世界杯胜算较大。

奥地利因斯布鲁克大学与维也纳经济大学的研究人员推出了一套“博彩共识模型”。根据这套大数据分析模型,巴西队问鼎本届世界杯的几率为22.5%,阿根廷队为15.8%,德国队为13.4%。从数据上看,东道主夺冠的胜算大大超过其他国家队。

大数据分析

大数据分析是指对规模巨大的数据进行分析。大数据可以概括为4个V , 数据量大(Volume)、速度快(Velocity)、类型多(Variety)、真实性(Veracity)。大数据作为时下最火热的IT 行业的词汇,随之而来的数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临,大数据分析也应运而生。

目录

1 大数据分析与2014巴西世界杯

2 分析步骤

3 工具介绍

4 发展状况

5 应用案例

大数据分析与2014巴西世界杯

2014巴西世界杯于7月14日凌晨落下帷幕,德国战车1:0战胜阿根廷,第四次捧起大力神杯。

与往届世界杯不同的是:数据分析 成为巴西世界杯赛事外的精彩看点。伴随赛场上球员的奋力角逐,大数据也在全力演绎世界杯背后的分析故事。一向以严谨著称的德国队引入专门处理大数据的足球解决方案,进行比赛数据分析,优化球队配置,并通过分析对手数据找到比赛的“制敌”方式;谷歌、微软、Opta 等通过大数据分析预测赛果...... 大数据,不仅成为赛场上的“第12人”,也在某种程度上充当了世界杯的" 预言帝" 。

大数据分析邂逅世界杯,是大数据时代的必然发生,而大数据分析也将在未来改变我们生活的方方面面。

分析步骤

大数据分析的五个基本方面

1. Analytic Visualizations(可视化分析)

不管是对数据分析专家还是普通用户,数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据,让数据自己说话,让观众听到结果。

2. Data Mining Algorithms(数据挖掘算法)

可视化是给人看的,数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部,挖掘价值。这些算法不仅要处理大数据的量,也要处理大数据的速度。

3. Predictive Analytic Capabilities(预测性分析能力)

数据挖掘可以让分析员更好的理解数据,而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。

4. Semantic Engines(语义引擎)

我们知道由于非结构化数据的多样性带来了数据分析的新的挑战,我们需要一系列的工具去解析,提取,分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。

5. Data Quality and Master Data Management(数据质量和数据管理)

数据质量和数据管理是一些管理方面的最佳实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。

假如大数据真的是下一个重要的技术革新的话,我们最好把精力关注在大数据能给我们带来的好处,而不仅仅是挑战。

工具介绍

数据仓库有

Teradata AsterData, EMC GreenPlum, HP Vertica 等等。

数据集市有

QlikView 、 Tableau 、 Yonghong Data Mart 等等。

Yonghong Data Mart 是基于自有技术研发的一款数据存储、数据处理的软件。针对客户需要处理需求数据的量级不同,IT 系统架构的不同和存储系统的不同,提供了两种解决方案供客户选择一种本地模式,一种是MPP 模式。当需要处理的数据量级别处于TB 级以下,或者采用普通存储结构,或者单机已经足够满足性能需求,建议用户选择本地模式。当面对异构数据库存储系统,需要处理的数量级别在TB 级和PB 级以上,或者IT 系统和存储系统采用分布式,或者需要MPP 模式才能满足性能需求,基于分布式架构的并行处理模式更适合客户的需求。

Yonghong Data Mart底层技术:

1. 分布式计算

2. 分布式通信

3. 内存计算

4. 列存储

5. 库内计算

前端展现

用于展现分析的前端开源工具有JasperSoft ,Pentaho, Spagobi, Openi, Birt等等。

用于展现分析商用分析工具有Cognos, BO, Microsoft,

Oracle,Microstrategy,QlikView 、 Tableau 、 国内永洪科技 Yonghong Z-Suite 等等。

发展状况

开源大数据

1. Hadoop HDFS、Hadoop MapReduce, HBase、Hive 渐次诞生,早期Hadoop 生态圈逐步形成。

2. Hypertable是另类。它存在于Hadoop 生态圈之外,但也曾经有一些用户。 一体机数据仓库

IBM PureData(Netezza), OracleExadata, SAP Hana等等。

应用案例

2014年6月28日,奥地利研究人员发表研究公报称,通过对多家网上博彩公司长期以来的赔率、各球队的历史表现和近期球员伤病情况进行大数据分析,他们预测东道主巴西队问鼎世界杯胜算较大。

奥地利因斯布鲁克大学与维也纳经济大学的研究人员推出了一套“博彩共识模型”。根据这套大数据分析模型,巴西队问鼎本届世界杯的几率为22.5%,阿根廷队为15.8%,德国队为13.4%。从数据上看,东道主夺冠的胜算大大超过其他国家队。


相关文章

  • 微量硫分析仪市场前景预测及投资规划分析报告(目录)
  • 深圳中企智业投资咨询有限公司 报告属性 [报告名称] 微量硫分析仪市场前景预测及投资规划分析报告 [服务方式] 电子版(Word/PDF)+ 彩封软精装印刷版 + 正规机打发票 [交付方式] 邮件发送电子版,特快专递纸介版(2-3天送达) ...查看


  • 中国大数据金融行业市场研究报告
  • 中国市场调研在线 行业市场研究属于企业战略研究范畴,作为当前应用最为广泛的咨询服务,其研究成果以报告形式呈现,通常包含以下内容: 一份专业的行业研究报告,注重指导企业或投资者了解该行业整体发展态势及经济运行状况,旨在为企业或投资者提供方向性 ...查看


  • 中国数据银行市场调查报告目录
  • 中国市场调研在线 行业市场研究属于企业战略研究范畴,作为当前应用最为广泛的咨询服务,其研究成果以报告形式呈现,通常包含以下内容: 一份专业的行业研究报告,注重指导企业或投资者了解该行业整体发展态势及经济运行状况,旨在为企业或投资者提供方向性 ...查看


  • 大数据的概念.特征及其应用
  • 马建光等:大数据的概念.特征及其应用 (2013-09-05 16:15:35) 转载▼ 标签: 分类: 学习资料 杂谈 大数据的概念.特征及其应用 马建光,姜巍 (国防科技大学人文与社会科学学院,湖南长沙410074) 源自:国防科技20 ...查看


  • 药物分析毕业论文题目(731个)
  • 毕业论文(设计) 题 目 学 院 学 院 专 业 学生姓名 学 号 年级 级 指导教师 毕业教务处制表 毕业 毕业二〇一五年 三月二十 日 毕业 药物分析毕业论文题目 一.论文说明 本团队长期从事论文写作与论文发表服务,擅长案例分析.编程仿 ...查看


  • 商业智能技术及应用
  • 商业智能技术及应用 第一章 商业智能 概述 第一章 商业智能概述 企业在生产经营中会产生无数的信息,如订单.库存.交易帐目.通话记录及客户资料等.这些信息蕴藏了丰富的经营理念和市场规律. 怎样有效地利用这些宝贵的信息增进对业务情况的了解,帮 ...查看


  • 中国休闲食品行业调研报告目录
  • 中国市场调研在线 行业市场研究属于企业战略研究范畴,作为当前应用最为广泛的咨询服务,其研究成果以报告形式呈现,通常包含以下内容: 一份专业的行业研究报告,注重指导企业或投资者了解该行业整体发展态势及经济运行状况,旨在为企业或投资者提供方向性 ...查看


  • 数据仓库的基本架构
  • 数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support).其实数据仓库本身并不 "生产"任何数据,同时自身也不需要"消费"任何的数据,数据来源于外部,并且开 ...查看


  • 2016-2022年中国特种金属功能材料行业现状研究分析与市场前景预测报告
  • 2016-2022年中国特种金属功能材料行业现 状研究分析与市场前景预测报告 行业市场研究属于企业战略研究范畴,作为当前应用最为广泛的咨询服务,其研究成果以报告形式呈现,通常包含以下内容: 一份专业的行业研究报告,注重指导企业或投资者了解该 ...查看


  • 数据分析的原则和一般方法_申敏
  • 数据分析的原则和一般方法 申敏 云南省送变电工程公司线材厂 摘要:本文阐述了数据分析所必须遵循的原则.步骤.过程实施,并针对数据分析中常见问题进行了回答,以加深对数据分析的认识,提高运用水平. Abstract: The main body ...查看


热门内容