对数据进行分析的主要就是把储藏在许许多多的毫无顺序和章法的数据中吧所需的信息检索、提取、归总出来,以便我们可以简单快捷的找出规律。在实际应用中,数据分析可以使人们在短时间内帮助人们对某一事物的了解,并且可以帮助人们做出正确的价值判断和做出对自己有利的选择。数据分析是一个有目标并且规范地对数据进行检索、收集、分析,让其变成一组可用信息得一个过程。这个过程就是一个对于管理数据质量体系的过程。在相应的物品的寿命中,它是从销售服务到售后负责以及最后回收等各个过程都要用用数据分析,以提高相关效度。例如某位名人就利用一组关于星体角度位置的数据进行了分析,就找到了关于行星的运动数据。又例如,一个公司的决策者可以通过市场需求调研数据,并进行对数据的分析,就可以判断出需求方向,以便制定下一次的的生产及销售量。所以,数据分析有非常庞大的实际应用。
现如今,越来越多的国家和国际组织都看到了在大数据时代数据分析的重要性,都开始研发和利用数据分析,并将其当成战胜竞争对手国的重要方针战略,并且也开始在国内推行数据分析。美国议会把对大数据的相关研发拿到了国家科研的重要地位。法国首相为了推动大数据时代数据分析的快速发展,将着重加强对数据公司企业,软件开发商,计算机设计师等的培养。我国在2012年提出《大数据研究和发展计划》中批复了“十二五国家政务信息化建设工程计划”,这个计划的投资额达到了几百亿,有关于人口,宏观经济,文化这几大资源的建设工作。
根据相关报道,2012年全球关于大数据的企业盈利大约为50亿美元,在未来5年内,市场需求量会大幅度提高,增长率约为58%,等到2017年,将增至500亿美元。虽然大数据预测的各大产业的生产规模存在一些差异,但它所表现出的大幅度恩增长速度说明了未来大数据的发展一片光明。
赛迪智库中的一个比较权威专家说,大数据为使信息工程技术相关产品的一些创新以及与传统行业的融合。关于大数据的一些新的产品、新的技术以及一些新的服务正在不停的出现。大数据将面对一些关于有效储存、具体分析的难题,必然会对软件以及芯片储存等相关产业有着重大的影响,会推动数据分析与存储一体的软件的发展,以及对于内存计算的新的软件的升级和创新。对于数据的快捷检索和分析的大规模的市场需求,将极大得推动商业的智能化等软件在大型公司的信息管理体系中将会得到综合运用,成为工作方式改变的重要依赖。于此同时,物联网、移动互联网的加速发展,也使数据增加的速度变快、规模逐渐变大,更加急切的需要运用大数据下数据分析的手段进行处理,提取出其中有用的信息。大数据的实际应用也给云计算带来了第二个发展春天,使得一些依赖于云计算的创新业务和创新服务也加速发展。而把以上的应用作为敲门砖,大数据将带动整个世界的信息工程技术的发展。大数据的蓬勃发展,必然给数据分析带来挑战,也带来巨大机遇。
二 研究的内容和要解决的主要问题
本课题意在研究数据分析在大数据时代的应用,旨在利用科学合理的统计方法,对数据进行收集,萃取,洗涤,分析,从来得到数据中的规律,并预测它未来的整体趋势,然后用比较简单的可视化方法将数据背后隐含的结论展现给人们。
故本课题要研究的基本内容有:
1。利用经典的统计分析方法:回归,分类,决策树,主成分分析,因子分析等方法对海量数据进行统计分析。