Hadoop的数据中心在电力企业的应用研究

中图分类号:TP311文献标识码:A文章编号:1007-9416(2017)11-0048-01

1引言

云?算。互联网等技术的发展促进了人们进入到大数据时代,海量应用软件运行积累了数以亿计的数据资源,因此构建一个论文网强大的数据中心,可以为用户提供一个高速并发的处理机制,实现数据的操作和服务。随着电力行业的发展和改进,实时监控。应急通信。电力故障及维护等领域引入了许多的信息化。智能化软件,这些软件可以为电网设备数据采集。通信传输。决策服务等提供强大的支撑,具有重要的作用和意义[1]。随着人工智能的发展和普及,电力企业将会引入虚拟现实。增强现实。机器学习。模式识别等技术,构建一个移动终端。平板电脑。服务器的先进大数据中心,组成一个强大的智能电网,提高电力企业的智能化水平,保证电力网络的正常运行[2]。

本文详细地描述了电力企业数据中心功能,提出利用Hadoop技术实现数据中心操作,分析了Hadoop分布式存储技术,利用MapReduce构建一个计算引擎,能够实现对电力数据的分布式管理,整合了硬件基础平台,融合分布式存储资源,实现信息操作和服务。

2电力企业数据中心功能及应用分析

电力企业经过多年的发展,构建一个强大的数据中心,能够实现数据采集抽取。清洗转换。加载存储。数据应用,能够实现数据可视化显示。标准化体系建设,实现信息加工和服务。数据采集抽取功能可以从电力设备。电力线路等一系列软硬件系统中获取数据资源,采集到设备运行记录。电力事故记录。供电信息以及系统运行日志信息,将这些信息保存到数据仓库。清洗转换可以针对采集到的电网数据进行分析,利用归一化方法实现对数据的清洗转换,删除许多的噪声数据或无用数据[3]。加载存储由两个关键程序组成,数据中心设计和建设完成之后,可以将数据装载到中心存储器,数据加载存储需要大量的时间进行装载操作,能够为用户提供一个强大的数据加载引擎,按照变动的操作实现信息加工。数据应用可以针对中心的数据进行加工,并且为用户提供一个报表撰写。存储加工。分析应用和直接查询的操作,将这些操作流程通过后台进行分析,具体的数据应用包括后面才两个非常关键的环节,首先数据需要以维度的模式展现出来,实现信息加工。存储和访问;其次,数据中心需要涵盖原子数据,利用原子数据构建强大的操作流程,否则就不会造成数据的维护操作[4]。

在建设数据中心的过程中,为了保证电网数据的可用性,还要引入更多的标准体系,以便能够规范数据接入标准,保证应用数据是规范的,同时还可以实现数据可视化,这样就可以保证数据的操作友好性,能够更好地维护信息系统的功能。

在建设完毕之后,数据中心可以为用户提供强大的操作服务,比如实现停电统计分析。综合管理统计应用等。停电统计分析可以根据用户的需求评估用电量,以便能够科学指导电力企业供电。停电,保证居民生活。企业运转的正常性。综合管理统计应用可以从数据中心获取电力项目投资情况。项目实施进度等,及时地将这些信息上报给领导,方便电力企业的正常决策。

3电力企业数据中心建设关键技术

电力企业数据中心建设引入了Hadoop技术,该技术在数据提取。清洗转换。数据加载方面具有很多的优势。Hadoop与当前的云计算技术相结合,组成了一个强大的分布式层次化架构,能够为用户提供形象化。直观化。共享化和数字化的应用软件,同时还可以为大数据处理引擎提供存储加载服务,实现对电网信息的精确探测和位置标识。Hadoop引入了先进的MapReduce技术,该技术可以将任何一个数据处理任务打破,并且可以将每一个任务发送到多个节点上,然后可以将单个数据集成加载到数据仓库中,实现信息加工和服务。图1为电力数据中心Hadoop数据处理流程。

在电力企业数据中心建设中Hadoop的目标定位是高可靠性。高可拓展性。高容错性。高效性,利用这些优势设计一个强大的数据仓库,实现对基础数据的采集清洗和转换,同时可以为每一个用户提供操作服务。Hadoop在电力企业数据中心建设中采用的关键技术包括很多,最底部是HadoopDistributedFileSystem(HDFS),其可以实现电力数据中心Hadoop集群中存储节点的文件管理,能够支持MapReduce的分布式访问功能,HDFS就是一个传统的分级文件系统,该系统可以创建。删除。移动或重命名文件,包含了很多的特定节点NameNode,这些节点可以将许多的存储文件进行分块,将每一块复制到多个计算机上,与传统的RAID架构大不相同,负责管理文件系统资源的访问和操作。另外,NameNode可以决定是否把数据中心的文件映射到DataNode上。另外,NameNode利用块标识实现DataNode的调取和响应,以便能够将DataNode中的实例信息组织起来,通过交换机将所有的信息集成在一起,响应HDFS客户机的读写请求,还能够执行NameNode的创建。查询。复制和删除操作。

4结语

电力数据中心引入Hadoop技术,该技术能够强化数据中心的分布式。快速化响应操作,同时可以支持数以百万级的用户同时访问中心数据,保证电力数据中心的安全。可靠。高速运行。

Hadoop的数据中心在电力企业的应用研究