基于Web 的海量煤矿生产数据分析系统
戴明军1，钱建生1，李小斌1，陈代祯2**
作者简介：戴明军，（1987-），男，在读硕士研究生，主要研究方向：模式识别，.NET 软件开发。
通信联系人：钱建生，（1964-），男，浙江桐乡人，教授，博士生导师，主要研究方向为宽带网络技术及
应用，矿井通信与监控，光电子技术及应用. E-mail: qianjsh@cumt.edu.cn
（1. 中国矿业大学信息与电气工程学院，江苏 徐州 221008；
5 2. 徐州华讯科技有限公司）
摘要：为实现煤矿信息化高效辅助决策，针对煤矿企业实时历史数据库存储的海量生产数据，
本文提出了一种基于Web 的数据分析系统的解决方案，抽象出合理的功能模块，应用B／S
三层架构，设计了一个以实时历史数据库与关系数据库相结合的面向海量数据的煤矿生产数
据分析系统。该系统通过整合全矿井各自动化子系统传感器采集的历史数据，进行分系统的
10 数据汇聚以及全系统的集成统计分析，可以提供煤矿生产过程中各机电设备运行效益直观的
判断。在.NET 平台上实现了该系统，并已成功应用于某煤矿企业。
关键词：海量数据；数据库；Web；数据分析；煤矿生产
中图分类号：TP312
 0 引言
随着科学技术的发展，煤炭工业的生产能力正在提高，然而生产水平进步的同时也要求
35 信息管理技术的发展。煤矿综合自动化通过先进的计算机及网络技术将生产过程中存在着的
大量的过程参数及生产数据有效地集成管理和应用[1][2]，这些海量数据记录了煤矿系统各种
监控装置的运行状态信息，是分析与指导管理的数据基础。目前企业迫切需要一个统一的数
据平台来集成生产过程中的海量数据，实现企业各部门信息交互，数据共享。
对于这些煤矿综合自动化SCADA 系统采集的实时、连续、有序且为海量的数据，传统
40 的数据处理方法难以满足要求，必须借助于先进的数据库技术。iHistorian 是一个功能强大
的厂级实时历史数据库平台，它高速地采集归档和发布全厂级海量过程实时数据，建立在有
庞大HMI/SCADA 安装基础之上，拥有强大的数据接口能力，很好的解决了数据的采集存
储[3]。iHistorian 实时历史数据库蕴藏丰富的数据，很有必要将这些数据进行处理通过上位机
 直观的显示出来，为决策者提供决策依据。
为克服单机客户端的45 不足和实现iHistorian 数据库的最大程度利用，本文采用Microsoft
公司的ASP.NET 的Web 发布功能将历史数据的分析结果展现在局域网内。由于ASP.NET
处理iHistorian 中的数据效率稍显不足，鉴于SQL Server 和ASP.NET 的良好兼容性，利用
SQL Server 辅助存储一些iHistorian 中关键的常用的数据分析结果，提高Web 页面的访问效
率，增强用户体验。
50 1 系统设计
1.1 需求分析
建立全矿专业级实时历史数据库存储生产过程中的实时数据，作为企业数据分析平台的
数据利用。综合信息化数据分析系统将矿井的各个子系统数据汇聚集成，将历史数据信息进
行分析综合，为用户进行设备检修和采取必要措施提供基础。系统功能应完全满足矿上的需
55 求，具有良好的可靠性，扩容性，支持B/S 模式，实现真实可靠的运行状态分析、经济分析
功能，从而为煤矿管理人员提高高效的辅助决策依据。
1.2 系统体系结构
由于煤矿生产井下有近万个传感器采集点，每个采集点又无时无刻不在产生数据。所以
本系统需要面向海量数据，用简单的文件系统组织管理数据是不可取的。在系统架构的选取
60 中，C／S 或B／S 架构是可取的方案[4]。但总体而言，B／S 架构在系统安装及使用维护等
方面会给用户带来更好的体验。故而以B／S 架构为基础构建系统。进一步，从系统模块的
独立性、可复用性、可扩展性考虑架构[5]，往往将系统分层为图1 的形式。分层开发令模构
独立性良好，使得维护移植的更加方便。
65 图1 B/S 模式下的三层架构
1.3 系统功能模块
鉴于实际的需要，功能模块的划分应具备高效的数据组织管理方式和方便快捷的使用访
问方式。通过对系统的需求分析和系统体系结构的确定之后，可以将数据分析系统抽取为以
70 下功能模块：
1.基础查询模块。iHistorian 实时历史数据库采集了大量的生产工况实时数据并加以存
储。该模块实现对iHistorian 数据库所存储的各个子系统采集点数据以及报警数据的直接查
询。包括各子系统各个采集点的历史曲线、报警查询等功能。
2.数据分析模块。将SQL Server 作为对iHistorian 中海量数据分批处理的中介，在系统
75 中实现对各个子系统的全方位数据处理：模拟量数据信息提取、开关量数据信息提取、能效
分析、煤仓煤位变化率分析、全矿综合生产情况分析等功能。
 图2 系统功能模块
80 1.4 数据库设计
由于生产过程数据量大，并且带有时标，因此不适宜采用常规的关系型数据库存储，而
实时历史数据库是解决这一类数据存储问题的理想方案。iHistorian 实时历史数据库利用先
进的技术特性实现对海量过程数据的高效经济存储，具有显著功能[6]。
在本系统的数据库设计中，将实时历史数据库iHistorian 和关系数据库SQL Server 相结
85 合使用。iHistorian 数据库通过采集器自动存储了现场传感器的生产数据，而对于海量的数
据，ASP.NET 是无法通过程序一次性取出的，同时程序运行的时间也是个问题。本系统的
设计采用SQL Server 作为对iHistorian 海量数据分批处理的中介，将iHistorian 中所需的海
量数据通过少量分批取出处理，将结果存入SQL Server，这样不但解决了无法一次性取出的
问题，还可以大大提高程序运行的速度。
90 考虑到程序开发的实际情况，煤矿生产数据分析系统中两大模块的数据流向是不同的。
基础查询模块由ASP.NET 提供的OleDB 数据接口直接从iHistorian 历史数据库中取出来的。
而数据分析模块，鉴于处理的数据量非常大，无法一次性从iHistorian 历史数据库中取出，
故将iHstorian 一天采集的数据经过程序处理统计存入ＳＱＬ Ｓｅｒｖｅｒ关系数据库中，
以供ＡＳＰ．ＮＥＴ分析使用。
95
图3 系统数据流程框架
2 系统实现
100 2.1 系统整体效果实现
系统平台基于微软.NET 和SQL Server 2008 关系数据库，应用面向对象的编程思想，使
 用C#语言，结合GE 公司的iHistorian 实时历史数据库协同进行B/S 模式开发。数据库设计
由于要处理数据量巨大，采用SQL Server 作为iHistorian 的数据处理存储中介的做法，结合
Web 三层架构，可以大大提高系统的运行效率和可维护性。
105 在实现的细节上尽量人性化，总体界面风格保持一致。煤矿生产数据的呈现要方便形象，
图形化是必要的，利用如MSChart，GridView 这样的表现层控件进行数据的呈现，以便操
作人员对数据进行分析。本系统采用界面分割的方式，将界面部分分为三大块。上方是导航
条，左侧栏显示的是导航条的管理菜单，如自动化子系统有主提升、皮带系统、通风系统、
排水系统等等。MainFrame 则是功能具体实现界面。系统的主界面如图4 所示。
110
图4 系统页面框架
2.2 基础查询模块
2.2.1 子系统的历史曲线
115 实时历史数据iHistorian 以一定的时间间隔采集并存储数据。本系统考虑到现场实际所
需和存储容量，设定的采集间隔为1min。历史曲线功能的编写可从iHistorian 中直接取原始
数据。在ASP.NET 中用OleDb 连接方式打开与iHistorian 的连接，所有的采集点的采集的
原始数据从iHistorian 中的ihrawdata 表中取得。以其中新主井己组的一个采集点为例，历史
曲线实现界面如图5 所示。
120
图5 历史曲线功能图
2.2.2 子系统的报警查询
iHistorian 数据库中有一个ihalarms 表经过与SQL Server 的共同配置之后，用来存储采
125 集点的报警信息。各个子系统的报警信息可以通过点名来查询报警信息。数据用GridView
进行绑定。主提升子系统中的新主井己组报警查询结果如图6 所示。
 图6 报警查询结果
130 2.3 数据分析模块
2.3.1 模拟量信息提取
该功能模块将各子系统的模拟量信息提取，以时间段、系统名称、点名为条件进行查询，
以报表方式分析。相关信息数据若直接从iHistorian 里面取，不仅仅会有速度偏慢的问题，
而且还存在无法从取出一个较长时间段的数据的问题。可以计算一下，一个采集点1min 采
135 集一次，1 天就1440 条数据。单单一个采集点10 天就有14400 条数据，ASP.NET 是无法一
次性取出那么多条数据出来的，导致的问题就是处理数据的不完全。
本系统设计的一种解决方案就是利用SQL Server 作为中间媒介数据库，将iHistorian 中
的数据在可一次性取出的范围内，将计算的结果存放到SQL Server 中。一个采集点一天的
数据从Historian 中取出来，经过计算分析之后，将结果存到SQL Server 中。所有采集点的
140 所有天数的计算结果可以通过循环导入。SQL Server 中的记录全部由iHistrian 中采集的数据
利用所编写的程序自动处理生成。模拟量分析报表数据从SQL Server 中取出。
报表中生成每天的模拟量的最大值，最小值，平均值，最大值发生时间，最小值发生时
间。点击曲线可以弹出该点的该日期的如图5 所示的历史曲线，利用Javascript 编写的脚本
可以任意在页面上拖动。模拟量信息提取功能界面如图7 所示。
145
图7 模拟量信息提取功能界面
2.3.2 开关量信息提取
该功能模块将各子系统的开关量信息提取，以时间段、系统名称、点名为条件进行查询，
150 以报表方式分析。开关量分析项有：点名，描述，开停次数，运行时间。点击详情链接可以
查看该设备开关量采集点在所选时间段内的开停详细情况表，包括开机时间，停机时间，运
行时长。
开关量信息提取中的数据处理的流程与模拟量是相同的，将iHistorian 中一天的采集量
计算结果存储到SQL Server 中作为一条记录，再从SQL Server 取出数据生成，可以在页面
155 上按一天一条记录来显示。开停详细情况表只需分析一天的数据量，可直接从iHistorian 中
 计算分析，生成临时表作为报表的数据源。
点击详情以小窗口形式表现该开关量采集点的该日期的开停详细情况，实现了在页面上
任意拖动，如图8 所示。
学术论文网Tag：代写毕业论文 论文发表 计算机论文 代写毕业设计