|
Hadoop Server 离线部分工作是响应Web Server 请求，调用MapReduce 完成数据的整合 和计算。 2.4 Web Server 智能电表平台的Web 页面信息查询服务是由部署在Web Server 的网站提供的。Web 155 Server 主要负责提供用户接口，完成实时地接受用户的查询请求，并将查询计算结果反馈给 用户。 Web Server 基于Java EE，采用Tomcat+JSP 实现动态网页查询。系统结构遵循MVC 模 式设计，分为三个基本部分：Model（模型）、View（视图）和Controller（控制器）。这 三个部分以最少的耦合协同工作，从而提高应用的可扩展性及可维护性。Model 由JavaBean 160 充当，View 由JSP 页面充当，Controller 由Servlet 充当。Servlet 作为前端控制器，负责接 受客户端发送的请求，在Servlet 中只包含控制逻辑和简单的前端处理，然后调用后端 JavaBean 来完成实际的逻辑处理；最后转发到相应的JSP 页面处理显示逻辑。 Web Server 工作流程是：用户在浏览器输入查询请求，网站前端对用户的输入进行过滤 性检查，例如查询时间不合法等等，再向后台程序发送查询请求信息。后台接收到用户在浏 览器的查询请求，将其交给相应的Java Servlet 165 容器处理。此时Java Servlet 调用部署在Hadoop Server 对应的Map 和Reduce 函数完成相应的操作。 网站有以下四大功能模块： 用户管理：包括修改密码、查询系统现有用户、添加用户、删除用户以及更新用户权限 等等用户管理功能。 170 配置管理：包括查询现有设备配置信息以及远程控制开关功能。 性能显示：这是平台核心功能之一。提供插座本年、本月、当天、本小时内，任意一天 或者任意时间段内的电能信息。 计费功能：计算插座任意时间段的耗电量以及费用，实现分时定价功能。用户可以根据 此报告合理安排自己的用电习惯以达到更好的经济效益。 175 3 实例 在该实例中，我们查询所有插座以组为单位在2011 年上半年的总耗电量情况，并根据 不同的计费单价区分。平台读取数据文件的每一行记录，提取在该时间段的电能信息。系统 的运行过程如下： 1. 用户在客户端选择所有插座，时间段选择为2011-01-01 到2011-06-30。 180 2. Web Server 接收到客户请求，交由相应的Servlet 向Hadoop Server 的Master 节点 提交任务。Master 接收到任务后，将任务分配给每一个Hadoop Server Slave。 3. Hadoop Server Slave 运行map 函数，读取位于该节点的数据块（此处数据块在离线 工作时生成），把符合该时段的数据提取，构成新的键值对。再经过Shuffle 和Combine 过 程后，运行reduce 函数，将combine 后的键值对，根据组编号和时间信息输出最终的键值 185 对<key , value>。 4. Hadoop Server Master 把最终的键值按照FusionCharts 要求的数据格式，把数据以 xml 的格式反馈给Web Server。 5. Web Server 把数据以图表的形式展现给用户。 4 实验结果 190 图4 各组在2011 年上半年各个时间段的耗电量总和及耗电费用 Figure.4 the Power Consumption And Cost From 2011-01-01 To 2011-06-30 of Three Goups 图4 显示了在用户输入查询条件为“2011 年上半年各时间的耗电费用”时，Web 页面 195 显示的曲线图。由此可以看出，基于Hadoop 的智能电表平台能够应对分布式存储海量数据 以及具备对数据并行处理的能力。 5 结束语 本文设计与实现了基于Hadoop 的智能电表平台，包括电气信息数据的采集、处理、存 储和计算。通过平台对海量的用电数据的处理，证明Hadoop 能够应对海量的数据存储和处 200 理。 [参考文献] (References) [1] 刘鹏. 实战Hadoop--开启通向有云计算的捷径[M]. 北京：电子工业出版社，2011 [2] Apache. Welcome to Apache Hadoop[OL]. 2011. http://hadoop.apache.org/. 205 [3] 朱珠. 基于Hadoop 的海量数据处理模型研究和应用[D]. 北京：北京邮电大学，2008 [4] CHUCK LAM. Hadoop in Action[M]. the United States of America:Manning Publications, 2010 [5] Tom White. Hadoop 权威指南（2 版）[M]. 周敏奇. 北京：清华大学出版社，2011 [6] 刘鹏. 云计算[M] 北京：电子工业出版社，2011 [7] Jason Venner. Pro Hadoop[M]. the United States of American:Apress, 2009 210 学术论文网Tag：代写硕士论文 代写论文 代写毕业论文 代写毕业设计 |
