|
基于混合反馈型回声状态网络的预测算法 冯辰，崔鸿雁** 作者简介：冯辰，（1988-），男，研究生，神经网络。 通信联系人：崔鸿雁，（1977-），女，副教授，网络资源管理控制。 E-mail: cuihy@bupt.edu.cn （北京邮电大学网络体系构建与融合北京市重点实验室，北京 100876） 5 摘要：随着回声状态网络(ESN)预测算法的广泛应用，算法的预测精度已经成为衡量该算法 好坏的一条重要标准。本论文提出了一种基于混合反馈型回声状态网络的改进型预测算法。 该算法向ESN 动态池中注入部分小波神经元，并将该混合动态池进行环形交叉反馈拓扑,提 高了ESN 动态池的混沌特性。新型ESN 分别继承动态池组成改变或者拓扑改变带来的好的 预测特性，有效地提高ESN 预测算法的预测精度。仿真结果表明，本文提出的新型的ESN 10 预测算法可以在动态池规模为50-500 范围内时保持较高的预测精度。 关键词：回声状态网络；混合动态池；小波神经元；环形交叉反馈拓扑 中图分类号：TP183 Hybrid Feedback Echo State Network Based Prediction 15 Algorithm FENG Chen, CUI Hongyan (Beijing Key Laboratory of Network System Architecture and Convergence, Beijing University of Posts and Telecommunications, Beijing 100876) Abstract: As the Echo State Network ESN prediction algorithm is widely used in various fields, 20 the predictive accuracy has become a key index of ESN to measure its property. In this paper, we propose a new prediction algorithm based on hybrid feedback ESN to improve the prediction accuracy. The new ESN model is injected with wavelet-neuron and changed the architecture of Dynamic Reservoir (DR) to cycle-interval-feedback topology to improve the Chaotic Characteristic of DR. The new ESN can inherit the good Predicted Characteristics of changing in 25 form or constitution of DR and improve the predictive accuracy effectively. Simulated results show the proposed new ESN prediction algorithm can keep a high precision of prediction when the DR size varies from 50 to 500. Keywords: Echo State Network; hybrid dynamic reservoir; wavelet-neuron; cycle-intervalfeedback topology 30 0 引言 神经网络预测算法因为其观测的直观性和对混沌时间序列预测的准确性，受到了越来也 多的关注。回声状态网络(ESN)是一种新型递归神经网络。近些年来，由于ESN 对混沌时间 序列优秀的预测效果和简单的训练过程，ESN 预测算法已经开始应用于各个领域，并取得 35 了很好的预测效果[1-3]。 随着ESN 预测算法的广泛应用，越来越多的研究关注于如何提高ESN 预测算法的预测 精度。一些研究通过改变ESN 动态池中神经元的网络拓扑达到提高预测精度的目的[4,5]。 Rodan 中提出了三种最小复杂度拓扑的ESN：直线型拓扑，直线型反馈拓扑，环形拓扑，并 分析了三种最小复杂度拓扑ESN 在不同动态池拓扑规模下的预测误差和记忆能力。文章证 40 明了简单的环形拓扑在较低的拓扑复杂度下取得较好的预测精度和优秀记忆能力。本文结合 最小复杂度两种拓扑类型综合为环形反馈拓扑，该拓扑也属于简单拓扑，具有很好的预测性 能。仿真证明该拓扑ESN 预测在动态池规模较大时具有很好的预测特性，但在动态池规模 较小时预测精度相对较低。还有一些研究通过改变ESN 动态池的构成来实现提高预测精度 [6]。文中提出了一种注入小波神经元的混合动态池ESN 预测算法,通过增加动态池神经元种 45 类，丰富了动态池的记忆特性。通过仿真证明了该算法有效地提高了预测精度，在动态池规 模较小时效果显著，在动态池规模较大时效果相对一般。于是本文提出问题：是否可以在改 变ESN 动态池构成的同时，根据新型混合动态池特点进行相应的拓扑调整，从而可以同时 继承两种形式的动态池改变而带来的优秀预测特性，有效地提高ESN 预测算法的预测精度， 使算法在动态池规模任意的情况下均表现出优秀的预测性能？论文提出了一种基于混合反 50 馈型回声状态网络的改进型预测算法，通过仿真证明，提出的算法同时改变ESN 动态池的 神经元组成和拓扑，在动态池规模任意的情况下均取得了很好的预测效果。 本文的组织结构如下：第一部分对ESN 预测算法进行简单介绍，包括ESN 的结构组成 等ESN 重要性质；第二部分提出新型的ESN 模型，并详细介绍了新型ESN 预测算法的预 测过程；第三部分将通过实验仿真新型ESN 算法的性能，并设计对比方案；最后一章将讨 55 论我们的工作并进行总结。 1 经典ESN 模型 ESN 是一种三层递归神经网络，包括输入层、中间层和输出层。正如图1 所示：左边 的部分为输入层，该层由K 个输入神经元构成；中间的部分为中间层，中间层是ESN 最重 要的一层，该层包含ESN 动态池，由N 个中间神经元按一定的规则连接而成，经典ESN 预 60 测算法的动态池神经单元完全随机连接；右面的部分为输出层，由L 个可训练输出神经元 构成。ESN 各层神经元之间也相互连接，我们使用连接权重矩阵来描述各层神经元之间的 连接，由于神经元之间不能完全地传递信息，所以神经元连接权重的值属于[0,1]之间[7]。我 们定义输入层神经元到中间层神经元的连接权重矩阵为输入权重矩阵in W ，中间层神经元相 互连接的权重矩阵为动态池权重矩阵W ，输入层、中间层、输出层神经元与输出神经元之 间的连接权重矩阵为输出权重矩阵out 65 W ，输出层神经元与中间层神经元反馈连接的权重矩阵 为反馈权重矩阵back W 。由图1 可知， in W W out W back W 分别为K × N ，N×N ， (K+N+L)×L， L×N 阶矩阵。特别的，为了保证ESN 的回声状态特性，动态池权重矩 阵W 必须为稀疏矩阵且该矩阵的谱半径必须小于1。最终的动态池权重矩阵W 一般定义为 线性公式(1)： max 70 W=a(W/|λ |) (1) 其中max λ 为矩阵W 中最大的特征值， a 为该矩阵的谱半径。谱半径的值越小，衰减越 迅速；谱半径的值越大，衰减越缓慢。谱半径的值应保持在（0,1）之间[8,9]，这样就使矩阵 满足了阻尼衰减性，使动态池神经单元不受初始状态的影响。 图1 ESN 模型 在整个ESN 网络训练过程中， in W 、back W 、W 都是固定不变的，变化的只有out W 。训 练可以改变输出神经元的连接，从而改变out W 。我们定义输入时间序列、输出时间序列和动 80 态池神经元状态序列分别为： 1 2 ( ) ( ( ), ( )... ( )) K u n = u n u n u n (2) 1 2 ( ) ( ( ), ( )... ( )) L y n = y n y n y n (3) 1 2 ( ) ( ( ), ( )... ( )) N xn = x n x n x n (4) 其中n 为时间序列的下标。 85 2 混合反馈型回声状态网络预测算法 2.1 混合反馈回声状态网络预测模型 混合反馈型回声状态网络预测模型如下： 图2 混合反馈型ESN 模型 从图2 中我们可以清楚地看到，混合反馈型ESN 与经典的ESN 相比，中间层动态池已 经产生了很大的改变。混合神经元环形交叉反馈拓扑结构替代了原有的单一神经元随机拓扑 结构。动态池具体改变如下： 1、向动态池中注入部分小波神经元来替代原有的神经元，替代原有的动态池神经元， 95 使动态池变为混合单元动态池。 普通的ESN网络动态池神经元的激活函数为Sigmoid 或者tanh 函数，本论文中使用tanh 函数。这种函数具有的特点是函数值在接近0 的位置呈现线性特性，而在远离0 的位置呈现 非线性特性，且值域保持在（‐1,1）之间。选取的小波神经元也应该具有相近的特征，最终 我们选取了激活函数为Sigmoid 类型的小波作为注入单元，该Sigmoid 的小波神经元具体的 100 激活函数如下： 2 0.5(2 )2 , [2 (2 ) 1] / 2 j d j j j j j d d xt d t j ψ x t e− − = − + （5） 其中 , 0.5,( 1, 2,3,... , ) j j mix mix mix mix d j t j j NR NR NR NR = = − = ∈ 学术论文网Tag：代写硕士论文 代写论文 代写代发论文 代发论文 |
