一种回声状态网络的权值初始化方法
CSTR:
作者:
作者单位:

(1. 北京工业大学信息学部,北京100124;2. 计算智能与智能系统北京市重点实验室,北京100124)

作者简介:

王磊(1980-)男, 博士生, 从事神经网络和智能计算的研究;乔俊飞(1968-), 男, 教授,博士生导师, 从事智能优化控制、污水处理过程控制等研究.

通讯作者:

E-mail: jade_wanglei@163.com

中图分类号:

TP183

基金项目:

国家自然科学基金重点项目(61533002);国家杰出青年科学基金项目(61225016);国家自然科学基金面上项目(61473034).


A weight initialization method for echo state network
Author:
Affiliation:

(1. Faculty of Information Technology,Beijing University of Technology,Beijing 100124,China;2. Beijing Key Laboratory of Computational Intelligence and Intelligent System,Beijing 100124,China)

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    为了避免奇异解,提高网络性能,给出一种回声状态网络的权值初始化方法(WIESN).利用柯西不等式和线性代数确定优化的初始权值的范围与输入维数、储备池维数、输入变量和储备池状态相关,从而确保神经元的输出位于sigmoid函数的激活区域.实验结果表明,权值初始化方法的精度和训练时间要优于随机初始化方法,且相比于训练时间,权值初始化的时间是可以忽略不计的.

    Abstract:

    To avoid singular problem and improve the performance of neural network, a weight initialization method for echo state network(WIESN) is proposed. With Cauchy inequality and linear algebra, the range of optimal initial weights, which is related to input dimension, reservoir dimension, input variables and reservoir state, is determined. The proposed method ensures that the outputs of neurons are in the active region. Simulation results show that the accuracy and training time of the proposed method is better than learning with random initialization. In addition, the time for weight initialization process is negligible comparing with the training process.

    参考文献
    相似文献
    引证文献
引用本文

王磊,乔俊飞,李晓理.一种回声状态网络的权值初始化方法[J].控制与决策,2018,33(2):356-360

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:
  • 最后修改日期:
  • 录用日期:
  • 在线发布日期: 2017-12-21
  • 出版日期:
文章二维码