DBN网络的深度确定方法
CSTR:
作者:
作者单位:

北京工业大学电子信息与控制工程学院,北京100124.

作者简介:

乔俊飞

通讯作者:

中图分类号:

TP273

基金项目:

国家杰出青年科学基金项目(61225016);国家自然科学基金重点项目(61034008);北京市自然科学基金青年基金项目(4144067).


Calculation for depth of deep belief network
Author:
Affiliation:

College of Electronic Information and Control Engineering,Beijing University of Technology,Beijing 100124, China.

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    针对DBN网络隐含层层数难以选择的问题, 首先从数学生物学角度分析了随机初始化的梯度下降法导致网络训练失败的原因, 并进行验证, 证明了RBM重构误差与网络能量的正相关定理; 然后根据隐含层和误差的关系, 提出一种基于重构误差的网络深度判断方法, 在训练过程中自组织地训练网络, 使其能够以一种接近人类处理问题的方式解决AI 问题. 手写数字识别的实验表明, 该方法能够有效提高运算效率, 降低运算成本.

    Abstract:

    In order to calculate the depth of deep belief network(DBN) in its applications, the reason of failure in training by using random initialization in gradient-based is analyzed in both math and biology, and then verified by the test. The theorem that the reconstruction error of restricted boltzmann machine(RBM) is related to network’s energy function is proved. After that, a method to calculate the depth by using restructure error in RBM is proposed based on the relationship between hidden layers and errors. DBN approaches human-level performance in AI tasks after the self-training. The experiment of hand writing digital recognition shows that the proposed method can improve the efficiency and lower the cost.

    参考文献
    相似文献
    引证文献
引用本文

潘广源 柴伟 乔俊飞. DBN网络的深度确定方法[J].控制与决策,2015,30(2):256-260

复制
相关视频

分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2013-10-09
  • 最后修改日期:2014-01-12
  • 录用日期:
  • 在线发布日期: 2015-02-20
  • 出版日期:
文章二维码