Loading...
墨滴

algolearn

2021/12/22  阅读:41  主题:默认主题

LSTM长期记忆网络

RNN可以很好的解决了变长的文本数据和有序的输入序列。可以对文章中从前到后的单词进行顺序编码,将前面有用的信息存储在状态向量,从而拥有一定的记忆能力,可以更好的理解之后的文本。网络结构如下

但由于RNN存在梯度消失和爆炸的问题,RNNs不能完美的学习“长期依赖”。

LSTM被明确的设计用来解决长期依赖问题,记住有价值的信息,从而减少循环神经网络的学习难度。

LSTM在传统RNN的基础上,增加了

  • 输入门 :计算当前计算的新状态以多大的程度更新到记忆单元,结果是向量,取值0-1之间,控制各维度流过阀门的信息量

  • 遗忘门 :控制前一步记忆单元的信息有多大程度被遗忘掉,

  • 输出们 :控制当前的输出有多大程度取决于当前的记忆单元

  • 一个内部记忆单元

最终输出 的计算方式为

看图更方便!!下图展示了各参数的对应关系

记忆性如何理解?在一个训练好的LSTM中,当输入存在重要信息的时候,LSTM应该将它记忆下来,此时输入们的值接近1。当输入存在重要信息且之前信息不重要时,输入门的值接近1,遗忘门的值接近0,这样达到了遗忘旧的信息的目的。综上,LSTM更容易学习序列之间的长期依赖。

参考

  • http://colah.github.io/posts/2015-08-Understanding-LSTMs/

欢迎关注微信公众号(算法工程师面试那些事儿),本公众号聚焦于算法工程师面试,期待和大家一起刷leecode,刷机器学习、深度学习面试题等,共勉~

算法工程师面试那些事儿
算法工程师面试那些事儿

algolearn

2021/12/22  阅读:41  主题:默认主题

作者介绍

algolearn