深度残差收缩网络的Keras简单实现

  • 时间:
  • 浏览:3

其实深度残差收缩网络另一四个 是应用于基于振动信号的故障诊断,假使 深度残差收缩网络事实上是四种 通用的社会社会形态习办法,相信在好多好多 任务(计算机视觉、语音、文本)中都意味着着有一定的用处。

深度残差收缩网络事实上是四种 卷积神经网络,是深度残差网络(deep residual network, ResNet)的一四个 变种。它的主体思想是,在深度学习进行社会社会形态习的随后,删除冗余信息是非常重要的;这是意味着着原始数据中往往发生着好多好多 和当前任务无关的冗余信息;软阈值化则是四种 非常灵活的、删除冗余信息的办法。

首先,从深度残差网络结速英文英文英文讲起。下图展示了深度残差网络的基本模块,包括你你这个 非线性层(残差路径)和一四个 跨层的恒等连接。恒等连接是深度残差网络的核心,是其优异性能的一四个 保障。

参考文献:

M. Zhao, S. Zhong, X. Fu, et al., Deep residual shrinkage networks for fault diagnosis, IEEE Transactions on Industrial Informatics, 2019, DOI: 10.1109/TII.2019.2943898

https://ieeexplore.ieee.org/document/883000096

意味着着和前一四个 卷积层的偏置b放进共同看句子,你你这个 置为零的区间就变成了[-τ+b, τ+b]。意味着着τ和b完整性都上能 还需用自动学习得到的参数,你你这个 深度看句子,软阈值化其实是还需用将任意区间的社会形态置为零,是四种 更灵活的、删除某个取值范围社会形态的办法,也还需用理解成四种 更灵活的非线性映射。

深度残差收缩网络,好多好多 对深度残差网络的残差路径进行收缩的四种 网络。这里的“收缩”指的好多好多 软阈值化。

备注:

(1)深度残差收缩网络的社会形态比普通的深度残差网络繁复,他说更难训练。

(2)程序运行运行里只设置了一四个 基本模块,在更繁复的数据集上,可适当增加。

(3)意味着着遇到你你这个 TypeError:softmax() got an unexpected keyword argument 'axis',就点开tensorflow_backend.py,将return tf.nn.softmax(x, axis=axis)中的第一四个 axis改成dim即可。

从另一四个 方面来看,前面的一四个 卷积层、一四个 批标准化和一四个 激活函数,将冗余信息的社会形态,变加进接近于零的值;将有用的社会形态,变加进远离零的值。随后,通过自动学习得到一组阈值,利用软阈值化将冗余社会形态剔除掉,将有用社会形态保留下来。

为方便对比,深度残差网络的代码如下:

下面是基于深度残差收缩网络的MNIST手写数字识别程序运行运行(程序运行运行很简单,仅供参考):

通过堆叠一定数量的基本模块,还需用构成完整性的深度残差收缩网络,如下图所示:

软阈值化是你你这个 信号降噪办法的核心步骤,它是将接近于零(意味着着说绝对值低于某一阈值τ)的社会形态置为0,也好多好多 将[-τ, τ]区间内的社会形态置为0,我应该 你这个 的、距0较远的社会形态也朝着0进行收缩。