Page 31 - 2022年第53卷第4期
P. 31
LSTM 结构单元内部的遗忘门、输入门和输出门的建模流程如下:
(1)遗忘门控制从前一刻的记忆细胞中可以积累多少渗压监测数据到当前时刻的记忆细胞中,表
达式如下式:
f = σ ( W [h t - 1 ,x t ] + b f ) (1)
t
f
(2)输入门将 LSTM 的当前记忆和长期记忆结合起来,形成一个新的单元状态用来挖掘渗压监测
数据中的时序特征:
i = σ ( W .[h t - 1 ,x t ] + b i ) (2)
t
i
͂
当前输入的初始单元C 的状态如式(3)所示,该状态是根据渗压效应量最后的输出和当前输入计
t
算得到:
͂
C = tanh( W .[h t - 1 ,x t ] + b c ) (3)
C
当前时刻单元C 的状态如下式所示:
t
C = f c + iC ͂ t (4)
T
t t - 1
(3)LSTM 的最终输出由输出门和单元状态决定:
o = σ ( W [h t - 1 ,x 1t ] + b o ) (5)
o
t
h = o tanh( ) (6)
C
t
t
t
͂
式(1)至式(6)中:h 和h 分别为上一时刻单元的输出和当前细胞的输出; f 、i 、C 、C 、o 分别为
t - 1 t t t t t t
遗忘门、输入门、当前时刻初始细胞状态、当前时刻细胞状态以及输出门的值;σ为 Sigmoid 函数;W
和b分别为相应的权重系数和偏置项。
由于 LSTM 的超参数众多,超参数的选取影响到模型的精度,因此需要合理选择这些超参数。蚁
狮优化算法(Ant Lion Optimizer,ALO)是 2015 年澳大利亚学者 Mirjalili Seyedali 受蚁狮捕食行为关系的
启发而提出的一种新型群智能优化算法。相关研究表明蚁狮优化算法具有比遗传算法(Genetic Algo⁃
rithm,GA)、花朵授粉算法(Flower Pollination Algorithm,FPA)和蝙蝠算法(Bat Algorithm,BA)等算法
更优的寻优精度和更快的收敛速度 [28] 。
ALO 算法具体的操作流程如下:
(1)蚂蚁随机游走。在自然界,蚂蚁通过随机游走的方式来寻找食物,如式(7)所示:
[ ) ) ] )
t
t
t
X ( ) t = 0,cumsum( 2r ( ) - 1 ,cumsum( 2r ( ) - 1 ,⋯,cumsum( 2r ( ) - 1 (7)
n
l
2
式中:cumsum为累积和;t为蚂蚁在随机游走时的位置;n为最大迭代次数;r (t)为蚂蚁在游走过程中
产生的随机数,可由下式生成:
ì 1 rand > 0.5
r ( ) t = í (8)
î0 rand ≤ 0.5
(2)蚂蚁游走范围。蚁狮构造的陷阱会影响蚂蚁的随机行走,其数学模型表示如下:
t
t
c = Antlion + c t (9)
i
j
t
t
d = Antlion + d t (10)
i
j
t
t
t
式中:Antlion 为蚁狮在第t次迭代时第 j 只的位置;d 为所有输入向量在第i 个蚂蚁中的最大值;c 为
i
j
i
t
t
所有输入向量在第i 个蚂蚁中的最小值;d 为所有输入向量在第t次迭代时的最大值;c 为所有输入向
量在第t次迭代时的最小值。
(3)蚂蚁掉落陷阱
t
c = c t (11)
I
t
d = d t (12)
I
— 405 —