Page 114 - 水利学报2021年第52卷第5期

ï t (    t u  hz  t - 1 + b  z )
ì 
z = σ W x + W h
xz
ï ï





r = σ W x + W h
     ï t (    u   + b  )
æ
(u)
t
h = f çx ，h t - 1 ；Θ BiGRU ö ÷ = í xr    hr  t - 1  r 
t
(
t
è
ø
ï ͂
ï ï h = tanh W x  t u ) + U ( r ⊙h t - 1 )
t
xh
t



ï h = (1 - z ⊙h + z ⊙h ͂
)
î t t t - 1 t t （9）
ï t (    t u  hz  t - 1 + b  z )
ì 
z = σ W x + W h
xz
  
ï t (





u
     ï ï  r = σ W x + W h  + b  )
æ
(u)
t
h = f çx ，h t - 1 ；Θ BiGRU ö ÷ = í xr    hr  t - 1  r 
t
t
(
è
ø
ï ͂
ï ï h = tanh W x  t u ) + U ( r ⊙h t - 1 )
t
t
xh



ï h = (1 - z ⊙h + z ⊙h ͂
)
î t t t - 1 t t
 
式中：→和←分别为前向和后向计算过程； Θ 和 Θ 为前向和后向过程中的参数集；h 为
BiGRU BiGRU     t-1
͂
t-1 时刻的隐藏状态； h t 为在时间步 t 时刻的候选隐藏状态； b ，b 和 b ，b 为前向和后向过程中偏
z
r
z
r
           
置；W ，W ，W ，W ，W ，U 和W ，W ，W ，W ，W ，U 为前向和后向过程中的输入权
xr
xz
xh
hr
xz
hr
hz
xh
hz
xr
重；σ和 tanh（双曲正切）为点向非线性激活函数； ⊙ 为两个向量的点向乘法。
本文 BiGRU 网络输入为 {( x ，x ，⋯，x p ) ， ( x ，x ，⋯，x p ) ，⋯， ( x ，x ，⋯，x p } ) ，输入向
1
2
1 1 2 2 1 2 t
量大小为 t×n，其中 p 为 通 过 MIC 算 法 选 择 的 敏 感 特 征 的 数 量 ， t 为 时 间 滑 窗 步 数 。 输 出 函 数 则 为


]
k
H = [ h ，h ，⋯，h = f ( X ；Θ ，Θ ) ，其中，f 为 BiGRU 网络的隐藏层函数， H 表示由
k 1 2 p BiGRU BiGRU k
 
BiGRU 网络的第一阶段处理后的输出函数的第 u 个序列，其特征由参数集（Θ 和Θ ）定义。t 时
  BiGRU BiGRU
刻的输出 h 是前向和后向计算过程的输出之和 h = h ⊕h ，其中 ⊕ 表示两个向量的元素之和。GRU
t
t
t
t
层的输出最后被输入到全连接层，可以表示为 o = f (H ；Θ FC ) = g ( W h + b u ) ，其中 o 是全连接层
p
u
u
u
u
的输出向量， Θ FC 表示参数集，即权重矩阵W 和偏差 b ， g ( ) ⋅ 表示神经元的激活函数，在本文中
u
u
设置为线性回归层（Rectified linear unit，ReLU）。最终，将全连接层的学习输出特征输入线性回归
层，并生成预测结果 ŷ = W o 。其中 ŷ 是水电机组振动趋势预测值，W 表示最终线性回归层的权
o
u
u
o
u
重向量。
) )
y ′ (t - k + 2 y ′ (t - k + 3 ) y ′ (t - k + 4 ) y ′ (t + 1
输出层
GRU 层
GRU 层
输入层
) )
x (t - k + 1 x (t - k + 2 ) x (t - k + 3 x ( ) t
前向传播 后向传播
图 2 BiGRU 网络结构
— 616 —