Page 91 - 2024年第55卷第8期

式中：ｓ为第 ｔ个时间步 Ｄｅｃｏｄｅｒ循环神经网络的隐藏状态；ｇ（·）为循环神经网络的数学表达式。在
ｔ
Ｓｅｑ２Ｓｅｑ模型中，ｓ＝ ｈ，ｆ（·）和 ｇ（·）通常使用 ＬＳＴＭ和 ＧＲＵ。
１ Ｔ
由于 Ｓｅｑ２Ｓｅｑ中 Ｅｎｃｏｄｅｒ和 Ｄｅｃｏｄｅｒ均需要在每个时间步循环，考虑需平衡虚拟传感器的计算效
率，故本文采用 ＧＲＵ作为地震虚拟传感器模型中 Ｅｎｃｏｄｅｒ和 Ｄｅｃｏｄｅｒ的循环体。ＧＲＵ是 ＬＳＴＭ 的简化
变体，通常能够提供同等的效果，但计算速度明显更快 ［２９］ 。ＧＲＵ包括重置门（Ｒ）和更新门（Ｚ），Ｒ
ｔ ｔ ｔ
用于捕获时间序列中的短期依赖关系，Ｚ 则用于捕获时间序列中的长期依赖关系。门控循环单元的数
ｔ
学表达如下：
Ｒ＝ σ （ｘｗ ＋ ｈ ｗ ＋ ｂ） （４）
ｔ ｔ ｘｒ ｔ － １ ｈｒ ｒ
Ｚ＝ σ （ｘｗ ＋ ｈ ｗ ＋ ｂ） （５）
ｚ
ｔ ｘｚ
ｈｚ
ｔ － １
ｔ
式中：ｗ 和 ｗ 、ｗ 和 ｗ 分别为 Ｒ和 Ｚ 的权重参数；ｂ和 ｂ为偏置参数；σ为 ｓｉｇｍｏｉｄ激活函数，可
ｘｒ ｈｒ ｘｚ ｈｚ ｔ ｔ ｒ ｚ
将输入值转换到区间（０，１）。
将 Ｒ 与神经网络的隐藏状态更新机制集成，通过前序隐藏状态 ｈ 更新得到后续时间步的隐藏状
ｔ － １
ｔ
态 ｈ。
ｔ
槇
ｈ＝ ｔａｎｈ （ｘｗ ＋ （Ｒ⊙ｈ ）ｗ ＋ ｂ）
{ ｔ ｔ ｘｈ ｔ ｔ － １ ｈｈ ｈ （６）
槇
ｈ＝ Ｚ⊙ｈ ＋ （１ － Ｚ） ⊙ｈ
ｔ ｔ ｔ － １ ｔ ｔ
式中：ｗ 和 ｗ 为权重参数；ｂ 为偏置参数；符号⊙为 Ｈａｄａｍａｒｄ积运算符；ｔａｎｈ为非线性激活函数，
ｘｈ ｈｈ ｈ
槇
确保候选的隐藏状态中的值保持在区间（ － １ ，１）中；ｈ为时间步 ｔ的候选隐藏状态。
ｔ
在地震虚拟传感器构建过程中，由于三个互相垂直方向地震信号具有差异性和独立性，本文采用
基于高斯似然性的多任务学习损失函数 ［２８］ 加快模型训练速度，该综合损失函数定义如下：
３ １ ３
Ｌ＝ ∑ ２ Ｌ ＋ｌｎ（ ∏ σ ｉ ） （７）
ｉ
ｉ ＝１ ２ σ ｉ ｉ ＝１
式中：Ｌ为用于整体反向传播和梯度优化的多任务学习模型的综合损失函数；Ｌ 为第 ｉ个子任务的损
ｉ
为观测噪声标量。
失函数，本文采用均方误差损失函数 （ ＭｅａｎＳｑｕａｒｅｄＥｒｒｏｒ，ＭＳＥ）；σ ｉ
３．２ 基于 ＴＦ和注意力机制改进 Ｓｅｑ２Ｓｅｑ的长时序预测方法 为提高地震虚拟传感器长时序超前感知
的精度，分别在 Ｅｎｃｏｄｅｒ和 Ｄｅｃｏｄｅｒ中嵌入 ＴＦ层和 ＩＴＦ层，并加入注意力机制，改进传统 Ｓｅｑ２Ｓｅｑ在
过长的序列预测中难以有效编码和全局信息搜索能力弱的缺点，提高虚拟传感器在地震信号长时序预
测任务中的精度。
３．２．１ 嵌入 ＴＦ层和 ＩＴＦ层的 Ｅｎｃｏｄｅｒ和 Ｄｅｃｏｄｅｒ 传统 Ｓｅｑ２Ｓｅｑ采用 Ｅｍｂｅｄｄｉｎｇ层对输入输出的时间序列
做线性变换，此过程一般不改变输入序列长度。在对长时序列编解码时，ＬＳＴＭ和 ＧＲＵ的循环层由于误
差逐步累计且 ｈ难以对超过 １００个时间步之后的序列有效编码，导致长序列的预测精度不足。而地震监
ｔ
测数据采样率通常高达 ５０～２００Ｈｚ，传统的 Ｓｅｑ２Ｓｅｑ显然难以直接用于解决地震信号的长时序预测问题。
针对地震信号长时间序列的非平稳特征，引入 ＴＦ层对原始地震信号的时间序列进行时频转换，
减少 Ｅｎｃｏｄｅｒ的序列输入长度并提取时频域特征信息，并在 Ｄｅｃｏｄｅｒ中嵌入 ＩＴＦ层用于将预测的时频信
息逆变换为地震信号输出。此过程可将循环层的输入输出特征由一维地震时间序列扩维成二维时频矩
阵，矩阵的长度缩短为时间窗口的个数，矩阵的宽度代表不同的频率，矩阵中每个时频单元的数值为
对应时间段内对应频率的地震强度。
考虑地震信号感知对实时性的高要求，本文的 ＴＦ层采用计算量相对较小的短时傅里叶变换（Ｓｈｏｒｔ －
ＴｉｍｅＦｏｕｒｉｅｒＴｒａｎｓｆｏｒｍ ，ＳＴＦＴ）作为非线性时频变换方法，将地震信号时间序列转换为包含时域和频域
信息的时频矩阵，其计算公式如下：
∫
ＳＴＦＴ（ｔ，ｆ） ＝ Ｘ（ τ ）ｈ（ｘ－ｔ）ｅ － ｉ２ π ｆ τ ｄ τ （８）
式中 ｈ（ｘ － ｔ）为时间窗函数，本文选用汉宁窗，Ｘ（ τ ）ｈ（ｘ － ｔ）等价于取出的地震信号在分析时间点 τ 附
近的一个切片。

— ９ ６ ９ —