Page 81 - 2024年第55卷第11期

时，根据水库水位与目标水位的偏差，修正机组负荷分配，兼顾电站的水调需求。
Ｑ ＝ Ｑ （２）
ｔａｒｇｅｔ，ｔ ｍｉｎ
Ｑ ｔａｒｇｅｔ，ｔ ＝ Ｑ ｓａｆｅ，ｔ （３）
Ｑ ＝ Ｑ － Ｑ ＋ （Ｖ（Ｚ） － Ｖ（Ｚ ））? Δ ｔ （４）
ｔａｒｇｅｔ，ｔ ｉｎｆｌｏｗ，ｔ ｆｌｏｏｄ，ｔ ｔ ｔａｒｇｅｔ，ｔ
式中：Ｑ 为最小下泄流量；Ｑ 为 ｔ时刻下游防洪控制点的安全下泄流量；Ｑ 为 ｔ时刻入库流
ｍｉｎ ｓａｆｅ，ｔ ｉｎｆｌｏｗ，ｔ
量；Ｑ ｆｌｏｏｄ，ｔ 为 ｔ时刻泄洪流量；Ｚ为 ｔ时刻水库上游水位；Ｚ ｔａｒｇｅｔ，ｔ 为 ｔ时刻目标水位；Δ ｔ为相邻负荷指令
ｔ
的间隔时间；Ｖ（·）为水库水位与库容间的函数关系。
模型需要满足的约束条件如下：
（ １）水量平衡约束：

ｎ ｔｏｔａｌ
Ｖ ＝ Ｖ＋ （Ｑ － Ｑ ｆｌｏｏｄ，ｔ∑ Ｑ（Ｎ ，Ｈ）） × Δ ｔ （５）
－
ｔ ＋ １ ｔ ｉｎｆｌｏｗ，ｔ ｉ，ｔ ｔ
ｉ ＝１
（２）库水位约束：
Ｚ ｄｏｗｎ ≤Ｚ≤Ｚ ｕｐ （６）
ｔ
（ ３）出力约束：
Ｎ ｉ，ｄｏｗｎ ≤Ｎ ≤Ｎ ｉ，ｕｐ （７）
ｉ，ｔ
（ ４）机组运行约束：
ｎ ＋ ｎ ＝ ｎ ｔｏｔａｌ （８）
ｏｎ
ｏｆｆ
ｎ ｔｏｔａｌ
∑ Ｎ ＝ Ｎ ｔ （９）
ｉ，ｔ
ｉ ＝１
ｉ ，ｄｏｗｎ ≥０
（Ｎ － Ｎ ｊ ） × （Ｎ － Ｎ ｊ ） （１０）
ｉ，ｔ ｉ ，ｕｐ ｉ，ｔ
式中：Ｖ和 Ｖ 为 ｔ时刻与 ｔ ＋ １时刻水库库容；Ｚ ｄｏｗｎ 和 Ｚ 为水库水位的下限和上限；Ｎ ｉ，ｄｏｗｎ 和 Ｎ 为第
ｕｐ
ｉ，ｕｐ
ｔ
ｔ ＋ １
ｉ台机组出力的下限和上限；ｎ 、ｎ 为电站的开机机组数、关机机组数；Ｎ为 ｔ时刻电站的要求出力；
ｏｎ ｏｆｆ ｔ
Ｎ ｊ 、Ｎ ｊ 为第 ｉ台机组的第 ｊ个振动区的下限和上限。
ｉ，ｄｏｗｎ ｉ，ｕｐ
２．２ 强化学习模型 将站内实时负荷分配描述为一个多阶段的电站负荷指令与机组相匹配的问题，以
５ｍｉｎ为时间离散步长对分配过程进行划分，并将其建模为马尔科夫决策过程，该决策过程可由状态
集 Ｓ，动作集 Ａ，状态转移概率 Ｐ，奖励值 Ｒ组成的四元组（Ｓ，Ａ，Ｐ，Ｒ）表示。
强化学习（ ＲＬ）模型在每个决策阶段开始时与环境交互，获得当前环境的状态值 ｓ后，根据动作选
择策略 π （ｓ，ａ）从动作集 Ａ中选取动作 ａ并执行，实现负荷在机组间的分配。当前分配结束后，环境
会针对决策结果生成奖励值 ｒ，用于评价决策的好坏。本文中 ＲＬ模型的状态、动作、奖励与动作选取
策略定义如下：
（ １）状态 ｓ：表示智能体与环境交互后得到的观测值，是由决策过程中所有可能影响智能体动作选
择的环境因素所构成的集合。由于 ＲＬ模型涉及电站所有机组的运行，并受水库水情影响，因此表征
模型状态需要大量的数据，本文定义在 ｔ阶段的状态为一维张量［Ｚ，Ｑ ，Ｑ ，Ｎ］。
ｔ ｉｎｆｌｏｗ，ｔ ｔａｒｇｅｔ，ｔ ｔ
（２）动作 ａ：表示智能体可以执行的行为，用于与环境交互并影响环境的状态。在每个决策阶段，
ＲＬ模型需将负荷指令分配至合适的机组，若直接定义机组承担的负荷为动作，易导致动作集过大，
模型难以有效训练。由于 ｔ阶段电站的开机组合已由负荷分配模型确定，故 ＲＬ模型仅需在固定机组
间调整负荷。因此，可将动作转化为在机组间调整负荷，尽可能缩小动作集，提升模型训练效率。负
＃
＃
荷调整方法描述为：设定调整精度为 ｎＭＷ，智能体选择一个动作，该动作首先选定机组 ｉ与 ｊ，其后
＃
＃
在两台机组间调整负荷，即机组 ｉ增加 ｎＭＷ 负荷，机组 ｊ减少 ｎＭＷ 负荷或相反。模型通过在机组
间调整负荷，使电站发电流量尽可能接近目标流量，以实现机组负荷的优化分配。此外单独设置输出
动作，当选取到该动作时，不再调整负荷，当前负荷指令分配结束，输出机组负荷分配情况。因为动
作选择具有一定的随机性，可能出现无效或不合理的动作选择，如：①循环调整动作，即连续负荷调
整后，机组负荷分配结果不变，导致机组间负荷的无效调整，影响决策输出速度；②调整后机组承担
的负荷不满足电站运行的约束条件。因此，需对选取的动作进行判定，当判定为无效动作时，此次选

— １ ４ ７ —
３