fix: 网关限流系统配置 Key 改为三段式,修复注册失败
All checks were successful
构建并部署到测试环境(无 SSH) / build-and-deploy (push) Successful in 9m35s

- 受控系统配置要求 Key 至少三段,原两段式 Key(如 polling.rate_limit_mode)注册被拒,后台不可见、限流器只能使用默认值
- Key 改为 polling.gateway.* 与 polling.stop_resume_record.*;新增迁移 000247 将已落库的旧 Key 改名并保留取值
- 后续提案中规划的开关同步改为三段式(polling.scheduler.mode、polling.stop_resume.queue_enabled)
This commit is contained in:
邹进
2026-10-24 16:17:34 +09:00
parent 9b0930db9f
commit 02a842f066
16 changed files with 70 additions and 34 deletions

View File

@@ -540,7 +540,7 @@
#### 7.5 系统参数(yaml)
默认 QPS、默认执行上限(`inflight_limit`、`sr_inflight_limit`)、默认 `max_in_flight`、设备判断 `max_in_flight`、分发间隔、卡任务总超时(各步骤超时之和 + 余量,见 3.3 节)、NSQ 地址(nsqd / nsqlookupd)、NSQ `msg_timeout`(须大于续期间隔,执行中靠 `Touch` 延长)、处理中标记 TTL 即租约时长(须大于 `msg_timeout` × 允许重投次数)、租约续期间隔(默认租约时长 / 3)、QPS 最长等待、优雅退出宽限期、重置日前加密的收尾提前量(11.10 节)、激活前流量结算总超时(11.9 节)、停复机记录表分区提前创建月数(6.2 节)。停复机出口全局开关 `stop_resume_queue_enabled` 不放 yaml,放受控系统配置 `polling.stop_resume_queue_enabled`(默认关闭),开关与回退即时生效、无需重新部署(第 9 节、14.1 节)。
默认 QPS、默认执行上限(`inflight_limit`、`sr_inflight_limit`)、默认 `max_in_flight`、设备判断 `max_in_flight`、分发间隔、卡任务总超时(各步骤超时之和 + 余量,见 3.3 节)、NSQ 地址(nsqd / nsqlookupd)、NSQ `msg_timeout`(须大于续期间隔,执行中靠 `Touch` 延长)、处理中标记 TTL 即租约时长(须大于 `msg_timeout` × 允许重投次数)、租约续期间隔(默认租约时长 / 3)、QPS 最长等待、优雅退出宽限期、重置日前加密的收尾提前量(11.10 节)、激活前流量结算总超时(11.9 节)、停复机记录表分区提前创建月数(6.2 节)。停复机出口全局开关 `stop_resume_queue_enabled` 不放 yaml,放受控系统配置 `polling.stop_resume.queue_enabled`(默认关闭),开关与回退即时生效、无需重新部署(第 9 节、14.1 节)。
#### 7.6 业务事件检查场景(后台,全局,见 5.1 节)
@@ -571,9 +571,9 @@
| 全局开关(受控系统配置,后台即时生效,见 14.1 节) | 所属 change | 开启 | 关闭(回退) |
|---|---|---|---|
| `polling.rate_limit_mode`(`observe` / `enforce`) | 1 | 拦截:按限流组执行 | 只统计:计数但不拦截 |
| `polling.scheduler_mode`(`legacy` / `carrier`) | 5 | 全部卡任务走新调度(按账户队列 + NSQ) | 全部回到旧分片调度 |
| `polling.stop_resume_queue_enabled`(bool) | 6 | 全部自动停复机经指令队列与设备判断 | 各自动入口恢复当场执行 |
| `polling.gateway.rate_limit_mode`(`observe` / `enforce`) | 1 | 拦截:按限流组执行 | 只统计:计数但不拦截 |
| `polling.scheduler.mode`(`legacy` / `carrier`) | 5 | 全部卡任务走新调度(按账户队列 + NSQ) | 全部回到旧分片调度 |
| `polling.stop_resume.queue_enabled`(bool) | 6 | 全部自动停复机经指令队列与设备判断 | 各自动入口恢复当场执行 |
- 新 key 前缀,与旧 key 不冲突;新旧调度不双跑:任一时刻只有 `scheduler_mode` 指定的一套调度在领取与执行。
- 入口写入:所有写入轮询结构的入口(Initializer、生命周期、优先提示、手动触发、业务事件与读入口请求检查)按 `scheduler_mode` 写新结构或旧结构,不再按账户分流。
@@ -834,9 +834,9 @@
| 限流组(7.1) | `GET /polling-rate-limit-groups`(按运营商账户筛选,含全局组)、`POST`、`GET /:id`、`PUT /:id`、`PUT /:id/status`、`DELETE /:id` | 保存时校验:同账户同一操作只属于一个组、`reserved_qps < max_qps`、高优先级操作属于本组操作;停用提示"回落默认 QPS" |
| 运营商账户调度参数(7.2) | `GET /polling-carrier-params`(列表:全部运营商账户,未配置的返回全局默认值并标记"默认")、`GET /:carrier_id`、`PUT /:carrier_id`(不存在则创建)、`DELETE /:carrier_id`(恢复全局默认) | 保存时按当前订阅进程数校验执行上限与 `max_in_flight`(3.2 节);不提供按账户切换调度的接口(不灰度,见第 9 节) |
| 卡任务步骤、失败告警标量参数(7.3、7.4) | 复用现有 `GET /system-configs?module=polling`、`PUT /system-configs/:key` | 需改动:注册 `module = polling` 的配置项;`SystemConfigListRequest.Module` 枚举增加 `polling`;`step_order`、`backoff`、`alert_fail_count` 等 JSON 值现只校验 JSON 合法,需为注册项增加结构校验(如步骤只能是 4 种类型且不重复、退避序列递增且不超过检查间隔) |
| 限流模式 | 复用 `/system-configs`,键 `polling.rate_limit_mode`(`observe` / `enforce`) | 全局生效,不按账户覆盖 |
| 调度模式 | 复用 `/system-configs`,键 `polling.scheduler_mode`(`legacy` / `carrier`) | 切换触发第 9 节初始化流程;`GET /polling-stats/init-progress`(现有接口)查看新结构初始化进度 |
| 停复机出口全局开关 | 复用 `/system-configs`,键 `polling.stop_resume_queue_enabled`(bool) | 从 yaml 改为受控系统配置:开关与回退需要即时生效,不能依赖重新部署(第 9 节) |
| 限流模式 | 复用 `/system-configs`,键 `polling.gateway.rate_limit_mode`(`observe` / `enforce`) | 全局生效,不按账户覆盖 |
| 调度模式 | 复用 `/system-configs`,键 `polling.scheduler.mode`(`legacy` / `carrier`) | 切换触发第 9 节初始化流程;`GET /polling-stats/init-progress`(现有接口)查看新结构初始化进度 |
| 停复机出口全局开关 | 复用 `/system-configs`,键 `polling.stop_resume.queue_enabled`(bool) | 从 yaml 改为受控系统配置:开关与回退需要即时生效,不能依赖重新部署(第 9 节) |
| 上游错误分类(7.4) | `GET /gateway-error-classifications`(按类别、操作、启用状态、关键字筛选)、`POST`、`PUT /:id`、`PUT /:id/status`、`DELETE /:id`;`POST /gateway-error-classifications/test`(输入一段上游返回信息,返回命中的规则与类别) | 测试接口用于运营新增规则前验证 |
| 业务事件检查场景(7.6) | `GET /polling-check-scenes`、`PUT /polling-check-scenes/:scene` | 场景由代码预置(入口在代码里),不提供新增与删除,只改检查类型、确认延迟、冷却 |
| 轮询配置(分层与重置日前加密,11.3、11.10) | 现有 `/polling-configs` 增加 `package_state`、`asset_status`、`pre_reset_window`、`pre_reset_carddata_interval` 四个字段,去掉 `protect_check_interval`;间隔支持 `0` = 不检查;新增 `PUT /polling-configs/priorities`(整体排序)、`GET /polling-configs/match-preview`(匹配预览)、`POST /polling-configs/recalculate-due` 与 `GET /polling-configs/recalculate-due/:task_id`(重算到期时间及进度) | 保存校验与三种间隔含义见 11.3 节;前端以"按间隔 / 不检查 / 继承"三态展示每种检查类型,并支持拖拽排序 |
@@ -1079,7 +1079,7 @@
- 同一任务因限流累计推迟超过上限(系统参数)时写告警,任务仍继续重试。
- 只改 Asynq 服务配置与错误类型,不改各消费者业务代码;对所有 Asynq 任务生效,非限流错误的行为不变。
第 1 步的拦截模式:限流器支持"只统计"与"拦截"两种模式,由受控系统配置 `polling.rate_limit_mode`(`observe` / `enforce`,默认 `observe`)全局控制,不按账户覆盖。
第 1 步的拦截模式:限流器支持"只统计"与"拦截"两种模式,由受控系统配置 `polling.gateway.rate_limit_mode`(`observe` / `enforce`,默认 `observe`)全局控制,不按账户覆盖。
- 只统计:照常计数(各账户实际 QPS、本应被限流的次数),不拦截、不等待。
- 拦截:按 4 节执行。
- 上线顺序:change 1 先以只统计模式全量上线,采集至少一周各账户实际调用量与失败分类;按数据配好全部账户的限流组后,整体切到拦截模式。避免上线瞬间所有未配置的账户按默认 QPS 被拦截,导致整体轮询变慢。
@@ -1201,7 +1201,7 @@
- 停复机结果未知不沿用现有恢复扫描(现有普通停复机只有人工核对策略),在指令队列内按"确认延迟 → 查状态 → 已是目标状态结束 / 否则按单卡最小重试间隔重发"处理(第三部分第 6 节第 5 条)。
- 到期即停不走套餐步骤,以"套餐到期"场景直接请求评估;设备判断队列保存并按并集合并请求场景,避免暂停轮询的卡或设备漏停(第三部分第 6.1、11.5 节)。
- ~~跨账户设备:卡任务按账户灰度,停复机出口改为全局开关~~(已被同日"不灰度"取代)。
- 不灰度(2026-10-24 已定):不按运营商账户、设备或卡灰度,每个 change 对全部账户整体切换;只保留 `polling.rate_limit_mode`、`polling.scheduler_mode`、`polling.stop_resume_queue_enabled` 三个全局开关用于整体回退;取消账户调度参数中的 `polling_enabled` 与 `rate_limit_mode`;跨账户设备(约 58%)仍为核心验收场景(第三部分第 9 节)。
- 不灰度(2026-10-24 已定):不按运营商账户、设备或卡灰度,每个 change 对全部账户整体切换;只保留 `polling.gateway.rate_limit_mode`、`polling.scheduler.mode`、`polling.stop_resume.queue_enabled` 三个全局开关用于整体回退;取消账户调度参数中的 `polling_enabled` 与 `rate_limit_mode`;跨账户设备(约 58%)仍为核心验收场景(第三部分第 9 节)。
- 分层配置的间隔区分三态:正数按间隔、`0` 不检查、空继承;保持空 = 继承不改变现有配置行为。优先级可后台调整(单条、整体排序),相同优先级按 ID 排序;提供匹配预览与"立即重算到期时间"(第三部分第 11.3 节)。
- 所有后台配置、告警、不轮询清单、停复机记录都提供查询与修改接口,供前端建页面;标量参数复用 `/system-configs`(新增 `polling` 模块与 JSON 结构校验);停复机出口全局开关从 yaml 改为受控系统配置(第三部分第 14 节)。
- 复机不看停机原因,包括运营商侧主动停机 `carrier_stopped`,只由本系统规则决定(第三部分第 12 节)。