Files
junhong_cmp_fiber/openspec/changes/add-polling-async-ingest/specs/card-traffic-metering/spec.md
邹进 1214181e78
All checks were successful
构建并部署到测试环境(无 SSH) / build-and-deploy (push) Successful in 16m2s
feat: 轮询观测入库异步化,调网关与入库分离,采集记录经消息攒批写入
- 轮询步骤异步模式下只调网关并发布 card.ingest 入库消息,入库消费者固定并发 30、按采集 ID 去重、可重试错误不限次数退避重投
- 采集记录经 card.collection 攒批写入,失败整批重投,新增 (observation_id, observed_at) 唯一索引
- 网络、实名观测增加乱序保护;轮询读查询走缓存,套餐状态查询各自计时且失败不缓存
- 入库积压告警与反压;系统配置 polling.ingest.mode 默认 sync 可回退;测试环境 nsqd 消息全部落盘

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-06 16:33:29 +09:00

3.5 KiB
Raw Blame History

MODIFIED Requirements

Requirement: 采集记录

系统 SHALL 把每次流量采集按结果分别写入两张表。

成功表 tb_card_traffic_collection

  • 只写读数结果为有效的采集。
  • 记录内容:采集时间、采集 ID、来源、场景、运营商账户、运营商原始读数、入队后的队列、写入判断(已写入、建起点、队列未满、读数下降、乱序、激活前结算用已有快照)。
  • 写入成功时,还记录换算后的本月累计、是否触发防旧值、本次增量与流量事件 ID。
  • 只为采集时刻有套餐的卡写成功记录;没有套餐的卡 MUST NOT 写成功记录。

失败表 tb_card_traffic_collection_failure

  • 写读数结果为失败、限流、响应无效、无读数、读数无效的采集。
  • 记录内容:采集时间、采集 ID、来源、场景、运营商账户、ICCID、失败类型、错误类别、上游返回码、上游返回信息(截断)、耗时。
  • 失败记录 MUST 为所有被采集的卡写入,不判断卡是否有套餐。

原始数据

  • 两张表都 SHALL 保存本次网关调用的原始数据:加密前的明文业务请求、HTTP 状态码、网关响应的 code、msg、trace_id、原始响应体,以及网关客户端内部重试次数。
  • 原始响应能解析为 JSON 时按 JSON 保存,否则按文本保存。超过 4 KB 时截断,并标记已截断。
  • 网关客户端内部发生过重试时,保存最后一次的请求与响应。
  • 系统 MUST NOT 保存加密后的报文、签名、应用标识、密钥或请求头。

通用规则

  • 采集 ID 等于对接日志的 integration_id,MUST 随流量事件与扣费审计传递,使扣费可追溯到对应采集记录。
  • 采集记录 SHALL 经 card.collection 消息由批量消费者写入;写入失败 MUST 重投重试、不丢弃,且不影响扣减与卡状态。
  • 同一采集 ID 与采集时间的记录 MUST 只保留一条,重复写入被忽略。

Scenario: 被队列拦下的采集

  • WHEN 有套餐的卡本次读数使队列出现下降
  • THEN 系统在成功表写一条采集记录,判断为读数下降,记录队列内容与原始响应,不写快照

Scenario: 从扣费追到采集

  • WHEN 维护者从一笔扣费排查
  • THEN 可经流量事件的采集 ID 找到成功表中对应的原始读数、队列与原始响应

Scenario: 没套餐的卡采集成功

  • WHEN 没套餐的卡被采集且读数有效
  • THEN 系统不写成功记录

Scenario: 没套餐的卡采集失败

  • WHEN 没套餐的卡查流量超时
  • THEN 系统在失败表写一条记录,失败类型为失败,错误类别为超时,HTTP 状态码为空

Scenario: 上游返回业务错误

  • WHEN 网关返回非成功的业务码
  • THEN 失败表记录上游返回码、返回信息、trace_id 与原始响应体

Scenario: 原始响应过长

  • WHEN 网关原始响应体超过 4 KB
  • THEN 系统保存前 4 KB,并标记已截断

Scenario: 不保存敏感报文

  • WHEN 任一采集记录写入原始数据
  • THEN 记录中不含加密报文、签名、应用标识与密钥

Scenario: 采集记录写库失败

  • WHEN 批量写采集记录时数据库超时
  • THEN 这一批消息重投后重新写入,记录不丢失,卡的扣减与状态不受影响

Scenario: 采集记录重复投递

  • WHEN 同一条采集记录消息被投递两次
  • THEN 表中只保留一条该采集 ID 的记录