All checks were successful
构建并部署到测试环境(无 SSH) / build-and-deploy (push) Successful in 16m2s
- 轮询步骤异步模式下只调网关并发布 card.ingest 入库消息,入库消费者固定并发 30、按采集 ID 去重、可重试错误不限次数退避重投 - 采集记录经 card.collection 攒批写入,失败整批重投,新增 (observation_id, observed_at) 唯一索引 - 网络、实名观测增加乱序保护;轮询读查询走缓存,套餐状态查询各自计时且失败不缓存 - 入库积压告警与反压;系统配置 polling.ingest.mode 默认 sync 可回退;测试环境 nsqd 消息全部落盘 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
3.5 KiB
3.5 KiB
MODIFIED Requirements
Requirement: 采集记录
系统 SHALL 把每次流量采集按结果分别写入两张表。
成功表 tb_card_traffic_collection
- 只写读数结果为有效的采集。
- 记录内容:采集时间、采集 ID、来源、场景、运营商账户、运营商原始读数、入队后的队列、写入判断(已写入、建起点、队列未满、读数下降、乱序、激活前结算用已有快照)。
- 写入成功时,还记录换算后的本月累计、是否触发防旧值、本次增量与流量事件 ID。
- 只为采集时刻有套餐的卡写成功记录;没有套餐的卡 MUST NOT 写成功记录。
失败表 tb_card_traffic_collection_failure
- 写读数结果为失败、限流、响应无效、无读数、读数无效的采集。
- 记录内容:采集时间、采集 ID、来源、场景、运营商账户、ICCID、失败类型、错误类别、上游返回码、上游返回信息(截断)、耗时。
- 失败记录 MUST 为所有被采集的卡写入,不判断卡是否有套餐。
原始数据
- 两张表都 SHALL 保存本次网关调用的原始数据:加密前的明文业务请求、HTTP 状态码、网关响应的
code、msg、trace_id、原始响应体,以及网关客户端内部重试次数。 - 原始响应能解析为 JSON 时按 JSON 保存,否则按文本保存。超过 4 KB 时截断,并标记已截断。
- 网关客户端内部发生过重试时,保存最后一次的请求与响应。
- 系统 MUST NOT 保存加密后的报文、签名、应用标识、密钥或请求头。
通用规则
- 采集 ID 等于对接日志的
integration_id,MUST 随流量事件与扣费审计传递,使扣费可追溯到对应采集记录。 - 采集记录 SHALL 经
card.collection消息由批量消费者写入;写入失败 MUST 重投重试、不丢弃,且不影响扣减与卡状态。 - 同一采集 ID 与采集时间的记录 MUST 只保留一条,重复写入被忽略。
Scenario: 被队列拦下的采集
- WHEN 有套餐的卡本次读数使队列出现下降
- THEN 系统在成功表写一条采集记录,判断为读数下降,记录队列内容与原始响应,不写快照
Scenario: 从扣费追到采集
- WHEN 维护者从一笔扣费排查
- THEN 可经流量事件的采集 ID 找到成功表中对应的原始读数、队列与原始响应
Scenario: 没套餐的卡采集成功
- WHEN 没套餐的卡被采集且读数有效
- THEN 系统不写成功记录
Scenario: 没套餐的卡采集失败
- WHEN 没套餐的卡查流量超时
- THEN 系统在失败表写一条记录,失败类型为失败,错误类别为超时,HTTP 状态码为空
Scenario: 上游返回业务错误
- WHEN 网关返回非成功的业务码
- THEN 失败表记录上游返回码、返回信息、
trace_id与原始响应体
Scenario: 原始响应过长
- WHEN 网关原始响应体超过 4 KB
- THEN 系统保存前 4 KB,并标记已截断
Scenario: 不保存敏感报文
- WHEN 任一采集记录写入原始数据
- THEN 记录中不含加密报文、签名、应用标识与密钥
Scenario: 采集记录写库失败
- WHEN 批量写采集记录时数据库超时
- THEN 这一批消息重投后重新写入,记录不丢失,卡的扣减与状态不受影响
Scenario: 采集记录重复投递
- WHEN 同一条采集记录消息被投递两次
- THEN 表中只保留一条该采集 ID 的记录