feat: 轮询观测入库异步化,调网关与入库分离,采集记录经消息攒批写入
All checks were successful
构建并部署到测试环境(无 SSH) / build-and-deploy (push) Successful in 16m2s
All checks were successful
构建并部署到测试环境(无 SSH) / build-and-deploy (push) Successful in 16m2s
- 轮询步骤异步模式下只调网关并发布 card.ingest 入库消息,入库消费者固定并发 30、按采集 ID 去重、可重试错误不限次数退避重投 - 采集记录经 card.collection 攒批写入,失败整批重投,新增 (observation_id, observed_at) 唯一索引 - 网络、实名观测增加乱序保护;轮询读查询走缓存,套餐状态查询各自计时且失败不缓存 - 入库积压告警与反压;系统配置 polling.ingest.mode 默认 sync 可回退;测试环境 nsqd 消息全部落盘 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -0,0 +1,67 @@
|
||||
## MODIFIED Requirements
|
||||
|
||||
### Requirement: 采集记录
|
||||
|
||||
系统 SHALL 把每次流量采集按结果分别写入两张表。
|
||||
|
||||
**成功表 `tb_card_traffic_collection`**
|
||||
|
||||
- 只写读数结果为有效的采集。
|
||||
- 记录内容:采集时间、采集 ID、来源、场景、运营商账户、运营商原始读数、入队后的队列、写入判断(已写入、建起点、队列未满、读数下降、乱序、激活前结算用已有快照)。
|
||||
- 写入成功时,还记录换算后的本月累计、是否触发防旧值、本次增量与流量事件 ID。
|
||||
- 只为采集时刻有套餐的卡写成功记录;没有套餐的卡 MUST NOT 写成功记录。
|
||||
|
||||
**失败表 `tb_card_traffic_collection_failure`**
|
||||
|
||||
- 写读数结果为失败、限流、响应无效、无读数、读数无效的采集。
|
||||
- 记录内容:采集时间、采集 ID、来源、场景、运营商账户、ICCID、失败类型、错误类别、上游返回码、上游返回信息(截断)、耗时。
|
||||
- 失败记录 MUST 为所有被采集的卡写入,不判断卡是否有套餐。
|
||||
|
||||
**原始数据**
|
||||
|
||||
- 两张表都 SHALL 保存本次网关调用的原始数据:加密前的明文业务请求、HTTP 状态码、网关响应的 `code`、`msg`、`trace_id`、原始响应体,以及网关客户端内部重试次数。
|
||||
- 原始响应能解析为 JSON 时按 JSON 保存,否则按文本保存。超过 4 KB 时截断,并标记已截断。
|
||||
- 网关客户端内部发生过重试时,保存最后一次的请求与响应。
|
||||
- 系统 MUST NOT 保存加密后的报文、签名、应用标识、密钥或请求头。
|
||||
|
||||
**通用规则**
|
||||
|
||||
- 采集 ID 等于对接日志的 `integration_id`,MUST 随流量事件与扣费审计传递,使扣费可追溯到对应采集记录。
|
||||
- 采集记录 SHALL 经 `card.collection` 消息由批量消费者写入;写入失败 MUST 重投重试、不丢弃,且不影响扣减与卡状态。
|
||||
- 同一采集 ID 与采集时间的记录 MUST 只保留一条,重复写入被忽略。
|
||||
|
||||
#### Scenario: 被队列拦下的采集
|
||||
- **WHEN** 有套餐的卡本次读数使队列出现下降
|
||||
- **THEN** 系统在成功表写一条采集记录,判断为读数下降,记录队列内容与原始响应,不写快照
|
||||
|
||||
#### Scenario: 从扣费追到采集
|
||||
- **WHEN** 维护者从一笔扣费排查
|
||||
- **THEN** 可经流量事件的采集 ID 找到成功表中对应的原始读数、队列与原始响应
|
||||
|
||||
#### Scenario: 没套餐的卡采集成功
|
||||
- **WHEN** 没套餐的卡被采集且读数有效
|
||||
- **THEN** 系统不写成功记录
|
||||
|
||||
#### Scenario: 没套餐的卡采集失败
|
||||
- **WHEN** 没套餐的卡查流量超时
|
||||
- **THEN** 系统在失败表写一条记录,失败类型为失败,错误类别为超时,HTTP 状态码为空
|
||||
|
||||
#### Scenario: 上游返回业务错误
|
||||
- **WHEN** 网关返回非成功的业务码
|
||||
- **THEN** 失败表记录上游返回码、返回信息、`trace_id` 与原始响应体
|
||||
|
||||
#### Scenario: 原始响应过长
|
||||
- **WHEN** 网关原始响应体超过 4 KB
|
||||
- **THEN** 系统保存前 4 KB,并标记已截断
|
||||
|
||||
#### Scenario: 不保存敏感报文
|
||||
- **WHEN** 任一采集记录写入原始数据
|
||||
- **THEN** 记录中不含加密报文、签名、应用标识与密钥
|
||||
|
||||
#### Scenario: 采集记录写库失败
|
||||
- **WHEN** 批量写采集记录时数据库超时
|
||||
- **THEN** 这一批消息重投后重新写入,记录不丢失,卡的扣减与状态不受影响
|
||||
|
||||
#### Scenario: 采集记录重复投递
|
||||
- **WHEN** 同一条采集记录消息被投递两次
|
||||
- **THEN** 表中只保留一条该采集 ID 的记录
|
||||
Reference in New Issue
Block a user