Files
junhong_cmp_fiber/internal/domain/cardobservation/traffic.go
邹进 1214181e78
All checks were successful
构建并部署到测试环境(无 SSH) / build-and-deploy (push) Successful in 16m2s
feat: 轮询观测入库异步化,调网关与入库分离,采集记录经消息攒批写入
- 轮询步骤异步模式下只调网关并发布 card.ingest 入库消息,入库消费者固定并发 30、按采集 ID 去重、可重试错误不限次数退避重投
- 采集记录经 card.collection 攒批写入,失败整批重投,新增 (observation_id, observed_at) 唯一索引
- 网络、实名观测增加乱序保护;轮询读查询走缓存,套餐状态查询各自计时且失败不缓存
- 入库积压告警与反压;系统配置 polling.ingest.mode 默认 sync 可回退;测试环境 nsqd 消息全部落盘

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-06 16:33:29 +09:00

96 lines
3.8 KiB
Go
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
package cardobservation
import (
"math"
"github.com/break/junhong_cmp_fiber/pkg/constants"
"github.com/break/junhong_cmp_fiber/pkg/errors"
)
// TrafficObservation 是领域层接收的标准运营商流量读数。
type TrafficObservation struct {
CardID uint
GatewayReadingMB float64
// ReadingResult 是读数结果(constants.TrafficCollectionResult*);为空表示运营商给出了读数,
// 是否有效(有限且 ≥ 0)由观测用例判断。非 ok 的观测只写采集记录,不入队、不写快照。
ReadingResult string
ResetDay int
Metadata ObservationMetadata
// Raw 是本次网关调用的原始请求与响应,未收集时为 nil。
Raw *GatewayRaw
// Failure 是读数结果非 ok 时的失败详情,未提供时为 nil。
Failure *CollectionFailure
// ICCID、CarrierID 是调用方已知的卡标识,写采集失败记录时直接使用;为空时由观测用例查库补齐。
ICCID string
CarrierID uint
}
// GatewayRaw 是一次网关调用的原始数据(最后一次 HTTP 尝试),只含明文业务请求与网关响应。
type GatewayRaw struct {
Request []byte
HTTPStatus int
Response []byte
GatewayCode *int
GatewayMsg string
TraceID string
Attempts int
}
// CollectionFailure 是一次采集失败的错误详情。
type CollectionFailure struct {
ErrorCategory string
ProviderCode string
ProviderMessage string
DurationMS int
}
// TrafficDecision 描述一次流量观测的处理结果。
type TrafficDecision struct {
// IncrementMB 是本次写入流量事件的增量,0 表示没有写事件。
IncrementMB float64
// ReadingAccepted 为 true 表示本次读数通过采集队列判断并写入了日快照。
ReadingAccepted bool
// Decision 是写入判断(constants.TrafficDecision*);读数无效时为空。
Decision string
// Result 是读数结果(constants.TrafficCollectionResult*)。
Result string
// ReadingMB 是本次运营商读数,没有给值时为 nil。
ReadingMB *float64
// CrossMonth 为 true 表示本次写入使卡表本月用量跨入新的自然月。
CrossMonth bool
// CurrentMonthUsageMB 是写入后的本月最大快照(未写入时为卡表原值)。
CurrentMonthUsageMB float64
// LastGatewayReadingMB 保留卡表原值,卡表基线算法已下线,不再更新。
LastGatewayReadingMB float64
}
// ValidateTrafficObservation 校验观测元数据与读数结果;给出读数时读数必须是数字(有效性由用例判断)。
func ValidateTrafficObservation(observation TrafficObservation) error {
if err := validateObservationMetadata(observation.CardID, observation.Metadata); err != nil {
return err
}
switch observation.ReadingResult {
case "", constants.TrafficCollectionResultOK, constants.TrafficCollectionResultFailed, constants.TrafficCollectionResultRateLimited,
constants.TrafficCollectionResultInvalidPayload, constants.TrafficCollectionResultNoReading, constants.TrafficCollectionResultInvalidReading:
return nil
default:
return errors.New(errors.CodeInvalidParam, "流量观测读数结果无效")
}
}
// ResolveReadingResult 返回观测的最终读数结果:给出了读数但不是有限且 ≥ 0 的数时为读数无效。
func ResolveReadingResult(observation TrafficObservation) string {
if observation.ReadingResult != "" && observation.ReadingResult != constants.TrafficCollectionResultOK {
return observation.ReadingResult
}
reading := observation.GatewayReadingMB
if math.IsNaN(reading) || math.IsInf(reading, 0) || reading < 0 {
return constants.TrafficCollectionResultInvalidReading
}
return constants.TrafficCollectionResultOK
}
func validateObservationMetadata(cardID uint, metadata ObservationMetadata) error {
return validateObservation(RealnameObservation{CardID: cardID, Verified: true, Metadata: metadata})
}