All checks were successful
构建并部署到测试环境(无 SSH) / build-and-deploy (push) Successful in 16m2s
- 轮询步骤异步模式下只调网关并发布 card.ingest 入库消息,入库消费者固定并发 30、按采集 ID 去重、可重试错误不限次数退避重投 - 采集记录经 card.collection 攒批写入,失败整批重投,新增 (observation_id, observed_at) 唯一索引 - 网络、实名观测增加乱序保护;轮询读查询走缓存,套餐状态查询各自计时且失败不缓存 - 入库积压告警与反压;系统配置 polling.ingest.mode 默认 sync 可回退;测试环境 nsqd 消息全部落盘 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
96 lines
3.8 KiB
Go
96 lines
3.8 KiB
Go
package cardobservation
|
||
|
||
import (
|
||
"math"
|
||
|
||
"github.com/break/junhong_cmp_fiber/pkg/constants"
|
||
"github.com/break/junhong_cmp_fiber/pkg/errors"
|
||
)
|
||
|
||
// TrafficObservation 是领域层接收的标准运营商流量读数。
|
||
type TrafficObservation struct {
|
||
CardID uint
|
||
GatewayReadingMB float64
|
||
// ReadingResult 是读数结果(constants.TrafficCollectionResult*);为空表示运营商给出了读数,
|
||
// 是否有效(有限且 ≥ 0)由观测用例判断。非 ok 的观测只写采集记录,不入队、不写快照。
|
||
ReadingResult string
|
||
ResetDay int
|
||
Metadata ObservationMetadata
|
||
// Raw 是本次网关调用的原始请求与响应,未收集时为 nil。
|
||
Raw *GatewayRaw
|
||
// Failure 是读数结果非 ok 时的失败详情,未提供时为 nil。
|
||
Failure *CollectionFailure
|
||
// ICCID、CarrierID 是调用方已知的卡标识,写采集失败记录时直接使用;为空时由观测用例查库补齐。
|
||
ICCID string
|
||
CarrierID uint
|
||
}
|
||
|
||
// GatewayRaw 是一次网关调用的原始数据(最后一次 HTTP 尝试),只含明文业务请求与网关响应。
|
||
type GatewayRaw struct {
|
||
Request []byte
|
||
HTTPStatus int
|
||
Response []byte
|
||
GatewayCode *int
|
||
GatewayMsg string
|
||
TraceID string
|
||
Attempts int
|
||
}
|
||
|
||
// CollectionFailure 是一次采集失败的错误详情。
|
||
type CollectionFailure struct {
|
||
ErrorCategory string
|
||
ProviderCode string
|
||
ProviderMessage string
|
||
DurationMS int
|
||
}
|
||
|
||
// TrafficDecision 描述一次流量观测的处理结果。
|
||
type TrafficDecision struct {
|
||
// IncrementMB 是本次写入流量事件的增量,0 表示没有写事件。
|
||
IncrementMB float64
|
||
// ReadingAccepted 为 true 表示本次读数通过采集队列判断并写入了日快照。
|
||
ReadingAccepted bool
|
||
// Decision 是写入判断(constants.TrafficDecision*);读数无效时为空。
|
||
Decision string
|
||
// Result 是读数结果(constants.TrafficCollectionResult*)。
|
||
Result string
|
||
// ReadingMB 是本次运营商读数,没有给值时为 nil。
|
||
ReadingMB *float64
|
||
// CrossMonth 为 true 表示本次写入使卡表本月用量跨入新的自然月。
|
||
CrossMonth bool
|
||
// CurrentMonthUsageMB 是写入后的本月最大快照(未写入时为卡表原值)。
|
||
CurrentMonthUsageMB float64
|
||
// LastGatewayReadingMB 保留卡表原值,卡表基线算法已下线,不再更新。
|
||
LastGatewayReadingMB float64
|
||
}
|
||
|
||
// ValidateTrafficObservation 校验观测元数据与读数结果;给出读数时读数必须是数字(有效性由用例判断)。
|
||
func ValidateTrafficObservation(observation TrafficObservation) error {
|
||
if err := validateObservationMetadata(observation.CardID, observation.Metadata); err != nil {
|
||
return err
|
||
}
|
||
switch observation.ReadingResult {
|
||
case "", constants.TrafficCollectionResultOK, constants.TrafficCollectionResultFailed, constants.TrafficCollectionResultRateLimited,
|
||
constants.TrafficCollectionResultInvalidPayload, constants.TrafficCollectionResultNoReading, constants.TrafficCollectionResultInvalidReading:
|
||
return nil
|
||
default:
|
||
return errors.New(errors.CodeInvalidParam, "流量观测读数结果无效")
|
||
}
|
||
}
|
||
|
||
// ResolveReadingResult 返回观测的最终读数结果:给出了读数但不是有限且 ≥ 0 的数时为读数无效。
|
||
func ResolveReadingResult(observation TrafficObservation) string {
|
||
if observation.ReadingResult != "" && observation.ReadingResult != constants.TrafficCollectionResultOK {
|
||
return observation.ReadingResult
|
||
}
|
||
reading := observation.GatewayReadingMB
|
||
if math.IsNaN(reading) || math.IsInf(reading, 0) || reading < 0 {
|
||
return constants.TrafficCollectionResultInvalidReading
|
||
}
|
||
return constants.TrafficCollectionResultOK
|
||
}
|
||
|
||
func validateObservationMetadata(cardID uint, metadata ObservationMetadata) error {
|
||
return validateObservation(RealnameObservation{CardID: cardID, Verified: true, Metadata: metadata})
|
||
}
|