All checks were successful
构建并部署到测试环境(无 SSH) / build-and-deploy (push) Successful in 14m13s
新增 000228 成对迁移 tb_polling_priority_item:卡、任务类型、状态、触发类型、来源订单/套餐使用记录、
触发次数与来源集合、尝试次数、失败原因、人工原因与操作者、店铺快照与各时间列;以活动项部分唯一索引
uq_polling_priority_item_active(仅 deleted_at IS NULL AND status IN ('pending','processing') 占键位)
表达「同卡同任务类型至多一条活动项」,另有状态/时间索引与全列注释;down 守卫在存在活动项或未终态行时
拒绝回滚并给出中文原因。
新增优先轮询请求可靠事件 polling.priority.requested(载荷版本 v1、事件键前缀 prio:)与消费者:只在原
业务事务内追加、幂等键稳定;消费者按卡 × 纳入任务类型(realname/carddata/card_status/package)逐条
建项并在提交后下发执行提示,重复投递只合并触发次数、来源集合与最近触发时间,不新建行也不重复调用。
触发点为四类自动场景 purchase_activated / renewal_activated(按同载体更早套餐使用记录判定)/
queue_activated / addon_activated 与「无有效套餐」no_valid_package(仅在普通套餐轮询来源且存在待生效
套餐使用记录时追加;事件通道显式拒绝 manual_trigger);入队对象恒为卡,绑定设备资产在触发事务内冻结
在用卡快照逐卡建项,不使用设备当前卡槽口径。
轮询共享基类新增认领接缝:四个 Handler(realname/carddata/card_status/package)在并发信号量之后、调用
上游之前探测活动项——待执行条件认领、执行中且 90 秒租约未到期则跳过并延后、无活动项时行为与既有完全
等价;超租约允许相邻执行接管,尝试次数只在真正发起执行后累加,未达上限(3)回到活动态按既有间隔重排,
达上限或业务校验类失败进入失败终态并保留可安全展示原因;执行前校验卡自身与绑定设备的轮询开关。未引入
通用卡级锁与 Redis 活动标记,分片队列的出队、入队与移除路径未改动。
提示通道按任务类型独立键(polling:priority:{taskType}),与既有手动触发队列分离;调度器在同一周期内先
排空优先提示、再排空手动触发队列,提示排空不受分片背压跳过影响;未新建调度设施或异步任务类型。
新增人工优先入队与只读查询三条路由 POST /api/admin/polling-priority-items、
GET /api/admin/polling-priority-items、GET /api/admin/polling-priority-items/:id:人工入队复用既有轮询
权限判定(抽取为同包共享函数),原因必填,不受每日 500 次上限与 24 小时去重约束,重复抑制由活动项合并
承担;读侧按店铺快照下推数据范围,越权与不存在不可区分,不提供优先级分级、有效期或人工重触发入口。
新增 7 个审计动作(enqueue/claim/fail/retry/complete/dequeue/manual_denied)与资源
polling_priority_item,并按(操作者类型,来源)注册,人工侧与 Worker 侧均通过来源校验。
同步 OpenAPI 文档装配三处与路由注册;归档 Change 至
openspec/changes/archive/2026-09-17-add-priority-polling-queue/ 并同步主 Spec(新增
priority-polling-queue、polling-operations 追加单次执行互斥 Requirement 与三条路由索引)与上下文健康
证据(requirement-evidence 150 行、入口矩阵 http 403 / async 56)。
本机验证:junhong_cmp_test 与隔离 Redis DB 15,未连生产、未启动 Worker/API、未调用运营商上游;迁移
up/down/up 与 down 守卫实测(含 dirty=true 记账口径与 force 恢复),A–F 批 94 PASS、接缝 63 PASS、
提示通道 12 PASS、清理零残留 20 PASS。成功路径 Complete、真并发互斥、尝试上限第 3 次判定、HTTP 层权限
矩阵、通道阈值持锁复机边界与三类生效触发点生产集成留待测试部署验证(见
docs/verification/add-priority-polling-queue-verification.md 第 4 节)。自动化测试按项目决策为 N/A,
未新增 *_test.go。
186 lines
6.6 KiB
Go
186 lines
6.6 KiB
Go
package polling
|
||
|
||
import (
|
||
"context"
|
||
"math/rand"
|
||
"time"
|
||
|
||
"go.uber.org/zap"
|
||
|
||
"github.com/break/junhong_cmp_fiber/internal/model"
|
||
"github.com/break/junhong_cmp_fiber/internal/store/postgres"
|
||
)
|
||
|
||
// PollingLifecycleService 卡生命周期轮询管理服务
|
||
// 替代 callbacks.go 和 api_callback.go 中的生命周期方法
|
||
// 实现 iot_card.PollingCallback 接口,两个进程(API 和 Worker)共享同一实现
|
||
// 依赖:PollingQueueManager(队列操作)+ PollingConfigManager(配置匹配)
|
||
type PollingLifecycleService struct {
|
||
queueMgr *PollingQueueManager
|
||
configMgr *PollingConfigManager
|
||
iotCardStore *postgres.IotCardStore
|
||
deviceBindingStore *postgres.DeviceSimBindingStore
|
||
deviceStore *postgres.DeviceStore
|
||
logger *zap.Logger
|
||
}
|
||
|
||
// NewPollingLifecycleService 创建卡生命周期轮询管理服务
|
||
func NewPollingLifecycleService(
|
||
queueMgr *PollingQueueManager,
|
||
configMgr *PollingConfigManager,
|
||
iotCardStore *postgres.IotCardStore,
|
||
deviceBindingStore *postgres.DeviceSimBindingStore,
|
||
deviceStore *postgres.DeviceStore,
|
||
logger *zap.Logger,
|
||
) *PollingLifecycleService {
|
||
return &PollingLifecycleService{
|
||
queueMgr: queueMgr,
|
||
configMgr: configMgr,
|
||
iotCardStore: iotCardStore,
|
||
deviceBindingStore: deviceBindingStore,
|
||
deviceStore: deviceStore,
|
||
logger: logger,
|
||
}
|
||
}
|
||
|
||
// OnCardCreated 新卡创建后初始化轮询
|
||
func (s *PollingLifecycleService) OnCardCreated(ctx context.Context, card *model.IotCard) {
|
||
if card == nil {
|
||
return
|
||
}
|
||
if !s.ShouldEnqueue(ctx, card) {
|
||
s.logger.Debug("卡禁用轮询,跳过入队", zap.Uint("card_id", card.ID))
|
||
return
|
||
}
|
||
s.enqueueCard(ctx, card)
|
||
}
|
||
|
||
// OnBatchCardsCreated 批量卡创建后批量初始化轮询
|
||
func (s *PollingLifecycleService) OnBatchCardsCreated(ctx context.Context, cards []*model.IotCard) {
|
||
for _, card := range cards {
|
||
s.OnCardCreated(ctx, card)
|
||
}
|
||
}
|
||
|
||
// OnCardStatusChanged 卡状态变化后清理缓存、重新匹配配置并更新队列
|
||
func (s *PollingLifecycleService) OnCardStatusChanged(ctx context.Context, cardID uint) {
|
||
if err := s.queueMgr.RemoveFromAllQueues(ctx, cardID); err != nil {
|
||
s.logger.Warn("卡状态变化:从队列移除失败", zap.Uint("card_id", cardID), zap.Error(err))
|
||
}
|
||
// 清理轮询卡缓存,确保下次轮询从 DB 读取最新状态
|
||
s.queueMgr.InvalidateCardCache(ctx, cardID)
|
||
|
||
card, err := s.iotCardStore.GetByID(ctx, cardID)
|
||
if err != nil {
|
||
s.logger.Error("卡状态变化:加载卡信息失败", zap.Uint("card_id", cardID), zap.Error(err))
|
||
return
|
||
}
|
||
if !s.ShouldEnqueue(ctx, card) {
|
||
return
|
||
}
|
||
s.enqueueCard(ctx, card)
|
||
}
|
||
|
||
// OnBatchCardsStatusChanged 批量卡状态变化:单次 Redis pipeline 清理 + 单次 DB 批量查询
|
||
// 替代 N 次 OnCardStatusChanged 调用,避免批量分配/回收时打满 DB 连接池
|
||
func (s *PollingLifecycleService) OnBatchCardsStatusChanged(ctx context.Context, cardIDs []uint) {
|
||
if len(cardIDs) == 0 {
|
||
return
|
||
}
|
||
// 单次 pipeline:批量从当前分片队列移除并清理缓存
|
||
if err := s.queueMgr.RemoveBatchFromCurrentShardQueues(ctx, cardIDs); err != nil {
|
||
s.logger.Warn("批量卡状态变化:从队列移除失败", zap.Int("count", len(cardIDs)), zap.Error(err))
|
||
}
|
||
// 单次 DB 查询:批量加载所有卡信息
|
||
cards, err := s.iotCardStore.GetByIDs(ctx, cardIDs)
|
||
if err != nil {
|
||
s.logger.Error("批量卡状态变化:加载卡信息失败", zap.Int("count", len(cardIDs)), zap.Error(err))
|
||
return
|
||
}
|
||
for _, card := range cards {
|
||
if !s.ShouldEnqueue(ctx, card) {
|
||
continue
|
||
}
|
||
s.enqueueCard(ctx, card)
|
||
}
|
||
}
|
||
|
||
// OnCardDeleted 卡删除后移除所有队列并清理缓存
|
||
func (s *PollingLifecycleService) OnCardDeleted(ctx context.Context, cardID uint) {
|
||
if err := s.queueMgr.OnCardDeleted(ctx, cardID); err != nil {
|
||
s.logger.Warn("卡删除:清理队列和缓存失败", zap.Uint("card_id", cardID), zap.Error(err))
|
||
}
|
||
}
|
||
|
||
// OnCardEnabled 卡启用轮询后初始化
|
||
func (s *PollingLifecycleService) OnCardEnabled(ctx context.Context, cardID uint) {
|
||
s.queueMgr.InvalidateCardCache(ctx, cardID)
|
||
card, err := s.iotCardStore.GetByID(ctx, cardID)
|
||
if err != nil {
|
||
s.logger.Error("卡启用:加载卡信息失败", zap.Uint("card_id", cardID), zap.Error(err))
|
||
return
|
||
}
|
||
if !s.ShouldEnqueue(ctx, card) {
|
||
return
|
||
}
|
||
s.enqueueCard(ctx, card)
|
||
}
|
||
|
||
// OnCardDisabled 卡禁用轮询后移除所有队列
|
||
func (s *PollingLifecycleService) OnCardDisabled(ctx context.Context, cardID uint) {
|
||
if err := s.queueMgr.RemoveFromAllQueues(ctx, cardID); err != nil {
|
||
s.logger.Warn("卡禁用:从队列移除失败", zap.Uint("card_id", cardID), zap.Error(err))
|
||
}
|
||
s.queueMgr.InvalidateCardCache(ctx, cardID)
|
||
}
|
||
|
||
// ShouldEnqueue M3 修复:检查卡或其绑定设备是否允许轮询(同时被轮询优先项的执行前范围校验复用)
|
||
// 两层检查:先查卡级 enable_polling,再查设备级 enable_polling(IsStandalone=false 时)
|
||
// 直接查 device.enable_polling,不依赖级联同步正确性,防止同步失败时生命周期事件绕过设备级禁用
|
||
func (s *PollingLifecycleService) ShouldEnqueue(ctx context.Context, card *model.IotCard) bool {
|
||
if !card.EnablePolling {
|
||
return false
|
||
}
|
||
if !card.IsStandalone && s.deviceBindingStore != nil && s.deviceStore != nil {
|
||
binding, err := s.deviceBindingStore.GetActiveBindingByCardID(ctx, card.ID)
|
||
if err == nil && binding != nil {
|
||
device, devErr := s.deviceStore.GetByID(ctx, binding.DeviceID)
|
||
if devErr == nil && !device.EnablePolling {
|
||
s.logger.Debug("设备已禁用轮询,跳过卡入队",
|
||
zap.Uint("card_id", card.ID), zap.Uint("device_id", binding.DeviceID))
|
||
return false
|
||
}
|
||
}
|
||
}
|
||
return true
|
||
}
|
||
|
||
// enqueueCard 按匹配配置将卡入队分片队列
|
||
func (s *PollingLifecycleService) enqueueCard(ctx context.Context, card *model.IotCard) {
|
||
intervals := s.configMgr.MergedTaskIntervals(card)
|
||
if len(intervals) == 0 {
|
||
return
|
||
}
|
||
for taskType, info := range intervals {
|
||
if err := s.queueMgr.Requeue(ctx, card.ID, taskType, calcInitialDelay(info.Interval)); err != nil {
|
||
s.logger.Warn("卡入队失败",
|
||
zap.Uint("card_id", card.ID), zap.String("task_type", taskType), zap.Error(err))
|
||
}
|
||
}
|
||
}
|
||
|
||
// calcInitialDelay 计算新入队卡的初始检查时间(加随机抖动避免惊群)
|
||
// 抖动范围 [0, max(interval/10, 2)) 秒;下界取 2 保证 rand.Intn 有实际随机性
|
||
// (rand.Intn(1) 永远返回 0,对 interval≤10 的配置会导致零抖动)
|
||
func calcInitialDelay(interval int) time.Time {
|
||
now := time.Now()
|
||
if interval <= 0 {
|
||
return now
|
||
}
|
||
jitterMax := interval / 10
|
||
if jitterMax < 2 {
|
||
jitterMax = 2
|
||
}
|
||
return now.Add(time.Duration(rand.Intn(jitterMax)) * time.Second)
|
||
}
|