邹进
|
1214181e78
|
feat: 轮询观测入库异步化，调网关与入库分离，采集记录经消息攒批写入
构建并部署到测试环境（无 SSH） / build-and-deploy (push) Successful in 16m2s
- 轮询步骤异步模式下只调网关并发布 card.ingest 入库消息，入库消费者固定并发 30、按采集 ID 去重、可重试错误不限次数退避重投
- 采集记录经 card.collection 攒批写入，失败整批重投，新增 (observation_id, observed_at) 唯一索引
- 网络、实名观测增加乱序保护；轮询读查询走缓存，套餐状态查询各自计时且失败不缓存
- 入库积压告警与反压；系统配置 polling.ingest.mode 默认 sync 可回退；测试环境 nsqd 消息全部落盘
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-11-06 16:33:29 +09:00 |
|
邹进
|
4f404a11b0
|
perf: 运营商账户分发按账户并行，互不等待
构建并部署到测试环境（无 SSH） / build-and-deploy (push) Successful in 12m48s
分发器每轮原先逐个处理全部运营商账户，每个账户多次 Redis 往返；
测试环境 Redis 走外网，41 个账户一轮约 19 秒，每个账户每 19 秒只领一次，
慢账户拖住其他账户。改为每轮各账户在独立 goroutine 中抢锁并领取，
一轮耗时取决于最慢账户；账户分发锁不变，多实例下同一账户仍只有一个实例领取。
测试环境 worker 的 Redis 连接池由默认 10 调为 100，避免并行分发与轮询执行争抢连接。
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-29 23:57:54 +09:00 |
|
邹进
|
934a3a27a1
|
feat: 停复机指令队列与设备维度判断
构建并部署到测试环境（无 SSH） / build-and-deploy (push) Has been cancelled
自动停复机统一经停复机指令队列执行（全局开关 polling.stop_resume.queue_enabled，默认关闭）：
- 统一判断函数 decideCard，新旧路径共用；暂停轮询的卡在套餐到期、退款场景照常停机
- 同卡一条指令、版本号覆盖；领取校验单卡最小重试间隔；先于卡任务领取，不受 scheduler_mode 限制
- 执行器只调用一次网关，按错误分类退避与告警，结果未知在队列内确认
- 设备维度判断合并请求与场景，版本变化再判断，旧路径持设备锁时推后
- 套餐激活、重置、订单、流量扣减、套餐到期、退款、实名管控修改改为请求评估
- 监控增加停复机队列与近 1 小时执行计数，单卡轮询状态返回当前指令
- 迁移 000255 插入开关与告警、退避参数
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
|
2026-10-26 00:36:26 +09:00 |
|
邹进
|
2fe7c1f8ac
|
feat: 按运营商账户调度的分发器、卡任务执行器与模式切换
- 四个轮询处理器拆为步骤函数 Step（返回结果分类），旧 Asynq Handle 只做并发控制与原有重入队映射，行为不变；carrier 模式下旧 handler 直接结束
- 网关限流增加等待模式（ctx 标记），NSQ 消费者等名额到单步超时，超时按限流处理不计失败；记录限流等待次数
- 卡任务执行器：核对 token 并抢执行权，按配置步骤顺序串行执行到期检查（单步超时、总超时、panic 恢复、流量已触发评估时跳过套餐），执行中续期并 Touch，续期失败立即停止；收尾写回到期、连续失败、退避、延迟确认与告警
- 分发器：每秒按账户抢分发锁领取（执行上限按消费能力收紧、优先占比、按限流组剩余 QPS 估算），发布到 polling.card.{账户}，发布失败释放；消费旧优先提示与手动触发；心跳与处理中标记到期计数
- NSQ 生产者与按账户动态订阅的消费者管理器，优雅退出宽限期
- 失败告警异步写 tb_polling_failure_alert（同卡同类型一条未处理，成功转已恢复），账户窗口内告警数超阈值产生账户级告警
- 模式监听：切 carrier 时旧分片调度停止出队，加锁初始化新结构后开始领取并订阅；回 legacy 时停止消费、重建旧分片队列；生命周期（API 与 Worker）在 carrier 模式写账户队列
|
2026-10-25 18:44:23 +09:00 |
|