csxj2026/junhong_cmp_fiber
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects 1 Releases Wiki Activity
713 Commits 3 Branches 0 Tags
76f657c986fd9296deb5fe0e7b8ae82885b3991b
Commit Graph

18 Commits

Author SHA1 Message Date
break
76f657c986 1. 套餐过期前再主动同步一次流量
All checks were successful
构建并部署到测试环境（无 SSH） / build-and-deploy (push) Successful in 7m55s
Details 
2. 生效套餐逻辑错误的问题
 2026-06-30 15:54:55 +09:00
huang
4c1e4f428a 一次补偿
All checks were successful
构建并部署到测试环境（无 SSH） / build-and-deploy (push) Successful in 8m2s
Details
2026-05-25 14:40:34 +08:00
huang
226474b434 轮训有问题
All checks were successful
构建并部署到测试环境（无 SSH） / build-and-deploy (push) Successful in 8m7s
Details
2026-05-22 16:21:46 +08:00
huang
b7369a9c71 修复并发,暂时的,不够完整,后续还是需要重新设计,这个太乱了,傻逼AI
All checks were successful
构建并部署到测试环境（无 SSH） / build-and-deploy (push) Successful in 9m22s
Details
2026-05-11 17:19:40 +08:00
huang
3a2e3f2571 浅浅升级一下
All checks were successful
构建并部署到测试环境（无 SSH） / build-and-deploy (push) Successful in 8m8s
Details
2026-05-06 14:41:14 +08:00
huang
aef20d2ab1 fix: 修复禁用所有轮询配置重启后再启用无法工作的问题
All checks were successful
构建并部署到测试环境（无 SSH） / build-and-deploy (push) Successful in 7m23s
Details 
- 新增 RedisPollingConfigChangedChannel 常量，用于跨进程配置变更通知
- ConfigService 注入 Redis，Create/Delete/UpdateStatus 后发布 Pub/Sub 事件
- PollingConfigManager 新增 WatchChanges() 方法，收到通知立即刷新内存缓存
- PollingInitializer 新增 Restart() 方法，支持初始化完成后安全重启（CAS 防并发）
- Worker 订阅配置变更事件，configs 从空变为非空时触发 Initializer.Restart()

根因：启动时所有配置禁用导致分片队列为空，Initializer 是一次性的，
之后启用配置只更新 DB 但不重建队列，调度器无卡可处理
 2026-04-16 17:32:43 +08:00
huang
5d9be1d7e4 fix: 修正轮询配置多匹配逻辑，支持同卡匹配多个配置并按 priority 合并 interval
All checks were successful
构建并部署到测试环境（无 SSH） / build-and-deploy (push) Successful in 7m27s
Details 
核心变更：
- MatchConfig 改为 MatchConfigs，返回所有匹配配置
- MergedTaskIntervals 按 task type 合并各配置，选取最高优先级（非 nil 且最小 priority 值）
- hasAnyEnabledInterval 过滤所有 interval 均为 NULL 的配置
- calcInitialDelay 重构为纯函数，接收 interval 参数
- 移除 getEnabledTaskTypes 和 getIntervalByTaskType（被 MergedTaskIntervals 替代）
- scheduler.go 新增心跳 key + 顶层 panic recovery + Init 完成守卫
- initializer.go 批量失败日志升级为 Error，逐条检查 Pipeline 命令错误
- 数据迁移：禁用 id=29 的轮询配置（所有 interval 均为 NULL）

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-04-16 14:27:47 +08:00
huang
6292443f69 feat: PollingBase 新增 verboseLog 支持，Worker 传入配置 
polling_base.go: PollingBase.verboseLog bool 字段，NewPollingBase 新增参数
main.go: cfg.Polling.VerboseLog 作为第6个参数传入 NewPollingBase

Ultraworked with [Sisyphus](https://github.com/code-yeongyu/oh-my-openagent)

Co-authored-by: Sisyphus <clio-agent@sisyphuslabs.ai>
 2026-04-15 12:22:16 +08:00
huang
434a8b0349 feat: 轮询系统重构（分片队列 + 停复机统一 + Handler 拆分）
All checks were successful
构建并部署到测试环境（无 SSH） / build-and-deploy (push) Successful in 9m46s
Details 
【核心变更】

1. 停复机逻辑统一（StopResumeService）
   - 新增 EvaluateAndAct 统一入口，封装三条件停复机判断
   - 停机条件：无套餐(no_package) / 流量耗尽(traffic_exhausted) / 未实名(not_realname)
   - 复机条件：stop_reason 合规 + 有套餐且未耗尽 + 已实名或行业卡
   - 修复设备套餐 Bug：hasValidPackage 按 device_id 查套餐，而非仅 iot_card_id
   - 设备维度停复机加幂等锁（Redis SetNX，TTL 30s），防止多卡并发重复调 Gateway

2. Redis 分片队列（PollingQueueManager）
   - 新建 queue_manager.go，封装所有轮询 Redis 操作
   - 16 分片 Sorted Set，Key 格式：polling:shard:{shardID}:queue:{taskType}
   - Lua 脚本原子出队（ZRANGEBYSCORE + 分批 ZREM），消除竞态窗口
   - 新增背压检测：队列深度超 50 万时 Scheduler 跳过该分片
   - RemoveFromAllQueues 覆盖 4 种任务类型（含 protect）

3. Handler 拆分（polling_handler.go 1360行 → 5个专注文件）
   - polling_base.go：共享基类（并发控制/卡缓存/重入队）
   - polling_realname_handler.go：实名采集，实名 0→1 时立即触发复机
   - polling_carddata_handler.go：流量采集，保留跨月边界检测逻辑
   - polling_package_handler.go：套餐采集，委托 EvaluateAndAct 决策
   - polling_protect_handler.go：保护期一致性检查，保护期内强制修正

4. 配置管理（PollingConfigManager）
   - 新建 config_manager.go，从 scheduler.go 提取配置职责
   - 内存缓存 + 5 分钟定时刷新，刷新失败保留原缓存
   - 修复 getCardCondition：停机卡返回 suspended，不再错配 activated 配置

5. 渐进式初始化（CardInitializer）
   - 新建 initializer.go，分批加载（每批 10 万），批次间 sleep 500ms
   - 过滤 enable_polling=false 的卡，初始化完成前 Scheduler 不出队

6. 卡生命周期服务（PollingLifecycleService）
   - 新建 lifecycle_service.go，替代已删除的 callbacks.go 和 api_callback.go
   - OnCardCreated/OnCardEnabled/OnCardStatusChanged 入队前检查 enable_polling

7. Scheduler 精简（1000+行 → 227行）
   - 保留纯调度循环：scheduleLoop + processShardSchedule + enqueueBatch
   - 保留每 10 秒触发套餐过期检测和流量重置
   - 移除所有 DB 操作、配置加载、卡初始化逻辑

8. 轮询管控 API（enable_polling）
   - 新增 PUT /api/admin/assets/:id/polling-status 接口
   - 支持对设备/卡维度开关轮询，关闭后从所有分片队列移除

9. 数据库迁移
   - 000103：tb_device 新增 enable_polling 字段（boolean, NOT NULL, DEFAULT true）
   - 000104：新增 suspended 轮询配置，为 activated 配置补全 protect_check_interval

【文件统计】
- 新增：19 个文件（handler × 5、polling 组件 × 4、迁移 × 3 等）
- 修改：20 个文件（bootstrap 注入、store 接口、monitoring 适配分片等）
- 删除：3 个文件（polling_handler.go、callbacks.go、api_callback.go）

Ultraworked with [Sisyphus](https://github.com/code-yeongyu/oh-my-openagent)

Co-authored-by: Sisyphus <clio-agent@sisyphuslabs.ai>
 2026-04-07 12:27:04 +08:00
huang
8980e6d999 fix: 补全三处轮询覆盖缺口
All checks were successful
构建并部署到测试环境（无 SSH） / build-and-deploy (push) Successful in 7m11s
Details 
问题一：protect 轮询任务从未被调度器初始化入队
PollingConfig 新增 protect_check_interval 字段（NULL=不参与），
调度器 initCardsBatch/initCardPolling/requeueCard 补全 protect 队列
初始化逻辑，IotCard 新增 last_protect_check_at 记录上次检查时间。
迁移文件：000102_add_polling_protect_fields

问题二：设备套餐流量耗尽时绑定卡未被停机
UsageService.checkAndTriggerSuspension 新增 carrier_type=device 分支，
通过 DeviceSimBindingStore.ListByDeviceID 查询绑定卡，对每张卡异步
触发 CheckAndStopCard，同步注入 Bootstrap 依赖。

问题三：主套餐过期后不立即停机，依赖下次轮询兜底
PackageActivationHandler.processExpiredPackage 在 updateCarrierSuspended
Status 后，若载体无后续生效套餐，立即异步调用 CheckAndStopCard（iot_card
类型直接触发，device 类型遍历绑定卡），消除停机延迟窗口。

Co-authored-by: Sisyphus <clio-agent@sisyphuslabs.ai>
 2026-04-02 14:36:24 +08:00
huang
cebcada950 refactor: 流量系统重构 — 增量累加算法 + 日粒度缓冲 + 旧详单清理
All checks were successful
构建并部署到测试环境（无 SSH） / build-and-deploy (push) Successful in 7m16s
Details 
核心改造：
- 增量算法：流量计算从覆盖式改为增量累加（gateway - lastReading），支持上游运营商重置检测
- 日流量缓冲：insertDataUsageRecord 改为 Redis INCRBYFLOAT，每日凌晨落盘到 tb_card_daily_usage
- 运营商：新增 data_reset_day 字段（联通=27，其余=1）
- IoT卡：新增 last_gateway_reading_mb 字段存储上次网关读数
- 查询层：新建 TrafficQueryService 合并 Redis（今日）+ DB（历史）数据源
- 清理：删除 DataUsageRecord model/store，移除 polling_handler 旧引用

迁移：000094-000097（carrier字段、iot_card字段、数据初始化、日流量表）
 2026-03-30 09:59:30 +08:00
huang
b5147d1acb 设备的部分改造
All checks were successful
构建并部署到测试环境（无 SSH） / build-and-deploy (push) Successful in 7m34s
Details
2026-03-10 10:34:08 +08:00
huang
e661b59bb9 feat: 实现订单超时自动取消功能，支持钱包余额解冻和 Asynq Scheduler 统一调度
All checks were successful
构建并部署到测试环境（无 SSH） / build-and-deploy (push) Successful in 6m58s
Details 
- 新增 expires_at 字段和复合索引，待支付订单 30 分钟超时自动取消
- 实现 cancelOrder/unfreezeWalletForCancel 钱包余额解冻逻辑
- 创建 Asynq 定时任务（order_expire/alert_check/data_cleanup）
- 将原有 time.Ticker 轮询迁移至 Asynq Scheduler 统一调度
- 同步 delta specs 到 main specs 并归档变更
 2026-02-28 17:16:15 +08:00
huang
c665f32976 feat: 套餐系统升级 - Worker 重构、流量重置、文档与规范更新
All checks were successful
构建并部署到测试环境（无 SSH） / build-and-deploy (push) Successful in 6m54s
Details 
- 重构 Worker 启动流程，引入 bootstrap 模块统一管理依赖注入
- 实现套餐流量重置服务（日/月/年周期重置）
- 新增套餐激活排队、加油包绑定、囤货待实名激活逻辑
- 新增订单创建幂等性防重（Redis 业务键 + 分布式锁）
- 更新 AGENTS.md/CLAUDE.md：新增注释规范、幂等性规范，移除测试要求
- 添加套餐系统升级完整文档（API文档、使用指南、功能总结、运维指南）
- 归档 OpenSpec package-system-upgrade 变更，同步 specs 到主目录
- 新增 queue types 抽象和 Redis 常量定义
 2026-02-12 14:24:15 +08:00
huang
931e140e8e feat: 实现 IoT 卡轮询系统（支持千万级卡规模）
All checks were successful
构建并部署到测试环境（无 SSH） / build-and-deploy (push) Successful in 6m35s
Details 
实现功能：
- 实名状态检查轮询（可配置间隔）
- 卡流量检查轮询（支持跨月流量追踪）
- 套餐检查与超额自动停机
- 分布式并发控制（Redis 信号量）
- 手动触发轮询（单卡/批量/条件筛选）
- 数据清理配置与执行
- 告警规则与历史记录
- 实时监控统计（队列/性能/并发）

性能优化：
- Redis 缓存卡信息，减少 DB 查询
- Pipeline 批量写入 Redis
- 异步流量记录写入
- 渐进式初始化（10万卡/批）

压测工具（scripts/benchmark/）：
- Mock Gateway 模拟上游服务
- 测试卡生成器
- 配置初始化脚本
- 实时监控脚本

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2026-02-05 17:32:44 +08:00
huang
45aa7deb87 feat: 添加环境变量管理工具和部署配置改版
All checks were successful
构建并部署到测试环境（无 SSH） / build-and-deploy (push) Successful in 5m33s
Details 
主要改动：
- 新增交互式环境配置脚本 (scripts/setup-env.sh)
- 新增本地启动快捷脚本 (scripts/run-local.sh)
- 新增环境变量模板文件 (.env.example)
- 部署模式改版：使用嵌入式配置 + 环境变量覆盖
- 添加对象存储功能支持
- 改进 IoT 卡片导入任务
- 优化 OpenAPI 文档生成
- 删除旧的配置文件，改用嵌入式默认配置
 2026-01-26 10:28:29 +08:00
huang
984ccccc63 docs(constitution): 新增数据库设计原则(v2.4.0) 
在项目宪章中新增第九条原则"数据库设计原则"，明确禁止使用数据库外键约束和ORM关联标签。

主要变更：
- 新增原则IX：数据库设计原则（Database Design Principles）
- 强制要求：数据库表不得使用外键约束
- 强制要求：GORM模型不得使用ORM关联标签（foreignKey、hasMany等）
- 强制要求：表关系必须通过ID字段手动维护
- 强制要求：关联数据查询必须显式编写，避免ORM魔法
- 强制要求：时间字段由GORM处理，不使用数据库触发器

设计理念：
- 提升业务逻辑灵活性（无数据库约束限制）
- 优化高并发性能（无外键检查开销）
- 增强代码可读性（显式查询，无隐式预加载）
- 简化数据库架构和迁移流程
- 支持分布式和微服务场景

版本升级：2.3.0 → 2.4.0（MINOR）
 2025-11-13 13:40:19 +08:00
huang
37c4404293 初始化项目结构 2025-11-10 15:57:21 +08:00