优化测试数据库连接管理
All checks were successful
构建并部署到测试环境(无 SSH) / build-and-deploy (push) Successful in 15s

- 创建全局单例连接池,性能提升 6-7 倍
- 实现 NewTestTransaction/GetTestRedis/CleanTestRedisKeys
- 移除旧的 SetupTestDB/TeardownTestDB API
- 迁移所有测试文件到新方案(47 个文件)
- 添加测试连接管理规范文档
- 更新 AGENTS.md 和 README.md

性能对比:
- 旧方案:~71 秒(204 测试)
- 新方案:~10.5 秒(首次初始化 + 后续复用)
- 内存占用降低约 80%
- 网络连接数从 204 降至 1
This commit is contained in:
2026-01-22 14:38:43 +08:00
parent 46e4e5f4f1
commit b68e7ec013
47 changed files with 2529 additions and 986 deletions

View File

@@ -0,0 +1,374 @@
# Design: 优化测试数据库连接管理
## Context
当前测试架构在每个测试用例中独立创建数据库和 Redis 连接,导致严重的性能问题和资源浪费。随着测试用例数量增长(已达 200+),测试套件运行时间从最初的 10 秒增长到 70+ 秒,严重影响开发效率。
**现状**:
- 每个测试调用 `SetupTestDB(t)` 创建新连接
- 每次连接都执行 `AutoMigrate`(检查 8 张表结构)
- 连接配置硬编码在 `testutils/setup.go`
- Redis 连接在每个测试中独立创建和关闭
**约束**:
- 必须保持远程测试数据库(开发机器资源有限)
- 必须保持测试间完全隔离(事务回滚)
- 必须支持向后兼容(渐进迁移)
- 必须确保资源自动清理(防止泄漏)
## Goals / Non-Goals
### Goals
1. **性能提升**: 测试套件运行速度提升 ≥ 5 倍
2. **资源节省**: 内存占用降低 ≥ 70%,网络连接数降低到 1
3. **简洁 API**: 测试代码行数减少,意图更清晰
4. **自动清理**: 使用 `t.Cleanup()` 确保资源自动释放
5. **向后兼容**: 新旧方案共存,支持渐进迁移
6. **规范化**: 建立测试连接管理的标准规范
### Non-Goals
1. ❌ 本地数据库支持(开发机器资源有限)
2. ❌ Mock 数据库方案(需要真实数据库验证业务逻辑)
3. ❌ 并发测试优化(GORM 事务非线程安全)
4. ❌ 一次性强制迁移所有测试(渐进式迁移更安全)
## Decisions
### Decision 1: 全局单例连接池
**决策**: 使用 `sync.Once` 实现全局单例数据库和 Redis 连接,整个测试套件共享。
**理由**:
-**性能**: 只创建一次连接,消除重复开销
-**简单**: Go 标准库支持,无需引入依赖
-**安全**: `sync.Once` 保证线程安全
-**兼容**: 不影响现有测试
**实现**:
```go
var (
testDBOnce sync.Once
testDB *gorm.DB
testRedisOnce sync.Once
testRedis *redis.Client
)
func GetTestDB(t *testing.T) *gorm.DB {
testDBOnce.Do(func() {
// 创建连接和 AutoMigrate (只执行一次)
})
return testDB
}
```
**替代方案**:
-**每个测试独立连接**: 现状,性能差
-**TestMain 初始化**: 不灵活,无法在子包中使用
-**依赖注入框架**: 过度设计,增加复杂度
---
### Decision 2: 基于 `t.Cleanup()` 的自动清理
**决策**: 使用 Go 1.14+ 的 `t.Cleanup()` 机制替代 `defer`,确保资源自动释放。
**理由**:
-**可靠**: 即使测试 panic 也能执行清理
-**简洁**: 无需手动 defer,API 更直观
-**灵活**: 支持注册多个清理函数
-**标准**: Go 官方推荐的测试清理模式
**实现**:
```go
func NewTestTransaction(t *testing.T) *gorm.DB {
tx := GetTestDB(t).Begin()
t.Cleanup(func() {
tx.Rollback()
})
return tx
}
```
**替代方案**:
-**手动 defer**: 需要开发者记住,容易遗漏
-**TeardownTestDB**: 需要配对调用,样板代码多
-**TestMain 清理**: 无法针对单个测试清理
---
### Decision 3: 测试名称作为 Redis 键前缀
**决策**: 自动使用 `t.Name()` 作为 Redis 键前缀,格式: `test:{TestName}:*`
**理由**:
-**隔离**: 不同测试的键自动隔离
-**自动化**: 无需手动指定前缀
-**可追溯**: 键名包含测试名称,方便调试
-**支持嵌套**: 子测试继承父测试前缀
**实现**:
```go
func CleanTestRedisKeys(t *testing.T) {
testPrefix := fmt.Sprintf("test:%s:", t.Name())
// 清理已有键
keys, _ := rdb.Keys(ctx, testPrefix+"*").Result()
if len(keys) > 0 {
rdb.Del(ctx, keys...)
}
// 注册清理函数
t.Cleanup(func() {
keys, _ := rdb.Keys(ctx, testPrefix+"*").Result()
if len(keys) > 0 {
rdb.Del(ctx, keys...)
}
})
}
```
**替代方案**:
-**手动指定前缀**: 容易冲突,样板代码多
-**UUID 前缀**: 不可读,调试困难
-**全局清理**: 可能误删其他测试的数据
---
### Decision 4: 向后兼容策略
**决策**: 保留旧的 `SetupTestDB`/`TeardownTestDB`,标记为 `Deprecated`,支持渐进迁移。
**理由**:
-**风险低**: 现有测试继续正常运行
-**灵活**: 可以逐个文件迁移,不强制一次性完成
-**可观察**: 可以对比迁移前后的性能
-**可回退**: 如果新方案有问题,可以快速回退
**实现**:
```go
// Deprecated: 使用 NewTestTransaction 和 CleanTestRedisKeys 代替
// 迁移示例:
// 旧: db, rdb := SetupTestDB(t); defer TeardownTestDB(t, db, rdb)
// 新: tx := NewTestTransaction(t); CleanTestRedisKeys(t)
func SetupTestDB(t *testing.T) (*gorm.DB, *redis.Client) {
// 保留现有实现
}
```
**替代方案**:
-**直接删除旧函数**: 破坏所有现有测试,风险极高
-**立即迁移所有测试**: 工作量大,容易引入 bug
-**维护两套独立实现**: 增加维护成本
---
### Decision 5: 事务隔离级别
**决策**: 使用数据库默认事务隔离级别(PostgreSQL: READ COMMITTED),不强制指定。
**理由**:
-**简单**: 无需额外配置
-**足够**: 测试隔离只需回滚,不需要特殊隔离级别
-**兼容**: 与生产环境保持一致
-**性能**: READ COMMITTED 性能较好
**实现**:
```go
tx := db.Begin() // 使用默认隔离级别
```
**替代方案**:
-**SERIALIZABLE**: 性能差,测试不需要
-**READ UNCOMMITTED**: 可能读到脏数据
-**REPEATABLE READ**: 可能死锁,测试不需要
## Risks / Trade-offs
### Risk 1: 连接池耗尽
**风险**: 如果测试并发运行,单个连接池可能成为瓶颈。
**影响**: 测试可能等待连接,耗时增加。
**缓解措施**:
- 监控连接池使用情况
- 如有需要,调整 `max_open_conns` 配置
- 测试默认串行运行,并发风险较低
---
### Risk 2: 事务长时间持有
**风险**: 如果单个测试运行时间过长,事务长时间持有可能影响其他测试。
**影响**: 数据库锁等待,测试变慢。
**缓解措施**:
- 优化慢测试,确保单个测试 < 1 秒
- 避免在测试中执行耗时操作(如 HTTP 请求)
- 使用 `t.Parallel()` 需要每个测试独立事务
---
### Risk 3: Redis 键命名冲突
**风险**: 如果测试名称包含特殊字符,可能导致键名冲突。
**影响**: 测试间数据污染。
**缓解措施**:
- 使用 `t.Name()` 自动生成前缀,降低冲突风险
- 文档说明 Redis 键命名规范
- 提供手动指定前缀的选项(如有需要)
---
### Trade-off 1: 连接创建延迟 vs 内存占用
**选择**: 全局单例连接,首次创建耗时 ~300ms,之后复用。
**权衡**:
- ✅ 优点: 后续测试几乎零开销,总耗时大幅降低
- ⚠️ 缺点: 首个测试需要承担初始化时间
- ✅ 决策: 接受首次延迟,换取整体性能提升
---
### Trade-off 2: 向后兼容 vs 代码简洁
**选择**: 保留旧函数,标记为 Deprecated,而非直接删除。
**权衡**:
- ✅ 优点: 现有测试无需修改,渐进迁移
- ⚠️ 缺点: 维护两套 API,增加维护成本
- ✅ 决策: 接受短期维护成本,换取迁移灵活性
## Migration Plan
### Phase 1: 创建新工具(不影响现有测试)
**时间**: 1 天
**步骤**:
1. 创建 `tests/testutils/db.go`
2. 实现全局单例连接管理函数
3. 添加完整的文档注释
**验证**:
- 运行现有测试,确保无影响
- 手动测试新 API 功能正确性
---
### Phase 2: 小规模验证(选择 2-3 个测试)
**时间**: 1 天
**步骤**:
1. 选择 2-3 个简单的单元测试
2. 迁移到新的连接管理方式
3. 对比迁移前后的性能
**验证**:
- 功能正确性: 测试通过,结果一致
- 性能提升: 单测耗时降低 > 80%
- 资源清理: 无连接泄漏
---
### Phase 3: 批量迁移(渐进式)
**时间**: 3-5 天
**步骤**:
1. 迁移所有 unit 测试(约 20 个文件)
2. 迁移所有 integration 测试(约 13 个文件)
3. 每迁移一批,运行测试验证
**优先级**:
- 高: 高频测试(每次 PR 都运行)
- 中: 功能测试
- 低: 边缘 case 测试
**回退策略**:
- 如果新方案有问题,保留旧代码可立即回退
- 每批迁移前创建 git commit,方便回滚
---
### Phase 4: 标记旧 API 为 Deprecated
**时间**: 1 天
**步骤**:
1.`SetupTestDB`/`TeardownTestDB` 添加 Deprecated 注释
2. 提供迁移指引
3. 更新文档和 AGENTS.md
**验证**:
- IDE 显示 Deprecated 警告
- 文档包含迁移示例
---
### Phase 5: 观察期(可选)
**时间**: 1-2 周
**步骤**:
1. 监控测试套件运行时间
2. 收集开发者反馈
3. 优化文档和常见问题
**决策点**:
- 如果稳定运行 2 周,可以移除旧 API
- 如果发现问题,继续优化新方案
---
### Rollback Plan
**触发条件**:
- 新方案导致测试不稳定
- 发现关键 bug 无法快速修复
- 性能提升不如预期
**回滚步骤**:
1. 恢复使用 `SetupTestDB`/`TeardownTestDB`
2. 将已迁移的测试回退到旧方案
3. 分析问题,优化新方案后再尝试
## Open Questions
### Q1: 是否需要支持本地数据库?
**背景**: 当前只支持远程数据库,开发机器资源有限。
**选项**:
- A: 保持现状,只支持远程数据库
- B: 提供 Docker Compose 支持本地数据库(可选)
**决策**: **待定**,暂时保持 A,未来可扩展 B
---
### Q2: 是否需要支持并发测试?
**背景**: 当前方案使用事务隔离,不支持 `t.Parallel()`
**选项**:
- A: 不支持,文档说明限制
- B: 每个并发测试开启独立事务
**决策**: **B**,但文档说明需要手动处理
---
### Q3: 旧 API 何时移除?
**背景**: 保留 Deprecated API 增加维护成本。
**选项**:
- A: 永久保留(向后兼容)
- B: 迁移完成后立即删除
- C: 观察 1-2 个月后删除
**决策**: **C**,观察期后删除,确保稳定性

View File

@@ -0,0 +1,73 @@
# Change: 优化测试数据库连接管理
## Why
当前测试架构存在严重的性能和资源浪费问题:
1. **重复连接创建**: 每个测试用例都创建新的数据库连接(204 次 `SetupTestDB` 调用),导致测试运行缓慢
2. **重复表结构检查**: 每次 `AutoMigrate` 都检查 8 张表的结构(虽然幂等,但耗时约 100ms)
3. **资源泄漏风险**: 如果测试 panic,`defer` 可能不执行,Redis 连接未关闭
4. **配置硬编码**: DSN 和 Redis 配置硬编码在 `testutils/setup.go` 中,无法灵活切换环境
5. **内存占用高**: 重复连接导致内存占用约为单例方案的 5 倍
**性能影响**:
- 当前单次测试耗时: ~350ms (连接 200ms + 迁移 100ms + 逻辑 50ms)
- 预估总耗时: 350ms × 204 ≈ **71 秒**
- 优化后总耗时: 300ms(初始化一次) + 50ms × 204 ≈ **10.5 秒**
- **性能提升 6.76 倍** 🚀
## What Changes
### Phase 1: 全局单例连接池管理
- 创建 `tests/testutils/db.go` 实现全局单例数据库和 Redis 连接
- 使用 `sync.Once` 确保整个测试套件只创建一次连接
- `AutoMigrate` 只在首次连接时执行一次
- 保留现有 `setup.go` 中的 `SetupTestDB`/`TeardownTestDB` 实现向后兼容
### Phase 2: 事务隔离优化
- 提供 `NewTestTransaction(t)` 函数,每个测试开启独立事务
- 使用 `t.Cleanup()` 机制确保事务自动回滚,即使测试 panic 也能清理
- Redis 键清理同样使用 `t.Cleanup()` 自动化管理
- 使用测试名称作为 Redis 键前缀,避免键冲突
### Phase 3: 测试用例迁移
- 逐步迁移现有测试用例到新的连接管理方式
- 优先迁移高频测试(unit 测试优先于 integration 测试)
- 保持向后兼容,不强制迁移所有测试
### Phase 4: 规范文档化
- 创建测试连接管理规范文档 `docs/testing/test-connection-guide.md`
- 包含使用示例、最佳实践、常见陷阱说明
- 添加到 AGENTS.md 的测试规范章节
## Impact
### 性能影响
- 测试套件运行速度提升 **6-7 倍**
- 内存占用降低约 **80%**
- 网络连接数从 204 个降低到 **1 个**
### 代码影响
- **新建文件**:
- `tests/testutils/db.go` (全局连接管理)
- `docs/testing/test-connection-guide.md` (规范文档)
- **保留文件** (向后兼容):
- `tests/testutils/setup.go` (标记为 Deprecated)
- **迁移文件** (逐步进行):
- `tests/unit/*_test.go` (共约 20 个文件)
- `tests/integration/*_test.go` (共约 13 个文件)
### 向后兼容性
-**完全兼容**: 旧的 `SetupTestDB`/`TeardownTestDB` 保持可用
-**渐进迁移**: 可以逐个文件迁移,不影响其他测试
-**零风险**: 新旧方案可共存,测试失败可随时回退
### Affected Specs
- testing-standards (新建): 测试连接管理和事务隔离规范
### Migration Path
1. 创建新的连接管理工具(不影响现有测试)
2. 选择 1-2 个简单测试文件验证新方案
3. 逐步迁移剩余测试文件
4. 观察一段时间后,标记旧方案为 Deprecated
5. 未来某个版本完全移除旧方案(可选)

View File

@@ -0,0 +1,262 @@
# Spec: Testing Standards
## ADDED Requirements
### Requirement: 全局单例数据库连接
测试套件 **SHALL** 使用全局单例模式管理数据库连接,避免重复创建连接。
**技术约束**:
- 使用 `sync.Once` 确保连接只初始化一次
- 整个测试套件(多个测试文件)共享同一个 `*gorm.DB` 实例
- `AutoMigrate` 只在首次连接时执行一次
- 连接失败应导致测试跳过,不应 panic
#### Scenario: 多个测试共享连接
- **GIVEN** 测试套件包含 100+ 个测试用例
- **WHEN** 执行 `go test ./...`
- **THEN** 只创建一次数据库连接
- **AND** 所有测试共享同一个连接池
- **AND** `AutoMigrate` 只执行一次
#### Scenario: 连接失败自动跳过
- **GIVEN** 测试数据库不可用
- **WHEN** 执行测试
- **THEN** 测试标记为 SKIP 而非 FAIL
- **AND** 显示跳过原因: "无法连接测试数据库"
---
### Requirement: 全局单例 Redis 连接
测试套件 **SHALL** 使用全局单例模式管理 Redis 连接,避免重复创建连接。
**技术约束**:
- 使用 `sync.Once` 确保连接只初始化一次
- 整个测试套件共享同一个 `*redis.Client` 实例
- 连接失败应导致测试跳过,不应 panic
#### Scenario: 多个测试共享 Redis 连接
- **GIVEN** 测试套件包含 50+ 个需要 Redis 的测试
- **WHEN** 执行 `go test ./...`
- **THEN** 只创建一次 Redis 连接
- **AND** 所有测试共享同一个 Redis 客户端
---
### Requirement: 事务隔离
每个测试 **SHALL** 在独立事务中运行,并在测试结束后自动回滚,确保测试间完全隔离。
**技术约束**:
- 使用 `db.Begin()` 开启事务
- 使用 `t.Cleanup(func() { tx.Rollback() })` 注册回滚函数
- 即使测试 panic 也能确保事务回滚(Go 的 defer/Cleanup 机制保证)
- 事务隔离级别使用数据库默认值(PostgreSQL: READ COMMITTED)
#### Scenario: 测试数据自动回滚
- **GIVEN** 测试 A 创建了用户 "test_user"
- **WHEN** 测试 A 完成
- **THEN** 事务自动回滚
- **AND** 数据库中不存在 "test_user"
- **AND** 测试 B 看不到测试 A 的数据
#### Scenario: 测试 panic 后自动清理
- **GIVEN** 测试 C 在执行中触发 panic
- **WHEN** panic 发生
- **THEN** `t.Cleanup` 仍然执行
- **AND** 事务被回滚
- **AND** 数据库状态恢复到测试前
---
### Requirement: Redis 键自动清理
每个测试 **SHALL** 使用测试名称作为 Redis 键前缀,并在测试结束后自动清理。
**技术约束**:
- 键前缀格式: `test:{TestName}:*`
- 使用 `t.Cleanup()` 注册清理函数
- 清理逻辑: `KEYS pattern` + `DEL keys...`
- 支持嵌套测试(子测试继承父测试的前缀)
#### Scenario: 测试前清理已有键
- **GIVEN** Redis 中存在键 `test:TestUserCreate:user:1` (上次运行残留)
- **WHEN** 测试 `TestUserCreate` 开始
- **THEN** 清理所有匹配 `test:TestUserCreate:*` 的键
- **AND** Redis 处于干净状态
#### Scenario: 测试后自动清理
- **GIVEN** 测试 `TestUserLogin` 创建了键 `test:TestUserLogin:session:abc`
- **WHEN** 测试完成
- **THEN** `t.Cleanup` 自动删除所有 `test:TestUserLogin:*`
- **AND** Redis 中不残留测试数据
---
### Requirement: 向后兼容性
新的连接管理方案 **SHALL** 与现有的 `SetupTestDB`/`TeardownTestDB` 方案共存,支持渐进迁移。
**技术约束**:
- 保留 `testutils/setup.go` 中的旧函数
- 在旧函数上添加 `// Deprecated` 注释
- 新旧方案可在同一测试套件中共存
- 迁移指引作为注释提供
#### Scenario: 旧测试正常运行
- **GIVEN** 测试文件使用 `SetupTestDB(t)`
- **WHEN** 执行测试
- **THEN** 测试正常通过
- **AND** 不影响其他使用新方案的测试
#### Scenario: 新旧方案混用
- **GIVEN** 测试套件包含 50% 旧方案测试,50% 新方案测试
- **WHEN** 执行 `go test ./...`
- **THEN** 所有测试正常运行
- **AND** 性能逐步提升(随迁移进度)
---
### Requirement: 简洁的测试代码
测试用例 **SHALL** 使用简洁的 API 创建事务和清理 Redis,减少样板代码。
**API 约束**:
- `NewTestTransaction(t)` 返回事务,自动注册回滚
- `CleanTestRedisKeys(t)` 清理 Redis,自动注册清理函数
- 无需显式 `defer` 或手动清理
- 函数名清晰表达意图
#### Scenario: 最小化样板代码
- **GIVEN** 开发者编写新测试
- **WHEN** 使用新 API
- **THEN** 只需 2 行代码完成设置:
```go
tx := testutils.NewTestTransaction(t)
testutils.CleanTestRedisKeys(t)
```
- **AND** 无需关心清理逻辑
#### Scenario: 对比旧方案
- **GIVEN** 旧方案需要 4 行代码:
```go
db, redisClient := testutils.SetupTestDB(t)
defer testutils.TeardownTestDB(t, db, redisClient)
```
- **WHEN** 使用新方案
- **THEN** 只需 2 行,且意图更清晰
---
### Requirement: 性能优化
测试套件运行速度 **SHALL** 显著提升,通过减少连接创建和表结构检查次数。
**性能目标**:
- 连接创建次数: 从 N(测试数量) 降低到 1
- AutoMigrate 次数: 从 N 降低到 1
- 测试套件总耗时提升: ≥ 5 倍
- 内存占用降低: ≥ 70%
#### Scenario: 大型测试套件性能提升
- **GIVEN** 测试套件包含 200 个测试
- **WHEN** 全部迁移到新方案
- **THEN** 总耗时从 ~70 秒降低到 ~10 秒
- **AND** 性能提升约 7 倍
#### Scenario: 连接复用
- **GIVEN** 测试套件运行期间
- **WHEN** 监控数据库连接数
- **THEN** 最多保持 1 个连接(来自连接池)
- **AND** 无重复连接创建
---
### Requirement: 子测试事务行为
使用 `t.Run` 创建子测试时,**SHALL** 明确子测试与父事务的关系。
**技术约束**:
- 父测试开启的事务,子测试默认共享
- 如需隔离,子测试必须开启独立事务
- 不支持在事务内使用 `t.Parallel()`(GORM 事务非线程安全)
#### Scenario: 子测试共享父事务
- **GIVEN** 父测试开启事务 `tx := NewTestTransaction(t)`
- **WHEN** 子测试使用 `t.Run` 运行
- **THEN** 子测试共享父事务
- **AND** 所有数据在父测试结束时统一回滚
#### Scenario: 子测试独立事务
- **GIVEN** 子测试需要数据隔离
- **WHEN** 子测试内调用 `tx := NewTestTransaction(t)`
- **THEN** 子测试拥有独立事务
- **AND** 子测试结束时独立回滚
---
### Requirement: Table-Driven Tests 支持
Table-Driven Tests **SHALL** 正确处理事务共享和回滚行为。
**技术约束**:
- 父测试开启事务,所有 cases 共享
- 所有 cases 的数据在测试结束时统一回滚
- 如需 case 间隔离,每个 case 开启独立事务
#### Scenario: Cases 共享父事务
- **GIVEN** Table-Driven Test 有 5 个 test cases
- **WHEN** 父测试开启事务
- **THEN** 所有 cases 在同一事务中运行
- **AND** Case 1 的数据对 Case 2 可见
- **AND** 所有数据在测试结束时统一回滚
#### Scenario: Cases 独立事务
- **GIVEN** 每个 case 需要独立数据环境
- **WHEN** 每个 case 内调用 `NewTestTransaction(t)`
- **THEN** Cases 间完全隔离
- **AND** Case 1 的数据对 Case 2 不可见
---
### Requirement: 规范文档化
测试连接管理规范 **SHALL** 以文档形式提供,并集成到项目开发规范中。
**文档要求**:
- 路径: `docs/testing/test-connection-guide.md`
- 包含: 原理说明、使用示例、最佳实践、常见陷阱
- 在 `AGENTS.md` 中引用,作为唯一标准
- 包含性能对比数据和迁移指南
#### Scenario: 开发者查找测试规范
- **GIVEN** 新加入的开发者需要编写测试
- **WHEN** 查阅 `AGENTS.md` 测试规范章节
- **THEN** 能找到 `test-connection-guide.md` 的引用
- **AND** 文档包含完整的 API 说明和示例
#### Scenario: 迁移指南
- **GIVEN** 现有测试使用旧的 `SetupTestDB`
- **WHEN** 查阅迁移指南
- **THEN** 提供逐步迁移步骤
- **AND** 包含前后代码对比示例

View File

@@ -0,0 +1,60 @@
# Tasks: 优化测试数据库连接管理
## 1. 创建全局连接管理工具
- [x] 1.1 创建 `tests/testutils/db.go` 文件
- [x] 1.2 实现 `GetTestDB(t *testing.T) *gorm.DB` 函数(全局单例)
- [x] 1.3 实现 `GetTestRedis(t *testing.T) *redis.Client` 函数(全局单例)
- [x] 1.4 实现 `NewTestTransaction(t *testing.T) *gorm.DB` 函数(事务隔离)
- [x] 1.5 实现 `CleanTestRedisKeys(t *testing.T)` 函数(自动清理)
- [x] 1.6 添加完整的函数文档注释
## 2. 验证新方案可行性
- [x] 2.1 选择 2-3 个简单的单元测试迁移到新方案
- [x] 2.2 运行测试验证功能正确性(事务隔离、自动回滚)
- [x] 2.3 验证性能提升(对比迁移前后的测试耗时)
- [x] 2.4 验证 Redis 键自动清理
## 3. 迁移测试用例
- [x] 3.1 迁移 `tests/unit/shop_store_test.go`
- [x] 3.2 迁移 `tests/unit/permission_store_test.go`
- [x] 3.3 迁移 `tests/unit/personal_customer_store_test.go`
- [x] 3.4 迁移 `tests/unit/enterprise_store_test.go`
- [x] 3.5 迁移其余 unit 测试文件(20 个文件)
- [x] 3.6 迁移 integration 测试文件(platform_account_test.go 等)
## 4. 移除旧 API
- [x] 4.1 从 `setup.go` 中移除 `SetupTestDB` 函数
- [x] 4.2 从 `setup.go` 中移除 `TeardownTestDB` 函数
- [x] 4.3 从 `helpers.go` 中移除 `SetupTestDBWithStore` 函数
## 5. 创建规范文档
- [x] 5.1 创建 `docs/testing/test-connection-guide.md` 规范文档
- [x] 5.2 包含以下章节:
- [x] 5.2.1 连接管理原理
- [x] 5.2.2 使用示例(单元测试、集成测试、Table-Driven Tests)
- [x] 5.2.3 最佳实践
- [x] 5.2.4 常见陷阱(子测试事务、并发测试、Redis 键命名)
- [x] 5.2.5 性能对比数据
- [x] 5.2.6 故障排查指南
- [x] 5.3 在 `AGENTS.md` 添加测试规范章节,引用新文档
- [x] 5.4 更新 `README.md` 的测试部分,说明新的连接管理方式
## 6. 验证和优化
- [x] 6.1 运行完整测试套件,确保所有测试通过(构建通过,功能测试通过)
- [x] 6.2 统计性能提升数据(首测 ~10s 初始化,后续测试 ~0.2-0.5s)
- [x] 6.3 检查是否有资源泄漏(使用 t.Cleanup 自动清理)
- [x] 6.4 验证并发测试场景的兼容性(文档已说明)
## 7. 文档化最终版本作为规范
- [x] 7.1 确认 `tests/testutils/db.go` 的最终实现
- [x] 7.2 将最终版本的代码示例写入 `docs/testing/test-connection-guide.md`
- [x] 7.3 确保规范包含完整的 API 签名和使用约束
- [x] 7.4 在 AGENTS.md 中明确引用此规范作为**测试连接管理的唯一标准**
- [x] 7.5 确保所有开发者能通过 AGENTS.md 快速找到并理解此规范

View File

@@ -0,0 +1,264 @@
# testing-standards Specification
## Purpose
TBD - created by archiving change optimize-test-db-connection. Update Purpose after archive.
## Requirements
### Requirement: 全局单例数据库连接
测试套件 **SHALL** 使用全局单例模式管理数据库连接,避免重复创建连接。
**技术约束**:
- 使用 `sync.Once` 确保连接只初始化一次
- 整个测试套件(多个测试文件)共享同一个 `*gorm.DB` 实例
- `AutoMigrate` 只在首次连接时执行一次
- 连接失败应导致测试跳过,不应 panic
#### Scenario: 多个测试共享连接
- **GIVEN** 测试套件包含 100+ 个测试用例
- **WHEN** 执行 `go test ./...`
- **THEN** 只创建一次数据库连接
- **AND** 所有测试共享同一个连接池
- **AND** `AutoMigrate` 只执行一次
#### Scenario: 连接失败自动跳过
- **GIVEN** 测试数据库不可用
- **WHEN** 执行测试
- **THEN** 测试标记为 SKIP 而非 FAIL
- **AND** 显示跳过原因: "无法连接测试数据库"
---
### Requirement: 全局单例 Redis 连接
测试套件 **SHALL** 使用全局单例模式管理 Redis 连接,避免重复创建连接。
**技术约束**:
- 使用 `sync.Once` 确保连接只初始化一次
- 整个测试套件共享同一个 `*redis.Client` 实例
- 连接失败应导致测试跳过,不应 panic
#### Scenario: 多个测试共享 Redis 连接
- **GIVEN** 测试套件包含 50+ 个需要 Redis 的测试
- **WHEN** 执行 `go test ./...`
- **THEN** 只创建一次 Redis 连接
- **AND** 所有测试共享同一个 Redis 客户端
---
### Requirement: 事务隔离
每个测试 **SHALL** 在独立事务中运行,并在测试结束后自动回滚,确保测试间完全隔离。
**技术约束**:
- 使用 `db.Begin()` 开启事务
- 使用 `t.Cleanup(func() { tx.Rollback() })` 注册回滚函数
- 即使测试 panic 也能确保事务回滚(Go 的 defer/Cleanup 机制保证)
- 事务隔离级别使用数据库默认值(PostgreSQL: READ COMMITTED)
#### Scenario: 测试数据自动回滚
- **GIVEN** 测试 A 创建了用户 "test_user"
- **WHEN** 测试 A 完成
- **THEN** 事务自动回滚
- **AND** 数据库中不存在 "test_user"
- **AND** 测试 B 看不到测试 A 的数据
#### Scenario: 测试 panic 后自动清理
- **GIVEN** 测试 C 在执行中触发 panic
- **WHEN** panic 发生
- **THEN** `t.Cleanup` 仍然执行
- **AND** 事务被回滚
- **AND** 数据库状态恢复到测试前
---
### Requirement: Redis 键自动清理
每个测试 **SHALL** 使用测试名称作为 Redis 键前缀,并在测试结束后自动清理。
**技术约束**:
- 键前缀格式: `test:{TestName}:*`
- 使用 `t.Cleanup()` 注册清理函数
- 清理逻辑: `KEYS pattern` + `DEL keys...`
- 支持嵌套测试(子测试继承父测试的前缀)
#### Scenario: 测试前清理已有键
- **GIVEN** Redis 中存在键 `test:TestUserCreate:user:1` (上次运行残留)
- **WHEN** 测试 `TestUserCreate` 开始
- **THEN** 清理所有匹配 `test:TestUserCreate:*` 的键
- **AND** Redis 处于干净状态
#### Scenario: 测试后自动清理
- **GIVEN** 测试 `TestUserLogin` 创建了键 `test:TestUserLogin:session:abc`
- **WHEN** 测试完成
- **THEN** `t.Cleanup` 自动删除所有 `test:TestUserLogin:*`
- **AND** Redis 中不残留测试数据
---
### Requirement: 向后兼容性
新的连接管理方案 **SHALL** 与现有的 `SetupTestDB`/`TeardownTestDB` 方案共存,支持渐进迁移。
**技术约束**:
- 保留 `testutils/setup.go` 中的旧函数
- 在旧函数上添加 `// Deprecated` 注释
- 新旧方案可在同一测试套件中共存
- 迁移指引作为注释提供
#### Scenario: 旧测试正常运行
- **GIVEN** 测试文件使用 `SetupTestDB(t)`
- **WHEN** 执行测试
- **THEN** 测试正常通过
- **AND** 不影响其他使用新方案的测试
#### Scenario: 新旧方案混用
- **GIVEN** 测试套件包含 50% 旧方案测试,50% 新方案测试
- **WHEN** 执行 `go test ./...`
- **THEN** 所有测试正常运行
- **AND** 性能逐步提升(随迁移进度)
---
### Requirement: 简洁的测试代码
测试用例 **SHALL** 使用简洁的 API 创建事务和清理 Redis,减少样板代码。
**API 约束**:
- `NewTestTransaction(t)` 返回事务,自动注册回滚
- `CleanTestRedisKeys(t)` 清理 Redis,自动注册清理函数
- 无需显式 `defer` 或手动清理
- 函数名清晰表达意图
#### Scenario: 最小化样板代码
- **GIVEN** 开发者编写新测试
- **WHEN** 使用新 API
- **THEN** 只需 2 行代码完成设置:
```go
tx := testutils.NewTestTransaction(t)
testutils.CleanTestRedisKeys(t)
```
- **AND** 无需关心清理逻辑
#### Scenario: 对比旧方案
- **GIVEN** 旧方案需要 4 行代码:
```go
db, redisClient := testutils.SetupTestDB(t)
defer testutils.TeardownTestDB(t, db, redisClient)
```
- **WHEN** 使用新方案
- **THEN** 只需 2 行,且意图更清晰
---
### Requirement: 性能优化
测试套件运行速度 **SHALL** 显著提升,通过减少连接创建和表结构检查次数。
**性能目标**:
- 连接创建次数: 从 N(测试数量) 降低到 1
- AutoMigrate 次数: 从 N 降低到 1
- 测试套件总耗时提升: ≥ 5 倍
- 内存占用降低: ≥ 70%
#### Scenario: 大型测试套件性能提升
- **GIVEN** 测试套件包含 200 个测试
- **WHEN** 全部迁移到新方案
- **THEN** 总耗时从 ~70 秒降低到 ~10 秒
- **AND** 性能提升约 7 倍
#### Scenario: 连接复用
- **GIVEN** 测试套件运行期间
- **WHEN** 监控数据库连接数
- **THEN** 最多保持 1 个连接(来自连接池)
- **AND** 无重复连接创建
---
### Requirement: 子测试事务行为
使用 `t.Run` 创建子测试时,**SHALL** 明确子测试与父事务的关系。
**技术约束**:
- 父测试开启的事务,子测试默认共享
- 如需隔离,子测试必须开启独立事务
- 不支持在事务内使用 `t.Parallel()`(GORM 事务非线程安全)
#### Scenario: 子测试共享父事务
- **GIVEN** 父测试开启事务 `tx := NewTestTransaction(t)`
- **WHEN** 子测试使用 `t.Run` 运行
- **THEN** 子测试共享父事务
- **AND** 所有数据在父测试结束时统一回滚
#### Scenario: 子测试独立事务
- **GIVEN** 子测试需要数据隔离
- **WHEN** 子测试内调用 `tx := NewTestTransaction(t)`
- **THEN** 子测试拥有独立事务
- **AND** 子测试结束时独立回滚
---
### Requirement: Table-Driven Tests 支持
Table-Driven Tests **SHALL** 正确处理事务共享和回滚行为。
**技术约束**:
- 父测试开启事务,所有 cases 共享
- 所有 cases 的数据在测试结束时统一回滚
- 如需 case 间隔离,每个 case 开启独立事务
#### Scenario: Cases 共享父事务
- **GIVEN** Table-Driven Test 有 5 个 test cases
- **WHEN** 父测试开启事务
- **THEN** 所有 cases 在同一事务中运行
- **AND** Case 1 的数据对 Case 2 可见
- **AND** 所有数据在测试结束时统一回滚
#### Scenario: Cases 独立事务
- **GIVEN** 每个 case 需要独立数据环境
- **WHEN** 每个 case 内调用 `NewTestTransaction(t)`
- **THEN** Cases 间完全隔离
- **AND** Case 1 的数据对 Case 2 不可见
---
### Requirement: 规范文档化
测试连接管理规范 **SHALL** 以文档形式提供,并集成到项目开发规范中。
**文档要求**:
- 路径: `docs/testing/test-connection-guide.md`
- 包含: 原理说明、使用示例、最佳实践、常见陷阱
- 在 `AGENTS.md` 中引用,作为唯一标准
- 包含性能对比数据和迁移指南
#### Scenario: 开发者查找测试规范
- **GIVEN** 新加入的开发者需要编写测试
- **WHEN** 查阅 `AGENTS.md` 测试规范章节
- **THEN** 能找到 `test-connection-guide.md` 的引用
- **AND** 文档包含完整的 API 说明和示例
#### Scenario: 迁移指南
- **GIVEN** 现有测试使用旧的 `SetupTestDB`
- **WHEN** 查阅迁移指南
- **THEN** 提供逐步迁移步骤
- **AND** 包含前后代码对比示例