148 lines
4.2 KiB
Markdown
148 lines
4.2 KiB
Markdown
# ID映射机制优化说明
|
||
|
||
## 🎯 解决的问题
|
||
|
||
### 原有问题
|
||
1. **数据库查询失败**：ID查询时经常找不到对应数据
|
||
2. **名称匹配不准确**：AI生成的选题名称与数据库中的名称不完全匹配
|
||
3. **缺少兜底机制**：查询失败时没有备用方案
|
||
4. **ID追踪缺失**：选题生成后无法保持ID的连续性
|
||
|
||
## 🔧 优化方案
|
||
|
||
### 1. 增强ID映射逻辑 (`api/routers/tweet.py`)
|
||
|
||
#### 模糊匹配机制
|
||
```python
|
||
def find_best_match(target_name: str, mapping: Dict[str, int]) -> Optional[int]:
|
||
# 1. 精确匹配
|
||
if target_name in mapping:
|
||
return mapping[target_name]
|
||
|
||
# 2. 模糊匹配 - 去除空格后匹配
|
||
target_clean = target_name.replace(" ", "").strip()
|
||
for name, id_val in mapping.items():
|
||
if name.replace(" ", "").strip() == target_clean:
|
||
return id_val
|
||
|
||
# 3. 包含匹配 - 检查是否互相包含
|
||
for name, id_val in mapping.items():
|
||
if target_clean in name.replace(" ", "") or name.replace(" ", "") in target_clean:
|
||
return id_val
|
||
|
||
# 4. 未找到匹配
|
||
logger.warning(f"未找到匹配的ID: '{target_name}'")
|
||
return None
|
||
```
|
||
|
||
#### 匹配率监控
|
||
- 记录每个选题的ID匹配情况
|
||
- 计算匹配率并在匹配率低于50%时发出警告
|
||
- 添加匹配元数据用于调试
|
||
|
||
### 2. 数据库服务兜底机制 (`api/services/database_service.py`)
|
||
|
||
#### 批量查询增强
|
||
```python
|
||
def get_styles_by_ids(self, styleIds: List[int]) -> List[Dict[str, Any]]:
|
||
# 检查哪些ID没有找到对应记录
|
||
found_ids = {result['id'] for result in results}
|
||
missing_ids = set(styleIds) - found_ids
|
||
|
||
if missing_ids:
|
||
# 添加兜底数据
|
||
fallback_styles = self._get_fallback_styles(list(missing_ids))
|
||
results.extend(fallback_styles)
|
||
```
|
||
|
||
#### 兜底数据提供
|
||
- 当数据库查询失败时，提供默认的结构化数据
|
||
- 标记兜底数据 (`_is_fallback: True`)
|
||
- 确保系统可以继续运行
|
||
|
||
### 3. 内容生成阶段优化 (`api/services/tweet.py`)
|
||
|
||
#### 智能数据增强
|
||
```python
|
||
async def _enhance_topic_with_database_data(self, topic: Dict[str, Any]) -> Dict[str, Any]:
|
||
# 优先使用ID从数据库获取最新数据
|
||
if 'styleIds' in topic and topic['styleIds']:
|
||
style_data = db_service.get_style_by_id(style_id)
|
||
if style_data:
|
||
enhanced_topic['style_object'] = style_data
|
||
enhanced_topic['style'] = style_data.get('styleName')
|
||
```
|
||
|
||
#### 多级兜底策略
|
||
1. **第一级**：通过ID从数据库获取最新数据
|
||
2. **第二级**：使用传入的对象参数作为兜底
|
||
3. **第三级**：使用数据库服务的兜底数据
|
||
|
||
## 🔄 完整流程
|
||
|
||
### 选题生成阶段
|
||
1. 接收ID列表 → 查询数据库获取完整对象
|
||
2. 构建ID到名称的映射关系
|
||
3. AI生成选题（包含名称）
|
||
4. 将生成的选题名称映射回ID
|
||
5. 返回包含ID的选题数据
|
||
|
||
### 内容生成阶段
|
||
1. 接收带ID的选题数据
|
||
2. 通过ID从数据库获取最新的详细信息
|
||
3. 增强选题数据
|
||
4. 生成内容
|
||
|
||
## 🎉 预期效果
|
||
|
||
### 1. 数据一致性
|
||
- 确保整个流程中ID的连续性
|
||
- 避免名称不匹配导致的数据丢失
|
||
|
||
### 2. 系统稳定性
|
||
- 多级兜底机制确保系统不会因为数据库问题而崩溃
|
||
- 详细的日志记录便于问题排查
|
||
|
||
### 3. 数据准确性
|
||
- 内容生成时使用最新的数据库数据
|
||
- 避免使用过期或不准确的缓存数据
|
||
|
||
### 4. 可观测性
|
||
- 匹配率监控
|
||
- 详细的日志记录
|
||
- 兜底数据标记
|
||
|
||
## 🚀 使用建议
|
||
|
||
### 1. 监控日志
|
||
关注以下日志信息：
|
||
- ID匹配率低于50%的警告
|
||
- 兜底数据使用情况
|
||
- 数据库查询失败的频率
|
||
|
||
### 2. 数据维护
|
||
- 定期清理重复数据
|
||
- 更新"请修改产品名字"等占位数据
|
||
- 确保软删除字段的正确使用
|
||
|
||
### 3. 性能优化
|
||
- 考虑为常用数据添加缓存
|
||
- 优化数据库查询性能
|
||
- 定期清理无效数据
|
||
|
||
## 📋 测试验证
|
||
|
||
### 1. 功能测试
|
||
- 测试各种ID组合的选题生成
|
||
- 验证名称匹配的准确性
|
||
- 确认兜底机制的有效性
|
||
|
||
### 2. 性能测试
|
||
- 大批量选题生成的性能
|
||
- 数据库查询的响应时间
|
||
- 内存使用情况
|
||
|
||
### 3. 错误处理测试
|
||
- 数据库连接失败时的行为
|
||
- 无效ID的处理
|
||
- 数据缺失时的兜底效果 |