最佳实践优化与排查
优化与排查
OctoReport 常见问题排查指南:采集失败、报告异常、积分异常的处理流程与最佳实践。
目标
这份文档解决两个问题:
- 如何降低成本和噪音
- 出现问题时先查什么
如果你还没跑通主线,先看:
1. 先做最值得的优化
最有效的优化通常不是“换一个更复杂的配置”,而是:
- 缩小 source 的采集范围
- 修正 dedup 策略
- 减少 report 模板步骤
- 只在关键步骤使用贵模型
先把这四件事做好,往往就能解决大部分成本和稳定性问题。
2. Source 层优化
噪音太多
优先检查:
- 关键词是不是太宽
- 时间范围是不是太大
- source 数量是不是已经超过实际需要
重复内容太多
优先检查:
- dedup 策略是否选错
- 是否有多个 source 在抓同一批内容
- 是否把同一来源既当 RSS 又当 Search 在抓
采集太慢或失败率高
优先检查:
- 抓取是不是依赖重量级渲染
- 目标站点是否经常需要 Cookie / 登录态
- 调度频率是否过高
3. Report 层优化
成本过高
先做这几件事:
- 把汇总步骤换成更便宜的模型
- 删除不产生明显价值的步骤
- 缩短 prompt,减少无关描述
- 只给步骤传必要上下文
输出质量不稳定
优先检查:
- 步骤目标是否过多
- 输入内容是否本来就不足
- Prompt 是否缺少明确格式和边界
生成太慢
优先检查:
- 是否所有步骤都在用重模型
- 是否输入内容过长
- 是否模板本身做了太多重复处理
4. Ask 层优化
Ask 找不到内容
先检查:
- library 是否真的有相关内容
- 问题是否太泛
- 近期采集是否成功
Ask 成本偏高
先检查:
- 是否频繁切到通用模式
- 是否问题太宽,导致上下文过大
- 是否对同一问题反复重问
5. Trigger Inbox 层优化
命中率低
优先检查:
- 模板是否启用了外部触发
- 模板标签是否能覆盖常见请求
- 请求文本是否带了时间范围和主题
处理慢
优先检查:
- 是不是没有现成报告可复用
- 模板生成本身是否就很慢
- 相关 source 最近是否采集异常
6. 一份通用排查顺序
当你不知道问题在哪时,按下面顺序查:
- source 最近有没有成功采集
- library 里有没有可用内容
- report 模板是否能手动跑通
- Delivery / Ask / Trigger Inbox 是不是只是在消费上游失败结果
不要一上来就改模型或大改 prompt。
很多问题根本不在 LLM,而在输入链路。
7. 常见成本控制建议
- 高频 source 少量化
- report 模板步骤少量化
- 高价模型关键步骤化
- Delivery 默认先邮件化
- Trigger Inbox 先 email-first,再看是否值得接更多渠道