docs: research AI 时讯质量设计（去重、国内配额、可信源）
Co-authored-by: Cursor <cursoragent@cursor.com>
This commit is contained in:
@@ -0,0 +1,141 @@
|
||||
# Design: Research 模式 AI 时讯质量（去重 · 国内配额 · 可信源）
|
||||
|
||||
Generated: 2026-07-29
|
||||
Repo: daily-robots
|
||||
Status: APPROVED
|
||||
Related: `skills/daily-ai-news-research/SKILL.md`, `daily/news/research.py`, `docs/superpowers/specs/2026-07-14-wecom-diversity-dedup-design.md`
|
||||
|
||||
## Problem Statement
|
||||
|
||||
当前 `DAILY_AI_NEWS_MODE=research` 下：
|
||||
|
||||
1. **内容重复高**：同事件多源报道并列入榜（如 OpenAI 联名 / Altman 减速 / HF 入侵同簇；Kimi K3 开源与多条适配）；`items` 与 `tech_items` 只按 link 去重，skill 还允许主题重叠。
|
||||
2. **几乎无国内资讯**：prompt 写「不区分国内国外，合并精选」，模型偏国际源；research 分支关闭国内 RSS，企微也不再出国内独立区块。
|
||||
3. **可信度不稳**：低质搬运 / 营销号可进榜（如证券之星类），与「以官方/权威为准」不符。
|
||||
|
||||
样例：`output/2026-07-29.ai-news-research.json`。
|
||||
|
||||
## Decisions（已确认）
|
||||
|
||||
| 决策点 | 选择 |
|
||||
|--------|------|
|
||||
| 国内资讯路径 | **A：继续 research 合并展示**；不恢复国内独立区块；不引入 RSS 回填 |
|
||||
| 国内配额 | 主列表至少约 30%（10 条 → **≥3 条国内**）；`tech_items` **不强制**国内 |
|
||||
| 去重范围 | **C**：同事件多源只留 1 条 + `tech_items` 相对 `items` 主题不得复述 |
|
||||
| 可信度 | 国内/国际均以 **官方 + 权威媒体** 为准；不可信则不写，宁缺毋滥 |
|
||||
| 实现路径 | **Prompt/skill 约束 + `research.py` 解析后硬校验**（推荐方案 2） |
|
||||
| 条数不足 | **少返回**；禁止为凑满 limit / 国内配额灌低质或同事件条目 |
|
||||
|
||||
## Explicit Non-Goals
|
||||
|
||||
| 项 | 状态 |
|
||||
|----|------|
|
||||
| 恢复「国内 AI 时讯」独立企微区块 | ❌ 本期不做 |
|
||||
| research 不足时用国内 RSS 补齐 | ❌ 本期不做（偏离路径 A） |
|
||||
| 切回纯 RSS | ❌ 本期不做 |
|
||||
| LLM 语义嵌入聚类 | ❌ 本期不做（规则 + 实体/关键词即可） |
|
||||
| 改 `generate.py` research/rss 分支结构 | ❌ 不动 |
|
||||
|
||||
## Architecture
|
||||
|
||||
```
|
||||
Cursor Agent (WebSearch)
|
||||
│
|
||||
▼
|
||||
skills/daily-ai-news-research/SKILL.md + research prompt
|
||||
│ JSON: items / tech_items
|
||||
▼
|
||||
parse_research_response (link 去重)
|
||||
│
|
||||
▼
|
||||
post_process_research_items
|
||||
1. trusted-source filter
|
||||
2. same-event dedupe (items)
|
||||
3. tech vs items topic filter
|
||||
4. CN quota packing (min_cn)
|
||||
│
|
||||
▼
|
||||
_apply_pushed_dedup → generate / wecom
|
||||
```
|
||||
|
||||
仍走现有 `fetch_ai_news_research` → `generate.py` research 分支；企微保持一块合并时讯。
|
||||
|
||||
## Components
|
||||
|
||||
### 1. Skill / prompt（`skills/daily-ai-news-research/SKILL.md` + `fetch_ai_news_research` 文案）
|
||||
|
||||
更新要点：
|
||||
|
||||
- 中英文检索都要做；主列表国内 ≥ `min_cn`（默认 30%），但**只收可信国内源**。
|
||||
- 删除「主题可重叠」「必须恰好 N 条硬凑」；改为「不足少返回」。
|
||||
- 同事件只保留一条最权威源；`tech_items` 不得复述 `items` 已覆盖的事件/产品发布。
|
||||
- 来源优先级：官方 blog/changelog/新闻稿、政府/监管原文、一线权威媒体、学术官方；禁止二手搬运、标题党、不明自媒体、证券营销号（无权威交叉验证则不写）。
|
||||
- 用户 prompt 从「不区分国内国外，合并精选」改为「合并展示，国内配额硬性，可信度优先」。
|
||||
|
||||
### 2. 后处理（`daily/news/research.py`）
|
||||
|
||||
#### 2.1 国内判定（任一即国内）
|
||||
|
||||
1. 可选字段 `region: "cn"|"intl"`（有则优先）。
|
||||
2. `source_name` / host 命中国内白名单（量子位、36氪、雷锋网、IT之家、财新、机器之心、钛媒体、虎嗅等）。
|
||||
3. 常见中文域（`.cn` 及已知国内 host）。
|
||||
|
||||
#### 2.2 可信源过滤
|
||||
|
||||
- 维护 `TRUSTED_HOSTS` / `TRUSTED_SOURCE_NAMES`（国际 + 国内权威；含官方域如 `openai.com`、`anthropic.com`、`blog.google` 等）。
|
||||
- 不在白名单 → **剔除**（保守：宁可短列表）。
|
||||
- 官方域优先于二手报道；同事件去重时官方源胜出。
|
||||
|
||||
#### 2.3 同事件去重（items）
|
||||
|
||||
- 在 link 去重之后。
|
||||
- 归一化 title+desc；抽取主实体（公司/产品）+ 事件动词簇（开源、入侵、联名、适配…）。
|
||||
- 高置信重叠 → 只留排序更靠前且更可信的一条；保守策略避免误杀明显不同事件。
|
||||
|
||||
#### 2.4 tech vs items
|
||||
|
||||
- tech 与任一 item 同事件，或同主实体且同属「发布/适配/SDK」簇 → 丢弃 tech。
|
||||
- 例：items 已有 Kimi K3 开源 → tech 中 HF / 昇腾 / 摩尔线程适配全部剔除。
|
||||
|
||||
#### 2.5 国内配额
|
||||
|
||||
- `min_cn = env DAILY_WECOM_AI_NEWS_CN_MIN`；若未设或 ≤0，则 `max(1, lim * 3 // 10)`（10 → 3）。
|
||||
- 去重后尽量保证最终 `items` 中国内 ≥ `min_cn`：国内可信条优先占位，再用国际可信条补满。
|
||||
- 可信国内不足 → 短列表 + 日志 `news_cn_short:N`；**不用低质源灌满**。
|
||||
|
||||
### 3. 配置
|
||||
|
||||
| 变量 | 默认 | 含义 |
|
||||
|------|------|------|
|
||||
| `DAILY_WECOM_AI_NEWS_CN_MIN` | `0`（= 按 30% 推算） | 主列表国内最少条数；正整数覆盖 |
|
||||
|
||||
在 `.env.example` 注明；`.env` 可不改（沿用推算）。
|
||||
|
||||
### 4. 测试（`tests/test_ai_news_research.py`）
|
||||
|
||||
- 国内判定（白名单 / `.cn` / `region`）。
|
||||
- 可信过滤：证券之星类 host 剔除；官方/权威保留。
|
||||
- 同事件：Altman 减速与员工联名若同属「减速/治理请愿」簇 → 只留 1 条；与 HF 入侵若实体+事件动词不同则可分簇保留（保守，避免误杀）。
|
||||
- tech：items 已有 Kimi K3 → 多条 Kimi 适配 tech 全剔除。
|
||||
- 配额：混合列表打包后国内 ≥ `min_cn`（在可信国内足够时）。
|
||||
|
||||
验收可对 `2026-07-29.ai-news-research.json` 跑后处理做人工对照。
|
||||
|
||||
## Failure Behavior
|
||||
|
||||
| 情况 | 行为 |
|
||||
|------|------|
|
||||
| 无 `CURSOR_API_KEY` / Agent 失败 | 与现网一致：`enabled: False` |
|
||||
| 去重/可信过滤后变短 | 接受短列表；日志 `news_dedup_drop` / `news_cn_short` |
|
||||
| 可信国内为 0 | 不编造、不 RSS 回填；国际可信条照常（若有） |
|
||||
|
||||
## Files Touched
|
||||
|
||||
- `skills/daily-ai-news-research/SKILL.md`
|
||||
- `daily/news/research.py`
|
||||
- `tests/test_ai_news_research.py`
|
||||
- `.env.example`（可选配置说明）
|
||||
|
||||
## Out of Scope Reminder
|
||||
|
||||
不改 RSS 抓取路径；不改 research/rss 模式切换结构；不恢复国内独立企微区块。
|
||||
Reference in New Issue
Block a user