Skip to content

fix(curation): 阻止无原文链接内容进入分析和精选 - #154

Merged
fxbin merged 2 commits into
mainfrom
issue-153-url-only-content
Oct 24, 2026
Merged

fxbin merged 2 commits into
mainfrom
issue-153-url-only-content

Conversation

@fxbin

@fxbin fxbin commented Oct 24, 2026 •

Copy link
Copy Markdown
Owner

What & why

AIHOT 的 RSS 条目只有 URL 标题和“阅读原文”的跳转提示,仍可能被模型高分推荐。现在采集、分析、精选、增强、聚类、新趋势快照及当前精选统计使用实际捕获的标题/摘要/正文作为准入证据,历史错误高分不能为自身提供证据。

URL 标题有真实正文时使用有界原文摘录;没有正文时显示“原文待补全”,手动分析与增强明确返回422。原始URL、内容哈希及事件canonical身份保持原有合同;已接受的可读事件成员可以作为展示或统计代表。

Fixes #153

Area

  • backend
  • scraper / source connector(采集模型边界)
  • docs(原文准入长期合同)

Verification

  • 最终候选 e1906ebf3f182ffaf3fdfe9547ebd2c8b491cc73,base cd203a64ad57962f12524a6f02d611fd3a33fdf6。
  • TEST_PG_PORT=5543 bash backend/scripts/test_full_local.sh -k 'test_url_only or test_llm_pre_filter or test_today_picks or test_content_summary or test_content_pipeline or test_analysis_recovery or test_latest_analysis_queries or test_content_event_consumers or test_scoring_engine or test_digest_context or test_duckdb or test_scoring_flow or test_daily_report or test_enrich or test_topic_clustering or test_trend or test_content_action_permissions or test_json_cache or test_cache_warmup':314项通过,0失败/错误/跳过,退出0。
  • 覆盖生产数据形状、模型调用拦截、队列租约/fencing、历史高分精选、正文标题恢复、真实DuckDB查询、一次性PostgreSQL、日报/增强/聚类/趋势/统计及旧缓存隔离。测试库由脚本创建并清理,没有连接开发或生产库。
  • make lint 通过:ruff/格式、分层、评分镜像、刊物命名、前端tsc。notes验证器29篇通过,AGENTS引用与 git diff --check 通过。
  • PR CI 40120520458:8项全绿,绑定本候选。
  • 已合入main,合并提交 26ff9eca44d7fc63a67021061c29ae3d37425af9;main push CI 40120887295 8项全绿。

Verifier verdict

PASS。独立复核者 /root/url_content_verifier 未参与实现;对最终32文件逐项核对SHA256与调用链,确认聚类、直接增强、新趋势、当前统计四条下游入口均受约束。独立在一次性PG 5544运行 -k 'url_only_downstream or duckdb_service or trends or content_event_consumers':42项通过,0失败/错误/跳过,退出0。

复核绑定 head e1906ebf3f182ffaf3fdfe9547ebd2c8b491cc73、tree 33ea8f8e091bfb18953cdebc534006853dd1cd0c、32文件manifest SHA256 e75c3278af3b186e6d3b61b464500162310ab2d9fbc64ff05885578f6e145f72。长期原文合同获独立确认,最终Artifact Boundary通过。原始运行证据仅留本地.vidt,不混入产品仓库。

Checklist

  • 两个单一意图提交:cf596a6(原文准入主链)、e1906eb(下游贯通);Conventional Commits中文说明。
  • 分支 issue-153-url-only-content,Fixes 纯链接和跳转占位内容被模型高分推荐并进入精选 #153。
  • 仅显式暂存相关文件,无凭据、环境文件、数据库、截图或过程产物。
  • AGENTS、依赖、数据库schema及生产配置不变。
  • 新增 .agents/notes/implemented/feature/2026-10-25-content-source-evidence.md,由content_evidence.py维护者负责长期合同。

Notes for reviewer

结构准入不等于全面验证模型语义或评分校准。外部调用方自行提供评分维度的HTTP/MCP合同保持不变;旧只读统计快照若没有原文字段则保留兼容数字口径,正常生产schema的当前查询携带原文证据。关键词仍保留既有canonical归属规则;已有分析、日报/周期摘要和趋势持久化快照不回填。

未调用真实Provider、修改生产数据、执行迁移或部署;本地/CI证据不替代生产验收。合并后已核对main push CI全绿、#153已关闭、本地主线同步且工作区干净。

@fxbin
fxbin marked this pull request as ready for review October 24, 2026 18:28
@fxbin
fxbin merged commit 26ff9ec into main Oct 24, 2026
8 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

纯链接和跳转占位内容被模型高分推荐并进入精选

1 participant