智能感知 · 组件
定时新闻与订阅源采集去重
可用 合成数据 T3 · 信号流与告警
功能
轮询 RSS/API 订阅源，保留抓取状态，并在四个来源变体间对文章去重。来源注册表、客户分类体系以及各适配器的行为需要另行配置。
核心模式
定时拉取信息源＋去重和抓取状态
- 输入
- RSS/RSSHub/JSON feeds
- 输出
- Normalized articles, source provenance and fetch job records
关键参数
| 名称 | 类型 | 默认值 | 取值 |
|---|---|---|---|
| sources | array | [] | — |
| poll_interval_seconds | integer | 900 | 30–86400 |
| batch_size | integer | 50 | 1–1000 |
| parallelism | integer | 4 | 1–64 |
| dedupe_strategy | string | hybrid | canonical_url · external_id · title_content · hybrid |
成熟度与限制
可用
已建立来源注册表、适配器契约、调度器及抓取和管理接口。此等级依据静态源码检查，不代表运行测试、真实服务接入或生产部署已通过验证。
未发现根目录复用许可证；出版方文字与图片须取得复用权，外部模型及抓取服务须配置。各变体的依赖、限制及较低成熟度分别记录；它们是备选实现，并非一个已部署系统。
所在流水线
技能包
契约脚手架与确定性模拟实现
下载 · 13KBSHA-256 5d1958a1f05a0e2fc1b04ef1e81beb4a7ca32d90a7475590f7f6870fd069fb8c
