打造公众号文章采集流水线：架构、合规与自动化要点

项目背景

在国内环境中搭建公众号内容采集系统，需要同时满足合规备案、稳定性和内容治理三方面要求。推荐采用 Webhook → HTTP 请求 → HTML 解析 → 数据清洗 → 落库 的分层架构，便于在任意节点扩展监控与审计能力。

关键能力

• 支持多路 Webhook，用于接收人工触发或定时任务推送的文章 URL。
• HTML 提取需要兼容新版和旧版 DOM 结构，并具备兜底逻辑。
• 敏感词过滤既要覆盖词库，也要支持正则灵活扩展。
• 数据落库环节建议保留原始 HTML，以便后续排查。

const workflow = [
  "Webhook 接收文章 URL",
  "HTTP 节点补充 Headers 与 Cookies",
  "HTML Extract 提取标题、作者、正文",
  "Function 节点做分词/敏感词校验",
  "Database 节点写入结构化数据",
];

export function run(): void {
workflow.forEach((step, index) => {
console.log(#${index + 1}, step);
});
}
`

合规注意事项

1. 备案与网络安全：域名需完成工信部 ICP 备案和公安网安备案，防止 Webhook 接口被拦截。
2. 数据脱敏：严禁采集用户敏感信息，评论区等内容必须在获得授权后处理。
3. 审计日志：所有修改操作都要写入审计表，以便合规部门追踪。

验收清单

• 采集链路具备重试与错误上报。
• 数据库字段满足全文检索与精确查询需求。
• 手动审核入口可快速筛选违规内容。