cover

辰峰文章采集器 数据采集

文章采集器三步式工作流:采集网址规则 → 采集内容规则 → 发布内容设置。支持批量网址生成、区域截取、前后截取/正则/XPath 提取、完整数据处理链、图片本地化、分类标签自动创建、去重过滤,采集结果直接发布为 emlog 文章。


购买 / 收藏:请先登录


开发者:Jack

无代码加密 无额外授权 版本号:1.1.2 适配PHP:7.4+

功能介绍

  1. 任务管理:新建、编辑、复制、删除、启用/停用,导入/导出规则(JSON 格式可跨站点迁移)
  2. 采集网址:起始 URL + 批量翻页((*) 占位符)+ 区域截取 + 自动/正则提取链接 + 包含/排除过滤
  3. 采集内容:6 个预设字段 + 自定义字段,支持前后截取/正则/XPath/固定值 4 种提取方式
  4. 数据处理链:15 种处理器串行配置(替换、删除标签、过滤链接、截取、前后缀、大小写转换等)
  5. 采集值模式:添加前缀/后缀可引用其他字段、或从整页 HTML 独立提取(前后截取/正则/XPath),无需写死固定值
  6. 可视化 DOM 选择器:加载页面后在元素上悬停高亮 → 点击提取 → 自动配置字段规则
  7. 内容分页合并:自动识别「下一页」链接,合并多页正文
  8. 规则测试:每步实时预览,标注未提取字段,展示数据处理链 before/after 对比
  9. 云存储管理:13 家云厂商(阿里云 OSS / 腾讯云 COS / WebDAV 网盘等),图片上传云端返回直链
  10. 图片增强:文件名自动重命名(日期+随机)+ WebP 压缩(GD 不支持时自动降级原图)
  11. 发布设置:分类自动匹配/创建、标题/URL 去重、正文/封面自动提取、前后缀、屏蔽词过滤
  12. 健壮性:采集阶段预过滤过短正文、发布阶段悲观锁跳过坏数据、后端 500 不中断流程
  13. 登录态支持:Cookie 配置,可视化选择器与真实采集共用,可采需要登录的内容
  14. 控制台:一键采集并发布 + 分步执行 + 实时日志 + 进度条 + 失败步骤不中断流程
  15. 批量操作:采集数据列表支持筛选(标题/网址/正文关键字高亮)、批量发布、批量删除、查看/编辑单条
  16. 定时任务:server crontab + API 密钥,支持指定任务/步骤,自动定期采集发布

插件截图

云存储管理

请先登录, 再发布评论

闪耀青春

友情 2个月前

你好,可以采集图片资源站吗?(带下载地址),图片能不能上传到第三方图床用API对接?图片放到网站服务器会影响速度。

Jack 铁杆 开发者 2个月前

图片资源站,应该是可以的,你可以发我测试一下,另外第三方图床 api 这块计划会做。


  • 1.1.2
    1个月前

    🔧 优化:宝塔 添加 定时任务 证书验证失败 方案

  • 1.1.1
    2个月前

    🔧 修复:修复已知 bug

  • 1.1.0
    2个月前

    ✨ 新增:
    1.. 云存储管理:13 家云厂商(阿里云 OSS / 腾讯云 COS / WebDAV 网盘等),图片上传云端返回直链
    2.. 图片增强:文件名自动重命名(日期+随机)+ WebP 压缩(GD 不支持时自动降级原图)
    🔧 优化:
    1.健壮性:采集阶段预过滤过短正文、发布阶段悲观锁跳过坏数据、后端 500 不中断流程
    2.登录态支持:Cookie 配置,可视化选择器与真实采集共用,可采需要登录的内容
    3.批量操作:采集数据列表支持筛选(标题/网址/正文关键字高亮)、批量发布、批量删除、查看/编辑单条
    🔧 修复:
    修复已知 bug

  • 1.0.1
    2个月前

    修复已知 bug

  • 1.0.0
    2个月前

    新品发布