采集规则编写教材

到这里，小说列表的采集规则基本完成，我们可以保存以后，测试采集规则，如果可以采集到小说ID和小说标题，那么这一步的采集规则就没有问题了！后续采集小说信息就会自动调用小说详情页URL模板里的内容。

第二步：上面我们通过测试，已经确定可以采集到小说，接下来我们就需要采集小说的信息，比如作者、连载状态、小说简介等，这里的规则编写逻辑与小说列表采集的编写逻辑一致。唯一不同的有两个地方，就是处理连载状态和分类映射的地方。

我们首先通过字符串截取（第一步的教程）取得连载状态关键字，通常是完本、完结、已完结、连载中等。然后设置完结关键词，如果采集到的状态与完结关键字一样，那么久视为该小说已完结。

关于分类映射，我们采集到的分类名分别每一个对应本站的一个分类，可以是多对一，就是采集到的多个分类对应本站的一个分类。

其他的与第一步没有任何区别。

=========================================

下面是以 EnovelCms 内置采集器为准编写的一个完整案例教程，本系统配套的本地采集器编写采集规则的方法与它是一致的。

一、进入采集规则编辑页面

后台 → 小说管理 → 采集管理 → 新增规则 / 编辑规则。

页面从上到下分为：

1. 基本信息

2. 小说列表采集

3. 小说信息提取

4. 分卷与章节列表

5. 章节内容提取

6. 封面处理

7. 内容过滤与防采集

每个字段怎么填，下面按顺序讲。

二、先记住两个东西：通配符和 URL 变量

页面上方有一个“通配符说明”提示框，内容就是这些。

1. 开始/结束标记里可用的通配符

它们用在“开始标记”或“结束标记”里，代替会变化的部分。

2. URL 模板里可用的变量

例子：

https://example.com/list/{page}.html
https://example.com/book/{novel_id}/
https://example.com/read/{novel_id}/{chapter_id}.html

三、按页面字段一步步填写

第 1 步：基本信息

第 2 步：小说列表采集

打开源站列表页，F12 看源码。

假设列表页 HTML：

<div class="book-list">
  <a href="/book/1001/">斗破苍穹</a>
  <a href="/book/1002/">凡人修仙传</a></div>

列表页 URL 是：

https://example.com/list/1.html
https://example.com/list/2.html

在页面上这样填：

解释：

<a href="/book/1001/">斗破苍穹</a>

• 开始标记 href="/book/ 之后是 1001

• 结束标记 /"> 之前是 1001

• 所以提取出小说 ID：1001

• 开始标记 "> 之后是 斗破苍穹

• 结束标记 </a> 之前是 斗破苍穹

• 所以提取出标题。

第 3 步：小说信息提取

打开详情页，F12 看源码。

假设详情页 HTML：

<div id="info">
  <h1>斗破苍穹</h1>
  <p>作者：天蚕土豆</p>
  <p>分类：玄幻</p>
  <div class="intro">这里是简介内容...</div>
  <img class="cover" src="/images/cover/1001.jpg">
  <p>状态：连载中</p></div>

在页面上这样填：

说明：

• “采集区域”是先把整个详情区域框出来，后面的书名、作者等都在这个区域里找，避免找到页面其他地方的文字。

• 状态提取出来后，如果里面包含“完结”或“完本”，系统会把小说标记为已完结。

• 分类映射在下面单独讲。

第 4 步：分卷与章节列表

打开章节列表页，F12 看源码。

假设章节列表 HTML：

<div class="chapters">
  <h3>第一卷 初入江湖</h3>
  <a href="/read/1001/2001.html">第一章 入山</a>
  <a href="/read/1001/2002.html">第二章 拜师</a>

  <h3>第二卷 风起云涌</h3>
  <a href="/read/1001/2003.html">第三章 出山</a></div><div class="total-pages">共 3 页</div>

章节列表 URL 可能是：

https://example.com/book/1001/chapters_1.html
https://example.com/book/1001/chapters_2.html

在页面上这样填：

重点解释章节 ID：

<a href="/read/1001/2001.html">第一章 入山</a>

• 如果写死 href="/read/1001/，换一本小说就不对了。

• 所以开始标记写 href="/read/{num}/，{num} 会匹配 1001。

• 结束标记写 .html，捕获 .html 之前的内容，也就是 2001。

卷名：

• 有 <h3> 卷名时，系统会把后面的章节归到该卷。

• 没有卷名的章节会归到“默认卷”。

总页数：

<div class="total-pages">共 3 页</div>

系统会取第一个数字 3，然后自动采 3 页。
注意：总页数区域不要放一堆页码链接，否则可能取到 1。

第 5 步：章节内容提取

打开章节内容页，F12 看源码。

假设内容 HTML：

<div id="content">
  <p>正文第一段</p>
  <p>正文第二段</p></div><div class="total-pages">共 2 页</div>

在页面上这样填：

说明：

• 如果章节内容不分页，只填“内容开始”和“内容结束”就行，分页字段留空。

• 如果内容分页，第一页也会用 内容分页URL模板 生成。所以要确保 ?page=1 能正常访问第一页。

• 如果第一页不是 ?page=1 这种格式，建议不要填内容分页模板，或者改成正确的格式。

第 6 步：封面处理

封面 URL 里包含这个关键词就不下载，直接忽略。

第 7 步：内容过滤与防采集

这个主要用于去掉源站广告和做简单标记。

四、分类映射怎么填

在“小说信息提取”区域下方有一个“分类映射”。

先在本站后台“分类管理”里建好分类，比如：

然后在采集规则编辑页面：

• 左边填源站分类名

• 右边下拉选择本站分类

例如：

如果源站分类没在映射里，系统会自动归到本站第一个分类。

五、完整示例：按页面字段填写

假设目标站：

• 列表页：https://example.com/list/1.html

• 详情页：https://example.com/book/1001/

• 章节列表：https://example.com/book/1001/chapters_1.html

• 章节内容：https://example.com/read/1001/2001.html

列表页 HTML：

<div class="book-list">
  <a href="/book/1001/">斗破苍穹</a></div>

详情页 HTML：

<div id="info">
  <h1>斗破苍穹</h1>
  <p>作者：天蚕土豆</p>
  <p>分类：玄幻</p>
  <div class="intro">这里是简介...</div>
  <img class="cover" src="/images/cover/1001.jpg">
  <p>状态：连载中</p></div>

章节列表 HTML：

<div class="chapters">
  <h3>第一卷 初入江湖</h3>
  <a href="/read/1001/2001.html">第一章 入山</a></div><div class="total-pages">共 3 页</div>

内容页 HTML：

<div id="content">
  <p>正文第一段</p></div>

页面填写如下：

基本信息

• 规则名称：演示小说站

• 目标网站：https://example.com

• 网页编码：UTF-8

• 启用规则：勾选

小说列表采集

• 列表页URL模板：https://example.com/list/{page}.html

• 采集区域开始：<div class="book-list">

• 采集区域结束：</div>

• 小说ID提取：开始标记：href="/book/

• 小说ID提取：结束标记：/">

• 小说标题提取：开始标记：">

• 小说标题提取：结束标记：</a>

• 小说详情页URL模板：https://example.com/book/{novel_id}/

小说信息提取

• 采集区域开始：<div id="info">

• 采集区域结束：</div>

• 书名开始：<h1>

• 书名结束：</h1>

• 作者开始：作者：

• 作者结束：</p>

• 分类开始：分类：

• 分类结束：</p>

• 简介开始：<div class="intro">

• 简介结束：</div>

• 封面开始：<img class="cover" src="

• 封面结束："

• 状态开始：状态：

• 状态结束：</p>

• 完结关键词：完结,完本

• 分类映射：玄幻 → 玄幻（本站对应分类）

分卷与章节列表

• 章节列表页URL模板：https://example.com/book/{novel_id}/chapters_{page}.html

• 采集区域开始：<div class="chapters">

• 采集区域结束：</div>

• 卷名开始标记：<h3>

• 卷名结束标记：</h3>

• 章节ID提取：开始标记：href="/read/{num}/

• 章节ID提取：结束标记：.html

• 章节标题提取：开始标记：>

• 章节标题提取：结束标记：</a>

• 章节详情页URL模板：https://example.com/read/{novel_id}/{chapter_id}.html

• 章节列表总页数开始：<div class="total-pages">

• 章节列表总页数结束：</div>

章节内容提取

• 内容开始：<div id="content">

• 内容结束：</div>

• 内容分页URL模板：留空（如果内容不分页）

• 内容分页总页数开始：留空

• 内容分页总页数结束：留空

封面处理

• 忽略封面URL特征：留空

内容过滤与防采集

• 过滤黑名单：留空

• 随机插入字符：留空

填完点“保存规则”。

六、测试和采集

保存后，回到“采集规则管理”页面。

1. 点“测试”
   打开测试页面，会显示 4 步：

   重点看每一步的实际请求 URL 和提取结果。
   如果某一步为空，就回到编辑页面检查对应的开始/结束标记。

• 步骤1：列表页提取小说 ID 和标题

• 步骤2：详情页提取书名、作者、分类、简介、封面、状态

• 步骤3：章节列表提取分卷和章节

• 步骤4：随机章节内容采集

2. 测试通过后，点“采集”
   系统会从列表页开始，自动依次执行：

   采集过程中会显示进度，网络错误会自动重试。

• 列表页 → 详情页 → 章节列表 → 章节内容

3. 如果只想采某一本，点“单篇”
   输入源站小说 ID，支持：

• 单个：1001

• 范围：1-100

• 列表：1,5,20

七、常见问题

1. 提取出来是空的

• 开始/结束标记要和源码完全一致，包括引号、空格。

• 注意编码，GBK 站点要选 GBK。

• 如果页面是 JS 动态加载的，cURL 抓不到，只能采静态 HTML 或接口。

2. 章节 ID 提取不对

不要写死小说 ID。
错误：href="/read/1001/
正确：href="/read/{num}/

3. 总页数取错

总页数区域最好只放“共 X 页”，不要放页码链接。
否则系统取第一个数字，可能取到 1。

4. 内容分页第一页失败

如果配了 {chapter_url}?page={page}，第一页会请求 ?page=1。
如果源站第一页不接受这个参数，就不要填内容分页模板。

5. 采集很慢或中断

采集是浏览器逐步跳转执行的，章节多时要保持页面打开。
网络错误会自动重试，非网络错误会跳过。