织梦dedecms 采集笔记

首先我们打开织梦网后台点击： 采集——采集节点管理——增加新节点

这里我们以采集“普通文章”为例，我们选择：普通文章，然后确定

我们进入了采集的设置页面，填写：节点名称，就是给这个新节点取个名字，这里你可以任意填写。（一般是：采集网站名—节点名称）
然后打开你想要采集的文章列表页，这里我们以“中国青年网”官网为例
http://renwu.youth.cn/qncyz/ 打开这个页面“创业人物”列表，右键——查看源文件找到目标页面编码，就在charset后面
或者操作点击鼠标右键—编码----查看： ● GB2312 UTF-8 其他

“节点基本信息”填完了，其他的一般就不用管了，如图

现在我们来填写“列表网址获取规则”看看文章列表第一页的地址
http://renwu.youth.cn/qncyz/index.htm
对比第二页的地址http://renwu.youth.cn/qncyz/index_1.htm
我们发现了他们除了/index 后面的数字不一样，其他的都一样，所以我们可以这样写http://renwu.youth.cn/qncyz/index().htm
就是把1换成了() 因为这里只有4页，所以我们就填从0到3,每页递增当然是1了，1-0…是等于1吧这里我们就填写完了

可能大家采集的有些列表没有规则，那就只有手工指定列表网址了，如图
每行写一个指定列表页面地址

列表规则写完了，
我们就开始写文章网址匹配规则了,回到“文章列表页”鼠标右键查看源文件， 找到区域开始的HTML，就是找文章列表开始的标志。
我们很容易的找到了如图中的“详细页主题部分” 。

<!--content start-->内容开始点，从这里开始，后面就是文章列表里，

我们再找文章列表的结束HTML标志

<div style="width:auto;"> 就是这个了，一个很容易找到的标志

如果链接中含有图片：不处理 采集为缩略图 这里根据自己的需要选择对区域网址进行再次筛选：(使用正则表达式)必须包含： (优先级高于后者)不能包含：打开源文件，我们可以很清楚的看到，文章链接都是以.html结束的所以，我们在必须包含后面填.html 如果遇到有些列表很麻烦，还可以填写后面的不能包含
我们点击保存信息进入下一步设置，可以看到我们获得的文章网址，看到这些就是对的了

我们保存信息进入第二步：设置内容字段获取规则我们看看文章有没有分页，随便进入一篇文章看看。。我们看到这里的文章没有分页所以这里的我们就默认了

我们现在来找文章标题等等 随便进入一篇文章，右键查看源文件看看这些

依照源码填写

我们再来填写文章内容的开始标志，结束标志和上面的一样，找到开始和结束标志
开始：

结束：

填写如下图：

你想过滤文章中的什么内容就到过滤规则里写吧，比如要过滤文章中的图片，选择常用规则，

再勾选IMG然后确定

这样我们就把正文中的图片过滤了设置完毕后，点击保存设置并预览

这样一个采集规则就写好了，包括列表页采集规则和内容页采集规则。
很简单吧，有些网站很难写，可要多下点功夫了哦填写采集指定节点：每页采集（5）条，间隔时间（10）秒

我们点保存并开始采集——开始采集网页 一会的功夫就采集完了

我们看看我们采集到的文章

看来是成功了，我们点击导出数据吧，
首先选择要导入到的栏目，按“请选择”那里即可在弹出的窗口中选择你需要导入的栏目发布选项这里一般默认即可，除非你不想马上发布。每批导入默认是30条，这里修改与否都无所谓，附带选项一般选“排除重复标题”，至于自动生成HTML那个选项建议先别生成，因为我们还要去批量提取摘要和关键字。