pasckr 发表于 2016-5-9 15:31:42

织梦DedeCms采集规则教程




                楚截图和文字分不清楚,因此用粉色背景来区分。
  第一步、确定采集的网站(我们以DEDE的官方站做为采集站做示范)
  Quote:
  http://www.dedecms.com/plus/list.php?tid=10
  第二步、确定被采集站的编码。打开被采集的网页之后,查看源代码(IE:查看 - > 源代码)
http://img10.3lian.com/edu121201/g/g106/201212/9a83fe6a5d9846490ebc9723167fa1bf.jpg http://img10.3lian.com/edu121201/g/g106/201212/7b2a1ed2026440f3f94fc2be0b3a3928.jpg  在 之间找到 charset 这个,后面就显示网页的编码了,截图的是 “gb2312”
  第三步、采集列表获取规则写法
  来源网址写法 很明显pageno是表示分页页码 那么有多页列表的采集就要用“”来替换分页页码,截图如下
  http://www.dedecms.com/ plus/list.php?tid=10&pageno=
http://img10.3lian.com/edu121201/g/g106/201212/0282de38c19ce6418670b3f7ed7188df.jpg http://img10.3lian.com/edu121201/g/g106/201212/36ab8c1f9ac75bc774db0220eb8d7858.jpg  文章网址需包含 网址不能包含 这两个一般不用写,用于采集列表范围有很多不需要的连接才用到他来做过滤使用。
  上面的网址并没有带有至于http://www.dedecms.com 为什么要在前面加上,这个就不要我说了吧。
  如果只有一个列表页,那么在来源网址就直接写上网址就OK了。
http://img10.3lian.com/edu121201/g/g106/201212/6dc22ba671a252cef2a46814b364e81d.jpg http://img10.3lian.com/edu121201/g/g106/201212/0871ba6f9a46532446f34266d91b4065.jpg  注意这里,最关键就是这里。
  下面就是“采集获取文章列表的规则写法”,
  就是上面打开的被采集页面的源代码文件,找到文章列表之前 和本页面没有其他相同的代码
  在DedeCms官方站的列表页文章列表之前和之后最近的且没有相同的是“
”和“ ”,分别写入“起始HTML”和“结束HTML”,写法看截图
http://img10.3lian.com/edu121201/g/g106/201212/b0d61b8a8bf737c0a22ad75f5d3ac191.jpg  第四步、采集文章标题,文章内容,文章作者,文章来源等规则写法,分页采集等。
  “起始HTML”和“结束HTML”写法参考第三步中的“获取文章列表的规则写法”
http://img10.3lian.com/edu121201/g/g106/201212/c0e3d2caf8069de5cbde91f4153edcb0.jpg http://img10.3lian.com/edu121201/g/g106/201212/367df662ddcdc2160acf1c93e823196d.jpg  下面讲的是如何采集分页内容 看截图圈着的地方 截图
  文档是否分页 里面选择“全部列出的分页列表”
  “起始HTML”和“结束HTML”写法参考第三步中的“获取文章列表的规则写法”
http://img10.3lian.com/edu121201/g/g106/201212/d57f6dfedec03564140e5a79e2eb9b29.jpg http://img10.3lian.com/edu121201/g/g106/201212/d88916907009aded62b0d1efea01a903.jpg  当然 上面这些不能用来采集带有视频的,因为已经过滤了,后面的四行是过滤掉视频的。
页: [1]
查看完整版本: 织梦DedeCms采集规则教程