建站教程 » 新手建站教程 » DedeCms采集规则编写详细图解教程

基础知识教程:

网站备案教程

练手免费空间

具体搭建教程:

论坛

商城

博客

小说网站

本站推荐内容:

网页制作教程

HTML教程

本站定位

加入我们

赞助我们

一步步建站录像教程(完全新手)

‹‹ 上一主题 | 下一主题 ››

打印

[新手教程] DedeCms采集规则编写详细图解教程

数据百度

管理员

Rank: 16

活力之星泡泡之星专家小组

发短消息
加为好友
当前离线

1楼大中小发表于 2008-10-7 19:35 只看该作者

DedeCms采集规则编写详细图解教程

第一步、确定采集的网站（我们以DEDE的官方站做为采集站做示范）

引用:

http://www.dedecms.com/plus/list.php?tid=10

第二步、确定被采集站的编码。打开被采集的网页之后，查看源代码（IE：查看 - > 源代码）

在<head> </head>之间找到 charset 这个，后面就显示网页的编码了，截图的是 “gb2312”

第三步、采集列表获取规则写法

来源网址写法很明显pageno是表示分页页码那么有多页列表的采集就要用“[var:分页]”来替换分页页码，截图如下
[=#2b76b0]http://www.dedecms.com/ plus/list.php?tid=10&pageno=[var:分页]

文章网址需包含网址不能包含这两个一般不用写，用于采集列表范围有很多不需要的连接才用到他来做过滤使用。

上面的网址并没有带有至于http://www.dedecms.com 为什么要在前面加上，这个就不要我说了吧。

如果只有一个列表页，那么在来源网址就直接写上网址就OK了。

注意这里，最关键就是这里。

[=#666600]下面就是“采集获取文章列表的规则写法”，
就是上面打开的被采集页面的源代码文件，找到文章列表之前和本页面没有其他相同的代码
在DedeCms官方站的列表页文章列表之前和之后最近的且没有相同的是“ class="newslist">”和“ class="pages">”，分别写入“起始HTML”和“结束HTML”，写法看截图

第四步、采集文章标题，文章内容，文章作者，文章来源等规则写法，分页采集等。
“起始HTML”和“结束HTML”写法参考第三步中的“获取文章列表的规则写法”

下面讲的是如何采集分页内容看截图圈着的地方截图

文档是否分页里面选择“全部列出的分页列表”

“起始HTML”和“结束HTML”写法参考第三步中的“获取文章列表的规则写法”

这里本来还有一张截图的,由于论坛配置,他现在显示在最上面.

在文章内容那里点上“分页内容字段”，不选择就不能采集。

“下载字段里的多媒体资源 ”这个是采集的时候把多媒体资源（视频，软件，图片等）下载到本地，也就是你的网站。

下面是过滤规则

过滤规则需要用 “正则表达式”来写，但是对于新手来说，这个简直是比登天还要难，具体的可以参考

http://www.dedecms.com/web-art/PHP_jiaocheng/20070420/38633.html这个网页

下面教大家一个简单的方法

把下面的过滤规则复制到你那里去，几乎就可以了，也可以自己分析一下，说不定你就懂了

复制内容到剪贴板

代码:

{dede:trim}<span(.*)>{/dede:trim} 

{dede:trim}</span>{/dede:trim} 

{dede:trim}(.*)>{/dede:trim} 

{dede:trim}{/dede:trim} 

{dede:trim}<li>{/dede:trim} 

{dede:trim}</li>{/dede:trim} 

{dede:trim}<ul>{/dede:trim} 

{dede:trim}</ul>{/dede:trim} 

{dede:trim}(.*)>{/dede:trim} 

{dede:trim}{/dede:trim} 

{dede:trim}<table(.*)>{/dede:trim} 

{dede:trim}</table>{/dede:trim} 

{dede:trim}<tbody(.*)>{/dede:trim} 

{dede:trim}</tbody>{/dede:trim} 

{dede:trim}<tr(.*)>{/dede:trim} 

{dede:trim}</tr>{/dede:trim} 

{dede:trim}<td(.*)>{/dede:trim} 

{dede:trim}</td>{/dede:trim} 

{dede:trim}<a(.*)>{/dede:trim} 

{dede:trim}</a>{/dede:trim} 

{dede:trim}<iframe(.*)</iframe>{/dede:trim} 

{dede:trim}<style(.*)</style>{/dede:trim} 

{dede:trim}<script(.*)</script>{/dede:trim} 

{dede:trim}<option(.*)</option>{/dede:trim} 

{dede:trim}<select(.*)</select>{/dede:trim} 



{dede:trim}<embed(.*)>{/dede:trim} 

{dede:trim}</embed>{/dede:trim} 

{dede:trim}<param(.*)</param>{/dede:trim} 

{dede:trim}<object(.*)</object>{/dede:trim}

当然上面这些不能用来采集带有视频的，因为已经过滤了，后面的四行是过滤掉视频的。

自定义处理接口

这个说白了，就是PHP代码。只不过 “ @ me 表示当前标记值和最终结果“@ body表示原始网页”“ @ litpic 缩略图”，按照PHP的写法的就OK了，要不懂PHP的话这个我也帮不了你，你可以去慢慢学习。

1.为了让新手熟悉建站流程,提供测试和免费空间[数据百度]
2.请有机会帮忙宣传/支持cnzhanzhang. 如果你感觉这里不错.
3.为什么cnzhanzhang适宜长居?

TOP

免费空间 新手建站必看新手建站知识库你有问题我来答分享我的故事

‹‹ 上一主题 | 下一主题 ››

Processed in 0.025352 second(s), 8 queries, Gzip enabled.

当前时区 GMT+8, 现在时间是 2008-12-5 02:33 豫ICP备08002104号

清除 Cookies - 联系我们 - 中国站长论坛 - Archiver - WAP - 界面风格