Dede如何采集分页-站长中国-中国站长门户从这里开始全面了解中国站长

Dede如何采集分页

　 2007年08月06日14:31:40　评论(1条) 字体:[大中小]
相关热点：采集文章 var: 规则 /dede:note /dede:function

我们以采集http://www.xiaocao.com/text/class1/class1/200609/text_28623.html （从链接我们也能看出这个网站也是用dede做的，呵呵）作为例子吧，这是一个典型的内容页面，文章的最下面有分页的地址。

首先，我们新建一个采集节点，如下图

注意，这里我用的是文章网址，不是文章列表网址，主要是为了演示方便，你也可以用文章列表网址替换你自己的来源网址，这里我就不多说了。

接下来就是设置分页匹配规则了，什么是分页匹配规则呢？我的理解就是告诉dede网页中哪些地方是放文章分页链接的，dede从中提取分页的链接地址。这里我们只要查看目标网页的源代码，找到分页地址附近的html代码就行了，如图。

然后填入分页匹配规则，这里的"[var:分页区域]"就是目标网页中分页链接的部分。右边的两个单选框，分别对应的是全部列出的分页列表形式，比如："[1] [2] [3] 下一页"；上下页形式的分页列表形式，比如："[上一页] [下一页]"。容易看出，我们的目标网页是属于第一种情况，即所有的分页地址都已经列出来了。

下面就是设置采集的各个字段了，这里我只讲一下文章内容字段的规则，其他的规则比较简单，看看dede官方网站上的教程就足够了。

上图中匹配区域比较简单，我不多说了，重点是过滤规则。这里的过滤规则主要是把目标网页中的分页链接地址去掉，不然的话，那些分页链接也会作为文章内容采集过来，生成出来会很难看。因为我们要过滤的是分页链接地址，所以一定记得要把旁边的“分页内容字段”选上，不然在采集的时候会出错。如果是过滤其他内容的时候，可以不用选。还有一个要注意的地方就是：过滤规则里面的内容都是正则表达式，而匹配区域里面的不是，前面说的分页匹配规则里面的也不是。

至此，采集节点就设置完了，保存之后就可以开始采集了。

采集完成之后，我们在采集的内容里面能看到上图所出现的标记，那就是内容分页的标记，在生成html的时候，就会从标记的地方分页，如果你没有看到那个标记，说明采集节点的设置不对，自己再好好检查一下。

好了，最后是导出数据，然后生成html，看看我们采集出来的文章分页是什么样子吧：

效果非常好，看来dede确实非常强悍啊，呵呵。最后说明一下我的dede版本：3.1 lit，如果还有什么问题，欢迎一起探讨。

最后，把这个例子的配置文件贴出来，方便大家学习：

{!-- 节点基本信息 --}

{dede:item name='实用范文-工作总结'
imgurl='/upimg' imgdir='../upimg' language='gb2312' typeid='1' macthtype='string'}
{/dede:item}

{!-- 采集列表获取规则 --}

{dede:list source='app' sourcetype='archives'
           varstart='1' varend='26'}
  {dede:url value='http://www.xiaocao.com/text/class1/class1/200609/text_28623.html'}http://www.xiaocao.com/text/class1/class1/200609/text_28623.html{/dede:url}
  {dede:need}text_{/dede:need}
  {dede:cannot}{/dede:cannot}
  {dede:linkarea}<td class="newtitle"> <b>工作总结文章列表</b></td>[var:区域]{/dede:linkarea}
{/dede:list}

{!-- 网页内容获取规则 --}

{dede:art}
{dede:sppage sptype='full'}<p align='center'><b><font color='red'>[1]</font> [var:分页区域]  </b>{/dede:sppage}

  {dede:note field='dede_archives.title' value='[var:内容]' comment='文章标题'
   isunit='' isdown=''}

    {dede:match}<title>[var:内容]</title>{/dede:match}

    {dede:function}{/dede:function}

  {/dede:note}

  {dede:note field='dede_archives.sortrank' value='[var:内容]' comment='排序级别'
   isunit='' isdown=''}

    {dede:match}{/dede:match}

    {dede:function}@me = time();{/dede:function}

  {/dede:note}

  {dede:note field='dede_archives.writer' value='[var:内容]' comment='文章作者'
   isunit='' isdown=''}

    {dede:match}{/dede:match}

    {dede:function}@me = "范文"{/dede:function}

  {/dede:note}

  {dede:note field='dede_a rchives.litpic' value='[var:内容]' comment='缩略图'
   isunit='' isdown=''}

    {dede:match}{/dede:match}

    {dede:function}@me = @litpic;{/dede:function}

  {/dede:note}

  {dede:note field='dede_archives.pubdate' value='[var:内容]' comment='发布时间'
   isunit='' isdown=''}

    {dede:match}{/dede:match}

    {dede:function}if(@me!="") @me = GetMkTime(@me);
else @me = time();{/dede:function}

  {/dede:note}

  {dede:note field='dede_archives.senddate' value='[var:内容]' comment='录入时间'
   isunit='' isdown=''}

    {dede:match}{/dede:match}

    {dede:function}@me = time();{/dede:function}

  {/dede:note}

  {dede:note field='dede_addonarticle.body' value='[var:内容]' comment='文章内容'
   isunit='1' isdown=''}

    {dede:match}<script language="JavaScript" type="text/javascript" src="/AD/artcontent.js"></script>[var:内容]<table width="100%" border="0" cellspacing="0" cellpadding="0">{/dede:match}
        {dede:trim}<p align='center'><b>(.*)</b></p>{/dede:trim}

    {dede:function}{/dede:function}

  {/dede:note}
{/dede:art}

责任编辑：

拍一下