欢迎访问南京凯壹良网络科技有限公司!本公司专业提供南京网站seo推广服务,是一家专业seo网络优化推广服务公司!
首页 > seo优化推广 > 搜索引擎的地址库介绍
搜索引擎的地址库介绍

  为了避免重复爬行和抓取网址,搜索引擎会建立一个地址库,记录已经被发现、但还没有抓取的页面,以及已经被抓取的页面。蜘蛛在页面上发现链接后并不是马上就去访问,而是将URL存入地址库,然后统一安排抓取。

  地址库中的URL有几个来源:

  1、 人工录入的种子网站。

  2、 蜘蛛抓取页面后,从HTML中解析出新的链接URL,与地址库中的数据进行对比,如果是地址库中没有的网址,就存入待访问地址库。

  3、 站长通过搜索引擎网页提交表格提交进来的网址。

  4、 站长通过XML网站地图、站长平台提交的网址。

  蜘蛛按重要性从待访问地址库中提取URL,访问并抓取页面,然后把这个URL从待访问地址库中删除,放进已访问地址库中。

  大部分主流搜索引擎都提供一个表格,让站长提交网址。不过这些提交来的网址都只是存入地址库而已,是否收录还要看页面重要性如何。搜索引擎所收录的绝大部分页面是自己跟踪链接得到的。可以提交页面作用微科其微,搜索引擎更喜欢自己沿着链接发现新页面。

  此文章“搜索引擎的地址库介绍来源于网络收集、整理,如有涉及版权问题请与本网站联系删除!”当前文章地址:https://www.nestseo.com/news/155.html,更多相关南京seo网站优化文章请到https://www.nestseo.com/news/阅读查看!

上一篇:灰色行业在推广上是如何操作的
下一篇:蜘蛛对页面文件的存储和内容检测
相关文章
南京seo优化公司服务热线
17372266466(微信同号)
025-66800337
地址:南京市江北新区弘盛路1号弘阳时代中心4幢610室
负责人:陈经理
服务QQ:635843057
网站地图
服务区域:常州seo、徐州seo、南京seo、淮安seo、南通seo、宿迁seo、无锡seo、扬州seo、盐城seo、苏州seo、泰州seo、镇江seo、连云港seo
在线咨询
635843057
在线咨询
2911132944