Sitemap就是我们站长称之为网站地图,包含并列出了网站中几乎所有的 URL,以便搜索引擎可以更加方便快捷的抓取和发现网站的链接,从而提高搜索引擎的抓取效率。在实际中我们最常见的有两种网站地图文件格式:sitemap.xml,sitemap.html;以及还有 sitemap.txt,sitemap.gz 等格式。
 
  但是两者却有不同的使用方法,具体如下:
 
    sitemap.xml
 
    用于想搜索要求提交数据的重要文件,XML 文件也是 sitemap 信息量最大最常用的,其文件中列出了网站中的网址以及关于每个网址的其他元数据(上次更新的时间、更改的频率以及相对于网站上其他网址的重要程度为何等)。
 
  sitemap.xml的创建是为了更有利于搜索引擎的的抓取策略,从而提高工作效率。生成sitemap.xml后将其链接放入robort.txt内 :(Disallow:http://网站域名/sitemap.xml)简单的我们可以理解 sitemap.xml 是一个给搜索引擎看的文件,其中包含了 URL,时间,重要性等参数。
 
  提示:
 
  1.良好的robort.txt协议可以指导搜索引擎抓取方向,节省“蜘蛛”抓取时间,所以无 形中提升了“蜘蛛”的工作效率,也就提高了页面被抓取的可能性了。
 
  2.将sitemap.xml和robort.txt放在网站的根目录下。
 
    3.sitemap.xml 文件基本是每个网站的必须,并且可以将网站地图的链接放置与网站的 robots.txt 文件末尾(例:Sitemap: https://zhangzifan.com/sitemap.xml),方便搜索引擎发现。
 
    Sitemap.htm
 
    Sitemap.html格式的网站地图主要用来方便用户的浏览使用,简单的来说就是给人看的,并不能起到 XML Sitemap 所起的作用。所以这个文件一般的大型网站会做成一个网站导航,所以最好是两者都要有。
 
    所以利用好 sitemap.xml 文件及配置 robort.txt 协议可以指导搜索引擎抓取方向,节省“蜘蛛”抓取时间,所以无 形中提升了“蜘蛛”的工作效率,也就提高了页面被抓取的可能性了。