第一步：建立Sitemap文件，将目标推广的URL列表推送给搜索引擎。
第二步：设立Robots文件，将不允许蜘蛛爬行的页面在Robots里面定义清楚，然后把该文件上传到网站根目录下。
在Robots和Sitemap文件中，如何精细化地做好链接定义和说明，并有效告知搜索引擎，对SEO的效果影响较大，因为这些都切切实实影响到蜘蛛是否知晓链接存在和能否有效爬行网站。
在告知途径上，主要有几种方式。
● 通过Robots告 知搜索引擎可以爬行的路径和禁止爬行的路径。
● 通过直接提交网站首页URL引导搜索引擎到达首页，然后自行爬行内链，完成对网站的抓取，这种方式比较简单，但不是最为理想的方式。
● 通过直接提交网站Sitemap的方式引导搜索引擎过来爬行页面。 Sitemap即站点地图，扁平化告知搜索引擎网站的结构和页面地址，可以引导蜘蛛快速爬行到很多页面。如果更精细化，可以设置页面的权重和更新频率等信息，帮助蜘蛛更有针对性地爬行网站。网站式新闻动态
本文地址：http://www.haiyang8.cn/article/8216.html
