主页 > 长沙SEO基础 > robots.txt写法,让蜘蛛爱上你的网站

robots.txt写法,让蜘蛛爱上你的网站

Robots文件具体的写法
User-agent: *
Disallow: /dede
 
想要给网站书写好这个robots文件,那么前提是你必须要了解网站目录里面的所有的文件是干嘛用的。
 
如果根目录的文件是你的栏目名称的文件不能屏蔽

 
点击前台栏目查看网站的网址目录名称  
Kaibanxinxi
 
首先把自己熟悉的栏目名称的文件夹排除在外,这些文件夹不能屏蔽
 
剩下的一些特殊的目录文件,我们需要研究下,哪些目录文件能参与收录排名的,不能屏蔽。不能参与排名的文件可以屏蔽掉。
 
首先第一个把后台的登陆路径屏蔽掉
默认是是dede
Disallow: /mef
Disallow: /include 织梦的核心文件夹,里面放的都是织梦的程序文件
Disallow: /member # 屏蔽网站会员管理目录文件
这个文件也可以在主机控制面板里面删掉
 
Disallow: /install  这个文件是织梦的安装文件 ,可以屏蔽,也可以直接删掉。
Disallow: /plus  这个文件是织梦的插件文件夹,里面放的是织梦的配置程序文件 ,这个文件不能删除,只能屏蔽。
 
Disallow: /templets 这个是织梦的模板文件  可以直接屏蔽掉
 
Disallow: /data 是织梦存放网站数据信息的文件,里面涉及到网站的数据安全
 
Disallow: /uploads  上传下载的保存目录,一般图片都是上传到这个目录里面的
 
如果你上传的图片不希望蜘蛛抓取收录,那么可以屏蔽,如果你上传的图片希望被收录,那么就不要屏蔽。
 
Disallow: /404.html
这个404页面作用是当网站存在死链接的时候可以引导用户继续访问其他的页面,对于排名本身来说是没用的,所以可以屏蔽掉。
 
还需要屏蔽网站的死链接
 
对于网站中存在的死链接咱们可以使用这个robots文件直接屏蔽掉。
www.abc.com/a/1.html 死链接
 
Disallow: /a/1.html
 
m  这个文件是织梦的自适应的移动站的文件。
移动站的模板都放在这个文件里面的。
 
 
我们需要在这个robots.txt文件里面增加一条允许抓取的记录,增加允许抓取的是网站的站点地图页面。

   本文由长沙seo阿超原创首发。(转载注明出处)

相关推荐