您好![请登陆] [免费注册] [忘记密码]
申请加盟    销售热线: 020-85421558 技术支持: 020-36523071 备案专线: (0)136-8886-2121

你要找的是铁岭网站优化哪家好?中外商贸为你提供服务:铁岭网站优化价格、铁岭网站优化公司,欢迎浏览:铁岭网站优化

铁岭网站优化

rotbots.txt文件的制作


1.robots.txt文件的作用

robots.txt文件是一个文本文件,这个文件用来告诉搜索引擎蜘蛛网站的哪些部分应该被抓取,哪些部分不用抓取。比如说,如果有很多网站源文件,抓取可能会增加服务器的负载,且会耗费搜索引擎爬虫的时间来索引网站文件。站长可以使用文本编辑器创建一个名为robots.txt的文件,比如NotePad++或记事本等工具。

注意:robots.txt实际上是搜索引擎访问网站的时侯要查看的第1个文件,当一个搜索蜘蛛访问一个网站时,它会首先检查该站点根目录下是否存在robots.txt文件,如果存在就会按照该文件中的内容来确定访问的范围。




2.robots.txt文件制作与上传

打开Windows的记事本工具,在记事本中添加如下代码,然后将其保存为robots.xt文件。

在记事本中编写robots.txt文件效果

保存好robots.txt文件后,将其上传到网站的根目录下,就可以控制搜索引擎蜘蛛的爬行轨迹了。

鉴于robots.txt中包含了很多指令,互联网上也有很多在线的工具用来生成这个文件,比如Chinaz的站长工具,网址为http://tool.chinaz.com/robots/,因此上面的示例可以用这个工具轻松实现

使用站长工具编写robots.txt文件

在编写完成后,单击下面的“生成”按钮,将会在页面底部的文本框控件中生成robots.txt文件内容,将其复制到文本文件中并保存,即可创建robots.xt文件

 

 

备案系统认证 举报不良网站 我们的支付方式 AAA级信用
广州万户网络信息科技有限公司 旗下网站建设品牌:中外商贸 www.ttn8.com 版权所有 ©2000-2019 All Rights Reserved
网站备案编号:粤ICP备15049595号 地址:广州市番禺区大石街北联围仔工业路2号E座305
电话:020-85421558   传真:020-88140140   邮编:510515
交换PR>=4的友情链接合作站,欢迎同行联系链接QQ: