• 首页
  • SEO教程
  • 搜索引擎优化
    • 百度蜘蛛
    • 网站优化
    • 关键词优化
    • 百度搜索排名
  • 网站运营
    • 网站推广方法
    • 网站盈利模式
    • 互联网产品经理
  • 首页 » SEO教程 » robots.txt怎么写
  • robots.txt怎么写

    必须明确什么时候我们的网站才需要robots.txt文件。在确认需要robots.txt之后,就来问题了。robots.txt怎么写?

    一、先熟悉robots.txt文件的几个关键词:

    1、User-agent:跟上搜索引擎蜘蛛的名称;*代表所有搜索引擎蜘蛛;

    2、Disallow:不允许蜘蛛访问的;

    3、Allow:允许蜘蛛访问的。

    二、写robots.txt文件的方法

    1、直接用TXT文档创建一个新的文本;然后重命名为robots.txt;编辑文本即可,如下信息;

    User-agent:*

    Disallow: /cata.asp?

    Disallow:/mulu/

    allow: /mulu2/

    以上的robots.txt文件是告诉所有搜索引擎蜘蛛不允许爬取有带cata.asp?和mulu的内容, 允许爬取mulu2的内容。

    2、使用站长工具的robots文件生成(http://tool.chinaz.com/robots/)直接生成就可以了。

    在限制目录输入文件夹名称、目录名称然后点页面下面的生成按钮就可以了。

    制作完robots.txt文件上传到网站根目录,然后登入百度站长平台检查下即可。下面是百度站长平台robots工具的说明。

    三、百度robots工具使用说明

    1、robots.txt可以告诉百度您网站的哪些页面可以被抓取,哪些页面不可以被抓取。 

    2、您可以通过Robots工具来创建、校验、更新您的robots.txt文件,或查看您网站robots.txt文件在百度生效的情况。 

    3、robots工具暂不支持https站点。 

    4、robots工具目前支持48k的文件内容检测,请保证您的robots.txt文件不要过大,目录最长不超过250个字符。

    低调SEO小编 5年前 (2017-07-23) SEO教程robots搜索引擎优化 984
    本文由低调SEO小编整理编辑发布,本文地址:http://www.didiaoseo.com/seojiaocheng/20170791.html,转载请注明出处,谢谢!

    相关文章

  • 百度关于SEO的建议
  • 怎样查看百度蜘蛛来过我网站
  • 如何自学SEO
  • seo如何入门?
  • 网站如何降低跳出率
  • 现在做外链还有用吗
  • 301重定向怎么做
  • 301重定向
  • robots文件 robots.txt文件
  • robots协议 robots.txt协议
  • 上一篇:robots协议 robots.txt协议
  • 下一篇:robots文件 robots.txt文件
  • 最新内容

  • 灰帽SEO与关键词的布局
  • 灰帽SEO的好处、坏处是什么
  • 常用的网站推广方法包括哪些?
  • 梦芭莎SEO优化分析【案例】
  • 名鞋库SEO数据分析【案例】
  • 【案例】如何利用网站做暴利项目
  • 百度清风算法教你避免网站标题作弊
  • 产品经理是主要做什么
  • 互联网产品经理需要哪些技术知识
  • 影响关键词排名的因素有哪些
  • 网站分类

    • SEO教程
    • 免费SEO教程
    • SEO案例
    • 网络营销方案
    • 网络营销策划方案
    • 精准营销
    • 自动精准营销系统
    • 网络文摘
    • 淘宝客培训
    • 网络赚钱
    • 网络赚钱方法大全
    • 低调资讯

    标签列表

    • 网络营销方案策划书 (2)
    • 灰帽SEO (4)
    • 白帽SEO (8)
    • 黑帽SEO (2)
    • 百度权重 (5)
    • 关键词排名 (27)
    • 百度搜索 (18)
    • 搜索引擎优化 (30)
    • 百度指数 (3)
    • 友情链接 (4)
    • 香港虚拟主机 (3)
    • 美国虚拟主机 (2)
    • 网站空间 (3)
    • 虚拟主机 (6)
    • 网站程序 (5)
    • zblog (5)
    • 网站优化 (31)
    • 域名注册 (3)
    • robots (3)
    • 网站改版 (6)
    • 产品经理 (3)
    • 网站被黑 (3)
    • 网站盈利模式 (3)
    • 卢松松 (4)
    • 百度蜘蛛 (3)

    Copyright 2013 低调SEO分享百度SEO优化、百度关键词排名技术分享的网站。版权所有-Power By zblog-SITEMAP-网站地图