• 首页
  • SEO教程
  • 搜索引擎优化
    • 百度蜘蛛
    • 网站优化
    • 关键词优化
    • 百度搜索排名
  • 网站运营
    • 网站推广方法
    • 网站盈利模式
    • 互联网产品经理
  • 首页 » SEO教程 » robots协议 robots.txt协议
  • robots协议 robots.txt协议

    robots是站点与spider沟通的重要渠道,站点通过robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。因此robots.txt协议非常的重要,那么怎么正确的理解它呢?本文章会从什么是robots协议、robots.txt协议的注意事项、robots.txt协议的原则以及误设置了robots怎么处理来说明。

    一、什么是robots协议

    robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过robots协议告诉搜索引擎网站上的哪些页面可以抓取,哪些页面不能抓取。

    二、robots.txt协议的注意事项

    1、仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。

    2、如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。

    3、为了避免站长在设置robots文件时出现问题,百度站长平台特别推出了robots工具,帮助站长正确设置robots。

    三、robots.txt协议的原则

    1、搜索技术应服务于人类,同时尊重信息提供者的意愿,并维护其隐私权;

    2、网站有义务保护其使用者的个人信息和隐私不被侵犯。

    四、误设置了robots怎么处理

    1.修改robots,然后到百度站长后台检测并更新robots。

    2.在百度站长后台抓取检测,此时显示抓取失败,没关系,多点击抓取几次,触发蜘蛛抓取站点。

    3.在百度站长后台抓取频次,申请抓取频次上调。

    4.百度反馈中心,反馈是因为误操作导致了这种情况的发生。

    5.百度站长后台链接提交处,设置数据主动推送(实时)。

    6.更新sitemap网站地图,重新提交百度,每天手工提交一次。

    低调SEO小编 5年前 (2017-07-23) SEO教程robots网站优化 864
    本文由低调SEO小编整理编辑发布,本文地址:http://www.didiaoseo.com/seojiaocheng/20170789.html,转载请注明出处,谢谢!

    相关文章

  • 梦芭莎SEO优化分析【案例】
  • 名鞋库SEO数据分析【案例】
  • 网站优化需要注意哪些要点
  • 如何写高质量的内容
  • 大型网站优化思路
  • 大型网站的SEO引爆点
  • 网站优化关键词多久能到首页
  • 网站优化怎么做
  • seo如何入门?
  • 如何优化长尾关键词
  • 上一篇:百度索引量
  • 下一篇:robots.txt怎么写
  • 最新内容

  • 灰帽SEO与关键词的布局
  • 灰帽SEO的好处、坏处是什么
  • 常用的网站推广方法包括哪些?
  • 梦芭莎SEO优化分析【案例】
  • 名鞋库SEO数据分析【案例】
  • 【案例】如何利用网站做暴利项目
  • 百度清风算法教你避免网站标题作弊
  • 产品经理是主要做什么
  • 互联网产品经理需要哪些技术知识
  • 影响关键词排名的因素有哪些
  • 网站分类

    • SEO教程
    • 免费SEO教程
    • SEO案例
    • 网络营销方案
    • 网络营销策划方案
    • 精准营销
    • 自动精准营销系统
    • 网络文摘
    • 淘宝客培训
    • 网络赚钱
    • 网络赚钱方法大全
    • 低调资讯

    标签列表

    • 网络营销方案策划书 (2)
    • 灰帽SEO (4)
    • 白帽SEO (8)
    • 黑帽SEO (2)
    • 百度权重 (5)
    • 关键词排名 (27)
    • 百度搜索 (18)
    • 搜索引擎优化 (30)
    • 百度指数 (3)
    • 友情链接 (4)
    • 香港虚拟主机 (3)
    • 美国虚拟主机 (2)
    • 网站空间 (3)
    • 虚拟主机 (6)
    • 网站程序 (5)
    • zblog (5)
    • 网站优化 (31)
    • 域名注册 (3)
    • robots (3)
    • 网站改版 (6)
    • 产品经理 (3)
    • 网站被黑 (3)
    • 网站盈利模式 (3)
    • 卢松松 (4)
    • 百度蜘蛛 (3)

    Copyright 2013 低调SEO分享百度SEO优化、百度关键词排名技术分享的网站。版权所有-Power By zblog-SITEMAP-网站地图