在什么情况下需要查看百度蜘蛛来过我网站
1、网站刚上线，看搜索引擎蜘蛛的抓取情况
如果网站提交给搜索引擎2天后，发现日志里蜘蛛不少，并都返回200，则说明已经可以正常。
只是Google展示的时间比较快，而百度则需要20天左右（经验平均值）展示出来。
2、网站异常，对比日志中蜘蛛的行为情况
正常增加时和现在异常时的日志，进行对比分析。如果没有异常，则应该是搜索引擎展示数据库出问题所致。
如果蜘蛛爬取量明显减少，是否突然减少很多。
如果日志依然，则认为是搜索引擎的展示问题。
3、解决网站被封问题时，查看日志情况
网站被封时，往往日志里有百度蜘蛛，但很少，而且往往只访问robots.txt文件和首页。
经过站长检查修改一切不符合搜索引擎的优化行为后，再将自己网站提交给百度，之后的2天日志情况如果一直只是百度蜘蛛很少光临，而且往往只访问robots.txt文件和首页。这样的情况维持1个月，可以考虑放弃该域名。
如果蜘蛛明显增加，而且返回200代码居多，则被百度重新收录的希望很大，只是时间问题，需要站长更加努力。
正常情况，都是通过iis日志查看，那么，iis日志就显得很重要了。
IIS日志的重要作用
1、通过IIS日志可以了解蜘蛛对网站的基本爬取情况，可以知道蜘蛛的爬取轨迹和爬取量，通过我们的IIS日志，外链的多和少和网站蜘蛛的爬取量是有直接影响的，我们所说的链接诱饵就是如果你做了一个外链，蜘蛛在爬取这个外链页面并把页面放出来时，蜘蛛可以通过你留的这个链接来爬取你的网站，而IIS 日志正是会记录下蜘蛛的这次爬取行动。
2、网站的更新频率也和IIS日志中蜘蛛抓取的频率有关，一般来说更新频率越高，蜘蛛的抓取频率越高，而我们网站的更新不仅仅只是新内容的添加同时还有我们的微调操作。
3、我们可以根据IIS日志的反应情况，对我们的空间的某些事情和问题提前进行预警，因为服务器如果出问题的话在IIS日志中会第一时间反映出来，要知道服务器的稳定速度和打开速度两者都会直接影响我们的网站。
4、通过IIS日志我们可以知道网站的那些页面是很受蜘蛛欢迎的，而哪些页面是蜘蛛连碰都不去碰的，同时我们还能发现有一些蜘蛛由于是过度爬取对我们的服务器资源损耗是很大的，我们要进行屏蔽工作
服务器怎样查看百度蜘蛛来过我网站
作为站长都很关心自己的网站被各大收录引擎收录多少,那么百度和谷歌蜘蛛究竟有没有来过呢?
1、每个网站在WEB服务器上运行都产生LOG日志文件；
2、通过查看LOG日志即可看到百度蜘蛛什么时候去过网站，看了哪些页面，读取过什么文件，包括CSS、网页、图片、JS等文件格式；
3、LOG文件获取方式，可以直接登录服务器查看，打开IIS-网站-属性-日志文件存放的路径-日志文件名（xxxxx、log）；
4、找到LOG文件后，30兆以下的以记事本方式打开即可查看每行代码。大于30兆的文件以其他辅助软件进行打开，比如editplus等。
6、看到日志记录中有【120、122、38、118 - - [11/Nov/2015:04:28:29 +0800] "GET / HTTP/1、1" 200 61083 "-" "Baiduspider+(+http://www、baidu、com/search/spider、htm)】这种记录的，这就说明百度蜘蛛来过网站被LOG文件记录下来了。
虚拟主机怎样查看百度蜘蛛来过我网站
虚拟主机判断蜘蛛有没有来过自己的网站可以查看的IIS日志代码。或者联系空间商开通了蜘蛛访问记录也可以。
如果你的空间商给你的空间支持查询蜘蛛访问记录的话。可以在ftp找到WebLog的文件夹，具体步骤如下：
1、打开FTP登陆软件(这里以FlashFxp为例),登陆你的空间FTP。登陆进FTP后,你会发现在根目录下有一个WebLog的文件夹。
(注:不同的IDC空间生成的日志文件目录名称不一样,仅供参考、一般文件夹中包含Log字符的都是日志文件夹)。
2、打开WebLog目录后,里面有一些以日期格式特征为文件名的、gz后缀结尾的文件、这些就是我们需要下载到本地的日志文件。
3、打开压缩文件,发现里面只有一个以、log结尾的日志文件,我们需要的就是这个文件了。
4、解压后,打开日志文件、Ctrl+F查找baidu.com/search特征字符(这里以百度蜘蛛为例)。
通过分析蜘蛛来访纪录，可以了解本站的大体情况,而不用再为百度不放出内页或者不收录的问题而苦恼了。
蜘蛛来访正常，可以确切的说,搜索引擎对你的站很友好的,坚持更新自己的网站,会有不错的收录的。
关于怎样查看百度蜘蛛来过我网站就整理这些。