在回家过年以前我将abseo.cn的Robots.txt设置了禁止谷歌蜘蛛访问.
接下来很快的,一个月左右,所有原来收录的内容被Google清空了,唯一例外的是,居然还有WML格式的内容没有被清除,点此查看.
还有,虽然已经禁止谷歌蜘蛛访问,但是谷歌依然在对这个站进行更新,见下图:
关于WML的内容,核桃觉得相当奇怪,所以今天看了服务器空间日志,发现Google蜘蛛果然还在来,但不是原来的大蜘蛛,而是另一只小的:
2009-02-23 01:45:39 W3SVC356 58.222.17.37 GET /atom.xml - 80 - 72.14.199.124 Feedfetcher-Google;+(+http://www.google.com/feedfetcher.html;+1+subscribers;+feed-id=14828231299886029781) 200 0 0
很搞笑吧,就是这只漏网的"Feedfetcher-Google"蜘蛛.应该是一只Rss蜘蛛啊.
"feed-id=14828231299886029781"这具字段应该是我这个博客的Rss专用了.
今天把它也给禁了,过些日子再看下有什么效果.
另外今天发现来了两只新蜘蛛哦,记录一下:
2009-02-23 01:48:29 W3SVC356 58.222.17.37 GET /robots.txt - 80 - 122.147.76.69 Gaisbot/3.0+(robot06@gais.cs.ccu.edu.tw;+http://gais.cs.ccu.edu.tw/robot.php) 200 0 0
2009-02-23 00:04:09 W3SVC356 58.222.17.37 GET /catalog.asp tags=YAHOO 80 - 38.99.44.105 Mozilla/5.0+(Twiceler-0.9+http://www.cuil.com/twiceler/robot.html) 200 0 0
第一条应该是台湾的一只小蜘蛛,可以百度一下.
第二条就是号称Google杀手的Cuil.点石博客曾经有介绍,
