在回家过年以前我将abseo.cn的Robots.txt设置了禁止谷歌蜘蛛访问.
接下来很快的,一个月左右,所有原来收录的内容被Google清空了,唯一例外的是,居然还有WML格式的内容没有被清除,点此查看.
还有,虽然已经禁止谷歌蜘蛛访问,但是谷歌依然在对这个站进行更新,见下图:
关于WML的内容,核桃觉得相当奇怪,所以今天看了服务器空间日志,发现Google蜘蛛果然还在来,但不是原来的大蜘蛛,而是另一只小的:
杭州SEO策划→核桃博客
核桃SEO策划致力于SEO相关的网站优化,搜索引擎优化(seo),搜索引擎营销(sem)等专业研究,与网友交流SEO技巧,分享SEO教程.核桃SEO提供优秀的SEO策划方案与建议
非常奇怪的Google蜘蛛
由核桃于2009年2月24日发布在SEO实验,被阅读102次,评论1次
查看全文
Tags: Google 搜索引擎蜘蛛 Robots.txt
Search
网站分类
本栏热门文章
-
<#CACHE_INCLUDE_BF_TOPHOT_CATEGORY_{id}#>
最近发表
最新评论及回复
最近留言
文章归档
- 2011 August (2)
- 2011 July (1)
- 2011 May (2)
- 2011 March (1)
- 2010 October (2)
- 2010 August (1)
- 2010 July (3)
- 2010 June (1)
- 2010 May (1)
- 2010 April (4)
- 2010 March (5)
- 2010 February (1)
- 2010 January (2)
- 2009 December (2)
- 2009 November (2)
- 2009 October (2)
- 2009 September (4)
- 2009 August (6)
- 2009 July (5)
- 2009 June (5)
- 2009 May (4)
- 2009 April (7)
- 2009 March (3)
- 2009 February (2)
- 2009 January (2)
- 2008 December (6)
- 2008 November (7)
- 2008 October (2)
- 2008 September (6)
- 2008 August (3)
- 2008 July (4)
- 2008 June (8)
- 2008 May (7)
- 2008 April (8)
- 2008 March (5)
- 2008 January (3)
- 2007 December (4)
- 2007 November (19)
- 2007 October (4)
- 2007 September (11)
- 2007 August (28)
站点统计
- 文章总数:205
- 评论总数:568
- 引用总数:0
- 浏览总数:42210
- 留言总数:19
- 当前主题:Abseo.ColorBrick
- 当前样式:ColorBrick