Posts Tagged: ROBOTS.txt

关于网站搜索中 robots.txt 的感悟

今天是我微软 Microsoft SharePoint MOSS 2007 培训第三天,主题里有怎样设置MOSS中的Enterprise Search 功能。从企业内部的Search,我们的培训导师就开始谈到了SEO的主题,同时也大侃了一番怎样不被Google等搜索引擎机器人爬行到的问题。自己没有当场做太多笔记,就在晚上先写到博客里备查吧。 当然首先他就讲怎样能使网站在搜索排行中靠前。以前的META代码标签,或关键词已不太起多作用了。目前主要是看相关性的关键词是否会重复出现在网页的前200个单词和内外部链接里。这方面的情况虽说不是太新的东西,不过也提醒了我应该密切关注SEO的近况毕竟现在Search Engine的算法也会老更新的。这里,他推荐了一个网站 http://searchenginewatch.com/ 给大家分享。 接下来他就从在 SharePoint 给 site collection 设置 not searchable 来阻止被搜索谈到了怎么不让 Google 等搜索引擎来爬行自己的网站。 标签关键词: ROBOTS.txt, Search Engine, 优化网站