邯鄲網站優化:金楚遼:老生常談ROBOTS.TXT的寫法

SEO知識 戰車網 來源:Chinaz用戶投稿 144瀏覽 0評論

記得很早以前,那個時間新浪屏蔽百度蜘蛛的事件傳得很大,其實你主要是學會了ROBOTS.TXT的寫法,那就簡單的了,兩下就認出了這事的真假。所以說學好技術,可以更好的知道真相。

首先,我們先來認識我們親愛的蜘蛛們吧:

國內的搜索引擎蜘蛛

百度蜘蛛:baiduspider

搜狗蜘蛛:sogou spider

有道蜘蛛:YodaoBot和OutfoxBot

搜搜蜘蛛: Sosospider

國外的搜索引擎蜘蛛

google蜘蛛: googlebot

yahoo蜘蛛:Yahoo! Slurp

alexa蜘蛛:ia_archiver

bing蜘蛛(MSN):msnbot

Robots.txt的幾個常用英文意思

• User-Agent: 適用下列規則的漫游器

• Allow: 充許被抓取的網頁

• Disallow: 要攔截的網頁

Robots.txt的兩個常用符號

“*”: 匹配0或多個任意字符(也有所有的意思)

“$”:匹配行結束符。

介紹得差不多了,下面來進入正題,Robots.txt:

一、充許所有的蜘蛛抓?。?/strong>

User-agent: *

Disallow:

或者

User-agent: *

Allow: /

(*號可以理解為所以的意思)

二、禁止所有的robot抓取

User-agent: *

Disallow: /

三、禁止某一蜘蛛抓?。?/strong>

User-agent: 蜘蛛名(上面介紹得有)

Disallow: /

四、只充許某一蜘蛛抓?。?/strong>

User-agent: 蜘蛛名(上面介紹得有)

Disallow:

User-agent: *

Disallow: /

上半部分是禁止該蜘蛛抓取,下半部分是充許所有,總體意思就是禁止此蜘蛛,充許其它蜘蛛。

五、禁止蜘蛛抓取某些目錄

如禁止抓取admin和manage目錄

User-agent: *

Disallow: /admin/

Disallow: /manage/

六、禁止蜘蛛特定后綴文件,這個用“*”號

如禁止抓取.htm的文件

User-agent: *

Disallow: *.htm(*號后面然后是點文件名,如.asp,.php)

七、僅充許抓取特定后綴文件,這個用“$”號

如僅充許.htm的文件

User-agent: *

Allow: .htm$

Disallow: /

(圖片也可以參考第六條和第七條這個樣子)

八、禁止抓取動態網頁

User-agent: *

Disallow: /*?*

這個在論壇很有用,一般偽靜態后,就不需要搜索引擎再收錄其動態地址了。做論壇的朋友們注意了。

九、聲明網站地圖sitemap

這個告訴搜索引擎你的sitemap在哪

Sitemap: http://你的域名/sitemap.xml

做完這些我們如何檢查我們的robots.txt這個文件的有效性呢?推薦使用 Google管理員工具,登錄后訪問“工具 ->分析 robots.txt”,檢查文件有效性。

原創文章請注明轉載自:武漢seo-sem說

本文地址:http://www.semsay.com/seo/37.html

轉載請注明:戰車網 » 邯鄲網站優化:金楚遼:老生常談ROBOTS.TXT的寫法

猜你喜歡

網站排名優化培訓:網站為何要做外鏈

SEO業內有“外鏈為皇,內容為王”的說法,可見外鏈對于網站的重要性。但很多seo新手或者是不太懂seo的人可能只知道外鏈重要,卻不知道外鏈為什么重要。今天,就跟大家探討一下SEO人每天都要遇到的這個問題:網站為什么要做外鏈。 ...

企業網絡營銷策劃方案:新站如何成功的泡到搜索引擎蜘蛛

今天在一個博客里面發現了一個文章,是關于如何讓網站被搜索引擎快速收錄的,我自己也總結了自己的一些經驗,可以在這里分享一下。 記得在2.3年前一般的做法是提交到搜索引擎提交入口,但是效果也不是很好,現在這樣做的人很少,與其讓我們找搜索引擎還不如讓搜索引...

濟南關鍵詞優化:搜索引擎蜘蛛抓取頁面過程圖解

學習seo的人經常在網上看到一句話:搜索引擎蜘蛛跟瀏覽器差不多,都是抓取頁面。那么到底哪些一樣哪些不一樣?Ethan就通過瀏覽器幫助大家理解搜索引擎蜘蛛怎樣抓取頁面。 首先看一張圖,是用firebug(firefox瀏覽器的一個著名插件)記錄下來的瀏...

avatar
發表我的評論
取消評論
表情

Hi,您需要填寫昵稱和郵箱!

  • 昵稱 (必填)
  • 郵箱 (必填)
  • 網址
?
股票用什么玩法能赚钱