增加robots.txt減少流量

在網站根目錄中增加一個檔案叫robots.txt，內容我只寫了：

User-agent: *
Disallow:

允許所有搜尋引掣將我的網站內容編入索引，未做任何限制。為什麼要增加這個檔案呢？因為近來在後台的錯誤記錄檔中發現，大部份的搜尋機器人在進來網站內部翻攪之前，都會去讀取根目錄下的robots.txt這個檔案，但在預設的wordpress安裝下，並不會產生這個檔案，所以我發現雖然機器人沒有找到這個檔案，但是wordpress還是會送出含有整個檔頭的錯誤頁面給它，而一天之中機器人造訪的次數不計其數，因此無意間流量大增，但增加的都是錯誤頁面的流量，再加上之前從MT跳船到WP，但有許多spambot還是繼續向原來MT的路徑發送垃圾留言，這可能也是導致流量驚人的原因。

以上這些都是我的猜想與假設，因為對於本站的高流量實在有著許多的不解，從cpanel裡看不出所以然來，總流量高得嚇人，可是單看網域的流量，其實是小的很，而且也沒放檔案給人下載，或者是該考慮換主機商的時候吧！

另外舉例來說，若要限制搜尋引掣索引其中一個資料夾，如images，那麼可以把規則寫成這樣：

User-agent: *
Disallow: /images/

而我只是因為想要減少錯誤頁面的送出流量，所以在robots.txt中沒有限制任何不被索引的資料夾。

ps.誰知道好的主機商請介紹一下哦！

在〈增加robots.txt減少流量〉中有 17 則留言

Neil 說：

2007 年 01 月 26 日 at 9:27 下午

是的，我們是用同一家的，但我用的是他們國外的主機，我不曉得是不是因為這樣而有技術上的差別。

自從上次換了一台伺服器後，目前運作一切正常，我也很滿意，所以若沒有再出什麼差錯，或是心血來潮的話，我應該會續約，畢竟搬個家還挺累人的。

ps.我寫信給他們應該都蠻客氣的，難道是因為這樣，所以有時候他們才愛理不理的嗎？下次出問題，兇一點好了！ 👿

回覆
Carrie 說：

2007 年 01 月 26 日 at 7:01 下午

是喔…你不是說你也是用G型主機嗎？那我們應該是用同一家的啊～

我寫mail給他們的時候語氣不太好，所以我不曉得是否因為這個原因他們才比較快替我處理這個問題 ❓ ❗

我也是去年才開始跳槽到G型主機的，因為一開始用他們的服務時我就有跟他們的客服問很多問題，然後一有點問題也是馬上寫mail（不管是語氣好或不好都有過），所以我不知道怎麼他們會有這種差別待遇；尼爾應該強硬一點！

如果今年續約時間到了，尼爾應該就你所感受到的決定是否要再與他們續約，畢竟感受只有自己才最深刻。雖說我很希望尼爾還是使用他們的服務，但是若尼爾在使用他們的服務上這麼不舒服，那就考慮別家吧～

回覆
Neil 說：

2007 年 01 月 25 日 at 8:14 上午

Carrie，原本我也以為是spider的影響，但那時候跟主機商問了幾次，請他查明流量來源，幫忙看一下主機記錄，主機商每次都相應不理或是含糊帶過，讓我覺得他們處理問題的能力很薄弱，我們用的真的是同一家主機商嗎？怎麼差這麼多，流量爆了還補1G給你，我那時候也快爆了，但也沒人理我。

那陣子流量不正常後，又發生一些連線不順的問題，我只好請主機商幫我換個伺服器，這回動作還蠻快的，而且換了家之後，才發現原來的流量真的是有問題的。

之前主機商一直推說只有cpanel左上角的流量才是正確的，其它分析報表裡的流量都是不太準的，但是在舊伺服器上兩者之間的差距，居然高達好幾G，那是有問題的，但主機商卻沒有查明給我合理解釋。換成新伺服器後，上述兩者的流量都恢復正常，也幾乎沒有差距，雖然還是會受到spider的影響，但整體速度比原來好多了，流量也在安全範圍之內。

我用這個主機商二、三年了，一直都沒什麼問題，價格上也很漂亮，只是如果不要這麼忽略我的問題，我也許會考慮今年繼續續約下去。

回覆
Carrie 說：

2007 年 01 月 25 日 at 6:43 上午

不知道尼爾換主機商了沒？我最近也遇到流量爆增的問題，不過我懷疑是搜尋蜘蛛搞的鬼，所以便寫了mail給G型主機『了解了解』，因為我寫的那時流量已經超過了八成，所以他們便馬上補了我一G的免費流量，對於這點我還蠻滿意的！

然後昨天他們給了我robots.txt的範例文件（只給咕狗、雅虎、MSN搜尋），所以我馬上就新增了這個文件，以便減少流量；羅賓的論壇也有相關討論，因為最近艾德也遇到這個問題，所以我想大家都有這種困擾吧～

應該跟主機商沒啥問題啦XD

回覆
Neil 說：

2006 年 11 月 13 日 at 3:52 下午

謝謝Yenyu的介紹哦！也許下次要換主機商時會優先考慮一下hostmonster！

回覆
Yenyu 說：

2006 年 11 月 10 日 at 10:51 下午

虛擬主機我用過 Yahoo!SmallBusiness 到 Dreamhost, Site5, iPower, Bluehost與 Hostmonster
一路下來，我停留在 Hostmonster
基本上不用擔心它的品質（因為它與Bluehost視同一家公司）
我曾經直接問過Bluehost客服，二家產品都差不多，價格卻有差異，我該選哪家？
Bluehost客服回答說: 如果是他，他會選 Hostmonster

後來經過我使用一段時間後
我發現 Hostmonster 真的是好的沒話說
尤其是24小時線上客服，可以解決我所遭遇的全部問題
因此 Neil 的擔心是多餘的^^

此外
我還做了一個 Hostmonster 虛擬主機中文教學網站
希望對剛入門或英文不好的人有幫助
http://hostmonster.yenyu.com

回覆
Neil 說：

2006 年 09 月 17 日 at 9:31 下午

到目前為止，bluehost和同公司的hostmonster是我的首選，不過hostmonster的價錢低的驚人，令人有些擔心它的可靠性，所以bluehost的出線機率大些，只是bluehost在國外的評價似乎也不怎樣，實在好難選呀~

距離現在這個主機的租期期限還有半年左右，還是再多些比較吧！除非這裡的流量真的爆掉了…

回覆