流量一天一千多這是ROBOT在爬嗎？

xzonisy · #1 2006-02-20, 09:04 PM

剛剛去看我的BLOG忽然間暴增流量，看了一下計數器OMG，一千多人

，除了我把學校舞會跟校慶的照片公布那幾天之外很少一天人數破千的，不知道是不是因為計數器壞掉，還是真的有這麼多人。

有人有這一種情形嗎？

steven · #2 2006-02-20, 09:09 PM

最近有一支gigablast的robot在大力的爬,你可以看看有沒有他的ip

bluejeanx · #3 2006-02-20, 10:53 PM

看是不是同一个 ip 段在爬你的网站~

xzonisy · #4 2006-02-20, 11:15 PM

dreamhost的分析器有點鳥看不出啥端倪來!

steven · #5 2006-02-20, 11:51 PM

這幾個ip看起來都不像robot...

dmwc · #6 2006-02-21, 12:18 AM

210.200.105.* 是 ebix 的主要主機群吧，我猜應該是類似TP或proxy的設備

要是說到robot ，我最近寫了一段程式到我的網站，把所有的404全紀錄下來，這樣方便自己查哪些連結失效了可以補齊，想不到一天去看就跑出了上百行找不到robot.txt，看到嚇了一跳，怎麼有那麼多robot

DavidYuan · #7 2006-02-21, 12:58 AM

题外话,这是哪种计数器,功能真的不错!

xzonisy · #8 2006-02-21, 11:05 AM

說到robot我就有氣，因為百度的robot爬到讓主機商來信警告，本身我有用Flickr的外掛，會把全部Flickr的圖都掛到我的BLOG上去，結果百度他的robot一直爬，一直讀取外掛，我總共有快五千張圖

，結果大家就可以知道那CPU time 有多恐怖了吧。

-------------------------------------------
CNman請享用

http://www.tdstats.com/