就因如此，我要首次體驗一下robots.txt到底是怎樣使用囉，機器人來我家已經來過太多太多次，每個月都撈走上G的資料，到底有啥好撈我也不太清楚，四月的機器人紀錄如下:
| 31 個漫遊器* | 點擊數 | 位元組 | 最近參觀日期 |
|---|---|---|---|
| Yahoo Slurp | 41151 | 3.83 GB | 2007年 4月 30日 23:59 |
| Unknown robot (identified by 'spider') | 23502 | 2.18 GB | 2007年 4月 30日 23:59 |
| EchO! | 22340 | 328.09 MB | 2007年 4月 30日 23:58 |
| Googlebot | 16395 | 1.31 GB | 2007年 4月 30日 23:51 |
| Google AdSense | 10314 | 1022.38 MB | 2007年 4月 30日 23:57 |
| MSNBot | 7575 | 526.70 MB | 2007年 4月 30日 23:59 |
| BaiDuSpider | 1932 | 174.28 MB | 2007年 4月 30日 22:42 |
| Unknown robot (identified by 'crawl') | 1175 | 107.19 MB | 2007年 4月 25日 22:45 |
| Feedfetcher-Google | 827 | 61.79 MB | 2007年 4月 30日 23:41 |
| Bloglines | 478 | 27.12 MB | 2007年 4月 30日 22:53 |
| 其他 | 2285 | 125.51 MB |
目前的寫入的robots.txt如下
User-agent: *
Disallow: /700
Disallow: /311
目前讓我疑慮的是他是否會把我兩個Disallow當成是目錄，一般來說目錄應該要再加一個/；在來就是已經上榜的搜尋，是否又會因此而下架呢?
提供我所參考robots.txt的資料:
http://www.robotstxt.org/wc/norobots.html#examples
http://blog.sklin.tw/2006/08/26/16/
http://www.seo.list.tw/2007/04/13/sitemap/
http://www.baidu.com/search/robots.html
http://www.kseo.cn/post/robotstxt.html
還有一個最重要得當然就是google的網站管理員
裡面也提供哩測試robots.txt的工具
雖然我得知哩測試結果，但是我也不太確定我是否能達成目的
URL 結果
| URL | Googlebot |
| https://ez3c.tw/ | 允許的 偵測到目錄，特定檔案有不同的限制 |
最後，再提出一點，應該是robots.txt而非robot.txt，搜尋robot.txt還是可以看到很多資訊，但是在我的判斷之下，robots.txt似乎才是目前正確的使用。
