twiceler

说明

　　twiceler是一个爬虫程序，据说是美国斯坦福大学研究搜索引擎的一个学生项目。


爬虫信息

　　爬虫名称：Twiceler
　　HTTP User Agent：
　　Mozilla/5.0 (Twiceler-0.9 http://www.cuill.com/twiceler/robot.html")
　　抓取强度：高
　　推广效果：未知
　　来访IP：38.99.13.122 64.1.215.164 （均为美国IP）


禁止twiceler访问

　　twiceler是一个中低强度的爬虫，遵循robots.txt爬行标准。如果你觉得它占用了服务器资源，可以屏蔽这个爬虫。方法为在服务器上的网站根目录建立robots.txt，包含以下内容：
　　User-agent: twiceler Disallow: /
　　上面在全站之内禁止twiceler爬行。或者禁止爬行某个目录：
　　User-agent: twiceler Disallow: /somedir/