GeeKaa搜索
关于"Twiceler"的帖子
 | Twiceler by hgta |
| twiceler 说明 twiceler是一个爬虫程序，据说是美国斯坦福大学研究搜索引擎的一个学生项目。 爬虫信息 爬虫名称：Twiceler HTTP User Agent： Mozilla/5.0 (Twiceler-0.9 http://www.cuill.com/twiceler/robot.html") 抓取强度：高 推广效果：未知 来访IP：38.99.13.122 64.1.215.164 （均为美国IP） 禁止twiceler访问 twiceler是一个中低强度的爬虫，遵循robots.txt爬行标准。如果你觉得它占用了服务器资 ... | |
| bbs.geekaa.com/topic/view/4607.html - 2009年9月22日 | |
