crawler、TprAdsTxtCrawler是什么蜘蛛？

最近悅?cè)黄髽I(yè)網(wǎng)站建設(shè)官網(wǎng)的蜘蛛日志上出現(xiàn)了“crawler”、”TprAdsTxtCrawler“這種疑似蜘蛛的東西，查了很多資料也沒找到確切的信息，不知道它是什么類型的蜘蛛，甚至都不確定它是不是一個(gè)蜘蛛程序。

在開源社區(qū)找到的答案如下：

Crawler 基于 Java 開發(fā)的一款跨平臺(tái)爬蟲，可以使用Shell腳本和DOS命令進(jìn)行任務(wù)式處理。

TprAdsTxtCrawler應(yīng)該也是類似的網(wǎng)絡(luò)爬蟲的程序。

至于crawler、TprAdsTxtCrawler有什么用目前還不得而知，也不知道他們是否遵守robots協(xié)議，至少目前它們對(duì)我們的網(wǎng)站幾乎沒什么用，但也沒什么影響，其本也算是垃圾蜘蛛吧。

因?yàn)椴椴坏礁嗟男畔ⅲ阅壳安粵]有什么確切的方法對(duì)crawler、TprAdsTxtCrawler進(jìn)行屏蔽，暫時(shí)先觀察吧，之后如果有進(jìn)一步消息再給大家分享。