Parsero 介绍

Parsero是一个免费的脚本,用Python编写的读取Web服务器的robots.txt文件,重点在不允许的条目。告诉在托管的Web服务器上不允许什么目录或文件不能被索引的搜索引擎。例如,“ /portal/login”意味着,在www.example.com/portal/login~~V它的内容是不允许被像谷歌,必应爬虫索引,雅虎......这就是这样,管理员必须不共享敏感或私人信息的搜索引擎。

但有时这些路径输入了不允许项是由用户不使用的搜索引擎,只需访问URL和路径,有时候他们不告诉任何人也可以访问直接访问......因为常见的管理员不允许的大量写入,其中一些是可用的,其中有些是没有,你可以使用Parsero以检查每个不允许进入的HTTP状态代码,以便自动检查这些目录都可用。

而且,事实上,管理员写一个robots.txt,它并不意味着键入的Dissallow条目的文件或目录不会被冰,谷歌,雅虎...被索引出于这个原因,Parsero能够在冰搜索到的找到没有网络管理员授权收录的内容。 Parsero将检查的HTTP状态代码以相同的方式为每个秉结果。

资料来源:https://github.com/behindthefirewalls/Parsero
Parsero 首页
parsero 源代码版本库

包含在parsero里的工具

parsero - robots.txt的审计工具
:~# parsero -h

____
| _ \ __ _ _ __ ___ ___ _ __ ___
| |_)/ _`| '__/ __|/ _ \ '__/ _ \
| __/ (_|| | \__ \ ___/ | |  (_) |
|_| \__,_|_| |___/\____ |_| \___/

usage: parsero [-h] [-u URL] [-o] [-sb]

optional arguments:
-h, --help show this help message and exit
-u URL Type the URL which will be analyzed
-o Show only the "HTTP 200" status code
-sb Search in Bing indexed Disallows

parsero用法示例

使用必应网站搜索结果(-u www.bing.com)不允许收录(-sb):

:~# parsero -u www.bing.com -sb

____
| _ \ __ _ _ __ ___ ___ _ __ ___
| |_)/ _`| '__/ __|/ _ \ '__/ _ \
| __/ (_|| | \__ \ ___/ | |  (_) |
|_| \__,_|_| |___/\____ |_| \___/

usage: parsero [-h] [-u URL] [-o] [-sb]

Starting Parsero v0.75 (https://github.com/behindthefirewalls/Parsero) at 06/09/14 12:48:25
Parsero scan report for www.bing.com
http://www.bing.com/travel/secure 301 Moved Permanently
http://www.bing.com/travel/flight/flightSearchAction 301 Moved Permanently
http://www.bing.com/travel/css 301 Moved Permanently
http://www.bing.com/results 404 Not Found
http://www.bing.com/spbasic 404 Not Found
http://www.bing.com/entities/search 302 Found
http://www.bing.com/translator/? 200 OK
http://www.bing.com/Proxy.ashx 404 Not Found
http://www.bing.com/images/search? 200 OK
http://www.bing.com/travel/hotel/hotelSearch 301 Moved Permanently
http://www.bing.com/static/ 404 Not Found
http://www.bing.com/offers/proxy/dealsserver/api/log 405 Method Not Allowed
http://www.bing.com/shenghuo 301 Moved Permanently
http://www.bing.com/widget/render 200 OK