Group :: Desenvolvimento/Perl
RPM: perl-WWW-RobotRules
Principal Changelog Spec Patches Sources Download Gear Bugs e FR Repocop
A versão atual: 6.02-alt1
Data da compilação: 20 fevereiro 2012, 16:30 ( 631.4 weeks ago )
Tamanho:: 11.90 Kb
Home page: http://search.cpan.org/dist/WWW-RobotRules/
Licença: GPL or Artistic
Sumário: Database of robots.txt-derived permissions
Descrição:
Lista dos contribuidores Lista dos rpms provida por esta srpm:
ACL:
Data da compilação: 20 fevereiro 2012, 16:30 ( 631.4 weeks ago )
Tamanho:: 11.90 Kb
Home page: http://search.cpan.org/dist/WWW-RobotRules/
Licença: GPL or Artistic
Sumário: Database of robots.txt-derived permissions
Descrição:
This module parses /robots.txt files as specified in "A Standard
for Robot Exclusion", at <http://www.robotstxt.org/wc/norobots.html>
Webmasters can use the /robots.txt file to forbid conforming robots
from accessing parts of their web site.
Mantenedor currente: Alexey Tourbin for Robot Exclusion", at <http://www.robotstxt.org/wc/norobots.html>
Webmasters can use the /robots.txt file to forbid conforming robots
from accessing parts of their web site.
Lista dos contribuidores Lista dos rpms provida por esta srpm:
- perl-WWW-RobotRules