Pacote: libwww-robotrules-perl (6.02-1)

[ Fonte: libwww-robotrules-perl  ]

base de dados de permissões derivadas de robots.txt

WWW::RobotRules verifica arquivos /robots.txt como especificado em "A Standard for Robot Exclusion", em <http://www.robotstxt.org/wc/norobots.html>. Webmasters podem usar o arquivo /robots.txt para proibir robôs "conforming" de acessar partes de seus sites web.

Os arquivos verificados eram mantidos num objeto WWW::RobotRules, e este objeto fornece métodos para verificar se o acesso para uma dada URL é proibido. O mesmo objeto WWW::RobotRules pode ser usado para um ou mais arquivos /robots.txt verificados em qualquer quantidade de máquinas.

Etiquetas: Desenvolvimento de software: Desenvolvimento Perl, Bibliotecas, Implementado em: Perl, Função: Biblioteca compartilhada

Outros pacotes relacionados a libwww-robotrules-perl

• dep: liburi-perl

  módulo para manipular e acessar strings de URI

• dep: perl

  Linguagem de extração e relatórios prática de Larry Wall

Download de libwww-robotrules-perl

Baixe para todas as arquiteturas disponíveis

Arquitetura	Tamanho do pacote	Tamanho instalado	Arquivos
all	12.6 kB	36.0 kB	[lista de arquivos]