Автор оригинала: Doug Hellmann. Цель: Разобрать robots.txt файл, используемый для управления интернет-пауками robotparser реализует синтаксический анализатор для формата файла robots.txt , включая функцию, которая проверяет, может ли данный пользовательский агент получить доступ к ресурсу. Он предназначен для использования в хорошо управляемых пауках или других приложениях-обходчиках, которые необходимо либо регулировать, либо иным образом ограничивать. robots.txt Формат […]