Эй, наука о данных, веб-автоматизация, веб-соскоб и агрегация данных. Вы устали от необходимости приобретать IP-адреса прокси, которые блокируются на вашей цели Web Asset в течение нескольких дней? У вас еще нет вашего собственного решения для велосипедных IP-адресов и/или пользовательских агентов? Вам нравятся Super Saley Piews, подобные этому, и, как правило, покупают вещи из QVC после того, как просили глупые риторические вопросы!?! Ну, тогда я получил большую новость для вас!
Все шучу, я, наконец, оказался, чтобы загрузить свой прокси-сервер IP и пользовательский агент велосипедную библиотеку, скользящую к Pypi! Чтобы проверить репо GitHub, GO здесь , для Pypi страницы, голова здесь
Только Python 3 поддерживается и Поддержка Python 2 не планируется . Это мой маленький способ сделать свою часть, чтобы поощрять использование Python 3 по Python 2. Чтобы установить его в следующий проект в среде только на Python-3:
Пип Установите SliteLib
Для мультидидрой среды:
PIP3 Установите SliteLib
Чтобы на самом деле использовать библиотеку в ваших соскобных проектах:
from slitherlib.slither import Snake
from random import choice
import requests
s = Snake()
ip_address = choice(s.ips)
user-agent= choice(s.uas)
headers = {
"User-Agent": user-agents
}
r = requests.get('https://www.google.com',
proxies={'https': ip_address,
'http': ip_address},
headers=headers})
В это время скользнул IP-адреса и пользовательские агенты из бесплатных источников вокруг Интернета и сбросьте их на две переменные, IPS и UAS Отказ Мы добавляем новый прокси IP-адрес: источники порта, поскольку мы можем их найти и проверить, в меру наших возможностей, что они не работают хакерами, которые хотят украсть информацию IP-адресов.
По мере того, как этот проект растет, мы надеемся встроить его в полный веб-соскобчик, который легко поддерживает параллелизм и многоработали, Robots.txt, Webdriver Browser автоматизации, динамические мышиные движения и другие вкусности, которые будут сохранять сбор данных Энтузиаст собирает данные больше и бороться с 403 и 404 кодами меньше!
Если вам это нравится, пожалуйста, дайте нам звезду на Github! Я приветствую отчеты об ошибках, запросах функций, и любые комментарии или проблемы, которые у вас есть, чтобы я мог сделать эту библиотеку лучшими, что может быть! И, как всегда, я люблю сотрудничать, так что не стесняйтесь открывать PR, если у вас есть улучшения или идеи!
Оригинал: “https://dev.to/kaelscion/attention-web-scrapers-and-pen-testers-slither-is-now-a-pypi-package-pih”