Рубрики
Без рубрики

Внимание Web Scrapers и Tester Peen Testers: Slippe теперь пакет Pypi! 🎉

SLIP SCRAPING PROXY IP и User Agent Cygling Cygning Library доступна на PIP!. Помечено Python, Web Scraping, Show Div, наука о данных.

Эй, наука о данных, веб-автоматизация, веб-соскоб и агрегация данных. Вы устали от необходимости приобретать IP-адреса прокси, которые блокируются на вашей цели Web Asset в течение нескольких дней? У вас еще нет вашего собственного решения для велосипедных IP-адресов и/или пользовательских агентов? Вам нравятся Super Saley Piews, подобные этому, и, как правило, покупают вещи из QVC после того, как просили глупые риторические вопросы!?! Ну, тогда я получил большую новость для вас!

Все шучу, я, наконец, оказался, чтобы загрузить свой прокси-сервер IP и пользовательский агент велосипедную библиотеку, скользящую к Pypi! Чтобы проверить репо GitHub, GO здесь , для Pypi страницы, голова здесь

Только Python 3 поддерживается и Поддержка Python 2 не планируется . Это мой маленький способ сделать свою часть, чтобы поощрять использование Python 3 по Python 2. Чтобы установить его в следующий проект в среде только на Python-3:

Пип Установите SliteLib

Для мультидидрой среды:

PIP3 Установите SliteLib

Чтобы на самом деле использовать библиотеку в ваших соскобных проектах:

from slitherlib.slither import Snake
from random import choice

import requests

s = Snake()
ip_address = choice(s.ips)
user-agent= choice(s.uas)

headers = {
    "User-Agent": user-agents
}

r = requests.get('https://www.google.com', 
                 proxies={'https': ip_address, 
                          'http': ip_address},
                 headers=headers})

В это время скользнул IP-адреса и пользовательские агенты из бесплатных источников вокруг Интернета и сбросьте их на две переменные, IPS и UAS Отказ Мы добавляем новый прокси IP-адрес: источники порта, поскольку мы можем их найти и проверить, в меру наших возможностей, что они не работают хакерами, которые хотят украсть информацию IP-адресов.

По мере того, как этот проект растет, мы надеемся встроить его в полный веб-соскобчик, который легко поддерживает параллелизм и многоработали, Robots.txt, Webdriver Browser автоматизации, динамические мышиные движения и другие вкусности, которые будут сохранять сбор данных Энтузиаст собирает данные больше и бороться с 403 и 404 кодами меньше!

Если вам это нравится, пожалуйста, дайте нам звезду на Github! Я приветствую отчеты об ошибках, запросах функций, и любые комментарии или проблемы, которые у вас есть, чтобы я мог сделать эту библиотеку лучшими, что может быть! И, как всегда, я люблю сотрудничать, так что не стесняйтесь открывать PR, если у вас есть улучшения или идеи!

Оригинал: “https://dev.to/kaelscion/attention-web-scrapers-and-pen-testers-slither-is-now-a-pypi-package-pih”