🔰 Сегодня мы будем выглядеть потрясающим модулем Python, отказа – это весело, если вы попробуете его ранее. Стимулирование и ползание – это общие имена, но они имеют небольшую разницу. Веб -полки – это в основном то, что делают Google, Facebook и т. Д., Он ищет любую информацию. С другой стороны, ускорение направлено на определенные веб -сайты, для конкретных данных, например, Для информации о продукте и цене и т. Д.
Проверьте готовую среду разработки или нет
Перед тем, как двигаться вперед, нам нужно проверить, что Python доступен или нет. Для этого откройте терминал или командную строку и нажмите ниже команды,
python --version Output: Python 2.7.16 Or, python3 --version Output: Python 3.8.0
Если все выглядит хорошо, как я, ваша версия Python может отличаться от меня. Так что не беспокойтесь об этом. Если вы видите, не найдены, установите Python отсюда.
Настройка виртуальной среды
Нам нужно создавать виртуальную среду, чтобы избежать модулей Python, зависимости или библиотечных версий. Чтобы мы могли обеспечить изоляцию, каждая зависимости проекта или библиотеки можно легко поддерживать.
Открыть терминал или командную строку, затем создайте проект
📗 Пользователи MacOS:-
pip install virtualenv python3 -m virtualenv venv source venv/bin/activate
📗 Пользователи Windows:-
pip install virtualenv virtualenv venv srouce venv\Scripts\activate
Мы можем увидеть, Вен папка будет создана. Поздравляем успешно, мы можем создать виртуальную среду
Установите необходимые либели или модули
Открыть терминал или командную строку, затем нажимайте команды Bellow,
pip install beautifulsoup4 pip install cfscrape
Узнайте базовый, как работают ускорение
📗 Создать app.py файл, включает
import cfscrape
from bs4 import BeautifulSoup
def basic():
# string html code sample
html_text = '''
Product Name 1
100
This is basic description 1
Product Name 2
200
This is basic description 2
'''
parsed_html = BeautifulSoup(html_text, 'html.parser') # String to HTML
# parsed_html = BeautifulSoup("https://www.google.com", 'html.parser') # URL to HTML
# parsed_html = BeautifulSoup(open("from_file.html"), 'html.parser') # File to HTML
print(parsed_html.select(".product-name")[0].text)
print(parsed_html.select(".product-name")[1].text)
print(parsed_html.select(".product.description")[0].text)
print(parsed_html.findAll("h1", {"custom-attr": "price"})[0].text)
print(parsed_html.find("h1", {"custom-attr": "price"}).text)
if __name__ == '__main__':
basic()
Теперь откройте терминал и нажмите ниже команды, Python app.py Чтобы запустить этот файл.
Узнайте анти бот Царапина
📗 Создать app.py файл, включает
def anti_bot_scraping():
target_url = "https://www.google.com" # replace url with anti-bot protected website
scraper = cfscrape.create_scraper()
html_text = scraper.get(target_url).text
parsed_html = BeautifulSoup(html_text, 'html.parser')
print(parsed_html)
if __name__ == '__main__':
anti_bot_scraping()
Теперь откройте терминал и нажмите ниже команды, Python app.py Чтобы запустить этот файл.
Примечания: Пожалуйста, не злоупотребляйте этим знанием. Я делюсь этим только в учебных целях или веселых целях.
Наслаждайтесь, кодирование!
👌 Поздравляю!. & Благодарю вас! Не стесняйтесь комментариев, если у вас есть какие -либо проблемы и запросы.
Использованная литература:
Оригинал: “https://dev.to/mesadhan/python-bypass-anti-bot-page-and-scrape-it-1aa6”