🚁 Обновление учебника
Статья обновлена 18 ноября 2020 года из -за обновления системы MacOS Catalina и определено Virtualenv Проблема установки.
Изолированная инсталляция скраски
Эта статья была искры недоумения, когда я узнал, что могу установить скрапу в отдельную среду и держать все вещи отделенными от системы. Просто держите его изолированным от вашей системы MacOS. Для этого мы будем использовать VirtualEnv. Не волнуйся, ты поймешь эту концепцию довольно быстро, просто продолжай.
Вкратце, что такое скрара
Scrapy позволяет вам писать пользовательские функции для вашего ползающего паука. Spider, чем можно обработать данные (Scrape), например, с веб -сайтов, которые вы хотите, в значении сбора данных, удаления данных и сохранения данных в базу данных или другого филетипа, который вы хотите быть известными как CSV, XML или JSON. Давайте прыгнем к этому.
Установите Homebrew
Давайте начнем с установки Homebrew. Если вы не уверены, находится ли Homebrew в вашей системе, просто проверьте его с Brew -v Команда и проверьте его, если работать правильно с Бревочный доктор командование
brew -v brew doctor
В случае, если не будет ответа после того, как не произойдет такая или другая команда, его сигнал не в вашей системе. Вы должны получить информацию о варевой версии после Brew -v или после Бревочный доктор Сообщение нравится: «Ваша система готова заваривать».
Если ни один из них не появляется, просто отправляйтесь на сайт https://brew.sh/ Скопируйте главную команду и вставьте это в терминал MacOS. Вся команда, которую вы собираетесь вставить в свой терминал MacOS, выглядит так, как и по настоящему Соглашению.
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh)"
Установите Python3
После этой шаги система может запрашивать перезапуск и установка Дополнительные обновления Анкет Это настоятельно рекомендуется, так как я обнаружил проблемы для установки Virtualenvs без этого. Теперь продолжайте установку Python3.
brew install python3
Проверьте, установлен ли Python3 и какую версию у вас уже есть в вашей системе, просто введите эту команду. Обратите внимание, что это должно быть заглавное письмо -V Итак, вся команда:
python3 -V
Установите VirtualEnv
Теперь установите виртуальную среду в свою систему. Мы будем использовать VirtualEnvWrapper, потому что с простым PIP3 Установить VirtualENV Команда вы можете столкнуться с проблемами после обновления MacOS Catalina.
pip3 install virtualenv virtualenvwrapper
Затем после введите эту команду, чтобы отредактировать zshrc файл.
nano ~/.zshrc
Ничего особенного, мы просто добавим эту информацию в файл, чтобы указать информацию о VirtualEnvs.
# Configuration for virtualenv
WORKON_HOME="${HOME}/.virtualenvs"
export WORKON_HOME
Проверьте, правильно ли установлена виртуальная среда в системе, и ищите информацию о версии.
virtualenv --version
Вы должны получить сообщение в своем высказывании терминала, как это.
virtualenv 20.1.0 from /usr/local/lib/python3.9/site-packages/virtualenv/__init__.p
Создать рабочие каталоги и активировать VirtualENV
Теперь мы собираемся создать рабочий каталог и ввести в него, чтобы активировать Virtualenv и заполните его библиотеками, которые нам нужны в качестве скраски и Ipython Shell (он сделает синтаксис в Scrapy Shell более читабельным, другими словами «красиво красочно»). Используйте эти команды один за другим.
Признать во время этого урока Virtualenvs с капиталом V Остается для каталога (вы можете назвать этот основной каталог, что захотите) и Virtualenv остается для команды.
mkdir Virtualenvs cd Virtualenvs virtualenv scrapyenv source scrapyenv/bin/activate
Последняя команда будет активировать виртуальную среду с именем Scrapyenv (Вы можете назвать это так, как хотите). Вы узнаете его в терминале MacOS, так как ваша командная строка начнется с (ScrapyEnv), а затем с именем пользователя пользователя. После того, как он следует с именем каталога, в котором вы уже находитесь. В этом случае это Virtualenvs . Похоже, этот пример по настоящему Соглашению.
(scrapyenv) yourusername@123 Virtualenvs %
Важная вещь о повторяющейся активации виртуальной среды Scrapyenv Вам нужно быть внутри Virtualenvs каталог SO CD Virtualenvs Команда важна, потому что Source ScrapyEnv/Bin/Activate Команда не будет работать для вас в любом другом каталоге. Простой ScrapyEnv каталог окружающей среды внутри Virtualenvs каталог, так что вступайте в Virtualenvs до.
Теперь вы можете избавиться от страха перед незнакомым. Наша среда сделает своего рода дисциплину для установки основных библиотек.
Установить скрапу в окружающую среду
Давайте установим скрапу с помощью Pip командовать в уже активированную среду.
pip3 install scrapy
Начнется довольно навязчивый процесс загрузки нескольких библиотек. Затем вы можете проверить версию Scrapy с помощью этой команды.
scrapy -V
Это вознаградит вас в начале вывода с информацией о версии и уведомлением о том, что в данный момент нет активного проекта.
Scrapy 2.4.1 - no active project
Установить ipython в среду
И давайте добавим ipython для того, чтобы сделать Scrapy Shell выглядеть более дружелюбной для нас.
pip3 install ipython
Проверьте скрапу и ipython
Установка останется там в вашей активированной среде, названной как ScrapyEnv и останется там даже после дезактивации. Вы можете проверить, есть ли что -то простые, проверяя каталоги или с командами, если все это правильно установлено как для Scrapy, так и для iPython. Давайте проверим, в порядке ли скрара. Тип питон Тогда импорт скрара Анкет Чтобы проверить тип модуля скраски скрара Анкет
python >>> import scrapy >>> scrapy
Вы получите ответ, где модуль скрещивания расположен таким образом.
Выход командной строки Python с выход()
Чтобы проверить, хорошо ли установка iPython, просто вставьте эти две команды в терминал. Начните с ipython а затем импортировать это Анкет Вы получите прекрасное стихотворение «Дзен питона» от Тима Питерса в ваш терминал.
ipython In [1]: import this
А также Выйдите из той же команды exit () Анкет
Дезактивация и активация виртуального
Теперь это закончено, мечта, страсть, когда -нибудь игровая площадка, которую вы пожелали для своей скраски в окружающей среде, здесь. Теперь вы можете деактивировать среду простой командой деактивировать или входя Virtualenvs каталог и активирование с Source ScrapyEnv/Bin/Activate опять таки.
deactivate source scrapyenv/bin/activate
Готовы начать скрещенную раковину
Теперь вы готовы поиграть с вашей изолированной инсталляцией скребки. Вы можете запустить свою скрарийную оболочку с простого с команды скрара .
scrapy shell
Первая команда скрещивания для получения URL
И принесите свой самый первый URL в качестве теста, если ползание со скрара работает нормально.
fetch("https://dev.to")
Эта простая команда будет поставляться с ответом на командную строку, что все в порядке, и веб -сайт дает вам серверный ответ 200.
[scrapy.core.engine] DEBUG: Crawled (200)(referer: None)
Надеюсь, вы нашли эту инсталляцию полезным. Если у вас есть какие -либо вопросы, не стесняйтесь оставить комментарий или отправить мне сообщение здесь, чтобы мы могли обсудить. Счастливого царапины.
Спасибо Эрик Крулл Для изображения обложки от Unsplash.
Оригинал: “https://dev.to/stankukucka/how-to-install-scrapy-on-mac-12dg”