Автор оригинала: Martijn Pieters.
Эксперт по Python Codementor и Легенда переполнения стека Мартиджн Питерс сел с нами в рабочее время и поделился некоторыми из менее известных библиотек, которые он любит использовать для веб-разработки или ежедневных задач.
Текст ниже представляет собой резюме, сделанное командой Codementor, и может отличаться от оригинального видео, и если вы видите какие-либо проблемы, пожалуйста, сообщите нам об этом!
Запросы: HTTP для людей
Я большой поклонник библиотеки requests . Если вам нужно что-то делать с http-запросами на другие серверы, эта библиотека проходит мимо вашего urllib, который поставляется с Python, и устанавливает запросы. Это фантастический инструмент и действительно имеет гораздо более интуитивно понятный API, который значительно упрощает обработку веб-запросов.
Прекрасный Суп
Еще одним отличным инструментом для очистки веб-страниц является Красивый суп . Когда вы просматриваете веб-страницы и просматриваете веб-страницы для извлечения информации, вам следует проверить этот инструмент. Beautiful Soup-это отличная библиотека синтаксического анализа html, которая создает и отправляет html – “суп”.
Робоброузер
Недавно я наткнулся на новую библиотеку, которая объединяет вышеупомянутые два инструмента— Robobrowser . Он основан на библиотеке запросов и beautifulsoup для замены более старого инструмента под названием mechanize , который делает аналогичные вещи. А именно, Robobrowser позволяет имитировать браузер, который выходит в Интернет, извлекает html-страницы, позволяет заполнять формы и отправляет их. Поэтому, если вам нужно сканировать веб-страницу, на которой требуются формы, или переходить по ссылкам, чтобы получить данные, которые вы хотите получить и извлечь, взгляните на Robobrowser, который также можно найти на GitHub . Хотя это относительно молодой проект, мне нравится, как работает API и инструмент, который он использует.
Автобан
На стороне сервера веб-разработки Autobahn вызвал у меня интерес. Этот инструмент упрощает программирование websockets, что очень полезно для меня как веб-разработчика. Это также интересно, поскольку он использует новую библиотеку Python 3.4.
Flake8 Ворс
Для ежедневной разработки мне нравится использовать flake8 lint , который основан на Flake8 . Этот плагин Sublime Text сочетает в себе Pep8, предназначенный для тестирования руководства по стилю Python, вместе с Pyflakes, который обнаруживает распространенные ошибки в вашем коде (например, импорт, который вы забыли добавить, или импорт, которого у вас слишком много). Flake8 значительно упрощает написание кода для меня, и он довольно хорошо интегрируется с современными IDE. Я использую sublime text, и у меня есть плагин, который помещает сообщения об ошибках flake8 прямо у меня под рукой. Это не новый проект, но, безусловно, я использую его каждый день.
Скребок
На самом деле я не сталкивался с проектом , в котором я использую Scrapy , но, насколько мне известно, Scrapy отлично извлекает шаблоны для конкретных данных. Например, если вы хотите просмотреть последние футбольные результаты главных лиг Великобритании, вам придется перейти на несколько сайтов и страниц, чтобы извлечь одну и ту же информацию. Scrapy хорош для такой задачи, так как он может автоматизировать поиск и пройтись по сайту, чтобы извлечь очень структурированные данные, которые вы можете указать с помощью выражений. Я хотел бы иметь проект для меня, чтобы использовать его, но у меня еще не было возможности.