Автор оригинала: Omkar Pathak.
Предисловие
Благодаря своим исключительным способностям Python является наиболее часто используемым языком программирования в области науки о данных в наши дни. В то время как Python предоставляет множество функциональных возможностей, наличие различных многоцелевых, готовых к использованию библиотек-это то, что делает язык лучшим выбором для специалистов по обработке данных. Некоторые из этих библиотек хорошо известны и широко используются, в то время как другие не так распространены. В этой статье я попытался составить список библиотек Python и классифицировать их в соответствии с их функциональными возможностями.
Основные библиотеки
Эти библиотеки являются частью стандартного пакета Python и могут быть просто импортированы, если пользователи хотят использовать их функциональность.
NumPy
Сокращенно от Numerical Python, NumPy был разработан специально для математических операций. Он в первую очередь поддерживает многомерные массивы и векторы для сложных арифметических операций. В дополнение к структурам данных библиотека имеет богатый набор функций для выполнения алгебраических операций над поддерживаемыми типами данных.
Еще одним преимуществом библиотеки является ее совместимость с другими языками программирования, такими как C/C++, FORTRAN и системами управления базами данных. Кроме того, поскольку набор предоставленных функций предварительно скомпилирован, вычисления выполняются эффективным образом.
СциПи
Основанная на NumPy, научная библиотека Python расширяет свои возможности, предлагая расширенные операции, такие как интеграция, регрессия и вероятность. Чтобы использовать SciPy , мы должны сначала установить NumPy, так как он использует базовые модули. Что делает SciPy одной из широко используемых библиотек, так это иерархия, в которой организованы субмодули, и руководства отлично объясняют значение и удобство использования экспортируемых модулей.
Панды
Python Data Analysis Library – это библиотека с открытым исходным кодом, которая помогает организовать данные по различным параметрам в зависимости от требований. Разнообразие встроенных типов данных, таких как серии, фреймы и панели, делает Pandas любимой библиотекой среди исследователей данных. Табличный формат фреймов позволяет выполнять операции добавления/удаления данных, подобные базам данных, что делает группировку легкой задачей.
Кроме того, Panda предоставляет трехмерную панельную структуру данных, которая помогает лучше визуализировать типы данных. Гибкость библиотеки поддерживает несколько форматов данных, включая отсутствующие данные.
Статс-модели
Модуль StatsModels позволяет пользователям выполнять статистическое моделирование данных с помощью поддержки моделирования и построения графиков библиотеки. Эти модели могут быть использованы для целей прогнозирования в различных областях. Поддерживаемые типы моделей включают линейные и регрессионные модели.
Статс-модели также поддерживают возможности анализа временных рядов, которые особенно популярны в финансовых организациях, например, для поддержания информации о фондовом рынке в удобном формате. Кроме того, модели достаточно быстры, чтобы их можно было использовать для больших наборов данных, что делает их оптимальным выбором для того же самого.
Построение
Существенной функцией любой библиотеки была бы возможность представлять результаты сложных операций, выполняемых с данными, в удобном для понимания формате. Библиотеки, включенные в этот раздел, сосредоточены на этом аспекте процесса.
Matplotlib
Часть пакета SciPy core, Matplotlib используется для графического представления обрабатываемых данных в соответствии с требованиями пользователя. Мы можем создавать различные типы графиков, включая гистограммы, круговые диаграммы или простую гистограмму. Он предоставляет объектно-ориентированный MATLAB-подобный интерфейс для выполнения пользователями необходимых операций с данными. Важной особенностью библиотеки является ее способность предлагать настройку практически каждой доступной функции, что делает ее использование очень гибким для пользователей.
Боке
Библиотека Bokeh – это автономная библиотека, которая позволяет пользователям отображать данные с помощью интерфейса веб-браузера. Внутренне он использует инфраструктуру JavaScript и поэтому не зависит от Matplotlib. Существенным аспектом библиотеки Bokeh является ее акцент на виджетах, которые позволяют пользователям представлять данные в различных поддерживаемых форматах, таких как графики, графики и метки.
Кроме того, он также поддерживает интерактивную визуализацию с помощью “обратных вызовов”, которые позволяют подключаться к методам Боке с помощью JavaScript.
Сюжетно
В первую очередь ориентированный на 3D-построение графиков, Plotly может быть безупречно интегрирован с веб-приложениями и предоставляет ряд полезных API для импорта языков. Он использует управляемые данными документы в своей основе для представления данных в реальном времени, и пользователи могут настроить его для обработки графики на стороне сервера и отправки результатов клиенту или иным образом. При необходимости мы также можем поделиться этими данными с другими пользователями через платформу. Существует также совместимость между форматами данных Plotly и Matplotlib.
Машинное обучение
Машинное обучение стало важной областью вычислительной техники в последние несколько лет, и специалистам по обработке данных нужны инструменты, чтобы максимально использовать предстоящие тенденции в этой области. Здесь перечислены несколько библиотек Python, которые обеспечивают функциональность машинного обучения.
Для более глубокого изучения наиболее популярных статей по машинному обучению ознакомьтесь с этой статьей .
Scikit-Учись
Лицензированный под BSD, Scikit-Learn представляет собой инструментарий машинного обучения с открытым исходным кодом, построенный на основе NumPy и SciPy. Он включает в себя обычно используемые алгоритмы ML для предварительной обработки, классификации, регрессии, а также кластеризации. Алгоритмы включают в себя машины опорных векторов , регрессии хребтов, поиск сетки , кластеризацию k-средних и многое другое.
Наряду с алгоритмами, набор также предоставляет образцы наборов данных для экспериментов. Хорошо документированные API просты в использовании как для начинающих, так и для продвинутых пользователей. Благодаря своей хорошей производительности почти на всех платформах он популярен как для академического использования, так и для коммерческих целей.
Сегун
Реализованный на языке C++, Shogun представляет собой набор инструментов с открытым исходным кодом, используемый для ML, обеспечивая единый интерфейс для нескольких языков и платформ, включая Python. Он фокусируется на масштабируемых методах ядра для решения регрессионных и классификационных задач.
Основное внимание при разработке уделялось биоинформатике, поэтому Shogun может масштабироваться для обработки более 10 миллионов выборок данных при сохранении точности.
Глубокое обучение
Передовая область в области машинного обучения, Глубокое обучение открывает множество неизведанных путей для исследователей, использующих контролируемое обучение, нейронные сети и обработку естественного языка.
Тензорный поток
В первую очередь ориентированная на нейронные сети, TensorFlow – это библиотека глубокого обучения, разработанная инженерами Google. Библиотека очень расширяема и поддерживает множество платформ, включая поддержку графического процессора для лучшей визуализации. Классы алгоритмов включают классификацию, модели оценки и дифференцирование, чтобы назвать несколько.
Его богатая поддержка API делает его лучшим выбором для обучения нейронных сетей и распознавания речи с использованием обработки естественного языка.
Теано
Theano – это комбинация библиотеки и компилятора, предназначенная для решения сложных математических уравнений в области DL. Он использует многомерную матрицу, использующую NumPy для выполнения операций. Имея в виду производительность, Theano очень тесно связан с NumPy и предварительно скомпилирован, следовательно, не зависит от платформы и также использует графический процессор. Наряду с этими функциями он также предоставляет платформу модульного тестирования для обнаружения и смягчения ошибок.
Керас
Keras – это библиотека нейронных сетей, которая может выполняться поверх TensorFlow Google или Microsoft CNTK (Cognitive Toolkit). Он разработан, чтобы быть абстрактным по своей природе и действует скорее как плагин для других библиотек глубокого обучения.
Keras может поддерживать стандартные, сверточные, а также рекуррентные нейронные сети и предоставляет распределенные интерфейсы для моделей на кластерах GPU. Его простой в использовании интерфейс идеально подходит для быстрого создания прототипов и их развертывания на поддерживаемых платформах.
Обработка естественного языка
В последнее время мы наблюдаем резкий всплеск приложений распознавания речи благодаря исследованиям в области обработки естественного языка . Неудивительно, что в этой области существует множество библиотек.
NLTK
Инструментарий Natural Language Toolkit поддерживает обычно необходимые функции для обработки английского языка, такие как классификация, токенизация, синтаксический анализ и семантический анализ. После разбиения слов на лексемы с помощью синтаксического анализа набор формирует древовидную структуру с использованием семантики языка и сохраняет данные в своих моделях. Поддерживаемый на всех основных платформах, NLTK-это проект с открытым исходным кодом, поддерживаемый сообществом. Эти приложения имеют широкий охват, такие как анализ настроений и механизмы защиты от спама.
Генсим
Масштабируемая, надежная и независимая от платформы библиотека для НЛП, Gensim использует пакеты NumPy и SciPy под ними. Сокращенно от “Generate Similar”, он предназначен для хранения большого объема данных в памяти и поэтому ориентирован на производительность. Он отличается от других пакетов реализацией, поскольку использует данные каскадным образом, а не группирует их вместе.
Благодаря своей эффективности он широко используется в таких областях, как здравоохранение и финансовые учреждения.
Спейси
Другая библиотека с открытым исходным кодом, ориентированная на НЛП, Space включает в себя модели нейронных сетей для различных языков, а именно: Английский, немецкий, французский, итальянский и голландский, среди 30 других языков. В отличие от других библиотек НЛП, используемых в основном в академических целях, Space ориентирована на коммерческое использование.
Он также предоставляет расширения для машинного обучения, а также API глубокого обучения. Некоторые популярные технологические компании, такие как Airbnb и Quora, используют пользовательское пространство как часть своих платформ. Что отличает его от других библиотек, так это способность обрабатывать документы, а не данные в виде нескольких токенов.
Выскабливание
Поскольку размер контента, загружаемого в Сеть, многократно увеличивается с каждым днем, веб-скребок приобрел большое значение для решения проблем, связанных с индексацией и обходом данных. Из-за утомительного характера этой работы автоматизация является идеальным решением для того же самого. Существуют библиотеки Python, доступные для эффективного соскабливания данных через веб-страницы.
Скрэпи
Оставаясь верным своему названию, Scrapy – это фреймворк с открытым исходным кодом, предназначенный для поиска данных во всемирной паутине. Изначально разработанный для извлечения данных с помощью экспортированных функций, он превратился в фреймворк, который используется для разработки веб-искателей для анализа веб-страниц и хранения их данных в структурированном формате. Следуя философии объектно-ориентированного и многоразового использования Python, Scrapy структурируется вокруг базового класса с именем Spider и продолжает добавлять слои функциональности , по мере необходимости, вокруг него.
Интеллектуальный анализ данных
Оранжевый
Наряду с поддержкой машинного обучения инструментарий Orange также включает в себя визуальную аналитическую платформу для интерактивного интеллектуального анализа данных. Это пакет с открытым исходным кодом, выпущенный под общей публичной лицензией и разработанный с использованием C++ с оболочками Python сверху.
Пакет Orange включает в себя набор виджетов для визуализации, классификации, регрессии и оценки наборов данных. Области, в которых часто используется оранжевый цвет, варьируются от исследования ДНК до анализа фармацевтических доменов.
Разнообразный
Вот библиотека, которая не вписывается ни в одну из предыдущих категорий, но заслуживает упоминания.
Сочувствую
Хотя он непосредственно не используется для науки о данных и аналитики, SymPy – это библиотека символьных вычислений Python, ориентированная на алгебраические вычисления. Многие специалисты по обработке данных используют библиотеку для промежуточного математического анализа своих данных, которые впоследствии будут использоваться другими библиотеками, такими как построение графиков или машинное обучение.
Резюме
Из многочисленных библиотек Python, доступных для исследований в области науки о данных, я попытался привлечь и классифицировать наиболее часто используемые. Я надеюсь, что эта статья поможет энтузиастам науки о данных глубоко погрузиться в эту область и извлечь максимальную пользу из этих библиотек.