Рубрики
Без рубрики

Связаться с наукой о данных

Во времена этой пандемии мы часто задавайтесь вопросом, сможем предсказать время, когда это возьмут для вакцины … Теги с лазурным лазурным, наукой на данных, машинном обучении, Python.

Во времена этой пандемии мы часто задавайтесь вопросом, сможем предсказать время, которое потребуется для привлечения прививок на рынок. Можно ли предсказать потенциальные случаи COVID-19 по всему миру ежедневно? Ответ на все эти вопросы – «Да». Наука данных оказалась бесценной в прогнозировании решений этих проблем. Итак, давайте посмотрим больше о науке о данных, и это подпопции через эту статью, которая является частью Инициатива историй MSP разработчиков Microsoft Partners Microsoft Partners (Индия) ( https://studentpartners.microsoft.com ) .

Наука данных – это область исследования, которое используется для извлечения знаний из структурированных или неструктурированных данных с использованием различных процессов и алгоритмов. Процесс науки о данных состоит из нескольких шагов. Эти шаги:

  1. Анализ данных: Этот шаг дает представление о данных, с которыми мы работаем. Это также поможет нам применить надлежащие алгоритмы в соответствии с данными, и это другие требования.
  2. Функция Техника: Этот процесс помогает создавать функции из доступных данных. Некоторые методы, используемые в области функции, являются скользящие средние и различные типы агрегаций. Скользящая средняя – это изменение в среднем для определенного постоянного интервала времени. Агрегации являются комбинациями данных на основе другой функции. Некоторые примеры агрегаций являются сумма, средний и счет.
  3. Моделирование: в основном это алгоритм, который учится из данных и обеспечивает вероятностный прогноз дискретных и непрерывных значений.
  4. Определение проблемы и установление цели проекта: этот этап основан на анализе случая использования проблемы. Цели для проекта определены, и на этом этапе цель определена цель.
  5. Подготовка данных: данные разделены в разные функции, и поперечная проверка данных сделана. В этом разделение данных предотвращается путем разделения данных в его подмножества.
  6. Выбор и обучение модели: выбор модели выполняется на основе вывода данных, которые мы должны получить. Перед подготовкой модели данные разделены на четыре части: функции, этикетки, набор обучения и набор тестирования. Они обсуждаются позже в этой статье.
  7. Оценка результата и развертывания модели: состоит из настройки гипер-параметров в модели для улучшения результатов. Затем модель оценивается на основе матрицы путаницы. Соответствующая Точность оценки а также Напомним счет рассчитывается. Если модель дает хорошую точность, она развернута в противном случае любая другая модель выбрана и обучена данными.

Этот процесс часто завершен командой людей с различными ролями, такими как бизнес-аналитик, инженер данных, ученый данных, разработчик и т. Д. Некоторые общие инструменты также используются этими людьми для выполнения различных операций. Некоторые из этих общих инструментов:

  • SQL.
  • Python и связанные с ними пакеты
  • Apache Sparks.
  • Azure Databricricks
  • Управление исходным кодом (Git, SVN)

Чтобы иметь более глубокие знания об этой теме, вы также можете обратиться в этот курс: https://docs.microsoft.com/en-gb/learn/modules/intro-to-data-science-in-azure/ Машинное обучение – это подмножество науки о данных, которая используется для потенциально прогнозирования результатов к проблемам, упомянутым выше. Итак, давайте подробно обсудим о машинном обучении.

Машинное обучение – это поле исследования, которое дает компьютерам возможность узнать, не будучи явными запрограммированными. Он также классифицируется на три подкатегории: контролируемое обучение, безоговорочное обучение в обучении и подкреплении. Поскольку эта статья охватывает больше технических аспектов, вы можете ссылаться на эту ссылку для теоретического понимания этих тем: https://drive.google.com/Open?id=1ttg5awn3dtckdeizvx85tjcctkafvmo2. Прежде чем продвигаться вперед с технической частью, давайте обсудим платформу, где мы можем выполнять эти проекты. Конечно, это не что иное, как Microsoft Azure Отказ

Azure Notebooks – облачная платформа для строительства и беговых ноутбуков Jupyter. Jupyter – это среда, основанная на iPython, которая облегчает интерактивное программирование и анализ данных, используя различные языки программирования, включая Python. Ноутбуки Azure предоставляют Jupyter в качестве услуги бесплатно. Это удобный способ создавать ноутбуки и поделиться с ними с другими, без необходимости установки и управления сервером Jupyter. И это веб-сайт, что делает его идеальным решением для совместной работы онлайн. Теперь давайте начнем с проекта. Он состоит в основном из трех основных этапов:

Импорт данных

Curl – это команда Bash, которая используется для загрузки набора данных из онлайн-источника. Вы можете использовать его как: ! Кредит https://topcs.blob.core.windows.net/public/flightdata.csv -o FlightData.csv Вы также можете скачать набор данных и может предоставить ссылку, чтобы прочитать файл CSV и хранить его в таком области данных: .read_csv («C:/Users/god/downloads/data.csv»)

Предварительная обработка данных (очистка и подготовка)

Предварительная обработка требует нескольких шагов, таких как:

  1. Удаление дубликатовных значений из данных: Дублирующиеся строки или столбцы могут быть сброшены с помощью этой команды:,,)
  2. Наполнение недостающих значений: это обычно делается командой df.fillna (df.mean ()), где df – имя dataframe, а отсутствующие значения заменены средним значением данных. Вы также можете заменить их медианом или режимом данных (согласно требованию).
  3. Преобразование записей строк в соответствующие строковые значения: компьютер не может понять код байта, поэтому мы должны преобразовать строки в машину понятно язык. У нас есть несколько методов, чтобы сделать это, как:
  4. Обнаружение и обращение с выбросами: Выбросы – это точки данных, которые существенно отличаются от других наблюдений. Эти значения отклоняются чрезвычайно из других наблюдаемых точек данных. Существует несколько методов для обнаружения этих выбросов. Вы можете отослать эту статью для чтения вкратце о методах обнаружения выбросов.

    Краткий обзор методик обнаружения выбросов | Серхио Сантоё | К науке данных

    Серхио Сантоё · 24 ноября 2017 · 9 мин прочитайте ustdatascice.com

     Удаление этих выбросов также является очень важным шагом в предварительно обработке данных. Выбросы увеличивают изменчивость данных и из-за этого, статистическая мощность данных уменьшается. Вот средняя статья о том, как удалить эти выбросы:

    Способы обнаружения и удаления выбросов | Наташа Шарма | К науке данных

    Наташа Шарма · 23 мая 2018 · 10 мин прочитайте ustdatascuita.com

  5. Масштабирование и нормализация данных: путем масштабирования данных, мы изменяем его диапазон и нормализацию используется для изменения формы данных. Цель нормализации состоит в том, чтобы изменить значения числовых колонн в набор данных в общий масштаб, не искажая различия в диапазонах значений. Для машинного обучения каждый набор данных не требует нормализации. Требуется только тогда, когда функции имеют разные диапазоны.

    Уборка данных: масштаб и нормализация данных | Нишант Сетхи | Средний

    Nishant Sethi · 5 июня 2020 · 5 мин

  6. Разделение данных в функции, этикетки, данные о подготовке и тестировании данных: Особенности – это входные переменные, которые подаются в моде и метке, является выходом, заданным моделью. Учебные данные используются для обучения модели, и производительность модели оценивается данными тестирования.

Создание модели обучения машины

Модель машин-обучения построена в зависимости от типа данных.

  • Если данные имеют непрерывный выход, то моделями обучения машины для надзоров, которые могут выполнять регрессия используются.
  • Если данные имеют дискретные выходы, затем контролируемые модели машинного обучения, которые могут выполнять Классификация используются.
  • Если вывод не указан, используются антроритмы без присмотра.

Визуализация данных

Визуализация данных – это представление данных или информация в графике, диаграмме или другом визуальном формате. Он связывает отношения данных с изображениями. Это важно, потому что это позволяет более легко увидеть тенденции и шаблоны. С повышением больших данных на нас нам нужно иметь возможность интерпретировать все более крупные партии данных. Машинное обучение облегчает проведение таких анализов, как прогнозный анализ, который затем может служить полезными визуализациями для представления. Но визуализация данных не только важно для ученых данных и аналитиков данных, необходимо понимать визуализацию данных в любой карьере. Будете ли вы работаете в финансах, маркетинге, технологии, дизайне или что-либо еще, вам нужно визуализировать данные.

Визуализация данных с помощью Python для машинного обучения и науки о данных: | Санатом |. К науке о данных

Санат · 3 августа 2020 · 21 мин прочитайте ustdatascuita.com

Модель обучается с учебными данными. После изучения этих данных модель теперь готова к прогнозированию вывода. Итак, он питается данными тестирования. Модель прогнозирует вывод для данных тестирования, и прогнозируемый выход сопоставлен с исходным выходом для поиска точности модели. Модель, которая дает лучшую точность, выбрана.

Таким образом, модели обучения машин могут предсказать результаты для любых видов данных, которые питаются в машине.

Для практики вы можете завершить этот путь обучения: https://docs.microsoft.com/en-gb/learn/paths/intro-to-ml-with-python/

Для подробного описания этого пути обучения вы можете ссылаться на мою сессию:

Оригинал: “https://dev.to/arpita07282551/a-hands-on-machine-learning-208l”

Читайте ещё по теме: