Я только что завершил программу разработки данных UDACIME и хотел поделиться своими идеями о программе другим людям, которые думали об этом. Вы будете использовать S3, Redshift, Spark, EMR, EC2, Airflow, Cassandra и Postgres на протяжении всего курса. С фокусом на конце воздушного потока, искры, S3 и Redshift.
Пять модулей вы пройдете
- Моделирование данных в Apache Cassandra & Postgres
- Склады облачных данных (AWS, S3, Redshift)
- Создание озера данных с помощью ETL-трубопровода в Spark (EMR, Spark)
- Использование воздушного потока в качестве конвейера данных для расписания данных отправляет.
- Открытый законченный проект, аналогичный проекту 3 + 4 или использовать их шаблон проекта со своими собственными данными.
Почему я взял это:
Я хотел поправиться на управлении данными, качеством данных и трубопроводов данных, поэтому я могу ввести эти концепции в моей нынешней роли, а также более знакомы с воздушным потоком и AWS. В целом забирайте больше право собственности на данные о данных, я сейчас делаю.
Наш текущий стек включает в себя данные погрузчики, такие как стежок и Fivetran, но были больше случаев, когда стежок и Fivetran не соответствуют нашим потребностям интеграции всех наших источников данных. Здесь я видел необходимость использовать воздушный поток в картинку, чтобы принести данные на наш склад, но и в другие источники, которые будут использоваться нашими пользователями.
Мой опыт:
Вступая в эту программу, я почувствовал себя действительно уверенным в себе свои навыки SQL и навыками Python, чтобы принять эту наномую степень. Я не пишу Python так же, как мне понравилось (может быть, один раз в неделю), и были некоторые случаи, которые я боролся с содержанием из-за его участия в Python в незнакомых сценариях. Особенно возле порции воздушного потока, но его управляемой, если вы просто в качестве примеров поиска и документации по воздушным потокам.
Было много вопросов с курсом после модуля 2, до такой степени, что большой кусок моих сверстников был жаловаться. В конечном итоге они добавили расширение в модуль 3 с новыми видео и источниками, которые зарабатывают его намного проще, но должны были быть там с самого начала. К сожалению, я действительно боролся здесь, чтобы завершить эту часть до того, как представил новые видео и контент, поэтому я застрял гуглами и читал через документы AWS, чтобы понять это.
Это была общая тема после 2-го модуля. Многие из информации и ресурсов были устарели, я почувствовал, что у вас устраивает неисправностей и изучаю AWS IAM ролей или AWS Permissions, чем я изучал данную информацию. Эти вопросы были устранены только тогда, когда у людей было проблему. Это было похоже на полную программу. Хотя через трудности я получил намного лучше в понимании AWS и Airflow из-за ограниченной информации, которую мне пришлось пройти каждый модуль.
В целом, хотя мне действительно понравилось программу, чтобы получить воздействие этих инструментов и концепций. Основные моменты для меня были изучать искру и воздушный поток. Теперь мне удобно, теперь я могу встать в свою собственную экосистему, где я могу отправлять данные на склад из разных источников вместе с имеющими тесты на данные, чтобы обеспечить его качество. Это была моя общая цель, принимающая эту нано.
Рекомендую ли я эту программу?
Я рекомендую это? Это зависит от работы, которую вы делаете или хотите сделать.
С помощью таких инструментов, как DBT, DBT Cloud, Stitch и Fivetran, вы можете избежать большого количества головных болей и отстаивать экосистему аналитики относительно быстро. Я не думаю, что это нано-степень для вас, если это ваша цель. Покупка над зданием имеет больше смысла 9/10 раз, особенно если вы стараетесь быстро, пытаясь быстро набрать идеи.
Но если вы строите бэкэнд для приложения или целей за пределами аналитического склада. Тогда я бы потенциально взял этот курс и продолжаю осторожно.
Я думаю, что лучший шаг – выбрать одну из этих технологий и сосредоточиться на них. (Сначала возьмите курс UDEMY на воздушном потоке, например).
Общие плюсы:
- Узнал aws, воздушный поток, искра
- Хорошая справочная информация о моделировании данных, традиционных схем данных.
- Выделенные данные о качестве и управлении данными о том, как ввести тесты в вашем конвейере данных.
- Отличное сообщество помощи
Общие минусы:
- Непонятные направления и модули становятся огромными временем
- Может выстрелить через бесплатные кредиты AWS быстро. Вы тратите примерно 200 долларов в месяц на курс, а затем, возможно, дополнительно 100-150 долларов США на продукты AWS, пытаясь выяснить проекты из-за устаревшей документации и предоставляемых ресурсами. (В целом, я должен был провести дополнительные 320 долларов в течение 3 месяцев)
- Потратив больше времени устранения неисправностей проблем с курсом или заполнением неразрушающихся пробелов, а затем узнать о технике данных.
Общий рейтинг 3/5
Оригинал: “https://dev.to/ralaruri/should-i-take-the-data-engineer-nano-degree-22pc”