Как инженер с несколькими годами опыта в проектах Backend и Frontend, ощущается, что следующий натуральный шаг – это большие проблемы с данными. В мире большие данные я ожидаю найти вычисления, выступления на вычисления и масштабирования, которые обычно не встречаются в архитектурах обычного/простых/учебников.
Я решил, что искра – лучший способ начать. В частности, – сертификация Databricks, которая ориентирована на программирование и архитектуру искры.
Мой игр планирует пройти Databricks Spark Certification это к:
- Прочитайте «Обучение Spark Lightning Fast Big Big Big Analysis и работайте через все примеры + суммирование важных представлений и уроков, поэтому я могу повторить их позже.
- Пройдите через скелеты курса разработчика Databricks, которые я нашел на Github с 15 месяцев назад. Должно быть довольно обновлено – https://github.com/vivek-bombatkar/spark-training + https://github.com/vivek-bombatkar/spark-with-python–my-learning-notes-
- Проходя пример вопросы.
Пожалуйста, если вы можете совет по любому источнику подготовки – напишите в комментариях, это поможет мне.
Я буду обновлять, как я пойду на других (и я).
График обучения
Теория
Чтение через книгу «Узнать искровую молнию быстро …» Я думаю, что это разумно пройти через 2 главы в неделю. Это означает: чтение, суммирование и запуск важных фрагментов кода самостоятельно.
Неделя 1 Глава 3 Глава 4
Неделя 2 Глава 5 Глава 6
Неделя 3 Глава 7 Глава 8.
Неделя 4 Глава 9 Глава 10.
Неделя 5 Глава 11 – Быстрая читайте, это не так важно
Руки на кодировку
Основы (4 ноутбука) https://github.com/vivek-bombatkar/spark-training/tree/master/spark-python/jupyter-Pyspark.
https://github.com/vivek-bombatkar/spark-training/tree/master/spark-python/jupyter-from-pandas-to-spark
https://github.com/vivek-bombatkar/spark-training/tree/master/spark-python/jupyter-weather-df
https://github.com/vivek-bombatkar/spark-training/blob/master/spark-python/jupyter-weather-df/Weather%20Analysis%20Exercise.ipynb
Расширенные темы (10 ноутбуков) https://github.com/vivek-bombatkar/spark-training/tree/master/spark-python/jupyter-advanced
Windows (4 ноутбука) https://github.com/vivek-bombatkar/spark-training/tree/master/spark-python/jupyter-windows
https://github.com/vivek-bombatkar/spark-training/tree/master/spark-python/jupyter-advanced-windows
UDF (3 ноутбука) https://github.com/vivek-bombatkar/spark-traink/tree/master/spark-python/jupyter-advanced-udf.
Зажигание (1 ноутбуки) https://github.com/vivek-bombatkar/spark-training/tree/master/spark-python/jupyter-advanced-execution
Кэширование (3 ноутбука) https://github.com/vivek-bombatkar/spark-training/tree/master/spark-python/jupyter-advanced-caching
Винтиция (1 ноутбук) https://github.com/vivek-bombatkar/spark-training/tree/master/spark-python/jupyter-advanced-pivoting
Всего 26 ноутбуков, которые я надеюсь сделать 3-4 ноутбука в неделю (некоторые будут легкими, что некоторые усерднее, поэтому принимая среднее). Это приведет к 8 недели прохождения ноутбуков. Изучение того, что мне не хватает и т. Д.
Все должно занять 3 месяца, пока я не готов к экзамену.
Книги PDFS.
Изучение искры: Молния-быстрый большой анализ данных Первое издание https://b-ok.asia/book/2493162/9b8d4fdsource=recomment Второе издание https://laptrinhx.com/learning-spark-lightning-fast-data-analytics-nd-edition-436517903/
Spark: Окончательное руководство: большая обработка данных сделана простой https://b-ok.asia/book/3505368/f04c83?regionChanged
Искра в действии https://b-ok.asia/book/3502170/d3383b.
Оригинал: “https://dev.to/mzsrtgzr2/databricks-spark-certification-notes-and-links-49mj”