Рубрики
Без рубрики

Начните с Apache Airflow

Эй, ребята! Добро пожаловать обратно на другой пост !! Эта статья на Apache Airflow. До… Теги от AWS, Airflow, Python.

Эй, ребята!

Добро пожаловать обратно на другой пост !!

Эта статья на Apache Airflow. Прежде чем отправиться в авторинг нашего первого рабочего процесса, давайте посмотрим на то, что на самом деле есть Apache Airflow.

Что такое воздушный поток?

Airflow – это платформа для программных устройств, расписаний и мониторинга рабочих процессов.

Airflow использует направленные ациклические графики (DAGS) для управления оркесторией рабочего процесса. Задачи и зависимости определены в Python, а затем воздушный поток управляет планированием и выполнением.

В основном это инструмент, который мы можем использовать для оформления рабочих процессов, используя код !! Довольно аккуратно правильно?

Что такое dag?

В воздушном потоке Dag – или направленный ациклический график – это коллекция всех задач, которые вы хотите запустить, организованы таким образом, что отражает их отношения и зависимости.

Это просто структура, которую мы определяем с помощью сценариев Python. Чтобы проложить это просто, он определяет, как мы хотим запустить наши задачи.

Мы можем сказать, что все рабочие процессы являются дагами. Даг состоит из Операторы , который мы называем задачами. Есть разные виды операторов, таких как Bashoperator , Pythonoperator С Emailoperator и т.п.

Когда мы запускаем Zag, все задачи внутри она будет работать так, как мы организовали. Это может быть параллельные прогоны, последовательные прогоны или даже проходят в зависимости от другой задачи или внешнего ресурса.

Давайте грязным нашим руками !!

Предполагая, что воздушный поток работает и работает, позволяет прыгать в наше первое создание DAG. Если воздушный поток еще не установлен в вашей системе, проверьте Документация для получения дополнительной информации. Если у вас есть учетная запись AWS, вы можете использовать Mwaa Отказ Это то же самое, единственный улов – это то, что он управлял AWS как услугой.

Ниже простой код для DAG

from datetime import datetime
from airflow import DAG
from airflow.operators.dummy_operator import DummyOperator
from airflow.operators.python_operator import PythonOperator

args = {
    'owner': 'Airflow',
    'start_date': '2021-01-01',
    'retries': 1,
}

def print_hello():
    return 'Hello world from first Airflow DAG!'

dag = DAG(
    dag_id='FIRST_DAG',
    default_args=args,
    schedule_interval='@daily',
    catchup=False
)

hello_task = PythonOperator(task_id='hello_task', python_callable=print_hello, dag=dag)

hello_task

Так что это вышеуказанный код в основном, это просто вызывает вызываемую функцию Python print_hello используя Pythonoperator. . Мы присваиваем этот оператор переменной под названием hello_task Отказ Теперь эта переменная по существу наша задача.

Мы размещаем этот код (DAG) в нашем каталоге airflow_home под Dags папка. Мы называем это hello_world.py .

Ниже приведена структура папки образца DAG

AIRFLOW_HOME/
├── common
│   └── common_functions.py
├── dags
│   └── hello_world.py

Вы можете модулировать функции, которые вы хотите, и храните его в виде сценариев Python под папкой Common и используйте его внутри DAG.

Для запуска DAG вы можете перейти к планируете воздушного потока и включить DAG, нажав кнопку Toggle, и нажмите кнопку «Запустить», помимо вашего DAG.

Как только его успешная граница вашей задачи превратится в темно-зеленый цвет.

Вот и все!! Мы только что создали наш первый даг. AIRFLOW – это аккуратный и простой инструмент, который помогает нам обращать внимание/рабочие процессы, такие как это. Это не кажется, что большая сделка с одной задачей. Но в реальном мире мы должны организовать большое количество рабочих процессов. Когда масштаб увеличивает воздушный поток, является такая спасатель для всех нас.

Заключение

Это было просто небольшое вступление на воздушном потоке тем, кто никогда не слышал об этом. Для опытных людей эта статья не будет делать много. Это просто артикул байта ✌️

Надеюсь, вам понравилась статья. Не стесняйтесь делиться своими отзывами. Я в Twitter @ arunkc97 Отказ Подариться!

💜 Спасибо за чтение 💜

🌏 Мне нравится |. Следуйте по |. Делиться 🌏

Оригинал: “https://dev.to/arunkc/get-started-with-apache-airflow-1218”