Рубрики
Без рубрики

Установка воздушного потока Apache – MySQL+сельдерей

Предварительные условия: Python 3.7 или более Выполнить приведенные ниже один за другим PIP установить Apache-A … Tagged с помощью Python, Apacheairflow, DataNingering.

Предварительные условия: Python 3.7 или более

Выполнить приведенные ниже один за другим

PIP установка.10.6 PIP установка ‘Apache-airflow [selerery]’ pip install ‘apache-airflow [mysql]’ wrew install Rabbitmq

Запустите Rabbitmq-сервер на заднем плане Rabbitmq -Server -Detached

Сделайте изменения конфигурации MySQL sudo Chown -r _mysql: mysql/usr/local/var/mysql

Запустите сервер MySQL Sudo mysql.server Начало

настройка MySQL

MySQL -UROOT

Установите пароль для пользователя Root с помощью ниже

mysql> изменять пользователь ‘root’@’localhost’ идентифицирован «Новый пароль»;

Создайте DB, пользователя и предоставьте необходимые привилегии

mysql> Создать набор символов воздушного потока базы данных UTF8 COLTATE UTF8_UNICODE_CI; mysql> создать пользователь «воздушный поток»@’localhost’, идентифицированный «Airflow»; mysql> предоставить все привилегии на *. * к «воздушному потоку»@’localhost’; MySQL> привилегии промывки; mysql> уйти

инициализация воздушного потока

воздушный поток initdb

Обновление файла конфигурации воздушного потока

Обновите файл Airflow.cfg (должен быть доступен в каталоге ~/Airflow/

SQL Connection AS: ://root: Airflow@LocalHost/Airflow должна быть строка подключения к алхимии SQL, и вы можете прокомментировать ее и добавить выше

Исполнитель как: CeleryExecutor

Сохраните файл и выйдите.

Запустите ниже в их отдельных окнах

Airflow Webserver Airflow Scheduler Worker Worker

Окно Airflow Webserver покажет вам URL для пользовательского интерфейса Airflow.

ПРИМЕЧАНИЕ. Инициализация воздушного потока (Airflow Initdb) должна загружать пример DAGS. Вы можете выключить их в своем файле Airflow.cfg, если вы этого не хотите. Команда:

Оригинал: “https://dev.to/citizenkot/apache-airflow-installation-mysql-celery-4n76”