dbms_create_random_tables (7 серии деталей)
Наличие большого количества тестовых данных иногда требует больших усилий, и для моделирования более реалистичного сценария хорошо иметь большое количество таблиц с различными типами столбцов. Этот скрипт генерирует схему случайных таблиц для Hive.
Если вы хотите настроить среду улей для целей DEV и тестирования, взгляните на: https://dev.to/mesmacosta/quickly-set-a-hive-environment-on-gcp-38j8
Окружающая среда
Активируйте свой виртуал
pip install --upgrade virtualenv python3 -m virtualenv --python python3 env source ./env/bin/activate
Установите требования для генератора метаданных
pip install -r requirements.txt
Код
Исполнение
export HIVE_SERVER=127.0.0.1 export HIVE_USERNAME=hive export HIVE_PORT=10000 export HIVE_DATABASE=default python metadata_generator.py \ --hive-host=$HIVE_SERVER \ --hive-user=$HIVE_USERNAME \ --hive-port=$HIVE_PORT \ --hive-database=$HIVE_DATABASE
Вот и все!
Если у вас есть трудности, не стесняйтесь обращаться. Я хотел бы помочь вам!
dbms_create_random_tables (7 серии деталей)
Оригинал: “https://dev.to/mesmacosta/using-python-to-create-hive-tables-with-random-schema-2e5o”