Рубрики
Без рубрики

Использование Python для создания таблиц улей со случайной схемой

Наличие большого количества тестовых данных иногда требует больших усилий и имитировать более реалистичный … Tagged с помощью Hive, базы данных, метаданных, Python.

dbms_create_random_tables (7 серии деталей)

Наличие большого количества тестовых данных иногда требует больших усилий, и для моделирования более реалистичного сценария хорошо иметь большое количество таблиц с различными типами столбцов. Этот скрипт генерирует схему случайных таблиц для Hive.

Если вы хотите настроить среду улей для целей DEV и тестирования, взгляните на: https://dev.to/mesmacosta/quickly-set-a-hive-environment-on-gcp-38j8

Окружающая среда

Активируйте свой виртуал
pip install --upgrade virtualenv
python3 -m virtualenv --python python3 env
source ./env/bin/activate
Установите требования для генератора метаданных
pip install -r requirements.txt

Код

Исполнение

export HIVE_SERVER=127.0.0.1
export HIVE_USERNAME=hive
export HIVE_PORT=10000
export HIVE_DATABASE=default

python metadata_generator.py \
--hive-host=$HIVE_SERVER \
--hive-user=$HIVE_USERNAME \
--hive-port=$HIVE_PORT \
--hive-database=$HIVE_DATABASE

Вот и все!

Если у вас есть трудности, не стесняйтесь обращаться. Я хотел бы помочь вам!

dbms_create_random_tables (7 серии деталей)

Оригинал: “https://dev.to/mesmacosta/using-python-to-create-hive-tables-with-random-schema-2e5o”