Я использую Python, используя разъем MySQL. У меня почти 67 миллионов (14 ГБ) записей в таблице. Когда я делаю объемную вставку данных 2K данных каждый раз, она занимает очень много времени для вставки.
Вставленные строки 2000 за 23 секунды вставлены 2000 строк за 25 секунд вставленные 2000 строк за 29 секунд вставлены 2000 строк за 28 секунд для другой таблицы (имея меньше данных), скорость введения в порядке (2-4 секунды).
После использования транзакции:
Вставленные строки 2000 в 21 секунду вставлены 2000 строк за 20 секунд вставлены 2000 строк за 20 секунд вставлены 2000 строк за 18 секунд, как я могу улучшить скорость?
Я использую AWS RDS, AURORA MYSQL версии 5.7.12 (DB.T3.Medium), имеющую CPU Использование 4% до 8%. Моя цель состоит в том, чтобы вставить около 50K данных в таблицу. Эта таблица уже имеет почти 67 миллионов (14 ГБ) данных. Данные должны быть вставлены как можно скорее. Это почти в режиме реального времени данные очень важны для клиента. Стол имеет 18 столбцов: ID (PK Auto-Actrartion), клиент, Serial_number, Batch, Data и некоторые другие. Индексы включены (Customer, Serial_Number) – Чтобы сделать комбинацию уникальной, пакетной – для поиска, данные (уникальные). Все по умолчанию проиндексированы BTREE. Эта вставка должна потребоваться занять менее 1 минуты для 50K. Но в настоящее время принимает около 15 минут. Я пытался вставить на пустой стол. Он вставляется 50K данных всего за 5-7 секунд. Когда вы увеличиваете количество записей в таблице, время процесса введения увеличивается.
Модернизация версии MySQL собирается ускорить процесс вставки в любом случае? Является ли последний вариант раскол или разделением таблицы? Я не могу консолидировать данные, потому что каждый данные важны, особенно последние 2 года данных. Пожалуйста помоги.
Моя схема таблицы уже имеет некоторые значения по умолчанию в 8 столбцах, и эти данные никогда не будут обновляться позже. Продолжаются не так много операций считывания/записи. Почти 2 или в некоторых случаях 3 выбирает в секунду, поскольку показывает RDS Monitor.
Оригинал: “https://dev.to/vishalanandl177/mysql-bulk-insert-taking-long-time-1omk”