Рубрики
Без рубрики

Как обрабатывать массовую вставку данных SQLite + python

SQLite Python: Вставка данных

Автор оригинала: Charrel Jame Eramis.

Эффективная обработка данных

Когда дело доходит до обработки огромного объема данных, наиболее распространенные вещи, которые всегда делает разработчик, – это хранение данных одним способом, для каждого оператора SQL запускается новая транзакция. Это очень дорого, так как требует повторного открытия, записи и закрытия файла журнала для каждого оператора. Несмотря на то, что они могут сделать это в массовой сделке. Теперь, как мы это сделали? Я тебе покажу.

Допустим, у вас есть 20 000 записей кандидатов, которые должны быть вставлены в вашу базу данных. Действительно имеет смысл рассмотреть массовую транзакцию, не так ли? Конечно, почему бы и нет.

Я действительно рекомендую использовать этот метод для массовой транзакции по крайней мере для 20K данных, и что я могу сказать, это очень быстро и эффективно. Такая замечательная новость, правда?.

Я действительно рекомендую использовать этот метод для массовой транзакции по крайней мере для 20K данных, и что я могу сказать, это очень быстро и эффективно. Такая замечательная новость, правда?.

ЕЩЕ ОДИН ТРЮК

Существует также еще один эффективный способ, который можно использовать для повышения уровня скорости во время транзакций SQLite. В этом случае у вас есть несколько экземпляров записи базы данных, поместите их в транзакцию. Вместо записи в файл (и блокировки) каждый раз, когда выполняется запрос на запись, запись будет выполняться только один раз, когда транзакция завершится

Существует также еще один эффективный способ, который можно использовать для повышения уровня скорости во время транзакций SQLite. В этом случае у вас есть несколько экземпляров записи базы данных, поместите их в транзакцию. Вместо записи в файл (и блокировки) каждый раз, когда выполняется запрос на запись, запись будет выполняться только один раз, когда транзакция завершится