В процессе разработки на платформе 1С 7.7 часто возникает задача выгрузки больших массивов данных во внешние файлы формата DBF. Когда речь идет о десятках или сотнях тысяч строк, стандартные методы могут показывать неудовлетворительную производительность. В этой статье мы проанализируем ситуацию, разберем основные причины замедления и рассмотрим несколько эффективных способов ускорения записи данных.
Для большинства задач в 1С 7.7 наиболее «православным» и простым способом является использование встроенного объекта XBase. Многие программисты недооценивают его возможности, однако при правильном подходе он способен быстро обрабатывать десятки тысяч записей. Рассмотрим базовый алгоритм работы:
ДБФ = СоздатьОбъект("XBase");
ДБФ.ОткрытьФайл(ПутьКФайлу);
// Если файл нужно создать с нуля:
// ДБФ.ДобавитьПоле("ID", 1, 10, 0);
// ДБФ.СоздатьФайл(ПутьКФайлу);
Для Каждого СтрокаТЗ Из ТаблицаДанных Цикл
ДБФ.Добавить();
ДБФ.УстановитьЗначениеПоля("ID", СтрокаТЗ.Идентификатор);
ДБФ.Записать();
КонецЦикла;
ДБФ.ЗакрытьФайл();
Важный нюанс: Основное замедление при работе с XBase часто вызывают индексы. Если у вашего DBF-файла есть индексные файлы (.CDX или .NDX), 1С будет пытаться обновить их при каждой записи строки. Чтобы ускорить процесс, мы рекомендуем убить индекс перед началом записи, заполнить таблицу данными и проиндексировать её заново в самом конце одним махом.
Если штатный XBase не справляется или требуются специфические возможности (например, выполнение SQL-запросов), мы можем воспользоваться механизмом ADO. Это позволяет использовать драйвер Visual FoxPro, который работает значительно быстрее стандартного драйвера Microsoft Desktop Engine.
Рассмотрим ситуацию, когда автор темы пытался использовать EXECSCRIPT(). Проблема здесь может заключаться в ограничении на количество аргументов или длину строки запроса. Вместо передачи гигантского скрипта, проанализируем использование транзакций. Оборачивание цикла записи в транзакцию — это ключевой фактор скорости при работе через ADO.
Connection = СоздатьОбъект("ADODB.Connection");
Connection.ConnectionString = "Provider=VFPOLEDB.1;Data Source=C:\MyFolder\;";
Connection.Open();
// Включаем транзакцию
Connection.BeginTrans();
Попытка
Для и = 1 По 20000 Цикл
ТекстЗапроса = "INSERT INTO MyTable (Field1) VALUES ('" + Значение + "')";
Connection.Execute(ТекстЗапроса);
КонецЦикла;
Connection.CommitTrans(); // Фиксируем все изменения разом
Исключение
Connection.RollbackTrans(); // Отменяем в случае ошибки
Сообщить(ОписаниеОшибки());
КонецПопытки;
Использование BeginTrans() заставляет драйвер накапливать изменения в буфере памяти и записывать их на диск одним блоком, что минимизирует количество операций ввода-вывода (I/O).
Работая через провайдер Visual FoxPro (VFPOLEDB), мы можем тонко настраивать поведение движка базы данных прямо из кода 1С. Разберем наиболее полезные команды настройки, которые можно выполнить перед началом записи:
Пример реализации настройки через ADO:
Connection.Execute("SET EXCLUSIVE ON");
Connection.Execute("SET REFRESH TO 0");
Проанализируем еще один мощный способ, который часто упускают из виду. Если ваши данные уже находятся в каком-то промежуточном формате (например, другой DBF или текстовый файл CSV), самым быстрым способом будет команда APPEND FROM. Она работает на уровне движка базы данных и способна загрузить миллионы строк за считанные секунды.
Если данные находятся в 1С, можно сначала быстро выгрузить их в текстовый файл с разделителями (используя объект Текст), а затем выполнить одну команду через ADO:
// В FoxPro SQL это выглядит так:
// APPEND FROM 'temp_data.csv' DELIMITED WITH CHARACTER ';'
Connection.Execute("APPEND FROM 'C:\temp\data.csv' DELIMITED WITH ';' ");
Для самых экстремальных задач, когда счет идет на миллионы строк и каждая секунда на счету, можно прибегнуть к прямому формированию бинарного файла DBF. Формат DBF хорошо документирован: он состоит из заголовка (Header), описания полей и собственно блоков данных. Используя объект ФС (Файловая система) или специализированные компоненты для работы с бинарными данными, можно "склеивать" файл вручную.
Преимущество: Отсутствие каких-либо программных прослоек и драйверов. Вы ограничены только скоростью вашей дисковой подсистемы.
Недостаток: Высокая сложность реализации и риск повредить структуру файла при ошибке в расчетах смещений заголовка.
Выясним причины, которые могут тормозить любой из вышеперечисленных методов:
Подводя итог, можно сказать: для 20 000 строк вполне достаточно штатного XBase при условии отключения индексов. Если же требуется работа с миллионами записей — переходите на ADO с транзакциями или используйте метод APPEND FROM.