При осуществлении перехода с устаревшей платформы 1С:Предприятие 7.7 на современные конфигурации 1С 8.3 (например, на Бухгалтерию Предприятия 3.0) разработчики регулярно сталкиваются с серьезной проблемой. При попытке выгрузить большие объемы данных в формат XML процесс аварийно завершается с ошибкой нехватки оперативной памяти (Out of memory). Ситуация усложняется тем, что даже выделение 4 ГБ памяти процессу не всегда решает проблему. В этой статье мы детально проанализируем первопричины этого поведения и рассмотрим четыре практических способа решения проблемы, начиная от использования внешнего x64-провайдера и заканчивая полной оптимизацией программного кода выгрузки.
Для начала проанализируем ситуацию с технической точки зрения. Платформа 1С:Предприятие 7.7 является классическим 32-битным приложением. Архитектура Windows накладывает жесткое ограничение на адресное пространство такого процесса: по умолчанию ему доступно не более 2 ГБ виртуальной памяти. Из-за фрагментации памяти и внутренних нужд самой платформы реальный предел, при котором 1С 7.7 падает, составляет около 1.5–1.7 ГБ.
Типовые обработки выгрузки (например, использующие правила конвертации данных) работают через стандартный COM-объект MSXML2.DOMDocument. Модель DOM (Document Object Model) устроена так, что она не пишет данные на диск сразу. Вместо этого в оперативной памяти строится полное дерево XML-документа, состоящее из узлов, элементов и атрибутов. Особенность представления данных в DOM заключается в том, что служебные структуры XML-дерева в памяти занимают в 5–10 раз больше места, чем итоговый текстовый файл на диске. Таким образом, при попытке сформировать XML-файл размером в 200–300 МБ объект DOM в памяти разрастается до критических 1.5–2 ГБ, что мгновенно приводит к краху системы.
Давайте разберем по шагам доступные нам варианты решения этой проблемы — от простых аппаратных «костылей» до правильного архитектурного переписывания кода.
Рассмотрим оригинальное и крайне изящное решение, предложенное автором темы. Если 32-битный процесс 1С 7.7 ограничен 2 ГБ памяти, почему бы не заставить тяжелый COM-объект MSXML2.DOMDocument выполняться в изолированном 64-битном адресном пространстве?
Для реализации этого подхода используется специализированная утилита x64Provider (работающая на базе системного механизма Windows под названием COM Surrogate). Этот механизм позволяет запускать 32-битные COM-компоненты внутри 64-битного процесса-суррогата (и наоборот).
Разберем алгоритм настройки этого решения:
asf.exe).regsvr32 asf.exe
Важное примечание: Этот метод является отличной «волшебной таблеткой» для разового переноса данных, когда нет времени переписывать код обработки выгрузки. Однако учитывайте, что межпроцессное взаимодействие (маршалинг данных между 32-битной 1С и 64-битным процессом-суррогатом) создает дополнительные накладные расходы, что может снизить общую скорость выгрузки в несколько раз.
Если вам требуется надежное, быстрое и не зависящее от сторонних утилит решение для регулярного обмена данными, лучшим выбором будет отказ от DOM-модели в пользу потоковой записи. Вместо удержания всего дерева XML в памяти мы будем записывать теги последовательно, сразу сбрасывая их на жесткий диск.
Для этого в платформе 1С 7.7 предусмотрен встроенный объект AddIn.XMLParser (поставляемый в составе стандартной библиотеки v7plus.dll). Этот объект поддерживает работу с последовательно записываемым документом. Главный секрет стабильности этого метода заключается в использовании метода Сбросить() (аналог команды Flush в других языках программирования), который очищает оперативную память в процессе работы.
Посмотрим на практический пример реализации потоковой выгрузки данных из таблицы значений:
// Инициализируем парсер XML из библиотеки v7plus
Анализатор = СоздатьОбъект("AddIn.XMLParser");
ПоследовательноЗаписываемыйДокумен = Анализатор.СоздатьПоследовательноЗаписываемыйДокумент();
ПоследовательноЗаписываемыйДокумен.ИмяФайла = ПутьКФайлуВыгрузки;
// Устанавливаем корневые параметры
ПоследовательноЗаписываемыйДокумен.АтрибутыЭлемента.УстановитьАтрибут("datetime", Формат(ТекущаяДата(), "дДДММГГГГ") + " " + ТекущееВремя() + ".000");
ПоследовательноЗаписываемыйДокумен.ОткрытьЭлемент("ДанныеВыгрузки");
ПоследовательноЗаписываемыйДокумен.АтрибутыЭлемента.УдалитьВсе();
// Обходим выгружаемую Таблицу Значений (ТЗ)
ТЗ.ВыбратьСтроки();
Пока ТЗ.ПолучитьСтроку() = 1 Цикл
ПоследовательноЗаписываемыйДокумен.ОткрытьЭлемент("Объект");
ПоследовательноЗаписываемыйДокумен.АтрибутыЭлемента.УдалитьВсе();
// Записываем подчиненные элементы (теги)
ПоследовательноЗаписываемыйДокумен.ВключитьЭлемент("Идентификатор", ТЗ.УИД);
ПоследовательноЗаписываемыйДокумен.ВключитьЭлемент("Наименование", ТЗ.Наименование);
ПоследовательноЗаписываемыйДокумен.ВключитьЭлемент("Сумма", ТЗ.Сумма);
ПоследовательноЗаписываемыйДокумен.ЗакрытьЭлемент(); // Закрываем тег "Объект"
// КРИТИЧЕСКИ ВАЖНЫЙ БЛОК: Сброс буфера каждые 1000 строк
Если (ТЗ.НомерСтроки % 1000) = 0 Тогда
ПоследовательноЗаписываемыйДокумен.Сбросить(); // Память очищается, данные пишутся на диск!
Состояние("Выгружено строк: " + ТЗ.НомерСтроки);
КонецЕсли;
КонецЦикла;
// Закрываем корневой элемент и завершаем работу
ПоследовательноЗаписываемыйДокумен.ЗакрытьЭлемент(); // Закрываем тег "ДанныеВыгрузки"
При использовании метода Сбросить() выгрузка файла размером даже в 500–800 МБ пройдет абсолютно стабильно и займет не более 10–15 минут, так как потребление оперативной памяти процессом 1С 7.7 на протяжении всей работы будет оставаться на минимальном уровне (в пределах нескольких десятков мегабайт).
Рассмотрим еще один системный метод, который позволяет обойти ограничение памяти 32-битного процесса без изменения конфигурации 1С. Мы можем принудительно указать операционной системе Windows, что исполняемый файл платформы 1С 7.7 умеет работать с адресным пространством более 2 ГБ.
Для этого используется стандартная утилита разработчиков Microsoft — editbin.exe. Проанализируем этот процесс по шагам:
1cv7.exe, 1cv7s.exe).editbin.editbin /LARGEADDRESSAWARE "C:\Program Files (x86)\1Cv77\bin\1cv7s.exe"
BCDEdit /set increaseuserva 3072
После этого необходимо перезагрузить компьютер. Это расширит лимит памяти процесса до 3 ГБ.
Важно: Данный метод существенно отодвигает порог падения платформы по памяти, что позволяет безболезненно завершать даже стандартные ресурсоемкие выгрузки через DOM.
В некоторых случаях (например, когда правила выгрузки генерируются динамически через Конвертацию Данных и жестко завязаны на объектную модель DOM) переписать код на SAX напрямую невозможно. В такой ситуации мы можем прибегнуть к созданию "оберток".
Проанализируем эту архитектуру подробнее. Вместо прямого вызова методов тяжелого объекта MSXML2.DOMDocument, мы пишем в коде 1С 7.7 собственные функции-заглушки с аналогичными именами методов, но данные внутри них сохраняются не в XML-дерево, а в обычную внутреннюю структуру — Таблицу Значений (ТЗ) или Список Значений (СЗ). Каждому узлу XML-дерева сопоставляется элемент Списка Значений, где в качестве вложенных элементов хранятся подчиненные структуры и их атрибуты.
Поскольку внутренние объекты 1С (ТЗ и СЗ) оптимизированы под платформу и хранят чистые типизированные данные без тяжелой служебной разметки XML, они потребляют в оперативной памяти в десятки раз меньше места, чем DOM-дерево. После завершения формирования структуры мы запускаем один линейный проход по этой Таблице Значений и последовательно записываем итоговый XML-файл на диск, полностью избегая переполнения памяти.
Подводя итоги, мы можем составить простую матрицу выбора решения в зависимости от вашей конкретной ситуации:
Сбросить() (Решение 2).Применяя эти подходы, мы сможем гарантировать стабильную работу даже на таких сложных и исторически ограниченных платформах, как 1С:Предприятие 7.7.