Разработка алгоритмов текстового анализа и верификации данных часто требует от разработчика 1С использования регулярных выражений (RegEx). Регулярные выражения позволяют лаконично описать сложные правила соответствия строк. Однако на практике легко столкнуться с ситуацией, когда правильно составленный шаблон регулярного выражения не выдает ожидаемый результат из-за неочевидных проблем в логике подготовки самих данных или скрытых уязвимостей в структуре регулярного выражения.
В рамках этой статьи мы подробно разберем, как работает строгое посимвольное сравнение, проанализируем логику работы регулярных выражений шаг за шагом, найдем скрытые уязвимости в популярных шаблонах, оптимизируем их для обработки больших объемов данных (Big Data) и научимся использовать современные нативные инструменты платформы 1С:Предприятие.
Представим задачу: у нас есть исходная строка из четырех символов (например, "ав01"). Нам необходимо проверить соответствие каждого символа этой строки строго определенному набору допустимых значений на каждой позиции:
"а", либо буквой "б"."в", либо буквой "г"."0", либо цифрой "1"."0", либо цифрой "1".Если строка полностью удовлетворяет этим правилам (например, "бг10" или "ав01"), система должна вернуть Истина. Если хотя бы один символ на своей позиции не совпадает с шаблоном (например, в строке "а0в1" на второй позиции стоит цифра вместо буквы), система должна вернуть Ложь.
Для решения этой задачи автор темы предложил следующий шаблон регулярного выражения:
^(а|б)(в|г)(0|1)(0|1)
Давайте подробно разберем, как движок регулярных выражений обрабатывает этот шаблон при сравнении со строками.
Рассмотрим, как процессор регулярных выражений проверяет строку "ав01" по шаблону ^(а|б)(в|г)(0|1)(0|1):
^ (якорь начала строки) указывает движку начать проверку строго с первого символа входной строки.(а|б) анализирует первый символ строки "ав01". Символ "а" совпадает с альтернативой "а". Шаг пройден успешно.(в|г) анализирует второй символ строки "ав01", то есть "в". Он совпадает с альтернативой "в". Шаг пройден успешно.(0|1) анализирует третий символ строки "ав01", то есть "0". Он совпадает с альтернативой "0". Шаг пройден успешно.(0|1) анализирует четвертый символ строки "ав01", то есть "1". Он совпадает с альтернативой "1". Шаг пройден успешно.В результате вся строка признается соответствующей шаблону, возвращается значение Истина.
Теперь проанализируем ошибочную строку "а0в1" с тем же шаблоном:
^ фиксирует начало строки.(а|б) проверяет символ "а". Соответствие найдено.(в|г) проверяет второй символ строки. Во входной строке на этой позиции стоит символ "0". Символ "0" не совпадает ни с "в", ни с "г".Логика работы регулярного выражения абсолютно верна и строго следует порядку следования скобок в шаблоне. Почему же у автора возникли сомнения в работоспособности регулярного выражения? Проблема крылась не в шаблоне регулярного выражения, а в предварительной обработке данных. Алгоритм, формирующий исходную строку для проверки, содержал ошибку, из-за которой «съедались» (терялись) некоторые символы в середине строки. Таким образом, на проверку отправлялась некорректная строка, что приводило к ложным результатам проверки.
Хотя логика сравнения символов в выражении ^(а|б)(в|г)(0|1)(0|1) верна, этот шаблон содержит серьезную логическую уязвимость, которая на реальных данных может привести к ложноположительным результатам.
Обратим внимание на отсутствие якоря конца строки $ в конце регулярного выражения. Символ ^ в начале гарантирует, что проверка начнется с первого символа строки. Однако, поскольку окончание строки никак не зафиксировано, регулярное выражение вернет Истина для любой строки, которая просто начинается с подходящей комбинации символов!
Проанализируем примеры строк, которые успешно пройдут проверку исходным шаблоном автора, хотя по логике бизнес-процесса должны вызывать ошибку:
"ав01добавочныйтекст" — вернет Истина, так как первые 4 символа соответствуют шаблону."ав0123" — вернет Истина."ав01/бг10" — вернет Истина.Для того чтобы гарантировать строгое соответствие всей строки (от первого до последнего символа) и исключить пропуск строк избыточной длины, необходимо обязательно использовать якорь конца строки $. Правильный и безопасный шаблон для строгого сравнения выглядит так:
^(а|б)(в|г)(0|1)(0|1)$
При обработке терабайтов информации или разборе логов большого объема производительность регулярного выражения выходит на первый план. Исходный шаблон автора крайне неэффективен с точки зрения расхода памяти и процессорного времени.
Рассмотрим причины неэффективности конструкции (а|б) и способы оптимизации:
| заставляет процессор регулярного выражения выполнять операции ветвления и возврата назад (backtracking), что значительно замедляет выполнение на больших объемах данных.Для оптимизации посимвольного сравнения следует использовать символьные классы (квадратные скобки) вместо альтернативных групп в круглых скобках. Квадратные скобки определяют набор допустимых символов для одной конкретной позиции. Движок обрабатывает их в разы быстрее, так как выполняет прямое сопоставление без захвата подстрок и ветвления.
Оптимизированный шаблон регулярного выражения для нашей задачи:
^[аб][вг][01][01]$
Если в вашей задаче по какой-то причине всё же необходимо использовать группировку (например, для применения квантификаторов к последовательностям символов), но захват подстрок не требуется, используйте незахватывающие группы с синтаксисом (?:...):
^(?:а|б)(?:в|г)(?:0|1)(?:0|1)$
Такой подход также предотвратит перерасход оперативной памяти на больших массивах данных.
Долгое время среда разработки 1С не имела встроенных средств для работы с регулярными выражениями. Разработчики были вынуждены использовать COM-объекты операционной системы Windows, создавая экземпляр VBScript.RegExp. Начиная с версии платформы 1С:Предприятие 8.3.23, ситуация качественно изменилась — появилась нативная поддержка регулярных выражений.
Рассмотрим оба варианта реализации проверки строк, чтобы вы могли успешно поддерживать как старые конфигурации, так и использовать все преимущества новых версий платформы.
Этот способ до сих пор встречается во многих корпоративных системах. Он привязан к операционной системе Windows и требует аккуратного обращения с ресурсами.
Разберем пример кода для проверки строки устаревшим методом:
Функция СтрокаСоответствуетШаблонуCOM(Знач ПроверяемаяСтрока) Экспорт
// Создаем COM-объект для работы с регулярными выражениями Windows
РегВыражение = Новый COMОбъект("VBScript.RegExp");
// Указываем наш оптимизированный шаблон со строгими якорями начала и конца строки
РегВыражение.Pattern = "^[аб][вг][01][01]$";
// Отключаем чувствительность к регистру символов, если это необходимо
РегВыражение.IgnoreCase = Истина;
// Нам нужно лишь подтвердить факт соответствия всей строки шаблону
РегВыражение.Global = Ложь;
// Метод Test возвращает булево значение (Истина/Ложь)
Возврат РегВыражение.Test(ПроверяемаяСтрока);
КонецФункции
Важное ограничение: Данный код не будет работать на серверах под управлением ОС Linux без использования дополнительных эмуляторов или библиотек совместимости, так как COM-технология является специфичной для Windows.
Современные версии платформы 1С включают в себя кроссплатформенную библиотеку регулярных выражений (на базе стандарта ICU). Нам больше не нужно создавать внешние COM-объекты. Код стал лаконичным, безопасным и работает с одинаковой скоростью как на Windows, так и на Linux серверах.
Для проверки соответствия строки регулярному выражению используется встроенная функция СтрНайтиПоРегулярномуВыражению(). Проанализируем пример ее использования:
Функция СтрокаСоответствуетШаблонуНативно(Знач ПроверяемаяСтрока) Экспорт
ШаблонРегЭксп = "^[аб][вг][01][01]$";
// Функция возвращает позицию первого вхождения. Если поиск успешен и начинается с 1 символа,
// значит вся строка строго соответствует нашему шаблону. Если совпадений нет, вернется 0.
ПозицияВхождения = СтрНайтиПоРегулярномуВыражению(ПроверяемаяСтрока, ШаблонРегЭксп, , , , Истина);
Возврат ПозицияВхождения = 1;
КонецФункции
Использование встроенных функций платформы позволяет значительно повысить стабильность работы системы под высокой нагрузкой и упрощает чтение кода другими разработчиками.
Как показало обсуждение на форуме, очень часто причиной «неработающего» регулярного выражения является повреждение данных на этапе их подготовки. Если строка формируется динамически (например, при чтении текстовых файлов, обмене через API или парсинге документов), в нее могут незаметно проникать невидимые символы, пробелы, символы табуляции или переноса строк. Это приводит к тому, что визуально строка выглядит правильно, но проверка регулярным выражением завершается ошибкой.
Для предотвращения и быстрого поиска подобных проблем рекомендуем применять следующие практики отладки:
СтрДлина(). Если ожидается строка из 4 символов, а функция возвращает большее или меньшее значение, это первый сигнал о сбое в алгоритме формирования данных.
Рассмотрим пример отладочного кода, выводящего коды всех символов строки в журнал регистрации:
Процедура ПроанализироватьСимволыСтроки(Знач ПроверяемаяСтрока) Экспорт
Длина = СтрДлина(ПроверяемаяСтрока);
ЗаписьЖурналаРегистрации("ОтладкаСтроки.Анализ", УровеньЖурналаРегистрации.Сведения, , ,
"Начало анализа строки. Длина: " + Длина);
Для НомерСимвола = 1 По Длина Цикл
ТекущийСимвол = Сред(ПроверяемаяСтрока, НомерСимвола, 1);
КодСимвола = КодСимвола(ТекущийСимвол);
ЗаписьЖурналаРегистрации("ОтладкаСтроки.Анализ", УровеньЖурналаРегистрации.Сведения, , ,
"Позиция: " + НомерСимвола + " | Символ: '" + ТекущийСимвол + "' | Код: " + КодСимвола);
КонецЦикла;
КонецПроцедуры
Используя этот метод отладки, вы мгновенно обнаружите лишние символы возврата каретки (код 13), перевода строки (код 10) или неразрывные пробелы (код 160), которые часто ломают логику работы даже самых совершенных регулярных выражений.
Мы детально разобрали особенности реализации посимвольного сравнения строк с использованием регулярных выражений. Подводя итог, выделим ключевые правила успешной работы с регулярными выражениями в 1С:
^ и конца строки $ для обеспечения строгого соответствия всей строки целиком.[...] вместо громоздких альтернативных групп (...) для повышения быстродействия кода при обработке больших объемов данных.VBScript.RegExp в пользу встроенных функций работы с регулярными выражениями, если работаете на платформе 1С:Предприятие версии 8.3.23 и выше.