Определение кодировки текстового файла — это классическая задача, с которой сталкивается практически любой разработчик при организации обмена данными. Проблема заключается в том, что обычный текстовый файл (.txt, .csv, .log) не имеет жестко заданного заголовка, в котором была бы прописана кодировка. Это просто поток байтов, который программа должна интерпретировать. Если мы ошибемся с выбором кодировки, пользователь увидит нечитаемые "кракозябры".
В рамках этой статьи мы разберем несколько подходов к решению этой задачи: от самых простых (анализ маркеров последовательности байтов) до продвинутых алгоритмов, используемых в крупных типовых решениях уровня 1С:ERP. Мы научимся "угадывать" кодировку, анализируя содержимое файла и проверяя его на соответствие правилам русского языка.
Прежде чем приступать к сложному анализу текста, нам необходимо проверить файл на наличие BOM (Byte Order Mark). Это специальные невидимые символы в самом начале файла, которые явно указывают на использование кодировок семейства Unicode. Рассмотрим основные маркеры:
EF BB BFFF FEFE FFПроанализируем ситуацию: если файл начинается с этих байтов, мы можем со 100% уверенностью определить кодировку. Для реализации этого метода в 1С нам потребуется прочитать первые несколько байтов файла через объект ЧтениеДанных или ДвоичныеДанные. Если маркер найден — задача решена. Если нет — переходим к эвристическим методам анализа.
Один из самых простых и эффективных способов для кириллических текстов — это попытка прочитать файл в разных кодировках и проверка полученных символов на "адекватность". В русском алфавите заглавные буквы от "А" до "Я" в кодировке Unicode имеют коды в диапазоне 1040-1071 (с учетом "Ё" — 1025). Если при чтении файла мы получаем символы с кодами, которые не характерны для обычного текста, значит, кодировка выбрана неверно.
Разберем пример функции, которая последовательно перебирает основные кодировки (ANSI, OEM, UTF-8, UTF-16) и ищет "битые" символы:
Функция ОпределитьКодировкуФайла(ПутьКФайлу) Экспорт
МассивКодировок = Новый Массив;
МассивКодировок.Добавить(КодировкаТекста.ANSI);
МассивКодировок.Добавить(КодировкаТекста.OEM);
МассивКодировок.Добавить(КодировкаТекста.UTF8);
МассивКодировок.Добавить(КодировкаТекста.UTF16);
Для Каждого ТекущаяКодировка Из МассивКодировок Цикл
ТекстовыйДок = Новый ТекстовыйДокумент;
Попытка
ТекстовыйДок.Прочитать(ПутьКФайлу, ТекущаяКодировка);
ТекстДляПроверки = ВРег(ТекстовыйДок.ПолучитьТекст());
Если НЕ НайденоСимволовВнеДиапазона(ТекстДляПроверки) Тогда
Возврат ТекущаяКодировка;
КонецЕсли;
Исключение
Продолжить;
КонецПопытки;
КонецЦикла;
Возврат КодировкаТекста.ANSI; // По умолчанию
КонецФункции
Функция НайденоСимволовВнеДиапазона(Текст)
Для Поз = 1 По СтрДлина(Текст) Цикл
Код = КодСимвола(Сред(Текст, Поз, 1));
// Диапазон: управляющие символы и кириллица
// 126 - верхняя граница базовой латиницы и знаков препинания
Если Код > 126 И (Код < 1040 Или Код > 1103) И Код <> 1025 И Код <> 1105 Тогда
Возврат Истина; // Найден подозрительный символ
КонецЕсли;
КонецЦикла;
Возврат Ложь;
КонецФункции
В данном примере мы используем функцию КодСимвола для проверки каждого знака. Важно расширить нижний диапазон до 126, чтобы не считать "битыми" стандартные символы вроде скобок, знаков процента или тильды.
Посмотрим на более современный вариант этого же метода. Вместо перебора каждого символа в цикле (что может быть медленно для больших файлов), мы можем использовать регулярные выражения. Это позволит нам мгновенно найти символы, которые не входят в разрешенный набор (латиница, кириллица, цифры и основные знаки препинания).
Рассмотрим реализацию через СтрНайтиПоРегулярномуВыражению (доступно в новых версиях платформы 8.3):
Функция ПолучитьТекстВПравильнойКодировке(ПутьКФайлу) Экспорт
ТаблицаВариантов = Новый ТаблицаЗначений;
ТаблицаВариантов.Колонки.Добавить("Кодировка");
ТаблицаВариантов.Колонки.Добавить("Ошибок", Новый ОписаниеТипов("Число"));
СписокКодировок = "windows-1251,cp866,UTF-8,UTF-16,KOI8-R";
МассивКодировок = СтрРазделить(СписокКодировок, ",");
Для Каждого ИмяКодировки Из МассивКодировок Цикл
Док = Новый ТекстовыйДокумент;
Попытка
Док.Прочитать(ПутьКФайлу, ИмяКодировки);
Текст = Док.ПолучитьТекст();
// Паттерн ищет всё, что НЕ является буквами, цифрами или стандартными знаками
Паттерн = "[^A-Za-zA-Яа-я0-9\!""#$%&'\(\)*+-.\/\:\;\?@\[\\\]^_\`\{\|\}\~№\s\n\t]";
РезультатПоиска = СтрНайтиПоРегулярномуВыражению(Текст, Паттерн);
НоваяСтрока = ТаблицаВариантов.Добавить();
НоваяСтрока.Кодировка = ИмяКодировки;
Если РезультатПоиска.НачальнаяПозиция > 0 Тогда
// Подсчитываем количество вхождений для выбора лучшего варианта
НоваяСтрока.Ошибок = 100; // Условный вес ошибки
Иначе
Возврат Текст; // Идеальное совпадение
КонецЕсли;
Исключение
Продолжить;
КонецПопытки;
КонецЦикла;
// Если идеального совпадения нет, выбираем вариант с минимальным количеством аномалий
ТаблицаВариантов.Сортировать("Ошибок Возр");
Док.Прочитать(ПутьКФайлу, ТаблицаВариантов[0].Кодировка);
Возврат Док.ПолучитьТекст();
КонецФункции
В наиболее продвинутых конфигурациях, таких как 1С:ERP Управление предприятием, используется метод сравнения с алфавитом. Проанализируем его логику: алгоритм берет эталонный алфавит (русский + английский + цифры), кодирует его в проверяемую кодировку и сравнивает байтовое представление файла с байтовым представлением алфавита.
Выясним причину эффективности этого метода: он не просто ищет "плохие" символы, а оценивает процент "полезных" символов. Если в файле 95% байтов соответствуют кодам букв русского алфавита в кодировке Windows-1251, то это почти наверняка она.
Рассмотрим упрощенный фрагмент кода, реализующий эту логику:
Функция ПроцентСоответствияАлфавиту(ДвоичныеДанныеФайла, ПроверяемаяКодировка)
Алфавит = "АаБбВвГгДдЕеЁёЖжЗзИиЙйКкЛлМмНнОоПпРрСсТтУуФфХхЦцЧчШшЩщЪъЫыЬьЭэЮюЯя"
+ "AaBbCcDdEeFfGgHhIiJjKkLlMmNnOoPpQqRrSsTtUuVvWwXxYyZz"
+ "1234567890 ";
// Переводим алфавит в байты исследуемой кодировки
Поток = Новый ПотокВПамяти;
Запись = Новый ЗаписьДанных(Поток);
Запись.ЗаписатьСтроку(Алфавит, ПроверяемаяКодировка);
Запись.Закрыть();
БайтыАлфавита = Поток.ЗакрытьИПолучитьДвоичныеДанные();
// Далее выполняется поиск вхождений байтов из БайтыАлфавита в ДвоичныеДанныеФайла
// Чем больше совпадений, тем выше вероятность правильности кодировки
// Возвращается число от 0 до 1
КонецФункции
Этот метод особенно хорош тем, что он позволяет различать Windows-1251 и KOI8-R. Обе эти кодировки являются однобайтными и содержат русские буквы, но под разными кодами. Обычная проверка на "битые" символы здесь не сработает, так как любые байты выше 128 будут считаться какими-то буквами в обеих кодировках. Только частотный анализ (поиск наиболее вероятных букв) дает верный результат.
Для надежного определения кодировки мы рекомендуем комбинированный подход:
UTF.ANSI (Windows-1251), OEM (CP866) и KOI8-R.Используя предложенные методы, вы сможете минимизировать ошибки при импорте данных и сделать работу пользователей в 1С более комфортной.