Современное состояние проблемы оценки качества сканирования бумажных оригиналов в России и за рубежом

Клещарь С.Н.

Проблема сохранности документов в век цифровых технологий относится к категории постоянных и требует создания системы, позволяющей осуществлять наряду с оперативным доступом к документированной информации ее надежное сохранение.

В современном мире человеку сложно справиться с большими объемами поступающей информации без компьютерной поддержки. Бурное развитие электронных технологий не обошло стороной сферу сохранения документированной информации. Современные технологии создали новые виды носителей информации — небумажные носители информации.

Это понятие активно входит в нашу жизнь.

Небумажные носители — обеспечивают оперативный доступ к любой необходимой информации.

Новые технологии и новые носители информации разрушили устоявшиеся нормы и правила обращения с документами. Глобальная информационная сеть обеспечила возможность всеобщего доступа к огромным информационным ресурсам. Компьютеризация всех сфер нашей жизни, внедрение инновационных технологий и современной техники позволили создавать совершенно новые источники информации — виртуальные базы данных, массивы электронных документов, электронные библиотеки. Расширяется сфера предоставления услуг населению в электронном виде.

В последнее время концепция предоставления государственных услуг в электронном виде получила существенную поддержку в виде законов, которые кардинальным образом должны изменить взаимодействие гражданина с властью по любым вопросам.

Российская законодательная база, связанная с информатизацией, электронными услугами, начала активно развиваться и совершенствоваться с 1995 года. Всего в России действует более 200 нормативных актов, так или иначе регулирующих предоставление услуг в электронном виде.

Таким образом, с точки зрения нормативного регулирования государство сделало очень многое для перевода страны на рельсы информационных технологий и налаживания электронного взаимодействия между ведомствами, гражданами и организациями.

Вместе с тем в России в этой области явно не хватает нормативных документов, стандартов. Причина достаточно банальна — государственным организациям, традиционно занимающимися этими вопросами не выделяется сколько-нибудь существенного финансирования. Начинает ощущаться нехватка специалистов, владеющих необходимыми знаниями в данном вопросе. Работа в области разработки нормативных документов по регулированию процесса создания КАЧЕСТВЕННЫХ ЭЛЕКТРОННЫХ ФОНДОВ либо вообще не началась, либо находится в зачаточном состоянии.

В России сейчас огромный голод на современные методические документы, и мы могли бы использовать в своей работе опыт и лучшие национальные стандарты различных стран мира. Необходимо активнее отбирать подходящие международные стандарты, анализировать их адаптировать к российской действительности и на их основе разрабатывать российские нормативные документы. У России есть возможность выбрать те международные документы, на которые мы могли бы в дальнейшем опереться при разработке своего национального стандарта.

Связано это, прежде всего с тем, что в ведомствах, государственных и муниципальных архивах и учреждениях скопились десятки миллионов документов на бумаге. Сегодня оцифровка документов является необходимым условием. Требование времени — перевести накопленные бумажные массивы в электронный вид. Решение этой задачи позволит обеспечить документационную поддержку государственных услуг.

Переведенные в электронный вид бумажные документы-де-факто становятся официальной информацией.

Проблема оцифровки документов, предлагаемая сегодня для вашего обсуждения, является достаточно важной и актуальной. В современном мире происходит настоящий бум оцифровки, процессы перевода документов на бумажных носителях в электронную форму приняли массовый характер. Оцифровку осуществляют органы государственной власти, архивы, библиотеки, музеи, промышленные предприятия и другие учреждения. Преимущества электронных документов общеизвестны и не подлежат сомнению, однако, требования к качеству получаемых цифровых копий четко не сформулированы, и на практике сильно отличаются в зависимости от целей и задач сканирования, от используемых подходов и оборудования. Более того, отсутствуют объективные критерии оценки качества электронных копий бумажных документов и практически не используются инструменты для такой оценки. В настоящее время в России отсутствуют какие-либо нормативные документы по данному вопросу. Сегодня вполне реально организовать разработку государственного сбалансированного стандарта, учитывающего интересы, как государственных учреждений, так и бизнеса.

Ситуацию, сложившуюся сегодня с переводом в электронный вид бумажных документов можно сравнить со строительством дороги в горах. Основные взрывные работы проведены, и по дороге уже можно идти, но пока только пешком — вокруг множество неубранных камней и ям. Чтобы пустить скорый поезд электронного документооборота, потребуется время на обустройство трассы — на разработку новых норм и правил, на проверку на практике и на обкатку новых методик.

Сильно мешает то, что у нас не получается просто взять и использовать апробированный и проверенный чужой опыт.

Вопрос нормативного регулирования оцифровки бумажных документов до последнего времени даже не поднимался. Сегодня, уважаемые коллеги мы призываем вас обратить внимание на эту проблему.

В деле нормативного регулирования процессов оцифровки документов мы отстаем даже от наших ближайших соседей, не говоря уже о США и странах Европейского союза.

Одним из способов ликвидации отставания от передовых стран является активное использование уже накопленного ими опыта, зафиксированного в стандартах и методических рекомендациях этих стран.

Понятно, что попытки слепо скопировать успешный опыт вряд ли приведут к желаемому результату. Необходим взвешенный, критический подход к зарубежным материалам, но их использование может помочь, прежде всего, в ускорении разработки национальных нормативных документов (ГОСТ). Кроме того, благодаря опыту зарубежных коллег мы сможем отсечь тупиковые, не оправдавшие надежд пути развития.

Стоит внимательно изучать опыт не только западных стран, но и стран СНГ. Он представляет интерес, прежде всего потому, что все эти республики начинали модернизацию экономики и государственного управления при близких начальных условиях, имея за плечами те же традиции и однотипную законадательно-нормативную базу.

В зарубежных странах, данной проблеме, уделяется пристальное внимание. В мире разрабатываются, утверждаются и применяются соответствующие нормативные документы — стандарты, рекомендации, методики, руководства и т. д. Исторически первым нормативным документом по данному направлению стал национальный стандарт США ANSI/AIIM MS44 под названием «Руководящие указания для контроля качества сканеров изображений». Этот документ, несмотря на сравнительно большой «возраст», является действующим.

В нем устанавливается и раскрывается базовая терминология, основные параметры и критерии оценки качества сканирования, а так же подходы к их практическому измерению. На основе данного национального стандарта США с учетом современных требований в 2000 г. были разработаны и вступили в действие международные стандарты ISO 12653–1 «Тест-объект для сканирования черно-белых офисных документов — Часть 1: Характеристики» и ISO 12653–1 «Электронное формирование изображения — Тест-объект для сканирования черно-белых офисных документов — Часть 2: Метод применения».

Оба документа ISO описывают характеристики и порядок использования тест-объекта, предназначенного для оценки качества сканирования черно-белых офисных документов.

Тест-объект предназначен для оценки качества работы планшетных и ротационных черно-белых сканеров для непрозрачных носителей, использующихся в системах преобразования документов в электронный вид. Он разработан для обеспечения текущей проверки работы сканирующей системы и для установления пределов ее возможностей.

Вопросами оцифровки занимаются и другие зарубежные организации. Так, большое внимание проблеме качества сканирования бумажных документов уделяется в рамках проекта по сохранению культурного наследия «Метаморфоза», реализуемого в Голландии на протяжении почти 15 лет. Программа является инициативой министерства образования, культуры и науки Нидерландов, и включает в себя, в том числе и мероприятия по оцифровке различных периодических изданий.

Сегодня, впервые в России разработчики данного проекта готовы поделиться своими достижениями с участниками нашей Конференции.

Нельзя пройти мимо, Методических рекомендаций унификации процесса оцифровывания архивных документов и идентификаций их копий принятых Республикой Беларусь в 2007 году.

Для нас СЕГОДНЯ в этом вопросе представляет интерес опыт как больших, так и маленьких стран; как лидеров, так и аутсайдеров.

Спустя непродолжительное время, как мне кажется, все-таки будут разработаны ОБЯЗАТЕЛЬНЫЕ ТЕБОВАНИЯ предъявляемые к процессу оцифровки аналоговых документов и вероятно будет создана система сертификации на соответствие таким требованиям. Такая практика существует в США, все шире распространяется в странах Евросоюза, и о введении таких требований говорят уже и в Украине.

Стандарты в этой области необходимы. И самое главное заключается в том, что они помогут нам догнать мировых лидеров в деле построения электронного документооборота и информационного общества.

Разработка российского нормативного документа, регламентирующего процессы оцифровки бумажных документов и создания их электронных копий, должна базироваться на научной основе.

Что же собой представляет процесс ОЦИФРОВКИ………?

Мы имеем аналоговый документ в воспринимаемой человеком форме. Используя современное высокотехнологичное оборудование, преобразуем данный документ в совершенно иной — ЦИФРОВОЙ формат. Информация приобретает вид машинного кода.

Для глубокого понимания процесса преобразования необходимо построить математическую модель. Понимание процесса преобразования неизбежно приведет либо к улучшению, либо к удешевлению процесса оцифровки информации.

Математическая модель позволит выявить узкие места преобразования информации, определить направления для улучшения технологии, выявить параметры, по которым можно оценивать качество процесса. В ходе моделирования могут быть выбраны инструменты позволяющие осуществлять контроль качества оцифровки.

Формирование цифровых изображений, преобразование аналогового изображение в цифровое основывается на тех же общих принципах, что и зарекомендовавшее себя МИКРОФИЛЬМИРОВАНИЕ: заместитель, или цифровая копия, должен являться точной репродукцией оригинала. Это значит, что вся информация, видимая на оригинале, должна присутствовать на цифровой копии и производных изображениях, сделанных с этой копии. Чтобы этого достичь, важно обеспечить поддающееся проверке соотношение между цифровой копией и оригинальным документом на основе объективно измеряемых критериях качества. В числе основных критериев такого рода используются такие параметры изображения, как тоновое воспроизведение, гамма яркости, шум, точность цветопередачи, резкость, геометрические искажения и др.

Сегодня очень важно уделять самое пристальное внимание подобным критериям при создании электронных копий документов.

Уважаемые коллеги, сегодня в этом зале присутствуют специалисты, руками которых создаются бесценные электронные архивы.

Документальные фонды — это неисчерпаемый источник материальных и духовных ценностей, накопленных человечеством за многие столетия. Наша задача, не только сохранить их для последующих поколений, но и обеспечить доступ пользователей.

Большинство документов, в современном мире — это документы на бумажных носителях. Бумага, как известно, достаточно чувствительный материал и подвержен безжалостному разрушению временем.

Отработанные технологии позволяют переносить информацию с уникальных документов, представляющих собой национальное, историческое и культурное наследие, на другие типы носителей. Сегодня мы не имеем права допустить потери хоть части информации при переносе ее на другие типы носителей. Наши потомки могут нам это не простить.

Зарекомендовавшая себя, и проверенная временем микрографическая технология, позволяет качественно переносить на галагенидосеребрянную микропленку информационное содержание документов, изготавливать аутеитичную копию. Этот процесс регламентирован и стандартизирован.

Вместе с тем, необходимо уделить самое пристальное внимание вопросам оценки качества процессов сканирования и качеству получаемых электронных копий документов.

Сегодня в нашем институте репрографии проводятся экспериментальные исследования по вопросу оценки качества цифровых копий документов после их оцифровки в различных сканирующих системах.

Для объективной оценки качества цифровой копии документа используется метод, зарекомендовавший себя в микрофильмировании. Определены критерии, по которым возможно оценивать качество процесса оцифровки. Эти критерии частично берутся из международных стандартов и норм, и частично — из экспериментальных исследований, проводимых в институте.

Проведенный анализ существующих стандартов подтверждает правильность выбранного метода оценки качества цифровых копий.

В качестве основных параметров оценки определены такие как:

• однородность;
• искажения и отклонения;
• разрешающая способность;
• динамический диапазон и пространственная частота;
• шум;
• цветопередача.

В качестве инструментов контроля используются, зарекомендовавшие себя в микрографии тест-объекты МИРЫ. Процесс оценки качества проводится с использованием графических программ на экране монитора, или по результатам сравнения полученной бумажной копии с оригиналом.

Оценка качества тонового воспроизведения — одного из важнейших технических критериев качества проводится по серой шкале. Оценка данного параметра позволяет понять качество тонового воспроизведения. Для цифровых изображений точность тоновоспроизведения, или контраст играет важную роль и от данных критериев зависит качество полученной электронной копии документа.

Цифровые изображения должны быть по возможности, свободны от ШУМА. Шум можно описать, как нежелательные световые колебания на изображении, отсутствующие на оригинале. Шум может быть хаотичным или более упорядоченным.

Точность цветопередачи оценивается с помощью цветовой МИРЫ. Оценка качества цветопередачи сводится к сравнению цвета на изображении с их эталонными значениями В цветовом пространстве LAB. Цвета сравниваются по трем параметрам: оттенок, насыщенность и яркость.

Разрешающая способность позволяет определить ТОЧНОСТЬ ВОСПРОИЗВЕДЕНИЯ ДЕТАЛЕЙ. Зарекомендовавшая себя в МИКРОГРАФИИ Мира Корделье, не позволяет оценить качество точности воспроизведения деталей из-за особенности формирования растрового изображения. Было предложено использовать «контрольную точку — букву „е“ размером 6 точек на 1 мм» так как это самая маленькая буква используемая в газетном шрифте. Если эта буква воспроизведена четко, то все остальные буквы будут читаемыми.

Точное воспроизведение означает что:

• отдельные элементы букв не смыкаются
• все линии и детали четко различимы
• все линии не сливаются с фоном
• буква не «разорвана»

Размер мельчайшего элемента буквы высотой шесть точек составляет 0,2 мм. Следовательно, точное воспроизведение буквы высотой шесть точек демонстрирует, что все детали размером 0,2 мм и больше будут четко воспроизведены.

Для воспроизведения деталей размером 0,2 мм необходима разрешающая способность СИСТЕМЫ 5 пар линий/мм. Разрешающая способность определяется при помощи зарекомендовавшего себя в микрографии тест-объекта ТО-2.

Все эти параметры необходимо проверять регулярно:

• в начале каждого периода сканирования
• и после сканирования каждых 500 изображений

Для удобства проверки качества настройки сканирующей системы и подтверждения ее работы в необходимом режиме разработаны ТЕХНИЧЕСКИЕ МИРЫ.

Сегодня процесс оценки качества работы сканирующих устройств далек от совершенства и довольно трудоемкий. Визуальный осмотр человеком потенциально подвержен отклонениям и вариациям. Отработанные в ведущих европейских странах технологии позволяют автоматизировать этот процесс и исключают субъективный фактор оценки качества оператором.

Для оценки качества используется так называемый универсальный тест-объект (UTT), позволяющий комплексно оценивать качество изображения сканирующих устройств.

Идея универсального тест-объекта в том, что он должен оценивать все основные параметры качества изображения и в тоже время быть масштабируемым.

Преимущество универсального тест-объекта заключается также и в том, что он может использоваться совместно с программным обеспечением, которое позволяет автоматизировать процессы оценки качества сканирования.

Все это предполагает следующие достоинства данного инструмента контроля:

1. снижение трудоемкости;
2. возможность автоматизированного контроля качества сканирования;
3. комплексность оценки;
4. повышение эффективности контроля качества за счет того, что программное обеспечение сообщает оператору о превышении определенных значений с выдачей информации относительно возможных причин ошибок и рекомендаций о том, как их исправить.

В зарубежных СМИ сообщается, что одобрительная реакция на тест-объект последовала из Франции, Англии, и США.

Что касается стран ближнего зарубежья, то заслуживает внимания опыт белорусских специалистов по определению параметров качества сканирования, закрепленный в Методических рекомендациях по унификации процесса оцифровывания архивных документов, утвержденных Государственной архивной службой Республики Беларусь. В указанном документе устанавливаются требования к качеству изображения цифровых копий документов и вводится количественный показатель «индекс качества» (QI). Для расчета индекса качества используется формула, разработанная Корнельским университетом (США) применительно к оцифровыванию документов. Эта формула основана на адаптации метода индекса качества, используемого в стандартах по микрофильмированию.

Формула для оцифровывания текста связывает качество (QI) с размером высоты знака (h) в мм, разрешением (dpi) и режимами сканирования. Использование формулы требует измерения высоты букв в документах, которые планируются к оцифровыванию. Для оценки используется высота строчной буквы «e» в печатном материале.

Определенные достижения получены в Украине. Проведенные исследования в Национальной библиотеке Украины им. Вернадского позволили разработать методику оцифровки уникальных библиотечных фондов. Комплексный подход к сканированию особо редких и уникальных изданий решен так же в проекте «Электронный Музей Книги» (Кировоград) ОН позволил выработать единые подходы к вопросу оцифровки бумажных документов и получению электронных копий высокого качества.

В России различные ведомства, учреждения, организации выполняют работы по оцифровке бумажных документов. В некоторых существуют свои Методики оцифровки документов и контроля качества полученных электронных образов. Показателен пример корпорации «Электронный архив», которая единственная в мире сумела оцифровать архивные документы второй мировой войны и обеспечить к ним доступ пользователей всего мира. В рамках нашей конференции они готовы поделиться опытом этой работы.

Как мы видим в России работы по оцифровке бумажных фондов идут. Каждая техническая лаборатория выполняет эту работу, руководствуясь собственным опытом. В России отсутствует единый подход к решению данных проблемных вопросов. Настала острая необходимость, используя опыт ведущих стран, разработать нормативный документ ГОСТ, который позволит установить показатели качества электронных копий документов, их допустимые значения, методы контроля этих значений, а так же общие технические требования к изготовлению электронных копий документов, что позволит обеспечить техническую и информационную совместимость процессов оцифровки в России.

Федеральное государственное унитарное предприятие «Научно-исследовательский институт репрографии» возглавляет работы в России по методическому руководству созданием единого российского страхового фонда документации. Сегодня, наряду с зарекомендовавшими себя и проверенными временем микрографическими копиями документов, назрела необходимость закладывать в страховой фонд и электронные копии документов, позволяющие оперативно получить доступ к хранимой информации и осуществить ее передачу по каналам связи.

Отработанные и внедренные в производственную практику электронно-микрографические технологии основанные на появившейся в последние годы возможности качественного преобразования цифровой информации с электронного носителя в аналоговую форму, записанную на микрофильм, а также обратного преобразования аналоговой информации с бумажного или микрографического носителя в цифровую форму.

 

Указанные процессы позволяют осуществлять перезапись документированной информации с аналоговых носителей (бумажных, микрографических) на электронные носители и обратно по представленной схеме.

В настоящее время накоплены огромные фонды оцифрованных изданий. Используя электронно-микрографические технологии наиболее ценные документы, представляющие собой национальное, историческое и культурное наследие для их гарантированного хранения (не менее 500 лет) могут быть переведены на микрографические носители.

Современные микрографические технологии позволяют с минимальными затратами записать на специальные носители информации цифровые файлы и обеспечить долговременную сохранность информации.

Вместе с тем данная технология предъявляет повышенные требования к электронным файлам, поставляемым для страхового микрофильмирования.

Одной из целей предлагаемого к разработке стандарта является совершенствование выполнения работ по созданию, сохранению и использованию ЕР СФД путем установления единых (общих) технических требований, которым должны соответствовать получаемые электронные копии документов, предназначенные для долговременного хранения путем последующего микрофильмирования в устройствах вывода цифровой информации на микрографическую пленку.

Таким образом, можно констатировать, что за рубежом существуют и применяются нормативные документы по оценке качества сканирования с использованием специальных инструментов и методик контроля. С учетом актуальности и значимости проблемы назрела необходимость разработки национального российского нормативного документа, посвященного оценке качества сканирования.

Уважаемые коллеги! Востребованность данного документа будет высокой, поскольку оцифровка занимает все большее место в процессах документооборота и создания различных фондов электронных документов, начиная от оперативных фондов пользования и заканчивая страховыми фондами для долговременного хранения.

Выражаю надежду, что совместно с вами, в ходе докладов и обсуждений, мы сможем выработать основные концептуальные положения планируемого к разработке национального нормативного документа ГОСТ, определиться с главными параметрами оценки качества сканирования и учесть при последующей разработке ГОСТа опыт наших зарубежных и отечественных коллег.