RU2479028C2 - Способ распознавания контентного содержания сообщений графических форматов - Google Patents
Способ распознавания контентного содержания сообщений графических форматов Download PDFInfo
- Publication number
- RU2479028C2 RU2479028C2 RU2011110658/08A RU2011110658A RU2479028C2 RU 2479028 C2 RU2479028 C2 RU 2479028C2 RU 2011110658/08 A RU2011110658/08 A RU 2011110658/08A RU 2011110658 A RU2011110658 A RU 2011110658A RU 2479028 C2 RU2479028 C2 RU 2479028C2
- Authority
- RU
- Russia
- Prior art keywords
- graphic
- content
- images
- messages
- image
- Prior art date
Links
Images
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
Изобретение относится к автоматике и вычислительной технике и может быть использовано для предварительной обработки сообщений графического формата (СГФ). Технический результат состоит в расширении возможностей по распознаванию, которые заключаются в возможности выявлять изображения, содержащие рисунки, баннеры, чертежи, диаграммы, тексты, таблицы и графические интерпретации кодов; а также в ускорении процесса обработки. Способ распознавания контентного содержания сообщения графического формата основан на последовательности операций, в результате которых декодируют сообщение с целью формирования растра изображения, оценивают объем растра изображения (произведение размеров изображения), вычисляют значение информативного признака, характеризующего неопределенность в структуре растра изображения. Предложенный способ позволяет повысить уровень автоматизации действий по контролю за контентным содержанием сообщений, передаваемых в графическом виде, а также составляет основу для построения системы анализа и отбора сообщений графических форматов путем реализации модели отбора и методики обработки СГФ в условиях их априорной семантической неопределенности. 2 ил., 1 табл.
Description
Изобретение относится к автоматике и вычислительной технике и может быть использовано для предварительной обработки сообщений графического формата (СГФ). Предлагаемый способ позволяет выявить контентное содержание растрового изображения.
В настоящее время известны различные способы распознавания сообщений и обработки информации. В частности, в качестве аналогов можно назвать следующие способы.
1. Дерягин Д.Г., Сапроненко В.М. Способ распознавания текстовой информации из векторно-растрового изображения. Патент РФ №2309456, G06K 9/36, 2007 // Изобретения. - М.: ФИПС, 2007.
2. Чанде С., Сааринен П. Обработка информации. Патент РФ №2387007, G06K 9/00, 2010 // Изобретения. - М.: ФИПС, 2010.
3. Лысенко В.Л. Способ распознавания кодированных изображений. Патент РФ №2126552, G06K 9/00, 1999 // Изобретения. - М.: ФИПС, 1999.
В качестве прототипа при разработке предлагаемого способа распознавания контентного содержания СГФ использован «Способ распознавания текстовой информации из векторно-растрового изображения» Патент РФ №2309456, G06K 9/36, 2007. В прототипе для решения задачи выявляют текстовые объекты и извлекают информацию о визуальном оформлении документа.
В прототипе в рамках предварительной обработки (перед распознаванием символов) используя атрибуты форматирования файла, имеющиеся в файле растрового изображения, выполняют следующие операции.
1) Выполняют разбиение изображения до получения областей (фрагментов), содержащих неразрывный логически связанный текст наибольшего размера. Для этого изображение разбивают на области, предположительно содержащие текст, и затем анализируют соседние области на возможность их объединения в более крупные фрагменты.
2) Выполняют разбиение текстовых объектов на отдельные символы и группы символов по предполагаемым местам размещения пробелов или других неидентифицируемых символов, анализ и составление (объединение, сборка) групп символов в строки. Для разбиения на отдельные символы и группы символов выполняют преобразование абсолютных координат символов в группы, разделенные пробелами и увеличенными межсимвольными промежутками.
3) Выполняют обработку и анализ растровых объектов для выявления изображения текста в нетекстовых объектах, анализ для выявления векторных объектов, отличных от разделителей, в том числе выходящих за пределы объекта.
Недостаток прототипа состоит в его применимости для извлечения только текстовой информации и информации о форматировании документа.
Технический результат предлагаемого способа состоит в расширении возможностей по распознаванию контентного содержания изображений, которые заключаются в возможности выявлять сообщения графических форматов, содержащие рисунки, баннеры, чертежи, диаграммы, тексты, таблицы и графические интерпретации кодов (контентное содержание), а также в ускорении процесса обработки за счет исключения процедур разбиения изображения на связанные тексты и поиска предполагаемых мест расположения пробелов и неидентифицируемых символов.
Известный способ (прототип) не позволяет достичь заявленного технического результата.
Основу предлагаемого способа распознавания контентного содержания растрового изображения составляют теоретические предпосылки в виде выявленных статистических свойств, присущих структуре сообщений графических форматов с различным содержанием (контентом). С учетом этого способ включает в себя два основных этапа (фиг.1).
На первом этапе реализации способа определяют (оценивают) объем растра изображения, содержащегося в СГФ, и отсеивают сообщения, принадлежащие к элементам Web-дизайна (баннеры). На втором этапе оценивают значение признаков, характеризующих энтропию сообщений графических форматов и принимают решение о контентном содержании сообщения.
Предлагаемый способ позволяет разделять сообщения графических форматов на следующие классы:
- сообщения графических форматов, содержащих художественные изображения (фотографии, рисунки), - гипотеза W1;
- сообщения графических форматов, содержащих изображения с малой динамикой структурных связей в растре (комиксы, чертежи, диаграммы, схемы), - гипотеза W2;
- сообщения графических форматов, содержащих изображения с большой динамикой структурных связей в растре (тексты, таблицы, карты), - гипотеза W3;
- сообщения графических форматов, содержащих неструктурированные изображения с большой динамикой связей в растре (графические коды, шифры, изображения с поврежденным растром), - гипотеза W4;
- сообщения графических форматов, содержащие изображения с малым расширением (баннеры, иконки, элементы Web-дизайна и т.д.), - гипотеза W5.
Сущность способа состоит в реализации совокупности следующих процедур.
Этап 1. Первый этап обработки СГФ предназначен для выявления сообщений с малым объемом растра и их обработки. На первом этапе выполняют следующие процедуры.
1) Принятый графический файл S(i) декодируют в сообщение графического формата S[m,n,h].
2) Сообщение графического формата преобразуют в двумерный массив размером m×n элементов, описывающий структуру растра изображения, при этом:
- если массив является трехмерным (h=3), то СГФ преобразуют в цветоразностную систему YCrCb и для расчета информативного признака используют двумерный массив Y[m,n];
- если массив является одномерным (параметр h=1), то для расчета информативного признака используют двумерный массив S[m,n,1].
3) Определяют объем растра изображения VS=mn и полученное значение объема растра VS сравнивают с пороговым значением VP, при этом:
- если полученное значение объема растра VS удовлетворяет неравенству VS<VP, то принимают решение в пользу гипотезы W5;
- если полученное значение объема растра VS удовлетворяет условию VS≥VP, то принимают решение о принадлежности СГФ к одной из гипотез W1, W2, W3 или W4 и исходные данные поступают для расчета значения информативного признака.
В рамках предлагаемого способа в качестве порогового значения объема растра предлагается величина VP≈40000, которая определяется на основе анализа многочисленных СГФ в реальных каналах передачи данных.
Этап 2. На втором этапе производится вычисление и оценивание результирующего информативного признака, по значениям которого СГФ разделяется на указанные классы. На втором этапе выполняют следующие процедуры.
1) Рассчитывают значение результирующего информативного признака 
характеризующего контентное содержание СГФ.
Для вычисления результирующего информативного признака при распознавании контента СГФ предлагается многоуровневая схема преобразований структурных признаков объекта с целью получения значений, характеризующих энтропию СГФ.
В рамках решения задачи оценивания контентного содержания сообщений графических форматов первичными признаками, доступными субъекту непосредственно или с помощью специальных средств наблюдения, являются элементы структуры растра вида
которые объединяют в две подгруппы признаков первого уровня и образуют упорядоченные множества векторов 
, i=1(1)m и 
, j=1(1)n. С признаками первого уровня производят операцию расчета построчного (постолбцового) коэффициента корреляции между соседними векторами из множеств 
, i=1(1)m и 
, j=1(1)n, в результате чего образуются признаки второго уровня в виде коэффициента корреляции:
Признаки второго уровня представляют собой элементы векторов 
и 
, в которых содержатся результаты расчета построчных (постолбцовых) коэффициентов корреляции. Над признаками второго уровня производят операцию вычисления отклонений элементов векторов 
и 
коэффициентов корреляций от значений линейных трендов 
и 
:
В результате вычисления отклонений формируются признаки третьего уровня в виде:
Признаки третьего уровня представляют собой значения элементов векторов 
и 
, которые характеризуют нелинейные отношения элементов структуры растра изображения. При этом чем больше динамика изменения значений соседних элементов векторов 
и 
, тем больше динамика (хаотичность) нелинейных связей в структуре растра изображения, т.е. тем больше энтропия СГФ. Вычислительные процедуры на третьем уровне обеспечивают расчет величины, характеризующей зависимость (динамику) между элементами векторов 
и 
, которая представляет собой среднее значение разности соседних элементов в массивах 
и 
:
В результате вычислений по формулам (8) и (9) образуются признаки четвертого уровня, которые определяют числовые значения составляющих d(г)(Е<m-1>) и d(в)(Е<n-1>) результирующего информативного признака оценивания контентной информации СГФ.
На четвертом уровне вычисляют значение результирующего информативного признака 
по выражению вида
и разделяют изображений в соответствии с их контентным содержанием.
Таким образом, вычисление результирующего информативного признака для разделения изображений с различным контентным содержанием осуществляют с помощью сложной четырехуровневой системы преобразований структурных признаков исходного СГФ. В результате преобразований признаковое пространство сокращается в (m·n-1) раз, что существенно уменьшает размеры признаковых описаний.
2) Полученное значение информативного признака 
сравнивают с пороговыми значениями Hp1, Hp2 и Hp3 (исследуют значение информативного признака 
), при этом:
- если полученное значение результирующего информативного признака 
удовлетворяет условию 
, то принимают решение в пользу гипотезы W1;
- если полученное значение результирующего информативного признака 
удовлетворяет условию 
то принимают решение в пользу гипотезы W2;
- если полученное значение результирующего информативного признака 
удовлетворяет условию 
то принимают решение в пользу гипотезы W3;
- если полученное значение результирующего информативного признака 
удовлетворяет условию 
, то принимают решение в пользу гипотезы W4.
Для определения численного значения порогов принятия решения Hp1, Hp2 и Hp3 требуется оценить статистические характеристики (законы распределения) величины 
для каждого класса СГФ. В силу того что генеральная совокупность СГФ (множество различных СГФ) бесконечна, оценивание законов распределения и числовых характеристик необходимо осуществлять на основе выборочного метода.
Для проведения выборочных наблюдений важно правильно установить требуемый объем выборки NTp, который в значительной степени определяет необходимые при этом временные, трудовые и стоимостные затраты. Для определения объема выборки необходимо задать надежность (доверительную вероятность β) и точность (доверительный интервал ε) оценок.
Для построения статистической плотности распределения вероятностей 
необходимо провести серию из NТрφ испытаний по схеме Бернулли (независимых и однородных). Задав максимальную вероятностную погрешность статистической оценки плотности распределения ε и доверительную вероятность β, количество проводимых испытаний NТрφ можно оценить по формуле
где Ф(tβ)=β.
Количество испытаний, вычисленное по формуле (11) при максимальной вероятной погрешности ε=1% и доверительной вероятности β=0,95, принимает значение NТрφ=9600.
В результате исследований результирующего информативного признака методом статистических испытаний доказана возможность его описания в виде нормальных законов распределения с соответствующими оценками математического ожидания и дисперсии 
(фиг.2) для четырех классов изображений, содержащих различную контентную информацию (табл. 1).
В связи с отсутствием априорных вероятностей появления объектов рассматриваемых классов в канале связи, а также матрицы потерь от неправильных решений для обоснования пороговых значений целесообразно использовать критерий Неймана-Пирсона. Результаты вычисления пороговых значений представлены в таблице 1.
| Таблица 1 | ||||
| Классы изображений и их статистические характеристики | ||||
| Классы изображений | Гипотеза | Статистическое описание класса (нормальный закон распределения с параметрами  |
Пороговые значения | Условие принятие решения в пользу соответствующей гипотезы |
| Художественные изображения (фотографии, рисунки) | W1 | N (58,1; 18,9) | Hp1=29,1 |
 |
| Структурированные изображения с малой динамикой (комиксы, чертежи, диаграммы, схемы) | W2 | N (19,9; 3,8) | Hp2=13,8 |
 |
| Структурированные изображения с большой динамикой (тексты, таблицы, карты) | W3 | N (8,3; 3,1) | Hp3=4,1 |
 |
| Неструктурированные изображения с большой динамикой (коды, ошибки) | W4 | N (2,8; 0,6) |
 |
|
Разработанный способ позволяет осуществлять предварительное распознавание контентного содержания СГФ и основан на различиях статистических свойств структурных связей между элементами растра изображений.
Предложенный способ позволяет повысить уровень автоматизации действий по контролю за контентным содержанием сообщений, передаваемых в графическом виде, а также составляет основу для построения системы анализа и отбора сообщений графических форматов путем реализации модели отбора и методики обработки СГФ в условиях их априорной семантической неопределенности.
Claims (1)
- Способ распознавания контентного содержания сообщения графического формата, включающий операцию декодирования графического файла с целью формирования растра изображения, отличающийся тем, что выполняют операции по преобразованию структурных признаков изображения, вычисляют объем растра изображения, построчные и постолбцовые коэффициенты корреляции в растре изображения, отклонения значений коэффициентов корреляции от линейного тренда, среднее значение разности соседних элементов в массивах, результирующий информативный признак, характеризующий энтропию сообщений графических форматов, разделяют изображения на классы по следующим видам контентного содержания сообщений графических форматов: изображения баннеров, «иконок», элементов Web-дизайна, художественные изображения (фотографии, рисунки), структурированные изображения с малой динамикой (комиксы, чертежи, диаграммы, схемы), структурированные с большой динамикой (тексты, таблицы, карты), неструктурированные с большой динамикой (коды, ошибки).
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2011110658/08A RU2479028C2 (ru) | 2011-03-21 | 2011-03-21 | Способ распознавания контентного содержания сообщений графических форматов |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2011110658/08A RU2479028C2 (ru) | 2011-03-21 | 2011-03-21 | Способ распознавания контентного содержания сообщений графических форматов |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2011110658A RU2011110658A (ru) | 2012-09-27 |
| RU2479028C2 true RU2479028C2 (ru) | 2013-04-10 |
Family
ID=47078061
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2011110658/08A RU2479028C2 (ru) | 2011-03-21 | 2011-03-21 | Способ распознавания контентного содержания сообщений графических форматов |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2479028C2 (ru) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2680358C1 (ru) * | 2018-05-14 | 2019-02-19 | Федеральное государственное казенное военное образовательное учреждение высшего образования Академия Федеральной службы охраны Российской Федерации | Способ распознавания контента сжатых неподвижных графических сообщений в формате jpeg |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SU1559358A1 (ru) * | 1987-07-20 | 1990-04-23 | Таганрогский радиотехнический институт им.В.Д.Калмыкова | Устройство дл формировани информативных признаков при распознавании изображений |
| EP0457547A2 (en) * | 1990-05-15 | 1991-11-21 | Canon Kabushiki Kaisha | Information recognition apparatus and method |
| RU2126552C1 (ru) * | 1995-05-22 | 1999-02-20 | Войсковая часть 25714 | Способ распознавания кодированных изображений |
| RU2309456C2 (ru) * | 2005-12-08 | 2007-10-27 | "Аби Софтвер Лтд." | Способ распознавания текстовой информации из векторно-растрового изображения |
| RU2363047C1 (ru) * | 2007-10-31 | 2009-07-27 | ЗАО "Лаборатория Касперского" | Способ обнаружения текста в растровом изображении (варианты) и способ выявления спама, содержащего растровые изображения |
-
2011
- 2011-03-21 RU RU2011110658/08A patent/RU2479028C2/ru not_active IP Right Cessation
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SU1559358A1 (ru) * | 1987-07-20 | 1990-04-23 | Таганрогский радиотехнический институт им.В.Д.Калмыкова | Устройство дл формировани информативных признаков при распознавании изображений |
| EP0457547A2 (en) * | 1990-05-15 | 1991-11-21 | Canon Kabushiki Kaisha | Information recognition apparatus and method |
| RU2126552C1 (ru) * | 1995-05-22 | 1999-02-20 | Войсковая часть 25714 | Способ распознавания кодированных изображений |
| RU2309456C2 (ru) * | 2005-12-08 | 2007-10-27 | "Аби Софтвер Лтд." | Способ распознавания текстовой информации из векторно-растрового изображения |
| RU2363047C1 (ru) * | 2007-10-31 | 2009-07-27 | ЗАО "Лаборатория Касперского" | Способ обнаружения текста в растровом изображении (варианты) и способ выявления спама, содержащего растровые изображения |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2680358C1 (ru) * | 2018-05-14 | 2019-02-19 | Федеральное государственное казенное военное образовательное учреждение высшего образования Академия Федеральной службы охраны Российской Федерации | Способ распознавания контента сжатых неподвижных графических сообщений в формате jpeg |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2011110658A (ru) | 2012-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476067B (zh) | 图像的文字识别方法、装置、电子设备及可读存储介质 | |
| CN109189767B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
| CN107093172B (zh) | 文字检测方法及系统 | |
| KR102275413B1 (ko) | 플로우 문서를 생성하기 위한 이미지 문서 컴포넌트 검출 및 추출 기법 | |
| CN107967475A (zh) | 一种基于窗口滑动和卷积神经网络的验证码识别方法 | |
| CN105447522A (zh) | 一种复杂图像文字识别系统 | |
| CN111738169B (zh) | 一种基于端对端网络模型的手写公式识别方法 | |
| CN105608454A (zh) | 基于文字结构部件检测神经网络的文字检测方法及系统 | |
| CN111144079B (zh) | 一种智能获取学习资源的方法、装置、打印机和存储介质 | |
| JP2006053920A (ja) | 文字認識プログラム、文字認識方法および文字認識装置 | |
| CN111866004A (zh) | 安全评估方法、装置、计算机系统和介质 | |
| CN111078876A (zh) | 一种基于多模型集成的短文本分类方法和系统 | |
| Balcan et al. | Learning to link | |
| CN113590764A (zh) | 训练样本构建方法、装置、电子设备和存储介质 | |
| US11983171B2 (en) | Using multiple trained models to reduce data labeling efforts | |
| RU2479028C2 (ru) | Способ распознавания контентного содержания сообщений графических форматов | |
| Boillet et al. | Confidence estimation for object detection in document images | |
| Yamada et al. | The character generation in handwriting feature extraction using variational AutoEncoder | |
| CN112036323B (zh) | 签名笔迹鉴别方法、客户端及服务器 | |
| CN111651960A (zh) | 一种从合同简体迁移到繁体的光学字符联合训练及识别方法 | |
| KR102076763B1 (ko) | 기댓값 최대화 기반 네트워크 임베딩을 활용한 링크 예측 장치 및 방법 | |
| Valy et al. | Text Recognition on Khmer Historical Documents using Glyph Class Map Generation with Encoder-Decoder Model. | |
| Kohmura et al. | Determining optimal filters for binarization of degraded characters in color using genetic algorithms | |
| Pourasad et al. | Farsi font recognition using holes of letters and horizontal projection profile | |
| CN112560849A (zh) | 基于神经网络算法的文理分割方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20130322 |