RU2541132C1 - Способ автоматической генерации скетчей и система для его осуществления - Google Patents

Способ автоматической генерации скетчей и система для его осуществления Download PDF

Info

Publication number
RU2541132C1
RU2541132C1 RU2013135344/08A RU2013135344A RU2541132C1 RU 2541132 C1 RU2541132 C1 RU 2541132C1 RU 2013135344/08 A RU2013135344/08 A RU 2013135344/08A RU 2013135344 A RU2013135344 A RU 2013135344A RU 2541132 C1 RU2541132 C1 RU 2541132C1
Authority
RU
Russia
Prior art keywords
input
original
sketch
output
sketches
Prior art date
Application number
RU2013135344/08A
Other languages
English (en)
Other versions
RU2013135344A (ru
Inventor
Надежда Львовна Щеголева
Георгий Александрович Кухарев
Original Assignee
Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)" filed Critical Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)"
Priority to RU2013135344/08A priority Critical patent/RU2541132C1/ru
Application granted granted Critical
Publication of RU2541132C1 publication Critical patent/RU2541132C1/ru
Publication of RU2013135344A publication Critical patent/RU2013135344A/ru

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

Изобретение относится к способу автоматической генерации скетчей и системе для его осуществления. Техническим результатом является повышение быстродействия формирования исходного скетча на основе исходного изображения и возможность автоматической генерации требуемой последовательности новых скетчей для готовых скетчей. Способ автоматической генерации скетчей заключается в выполнении сглаживающей фильтрации исходного цветного изображения, вычислении разности между отфильтрованным изображением и исходным цветным изображением, вычислении негатива полученной разности, вычислении суммы исходного цветного изображения с самим собой, вычислении половины суммы полученного результата и негатива разности между отфильтрованным изображением и исходным цветным изображением, преобразовании полученного изображения в полутоновое изображение исходного скетча, представлении его в виде матрицы, формировании на основе исходного скетча последовательности новых скетчей, для каждого из которых генерируется три параметра изменения лица на исходном скетче, и процедур изменения матрицы на основе этих параметров. 2 н.п. ф-лы, 7 ил.

Description

Изобретение относится к автоматике и вычислительной технике и может быть использовано для создания баз скетчей (фотороботов), предназначенных для решения задач регистрации и поиска изображений лиц по скетчам (фотороботам), поиску лиц в биометрических системах, системах видеонаблюдения и других системах технического зрения.
Динамика развития компьютерных биометрических технологий в последние годы позволила приступить к проблеме поиска оригинального изображения лица в большой базе данных по скетчу, нарисованному по описаниям свидетелей или участников некоторого события (в том числе и криминального характера). Однако стабильное распознавание скетчей и устойчивый поиск соответствующих им фотопортретов в специальных базах является на сегодня практически недостижимым, что показано в Klare В.F. et. al. Matching Forensic Sketches to Mug Shot Photos - IEEE Transactions on PAMI, 2011, Vol.33, №3, pp.639-646 и Нал Hu et. al. Matching Composite Sketches to Face Photos: A Component-Based Approach - IEEE Transactions on Information Forensics and Security, Vol.8, №3, Jan.2013, pp.191-204.
Этот факт является следствием трех основных причин: неприспособленности «старых баз фотопортретов» преступников к современным компьютерным технологиям, используемым в лицевой биометрии; отсутствия необходимых баз скетчей, на которых можно было бы моделировать и исследовать задачи сравнения скетчей и оригинальных фотопортретов; отсутствия опыта решения таких задач.
Именно поэтому интерес к проблеме автоматической генерации скетчей из фотопортретов-оригиналов не ослабевает последние несколько лет, а исследователи обратились к задачам создания баз скетчей в дополнение к известным бенчмарковым базам изображений лиц.
Известен способ (Chang L. et. al. Face Sketch Synthesis via Sparse Representation - International Conference on Pattern Recognition, 2010, pp.2146-2149) генерации скетчей, основанный на использовании библиотеки связанных фрагментов лиц фотопортретов и соответствующих им скетчей и построении оптимальных линейных моделей фото-скетч. При этом необходим анализ известных пар фото-скетч для построения связывающих их моделей, которые потом используются для синтеза скетчей из новых фото, а также средства локализации фрагментов из исходных изображений лиц и соответствующих им скетчей. Недостатком способа является практическая сложность создания полной библиотеки связанных фрагментов изображений лиц, охватывающих возможные варианты локальных областей лиц и, как следствие этого, - невозможность обеспечения высокого качества синтеза скетчей для всех возможных типов лиц. Так, например, в получаемых скетчах не всегда точно отображаются границы и формы исходных лиц, поэтому скетчи представлены в основном только центральными областями лиц.
Известен способ «Sketch generating system and method for generating sketch based on image» (патент US 8300883 B2, опубликованный 30.10.2012), основанный на использовании обучающего состава изображений и его анализа, который включает: детекцию области лица на каждом исходном изображении; построение и использование активной модели форм лица для экстракции локальных областей на лице (глаза, нос, рот); классификацию этих областей и их предобработку с нахождением по ним соответствующих элементов скетчей, из которых составляется финишный портрет скетча. Недостатком способа является большой состав процедур обработки и в том числе использование сложных в реализации алгоритмов для построения активных моделей форм лица.
Общим недостатком перечисленных способов является невозможность создания скетчей в режиме реального времени и непосредственно по заданной базе изображений лиц, а также необходимость использования дополнительных библиотек, составленных из пар фото/скетч или связанных фрагментов лиц из пар фото/скетч. Наконец, существенным недостатком этих способов являются сложные процедуры обработки исходных данных, влияющие на качество получаемых скетчей.
Известен способ (Xuewei Li and Xiaochun Cao. A Simple Framework for Face Photo-Sketch Synthesis - Mathematical Problems in Engineering, 2012, 19 p.), предназначенный для построения скетчей в режиме реального времени по заданной базе изображений лиц. Способ основан на декомпозиции исходного фотопортрета на глобальные и локальные области, их предобработке и трансформации в соответствующий скетч. Здесь глобальная область - это вся область волос (прически) или область открытой кожи. Локальные области - это глаза, брови, нос, рот, линии морщин на лице, тени и блики, позволяющие представить отдельные особенности и детали лиц. Недостатком способа является высокая сложность вычислений, требующая сглаживания исходных изображений (блюр-фильтрация, усреднение соседних пикселей, низкочастотная фильтрация), также вычисление их градиентов яркости на этапе определения положения линий морщин и теней на области лиц. При этом полученные скетчи точно сохраняют все антропометрические параметры исходных изображений и практически являются их точной копией с корреляцией, близкой к единице, между исходным изображением и соответствующим ему скетчем. Такие скетчи могут составить новую базу скетчей в дополнение к известным бенчмарковым базам изображений лиц. Однако ценность такой базы будет невелика, так как данный способ формирования скетчей обуславливает достаточно высокую степень правильных результатов поиска соответствующих им изображений-оригиналов.
Наиболее близким является способ «Методы сравнения фотопортрета-оригинала и скетча» (Кухарев Г.А. и др. Известия СПбГЭТУ «ЛЭТИ», 2013, №6, с.64-78), предназначенный для построения скетчей в режиме реального времени по заданной базе цветных изображений лиц, состоящий из сглаживающей фильтрации исходного цветного изображения, вычисления разности между отфильтрованным изображением и исходным цветным изображением, вычисления негатива полученной разности, вычисления суммы исходного цветного изображения с самим собой и вычисления половины суммы полученного результата и негатива разности между отфильтрованным изображением и исходным цветным изображением, преобразования полученного суммарного цветного изображения в полутоновое изображение исходного скетча, представления исходного скетча в виде матрицы S размером M×N (М - высота, N - ширина скетча в пикселях) и формировании на его основе нового скетча путем простых геометрических преобразований локальной области лица.
Система для осуществления способа состоит из последовательно соединенных устройства генерации исходного скетча из исходного изображения (УГС) и устройства генерации новых скетчей из исходного скетча (УГНС), при этом первый вход системы является входом УГС, а второй вход системы является входом устройства УГНС, выходом системы является выход устройства УГНС, причем УГС содержит последовательно соединенные блок сглаживания усреднением, вход которого соединен с входом устройства УГС, первый вход первого сумматора, второй вход которого соединен с входом УГС, первый блок формирования негатива, а также последовательно соединенные второй блок формирования негатива, второй сумматор, второй вход которого соединен с входом устройства УГС, третий блок формирования негатива, третий сумматор, второй вход которого соединен с выходом первого блока формирования негатива, блоком формирования полутонового изображения, выход которого является выходом УГС, при этом УГНС содержит блок геометрических преобразований области лица, выход которого является выходом устройства УГНС.
Отметим, что преобразования локальной области лица необходимы в моделировании скетчей при неточно заданных, неизвестных или неполных параметрах «исходного изображения» (фото). При этом для формирования скетча в предложенном способе обязательно наличие исходного фотопортрета и основных его антропометрических параметров. Существенными недостатками данного решения является невозможность преобразования локальной области лица в случае отсутствия указанных характеристик, а также невозможность применения этого способа для скетчей, нарисованных по описаниям свидетелей или участников некоторого события (в том числе и криминального характера), поскольку для них также неизвестны истинные антропометрические параметры лица-оригинала.
Техническим результатом, на которое направлено изобретение, является повышение быстродействия формирования исходного скетча на основе исходного изображения (фото) и повышение универсальности его применения за счет реализации автоматической генерации требуемой последовательности скетчей для уже готовых исходных скетчей (фотороботов).
Указанный технический результат достигается за счет того, что автоматическая генерации скетчей состоит из сглаживающей фильтрации исходного цветного изображения, вычисления разности между отфильтрованным изображением и исходным цветным изображением, вычисления негатива полученной разности, вычисления суммы исходного цветного изображения с самим собой и вычисления половины суммы полученного результата и негатива разности между отфильтрованным изображением и исходным цветным изображением, преобразования полученного суммарного цветного изображения в полутоновое изображение исходного скетча, представления исходного скетча в виде матрицы S размером M×N (М - высота, N - ширина скетча в пикселях), формировании на основе исходного скетча последовательности k=1, 2, …, K (K>2) новых скетчей, для каждого из новых скетчей формируется три параметра изменения лица на исходном скетче: p1 - длина лица, p2 - ширина лица, p3, - сдвиг линии симметрии изображения, каждый из которых имеет стандартное равномерное распределение, полученные значения параметров масштабируются в диапазоне ±d (d - максимальное значение границ изменения параметров и d≥2), если p1>0, то удаляются первые (p1-1) строк из матрицы S, если p1<0, то сверху матрица S дополняется ее первыми (p1-1) строками, выполняется перемасштабирование полученной матрицы до ее первоначального размера M×N, если p2>0, то из перемасштабированной матрицы удаляются первые (p2-1) столбца, если p2<0, то удаляются последние (p2-1) столбца, выполняется перемасштабирование полученной матрицы до ее первоначального размера M×N, если p3>0, выполняется циклический сдвиг перемасштабированной матрицы влево на (p3-1) столбца или вправо, если p3<0, а система для осуществления способа состоит из последовательно соединенных устройства генерации исходного скетча из исходного изображения (УГС) и устройства генерации последовательности новых скетчей из исходного скетча (УГНС), при этом первый вход системы является входом УГС, а второй вход системы является входом устройства УГНС, выходом системы является выход устройства УГНС, причем УГС содержит последовательно соединенные блок сглаживания усреднением, вход которого соединен с входом устройства УГС, первый вход первого сумматора, второй вход которого соединен с входом УГС, блок формирования негатива, а также второй сумматор, первый и второй входы которого соединены с входом устройства УГС, третий сумматор, первый вход которого соединен с выходом блока формирования негатива, а выход соединен с блоком формирования полутонового изображения, выход которого соединен с выходом УГС, при этом устройство УГНС содержит последовательно соединенные генератор случайных чисел, блок вычисления параметров изменений, управляющий вход которого соединен с входом устройства УГНС и является управляющим входом установки количества новых генерируемых скетчей и максимального значения границ изменения параметров, а также последовательно соединенные блок изменения длины лица, первый вход которого соединен с выходом УГС, второй вход соединен с входом устройства УГНС, третий вход соединен с первым выходом блока вычисления параметров изменений, блок изменения ширины лица, второй вход которого соединен со вторым выходом блока вычисления параметров изменений, блок сдвига линии симметрии, второй вход которого соединен с третьим выходом блока вычисления параметров изменений, блок записи последовательности скетчей в память, выход которого соединен с выходом устройства УГНС.
Указанный результат достигается за счет того, что формирование последовательности скетчей основано на использовании четырех новых процедур, применяемых K раз к исходному скетчу (K≥2): процедура вычисления трех параметров изменения локальной области лица; процедура изменения высоты лица по значению первого параметра; процедура изменения ширины лица по значению второго параметра и процедура циклического сдвига линии симметрии изображения скетча влево/вправо в соответствии со значением третьего параметра. Параметры «удаления и сдвига» зависят от случайных значений, выбранных датчиком случайных чисел, и заданного значения параметра d, определяющего границы изменения параметров. Перечисленные процедуры позволяют моделировать в последовательности новых скетчей возможные неточности (небольшие искажения пропорций лица и размеров его частей), допущенные при составлении исходного скетча по описаниям свидетелей или участников некоторого события (в том числе и криминального характера). Повышение универсальности обусловлено возможностью независимого использования УГНС для автоматической генерации требуемой последовательности скетчей в случаях, когда имеется уже готовый исходный скетч (фоторобот). Дополнительным техническим результатом изобретения является сокращение сложности вычислений за счет уменьшения состава процедур при формировании исходного скетча на основе исходного изображения (фото) и использованием простых процедур обработки при формировании последовательности новых скетчей, основанных только на манипуляциях с размером исходного изображения.
Сущность изобретения поясняется на фиг.1, где изображена функциональная схема системы, фиг.2, где представлены исходное изображение и результаты его обработки в УГС, фиг.3, где представлены исходные данные и значения индекса SSIM для них, фиг.4, где представлены фоторобот, портрет-оригинал и значения индекса SSIM для них, фиг.5, где представлена динамика изменения значения индекса SSIM, фиг.6, где представлен пример последовательностей скетчей, полученных для базы CUHK, фиг.7, где представлен пример последовательности новых скетчей, полученных на основе скетчей, нарисованных художниками для базы FERET.
Способ осуществляется с помощью системы, функциональная схема которой изображена на фиг.1, состоящей из последовательно соединенных устройства генерации исходного скетча из исходного изображения 1 (УГС) и устройства генерации последовательности новых скетчей из исходного скетча 2 (УГНС), при этом первый вход системы является входом УГС 1, а второй вход системы является входом устройства УГНС 2, выходом системы является выход устройства УГНС 2, причем УГС 1 содержит последовательно соединенные блок 3 сглаживания усреднением, вход которого соединен с входом устройства УГС 1, первый вход первого сумматора 4, второй вход которого соединен с входом УГС 1, блок 5 формирования негатива, а также второй сумматор 6, первый и второй вход которого соединены с входом устройства УГС 1, третий сумматор 7, первый вход которого соединен с выходом блока формирования негатива 5, а выход соединен с блоком 8 формирования полутонового изображения, выход которого соединен с выходом УГС 1, а устройство УГНС 2 содержит последовательно соединенные генератор случайных чисел 13, блок 14 вычисления параметров изменений, управляющий вход которого соединен с входом устройства УГНС 2 и является управляющим входом установки количества новых генерируемых скетчей и максимального значения границ изменения параметров, а также последовательно соединенные блок 9 изменения длины лица, первый вход которого соединен с выходом УГС 1, второй вход соединен с входом устройства УГНС 2, третий вход соединен с первым выходом блока 14 вычисления параметров изменений, блок 10 изменения ширины лица, второй вход которого соединен со вторым выходом блока 14 вычисления параметров изменений, блок 11 сдвига линии симметрии, второй вход которого соединен с третьим выходом блока 14 вычисления параметров изменений, блок 12 записи последовательности скетчей в память, выход которого соединен с выходом устройства УГНС 2.
Способ осуществляется следующим образом.
На первый вход системы УГС 1 подаются исходные цифровые изображения.
В блоке 3 выполняется сглаживающая фильтрация.
В блоке 4 вычисляется разность между отфильтрованным изображением и исходным цветным изображением.
В блоке 5 вычисляется негатив полученной разности.
В блоке 6 вычисляется сумма исходного цветного изображения с самим собой.
В блоке 7 вычисляется половина суммы результатов, полученных в блоках 5 и 6.
В блоке 8 выполняется преобразование полученного суммарного цветного изображения в полутоновое изображение исходного скетча.
На фиг.2. показано исходное изображение и результаты его обработки в блоках УГС1.
На первый вход устройства УГНС 2 подается исходный скетч, сформированный в УГС 1, либо скетч, составленный по описаниям свидетелей или участников некоторого события (в том числе и криминального характера). На основе этого скетча формируются K>2 новых скетчей с геометрическими изменениями области лица.
Пусть нам задана матрица S размером M×N, представляющая исходное полутоновое изображение скетча. При этом примем, что область лица на скетче занимает не менее 80% всего исходного изображения.
В блоке 9 выполняется изменение длины лица. На третий вход блока подается значение параметра p1, связанного с изменением длины лица на исходном изображении и, соответственно, положения линии глаз, если p1>0, то удаляются первые (p1-1) строк из матрицы S. Если p1<0, то сверху матрица S дополняется ее первыми (p1-1) строками. Указанные действия можно записать следующим образом:
S ( 1 ) ( var × N ) = { S ( p 1 : M , : ) , i f p 1 > 0 [ S ( 1 : p 1 ) ; S ] , i f p 1 < 0 , ( 1 )
Figure 00000001
где S(1)(var×N) - матрица с уменьшенным или увеличенным числом строк, что определяется параметром var.
При этом матрица-результат S(1) в (1) удлиняется, если p1>0, или уменьшается, если p1<0. Далее выполняется перемасштабирование матрицы S(1) до ее первоначального размера M×N так, что:
S ( 1 ) ( var × N ) S ( 1 ) ( M × N ) . ( 2 )
Figure 00000002
При этом длина лица в матрице-результате S(1) в (2) увеличивается, если выполнялось условие p1>0, или уменьшается, если выполнялось условие p1<0, при этом изменение области лица скетча будет находиться в пределах значений ±d от исходной длины лица.
В блоке 10 выполняется изменение ширины лица. На второй вход блока подается значение параметра p2, связанного с изменением ширины лица. Если p2>0, то удаляются первые (p2-1) столбцов из матрицы S(1). Если p2<0, то удаляются последние (p2-1) столбцов матрицы S(1). Указанные действия можно записать следующим образом:
S ( 2 ) ( M × var ) = { S ( 1 ) ( : , p 2 : N ) , i f p 2 > 0 S ( 1 ) ( : , 1 : N a b s ( p 2 ) ) , i f p 2 > 0 , ( 3 )
Figure 00000003
при этом матрица-результат S(2) в (3) становится на abs(p2-1) столбцов меньше при любом значении p2.
Выполняется перемасштабирование матрицы S(2) до ее первоначального размера M×N:
S ( 2 ) ( M × var ) S ( 2 ) ( M × N ) , ( 4 )
Figure 00000004
что неминуемо приведет к расширению области лица в поле скетча. При этом без учета изменения длины области лица в (2) расширение области лица по (4) определится величиной, близкой к значению d.
В блоке 11 выполняется сдвиг линии симметрии изображения. На второй вход блока подается значение параметра p3, связанное с изменением положения линии симметрии на области лица. Выполняется циклический сдвиг матрицы S(2) влево на (p3-1) столбцов, если p3>0, или вправо, если p3<0, что можно записать следующим образом:
S ( 3 ) ( M × N ) = { [ S ( 2 ) ( : , p 3 + 1 : N ) S ( 2 ) ( : , 1 : p 3 ) ] , i f p 2 > 0 S ( 2 ) ( : , 1 : N a b s ( p 3 ) + 1 : N ) S ( 2 ) ( : , N a b s ( p 3 ) ) ] , i f p 2 > 0 . ( 5 )
Figure 00000005
Это приводит к циклическому сдвигу центральной части изображения скетча, нарушающему симметрию всего изображения, и сдвигу линии симметрии лица. Перепишем результат (5) в новой форме:
S ( k ) = S ( 3 ) , ( 6 )
Figure 00000006
где матрица-результат (6) представляет собой новый скетч.
В блоке 12 выполняется запись последовательности К новых сформированных скетчей в память.
В блоке 13 генератор равномерно распределенных случайных чисел формирует параметры p1, p2, p3.
В блоке 14 выполняется вычисление параметров изменений скетча. На управляющий вход блока подаются значения d (диапазон изменения параметров скетча) и K (количество новых скетчей).
Для каждого k=1, 2, …, K значения, полученные из блока 13, масштабируются в диапазоне ±d так, что:
p i = s i g n ( R n ( 1 ) ) f i x ( d R u i ) , д л я i = 1 , 2 , 3 , ( 7 )
Figure 00000007
где: p1 - параметр; d - максимальное значение границ изменения параметров и d≥2; R n ( i )
Figure 00000008
и R u ( i )
Figure 00000009
нормально и равномерно распределенные случайные числа соответственно; s i g n ( R n ( i ) )
Figure 00000010
- знак числа.
При этом назначение параметров p1, вычисляемых по (7), следующее: параметр p1 определяет изменение длины лица на исходном скетче и соответственно положения линии глаз; параметр p2 определяет изменение ширины лица на исходном скетче; параметр p3 определяет изменение положения линии симметрии лица на исходном скетче.
Следует заметить, что если скетчи получаются непосредственно из исходных фотопортретов без локальных изменений области лица, то они распознаются простыми системами распознавания изображений лиц со 100% результатом. Однако в реальной ситуации при составлении исходного скетча по описаниям свидетелей или участников некоторого события (в том числе и криминального характера) возможны неточности (небольшие искажения пропорций лица и размеров его частей). Поэтому для формирования «правдивого сценария» используется УГНС 2, моделирующее различные искажения при неточно заданных или неполных параметрах «исходного фотопортрета». При этом результативность их распознавания снижается. Отмеченные факты вполне объяснимы, поскольку изменяется локальная структура скетчей, что позволяет приблизить их к реальной ситуации.
Для сформированных новых скетчей сохраняется субъективное внешнее сходство с соответствующими им фотопортретами, но существенно уменьшается значение индекса структурного подобия между ними (Structural SIMilarity - SSIM).
На фиг.3 показаны: 1 - исходный фотопортрет; 2 - скетч, сформированный по предложенному методу в УГС 1; 3 - скетч, нарисованный художником (база CUHK Student Sketch Databse: http://mmlab.ie.cuhk.edu.hk/facesketch.html).
Внизу слева показаны значения индекса SSIM между фотопортретом 1 и скетчем 2, полученными в процессе их формирования в УГС 1 и в УГНС 2. Нижняя кривая показывает значение индексов SSIM для девяти скетчей, сформированных в УГНС 2.
Внизу справа показаны значения индекса SSIM между фотопортретом 1 и новыми скетчами, сформированными из исходного скетча 3 (нижняя кривая).
Как видно из приведенных результатов, значения индекса SSIM для скетчей последовательности, сформированной в УГНС 2, ниже значений индекса SSIM для исходных скетчей. Таким образом, скетчи, сформированные в УГНС 2, менее подобны портретам-оригиналам и, следовательно, качество этих скетчей стало выше, поскольку именно эти скетчи могут быть использованы для составления базы скетчей для моделирования и исследования задач поиска по ним фотопортретов-оригиналов. При этом сформированные на третьем этапе скетчи отвечают требованиям правдивого сценария, поскольку учитывают возможность неполной информации о портретах-оригиналах, - неточно заданных или неполных параметрах «исходного фотопортрета».
Предлагаемый способ формирования скетчей может быть применен также и для фотороботов, используемых в криминалистической практике. На фиг.4 приведены фоторобот и соответствующий ему портрет-оригинал (из работы Klare В.F. et. al. Matching Forensic Sketches to Mug Shot Photos - IEEE Transactions on PAMI, 2011, Vol.33, №3, pp.639-646) и значения индексов SSIM между ними до их обработки и после.
Здесь по порядку слева направо показаны: скетч (фоторобот), полученный композиционным методом по словесному портрету; оригинальное фото, соответствующее скетчу; вариант фоторобота, полученного в УГНС 2 (цифры над ним - значения параметров p1, p2 и p3). Эти результаты показывают, что индекс SSIM для исходного скетча и фото оригинала выше, чем индекс SSIM для полного процесса обработки, хотя внешне эти портреты не изменились. На фиг.5 показана динамика изменения индекса SSIM для различных значений текущих параметров p1, p3 и p3, для фоторобота (а) и портрета-оригинала (б).
Приведенный пример показывает, что предлагаемый способ обладает характеристикой универсальности за счет возможности независимого использования УГНС 2 для любых доступных баз исходных данных (изображений лиц или скетчей (фотороботов).
На фиг.6а приведены примеры изображений базы фотопортретов CUHK, на фиг.6б приведены последовательности новых скетчей, сформированных для данных изображений при K=5 и d=3.
На фиг.7а показаны 6 изображений базы FERET (Face Sketch FERET Database: http://mmlab.ie.cuhk.edu.hk/cufsf/), на фиг.7б - соответствующие им исходные скетчи, нарисованные художником, на фиг.7в - последовательности сформированных новых скетчей при K=6 и d=4.
Предпочтительным вариантом реализации устройства является его использование для создания баз скетчей (фотороботов), предназначенных для решения задач регистрации и поиска изображений лиц по скетчам (фотороботам), поиска лиц в большой базе данных по скетчу, нарисованному по описаниям свидетелей или участников некоторого события (в том числе и криминального характера), для повышения эффективности существующих систем видеонаблюдения и создания нового класса интеллектуальных систем, рассчитанных на следующие типы приложений: интеллектуальное видеонаблюдение, биометрическая идентификация личности, системы технического зрения. При этом прибор реализуется в виде платы устройств, в состав которой входит, по крайней мере, один сигнальный процессор.
Таким образом, предложенный способ автоматической генерации скетчей имеет существенно более низкую вычислительную сложность вычислений при формировании исходного скетча на основе исходного изображения (фото) и обладает универсальностью за счет возможности автоматической генерации требуемой последовательности скетчей не только из исходного изображения, но и для готового исходного скетча (фоторобота).

Claims (2)

1. Способ автоматической генерации скетчей, состоящий из сглаживающей фильтрации исходного цветного изображения, вычисления разности между отфильтрованным изображением и исходным цветным изображением, вычисления негатива полученной разности, вычисления суммы исходного цветного изображения с самим собой и вычисления половины суммы полученного результата и негатива разности между отфильтрованным изображением и исходным цветным изображением, преобразования полученного суммарного цветного изображения в полутоновое изображение исходного скетча, представления исходного скетча в виде матрицы S размером Μ×Ν (М - высота, N - ширина скетча в пикселях), отличающийся тем, что на основе исходного скетча формируется последовательность k=1, 2, …, К (К>2) новых скетчей, для каждого из новых скетчей формируется три параметра изменения лица на исходном скетче: р1 - длина лица, р2 - ширина лица, р3 - сдвиг линии симметрии изображения, каждый из которых имеет стандартное равномерное распределение, полученные значения параметров масштабируются в диапазоне ±d (d - максимальное значение границ изменения параметров и d≥2), если р1>0, то удаляются первые (p1-1) строк из матрицы S, если р1<0, то сверху матрица S дополняется ее первыми (р1-1) строками, выполняется перемасштабирование полученной матрицы до ее первоначального размера Μ×Ν, если р2>0, то из перемасштабированной матрицы удаляются первые (p2-1) столбца, если р2<0, то удаляются последние (p2-1) столбца, выполняется перемасштабирование полученной матрицы до ее первоначального размера Μ×Ν, если p3>0, выполняется циклический сдвиг перемасштабированной матрицы влево на (p3-1) столбца или вправо, если р3<0.
2. Система для осуществления способа по п.1, состоящая из последовательно соединенных устройства генерации исходного скетча из исходного изображения (УГС) и устройства генерации последовательности новых скетчей из исходного скетча (УГНС), при этом первый вход системы является входом УГС, а второй вход системы является входом устройства УГНС, выходом системы является выход устройства УГНС, причем УГС содержит последовательно соединенные блок сглаживания усреднением, вход которого соединен с входом устройства УГС, первый вход первого сумматора, второй вход которого соединен с входом УГС, блок формирования негатива, а также второй сумматор, первый вход которого соединен с входом УГС, третий сумматор, первый вход которого соединен с выходом блока формирования негатива, а выход соединен с блоком формирования полутонового изображения, выход которого соединен с выходом УГС, отличающаяся тем, что второй вход второго сумматора УГС соединен с входом устройства УГС, а выход соединен с вторым входом третьего сумматора, а устройство УГНС содержит последовательно соединенные генератор случайных чисел, блок вычисления параметров изменений, управляющий вход которого соединен с входом устройства УГНС и является управляющим входом установки количества новых генерируемых скетчей и максимального значения границ изменения параметров, а также последовательно соединенные блок изменения длины лица, первый вход которого соединен с выходом УГС, второй вход соединен с входом устройства УГНС, а третий вход соединен с первым выходом блока вычисления параметров изменений, блок изменения ширины лица, второй вход которого соединен с вторым выходом блока вычисления параметров изменений, блок сдвига линии симметрии изображения, второй вход которого соединен с третьим выходом блока вычисления параметров изменений, блок записи последовательности скетчей в память, выход которого соединен с выходом устройства УГНС.
RU2013135344/08A 2013-07-26 2013-07-26 Способ автоматической генерации скетчей и система для его осуществления RU2541132C1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2013135344/08A RU2541132C1 (ru) 2013-07-26 2013-07-26 Способ автоматической генерации скетчей и система для его осуществления

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2013135344/08A RU2541132C1 (ru) 2013-07-26 2013-07-26 Способ автоматической генерации скетчей и система для его осуществления

Publications (2)

Publication Number Publication Date
RU2541132C1 true RU2541132C1 (ru) 2015-02-10
RU2013135344A RU2013135344A (ru) 2015-02-10

Family

ID=53281447

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2013135344/08A RU2541132C1 (ru) 2013-07-26 2013-07-26 Способ автоматической генерации скетчей и система для его осуществления

Country Status (1)

Country Link
RU (1) RU2541132C1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2628125C1 (ru) * 2016-07-13 2017-08-15 федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики" (Университет ИТМО) Способ автоматической реконструкции фотопортретов из скетчей и система для его осуществления

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2469399C1 (ru) * 2011-09-22 2012-12-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Система и способ черновой печати посредством преобразования картинок в контурные эскизы

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2469399C1 (ru) * 2011-09-22 2012-12-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Система и способ черновой печати посредством преобразования картинок в контурные эскизы

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Кухарев Г.А. и др., "Методы сравнения фотопортрета-оригинала и скетча", Известия СПбГЭТУ "ЛЭТИ", 2013, N 6, стр. 64-78. Xuewei Li et al, "A Simple Framework for Face Photo-Sketch Synthesis", Mathematical Problems in Engineering, Vol. 2012, Article ID 910719, 19 pages, 2012. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2628125C1 (ru) * 2016-07-13 2017-08-15 федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики" (Университет ИТМО) Способ автоматической реконструкции фотопортретов из скетчей и система для его осуществления

Also Published As

Publication number Publication date
RU2013135344A (ru) 2015-02-10

Similar Documents

Publication Publication Date Title
Hussain et al. A real time face emotion classification and recognition using deep learning model
Quan et al. Image inpainting with local and global refinement
CN111310731B (zh) 基于人工智能的视频推荐方法、装置、设备及存储介质
CN109416727B (zh) 一种人脸图像中眼镜去除方法及装置
Sun et al. Scale and object aware image retargeting for thumbnail browsing
JP6207210B2 (ja) 情報処理装置およびその方法
CN103279936B (zh) 基于画像的人脸伪照片自动合成及修正方法
CN109685873B (zh) 一种人脸重建方法、装置、设备和存储介质
CN105354248A (zh) 基于灰度的分布式图像底层特征识别方法及系统
Duan et al. Multi-scale gradients self-attention residual learning for face photo-sketch transformation
CN113591562B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
Galteri et al. Deep 3d morphable model refinement via progressive growing of conditional generative adversarial networks
Bushra et al. Crime investigation using DCGAN by Forensic Sketch-to-Face Transformation (STF)-A review
Reddy et al. Face recognition based on cross diagonal complete motif matrix
KR101981284B1 (ko) 이미지 처리 장치 및 방법
CN113870314A (zh) 一种动作迁移模型的训练方法及动作迁移方法
RU2541132C1 (ru) Способ автоматической генерации скетчей и система для его осуществления
Kukharev et al. Methods of face photo-sketch comparison
Geetha et al. 3D face recognition using Hadoop
Khanna et al. Enhanced spatio-temporal 3D CNN for facial expression classification in videos
CN114037644B (zh) 一种基于生成对抗网络的艺术字图像合成系统及方法
Bhoir et al. A decision-making tool for creating and identifying face sketches
CN114648800A (zh) 人脸图像检测模型训练方法、人脸图像检测方法及装置
Ahmed et al. Generating digital images of skin diseases based on deep learning
WO2021094463A1 (en) An imaging sensor, an image processing device and an image processing method

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20180727