RU2541136C1 - Method of recognising facial images and system therefor - Google Patents

Method of recognising facial images and system therefor

Info

Publication number
RU2541136C1
RU2541136C1 RU2013150235A RU2013150235A RU2541136C1 RU 2541136 C1 RU2541136 C1 RU 2541136C1 RU 2013150235 A RU2013150235 A RU 2013150235A RU 2013150235 A RU2013150235 A RU 2013150235A RU 2541136 C1 RU2541136 C1 RU 2541136C1
Authority
RU
Grant status
Grant
Patent type
Prior art keywords
images
spectra
recognition
facial
obtained
Prior art date
Application number
RU2013150235A
Other languages
Russian (ru)
Inventor
Георгий Александрович Кухарев
Надежда Львовна Щеголева
Original Assignee
Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Abstract

FIELD: physics.
SUBSTANCE: method of recognising facial images comprises dividing recognition into detection and recognition, wherein detection includes inputting original colour facial images, transforming the colour images into halftone images, smoothing the halftone images, transforming the obtained images into spectra using two-dimensional cosine transform, removing high-frequency spectral components whose values are close to zero and recording the obtained spectra in a reference database; recognition includes inputting sketches, transforming the sketches into spectra using two-dimensional cosine transform, removing high-frequency spectral components whose values are close to zero, comparing the obtained test spectra with spectra stored in the reference database and making a decision on recognition based on a minimum distance criterion.
EFFECT: faster recognition of facial images from sketches and high universality thereof.
2 cl, 4 dwg

Description

Изобретение относится к автоматике и вычислительной технике и может быть использовано для распознавания по скетчам (фотороботам, рисованным, рисованно-композиционным портретам) оригинальных изображений лиц в системах машинного зрения, биометрических системах контроля доступа, видеонаблюдения, интерактивных системах человек - компьютер и других системах. The invention relates to automation and computer technology and can be used for recognition of sketches (identikit, draw, paint, composite portrait) original face images in machine vision systems, biometric access control systems, video surveillance systems, interactive human - computer and other systems. Техническим результатом является повышение быстродействия распознавания изображений лиц и повышение его универсальности. The technical result is to increase the image recognition performance of persons and increasing its versatility.

Динамика развития компьютерных биометрических технологий в последние годы позволила приступить к проблеме поиска оригинального изображения лица в большой базе данных по скетчу, нарисованному по описаниям свидетелей или участников некоторого события (в том числе и криминального характера). The dynamics of the development of computer biometric technology in recent years has made it possible to proceed to the problem of finding the original facial image in a large database of the sketch data, drawn by the descriptions of witnesses or participants in some events (including a criminal nature). Однако стабильное распознавание скетчей и устойчивый поиск соответствующих им фотопортретов в специальных базах является на сегодня практически не достижимым, что показано в Klare В. F. et al. However, the stable and steady sketch recognition list corresponding portraits in special databases for today is practically achievable, as shown in Klare B. F. et al. Matching Forensic Sketches to Mug Shot Photos - IEEE Transactions on PAMI, 2011, Vol.33, №3, pp.639-646 и Han Hu et al. Matching Forensic Sketches to Mug Shot Photos - IEEE Transactions on PAMI, 2011, Vol.33, №3, pp.639-646 and Han Hu et al. Matching Composite Sketches to Face Photos: A Component-Based Approach - IEEE Transactions on Information Forensics and Security, Vol.8, №3, Jan. Matching Composite Sketches to Face Photos: A Component-Based Approach - IEEE Transactions on Information Forensics and Security, Vol.8, №3, Jan. 2013, pp.191-204. 2013, pp.191-204.

Этот факт является следствием трех основных причин: неприспособленности «старых баз фотопортретов» преступников к современным компьютерным технологиям, используемым в лицевой биометрии; This fact is a result of three main reasons: the unsuitability of the "old base portraits" of criminals to modern computer technology used in facial biometrics; отсутствием необходимых баз скетчей, для моделирования и исследования задач сравнения скетчей и оригинальных фотопортретов; lack of necessary databases sketches, modeling and studies comparing the task of sketches and original portraits; неразвитостью технологии сравнения изображений скетч/фотопортрет, что связано с отсутствием простых и эффективных методов для решения данного рода задач. underdevelopment image comparison technology sketch / photograph, due to the lack of simple and effective methods to solve this kind of problems.

Именно поэтому в последние годы постоянно растет интерес к проблеме автоматического распознавания по скетчам оригинальных изображений лиц в больших базах, а исследователи обратились к проблемам не только создания баз скетчей, но и в значительной степени разработке методов, учитывающих особенности и скетчей, и изображений лиц. That is why in recent years, growing interest in the problem of automatic recognition on the sketches of the original face images in large databases, and the researchers turned to the problems of not only creating a database of sketches, but also to a large extent the development of methods that take into account the features and sketches, and facial images.

Известен способ (Wang X. and Tang X. Face Photo-Sketch Synthesis and Recognition, IEEE Transactions on PAMI, 2009, Vol.31, no.11, pp.1955-1967) распознавания изображений лиц, основанный на использовании библиотеки связанных фрагментов лиц фотопортретов и соответствующих им скетчей и построении моделей фото→скетч в рамках многомерных Марковских случайных полей, использующий линейные и собственные преобразования, классификатор по типу LDA. A method is known (Wang X. and Tang X. Face Photo-Sketch Synthesis and Recognition, IEEE Transactions on PAMI, 2009, Vol.31, no.11, pp.1955-1967) recognition of face images based on the use of library-related fragments persons portraits and their corresponding sketches and building models → photo sketch as part of a multidimensional Markov random fields, using linear and own conversion, LDA classifier type. Способ требует библиотеки парных изображений фото-скетч для построения моделей, которые потом используются для синтеза скетчей из новых фото, а также средства анализа и локализации фрагментов из исходных изображений лиц и соответствующих им скетчей. The method requires a library of paired images of photo-sketch to construct models which are then used for the synthesis of sketches of new photos, as well as a means of analyzing and locating fragments of the original face images and their corresponding sketches. Недостатком способа является необходимость использования библиотеки, связанных фрагментов лиц из пар фото/скетч, сложные процедуры обработки исходных данных, используемые для создания полной библиотеки связанных фрагментов изображений лиц, охватывающих все возможные варианты локальных областей лиц и, как следствие этого, - невозможность обеспечения высокого качества синтеза скетчей на все возможные типы лиц, что снижает результат распознавания. A disadvantage of this method is the need to use libraries associated fragments individuals from pairs of photo / sketch, complex raw data processing procedures used to create a complete library of linked images fragments individual covering all possible variants of local areas individual and, as a consequence - the inability to provide high quality synthesis sketches for all possible types of entities, which reduces the recognition result.

Известен способ (Abhishek Sharma, David W. Jacobs. Bypassing synthesis: PLS for face recognition with pose, low-resolution and sketch, In The 24th IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2011, Colorado Springs, CO, USA, 20-25 June 2011, pages 593-600), основанный на трансформации набора изображений фото и соответствующих им набора скетчей в собственное подпространство на основе PLS и построении билинейной регрессии. A method is known (Abhishek Sharma, David W. Jacobs Bypassing synthesis:. PLS for face recognition with pose, low-resolution and sketch, In The 24th IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2011, Colorado Springs, CO, USA, 20 -25 June 2011, pages 593-600), based on the transformation of a set of still images and the corresponding set of sketches in eigenspace based on the PLS and the construction of a bilinear regression. Недостатком способа является необходимость повторной трансформации исходных изображений при изменении эталонов, а также существенные вычислительные затраты, требуемые для выполнения матричных преобразований. A disadvantage of the method is the need to re-transformation of the original images when changing standards, as well as substantial computational cost required for performing matrix transformations.

Общим недостатком перечисленных способов является высокая вычислительная сложность и вследствие этого невозможность распознавания скетчей в режиме реального времени непосредственно по заданной базе изображений лиц. A common disadvantage of these methods is the high computational complexity and therefore the inability to recognize sketches in real time directly on the basis of a predetermined face images.

Наиболее близким является способ «Методы сравнения фотопортрета-оригинала и скетча» (Кухарев Г.А. и др. Известия СПбГЭТУ «ЛЭТИ», 2013, №6, с.64-78), который заключается в разделении на регистрацию и распознавание, при которых, в регистрации вводятся исходные цветные изображения лиц, выполняется преобразование цветных изображений в полутоновые, выполняется выбор области интереса на полученных полутоновых изображениях, выполняется для всех выбранных областей интереса одномерный PCA (PCA - principal component analysis) по строкам, выполняется для всех выбранных The most similar method is "Methods photoportrait comparison of the original and the sketch" (Kuharev GA et al. Proceedings of ETU "LETI", 2013, №6, s.64-78), which consists in the separation of the registration and identification, with which are input to register initial color images of persons converts color images to gray-scale, a region of interest selection is performed on the obtained halftone images is performed for all selected ROIs dimensional PCA (PCA - principal component analysis) by rows is performed for all selected областей интереса одномерный PCA по столбцам, полученные изображения преобразуются в спектры с помощью двумерного преобразования Карунена-Лоэва (2D KLT), удаляются высокочастотные спектральные компоненты, близкие по значениям к нулю, полученные спектры записываются в базу эталонов, а в распознавании вводятся скетчи, выполняется для всех скетчей одномерный PCA по строкам, выполняется для всех скетчей одномерный PCA по столбцам, полученные скетчи преобразуются в спектры с помощью двумерного преобразования Карунена-Лоэва (2D KLT), удаляются высоко ROI dimensional PCA on columns obtained image is converted into spectra by two-dimensional Karhunen-Loeve transform (2D KLT), removes high frequency spectral components, similar in values ​​to zero the spectra obtained are recorded in the reference database, and recognizing introduced sketches, performed for PCA-dimensional sketches of the lines, is performed for all PCA-dimensional sketches of columns obtained sketches converted to two-dimensional spectra using the Karhunen-Loeve transform (2D KLT), highly deleted астотные спектральные компоненты, близкие по значениям к нулю, выполняется сравнение полученных тестовых спектров со спектрами, хранящимися в базе эталонов, принимается решение о распознавании по критерию минимума расстояния. astotnye spectral components that are close in value to zero, the comparison of the test spectra with the spectra stored in the base standards, the decision on recognition of the criterion of minimum distance.

Система для осуществления способа состоит из последовательно соединенных устройства регистрации и устройства распознавания, при этом первый вход системы является входом устройства регистрации, а второй вход системы является входом устройства распознавания, выходом системы является выход устройства распознавания, причем устройство регистрации содержит последовательно соединенные блок преобразования цветных изображений в полутоновые, блок выбора области интереса, два блока одномерного PCA, блок 2DKLT, соединенный с входом блока базы эт for performing the process system consists of a serially connected device registration and recognition devices, the first system input is the input of the registration device and the second input system is an input detection device, the output system is the output detection device, wherein the recording device comprises serially connected conversion unit color images a halftone unit selecting a region of interest, two-dimensional block PCA, 2DKLT unit coupled to the input of the block base floor лонов, выход которого является выходом устройства регистрации и соединен с вторым входом устройства распознавания, а также последовательно соединенные второй вход системы, два блока одномерного PCA, блок 2DKLT, соединенный с вторым входом блока классификатора, выход которого является выходом системы. malonic, whose output is the output of the register and coupled to the second input of the detection device, and also connected in series the second input of the system, the two-dimensional block PCA, 2DKLT unit coupled to a second input of the classifier, the output of which is the output of the system.

Недостатком решения является его низкая универсальность, связанная с невозможностью его применения в условиях динамики изменения баз эталонов, поскольку дополнение баз новыми эталонами или исключение из баз не актуальных эталонов потребует повторной трансформации исходных изображений в новое пространство признаков на основе метода 2DPCA/2DKLT, что прервет работу системы распознавания. The disadvantage of the solution is its low universality, related to the impossibility of its use in a database of standards changing dynamics, because addition of bases new standards or deletion of bases not relevant standards require re-transformation of the original images in the new feature space based on 2DPCA / 2DKLT method that will abort recognition system. Кроме того, использование методов двумерной проекции на основе 2DPCA, принятое в прототипе, требует выполнения условий равенства размеров всех изображений лиц (как эталонных, так и тестовых), использования трудоемких методов решения задач на собственные значения и соответствующих им процедур регуляризации. In addition, the use of two-dimensional projection methods based on 2DPCA, taken in the prior art, requires a size equal conditions for all those images (as reference and test), the use of labor-intensive methods of solving problems on their own values ​​and their corresponding regularization procedures. Наконец, в данном решении, этап 2DKLT не может быть выполнен по схеме «быстрых алгоритмов», что вместе с затратами на этапе 2DPCA приводит к существенным вычислительным затратам, снижающим уровень быстродействия устройства. Finally, in this decision step 2DKLT can not be executed on a "fast algorithms", together with the cost in step 2DPCA leads to substantial computational cost, lowering the level of device performance.

Техническим результатом, на который направлено изобретение, является повышение быстродействия распознавания по скетчам (фотороботам, рисованным, рисованно-композиционным портретам) оригинальных изображений лиц и повышение его универсальности за счет исключения процедуры выбора области интереса и использовании вместо нее сглаживающей фильтрации, исключения процедур 2DPCA/2DKLT и использования вместо них процедур двумерного косинус-преобразования (2DDCT). The technical result which the invention is to increase recognition speed of sketches (identikit, draw, paint, composite portrait) of the original face images and increase its versatility by eliminating the select ROI procedure and using instead of the smoothing filter, exceptions 2DPCA / 2DKLT procedures and using instead procedures dimensional cosine transform (2DDCT).

Указанный технический результат достигается за счет того, что распознавание изображений лиц разбивается на регистрацию и распознавание, причем при регистрации вводятся исходные цветные изображения лиц, выполняется преобразование цветных изображений в полутоновые, выполняется сглаживающая фильтрация полутоновых изображений, полученные изображения преобразуются в спектры с помощью двумерного косинус-преобразования, удаляются высокочастотные спектральные компоненты, близкие по значениям к нулю, и полученные спектры записываются в Said technical result is achieved due to the fact that the image recognition of persons is split registration and recognition, the original color image are entered in the registration persons converts color images in grayscale smoothing filtering is performed halftone images, the images obtained are transformed into spectra by two-dimensional cosine conversion, high frequency spectral components are removed, from values ​​close to zero, and the spectra obtained are recorded in азу эталонов, при распознавании вводятся скетчи, выполняется преобразование скетчей в спектры с помощью двумерного косинус-преобразования, удаляются высокочастотные спектральные компоненты, близкие по значениям к нулю, выполняется сравнение полученных тестовых спектров со спектрами, хранящимися в базе эталонов, принимается решение о распознавании по критерию минимума расстояния, а система для осуществления способа состоит из последовательно соединенных устройства регистрации и устройства распознавания, при этом первый вход систем ase standards, when recognizing entered sketches, converts sketches into spectra by two-dimensional cosine transform, removes high-frequency spectral components are close in value to zero, the comparison of the test spectra with spectra stored in the database of standards, a decision on the recognition of criteria minimum distances, and the system for implementing the method consists of a series-connected device registration and the recognition device, wherein the first input systems ы является входом устройства регистрации, а второй вход системы является входом устройства распознавания, выходом системы является выход устройства распознавания, причем устройство регистрации содержит последовательно соединенные блок преобразования цветных изображений в полутоновые, блок сглаживающей фильтрации, блок двумерного косинус-преобразования, соединенный с входом блока базы эталонов, выход которого является выходом устройства регистрации, а устройство распознавания содержит последовательно соединенные второй вход сист s is the input register unit and the second input system is an input detection device, the output system is the output detection device, the detection device comprises a series-connected unit converting color images to gray-scale unit the smoothing filter, the block a two-dimensional cosine transform coupled to the input of the base unit standards, whose output is the output registration device and recognition device comprises a series connected second input chem емы, блок двумерного косинус-преобразования, соединенный с вторым входом блока классификатора, первый вход блока классификатора соединен с выходом устройства регистрации, выход блока классификатора соединен с выходом устройства распознавания. emy unit two-dimensional cosine transformation, a second input coupled to the classifier unit, a first input unit coupled to an output of the classifier device registration unit output connected to the output of the classifier recognition device.

Указанный результат достигается за счет того, что процедуры 2DDCT, как единственный инструмент трансформации исходных данных в спектральное пространство признаков, не требуют проведения предварительного анализа исходных данных, реализуются на основе быстрых алгоритмов и адаптированы к переменному размеру исходных изображений, а сглаживающая фильтрация позволяет элиминировать возможные неточности (небольшие искажения пропорций лица и размеров его частей), допущенные при составлении исходного скетча по описаниям свидетелей или участн This result is achieved due to the fact that 2DDCT procedure as the only tool transforming raw data into spectral feature space, does not require a preliminary analysis of the initial data, are implemented on the basis of fast algorithms and adapted to variable size source image, and the smoothing filtering allows to eliminate any inaccuracies (little distortion facial proportions and sizes of its parts) made by starting in the preparation of the sketch from the descriptions of witnesses or participational ков некоторого события (в том числе и криминального характера). Cove certain events (including a criminal nature).

Сущность изобретения поясняется на фиг.1 - где изображена функциональная схема системы, фиг.2 - где представлены примеры изображений лиц и соответствующих им скетчей, фиг.3 - где представлены результаты распознавания скетчей, фиг.4 - где представлены примеры скетчей, нарисованных художниками по исходным фото, и скетчей, сгенерированных автоматически из исходных фото и дорисованных художниками. The invention is illustrated in Figure 1 - which shows a functional diagram of a system Figure 2 - which shows examples of images of faces and corresponding sketch, Figure 3 - which shows the recognition results sketches Figure 4 - which presents examples sketch drawn by artists original photos, and sketches generated automatically from the original photos and the middle of painting artists.

Способ осуществляется с помощью системы, функциональная схема которой изображена на фиг.1, состоящей из последовательно соединенных устройства регистрации 1 и устройства распознавания 2, при этом первый вход системы является входом устройства регистрации 1, а второй вход системы является входом устройства распознавания 2, выходом системы является выход устройства распознавания 2, причем устройство регистрации 1 содержит последовательно соединенные блок 3 преобразования цветных изображений в полутоновые, блок 4 сглаживающей фильтрации, б A method performed by a system functional diagram is shown in Figure 1, consisting of a series-connected device registration device 1 and detection 2, wherein the first system input is the input registration device 1 and the second system input is the input of the detection device 2, the system output is the output of the recognition device 2, the recording apparatus 1 comprises series-connected unit 3 converting color images to gray-scale unit 4 of the smoothing filtering, b лок 5 двумерного косинус-преобразования, соединенный с входом блока 6 базы эталонов, выход которого является выходом устройства регистрации 1, а устройство распознавания 2 содержит последовательно соединенные второй вход системы, блок 7 двумерного косинус-преобразования, соединенный с вторым входом блока классификатора 8, первый вход блока классификатора 8 соединен с выходом устройства регистрации 1, выход блока классификатора соединен с выходом устройства распознавания 2. Lok 5 two-dimensional cosine transform coupled to the input of 6 base unit etalons whose output is an output registration device 1, a recognition device 2 comprises a series-connected second input system unit 7 two-dimensional cosine transform coupled to the second input of the classifier 8, the first classifier input unit 8 is connected to the output of the register 1, the output unit connected to the output of the classifier recognition apparatus 2.

Способ осуществляется следующим образом. The process is carried out as follows.

На первый вход системы устройства регистрации 1 подаются исходные цветные цифровые изображения. A first input device registration system 1 serves source color digital image.

В блоке 3 выполняется преобразование цветных изображений в полутоновые. In block 3 converts color image to grayscale.

В блоке 4 выполняется сглаживающая фильтрация. In block 4, smoothing filtering is performed.

В блоке 5 выполняется двумерное дискретное косинус-преобразование, преобразующее изображения, полученные в блоке 4, в спектр. In block 5 is performed two-dimensional discrete cosine transform, transforming the images obtained in block 4, into a spectrum. Здесь же выполняется селекция спектральных компонент с тем, чтобы удалить высокочастотные составляющие, близкие по значениям к нулю. It also carried out the selection of spectral components so as to remove high-frequency components that are close in value to zero. При выполнении селекции учитывается следующий факт: косинус-преобразование достаточно точно представляет исходные изображения с лицами малым числом признаков - спектральных компонент DCT. When the selection takes into account the following fact: cosine transform sufficiently accurately represents the original image with a small number of persons signs - spectral component DCT. Это основано на том, что энергетически значимые спектральные компоненты DCT концентрируются в левом верхнем углу матрицы - результата DCT. This is based on the fact that energy-significant DCT spectral components are concentrated in the upper left corner of the matrix - the result of DCT. Поэтому при формировании вектора признаков используются только компоненты из верхнего левого угла спектральной матрицы. Therefore, when forming the feature vector components are used only from the upper left corner of the spectral matrix. В каждом векторе признаков оставляются только d(d+1)/2 симметричных относительно главной диагонали спектральных компонент, выбранных так, что в него попадут компоненты с координатами (1,1), (2,1), (1,2), (3,1), (2,2), (1,3), (4,1), (3,2), (2,3), (1,4) и т.д. Each feature vector retained only d (d + 1) / 2 is symmetric about the main diagonal of the spectral components, selected so that the components of the coordinates (1,1) will get into it, (2,1), (1,2), ( 3,1), (2,2), (1,3), (4,1), (3,2), (2,3), (1,4), etc. При этом d - параметр, определяющий квадрат со стороной d, размещенный в левом верхнем углу спектральной матрицы. In this case, d - the parameter that determines the square of side d, located in the upper left corner of the spectral matrix.

Определим 2D DCT в следующей матричной форме: We define the 2D DCT in the following matrix form:

Figure 00000001

где I - исходное изображение размера M×N; where I - the original image size of M × N; Y - результат преобразования; Y - conversion result; F1 и F2 - матрицы проекции размером d 1 ×M и N×d 2 , причем: F1 and F2 - projection matrix size d 1 × M and N × d 2, wherein:

Figure 00000002

Figure 00000003

Блок 6 сохраняет спектральные признаки в базе эталонов в форме векторов. Unit 6 retains the spectral features in the base standards in the form of vectors.

На вход 2 системы устройства распознавания 2 подаются цифровые изображения скетчей (фотороботы, рисованные, рисованно-композиционные, фотокомпозиционные портреты), предназначенные для распознавания. The input system 2 recognition apparatus 2 digital images fed sketches (identikits, draw, paint, composite, portraits fotokompozitsionnye) for recognition.

В блоке 7 выполняется двумерное дискретное косинус-преобразование, преобразующее каждое изображение скетча в спектр по формуле (1). In block 7 is two-dimensional discrete cosine transform, which converts each image of the sketch in the range of formula (1). Здесь же выполняется селекция спектральных компонент с тем, чтобы удалить высокочастотные составляющие, близкие по значениям к нулю. It also carried out the selection of spectral components so as to remove high-frequency components that are close in value to zero.

Блок 8 решает задачу классификации распознаваемых скетчей (их принадлежности оригинальным изображениям лиц) по критерию минимума расстояний. Block 8 solves the problem of the classification of recognized sketches (they belong original face images) on the criterion of minimum distances. Здесь вычисляются расстояния между вектором признаков распознаваемого изображения и всеми К векторами признаков из базы эталонов. There are calculated the distances between the feature vector and all recognizable image to the feature vectors of the base standards. Индекс k∈K, соответствующий минимуму расстояния, будет означать соответствие распознаваемого изображения эталону с порядковым номером k. k∈K index corresponding to the minimum distance would mean matching the standard recognizable images with sequence number k.

Основными отличительными признаками заявляемого способа являются: The main characterizing features of the inventive method are:

- использование простой предобработки исходных изображений с целью уменьшения влияния возможных неточностей (небольших искажений пропорций лица и размеров его частей), допущенных при составлении исходного скетча по описаниям свидетелей или участников некоторого события (в том числе и криминального характера); - the use of a simple pre-treatment of source images in order to reduce the impact of possible inaccuracies (small distortion of the face and the size of the proportions of its parts), made during the preparation of the original sketch from the descriptions of witnesses or participants in some events (including a criminal nature);

- использование метода двумерного дискретного косинус-преобразования как единственного инструмента трансформации исходных данных в спектральное пространство признаков; - using the method of two-dimensional discrete cosine transform as the only tool transforming raw data into spectral feature space;

- исключение из состава спектральных признаков тех составляющих, которые связаны с шумами на распознаваемых изображениях. - exclusion from the spectral features of those components that are associated with the noise in the images recognizable.

Результативность распознавания скетчей по предлагаемому способу доказана компьютерным моделированием и экспериментами, выполненными на базе скетчей CUFS - CUHK Face Sketch database (Student Sketch Database: http://mmlab.ie.cuhk.edu.hk/facesketch.html), специально предназначенной для тестирования методов распознавания изображений лиц по скетчам. The recognition of sketches of the proposed method is proved by computer simulation and experiments carried out on the basis of sketches CUFS - CUHK Face Sketch database (Student Sketch Database: http://mmlab.ie.cuhk.edu.hk/facesketch.html), specially designed for testing image recognition techniques for people sketches. Примеры изображений лиц и соответствующих им скетчей представлены на фиг.2. Examples of face images and corresponding sketch shown in Figure 2.

Модель экспериментов имеет следующий вид: Model experiments is as follows:

Figure 00000004

Здесь приняты следующие обозначения: The following designations are accepted:

CUFS (100/1/1) - использована база изображений, состоящая из 100 классов: 1 эталон на класс и 1 скетч (тестовый образ) на класс; CUFS (100/1/1) - used image database consisting of 100 classes: 1 standard for class 1 and sketch (test image) to the class;

BlurF - выполняется сглаживающая фильтрация эталонных изображений; BlurF - performed a smoothing filter of reference images;

2DDCT - выполняется двумерное косинус-преобразование (то есть преобразования выполнены только на этапе проекции эталонных и тестовых данных); 2DDCT - performed two-dimensional cosine transform (i.e., transform performed only during projection of reference and test data);

M×N→d(d+1)/2 - представлены размеры исходных изображений и размерность результата проекции после редукции размерности пространства признаков (M=250; N=200, d=30), параметр «d» определен в ходе решения вариационной задачи; M × N → d (d + 1) / 2 - presents sizes of original images and the dimension of the result of projection after the reduction of dimensionality of the feature space (M = 250; N = 200, d = 30), the parameter «d» is defined in the course of solving the variational problem ;

KMP/L1/rank=1 - использован классификатор по минимуму расстояния с метрикой L1, а результат оценивается по первому месту (rank=1). KMP / L1 / rank = 1 - used to a minimum distance classifier with the L1 metric and the result is assessed according to the first place (rank = 1).

Результаты распознавания скетчей приведены в таблице на фиг.3. sketches Recognition results are shown in Table 3. Полученный при этом результат составил 91% по рангу=1 для скетчей, нарисованных художниками по исходным фото (Art Sketches), и 99,27% для скетчей, сгенерированных автоматически из исходных фото и дорисованных художниками (Viewed Sketches). The thus obtained result was 91% by rank = 1 sketch drawn on the original photo artists (Art Sketches), and 99.27% ​​for sketches, generated automatically from the original picture to finish and artists (Viewed Sketches). Примеры Art Sketches и Viewed Sketches приведены на фиг.4. Examples Art Sketches and Viewed Sketches shown in Figure 4.

Предпочтительным вариантом реализации устройства является его использование для распознавания и поиска по скетчам (фотороботам, рисованным, рисованно-композиционным портретам), полученным по описаниям свидетелей или участников некоторого события (в том числе и криминального характера), оригинальных изображений лиц в большой базе данных для повышения эффективности существующих систем видеонаблюдения и создания нового класса интеллектуальных систем, рассчитанных на следующие типы приложений: интеллектуальное видеонаблюдение, биоме The preferred embodiment of the device is its use for detection and search sketches (identikit, draw, paint, composite portrait) obtained from the descriptions of witnesses or participants in some events (including a criminal nature), the original face images in a large database to improve the effectiveness of existing surveillance systems and the creation of a new class of intelligent systems designed for the following types of applications: intelligent video surveillance, biome рические системы идентификации личности и контроля доступа, системы технического зрения. -geometric identification and access control systems, machine vision.

При этом прибор реализуется в виде платы устройств, в состав которой входит, по крайней мере, один сигнальный процессор. When this device is implemented as a card device, which includes at least one signal processor.

Таким образом, предложенный способ распознавания изображений лиц имеет более низкую вычислительную сложность вычислений, все преобразования реализуются на основе быстрых алгоритмов, что обеспечивает повышение быстродействия, обладает универсальностью за счет возможности адаптации к переменному размеру исходных изображений и использования сглаживающей фильтрации, элиминирующей возможные неточности при составлении скетча, что делает возможным его использование в системах реального времени. Thus, the proposed image recognition method entities has a lower computational complexity calculations, all transformations are implemented on the basis of fast algorithms that provides performance improvement has flexibility due to the possibility of adaptation to the variable size of the original image and the use of the smoothing filter, the eliminating any inaccuracies in compiling sketch that makes it possible to use it in real-time systems.

Claims (2)

  1. 1. Способ распознавания изображений лиц, состоящий из регистрации и распознавания, причем при регистрации вводятся исходные цветные изображения лиц, выполняется преобразование цветных изображений в полутоновые, удаляются высокочастотные спектральные компоненты, близкие по значениям к нулю, и полученные спектры записываются в базу эталонов, а при распознавании вводятся скетчи, удаляются высокочастотные спектральные компоненты, близкие по значениям к нулю, выполняется сравнение полученных тестовых спектров со спектрами, хранящимися в 1. A method of image recognition of persons, consisting of registration and recognition, and high-frequency spectral components by values ​​close to zero, and the spectra obtained are recorded in the reference database are entered in the registration initial color images of persons converts color images to gray-scale, are removed, and when recognition are entered sketches, high-frequency spectral components are removed, from values ​​close to zero, the comparison of the test spectra with spectra stored in базе эталонов, принимается решение о распознавании по критерию минимума расстояния, отличающийся тем, что при регистрации для полученных полутоновых изображений выполняется сглаживающая фильтрация, полученные изображения преобразуются в спектры с помощью двумерного косинус-преобразования, а при распознавании скетчи преобразуются в спектры с помощью двумерного косинус-преобразования. based standards, the decision on recognition by the criterion of minimum distance, characterized in that the registration for the obtained halftone images smoothing filtering is performed, the received images are transformed into the spectra by two-dimensional cosine transformation, and when recognizing sketches are transformed into the spectra by two-dimensional cosine conversion.
  2. 2. Система для осуществления способа по п.1, состоящая из последовательно соединенных устройства регистрации и устройства распознавания, при этом первый вход системы является входом устройства регистрации, а второй вход системы является входом устройства распознавания, выходом системы является выход устройства распознавания, причем устройство регистрации содержит блок преобразования цветных изображений в полутоновые, вход которого соединен с входом устройства регистрации, и блок базы эталонов, выход которого является выходом устройс 2. The system for implementing the method according to claim 1, consisting of serially connected registration device and recognition device, the first input system is an input registration device and a second input system is an input detection device, the system output is the output of the detection device, the detection device conversion unit comprises a halftone color image, whose input is connected to the input register unit and the base unit etalons whose output is the output ma тва регистрации, а устройство распознавания содержит блок классификатора, первый вход которого является вторым входом устройства распознавания, соединенным с выходом устройства регистрации, выход блока классификатора соединен с выходом устройства распознавания, отличающаяся тем, что устройство регистрации дополнительно содержит последовательно соединенные блок сглаживающей фильтрации и блок двумерного косинус-преобразования, выход которого соединен с входом блока базы эталонов, а устройство распознавания дополнительно содержит registration Twa and recognition apparatus comprises a classifier, the first input of which is the second input of the recognizer coupled to the output registration device block output of the classifier is connected to the output of the recognition device, characterized in that the recording device further comprises a series-connected unit of the smoothing filter and the block a two-dimensional cosine transformation, whose output is connected to the input of the block base standards, and recognition apparatus further comprises лок двумерного косинус-преобразования, выход которого соединен со вторым входом блока классификатора, а вход является первым входом устройства распознавания. Lock two-dimensional cosine transformation, whose output is connected to a second input of the classifier, and the input is the first input of the detection device.
RU2013150235A 2013-11-11 2013-11-11 Method of recognising facial images and system therefor RU2541136C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2013150235A RU2541136C1 (en) 2013-11-11 2013-11-11 Method of recognising facial images and system therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2013150235A RU2541136C1 (en) 2013-11-11 2013-11-11 Method of recognising facial images and system therefor

Publications (1)

Publication Number Publication Date
RU2541136C1 true RU2541136C1 (en) 2015-02-10

Family

ID=53287085

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2013150235A RU2541136C1 (en) 2013-11-11 2013-11-11 Method of recognising facial images and system therefor

Country Status (1)

Country Link
RU (1) RU2541136C1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2628125C1 (en) * 2016-07-13 2017-08-15 федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики" (Университет ИТМО) Method of automatic reconstruction of photo portraits from sketches and system for its implementation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764790A (en) * 1994-09-30 1998-06-09 Istituto Trentino Di Cultura Method of storing and retrieving images of people, for example, in photographic archives and for the construction of identikit images
RU2490710C1 (en) * 2012-07-23 2013-08-20 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)" Method of recognising facial images and system for realising said method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764790A (en) * 1994-09-30 1998-06-09 Istituto Trentino Di Cultura Method of storing and retrieving images of people, for example, in photographic archives and for the construction of identikit images
RU2490710C1 (en) * 2012-07-23 2013-08-20 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)" Method of recognising facial images and system for realising said method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Кухарев Г.А. и др., "Методы сравнения фотопортрета-оригинала и скетча", Известия СПбГЭТУ "ЛЭТИ", 2013, N 6, стр. 64-78. Abhishek Sharma et al, "Bypassing Synthesis: PLS for Face Recognition with Pose, Low-Resolution and Sketch", CVPR 2011 Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition, 2011, pages 593-600 . *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2628125C1 (en) * 2016-07-13 2017-08-15 федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики" (Университет ИТМО) Method of automatic reconstruction of photo portraits from sketches and system for its implementation

Similar Documents

Publication Publication Date Title
Ruiz-del-Solar et al. Illumination compensation and normalization in eigenspace-based face recognition: A comparative study of different pre-processing approaches
Jain et al. Face matching and retrieval in forensics applications
Xu et al. Automatic 3D face recognition from depth and intensity Gabor features
Murase et al. Moving object recognition in eigenspace representation: gait analysis and lip reading
US20030161504A1 (en) Image recognition system and recognition method thereof, and program
Jesorsky et al. Robust face detection using the hausdorff distance
US20100272366A1 (en) Method and device of detecting object in image and system including the device
Liu et al. The treasure beneath convolutional layers: Cross-convolutional-layer pooling for image classification
US20050180610A1 (en) Image processing apparatus
US20110091113A1 (en) Image processing apparatus and method, and computer-readable storage medium
JP2004192603A (en) Method of extracting pattern feature, and device therefor
Nanni et al. Fusion of color spaces for ear authentication
Arandjelovic et al. A manifold approach to face recognition from low quality video across illumination and pose using implicit super-resolution
CN101187975A (en) A face feature extraction method with illumination robustness
Nicolo et al. Long range cross-spectral face recognition: matching SWIR against visible light images
Theriault et al. Dynamic scene classification: Learning motion descriptors with slow features analysis
JPH1185988A (en) Face image recognition system
Bae et al. Real-time face detection and recognition using hybrid-information extracted from face space and facial features
Srivastava et al. Statistical hypothesis pruning for identifying faces from infrared images
Chen et al. Simple face-detection algorithm based on minimum facial features
Piuri et al. Fingerprint biometrics via low-cost sensors and webcams
Mohamed et al. Face detection based neural networks using robust skin color segmentation
Kumar et al. An efficient skin illumination compensation model for efficient face detection
Chadha et al. Face recognition using discrete cosine transform for global and local features
Wallace et al. Cross-pollination of normalization techniques from speaker to face authentication using gaussian mixture models