WO2009035377A2 - Cпocoб и система для идентификации человека по изображению лицa - Google Patents

Cпocoб и система для идентификации человека по изображению лицa Download PDF

Info

Publication number
WO2009035377A2
WO2009035377A2 PCT/RU2008/000591 RU2008000591W WO2009035377A2 WO 2009035377 A2 WO2009035377 A2 WO 2009035377A2 RU 2008000591 W RU2008000591 W RU 2008000591W WO 2009035377 A2 WO2009035377 A2 WO 2009035377A2
Authority
WO
WIPO (PCT)
Prior art keywords
standards
face
person
recognition
image
Prior art date
Application number
PCT/RU2008/000591
Other languages
English (en)
French (fr)
Other versions
WO2009035377A4 (ru
WO2009035377A3 (ru
Inventor
Vladimir Grigorievich Yakhno
Alexander Alexandrovich Telnykh
Eugene Viktorovich Eremin
Vladimir Avtandilovich Razumov
Nikolai Sergeevich Bellustin
Olga Vladimirovna Shemagina
Tatiana Anatolievna Kraeva
Yury Dmitrievich Kalafaty
Ajay Kumar Jain
Upendra Singh Rohatgi
Original Assignee
Institute Of Applied Physics Ras
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute Of Applied Physics Ras filed Critical Institute Of Applied Physics Ras
Publication of WO2009035377A2 publication Critical patent/WO2009035377A2/ru
Publication of WO2009035377A3 publication Critical patent/WO2009035377A3/ru
Publication of WO2009035377A4 publication Critical patent/WO2009035377A4/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Definitions

  • the invention relates to authorized access systems and robotic systems for automatic human identification.
  • the disadvantages of the method are the low reliability of recognition, the instability of the recognition results to the brightness-contrast image variability.
  • There is also a method of identifying a person by the geometric parameters of the surface of his face RF Patent Ns 9912780, publ. From 2001.09.2.
  • This method allows to improve the image characteristics of the identified object due to the formation of many standards of shadows formed through the use of several additional sources of illumination.
  • the disadvantages of the method are the large time and computational cost of identification and the high cost of equipment necessary for the implementation of the method due to the high requirements presented; to the optical sensor, uniformity and monochrome illumination of the object of identification.
  • There is a method of identifying a person by his face which includes checking for the presence of a person in an image obtained using a video camera; determining the location of the eyes in the image; binding the position of other facial features relative to the eyes; determination of characteristic features at some points of the face during verification; counting signs of similarity with standards and comparison with a threshold (US Patent N 5164992, v. 17, 1992).
  • the disadvantages of this method are the low accuracy and speed of recognition, and the high cost of equipment for implementing recognition.
  • the closest in technical essence identification method is a method of identifying a person by a face image (RF Patent Ns 2175148), including: obtaining a video image with the face of an identifiable person; selection of image fragments, including eye images; selection of the area of the information field in the video image; allocation of informationally significant sites in the information field; highlighting the characteristic features of the structure of the face; building standards of faces of identifiable people; comparing characteristic features and determining a quantitative measure of the similarity of the face structure with the standards found in the database of the computing device; identification of a person by an integrated assessment of the measure of similarity of a person with each of the standards.
  • This method of identifying a person is based on the fact that: when a person appears in the field of view of a video camera, his image is captured at successive times.
  • the obtained video information is converted into a digital electrical signal.
  • Digital information is analyzed using a computing device and stored.
  • a set of standards is built in the process of making certain movements of the head of an identifiable person in the form of two-dimensional information fields.
  • the background is normalized inside the area selected in the information field related to the face of the person being identified, a black-and-white image of this face is formed and a horizontal strip is included on it, including the image of the eyes, and the face phase is estimated by its asymmetry.
  • the result of this assessment is used to search for standards of persons with phases close to that estimated, the image is compared in parts with the selected standards, a decision is made on the similarity and the decision is to include additional standards in the set of standards for pre-learning the system.
  • the conditions for responding to external signals determined by predetermined scenarios signs of face movement (displacement, direction, etc.) in the field of view of the camera, linear dimensions of the face and its individual parts, etc., are used.
  • the known method firstly, requires the recording of several images at different points in time, which lengthens the time of preliminary identification. Secondly, to identify a person, it is necessary to obtain an image in two gradations of brightness, which leads to a strong dependence of the received image on the type of face illumination.
  • a system that includes video and computing equipment.
  • the computing equipment contains, interconnected by communication channels, blocks: capturing images, pre-processing the input image, determining the location of the face, highlighting the strip containing the eyes, building blocks of standards, comparing the standards, training the system, database, and making decisions.
  • the main disadvantage of the known system is that it does not provide identification of the face of a stationary person and cannot be used to identify a person from a photograph. This reduces the functionality of the system.
  • the system is unstable to bright - contrast image variability. Reducing the stability of the system to interference affects the reliability of the result of identification of a person.
  • the task to which the group of inventions is directed is the development of a method and system for identifying a person by facial image, which are characterized by improved functional and operational characteristics. These improved functional and operational characteristics are: in the developed method - speeding up the procedure and increasing the reliability of human identification, and in the developed system for implementing the method - expanding the system’s functionality and increasing resistance to interference.
  • the task of speeding up the procedure and improving the accuracy of identification of a person is solved by the fact that in the known method of identifying a person:
  • the standards are built on the basis of the Jacobi method using 20 presented face images for each trained user, where up to 20 missing images are generated by randomly moving the eyes of the last incoming image in a small neighborhood, and the missing number of this person’s images is created using a random pair generator points or regular walks in a small predetermined neighborhood of a person’s location
  • the standards are built on the basis of the values of "auto-correlation" between the originally obtained standards and standards, obtained by shifts, angular turns and scale changes using regular walk in a small predetermined neighborhood of the face location
  • the characteristic features of the fragment are compared with previously found standards in the memory of the computing device and the quantitative measure of their similarity is determined on the basis of at least two similarity measures using the average error curves of the 1st and 2nd kind for the entire user base, and then in accordance with individual error values of the 1st and 2nd kind for each recognized user
  • FIG. 1. shows the basic operations of implementing the method of identifying a person by face.
  • FIG. 2. The block diagram of the system for implementing the operations of the method.
  • FIG. 3. shows a structural diagram of the system blocks that perform operations to determine the location of the fragment with the face of a person in the image (block 5 in figure 2).
  • a set of operations when extracting fragments with the face of a recognizable person on the input image including three main stages of filtering analyzed fragments:
  • FIG. 2 The system for implementing the method is presented in a block diagram (FIG. 2, FIG. 3), where:
  • 16 is a block for checking parameter values
  • a block for constructing standards consists of blocks (Fig. 2):
  • a client-server architecture version is implemented, consisting of a subsystem for communicating with the user and transmitting signals to actuators (client subsystem), and from a data processing and storage subsystem (server subsystem ")
  • Subsystem” client “: 1 - the image capture unit captures images of 640 by 480 pixels in size (use consumer Web cameras via a USB channel).
  • the training unit controls the capture of sequentially received from the camera 15 images.
  • the captured images are sequentially checked for the presence of at least one fragment with a face on them (block 5 in Fig. 2).
  • the fragments cut from them are transmitted for the training procedure. The remaining images are not considered. If, after analyzing the entire set of captured images, the number of images with faces is less than 5, then the user is prompted to repeat the procedure for capturing an additional 15 images.
  • recognition mode a single image is used. Each incoming image is analyzed and, after finding a fragment with a face, the system performs all the necessary operations for making decisions. If a fragment with a face is not found, then the system proceeds to the analysis of the next image.
  • the pre-processing unit filters the input images and, if they are color, translates them into a grayscale representation of 640 by 480 pixels.
  • 6 is a block for constructing the first type of standards for preliminary search and recognition.
  • FIG. 7 is a block for constructing a second type of standards for the detailed recognition operation.
  • 8 is a block for constructing additional standards for final recognition.
  • 9 database of bath (DB) for storing, searching, and issuing, upon request, face standards for various comparison procedures, as well as additional statistical information necessary for calculating comparison measures.
  • DB database of bath
  • the unit for comparison of standards forms its priority sheets for each type of compared standards.
  • a filtration unit performing operations 2a of the method selects areas with horizontally elongated structures (in particular, a filter can be used
  • the unit filters the found objects according to the width and height values of the rectangles described around them - only those objects whose width and height are in the specified value ranges are left, provided that the width is greater than the height (performing operations 2a of the method).
  • the algorithm sequentially iterates over all the “attention points) found in the video image) and, assuming first that this attention point is the human eye, looks for another attention point claiming to be the eye to the right and to the left of it”
  • 16 is a block for checking the values of parameters that determine the distance between points in a pair and the angle of their rotation from the horizontal, in comparison with the thresholds specified in the system parameters file (performing operations 2a of the method). If both these conditions are fulfilled, then this pair of points becomes a candidate for the role of a pair of face eyes, and the surrounding area of the studied image becomes a candidate for the role of the region of the human face. If no pairs of points corresponding to these conditions are found, then the signal is transmitted to block 19 “Face not found”. 17 - a block for evaluating pairs of points requests from block 9 copies of the reference image and the generation of normalized images.
  • block 9 Having transmitted to block 9 the coordinates of the studied pair of points, it receives from block 9 (in accordance with operations 26 and 2c of the method) images of the neighborhoods of these points in the form of images 32 * 32 pixels in size, these images are normalized by illumination with a special algorithm to minimize the effect of face illumination on its results detection and recognition. If for all presented pairs of image points from block 9 it is not possible to obtain, then the signal is transmitted to block 19 “Face not found”.
  • the filtering block of the found candidates performs filtering of the found candidates by eliminating spatially overlapping variants of the found faces, in accordance with the execution of operations 26 of the method, the filtering is carried out in two stages.
  • clustering of the found pairs of points is realized - spatially close pairs are grouped into clusters, the distance of each pair to the primary pair of the cluster does not exceed the threshold value.
  • the “best” pair is selected, as the pair with the smallest “position” value to the average reference person. This pair - the winner in the cluster - remains in the list of candidate pairs, and the remaining pairs from the cluster are discarded.
  • the notification unit "face not found” receives signals from blocks 16, 17, 18, 20 and transmits a signal to block 2.
  • a block for clarifying the position of the eyes sequentially sorts out as points of eye points points lying in the immediate vicinity of the preliminary search methods described above and compares them with the standard.
  • the block uses a genetic algorithm in order to avoid direct enumeration and significantly reduce the search time with an acceptable level of accuracy (performing operations 2c of the method).
  • the communication channels in the system are based on a set of programs developed by the authors (AWPBioAPI SDK) for developers of such systems corresponding to
  • BioAPI standard The method for identifying a person (according to FIG. 1) using the system for And recognition of a person by the image of his face (Fig.2 and Fig.Z) is as follows.
  • the training procedure is performed — it builds all the necessary standards for persons who will subsequently be recognized, calculates the following set of standards: generalized standards; standards based on a single set of basic functions (built for all trained users); standards based on basic functions (built separately for each trained user), etc.
  • Jacobi method an algorithm for finding eigenvalues and vectors (orthogonal basis decomposition functions) of a data matrix obtained from a set of images used for training.
  • the algorithm consists of a chain of orthogonal matrix similarity transformations. Each transformation (Jacobi rotation) is a flat rotation in order to zero out one of the off-diagonal matrix elements. Successive transformations do not preserve the already established zero elements, but at the same time the off-diagonal elements become smaller and smaller until the matrix becomes diagonal to the accuracy of machine zero.
  • the accumulation in the process of transformations of the product of transformation matrices gives a matrix of eigenvectors (orthogonal basis decomposition functions), while diagonal elements are eigenvalues.
  • the system also calculates auxiliary statistical dependencies on the decision threshold for possible errors of the first (FRR) and second (FAR) kind, built for both all users and for each trained user. These dependencies are built in the training procedure on pre-formed test sets of images of various faces of people (for the training of our system, a base of ⁇ 8000 different images was used for 200 to 400 possible users).
  • the system When performing the second set of operations of the method on the captured image, the system performs a set of the following operations of filtering and analysis of image fragments in order to determine the location of a person's face.
  • points corresponding to the location of the eyes are highlighted.
  • preliminary structures having a significant vertical gradient and horizontally elongated structure are highlighted in the image in block 2a.
  • Near each pair of points are cut square fragments related to a possible face in the original image and select the best pairs of points by comparing with generalized standards for “faces” and generalized standards for “not faces” (block 2 b in Fig. 1).
  • the set of analyzed rectangles decreases sharply.
  • the locations of points for each eye are determined by comparing with predetermined standards for both the right eye and the left eye (block 2c in FIG. 1).
  • an algorithm is implemented in the system (block 20 in Fig. 3) when, based on the initial pair of points, it first creates N more close to it new pairs of points by the "mutation" procedure, i.e. by generating new points in a given neighborhood already known, using a random number generator. From JV + 1 variants of pairs of points and corresponding square areas at this iteration step, the best one is selected, which is considered as the source for the next iteration step. The final result is the best option obtained after n iterative steps.
  • the optimal values of N, n, and other parameters of the face-finding system were selected by conducting numerous computational experiments, both in the training database and in other examples of images that did not participate in the training.
  • the size of the search area in vertical and horizontal coordinates is set equal to 1 A from the distance between the eyes, while each of the coordinates of the newly created point can differ from the coordinate of the starting point within 1/8 of the distance between the eyes.
  • the second set of operations ends with operations in block 2d associated with cutting out a square fragment with the image of a person whose upper and side faces are set at equal distances from the location of the points for the right and left eyes and equal to 0.3 of the size of the square face.
  • the operation of underlining informationally significant areas is performed using Gaussian functions in an ellipse for further training and recognition operations in a selected rectangular fragment.
  • the third set of operations involves the calculation of standards based on a single set of basic functions built for all trained users, which are necessary for performing operations for preliminary search and recognition of users in the database.
  • Standards are the coefficients for decomposing the input image into basic functions built for all trained users.
  • the fourth type of operations is associated with the calculation of standards for detailed recognition based on basic functions constructed separately for each trained user.
  • the standards are the coefficients of the decomposition of the input image into basic functions.
  • the standards for final recognition are the autocorrelation coefficients between the originally obtained standards for preliminary search and recognition and similar standards obtained for shifts, angular rotations and zooming using regular traversal in a small predetermined neighborhood of the image fragment under study (blocks 7 and 8 of the system in FIG. 2).
  • one of the known comparison measures between vectors in the space of features used is used (for example, the standard deviation).
  • a priority list of “users” is compiled, sorted by the increase in distance in the space of used signs (block 5 in FIG. 1 and block 10 in FIG. 2 )
  • the proximity measure is converted to the error values of the first (FRR) and second (FAR) types in percentage terms possible errors.
  • the decomposition coefficients are calculated from the input image for the basic functions constructed separately for each trained user. These coefficients are then used to calculating the reconstructed image based on the basis functions used (block 4 in FIG. 1 and block 8 in FIG. 2).
  • Calculation of “standard” proximity measures is carried out by comparing the input and reconstructed images (block 6 in FIG. 1 and block 10 in FIG. 2). Both the average integral proximity measures for the entire fragment with the face and the proximity measures of the fragments for the eyes, nose, mouth, or other fragments predefined from the discriminatory analysis are calculated.
  • priority lists of “blank” users are compiled.
  • the proximity measures of "auto-correlated" standards for final recognition are calculated. All measures are reduced to an integral measure, either by the operation of summation with weight coefficients, or by calculating the geometric mean measure.
  • the proximity measures presented in distances in feature spaces are recalculated into the errors of the first (FRR) and the second (FAR) kind as a percentage for each user included in the priority list.
  • the average curves for all users are also calculated.
  • the system performs the final operation of generating the calculation of the integral estimate for the similarity measure in each analyzed fragment using at least a two-stage comparison procedure: a) at the first stage, a priority list for errors of the first (FRR) and second (FAR) kind is obtained in percent, obtained for preliminary recognition operations (block 5); b) at the second stage, for each user who is on the priority list of the first stage, they recalculate its error values of the first (FRR) and second (FAR) types in percent, based on its own statistical dependence of errors on the decision threshold obtained for the detailed operation and final recognition (block 6 in FIG. 1 and blocks 7, 8 in FIG. 2) requested from block 1 (in FIG. 1) or block 9 (in FIG. 2).
  • the reliability of the method of identification of a person is ⁇ 95%. Improving the accuracy and reliability of recognition is achieved by three-stage selection of the image fragment with the face, the introduction of this information areas of dividing the image with the detected face informationally significant areas. In this case, more than three measures are used to compare characteristic features with previously found standards in the memory of the computing device, and individual thresholds for each user, calculated in the training procedure, are also used.
  • Improving noise immunity is achieved through the use of filtering noise arising in the information channels of the optical sensor, in combination with a special procedure for normalizing brightness in the analyzed area of the information field, as well as using several types of standards for search and recognition.
  • the acceleration of the process of calculating features and the comparison procedure is achieved through the implementation of the system in accordance with the client-server architecture, as well as through the procedure for constructing an index description for the standards in combination with the procedure for accelerated access to the set of standards for people to be identified.
  • the present invention provides increased accuracy of recognition of human faces in the front view from a single captured image with increased resistance to a set of interference in the original input image, work with a large database, and the ability to work in a client-server architecture.
  • the proposed method can be widely used in authorized access systems, in particular, when a user is allowed access to confidential information stored in the memory of both office and personal computing devices.
  • the method can be applied in access systems to closed sources of information, security systems, monitoring systems in public places, for example, to search for persons on the wanted list.
  • the test system is made on the basis of modern element base

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

Изобретение относится к автоматической идентификации человека по изображению лица. Изобретение ускоряет процедуру и повышает достоверность идентификации. В способе идентификации человека по изображению лица выделяют фрагменты, включающие изображения глаз, путем предварительного выделения первичных признаковых точек, соответствующих местоположению глаз, а также путем определения местоположения точек для каждого глаза и сравнения с заранее заданными эталонами правого глаза и левого глаза. Далее выделяют информационно значимые участки в выделенном фрагменте информационного поля с помощи применения функции Гаусса в эллипсе. Затем строят эталоны лиц идентифицируемых людей с использованием не менее двух типов ортогональных базисных функций для предварительного поиска и распознавания, для детального распознавания и построения дополнительных эталонов для окончательного распознавания. Идентификация осуществляется по интегральной оценке меры сходства для каждого анализируемого фрагмента посредством двухэтапной процедуры сравнения эталонов для предварительного поиска и распознавания и сравнения эталонов для детального и окончательного распознавания.

Description

Способ и система для идентификации человека по изображению лица.
Область техники Изобретение относится к системам авторизированного доступа и робототехническим системам автоматической идентификации человека.
Предшествующий уровень техники
Известны способы идентификации человека, основанные на оценке интерактивных характеристик лица, в частности путем построения и оценки набора профилей яркости в поле зрения лица {см., например, L.Sirсviсh еt аl, 1987 Орtiсаl Sосiеtу оf Атеriса, "Lоw-diтепsiопаl рrосеdиrе fоr thе сhаrасtеrizаtiоп оfhитапfасеs", рр. 519-524).
Недостатками способа являются низкая надежность распознавания, неустойчивость результатов распознавания к яркостно-контрастной изменчивости изображения. Известен также способ идентификации человека по геометрическим параметрам поверхности его лица (Патент РФ Ns 9912780, публ. от 2001.09.2).
Данный способ позволяет улучшить характеристики изображения идентифицируемого объекта за счет формирования множества эталонов теней, формируемых за счет использования нескольких дополнительных источников подсветки.
Реализация данного способа требует определенных технических условий, что ограничивает возможности его практического применения.
Известны также способы идентификации человека на основе анализа структуры его лица по видеоизображению, основанные на выделении и анализе характерных черт лица - глаз, бровей, носа, рта и т.п. ( US Patent N 5710833, jап. 20, 1998).
Недостатками способа являются большие временные и вычислительные затраты на идентификацию и высокая стоимость оборудования, необходимого для реализации способа из-за высоких требований, предъявленных; к оптическому датчику, равномерности и монохромности освещения объекта идентификации. Известен способ идентификации человека по его лицу, предусматривающий проверку наличия лица на изображении, полученном с помощью видеокамеры; определение местонахождения глаз на изображении; привязку положения других черт лица относительно глаз; определение характерных особенностей в некоторых точках лица во время верификации; подсчет признаков сходства с эталонами и сравнение с порогом (US Patent N 5164992, поv. 17, 1992). Недостатками данного способа являются низкие точность и скорость распознавания, и высокая стоимость оборудования для реализации распознавания.
Наиболее близким по технической сущности способом идентификации, выбранным в качестве прототипа заявляемого способа, является способ идентификации человека по изображению лица (Патент РФ Ns 2175148), включающий: получение видеоизображения с лицом идентифицируемого человека; выделение фрагментов изображения, включающих изображения глаз; выделение области информационного поля на видеоизображении; выделения информационно значимых участков на информационном поле; выделение характерных признаков структуры лица; построение эталонов лиц идентифицируемых людей; сравнение характерных признаков и определение количественной меры сходства структуры лица с найденными в базе данных вычислительного устройства эталонами; идентификацию человека по интегральной оценке меры сходства лица с каждым из эталонов.
Данный способ идентификации человека основан на том, что: при появлении в поле зрения видеокамеры человека его изображение захватывают в последовательные моменты времени.
Далее полученную видеоинформацию подвергают преобразованию в цифровой электрический сигнал. Цифровую информацию анализируют с помощью вычислительного устройства и запоминают. Набор эталонов строят в процессе совершения определенных движений головой идентифицируемого человека в виде двумерных информационных полей.
Далее нормализуют фон внутри выделенной в информационном поле области, относящейся к лицу идентифицируемого человека, формируют черно-белое изображение этого лица и выделяют на нем горизонтальную полосу, включающую изображение глаз и по ее асимметрии оценивают фазу лица.
Результат этой оценки используют для поиска эталонов лиц с фазами, близкими к оцененной, сравнивают по частям изображение с выбранными эталонами, принимают решение о сходстве и решение, о включении дополнительных эталонов в набор эталонов для до-обучения системы. В качестве условий реагирования на внешние сигналы, определенных по заранее заданным сценариям, используют признаки движения лица (смещение, направление и т.п.), находящегося в поле зрения видеокамеры, линейные размеры лица и его отдельных частей и т. п.
Известный способ, во-первых, требует записи нескольких изображений в разные моменты времени, что удлиняет время предварительной идентификации. Во-вторых, для идентификации человека требуется получение изображения в двух градациях яркости, что приводит к сильной зависимости полученного изображения от типа подсветки лица.
Неустойчивость результатов распознавания к яркостно - контрастной изменчивости изображения приводит к снижению достоверности распознавания объекта.
Для реализации данного способа идентификации человека по изображению лица используют систему, которая включает видео и вычислительную аппаратуру.
При этом вычислительная аппаратура содержит, соединенные между собой каналами связи, блоки: захвата изображений, предварительной обработки входного изображения, определения местоположения лица, выделения полосы, содержащей глаза, блоки построения эталонов, сравнения эталонов, обучения системы, базы данных, принятия решений.
Основным недостатком известной системы является то, что она не обеспечивает идентификацию лица неподвижного человека и не может быть использована для идентификации человека по фотографии. Это снижает функциональные возможности системы.
Отсутствие возможности замены блоков системы при изменении алгоритма выполняемой в блоке операции, в виду того, что каналы связи между отдельными блоками системы не стандартизированы, также снижает функциональные возможности системы.
Кроме того, система неустойчива к яркостно - контрастной изменчивости изображения. Снижение устойчивости системы к помехам сказывается на достоверности результата идентификации человека.
Раскрытие изобретения
Задачей, на решение которой направлена группа изобретений, является разработка способа и системы для идентификации человека по изображению лица, которые отличаются улучшенными функциональными и эксплуатационными характеристиками. Этими улучшенными функциональными и эксплуатационными характеристиками являются: в разработанном способе - ускорение процедуры и повышение достоверности идентификации человека, а в разработанной системе для реализации способа - расширение функциональных возможностей системы и повышение устойчивости к помехам. Поставленная задача ускорения процедуры и повышения точности идентификации человека решается тем, что в известном способе идентификации человека:
- видеоизображение с лицом идентифицируемого человека получают во фронтальном ракурсе;
- фрагменты, включающие изображения глаз, выделяют путем предварительного выделения первичных признаковых точек, соответствующих местоположению глаз а также путем определения местоположения точек для каждого глаза и сравнения с заранее заданными эталонами правого глаза и левого глаза - выделение области информационного поля производят путем выделения квадратного фрагмента
- выделение информационно значимых участков в выделенном фрагменте информационного поля осуществляют с помощью применения функции гаусса в эллипсе - построение эталонов лиц идентифицируемых людей путем записи характерных признаков фрагмента в память системы производят с использованием не менее чем двух типов ортогональных базисных функций
- строят три вида эталонов для предварительного поиска и распознавания, детального и окончательного распознавания - идентифицируют человека по интегральной оценке меры сходства для каждого анализируемого фрагмента за счет трехэтапной процедуры сравнения эталонов для быстрого, стандартного и дополнительного поиска. При этом:
- для предварительного поиска и распознавания эталоны строят на основе метода Якоби с использованием прецедентной базы данных лиц для 200 - 400 человек (не менее чем 5 разных изображений лица для каждого обучаемого пользователя)
- для детального распознавания эталоны строят на основе метода Якоби по 20 предъявленным изображениям лица для каждого обучаемого пользователя, где недостающее до 20 число изображений генерируется случайным перемещением глаз последнего пришедшего изображения в небольшой окрестности, а недостающее число изображений лица этого человека создается с помощью генератора случайных пар точек или регулярного обхода в небольшой заданной окрестности местоположения лица
- для окончательного распознавания эталоны строят на основе величин «aвтoкoppeляции» между полученными первоначально эталонами и эталонами, полученными при сдвигах, угловых поворотах и изменениях масштабов с использованием регулярного обхода в небольшой заданной окрестности местоположения лица
- сравнение характерных признаков фрагмента с предварительно найденными эталонами в памяти вычислительного устройства и определение количественной меры их сходства производят на основании не менее двух мер сходства с использованием усредненных кривых ошибок 1-го и 2-го рода для всей базы пользователей, а затем - в соответствии с индивидуальными значениями ошибок 1-го и 2-го рода для каждого распознаваемого пользователя
Краткое описание фигур чертежей
На фиг. 1. приведены основные операции реализации способа идентификации человека по лицу.
На фиг. 2. приведена блок - схема системы для реализации операций способа. На фиг. 3. приведена конструктивная схема блоков системы, выполняющих операции для определения местоположения фрагмента с лицом человека на изображении (блок 5 на фиг.2).
На фиг. 4. приведен пример работы тестовой программы для подсчета ошибок.
Лучший вариант осуществления изобретения
Основные операции реализации способа (по фиг.l):
1. Операция построения, хранения и выдачи по запросу эталонов лиц, подлежащих распознаванию, и соответствующих этим эталонам тестовые кривые для ошибок первого (FRR) и второго (FAR) рода, построенные как для всех пользователей, так и для каждого пользователя отдельно (все эти кривые вычисляют на стадии обучения);
2. Набор операций при выделении на входном изображении фрагментов с лицом распознаваемого человека, включающий три основных этапа фильтрации анализируемых фрагментов:
2 а). Предварительное выделение пар признаковых точек, соответствующих местоположению глаз. Исходя из заданных параметров возможного расстояния между глазами человека и углами наклона его головы, составляют полный набор пар точек возможных положений глаз человека для дальнейшего анализа;
2 б). Далее производят отбор лучших пар точек за счет сравнения с обобщенными эталонами для «лиц» и обобщенными эталонами для «нe лиц». Оценку похожести предъявленного участка с изображением обобщенного лица осуществляют на основе алгоритма вычисления «paccтoяния» от пришедшего нормализованного изображения до образца-эталона, созданного в ходе обучения по 500 прецедентам. Кластеризация и выбор наилучшего среди пространственно перекрывающихся участков найденных лиц; 2 в). Определяют местоположения точек для каждого глаза, используя сравнения с заранее заданными эталонами, как для правого глаза, так и левого глаза. Для уточнения местоположения глаз используют генетический алгоритм;
2 г). Для операции распознавания выделяют квадратные фрагменты, относящиеся к возможному лицу, на исходном изображении. При этом задают верхние и боковые грани, вырезаемого квадратного фрагмента с изображением лица, на одинаковых расстояниях от местоположения точек для правого и левого глаза равным 0.3 от размера грани квадрата. Информационно значимые участки выделяют с помощью умножения яркости изображения на функцию гаусса в эллипсе;
3. Операция построения эталонов для предварительного поиска и распознавания на основе единого набора базисных функций для всех обученных пользователей;
4. Операция вычисления эталонов для детального распознавания, построенная на основе метода Якоби и базисных функций отдельно для каждого обученного пользователя, а также эталонов для окончательного распознавания на основе величин «aвтoкoppeляции» между полученными первоначально эталонами и эталонами, полученными при сдвигах, угловых поворотах и изменениях масштабов с использованием регулярного обхода в небольшой заданной окрестности исследуемого фрагмента изображения;
5. Операция вычисления мер близости между входными эталонами и эталонами из базы данных для выполнения операций «быcтpoгo» поиска, а также составления приоритетного списка «пoxoжиx» пользователей;
6. Операция вычисления мер близости между входными эталонами и эталонами из базы данных для уточняющего поиска по эталонам для детального и окончательного распознавания, а также составления приоритетных списков «пoxoжиx» пользователей;
7. Операция вычисления интегральной оценки для меры сходства в каждом анализируемом фрагменте за счет не менее чем двухэтапной процедуры сопоставления: а) приоритетных списков, полученных для операции предварительного поиска и распознавания; б) набора приоритетных списков, полученных в процессе уточняющих операций детального и окончательного распознавания.
Операция вычисления интегральной оценки для меры сходства в каждом анализируемом фрагменте для каждого вида эталонов на основании не менее двух мер сходства с использованием усредненных кривых ошибок 1-го и 2-го рода для всей базы пользователей, а затем в соответствии с индивидуальными значениями ошибок 1-го и 2-го рода для каждого распознаваемого пользователя.
Система для реализации способа представлена на блок - схеме (фиг.2, фиг.З), где:
1 - блок захвата изображения,
2 - визуализации сообщений для пользователя о результатах работы серверной подсистемы,
3 - блок обучения, 4 - блок предварительной обработки,
5 - блок определения местоположения фрагмента с лицом человека (Фиг. 3),
6 - блок построения первого вида эталонов для «пpeдвapитeльнoгo» поиска и распознавания,
7 - блок построения второго вида эталонов для детального распознавания, 8 - блок построения дополнительных эталонов для окончательного распознавания,
9 - база данных,
10 - блок сравнения эталонов,
11 - блок принятия решений,
12 - блок трансформации входного изображения, 13, 14 - блоки фильтрации,
15 - блок предварительного выделения пар точек,
16 - блок проверки значений параметров,
17 - блок оценки пар точек,
18 - фильтрации найденных кандидатов, 19 - блок оповещения «лицo не нaйдeнo»,
20 - блок уточнения положения глаз.
Поставленная задача предлагаемой системы для реализации способа решается тем, что в известной системе, которая содержит видео и вычислительную аппаратуру, включающие соединенные между собой каналами связи, блоки: блок построения эталонов состоит из блоков (Фиг. 2):
- построения эталонов для предварительного поиска и распознавания
- построения эталонов для детального распознавания
- построения дополнительных эталонов для окончательного распознавания, все блоки соединены между собой стандартизированными каналами связи; блок определения местоположения лица состоит из блоков (Фиг. 3): - трансформации размера входного изображения
- фильтрации горизонтальных объектов
- фильтрации по значениям ширины и высоты
- предварительного выделения пар точек - проверки значений параметров
- оценки пар точек
- устранения пространственно перекрывающихся вариантов найденных лиц,
- оповещения «лицo не найдено »,
- уточнения положения глаз, В предлагаемой системе для идентификации человека по лицу реализована версия клиент - серверной архитектуры, состоящая из подсистемы общения с пользователем и передачи сигналов на исполнительные механизмы (подсистема «клиeнт»), и из подсистемы обработки и хранения данных (подсистема «cepвep») Подсистема «клиeнт»: 1 - блок захвата изображения захватывает изображения размером 640 на 480 пикселов (используют потребительские Веб камеры по USB каналу).
2 - блок визуализации сообщений для пользователя о результатах работы серверной подсистемы получает захваченное изображение и визуализирует его пользователю для оценки качества процедуры захвата. Кроме того, по сети на основе протокола Соrbа захваченное изображение передается из клиентской подсистемы на серверную подсистему. В блоке 2 выполняется также воспроизведение (визуализация) сообщений для пользователя о результатах работы серверной подсистемы. Подсистема «cepвep»:
3 - блок обучения управляет захватом последовательно поступающих с камеры 15 изображений. Захваченные изображения последовательно проверяются на наличие на них хотя бы одного фрагмента с лицом (блок 5 на фиг. 2). Когда количество таких изображений с фрагментами лиц людей становится равным пяти, вырезанные из них фрагменты передаются для процедуры обучения. Оставшиеся изображения не рассматриваются. Если после анализа всего набора захваченных изображений число изображений с лицами будет меньше 5, то пользователю предлагается повторить процедуру захвата дополнительных 15 изображений. В режиме распознавания используется одно изображение. Происходит анализ каждого поступающего изображения и, после нахождения фрагмента с лицом, система выполняет все необходимые операции для принятия решений. Если фрагмент с лицом не найден, то система переходит к анализу следующего изображения. 4 - блок предварительной обработки фильтрует входные изображения и, если они цветные, переводит их в полутоновое представление размером 640 на 480 пикселов.
5 - блоки определения местоположения обрабатывает входное изображение и, в результате преобразований изображения в блоках 12 - 20, выдает результирующее изображение 32*32 с лицом человека (фиг.З).
6 - блок построения первого вида эталонов для предварительного поиска и распознавания.
7 - блок построения второго вида эталонов для операции детального распознавания.
8 - блок построения дополнительных эталонов для окончательного распознавания. 9 - база банных (БД) для хранения, поиска, и выдачи по запросу эталонов лиц для различных процедур сравнения, а также дополнительной статистической информации, необходимой для вычисления мер сравнения.
10 - блок сравнения эталонов формирует свои приоритетные листы для каждого вида сравниваемых эталонов. 11 - блок принятия решений из нескольких приоритетных листов для каждого вида сравниваемых эталонов формирует окончательный, приоритетный лист для распознанных пользователей.
12 - блок трансформации входного изображения 640*480 в полутоновое изображение 160*120. 13 - блок фильтрации, выполняющий операции 2а способа, выделяет области с горизонтально вытянутыми структурами (в частности, может использоваться фильтр
Превитта или другой фильтр с северным градиентом).
14 - блок осуществляет фильтрацию найденных объектов по значениям ширины и высоты, описанных вокруг них прямоугольников, - оставляются только те объекты, ширина и высота которых лежит в заданных интервалах значений, при условии, что ширина больше высоты (выполнение операций 2а способа).
15 - блок предварительного выделения пар точек, которые могут отождествляться на изображении с глазами человека. Для этого, в соответствии с операциями способа 2а алгоритм последовательно перебирает все найденные на видеоизображении «тoчки внимания)) и, предположив сначала, что именно эта точка внимания является глазом человека, ищет справа и слева от нее другую точку внимания, претендующую на роль глаза
16 - блок проверки значений параметров, определяющих расстояния между точками в паре и угла их поворота от горизонтали, по сравнению с порогами, заданными в файле параметров системы (выполнение операций 2а способа). Если оба эти условия выполнены, то данная пара точек становится кандидатом на роль пары глаз лица, а окружающая их область исследуемого изображения - кандидатом на роль области человеческого лица. Если не найдено ни одной соответствующей этим условиям пары точек, то сигнал передается в блок 19 «Лицo не найдено ». 17 - блок оценки пар точек запрашивает из блока 9 копии эталонных изображения и генерации нормализованных изображений. Передав блоку 9 координаты исследуемой пары точек, он получает от блока 9 (в соответствии с операциями 26 и2в способа) изображения окрестностей этих точек в виде изображений размером 32*32 пикселей, эти изображения нормализованы по освещенности специальным алгоритмом для минимизации влияния освещенности лица на результаты его обнаружения и распознавания. Если для всех предъявленных пар точек изображения от блока 9 получить не удается, то передается сигнал блоку 19 «Лицo не найдено ».
18 - блок фильтрации найденных кандидатов выполняет фильтрацию найденных кандидатов путем устранения пространственно перекрывающихся вариантов найденных лиц, в соответствии с выполнением операций 26 способа, фильтрация осуществляется в два этапа.
На первом этапе реализуется кластеризация найденных пар точек - пространственно близкие пары группируются в кластеры, расстояние каждой пары до первичной пары кластера не превышает порогового значения. На втором этапе в каждом кластере выбирается «лyчшaя» пара, как пара с наименьшим значением «paccтoяния» до среднего эталонного лица. Эта пара - победитель в кластере - остается в списке пар-кандидатов, а остальные пары из кластера отбрасываются.
19 - блок оповещения «лицo не нaйдeнo» получает сигналы от блоков 16, 17, 18, 20 и передает сигнал в блок 2.
20 - блок уточнения положения глаз последовательно перебирает в качестве вариантов точек глаз точки, лежащие в непосредственной окрестности найденных описанными выше методами предварительного поиска и сравнивает их с эталоном. В блоке используется генетический алгоритм для того, чтобы уйти от прямого перебора и существенно сократить время поиска при приемлемом уровне точности (выполнение операций 2в способа).
Каналы связи в системе выполнены на основе разработанного авторами набора программ (АWРВiоАРI SDK) для разработчиков таких систем, соответствующих
ВiоАРI стандарту. Способ идентификации человека (по фиг.l) с помощью системы для И распознавания человека по изображению его лица (по фиг.2 и фиг.З) осуществляют следующим образом.
На первой операции реализации способа (блок 1 на фиг. 1) выполняет процедуру обучения - проводит построение всех необходимых эталонов для лиц, которые будут впоследствии распознаваться, проводит вычисление следующего набора эталонов: обобщенные эталоны; эталоны на основе единого набора базисных функций, (построенных для всех обученных пользователей); эталоны на основе базисных функций, (построенных отдельно для каждого обученного пользователя) и т.д.
Для построения набора базисных функций используют метод Якоби - алгоритм нахождения собственных чисел и векторов (ортогональных базисных функций разложения) матрицы данных, полученной из набора изображений, используемых для обучения. Как известно метод Якоби является робастным для действительных симметричных матриц данных. Алгоритм состоит из цепочки ортогональных преобразований подобия матрицы. Каждое преобразование (ротация Якоби) - это плоский поворот с целью обнуления одного из внедиагональных элементов матрицы. Последовательные преобразования не сохраняют уже установленные нулевые элементы, но вместе с тем внедиагональные элементы становятся меньше и меньше до тех пор, пока матрица не станет диагональной с точностью до машинного нуля. Накопление в процессе преобразований произведения трансформационных матриц дает матрицу собственных векторов (ортогональных базисных функций разложения), в то время как диагональные элементы являются собственными значениями.
В процессе обучения система вычисляет также, вспомогательные статистические зависимости от порога принятия решений для возможных ошибках первого (FRR) и второго (FAR) рода, построенные как для всех пользователей, так и для каждого обученного пользователя. Эти зависимости строятся в процедуре обучения на сформированных заранее тестовых наборах изображений различных лиц людей (для обучения нашей системы использовалась база ~ 8000 различных изображений для 200- 400 возможных пользователей).
При выполнении второго набора операций способа на захваченном изображении система выполняет набор следующих операций фильтрации и анализа фрагментов изображения с целью определения местоположения лица человека.
В качестве характерных признаков местоположения лица выделяются точки, соответствующие местоположению глаз. Сначала на изображении в блоке 2а выделяются предварительные структуры, имеющие значительный вертикальный градиент и горизонтально вытянутое строение. Около каждой пары точек вырезаются квадратные фрагменты, относящихся к возможному лицу на исходном изображении и проводят отбор лучших пар точек за счет сравнения с обобщенными эталонами для «лиц» и обобщенными эталонами для «нe лиц» (блок 2 б на фиг. 1). При этом набор анализируемых прямоугольников резко уменьшается. В оставшемся наборе прямоугольников определяются местоположения точек для каждого глаза, путем сравнения с заранее заданными эталонами, как для правого глаза, так и левого глаза (блок 2в на фиг.1).
Для этого в системе (блок 20 на фиг. 3) реализован алгоритм, когда по первоначальной паре точек сначала создает еще N близких к ней новых пар точек процедурой «мyтaции», т.е. путем генерации новых точек в заданной окрестности уже известных, с использованием генератора случайных чисел. Из JV + 1 вариантов пар точек и соответствующих им квадратных областей на данном итерационном шаге выбирается лучший, который рассматривается в качестве исходного для следующего итерационного шага. Итоговым является лучший вариант, получившийся после п итерационных шагов. Оптимальные значения N , п и других параметров системы нахождения лица подбирались путем проведения многочисленных вычислительных экспериментов, как по обучающей базе данных, так и по другим примерам изображений, не участвовавших в обучении. В итоге были выбраны значения N = I I n и = 7 . Размер области поиска по вертикальной и по горизонтальной координатам задается одинаковым и равным 1A от расстояния между глазами, при этом каждая из координат вновь созданной точки может отличаться от координаты исходной точки в пределах 1/8 от расстояния между глазами.
Из полученных таким путем 12 вариантов пар точек и соответствующих им квадратных областей на данном итерационном шаге выбирается лучший, который используется в качестве исходного для следующего итерационного шага.
При операции сравнения признаков выделенного прямоугольного фрагмента с признаками эталона для набора произвольных изображений лиц и признаками еще одного эталона для специального набора изображений «нe лиц» и по результатам этих двух сравнений система определяет порог принятия решения о нахождении лица.
Второй набор операций заканчивается операциями в блоке 2г, связанными с вырезанием квадратного фрагмента с изображением лица, верхняя и боковые грани которого, задаются на одинаковых расстояниях от местоположения точек для правого и левого глаза и равными 0.3 от размера грани квадрата. После этого выполняется операция подчеркивания информационно значимых участков с помощью применения функции гаусса в эллипсе для выполнения в дальнейшем операций обучения и распознавания в выделенном прямоугольном фрагменте.
Третий набор операций связан с вычислением эталонов на основе единого набора базисных функций, построенных для всех обученных пользователей, которые необходимы для выполнения операций для предварительного поиска и распознавания пользователей в базе данных. Эталоны представляют собой коэффициенты разложения входного изображения по базисным функциям, построенных для всех обученных пользователей.
Четвертый вид операций связан с вычислением эталонов для детального распознавания на основе базисных функций, построенных отдельно для каждого обученного пользователя. Эталоны представляют собой коэффициенты разложения входного изображения по базисным функциям. Эталоны для окончательного распознавания представляют собой коэффициенты автокорреляции между полученными первоначально эталонами для предварительного поиска и распознавания и аналогичными эталонами, полученными при сдвигах, угловых поворотах и изменениях масштабов с использованием регулярного обхода в небольшой заданной окрестности исследуемого фрагмента изображения (блоки 7 и 8 системы на фиг.2).
Для вычисления мер близости между эталонами, построенных для выполнения операций предварительного поиска и распознавания, используется одна из известных мер сравнения между векторами в пространстве используемых признаков (например, среднее квадратичное отклонение). По результатам вычисления мер близости между входными эталонами и эталонами из базы данных для выполнения операций предварительного поиска и распознавания составляется приоритетный список «пoxoжиx» пользователей, отсортированный по увеличению расстояния в пространстве используемых признаков (блок 5 на фиг.l и блок 10 на фиг.2). На основе статистических зависимостей возможных ошибок от порога принятия решений, хранящихся базе данных (блок 1 на фиг.l и блок 9 на фиг.2), производится пересчет меры близости в величины ошибок первого (FRR) и второго (FAR) рода в процентных величинах возможных ошибок. Эти кривые вычисляют как для каждого пользователя, так и усреднено для всех пользователей. В приоритетном списке остаются только те пользователи, величины ошибок которых меньше заданного порога для выполнения операций «быcтpoгo» поиска.
Для детального распознавания из входного изображения высчитываются коэффициенты разложения по базисным функциям, построенным отдельно для каждого обученного пользователя. Затем эти коэффициенты используются для вычисления восстановленного изображения на основе использованных базисных функций (блок 4 на фиг.l и блок 8 на фиг.2). Вычисление «cтaндapтныx» мер близости осуществляется при сравнении входного и восстановленного изображений (блок 6 на фиг.l и блок 10 на фиг.2). Вычисляются, как средние интегральные меры близости для всего фрагмента с лицом, так и меры близости фрагментов для глаз, для носа, для рта, или других заранее определенных из дискриминационного анализа фрагментов. При вычислении каждой меры близости составляются приоритетные списки «пoxoжиx» пользователей. Вычисляются меры близости «aвтoкoppeляциoнныx» эталонов для окончательного распознавания. Все меры сводятся в интегральную меру, либо операцией суммирования с весовыми коэффициентами, либо вычислением среднегеометрической меры.
На основе статистических зависимостей возможных ошибок от порога принятия решений, построенных для каждого обученного пользователя (блок 1 на фиг.l и блок 9 на фиг.2) производит пересчет мер близости, представленных в расстояниях в пространствах признаков, в величины ошибок первого (FRR) и второго (FAR) рода в процентах для каждого пользователя, включенного в приоритетный список. Вычисляются также и усредненные кривые для всех пользователей.
Окончательную операцию формирования вычисления интегральной оценки для меры сходства в каждом анализируемом фрагменте система выполняет с использованием не менее, чем двухэтапной процедуры сопоставления: а) на первом этапе формируют приоритетный список для ошибок первого (FRR) и второго (FAR) рода в процентах, полученный для операции предварительного распознавания (блок 5); б) на втором этапе для каждого пользователя, попавшего в приоритетный список первого этапа, производят пересчет его величины ошибок первого (FRR) и второго (FAR) рода в процентах, на основе его собственной статистической зависимости ошибок от порога принятия решений, полученной для операции детального и окончательного распознавания (блок 6 на фиг. 1 и блоки 7, 8 на фиг.2), запрошенной из блока 1 (на фиг.l) или блока 9 (на фиг.2). В приоритетном списке оставляют только тех пользователей (лиц), величины ошибок которых меньше заданного порога. Заявленные признаки способа и системы для идентификации человека по его лицу являются новыми, так как в доступных источниках информации сведений порочащих новизну группы изобретений нами не выявлено.
Научно-технический уровень изобретений обусловлен тем, что разработка сущности способа потребовала для решения поставленной задачи проведения научных и экспериментальных исследований. ^ ^
В частности, для повышения точности нахождения лица была использована многоэтапная фильтрация точек местоположения глаз, а чтобы уменьшить количество анализируемых вариантов в десятки, а иногда и в сотни раз нами был использован генетический алгоритм. При кодировании лица формируются наборы эталонов, одни из которых позволяют проводить быстрый поиск в базе данных, а другие повышают точность распознавания. Применение меры близости эталонов в величинах ошибок первого (FRR) и второго (FAR) рода в процентах позволяет выбирать пороги для принятия решений лучше всего адаптированные для текущей базы данных, набранной системой. Использование такого подхода позволило ускорить время обработки данных и расширить диапазон операций для автоматического распознавания лиц, позволяющий достигнуть высокого уровеня точности распознавания.
Работоспособность способа и системы доказана практически на достоверном количестве проведенных экспериментов. Работоспособность описанных алгоритмов проверялась с помощью специальной программы подсчета ошибок распознавания. Для этого использовались различные базы данных записанных изображений с лицами людей.
Например, для базы изображений лиц вl57 человек, снятых в разные дни и при различных вариантах (ситуациях) освещения было проведено исследование, как влияет процедура уточнения глаз на результаты распознавания. Было рассмотрено 4 варианта: (1) - обучение и распознавание без уточнения; (2) - обучение с уточнением и распознавание без уточнения; (3) - обучение без уточнения и распознавание с уточнением; (4) - обучение с уточнением и распознавание с уточнением.
Результаты расчетов подтвердили наше предположение о том, что уточнение положения лица существенно улучшает результаты системы распознавания.
Было проведено исследование точности распознавания системы для базы данных из 100 человек, по 20-30 изображений для каждого, снятых в одинаковых условиях. Для обучения случайным образом бралось по шесть изображений, а для распознавания выбирались 5 изображений из оставшихся. Такая процедура повторялась 5 раз. Для этих различных прецедентов были получены следующие результаты: 3.88% < EER < 5.84% апd 1% < FPR < 2%. Пример работы тестовой программы для подсчета ошибок приведен на фиг. 4.
Достоверность способа идентификации человека составляет ~ 95%. Повышение точности и надежность распознавания достигается за счет трех этапного выделения фрагмента изображения с лицом, введения в этой информационной области разбиения изображения с обнаруженным лицом информационно значимых участков. При этом используются более чем три меры сравнения характерных признаков с предварительно найденными эталонами в памяти вычислительного устройства, а также используются индивидуальные пороги для каждого пользователя, вычисляемые в процедуре обучения.
Повышение устойчивости к помехам достигается за счет использования фильтрации шумов, возникающих в информационных каналах оптического датчика, в сочетании со специальной процедурой нормализации яркости в анализируемой области информационного поля, а также использования нескольких видов эталонов для поиска и распознавания.
Ускорение процесса вычисления признаков и процедуры сравнения достигается за счет реализации системы в соответствии с клиент-серверной архитектурой, а также за счет процедуры построения индексного описании для эталонов в сочетании с процедурой ускоренного доступа к набору эталонов для людей, подлежащих идентификации .
Таким образом, настоящее изобретение (способ и система) обеспечивает повышенную точность распознавания лиц человека во фронтальном ракурсе по одному захваченному изображению при повышенной устойчивости к набору помех на исходном входном изображении, работу с большой базой данных, и возможность работы в клиент - серверной архитектуре.
Промышленная применимость
Предлагаемый способ может найти широкое применение в системах авторизованного доступа, в частности, при допуске пользователя к конфиденциальной информации, хранящейся в памяти как офисных, так и персональных вычислительных устройств.
Способ может быть применен в системах доступа к закрытым источникам информации, охранных системах, в системах мониторинга в общественных местах, например, для поиска лиц, находящихся в розыске. Тестовая система изготовлена на основе современной элементной базы
(комплектующих деталей) и готова к серийному производству.

Claims

Формула изобретения.
1. Способ идентификации человека по изображению лица включающий: получение видеоизображения с лицом идентифицируемого человека; выделение фрагментов изображения, включающих изображения глаз; выделение области информационного поля на видеоизображении; выделение информационно значимых участков на информационном поле; выделение характерных признаков структуры лица; построение эталонов лиц идентифицируемых людей; сравнение характерных признаков и определение количественной меры сходства структуры лица с найденньми в базе данных вычислительного устройства эталонами; идентификацию человека по интегральной оценке меры сходства лица с каждым из эталонов, отличающийся тем, что видеоизображение с лицом идентифицируемого человека получают во фронтальном ракурсе; фрагменты, включающие изображения глаз, выделяют путем предварительного выделения первичных признаковых точек, соответствующих местоположению глаз, а также путем определения местоположения точек для каждого глаза и сравнения с заранее заданными эталонами правого глаза и левого глаза; выделение области информационного поля производят путем выделения квадратного фрагмента; выделение информационно значимых участков в выделенном фрагменте информационного поля осуществляют с помощью применения функции гаусса в эллипсе; построение эталонов лиц идентифицируемых людей путем записи характерных признаков фрагмента в память системы производят с использованием не менее чем двух типов ортогональных базисных функций для предварительного поиска и распознавания, для детального распознавания и построения дополнительных эталонов для окончательного распознавания; идентифицируют человека по интегральной оценке меры сходства для каждого анализируемого фрагмента за счет двухэтапной процедуры сравнения эталонов для предварительного поиска и распознавания и сравнения эталонов для детального и окончательного распознавания.
2. Способ по п.l, отличающийся тем, что эталоны для предварительного поиска и распознавания строят с использованием прецедентной базы данных лиц для 200 - 400 человек (не менее чем 5 разных изображений лица для каждого обучаемого пользователя); эталоны для детального распознавания строят по 20 предъявленным изображениям лица для каждого обучаемого пользователя, где недостающее до 20 число изображений генерируется случайным перемещением глаз последнего пришедшего изображения в небольшой окрестности, а недостающее число изображений лица этого человека создается с помощью генератора случайных пар точек или регулярного обхода в небольшой заданной окрестности местоположения лица; дополнительные эталоны для окончательного распознавания строят на основе величин «aвтoкoppeляции» между полученными первоначально эталонами и эталонами, полученными при сдвигах, угловых поворотах и изменениях масштабов с использованием регулярного обхода в небольшой заданной окрестности местоположения лица; сравнение характерных признаков фрагмента, с предварительно найденными эталонами в памяти вычислительного устройства, и определение количественной меры их сходства производят на основании не менее двух мер сходства с использованием усредненных кривых ошибок 1-го и 2-го рода для всей базы пользователей, а затем в соответствии с индивидуальными значениями ошибок 1-го и 2-го рода для каждого распознаваемого пользователя.
3. Система для идентификации человека по изображению лица включающая видео и вычислительную аппаратуру, которая содержит соединенные между собой каналами связи, блоки: захвата изображений; предварительной обработки входного изображения; определения местоположения лица; выделения полосы, содержащей глаза; построения эталонов; сравнения эталонов; обучения системы; базы данных; принятия решений. отличающаяся тем, что блок построения эталонов состоит из блоков: построения эталонов для предварительного поиска и распознавания; построения эталонов для операций детального распознавания; построения дополнительных эталонов для окончательного распознавания, блок определения местоположения лица состоит из блоков: трансформации размера входного изображения; фильтрации горизонтальных объектов; фильтрации по значениям ширины и высоты; предварительного выделения пар точек; проверки значений параметров; оценки пар точек, устранения пространственно перекрывающихся вариантов найденных лиц; оповещения «лицo не найдено », уточнения положения глаз.
4. Система по п. 3 отличающаяся тем, что система реализована в клиент-серверной архитектуре и все блоки соединены между собой стандартизированными каналами связи.
PCT/RU2008/000591 2007-09-13 2008-09-11 Cпocoб и система для идентификации человека по изображению лицa WO2009035377A2 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2007134069/09A RU2382408C2 (ru) 2007-09-13 2007-09-13 Способ и система для идентификации человека по изображению лица
RU2007134069 2007-09-13

Publications (3)

Publication Number Publication Date
WO2009035377A2 true WO2009035377A2 (ru) 2009-03-19
WO2009035377A3 WO2009035377A3 (ru) 2009-05-07
WO2009035377A4 WO2009035377A4 (ru) 2009-07-16

Family

ID=40452733

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2008/000591 WO2009035377A2 (ru) 2007-09-13 2008-09-11 Cпocoб и система для идентификации человека по изображению лицa

Country Status (2)

Country Link
RU (1) RU2382408C2 (ru)
WO (1) WO2009035377A2 (ru)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113065893A (zh) * 2021-03-24 2021-07-02 支付宝(杭州)信息技术有限公司 客户信息识别方法、装置、设备及存储介质
CN113057529A (zh) * 2021-02-22 2021-07-02 江苏柯林博特智能科技有限公司 一种基于楼梯清扫机器人的垃圾分类控制系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2458397C1 (ru) * 2011-03-23 2012-08-10 Федеральное государственное военное образовательное учреждение высшего профессионального образования "Военный авиационный инженерный университет" (г. Воронеж) Министерства обороны Российской Федерации Способ поиска и распознавания объектов на цифровых изображениях
RU2455676C2 (ru) 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
WO2013028700A2 (en) * 2011-08-22 2013-02-28 Eyelock Inc. Systems and methods for capturing artifact free images
RU2543950C2 (ru) 2011-12-28 2015-03-10 Кэнон Кабусики Кайся Устройство формирования изображения и способ управления указанным устройством
RU2488882C1 (ru) * 2012-01-19 2013-07-27 Общество с ограниченной ответственностью "Вокорд СофтЛаб" Способ идентификации личности человека
RU2490710C1 (ru) * 2012-07-23 2013-08-20 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный электротехнический университет "ЛЭТИ" им. В.И. Ульянова (Ленина)" Способ распознавания изображений лиц и система для его осуществления
US11743431B2 (en) 2013-03-15 2023-08-29 James Carey Video identification and analytical recognition system
US11039108B2 (en) 2013-03-15 2021-06-15 James Carey Video identification and analytical recognition system
WO2014172624A2 (en) 2013-04-19 2014-10-23 James Carey Video identification and analytical recognition system
WO2015084286A1 (ru) * 2013-12-03 2015-06-11 Вячэслав Викторовыч СТОЯНОВ Способ создания и передачи эмограммы пользователя
RU2562753C1 (ru) * 2014-04-14 2015-09-10 Владимир Борисович Грачев Способ идентификации и/или верификации изображений
EP3332549A4 (en) * 2015-08-04 2018-08-08 James Carey Video identification and analytical recognition system
SG10202001382XA (en) * 2015-09-11 2020-04-29 Eyeverify Inc Image and feature quality, image enhancement and feature extraction for ocular-vascular and facial recognition, and fusing ocular-vascular with facial and/or sub-facial information for biometric syste
CN105530172A (zh) * 2015-12-28 2016-04-27 小米科技有限责任公司 用户信息的获取方法、装置、终端设备和服务器
RU2735629C1 (ru) * 2019-12-10 2020-11-05 Самсунг Электроникс Ко., Лтд. Способ распознавания близнецов и ближайших родственников для мобильных устройств и мобильное устройство его реализующее

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998003966A2 (en) * 1996-07-19 1998-01-29 Identification Technologies International, Inc. System for object verification and identification
RU2175148C1 (ru) * 2000-04-04 2001-10-20 Свириденко Андрей Владимирович Способ идентификации человека
RU2304307C1 (ru) * 2006-03-29 2007-08-10 Юрий Витальевич Морзеев Способ идентификации человека по изображению его лица

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998003966A2 (en) * 1996-07-19 1998-01-29 Identification Technologies International, Inc. System for object verification and identification
RU2175148C1 (ru) * 2000-04-04 2001-10-20 Свириденко Андрей Владимирович Способ идентификации человека
RU2304307C1 (ru) * 2006-03-29 2007-08-10 Юрий Витальевич Морзеев Способ идентификации человека по изображению его лица

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YANG MING-HSUAN ET AL.: 'Detecting Faces in Images: A Survey.' IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE vol. 24, no. 1, January 2002, pages 34 - 58 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113057529A (zh) * 2021-02-22 2021-07-02 江苏柯林博特智能科技有限公司 一种基于楼梯清扫机器人的垃圾分类控制系统
CN113065893A (zh) * 2021-03-24 2021-07-02 支付宝(杭州)信息技术有限公司 客户信息识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2009035377A4 (ru) 2009-07-16
RU2007134069A (ru) 2009-03-20
WO2009035377A3 (ru) 2009-05-07
RU2382408C2 (ru) 2010-02-20

Similar Documents

Publication Publication Date Title
RU2382408C2 (ru) Способ и система для идентификации человека по изображению лица
JP5010905B2 (ja) 顔認証装置
JP2016081212A (ja) 画像認識装置、画像認識方法、および、画像認識プログラム
Kawulok et al. Precise multi-level face detector for advanced analysis of facial images
KR100940902B1 (ko) 손가락 기하학 정보를 이용한 바이오 인식 방법
JP2016157420A (ja) 画像テンプレートマスキング
KR101743927B1 (ko) 확장된 곡선형 가버 필터를 이용한 객체 기술자 생성 방법 및 장치
KR101016758B1 (ko) 인물 식별 방법 및 그 시스템
CN111444817B (zh) 一种人物图像识别方法、装置、电子设备和存储介质
Aliyu et al. A Comparative Study of Eigenface and Fisherface Algorithms Based on OpenCV and Sci-kit Libraries Implementations.
Tapia et al. Single morphing attack detection using feature selection and visualization based on mutual information
Sahbi et al. Robust face recognition using dynamic space warping
CN106407942B (zh) 一种图像处理方法及其装置
JP6003367B2 (ja) 画像認識装置、画像認識方法および画像認識プログラム
Hassan et al. An information-theoretic measure for face recognition: Comparison with structural similarity
KR100696251B1 (ko) 홍채인식을 위한 비교영역 설정 및 사용자 인증정보 생성방법 및 그 장치
KR101473991B1 (ko) 얼굴 검출 방법 및 그 장치
JP2002208011A (ja) 画像照合処理システムおよび画像照合方法
JP4222558B2 (ja) 画像認識装置
Mattar Principal components analysis based iris recognition and identification system
KR101306576B1 (ko) 차분 성분을 고려한 조명 변화에 강인한 얼굴 인식 시스템
Triantafyllou et al. Iris authentication utilizing co-occurrence matrices and textile features
Choras Facial feature detection for face authentication
Pande et al. Parallel processing for multi face detection and recognition
Algabary et al. 3-Dimensional ear recognition based iterative closest point with stochastic clustering matching

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08831234

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08831234

Country of ref document: EP

Kind code of ref document: A2