WO2013151205A1 - 얼굴 인식을 위한 얼굴 영상 획득 방법 및 장치 - Google Patents
얼굴 인식을 위한 얼굴 영상 획득 방법 및 장치 Download PDFInfo
- Publication number
- WO2013151205A1 WO2013151205A1 PCT/KR2012/003312 KR2012003312W WO2013151205A1 WO 2013151205 A1 WO2013151205 A1 WO 2013151205A1 KR 2012003312 W KR2012003312 W KR 2012003312W WO 2013151205 A1 WO2013151205 A1 WO 2013151205A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- face
- image
- face image
- recognition
- user
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/164—Detection; Localisation; Normalisation using holistic features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Definitions
- the present invention relates to far face image generation used for user registration in PCA (Principal Component Analysis) based far face recognition.
- the double face has the disadvantage that the recognition rate is relatively lower than the fingerprint and the retina, but the research on the long-range human recognition using the face is being conducted with the advantage that the face can be recognized even in contactless and non-cooperative mode and can be recognized at a relatively long distance.
- PCA Principal Component Analysis
- face image registration corresponding to the user must be registered beforehand.
- the user manually displays face images corresponding to 1m to 5m by distance to generate the registered image. There is a problem that the time and hassle that is required for face registration is generated by having to register.
- a face image for each distance to be used for registration is automatically generated using only a single face image input at a predetermined distance, for example, 1 m.
- the face image acquisition method for face recognition when the face image registration mode for the face recognition of the user is executed, acquires an image including the user's face at a predetermined distance through the camera And dividing the obtained image into frames each having a predetermined number of different frames, recognizing and extracting a face using a face recognition algorithm from the divided frame-specific images, and extracting the extracted face image. And correcting the corrected face image for each distance to correspond to a registered image size compared / controlled when authenticating a specific face image, and correcting the corrected face image for each specific face image. It characterized in that it comprises the step of storing as a predetermined distance-specific registration image of the.
- the camera unit for obtaining an image including the user's face, and the face recognition from the acquired image through the face recognition algorithm face recognition
- a face extracting unit extracting a feature point of the recognized face and a correcting unit correcting the extracted face image to correspond to a reference face image size for each predetermined distance, Acquire an image including a user's face, divide the obtained image into frames each having a predetermined number of different frames, and recognize and extract a face using a face recognition algorithm from the divided frame-specific images.
- a controller for correcting to correspond to a registered image size compared / contrast when authenticating a face image, and storing the image as a preset distance-specific registered image of the user.
- FIG. 1 is a flowchart illustrating a method of obtaining a face image for face recognition according to an embodiment of the present invention.
- FIG. 2 is a diagram illustrating an example of an image obtained by dividing an image photographed at a predetermined distance for each frame having a different number of frames in face image acquisition for face recognition according to an embodiment of the present invention.
- FIG. 3 is an exemplary view illustrating an image reduced in accordance with a preset face image size for each distance in face image acquisition for face recognition according to an embodiment of the present invention.
- FIG. 4 is an exemplary view showing an image of a result obtained by enlarging a registered image size used in PCA-based face recognition by applying interpolation to distance-registered images in face image acquisition for face recognition according to an embodiment of the present invention.
- FIG. 5 is a detailed block diagram of a face image acquisition device for face recognition according to an embodiment of the present invention.
- FIG. 6 is a view showing an equation applied when generating a unique face and extracting feature points through a PCA in face image acquisition for face recognition according to an embodiment of the present invention.
- FIG. 7 illustrates equations applied when comparing / contrasting maximum similarity between a registered image and an input image in face image acquisition for face recognition according to an embodiment of the present invention.
- the present invention relates to the generation of a far face image used for user registration in PCA (Principal Component Analysis) based far face recognition. More particularly, the present invention relates to a single face image input at a predetermined distance for pre-registration. Each divided frame is divided into respective frames, and the divided frame-specific image is corrected to correspond to a preset distance-based reference face image size and stored as a registered image, and then the feature points extracted from the stored plurality of face images for each frame and the input target are recognized. By comparing / contrast feature points extracted from face images to determine matching, users can automatically generate various face images for each distance corresponding to a distance by using the image registered once by the user and perform shooting for each preset distance. You don't have to face different distances already To create a photo paper to provide a technique for improving the face recognition rate.
- PCA Principal Component Analysis
- FIG. 1 is a flowchart illustrating a method of obtaining a face image for face recognition according to an exemplary embodiment.
- step 110 the current mode of the terminal is switched to a face image registration mode for face recognition of a user to execute a face image registration mode.
- an image including the face of the user is acquired at a predetermined distance through a camera, and in operation 114, the obtained image is divided into frames having different frames.
- the predetermined distance means 1 m in the embodiment of the present invention
- the predetermined number of frames is shown in FIG. 2
- FIG. 2 (a) shows one frame used for generating a 1 m face image.
- 2 (b) is assigned to 20 frames, FIG. 2 (c) to 40 frames, FIG. 2 (d) to 60 frames, and FIG. 2 (d) to 80 frames, but the present invention is not limited thereto.
- each divided frame having a different number of frames is obtained from an actual image photographed at 1m for automatic generation of 2m, 3m, 4m and 5m face images, respectively.
- step 116 the face is recognized and extracted from the frame-specific image segmented in step 114 using a face recognition algorithm.
- the face recognition algorithm is a technology for recognizing a face by recognizing the contours of the face, the position of the eyes, the chin and the mouth in the entire image space, detecting the face areas corresponding to the user's faces from the acquired face image
- Various methods known in the art can be used. For example, methods of recognizing geometric features such as the size and position of face, eyes, nose and mouth, principal component analysis (PCA) and linear discriminant analysis (LDA)
- PCA principal component analysis
- LDA linear discriminant analysis
- face recognition using third-order tensor-based MPCA Multilinear Ptrincipal Componet Analysis
- the PCA technique which is used in embodiments of the present invention, is a pattern classification method widely used in pattern recognition, statistics, signal processing, etc., and projects high-dimensional input data onto several optional axes considering dispersion. To reduce it to low-order data. Face recognition using the PCA technique reduces the execution time by reducing the image data to a low dimension and shows high recognition rate.
- step 118 the face image extracted in step 116 is corrected to correspond to a preset distance-based reference face image size.
- FIG. 3 is a face image extracted from a segmented image for each frame having a different number of frames in FIG. 2, that is, a face image for each distance of 1 m, 2 m, 3 m, 4 m, and 5 m.
- the size of the face image for each distance is 50x50, 30x30, 20x20, 16x16, 12x12 according to an embodiment of the present invention. Used as defined.
- step 120 the corrected distance-specific face image is corrected to correspond to a registered image size compared / contrast when authenticating a specific face image, and in step 122, the corrected face image is stored as a preset distance-specific registered image of the user.
- FIG. 4 is a result image obtained by enlarging a registered image size used in PCA-based face recognition by performing interpolation on FIG. 3, that is, a preset distance-based registration image, for user face image registration. By using this, only 1m image was used to automatically generate a far face image corresponding to 2m ⁇ 5m.
- a unique face is generated using the PCA from the registered image stored in operation 122, and a feature point is extracted from the generated unique face.
- the PCA is a second-order statistical technique using statistical properties up to variance, and is mainly used to efficiently reduce the dimension of high-dimensional input data.
- a unique face is generated through the PCA, and each learning image is projected onto the unique face to extract a unique feature point for each user.
- This process is the same as FIG. 6, where the eigenvalue obtained by the covariance matrix represents the direction of maximization of variance, and the eigenvector corresponding to the eigenvalue represents the variability of the specific direction. In this case, the eigenvector is an eigenface.
- step 126 it is checked whether the face image recognition mode is switched. If the face image recognition mode is executed as a result of the check, the process proceeds to step 128 to determine whether the input image is a valid image within a preset threshold range. If the determination result is valid, the process proceeds to step 130 and extracts feature points from the face image.
- step 129 uses the zoom in-out focus function to improve the valid image within a preset threshold range.
- the registered image having the maximum similarity is selected among the stored registration images, and in operation 134, a face recognition result is output.
- the maximum similarity is measured among the face images of each frame by comparing the feature points extracted from the input face image with the feature points extracted from the unique face generated using the PCA from the face images for each frame.
- the feature point extracted by the eigenface is compared with the feature point extracted from the registered image to find the most similar value.
- the process of determining whether the valid image is the input image is performed by the equation shown in FIG. 7.
- the similarity is measured using the Euclidean distance.
- Euclidean distance is a distance between two points in multidimensional space.
- the similarity with the feature vector of all the registered images is measured by using the feature vector of the input face image.
- the recognition rate is defined as the ratio of the number of input images T s correctly recognized with respect to the total number of verified images T.
- FIG. 5 is a block diagram of an apparatus for obtaining a face image for face recognition according to an exemplary embodiment.
- a device to which the present invention is applied includes a camera 810, a mode switch 814, a face recognition unit 816, a correction unit 818, a face extractor 820, a PCA (Principal Component Analysis, A control unit 812, a registration unit 824 and a storage unit 826 including a 822.
- a camera 810 a mode switch 814, a face recognition unit 816, a correction unit 818, a face extractor 820, a PCA (Principal Component Analysis, A control unit 812, a registration unit 824 and a storage unit 826 including a 822.
- a PCA Principal Component Analysis
- the camera 810 acquires an image including a user's face.
- the control unit 812 switches to either the face registration mode or the face recognition mode to execute the mode and the face recognizing unit 816 to recognize the face through a face recognition algorithm from the obtained image.
- a face extractor 820 for extracting feature points for the recognized face, a corrector 818 for correcting the extracted face image to correspond to a preset reference face image size for each distance, and the controller 812.
- a PCA for generating a unique face from the registered image stored under the control of) and extracting a feature point from the generated unique face.
- the controller 812 acquires an image including the face of the user at a predetermined distance through the camera unit 810, and divides the obtained image into frames each having a different number of preset frames. And a face is recognized and extracted from the divided frame-specific images by using a face recognition algorithm, and the face-by-distance face image corrected by the correction unit 818 is compared / controlled when authenticating a specific face image. Correcting is performed so as to correspond to a registered image size and controlling to store the image as a preset distance-specific registered image.
- the controller 812 determines whether the input face image is a valid image within a preset threshold range, and if the determination result is valid, the feature point from the face image. Extracts and selects a registered image having the maximum similarity among the stored registered images and outputs a face recognition result.
- controller 812 controls to improve the valid image within a preset threshold range by using a zoom in-out focus function when the validity of the input face image is not valid.
- the similarity is obtained by comparing feature points extracted from the input face image with feature points extracted from a unique face generated using the PCA 822 from face images registered for each frame. Is measured in the middle.
- the registration unit 824 registers a predetermined distance-specific registration image of the user under the control of the control unit 812.
- the storage unit 826 may store a program for processing and controlling the control unit 812, a face image acquisition program for face recognition may be stored as in the embodiment of the present invention, The set distance-specific registered image is stored for each user.
Abstract
본 발명은 얼굴 인식을 위한 얼굴 영상 획득 방법에 있어서, 사용자의 얼굴 인식을 위한 얼굴 영상 등록 모드가 실행되면, 카메라를 통하여 기설정된 거리에서 상기 사용자의 얼굴을 포함하는 영상을 획득하는 과정과, 상기 획득된 영상을 기설정된 서로 상이한 프레임수를 갖는 프레임별로 각각 분할하고, 상기 분할된 프레임별 영상으로부터 얼굴 인식 알고리즘을 이용하여 얼굴을 인식 및 추출하는 과정과, 상기 추출된 얼굴 영상을 기설정된 거리별 기준 얼굴 영상 사이즈(size)에 대응되도록 보정하는 과정과, 상기 보정된 거리별 얼굴 영상을 특정 얼굴 영상에 대한 인증 시 비교/대조되는 등록 영상 사이즈에 대응되도록 보정하고, 상기 사용자의 기설정된 거리별 등록 영상으로 저장하는 과정을 포함함을 특징으로 한다.
Description
본 발명은 PCA(Principal Component Analysis)기반 원거리 얼굴 인식에서 사용자 등록에 사용되는 원거리 얼굴 영상 생성에 관한 것이다.
범죄, 재난, 테러의 빈번한 발생으로 공항, 기차역, 항만, 공공기관 등과 같이 보안이 요구되는 지역에서의 감시 시스템에 대한 관심 및 요구가 증가하고 있다. 이에, 세계 각국은 개인 및 공공의 안전을 위하여 감시 카메라 환경에 유용한 원거리 휴먼인식 기술을 연구하고 있다. 사람의 생리학적 또는 행동적 특성을 이용하는 휴먼인식은 기술의 발전에 따라 얼굴, 지문, 망막, 음성, 걸음걸이 등을 이용하고 있다.
이중 얼굴은 지문, 망막 등에 비해 상대적으로 인식률이 낮다는 단점을 갖고 있지만 비접촉 및 비협조에도 인식이 가능하고 비교적 원거리에서도 인식이 가능하다는 장점으로 얼굴이 이용한 원거리 휴먼인식에 대한 연구가 진행 중이다.
일반적으로 이러한 얼굴 인식에 있어서 패턴인식, 통계학, 신호처리 분야 등에서 많이 쓰이는 패턴 분류 방법으로 주성분 분석 기법(PCA : Principal Component Analysis)이 주로 사용되고 있는데, 상기 PCA를 기반으로 한 원거리 얼굴 인식이 있어서 얼굴 영상 등록에 사용될 얼굴 인식을 위해서는 사전에 본인에 해당하는 얼굴 영상 등록이 선행되어야 하는데 기존의 PCA 기반 기술의 경우 해당 등록 영상을 생성하기 위해 사용자가 사전에 1m ~ 5m에 해당하는 얼굴 영상을 거리별로 일일이 등록해야함으로써 얼굴 등록에 소비되는 시간과 번거로움이 발생되는 문제가 있다.
따라서 본 발명은 PCA(Principal Component Analysis)기반 원거리 얼굴 인식에서 사용자 등록에 사용되는 원거리 얼굴 영상 생성 시 미리 설정된 거리 예컨대 1m에서 입력된 단독 얼굴 영상만으로 등록에 사용할 거리별 얼굴영상을 각각 자동으로 생성하는 기술을 제공하고자 한다.
본 발명의 일 견지에 따르면, 얼굴 인식을 위한 얼굴 영상 획득 방법에 있어서, 사용자의 얼굴 인식을 위한 얼굴 영상 등록 모드가 실행되면, 카메라를 통하여 기설정된 거리에서 상기 사용자의 얼굴을 포함하는 영상을 획득하는 과정과, 상기 획득된 영상을 기설정된 서로 상이한 프레임수를 갖는 프레임별로 각각 분할하고, 상기 분할된 프레임별 영상으로부터 얼굴 인식 알고리즘을 이용하여 얼굴을 인식 및 추출하는 과정과, 상기 추출된 얼굴 영상을 기설정된 거리별 기준 얼굴 영상 사이즈(size)에 대응되도록 보정하는 과정과, 상기 보정된 거리별 얼굴 영상을 특정 얼굴 영상에 대한 인증 시 비교/대조되는 등록 영상 사이즈에 대응되도록 보정하고, 상기 사용자의 기설정된 거리별 등록 영상으로 저장하는 과정을 포함함을 특징으로 한다.
본 발명의 다른 견지에 따르면, 얼굴 인식을 위한 얼굴 영상 획득 장치에 있어서, 사용자의 얼굴을 포함하는 영상을 획득하는 카메라부와, 상기 획득된 영상으로부터 얼굴 인식 알고리즘을 통해 상기 얼굴을 인식하는 얼굴 인식부와, 상기 인식된 얼굴에 대한 특징점을 추출하는 얼굴 추출부 및 상기 추출된 얼굴 영상을 기설정된 거리별 기준 얼굴 영상 사이즈에 대응되도록 보정하는 보정부를 포함하고, 상기 카메라부를 통해 기설정된 거리에서 상기 사용자의 얼굴을 포함하는 영상을 획득하도록 하고, 상기 획득된 영상을 기설정된 서로 상이한 프레임 수를 갖는 프레임별로 각각 분할하고, 상기 분할된 프레임별 영상으로부터 얼굴 인식 알고리즘을 이용하여 얼굴을 인식 및 추출하도록 제어하고, 상기 보정부를 통해 보정된 거리별 얼굴 영상을 특정 얼굴 영상에 대한 인증 시 비교/대조되는 등록 영상 사이즈에 대응되도록 보정하고, 상기 사용자의 기설정된 거리별 등록 영상으로 저장하도록 제어하는 제어부를 포함함을 특징으로 한다.
본 발명은 PCA(Principal Component Analysis)기반 원거리 얼굴 인식에서 사용자 등록에 사용되는 원거리 얼굴 영상 생성 시 사용자가 1회 등록한 영상을 이용하여 원거리에 해당하는 미리 설정된 거리별 다양한 얼굴 영상을 자동으로 생성하여 미리 설정된 거리별 촬영을 일일이 수행할 필요 없이 다양한 거리별 얼굴 이미지를 생성하여 얼굴 인식률을 높이는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 얼굴 인식을 위한 얼굴 영상 획득 방법에 관한 전체 흐름도.
도 2는 본 발명의 일 실시 예에 따른 얼굴 인식을 위한 얼굴 영상 획득에 있어서 미리 설정된 거리에서 촬영된 영상을 상이한 프레임 수를 갖는 프레임별로 분할한 영상을 보인 화면 예시도.
도 3은 본 발명의 일 실시 예에 따른 얼굴 인식을 위한 얼굴 영상 획득에 있어서 미리 설정된 거리별 얼굴 영상 크기에 맞게 축소한 영상을 보인 화면 예시도.
도 4는 본 발명의 일 실시 예에 따른 얼굴 인식을 위한 얼굴 영상 획득에 있어서 거리별 등록 영상에 대하여 보간법을 적용하여 PCA 기반 얼굴 인식에서 사용하는 등록 영상 크기로 확대한 결과 영상을 보인 화면 예시도.
도 5는 본 발명의 일 실시 예에 따른 얼굴 인식을 위한 얼굴 영상 획득 장치에 관한 상세 블록도.
도 6은 본 발명의 일 실시 예에 따른 얼굴 인식을 위한 얼굴 영상 획득에 있어서 PCA를 통해 고유 얼굴 생성 및 특징점 추출 시 적용되는 수학식을 보인 도면.
도 7은 본 발명의 일 실시 예에 따른 얼굴 인식을 위한 얼굴 영상 획득에 있어서 등록 영상 및 입력 영상 간의 최대 유사도 비교/대조 시 적용되는 수학식을 보인 도면.
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
본 발명은 PCA(Principal Component Analysis)기반 원거리 얼굴 인식에서 사용자 등록에 사용되는 원거리 얼굴 영상 생성에 관한 것으로, 더욱 상세하게는 사전 등록을 위해 미리 설정된 거리에서 입력된 단독 얼굴 영상을 서로 상이한 프레임수를 갖는 프레임별로 각각 분할하고, 상기 분할된 프레임별 영상을 미리 설정된 거리별 기준 얼굴 영상 사이즈에 대응되도록 보정하여 등록 영상으로 저장한 후 상기 저장된 복수의 프레임별 얼굴 영상으로부터 추출된 특징점과 입력된 인식 대상 얼굴 영상으로부터 추출된 특징점을 비교/대조하여 매칭 여부를 판단함으로써 사용자가 1회 등록한 영상을 이용하여 원거리에 해당하는 미리 설정된 거리별 다양한 얼굴 영상을 자동으로 생성하여 미리 설정된 거리별 촬영을 일일이 수행할 필요 없이 다양한 거리별 얼굴 이미지를 생성하여 얼굴 인식률을 높이기 위한 기술을 제공하고자 한다.
이하, 본 발명의 일 실시 예에 따른 얼굴 인식을 위한 얼굴 영상 획득 방법에 관해 도 1을 참조하여 자세히 살펴보기로 한다.
도 1은 본 발명의 일 실시 예에 따른 얼굴 인식을 위한 얼굴 영상 획득 방법에 관한 전체 흐름도이다.
도 1을 참조하면, 먼저 110 과정에서 단말기의 현재 모드를 사용자의 얼굴 인식을 위한 얼굴 영상 등록 모드로 전환하여 얼굴 영상 등록 모드를 실행한다.
112 과정에서는 카메라를 통하여 기설정된 거리에서 상기 사용자의 얼굴을 포함하는 영상을 획득하고, 114 과정에서 상기 획득된 영상을 기설정된 서로 상이한 프레임 수를 갖는 프레임별로 각각 분할한다.
이때, 상기 기설정된 거리는 본 발명의 실시 예에서는 1m를 의미하는 것이고, 상기 기설정된 프레임 수는 도 2에 도시된 바와 같이, 도 2(a)는 1m 얼굴 영상의 생성을 위해 사용되는 1 프레임, 도 2(b)는 20 프레임, 도 2(c)는 40 프레임, 도 2(d)는 60 프레임 및 도 2(d)는 80 프레임이 할당되는 것이지만, 본 발명이 이에 한정되지는 않는다. 이와 같이 서로 다른 프레임 수를 갖는 각 분할된 프레임은 각각 2m, 3m, 4m 및 5m 얼굴 영상의 자동 생성을 위해 상기 1m에서 촬영된 실제 영상으로부터 획득된다.
116 과정에서는 114 과정에서 분할된 프레임별 영상으로부터 얼굴 인식 알고리즘을 이용하여 얼굴을 인식 및 추출한다.
여기서, 상기 얼굴 인식 알고리즘은 전체 영상 공간에서 얼굴의 윤곽, 눈, 턱 및 입의 위치 인식을 통하여 얼굴을 인식하는 기술로서, 상기 획득된 얼굴 영상으로부터 사용자의 얼굴들에 해당하는 얼굴 영역을 검출하기 위한 공지된 다양한 방법들이 사용될 수 있다. 예를 들어, 얼굴의 구성 요소인 눈, 코, 입 등의 크기 및 위치 등의 기하학적 특징으로 인식하는 방법과 주성분 분석 기법(PCA : Principal Component Analysis), 선형 판별 분석 기법(LDA : Linear Discriminant Analysis)와 같은 얼굴 전체의 통계적인 값을 특징으로 인식하는 방법이 있다. 최근에는 3차 텐서기반 MPCA(Multilinear Ptrincipal Componet Analysis) 방법을 이용한 얼굴인식 방법도 연구되고 있다.
이 중 상기 PCA 기법은 본 발명의 실시 예에서 사용되고 있는 것으로, 패턴인식, 통계학, 신호처리 분야 등에서 많이 쓰이는 패턴 분류 방법으로, 고차원의 입력 데이터를 분산을 고려한 선택적인 몇 개의 축으로 투영(Projection)시켜서 저차원의 데이터로 줄이는 방법이다. 이러한 PCA 기법을 사용한 얼굴인식은 영상 데이터를 저차원으로 줄임으로써 수행시간을 줄이고 높은 인식률을 보인다.
계속해서 118 과정에서는 상기 116 과정에서 추출된 얼굴 영상을 기설정된 거리별 기준 얼굴 영상 사이즈(size)에 대응되도록 보정한다.
더욱 상세하게는, 도 3을 참조하면, 도 3은 도 2에서 서로 상이한 프레임 수를 갖는 프레임별로 각각 분할된 영상으로부터 추출한 얼굴을 기설정된 즉, 1m, 2m, 3m, 4m 및 5m 거리별 얼굴 영상 크기에 맞게 강제로 축소하여 2m ~ 5m 영상을 생성한 결과 영상을 도시한 것으로, 본 발명의 실시 예에 따르면 거리별 얼굴 영상의 크기를 1m~5m에 따라 각각 50x50, 30x30, 20x20, 16x16, 12x12로 정의하여 사용하였다.
120 과정에서는 상기 보정된 거리별 얼굴 영상을 특정 얼굴 영상에 대한 인증 시 비교/대조되는 등록 영상 사이즈에 대응되도록 보정하고, 122 과정에서 상기 사용자의 기설정된 거리별 등록 영상으로 저장한다.
여기서, 도 4를 참조하면, 도 4는 사용자 얼굴 영상 등록을 위해 도 3에 대하여 즉, 기설정된 거리별 등록 영상에 대하여 보간법을 실시하여 PCA 기반 얼굴 인식에서 사용하는 등록 영상 크기로 확대한 결과 영상을 보인 것으로, 이로써 1m 영상만을 이용하여 2m~5m에 해당하는 원거리 얼굴 영상을 자동으로 생성하였다.
그리고 124 과정에서 상기 122 과정에서 저장된 등록 영상으로부터 PCA를 이용하여 고유 얼굴을 생성하고, 상기 생성된 고유 얼굴로부터 특징점을 추출한다.
이러한 상기 PCA는 분산까지의 통계적 성질을 이용한 2차 통계적 기법으로, 고차원의 입력 데이터의 차원을 효율적으로 축소하는 데에 주로 사용된다. 상기 PCA를 통해 고유 얼굴을 생성시키고 각 학습 영상을 상기 고유 얼굴에 투영시켜 각 사용자별 고유의 특징점을 추출한다. 이와 같은 과정은 도 6과 같으며, 여기서 공분산 행렬에 의해 획득되는 고유치는 분산을 최대로 하는 방향을 나타내고, 상기 고유치에 대응하는 고유벡터는 특정 방향의 변동성을 나타낸다. 이때, 상기 고유 벡터가 고유 얼굴이다.
이후, 126 과정에서 얼굴 영상 인식 모드 전환 여부를 체크하여, 상기 체크 결과 얼굴 영상 인식 모드가 실행된 경우, 128 과정으로 이동하여 입력된 얼굴 영상에 대해 기설정된 임계 범위 내 유효 영상인지 여부를 판단하고, 상기 판단 결과 유효한 경우 130 과정으로 이동하여 해당 얼굴 영상으로부터 특징점을 추출한다.
상기 입력된 얼굴 영상에 대해 유효성 여부 판단 결과 유효하지 않은 경우 129 과정으로 이동하여 줌인아웃(Zoom in-out) 포커스 기능을 이용하여 기설정된 임계 범위 내 유효 영상으로 개선한다.
132 과정에서는 상기 저장된 등록 영상들 중에서 최대 유사도를 갖는 등록 영상을 선택하고, 134 과정에서 얼굴 인식 결과를 출력한다.
여기서, 상기 최대 유사도는 입력된 얼굴 영상으로부터 추출된 특징점과 기등록된 각 프레임별 얼굴 영상으로부터 PCA를 이용하여 생성된 고유 얼굴로부터 추출된 특징점을 비교하여 상기 각 프레임별 얼굴 영상들 중에서 측정되는 것으로, 상기 고유 얼굴에 의해 추출된 특징점을 등록 영상으로부터 추출된 특징점과 비교해서 가장 유사한 값을 찾는다. 이때, 상기 입력된 영상에 대한 유효 영상인지 여부를 판단하는 과정은 도 7에 도시된 식을 통해 수행된다.
그리고, 본 발명의 실시 예에 따라 유클리디언 거리를 이용하여 유사도를 측정한다. 유클리디언 거리는 다차원 공간에서 두 점 간의 거리를 구하는 방식으로 이 거리는 자로 측정한 거리의 일종이다.
상기 입력된 얼굴 영상의 특징 벡터를 하기 수학식 1을 통해 모든 등록 영상의 특징 벡터와의 유사도를 측정한다. 그리고 하기의 수학식 2와 같이 전체 검증 이미지 수 T에 대하여 정확히 인식된 입력된 영상수 T
s 의 비율로 인식률을 정의한다.
수학식 1 
수학식 2 
이하, 본 발명의 일 실시 예에 따른 얼굴 인식을 위한 얼굴 영상 획득 장치에 관해 도 5를 참조하여 자세히 살펴보기로 한다.
도 5는 본 발명의 일 실시 예에 따른 얼굴 인식을 위한 얼굴 영상 획득 장치에 관한 블록도이다.
도 5를 참조하면, 본 발명이 적용된 장치는 카메라(810), 모드 전환부(814), 얼굴 인식부(816), 보정부(818), 얼굴 추출부(820), PCA(Principal Component Analysis, 822)를 포함하는 제어부(812), 등록부(824) 및 저장부(826)를 포함한다.
상기 카메라(810)는 사용자의 얼굴을 포함하는 영상을 획득한다.
상기 제어부(812)는 얼굴 등록 모드 혹은 얼굴 인식 모드 중 어느 하나로 스위칭하여 해당 모드를 실행하는 모드 전환부(814)와 상기 획득된 영상으로부터 얼굴 인식 알고리즘을 통해 상기 얼굴을 인식하는 얼굴 인식부(816)와, 상기 인식된 얼굴에 대한 특징점을 추출하는 얼굴 추출부(820)와 상기 추출된 얼굴 영상을 기설정된 거리별 기준 얼굴 영상 사이즈에 대응되도록 보정하는 보정부(818)와, 상기 제어부(812)의 제어하에 저장된 등록 영상으로부터 고유 얼굴을 생성하고, 상기 생성된 고유 얼굴로부터 특징점을 추출하는 PCA를 포함한다.
또한, 상기 제어부(812)는 상기 카메라부(810)를 통해 기설정된 거리에서 상기 사용자의 얼굴을 포함하는 영상을 획득하도록 하고, 상기 획득된 영상을 기설정된 서로 상이한 프레임 수를 갖는 프레임별로 각각 분할하고, 상기 분할된 프레임별 영상으로부터 얼굴 인식 알고리즘을 이용하여 얼굴을 인식 및 추출하도록 제어하고, 상기 보정부(818)를 통해 보정된 거리별 얼굴 영상을 특정 얼굴 영상에 대한 인증 시 비교/대조되는 등록 영상 사이즈에 대응되도록 보정하고, 상기 사용자의 기설정된 거리별 등록 영상으로 저장하도록 제어한다.
그리고 상기 제어부(812)는 사용자의 얼굴 인식을 위한 얼굴 영상 인식 모드가 실행되면, 입력된 얼굴 영상에 대해 기설정된 임계 범위 내 유효 영상인지 여부를 판단하고, 상기 판단 결과 유효한 경우 해당 얼굴 영상으로부터 특징점을 추출하고, 상기 저장된 등록 영상들 중에서 최대 유사도를 갖는 등록 영상을 선택하여 얼굴 인식 결과를 출력한다.
또한, 상기 제어부(812)는 상기 입력된 얼굴 영상에 대해 유효성 여부 판단 결과 유효하지 않은 경우 줌인아웃(Zoom in-out) 포커스 기능을 이용하여 기설정된 임계 범위 내 유효 영상으로 개선하도록 제어한다.
이때, 상기 유사도는 상기 입력된 얼굴 영상으로부터 추출된 특징점과 기등록된 각 프레임별 얼굴 영상으로부터 상기 PCA(822)를 이용하여 생성된 고유 얼굴로부터 추출된 특징점을 비교하여 상기 각 프레임별 얼굴 영상들 중에서 측정된다.
상기 등록부(824)는 제어부(812)의 제어 하에 상기 사용자의 기설정된 거리별 등록 영상으로의 등록을 수행한다.
상기 저장부(826)는 제어부(812)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 본 발명의 실시 예에서와 같이 얼굴 인식을 위한 얼굴 영상 획득 프로그램이 저장될 수도 있으며, 상기 사용자의 기설정된 거리별 등록 영상이 사용자별로 저장된다.
상기와 같이 본 발명에 따른 얼굴 인식을 위한 얼굴 영상 획득 방법 및 장치에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
Claims (12)
- 얼굴 인식을 위한 얼굴 영상 획득 방법에 있어서,사용자의 얼굴 인식을 위한 얼굴 영상 등록 모드가 실행되면, 카메라를 통하여 기설정된 거리에서 상기 사용자의 얼굴을 포함하는 영상을 획득하는 과정과,상기 획득된 영상을 기설정된 서로 상이한 프레임수를 갖는 프레임별로 각각 분할하고, 상기 분할된 프레임별 영상으로부터 얼굴 인식 알고리즘을 이용하여 얼굴을 인식 및 추출하는 과정과,상기 추출된 얼굴 영상을 기설정된 거리별 기준 얼굴 영상 사이즈(size)에 대응되도록 보정하는 과정과,상기 보정된 거리별 얼굴 영상을 특정 얼굴 영상에 대한 인증 시 비교/대조되는 등록 영상 사이즈에 대응되도록 보정하고, 상기 사용자의 기설정된 거리별 등록 영상으로 저장하는 과정을 포함함을 특징으로 하는 얼굴 인식을 위한 얼굴 영상 획득 방법.
- 제1항에 있어서,상기 저장된 등록 영상으로부터 PCA(Principal Component Analysis)를 이용하여 고유 얼굴을 생성하고, 상기 생성된 고유 얼굴로부터 특징점을 추출하는 과정을 더 포함함을 특징으로 하는 얼굴 인식을 위한 얼굴 영상 획득 방법.
- 제1항에 있어서,사용자의 얼굴 인식을 위한 얼굴 영상 인식 모드가 실행되면, 입력된 얼굴 영상에 대해 기설정된 임계 범위 내 유효 영상인지 여부를 판단하고, 상기 판단 결과 유효한 경우 해당 얼굴 영상으로부터 특징점을 추출하고, 상기 저장된 등록 영상들 중에서 최대 유사도를 갖는 등록 영상을 선택하여 얼굴 인식 결과를 출력하는 과정을 더 포함함을 특징으로 하는 얼굴 인식을 위한 얼굴 영상 획득 방법.
- 제3항에 있어서, 상기 입력된 얼굴 영상에 대해 유효성 여부 판단 결과 유효하지 않은 경우 줌인아웃(Zoom in-out) 포커스 기능을 이용하여 기설정된 임계 범위 내 유효 영상으로 개선함을 특징으로 하는 얼굴 인식을 위한 얼굴 영상 획득 방법.
- 제3항에 있어서, 상기 유사도는,상기 입력된 얼굴 영상으로부터 추출된 특징점과 기등록된 각 프레임별 얼굴 영상으로부터 PCA(Principal Component Analysis)를 이용하여 생성된 고유 얼굴로부터 추출된 특징점을 비교하여 상기 각 프레임별 얼굴 영상들 중에서 측정됨을 특징으로 하는 얼굴 인식을 위한 얼굴 영상 획득 방법.
- 제1항에 있어서, 상기 영상을 획득하는 기설정된 거리는 1m 이고, 상기 기설정된 거리별은 각각 1m, 2m, 3m, 4m 및 5m를 의미함을 특징으로 하는 얼굴 인식을 위한 얼굴 영상 획득 방법.
- 제1항에 있어서, 상기 기설정된 프레임 수는,상기 기설정된 거리별 각각 1 프레임, 20 프레임, 40 프레임, 60 프레임 및 80 프레임이 할당됨을 특징으로 하는 얼굴 인식을 위한 얼굴 영상 획득 방법.
- 얼굴 인식을 위한 얼굴 영상 획득 장치에 있어서,사용자의 얼굴을 포함하는 영상을 획득하는 카메라부와,상기 획득된 영상으로부터 얼굴 인식 알고리즘을 통해 상기 얼굴을 인식하는 얼굴 인식부와, 상기 인식된 얼굴에 대한 특징점을 추출하는 얼굴 추출부 및 상기 추출된 얼굴 영상을 기설정된 거리별 기준 얼굴 영상 사이즈에 대응되도록 보정하는 보정부를 포함하고,상기 카메라부를 통해 기설정된 거리에서 상기 사용자의 얼굴을 포함하는 영상을 획득하도록 하고, 상기 획득된 영상을 기설정된 서로 상이한 프레임 수를 갖는 프레임별로 각각 분할하고, 상기 분할된 프레임별 영상으로부터 얼굴 인식 알고리즘을 이용하여 얼굴을 인식 및 추출하도록 제어하고, 상기 보정부를 통해 보정된 거리별 얼굴 영상을 특정 얼굴 영상에 대한 인증 시 비교/대조되는 등록 영상 사이즈에 대응되도록 보정하고, 상기 사용자의 기설정된 거리별 등록 영상으로 저장하도록 제어하는 제어부를 포함함을 특징으로 하는 얼굴 인식을 위한 얼굴 영상 획득 장치.
- 제8항에 있어서,상기 제어부의 제어하에 저장된 등록 영상으로부터 고유 얼굴을 생성하고, 상기 생성된 고유 얼굴로부터 특징점을 추출하는 PCA(Principal Component Analysis)를 더 포함함을 특징으로 하는 얼굴 인식을 위한 얼굴 영상 획득 장치.
- 제8항에 있어서, 상기 제어부는,사용자의 얼굴 인식을 위한 얼굴 영상 인식 모드가 실행되면, 입력된 얼굴 영상에 대해 기설정된 임계 범위 내 유효 영상인지 여부를 판단하고, 상기 판단 결과 유효한 경우 해당 얼굴 영상으로부터 특징점을 추출하고, 상기 저장된 등록 영상들 중에서 최대 유사도를 갖는 등록 영상을 선택하여 얼굴 인식 결과를 출력함을 특징으로 하는 얼굴 인식을 위한 얼굴 영상 획득 장치.
- 제10항에 있어서, 상기 제어부는,상기 입력된 얼굴 영상에 대해 유효성 여부 판단 결과 유효하지 않은 경우 줌인아웃(Zoom in-out) 포커스 기능을 이용하여 기설정된 임계 범위 내 유효 영상으로 개선하도록 제어함을 특징으로 하는 얼굴 인식을 위한 얼굴 영상 획득 장치.
- 제10항에 있어서, 상기 유사도는,상기 입력된 얼굴 영상으로부터 추출된 특징점과 기등록된 각 프레임별 얼굴 영상으로부터 상기 PCA(Principal Component Analysis)를 이용하여 생성된 고유 얼굴로부터 추출된 특징점을 비교하여 상기 각 프레임별 얼굴 영상들 중에서 측정됨을 특징으로 하는 얼굴 인식을 위한 얼굴 영상 획득 장치.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120034526A KR101270351B1 (ko) | 2012-04-03 | 2012-04-03 | 얼굴 인식을 위한 얼굴 영상 획득 방법 및 장치 |
| KR10-2012-0034526 | 2012-04-03 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2013151205A1 true WO2013151205A1 (ko) | 2013-10-10 |
Family
ID=48667334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/KR2012/003312 WO2013151205A1 (ko) | 2012-04-03 | 2012-04-27 | 얼굴 인식을 위한 얼굴 영상 획득 방법 및 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101270351B1 (ko) |
| WO (1) | WO2013151205A1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105205155A (zh) * | 2015-09-25 | 2015-12-30 | 珠海世纪鼎利科技股份有限公司 | 一种大数据犯罪同伙的筛查系统和方法 |
| CN107451524A (zh) * | 2016-06-01 | 2017-12-08 | 丰田自动车株式会社 | 行为识别装置、学习装置、行为识别方法、学习方法及计算机可读的记录介质 |
| CN110580435A (zh) * | 2018-06-08 | 2019-12-17 | 和硕联合科技股份有限公司 | 脸部识别系统以及加强脸部识别方法 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110168601B (zh) * | 2017-04-20 | 2023-05-26 | 韩国斯诺有限公司 | 通过分析校正模式的影像校正方法及系统 |
| KR102399809B1 (ko) | 2017-10-31 | 2022-05-19 | 엘지전자 주식회사 | 전자 장치 및 그 제어 방법 |
| KR101922376B1 (ko) * | 2018-06-14 | 2018-11-26 | 정규택 | 얼굴인식 기능을 이용한 차량 운행정보의 공유 및 시동제어 시스템 |
| KR102177453B1 (ko) * | 2018-10-16 | 2020-11-11 | 서울시립대학교 산학협력단 | 얼굴 인식 방법 및 얼굴 인식 장치 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100098122A (ko) * | 2009-02-27 | 2010-09-06 | 삼성전자주식회사 | 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치 |
| KR20100102949A (ko) * | 2009-03-12 | 2010-09-27 | 한국전자통신연구원 | 블록 단위 기반 얼굴 인식 방법 및 그 장치 |
| KR20100118363A (ko) * | 2009-04-28 | 2010-11-05 | 삼성전기주식회사 | 얼굴 인증 시스템 및 그 인증 방법 |
| KR20110029002A (ko) * | 2009-09-14 | 2011-03-22 | 삼성전자주식회사 | 얼굴 판단 장치 및 방법 |
-
2012
- 2012-04-03 KR KR1020120034526A patent/KR101270351B1/ko not_active IP Right Cessation
- 2012-04-27 WO PCT/KR2012/003312 patent/WO2013151205A1/ko active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100098122A (ko) * | 2009-02-27 | 2010-09-06 | 삼성전자주식회사 | 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치 |
| KR20100102949A (ko) * | 2009-03-12 | 2010-09-27 | 한국전자통신연구원 | 블록 단위 기반 얼굴 인식 방법 및 그 장치 |
| KR20100118363A (ko) * | 2009-04-28 | 2010-11-05 | 삼성전기주식회사 | 얼굴 인증 시스템 및 그 인증 방법 |
| KR20110029002A (ko) * | 2009-09-14 | 2011-03-22 | 삼성전자주식회사 | 얼굴 판단 장치 및 방법 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105205155A (zh) * | 2015-09-25 | 2015-12-30 | 珠海世纪鼎利科技股份有限公司 | 一种大数据犯罪同伙的筛查系统和方法 |
| CN105205155B (zh) * | 2015-09-25 | 2019-05-03 | 珠海世纪鼎利科技股份有限公司 | 一种大数据犯罪同伙的筛查系统和方法 |
| CN107451524A (zh) * | 2016-06-01 | 2017-12-08 | 丰田自动车株式会社 | 行为识别装置、学习装置、行为识别方法、学习方法及计算机可读的记录介质 |
| CN107451524B (zh) * | 2016-06-01 | 2020-07-07 | 丰田自动车株式会社 | 行为识别装置、学习装置、行为识别方法、学习方法及计算机可读的记录介质 |
| CN110580435A (zh) * | 2018-06-08 | 2019-12-17 | 和硕联合科技股份有限公司 | 脸部识别系统以及加强脸部识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101270351B1 (ko) | 2013-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2013151205A1 (ko) | 얼굴 인식을 위한 얼굴 영상 획득 방법 및 장치 | |
| CN110443192B (zh) | 一种基于双目图像的非交互式人脸活体检测方法及系统 | |
| CN108921100B (zh) | 一种基于可见光图像与红外图像融合的人脸识别方法及系统 | |
| CN103530599B (zh) | 一种真实人脸和图片人脸的区别方法和系统 | |
| CN103605969B (zh) | 一种人脸录入的方法及装置 | |
| JP3469031B2 (ja) | 顔画像登録装置及びその方法 | |
| CN109598242B (zh) | 一种活体检测方法 | |
| KR101901591B1 (ko) | 얼굴 인식 장치 및 그 제어방법 | |
| RU2431190C2 (ru) | Способ и устройство распознавания рельефности лица | |
| JP2003178306A (ja) | 個人認証装置および個人認証方法 | |
| US8315441B2 (en) | Masquerade detection system, masquerade detection method and masquerade detection program | |
| KR20170006355A (ko) | 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치 | |
| CN108549853B (zh) | 一种图像处理方法、移动终端以及计算机可读存储介质 | |
| CN105138967B (zh) | 基于人眼区域活动状态的活体检测方法和装置 | |
| WO2021177544A1 (ko) | 등록 얼굴 템플릿의 갱신이 가능한 얼굴 인식 시스템 및 방법 | |
| CN112818722A (zh) | 模块化动态可配置的活体人脸识别系统 | |
| KR20190093799A (ko) | Cctv를 통한 실시간 실종자 얼굴 인식 시스템 및 그 방법 | |
| JP5061563B2 (ja) | 検出装置、生体判定方法、およびプログラム | |
| WO2017115937A1 (ko) | 가중치 보간 맵을 이용한 표정 합성 장치 및 방법 | |
| KR101399785B1 (ko) | 얼굴 검출 및 인식을 위한 얼굴 영상 획득 방법 및 장치 | |
| KR20150089370A (ko) | 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템 | |
| CN110633677B (zh) | 人脸识别的方法及装置 | |
| KR20020022295A (ko) | 3차원 정보를 이용한 얼굴 인식 장치 및 방법 | |
| JPH1115979A (ja) | 顔検出及び顔追跡方法並びにその装置 | |
| JPH1040386A (ja) | 虹彩認識システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12873536 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 12873536 Country of ref document: EP Kind code of ref document: A1 |