KR101441108B1 - Method and apparatus for distinguishing faces for personal device - Google Patents
Method and apparatus for distinguishing faces for personal device Download PDFInfo
- Publication number
- KR101441108B1 KR101441108B1 KR1020130094433A KR20130094433A KR101441108B1 KR 101441108 B1 KR101441108 B1 KR 101441108B1 KR 1020130094433 A KR1020130094433 A KR 1020130094433A KR 20130094433 A KR20130094433 A KR 20130094433A KR 101441108 B1 KR101441108 B1 KR 101441108B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- face image
- image
- value
- sub
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/759—Region-based matching
Abstract
Description
본 발명은 얼굴 식별 방법에 관한 것으로, 더욱 상세하게 말하자면, 일인용 장치의 인증을 위한 얼굴 식별 방법 및 그 장치에 관한 것이다. The present invention relates to a face identification method, and more particularly, to a face identification method and apparatus for authentication of a single device.
스마트폰으로 대표되는 몇몇 기기의 주된 사용 양태는 주로 한 사람에 의한 독점적 사용인데, 이를 위한 사용자 인증 방식은 암호, 손으로 그리는 패턴, 얼굴 인식 등을 이용하여 수행된다. 얼굴 인식에 의한 인증은 인증 요소(예를 들어, 암호나 패턴 등)의 기억이 불필요하고, 인증을 위한 별도의 노력이 불필요한(non-intrusive) 점에서 다른 방식보다 우월하다.The main use of some devices represented by smart phones is mainly by a single person. The user authentication method is performed using a password, a hand-drawn pattern, and face recognition. Authentication by facial recognition is superior to other methods in that it requires no storage of authentication elements (e.g., passwords or patterns) and is non-intrusive for authentication.
그러나 사람의 얼굴 외양은 카메라-피사자간 거리와 각도, 조명 변화 등의 요인으로 인해 크게 변하기 때문에, 얼굴 인식에 의한 인증은 그 신뢰성과 안정성이 낮은 단점이 있다. 특히 스마트폰과 같은 개인용 휴대 기기는 카메라와 사용자 얼굴 사이의 거리나 각도 등의 변화량이 크기 때문에, 카메라에 의하여 획득되는 얼굴 이미지의 신뢰성이 더 떨어진다. 이러한 단점들은 사용자로 하여금 얼굴 인식을 이용한 인증을 회피하게 한다. However, since face appearance of a person changes greatly due to factors such as camera-to-subject distance, angle, and illumination change, authentication by face recognition has a low reliability and stability. In particular, personal portable devices such as a smart phone have a large variation in the distance or angle between the camera and the user's face, so that the reliability of the face image obtained by the camera is lowered. These drawbacks cause the user to avoid authentication using face recognition.
본 발명이 해결하고자 하는 기술적 과제는 일인용 장치에서 얼굴 인식을 위한 인증시, 보다 정확하고 신뢰성 있는 인증을 수행할 수 있는 얼굴 식별 방법 및 그 장치를 제공하는 것이다. SUMMARY OF THE INVENTION It is an object of the present invention to provide a face identification method and apparatus that can perform more accurate and reliable authentication in authentication for facial recognition in a single device.
본 발명의 특징에 따른 얼굴 식별 방법은 일인용 장치의 사용자 인증을 위하여, 설정된 간격을 두고 사용자의 얼굴 이미지들을 획득하는 단계; 획득한 얼굴 이미지들에 대하여 촬영 각도들을 판별하는 단계; 판별된 촬영 각도를 토대로 상기 얼굴 이미지들을 복수의 구간으로 분류하는 단계; 및 상기 얼굴 이미지들에 대한 특징량을 토대로, 상기 각 구간별 얼굴 이미지들을 복수의 부구간으로 분류하는 단계를 포함한다. According to an aspect of the present invention, there is provided a face identification method comprising: obtaining user's face images at predetermined intervals for user authentication of a single device; Determining shooting angles with respect to the acquired face images; Classifying the face images into a plurality of sections based on the determined photographing angles; And classifying the facial images of each section into a plurality of sub sections based on the feature amounts of the facial images.
여기서, 상기 촬영 각도는 사용자가 일인용 장치를 내려다보는 각도에 따른 상하각도를 나타낼 수 있다. Herein, the photographing angle may indicate a vertical angle according to an angle at which a user looks down on a single device.
상기 복수의 부구간으로 분류하는 단계는 각 구간에 포함되는 얼굴 이미지별로, 상기 복수의 부구간들에 대응하는 얼굴 특징량을 토대로 하는 제1 키값들과 상기 얼굴 이미지의 특징량을 토대로 하는 제2 키값에 따른 비교값들을 토대로, 상기 얼굴 이미지를 상기 복수의 부구간 중 하나의 부구간으로 할당할 수 있다. Wherein the step of classifying the plurality of subintervals into the plurality of subintervals includes a step of classifying the first key values based on the face feature amount corresponding to the plurality of subintervals and the second key values based on the feature amount of the face image, The face image may be allocated as one sub-section of the plurality of sub-sections based on the comparison values according to the key value.
여기서, 상기 제1 키값은 하나의 부구간에 포함되는 복수의 얼굴 이미지들에 대한 특징량과, 상기 부구간에 포함되는 얼굴 이미지들에 대한 평균 특징량 및 표준 편차를 토대로 산출되며, 상기 제2 키값은 상기 얼굴 이미지 내에서의 특징량 차이를 나타내는 제1 분산값과, 다른 얼굴 미지와의 특징량 차이를 나타내는 제2 분산값을 토대로 산출될 수 있다. Here, the first key value is calculated based on a feature amount of a plurality of face images included in one sub-section, an average feature amount and a standard deviation of the face images included in the sub-section, The key value may be calculated based on a first variance value indicating a feature quantity difference in the face image and a second variance value indicating a feature quantity difference with another face image.
또한 상기 복수의 부구간으로 분류하는 단계는 각 구간에 포함되는 얼굴 이미지별로, 상기 복수의 부구간들과의 비교값들을 산출하는 단계; 상기 산출된 비교값들 중에서 최소값을 가지는 최소 비교값을 선택하는 단계; 및 해당 얼굴 이미지를 상기 최소 비교값에 대응하는 부구간에 할당하는 단계를 포함할 수 있다. In addition, the step of classifying the plurality of subintervals into the plurality of subintervals may include calculating the comparison values with respect to the plurality of subinterfaces for each of the face images included in the respective regions. Selecting a minimum comparison value having a minimum value among the calculated comparison values; And assigning the face image to a subinterval corresponding to the minimum comparison value.
이 경우, 상기 부구간에 할당하는 단계는, 상기 최소 비교값을 미리 설정된 문턱값과 비교하는 단계; 및 상기 최소 비교값이 상기 문턱값 이하인 경우에, 상기 얼굴 이미지를 상기 최소 비교값에 대응하는 부구간에 할당하는 단계를 포함할 수 있다. In this case, the step of allocating to the subinterval may include: comparing the minimum comparison value with a preset threshold value; And allocating the face image to a subinterval corresponding to the minimum comparison value when the minimum comparison value is less than or equal to the threshold value.
또한, 상기 부구간에 할당하는 단계는, 상기 최소 비교값이 상기 문턱값보다 큰 경우에, 상기 부구간들의 개수와 미리 설정된 최대 허용 개수를 비교하는 단계; 상기 부구간들의 개수가 상기 최대 허용 개수와 동일한 경우에는, 상기 얼굴 이미지를 상기 최소 비교값에 대응하는 부구간에 할당하는 단계; 및 상기 부구간들의 개수가 상기 최대 허용 개수보다 작은 경우에는 새로운 부구간을 생성하고, 상기 얼굴 이미지를 상기 생성된 부구간에 할당하는 단계를 포함할 수 있다. In addition, the step of allocating to the subinterval may include comparing the number of subintervals with a preset maximum allowable number when the minimum comparison value is larger than the threshold value. Assigning the face image to a subinterval corresponding to the minimum comparison value if the number of subintervals is equal to the maximum allowable number; And generating a new subinterval if the number of subintervals is smaller than the maximum allowable number and assigning the face image to the generated subinterval.
한편, 상기 얼굴 식별 방법은, 상기 복수의 구간으로 분류하는 단계 이후에, 상기 복수의 구간으로 분류된 얼굴 이미지들에 대하여 동작흐림보상, 방사 왜곡 보상, 원근 왜곡 보상을 포함하는 보상 처리를 수행하는 단계를 더 포함할 수 있다. 이외에도, 인증하고자 하는 사용자의 얼굴 이미지를 획득하는 단계; 및 상기 획득된 얼굴 이미지를 상기 각 구간별 복수의 부구간으로 분류된 얼굴 이미지들과 비교하여 인증하는 단계를 더 포함할 수 있다. The face identification method may further include a step of performing compensation processing including motion blur compensation, radial distortion compensation, and perspective distortion compensation on the face images classified into the plurality of sections after the classification into the plurality of sections Step < / RTI > Acquiring a face image of a user to be authenticated; And comparing the obtained facial image with facial images classified into a plurality of subintervals for each section to be authenticated.
본 발명의 다른 특징에 따른 얼굴 식별 장치는, 일인용 장치의 사용자 인증을 위한 얼굴 식별 장치에서, 제1 주기에 따라 상기 일인용 장치의 인증을 위한 사용자의 얼굴 이미지를 촬영하여 복수의 얼굴 이미지를 획득하는 얼굴 이미지 획득부; 획득한 얼굴 이미지들을 촬영 각도에 따라 복수의 각도 구간으로 분류하는 제1 이미지 분류부; 및 상기 제1 이미지 분류부에 의하여 촬영 각도에 따라 복수의 각도 구간으로 분류된 얼굴 이미지들을, 각도 구간별로 복수의 부구간으로 미세 분류하는 제2 이미지 분류부를 포함한다. A face identification device according to another aspect of the present invention is a face identification device for user authentication of a single device, wherein a face image of a user for authentication of the single device is photographed according to a first cycle, A face image obtaining unit to obtain the face image; A first image classifying unit for classifying the acquired facial images into a plurality of angular intervals according to a photographing angle; And a second image classifier for finely classifying the facial images classified into the plurality of angular intervals according to the photographing angle by the first image classifying unit into a plurality of sub-intervals for each angular interval.
상기 제1 이미지 분류부는, 얼굴 이미지로부터 카메라와 사용자 사이의 상하 각도를 나타내는 촬영 각도를 판별하는 각도 판별부; 판별된 촬영 각도에 따라 얼굴 이미지를 하나의 각도 구간으로 분류하는 제1 분류부; 및 상기 분류된 얼굴 이미지에 대한 왜곡 보상을 수행하는 왜곡 보상부를 포함할 수 있다. The first image classifying unit may include an angle determining unit for determining an angle of view indicating a vertical angle between the camera and the user from the face image; A first classifier for classifying the face image into one angular section according to the determined photographing angle; And a distortion compensating unit for performing distortion compensation on the classified face image.
또한 상기 제2 이미지 분류부는, 얼굴 이미지들에 대한 키값을 산출하는 키 산출부;The second image classifying unit may further include: a key calculating unit for calculating a key value for the face images;
분류하고자 하는 얼굴 이미지의 키 값과 복수의 부구간들의 키값들에 대한 비교값들을 산출하는 비교값 산출부; 산출된 복수의 비교값들 중에서 최소값을 가지는 최소 비교값을 선택하는 비교값 선택부; 및 상기 최소 비교값을 문턱값과 비교하여 얼굴 이미지를 하나의 부구간으로 분류하는 제2 분류부를 포함할 수 있다. A comparison value calculation unit for calculating comparison values for a key value of a face image to be classified and key values of a plurality of sub-intervals; A comparison value selector for selecting a minimum comparison value having a minimum value among the plurality of comparison values calculated; And a second classifier for comparing the minimum comparison value with a threshold value to classify the facial image into one subsection.
여기서, 상기 제2 분류부는 최소 비교값이 문턱값 이하인 경우에는 해당 얼굴 이미지를 최소 비교값에 대응하는 부구간으로 분류하고, 최소 비교값이 문턱값보다 큰 경우에는, 현재의 부공간의 개수가 최대 허용 가능 개수와 동일하면 얼굴 이미지를 최소 비교값에 대응하는 부구간으로 분류하며, 현재의 부공간의 개수가 최대 허용 가능 개수와 동일하지 않으면 새로운 부구간을 생성하고 얼굴 이미지를 새로이 생성된 부구간으로 분류할 수 있다. If the minimum comparison value is less than the threshold value, the second classification unit classifies the face image into a sub-interval corresponding to the minimum comparison value, and if the minimum comparison value is greater than the threshold value, If the number of the current subspaces is not equal to the maximum permissible number, a new subinterval is generated, and the face image is divided into the newly generated subpart Can be classified into sections.
본 발명의 실시 예에 따르면, 일인용 장치의 인증을 위한 사용자의 다양한 외양 변화를 가지는 얼굴 이미지를 동적으로 획득하고, 획득한 얼굴 이미지들을 촬영 각도별 분류와 각 촬영 각도별 공간에 대하여 얼굴 특징량을 토대로 한 미세 분류를 수행하여 인증을 위한 이미지들로 효과적으로 분류할 수 있다. 그리고 이와 같이 분류된 이미지들을 이용하여 사용자 얼굴을 토대로 한 인증을 수행함으로써, 보다 신뢰성 있으면서도 빠른 인증이 이루어질 수 있다. According to the embodiment of the present invention, it is possible to dynamically obtain a face image having a variety of appearance changes of a user for authentication of a single device, to classify the acquired face images by a photographing angle, And can be effectively classified into images for authentication. By performing the authentication based on the user's face using the images thus classified, more reliable but quick authentication can be achieved.
도 1은 일인용 장치의 인증시 사용하는 얼굴 이미지를 나타낸 예시도이다.
도 2는 본 발명의 실시 예에 따른 얼굴 식별 방법의 흐름도이다.
도 3은 본 발명의 실시 예에 따른 얼굴 식별 방법에서, 제2 분류 과정에 대한 흐름을 나타낸 순서도이다.
도 4는 본 발명의 실시 예에 따른 얼굴 식별 방법을 적용한 얼굴 이미지들의 분포를 나타낸 예시도이고, 도 5는 본 발명의 실시 예에 따른 얼굴 식별 방법 적용에 따른 시간경과 대(對) 인증 성능을 나타낸 그래프이다.
도 6은 본 발명의 실시 예에 따른 얼굴 식별 장치의 구조를 나타낸 도이다. 1 is an exemplary view showing a face image used in authentication of a single-person device.
2 is a flowchart of a face identification method according to an embodiment of the present invention.
3 is a flowchart illustrating a flow of a second classification process in the face identification method according to the embodiment of the present invention.
FIG. 4 is a diagram illustrating a distribution of facial images using the face identification method according to an embodiment of the present invention. FIG. 5 is a diagram illustrating a time-versus-versus authentication performance according to an embodiment of the present invention. Fig.
6 is a view illustrating the structure of a face identification apparatus according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification and claims, when a section is referred to as "including " an element, it is understood that it does not exclude other elements, but may include other elements, unless specifically stated otherwise.
이제 본 발명의 실시 예에 따른 일인용 장치의 인증을 위한 얼굴 식별 방법 및 그 장치에 대하여 설명한다. A face identification method and apparatus for authentication of a single device according to an embodiment of the present invention will now be described.
스마트폰과 같은 일인용 장치에서 얼굴 인증을 이용하여 인증을 하는 경우, 획득되는 얼굴 이미지는 다양한 요인에 따라 변화되며, 한 사람에 대하여 획득되는 얼굴 이미지라도 다양한 요인에 따라 변화된다. When authentication is performed using face authentication in a single device such as a smart phone, the obtained face image changes according to various factors, and even a face image acquired for one person changes according to various factors.
도 1은 일인용 장치의 인증시 사용하는 얼굴 이미지를 나타낸 예시도이다. 1 is an exemplary view showing a face image used in authentication of a single-person device.
일인용 장치를 사용하는 동일 사용자에 대하여 획득된 얼굴 이미지들이 다양한 요인에 따라 도 1의 (a) 내지 (g)에서와 같이 달라진다. 얼굴 외양은 다양한 요인들에 따라 달라짐을 알 수 있는데, 얼굴 이미지의 얼굴 외양은 동작 흐림(motion blur), 방사 왜곡(radial distortion), 원근 왜곡(perspective distortion), 강한 역광, 상하각도 바이어스(bias) 등에 의하여 영향을 받는다. Face images obtained for the same user using the single device are varied as shown in Figs. 1 (a) to (g) depending on various factors. The facial appearance of the facial image varies depending on various factors such as motion blur, radial distortion, perspective distortion, strong backlight, vertical angle bias, .
동작 흐림은 일인용 장치를 사용하는 사용자의 움직임에 따라 발생하는 것으로, 특히 사용자의 걸음에 따른 이동성, 움직임 등에 의하여 발생할 수 있다. 방사 왜곡은 사용자와 일인용 장치의 카메라 사이의 거리에 따라 발생하며, 설정거리 이내의 근접거리인 경우에 주로 발생한다. 원근 왜곡은 사용자와 일인용 장치의 카메라 사이의 각도에 따라 발생한다. 강한 역광은 일인용 장치의 카메라와 사용자 그리고 촬영이 이루어지는 공간에서의 조명(실내인 경우에는 실내 조명, 실외인 경우에는 태양광 등)의 배치에 따라 발생한다. 카메라-사용자-조명의 순차적인 배치에 따라 발생할 수 있다. 상하각도 바이어스는 사용자가 카메라를 내려보는 전형적인 각도에 따라 발생한다. The motion blur occurs according to the movement of a user using a single device, and may occur due to mobility, movement, or the like due to the user's walking. The radial distortion occurs depending on the distance between the user and the camera of the single device, and occurs mainly when the distance is within the set distance. Perspective distortion occurs according to the angle between the user and the camera of the simulator. The strong backlighting is caused by the arrangement of the camera and the user of the single device and the illumination in the space where the photographing is performed (indoor lighting in the case of indoor, sunlight in the case of outdoor). Camera-user-illumination. ≪ / RTI > The vertical angle bias occurs according to the typical angle at which the user descends the camera.
스마트폰과 같은 일인용 장치에서 획득되는 얼굴 이미지는 조명 등의 환경 요인이 제어되는 실내 스튜디오 환경하에서 획득되는 이미지에 비하여 더 열악한 조건에서 획득되는 이미지이므로, 위에 기술된 바와 같은 사항들에 의하여 영향을 많이 받는다. 그러므로 얼굴 이미지를 이용한 인증시 그 신뢰성이 떨어지게 된다. Since the face image obtained from the single-user device such as a smart phone is an image obtained under the worse condition than the image obtained under the indoor studio environment in which the environmental factors such as illumination are controlled, It receives a lot. Therefore, the reliability of the authentication using the face image is deteriorated.
본 발명의 실시 예에서는 일인용 장치에서 얼굴 인증을 위한 인증의 신뢰성을 높이기 위하여, 얼굴 외양에 영향을 주는 사항들을 고려하여 얼굴 이미지를 보정하고 이를 토대로 일인용 장치 사용을 위한 인증을 수행한다. 본 발명의 실시 예에 따른 일인용 장치는 한 명의 사용자를 인증하여 해당 사용자만이 장치를 사용하도록 허용하는 장치로서, 예를 들어, 스마트 폰 등의 휴대 기기일 수 있다.In the embodiment of the present invention, in order to increase the reliability of authentication for facial authentication in a single device, the facial image is corrected in consideration of matters affecting the facial appearance, and authentication for use of the facsimile apparatus is performed based on the correction. A single device according to an exemplary embodiment of the present invention is a device that allows only one user to use the device by authenticating the user, and may be a portable device such as a smart phone.
도 2는 본 발명의 실시 예에 따른 얼굴 식별 방법의 흐름도이다. 2 is a flowchart of a face identification method according to an embodiment of the present invention.
본 발명의 실시 예에서는 얼굴 인식의 신뢰성 제고를 위해, 사용자의 다양한 얼굴 외양들을 동적으로 수집하고 수집된 얼굴 외양들을 토대로 얼굴 식별을 수행한다. In the embodiment of the present invention, in order to enhance reliability of face recognition, various face appearance of the user is dynamically collected and face identification is performed based on collected face appearance.
이를 위하여, 도 2에서와 같이, 사용자의 얼굴 이미지를 설정 시간 동안 설정된 간격을 두고 반복적으로 획득한다(S100). 예를 들어, 일인용 장치를 사용하는 시간 동안에 일정 시간 간격으로 사용자의 얼굴 이미지를 계속하여 획득한다. 이 경우 효과적인 얼굴 이미지 획득을 위하여, 촬영된 얼굴 이미지로부터 사용자의 눈이 떠 있는 상태로 판별되면 촬영하는 기기(예를 들어, 일인용 장치에 구비된 카메라 등)의 조명 상태를 계속 온(ON) 상태로 유지하는 스마트 스테이(smart stay) 기능이 적용될 수 있다. 한편 사용자는 일인용 장치에서 일차적으로 사용 권한을 획득한 사용자일 수 있다.For this purpose, as shown in FIG. 2, the face image of the user is repeatedly acquired at intervals set at predetermined intervals (S100). For example, the face image of the user is continuously acquired at regular time intervals during the time of using the single device. In this case, in order to obtain an effective facial image, if the user's eyes are determined to be floating from the photographed face image, the lighting state of the photographing device (for example, a camera provided in the single photographing apparatus) A smart stay function can be applied. On the other hand, the user may be a user who has acquired the use authority primarily in the single device.
설정 시간 동안 획득된 얼굴 이미지들을 분류한다. 본 발명의 실시 예에서는 얼굴 이미지들에 대하여 제1 분류 과정을 수행하고, 제1 분류 과정에 따라 분류된 얼굴 이미지들에 대하여 제2 분류 과정을 수행한다. And classifies the acquired facial images during the set time. In the embodiment of the present invention, a first classification process is performed on the face images, and a second classification process is performed on the face images classified according to the first classification process.
먼저, 제1 분류 과정에서, 획득한 얼굴 이미지들을 상하 각도를 토대로 분류한다. 얼굴 외양은 카메라와 사용자 사이의 촬영 각도에 따라 크게 변화하고 이는 이미지의 특징량 변환으로 얻어지는 특징량 공간에서 매우 크고 비선형적인 변화를 야기한다. 각도 변화에 의한 외양 변화는 충분히 작은 각도 구간에 상응하는 개별적인 특징량 공간에서는 선형적인 판정 경계로 본인과 타인의 구분이 가능한 수준의 작은 변화를 야기시킨다. 그러므로 본 발명의 실시 예에서는 획득된 얼굴 이미지들을 카메라와 사용자 사이의 촬영 각도 특히 상하각도에 따라 복수의 집합으로 분류한다. 여기서 상하 각도는 사용자가 카메라를 내려보는 각도에 따라 촬영된 얼굴 이미지로부터 판별되는 각도를 나타낸다. 이하에서는 설명의 편의를 위하여 얼굴 이미지를 분류하기 위한 상하각도를 촬영 각도라고도 명명한다. First, in the first classification process, the obtained face images are classified based on the vertical angle. The facial appearance varies greatly depending on the angle between the camera and the user, which causes a very large and nonlinear change in the feature space obtained by the feature quantity conversion of the image. The appearance change due to the angular change causes a small change in the level of the discrimination between the person and the other at the linear judgment boundary in the individual characteristic quantity space corresponding to the sufficiently small angular section. Therefore, in the embodiment of the present invention, the obtained facial images are classified into a plurality of sets according to the photographing angle between the camera and the user, particularly the up-and-down angle. Herein, the vertical angle represents an angle determined from the photographed face image according to the angle at which the user lowers the camera. Hereinafter, for convenience of description, the vertical angle for classifying the face image is also referred to as a photographing angle.
사용자에 대한 얼굴 이미지 획득시 발생 가능한 촬영 각도들을 복수의 구간으로 나누고, 얼굴 이미지로부터 판별되는 촬영 각도가 복수의 구간 중 어느 구간에 속하는지에 따라, 복수의 얼굴 이미지들을 분류한다(S110, S120). 여기서, 촬영 각도는 예를 들어 제1 구간(-10°~+10°), 제2 구간(+10° ~ +30°), 제3 구간(+30°~+50°) 중 하나에 해당할 수 있다. The photographing angles that can be generated when the face image is acquired for the user are divided into a plurality of sections, and the plurality of facial images are classified according to which of the plurality of sections the photographing angle determined from the facial image belongs to (S110, S120). Here, the photographing angle corresponds to one of the first section (-10 ° to + 10 °), the second section (+10 ° to + 30 °), and the third section (+30 ° to + 50 °) can do.
사용자에 대하여 획득한 얼굴 이미지들을 그 촬영 각도에 따라 분류한 다음에, 각 분류된 얼굴 이미지에 대하여 촬영시 얼굴 외양에 대하여 영향을 주는 파라미터를 고려하여 이미지 보정을 수행한다. 여기서는 얼굴 외양에 영향을 주는 파라미터로서 동작흐림, 방사 왜곡, 원근 왜곡 등을 사용하며, 각 분류된 얼굴 이미지에 대하여 동작흐림 보상, 방사 왜곡 보상, 원근 왜곡 보상 등을 수행한다(S130). After classifying the acquired facial images with respect to the user according to the photographing angles, image correction is performed in consideration of parameters affecting the facial appearance of each classified facial image during photographing. Here, motion blur, radial distortion, and perspective distortion are used as parameters affecting the facial appearance, and motion blur compensation, radial distortion compensation, and perspective distortion compensation are performed for each classified face image (S130).
이와 같이, 설정 기간 동안에 획득한 복수의 얼굴 이미지들을 촬영 각도에 따라 분류하고 분류된 얼굴 이미지에 대하여 파라미터를 토대로 한 보상을 수행하여 제1 분류 과정을 종료한다. 제1 분류 과정을 수행함에 따라 촬영 각도에 따른 구간별로 왜곡 보상 처리된 얼굴 이미지들이 획득된다. 예를 들어, 제1 구간에 속하는 복수의 제1 전처리 얼굴 이미지들, 제2 구간에 속하는 복수의 제2 전처리 얼굴 이미지들, 그리고 제3 구간에 속하는 복수의 제3 전처리 얼굴 이미지들이 획득된다. 여기서, 전처리 얼굴 이미지는 왜곡 보상 처리된 이미지로, 예를 들어, 방사 왜곡 보상, 원근 왜곡 보상 처리가 이루어진 이미지를 나타낸다. In this manner, the first classification process is terminated by classifying a plurality of facial images acquired during the set period according to the photographing angle, and performing compensation based on the parameters on the classified facial image. As a result of performing the first classification process, the distortion-compensated facial images are obtained for each interval according to the photographing angle. For example, a plurality of first preprocessed face images belonging to the first section, a plurality of second preprocessed face images belonging to the second section, and a plurality of third preprocessed face images belonging to the third section are obtained. Here, the preprocessed face image is an image subjected to distortion-compensated processing, for example, an image subjected to radial distortion compensation and perspective distortion compensation processing.
이후, 제2 분류 과정을 수행한다. 위의 제1 분류 과정을 통하여 왜곡 보상 이 이루어졌어도 그 왜곡은 부분적으로만 상쇄가능하며, 그 잔여효과(residual effect)로 인하여 하나의 선형 판별 공간을 사용해서는 본인과 타인의 식별 성능이 떨어진다. 그러므로 본 발명의 실시 예에서는 각 구간별로 획득한 전처리 얼굴 이미지들을 재분류한다. Thereafter, a second classification process is performed. Even if the distortion compensation is performed through the above first classification process, the distortion can be partially canceled. Due to the residual effect, the identification performance between the user and the other person is degraded by using one linear discriminant space. Therefore, in the embodiment of the present invention, pre-processed face images acquired for each section are reclassified.
제1 분류 과정은 사용자와 카메라 사이의 상하각도인 촬영 각도를 토대로 얼굴 이미지가 예를 들어, 제1 구간, 제2 구간, 제3 구간 등으로 나뉘어졌는데, 각 구간 안에서 좌우 각도 변화, 조명 변화, 방사 왜곡, 원근 왜곡 등의 파라미터에 의하여 얼굴 이미지의 얼굴 외양 변화가 야기될 수 있다. 이에 따라 각 구간별로 얼굴 이미지들을 얼굴 외양 변화를 고려한 특징량을 산출하고, 산출된 특징량을 토대로 각 구간별 얼굴 이미지들을 복수의 부구간으로 분류한다. 예를 들어, 제1 구간의 얼굴 이미지들이 제1-1 부구간, 제1-2 부구간, 제1-3 부구간 중 하나의 부구간으로 분류되며, 제2 구간의 얼굴 이미지들이 제2-1 부구간, 제2-2 부구간, 제2-3 부구간 중 하나의 부구간으로 분류되며, 제3 구간의 얼굴 이미지들이 제3-1 부구간, 제3-2 부구간, 제3-3 부구간 중 하나의 부구간으로 분류될 수 있다. The first classification process is divided into a first section, a second section, and a third section based on the photographing angle, which is a vertical angle between the user and the camera. Radiation distortion, perspective distortion, and other parameters can cause changes in the facial appearance of the facial image. Accordingly, a feature quantity considering the face appearance change is calculated for each section, and the face images for each section are classified into a plurality of sub sections based on the calculated feature amount. For example, the face images of the first section are classified into one sub-section of the section 1-1, the section 1-2, and the section 1-3, and the images of the face of the
도 3은 본 발명의 실시 예에 따른 얼굴 식별 방법에서, 제2 분류 과정에 대한 흐름을 나타낸 순서도이다. 3 is a flowchart illustrating a flow of a second classification process in the face identification method according to the embodiment of the present invention.
각 구간별 얼굴 이미지들을 복수의 부구간으로 미세 분류하기 위하여, 부구간을 특징짓기 위한 키값을 산출한다. In order to fine-sort the face images of each section into a plurality of sub-sections, a key value for characterizing sub-sections is calculated.
상하각도인 촬영 각도를 토대로 하는 하나의 구간을 각도 공간이라고 한다면, 하나의 각도 공간을 하나 이상의 미세 공간 즉, 부공간으로 분류한다. 그리고 각도 공간에 해당하는 얼굴 이미지를 하나의 부공간에 할당한다. If one section based on the photographing angle which is an up / down angle is referred to as an angular space, one angular space is classified into one or more microspaces, that is, subspaces. Then, the face image corresponding to the angular space is allocated to one subspace.
이를 위하여, 얼굴 이미지에 대하여 필터를 적용하여 이미지에 해당하는 키 값을 산출한다(S300). 예를 들어, 하나의 얼굴 이미지(i)에 대하여 이미지를 정량화하는 필터(예를 들어, 가버(gabor) 필터, LBP(local binary pattern) 필터 등)을 적용하여, 얼굴 이미지에 해당하는 키(ki)를 산출한다. To do this, a key value corresponding to the image is calculated by applying a filter to the face image (S300). For example, by applying a filter (e.g., a gabor filter, a local binary pattern (LBP) filter, or the like) that quantifies an image for one face image i, i .
그리고 산출된 얼굴 이미지의 키(ki)를 각도 공간에 포함하는 복수(ns)개의 부공간들의 키들(ks1 , .., kns)과 비교하여 그에 상응하는 비교값 δ(ki , ksj )들을 산출한다(S310). 여기서, 1≤j≤ns 이다. 얼굴 이미지에 대한 키(ki)별로 복수의 비교값 δ(ki, ksj)들이 획득된다. 그리고 획득된 비교값 δ(ki, ksj)들을 토대로 얼굴 이미지를 하나의 부공간에 할당한다. 이 경우 다음과 같은 처리 방법을 사용한다. And the key (k i) of the calculated plurality of face images included in the angle space (n s) of keys of the unit area as compared with the comparison value (k s1, .., k ns ) corresponding δ (k i, k sj are calculated (S310). Here, 1? J? N s . A plurality of comparison values? (K i , k sj ) are obtained for each key (k i ) for the face image. Then, the face image is assigned to one subspace based on the obtained comparison values δ (k i , k sj ). In this case, use the following processing method.
1) min δ= min {δ(ki, ksj) | 1 ≤ j ≤ ns} ≤ θk 1) min? = Min {? (K i , k sj ) | 1? J? Ns }?? K
여기서, min δ는 비교값들 중에서 최소값을 나타내며, 설명의 편의상 최소 비교값이라고 명명한다. Here, min [delta] represents the minimum value among the comparison values, and is referred to as a minimum comparison value for convenience of explanation.
최소 비교값 min δ이 미리 설정된 문턱값(θk ) 보다 작은 경우에는, 얼굴 이미지를 최소 비교값 min δ에 해당하는 부공간에 할당한다. If the minimum comparison value min [delta] is smaller than the preset threshold value [theta] k , the face image is allocated to the subspace corresponding to the minimum comparison value min [delta].
2) min δ= min {δ(ki, ksj) | 1 ≤ j ≤ns} > θk, ns < us 2) min? = Min {? (K i , k sj ) | 1 ≤ j ≤ n s }> θ k , n s <u s
여기서, ns는 부공간들의 개수를 나타내며, us는 최대 허용 개수를 나타낸다. Here, ns represents the number of subspaces, and us represents the maximum allowable number.
최소 비교값 min δ이 미리 설정된 문턱값(θk) 보다 크고, 부공간들의 개수가 미리 설정된 최대 허용 개수 이하인 경우에는, 새로운 부공간을 생성하고 얼굴 이미지를 생성된 부공간에 할당한다. If the minimum comparison value min [delta] is greater than the predetermined threshold value [theta] k and the number of subspaces is less than the preset maximum allowable number, a new subspace is generated and the face image is allocated to the generated subspace.
3) min δ= min {δ(ki, ksj) | 1≤ j ≤ ns} > θk, ns < us 3) min? = Min {? (K i , k sj ) | 1≤ j ≤ n s}> θ k, n s <u s
최소 비교값 min δ이 미리 설정된 문턱값(θk) 보다 크고, 부공간들의 개수가 미리 설정된 최대 허용 개수와 동일한 경우에는, 얼굴 이미지를 최소 비교값 min δ에 해당하는 부공간에 할당한다. If the minimum comparison value min [delta] is greater than the predetermined threshold value [theta] k and the number of subspaces is equal to the preset maximum allowable number, the face image is allocated to the subspace corresponding to the minimum comparison value minδ.
위의 처리 방법을 토대로 얼굴 이미지를 부공간에 할당하는 과정에 대하여 보다 구체적으로 설명하면, 첨부한 도 3에서와 같이, 얼굴 이미지에 대한 키(ki)별로 복수의 비교값 δ(ki, ksj)들이 획득된 경우, 획득된 비교값들 중에서 최소값을 가지는 최소 비교값 min δ를 선택한다(S320). 그리고 선택된 최소 비교값 min δ을 미리 설정된 문턱값 θk와 비교한다(S330).To be more specifically described with respect to the process of assigning the face image based on the method above to the sub-space, the key (k i) a plurality of comparison values for each of the face image, as shown in the accompanying Fig. 3 δ (k i, k sj are obtained, a minimum comparison value min delta having a minimum value among the obtained comparison values is selected (S320). Then, the selected minimum comparison value min [delta] is compared with a preset threshold value [theta] k (S330).
비교 결과, 최소 비교값 min δ이 미리 설정된 문턱값 θk 보다 작거나 같은 경우에는, 얼굴 이미지를 최소 비교값 min δ에 대응하는 부공간 즉, 부구간에 할당한다(S340).If the minimum comparison value min [delta] is less than or equal to the preset threshold value [theta] k , the face image is allocated to the subspace corresponding to the minimum comparison value min [delta] at step S340.
반면, 최소 비교값 min δ이 미리 설정된 문턱값 θk 보다 큰 경우에는, 부공간의 개수와 최대 허용 가능 개수를 비교한다(S350). 비교 결과, 부공간의 개수가 최대 허용 가능 개수보다 작은 경우에는 새로운 부공간을 생성하고(S360), 얼굴 이미지를 새로이 생성된 부공간에 할당한다(S370). 예를 들어, 제1 구간에 속하는 하나의 얼굴 이미지에 대하여 제1-1 부구간, 제1-2 부구간, 제1-3 부구간들에 대한 비교값들을 획득한 경우, 최소 비교값이 문턱값보다 크면서 부공간들의 개수(3)가 최대 허용 개수(예를 들어, 4)보다 작은 경우에는, 새로운 부구간 즉, 제1-4 부구간을 생성하고, 얼굴 이미지를 제1-4 부구간에 할당한다. On the other hand, if the minimum comparison value min [delta] is larger than the preset threshold value [theta] k , the number of subspaces is compared with the maximum allowable number (S350). As a result of comparison, if the number of subspaces is smaller than the maximum allowable number, a new subspace is created (S360), and the face image is allocated to the newly created subspace (S370). For example, in the case of obtaining the comparison values for the section 1-1, the section 1-2, and the section 1-3 of the one face image belonging to the first section, And the number of
한편, 최소 비교값 min δ이 미리 설정된 문턱값 θk 보다 크지만, 부공간의 개수가 최대 허용 가능 개수와 동일한 경우에는, 얼굴 이미지를 최소 비교값 min δ에 대응하는 부공간에 할당한다.On the other hand, if the minimum comparison value min [delta] is larger than the preset threshold value [theta] k but the number of sub-spaces is equal to the maximum allowable number, the face image is allocated to the sub-space corresponding to the minimum comparison value min [delta].
이러한 과정을 통하여, 사용자와 카메라 사이의 상하각도인 촬영 각도를 토대로 임의 구간으로 분류된 얼굴 이미지를, 좌우 각도 변화, 조명 변화, 방사 왜곡, 원근 왜곡 등을 고려한 특징량에 따라 다시 부구간으로 2차적으로 분류할 수 있다. Through this process, the face image classified into arbitrary sections based on the photographing angle, which is the vertical angle between the user and the camera, is divided into sub-sections according to the feature amount considering the change in the left / right angle, illumination change, radial distortion, It can be classified as secondary.
위에 기술된 바와 같은 제2 분류 과정이 완료되면, 부공간별로 분류된 얼굴이미지들을 사용해 각각의 부공간이 재트레이닝(retraining)된다. 이러한 제2 분류 과정을 토대로 하는 재트레이닝을 하는 주기(Pr)는 가변적으로 설정될 수 있으며, 예를 들어, 스마트폰의 소프트웨어 자동 업데이트와 유사한 주기로 설정될 수 있다. When the second classification process as described above is completed, each subspace is retrained using face images sorted by subspace. The period (Pr) for re-training based on the second classification process can be variably set and can be set to a period similar to, for example, automatic software update of the smartphone.
이러한 본 발명의 실시 예에서 얼굴 이미지 획득 및 분류를 위하여 다음과 같은 파라미터들이 사용된다. In the embodiment of the present invention, the following parameters are used for acquiring and classifying a face image.
트레이닝용 이미지 획득(image acquisition) 주기
Image acquisition cycle for training
kia (정기적 이미지 획득 주기), 1 ≤ kia
k ia (periodic image acquisition period), 1 ≤ k ia
주기적으로 이미지 획득예: smart stay 기능용 이미지 획득
Image acquisition periodically Example: Image acquisition for smart stay function
재트레이닝 주기, Pr
Re-training period, Pr
예를 들어, 1일 ≤ Pr ≤ 10일
For example, 1 day ≤ Pr ≤ 10 days
각도 공간내 부공간(subspace)의 개수, ns
The number of subspaces in the angular space, n s
1≤ ns ≤ us (최대허용개수), 예를 들어, us =2,3..
1 ≤ n s ≤ u s (maximum allowed number), eg u s = 2, 3.
하나 또는 적은 수의 사용자 이미지를 정적으로 사용하는 일반적인 일인용 장치(스마트폰) 환경하에서 얼굴 인식 성능은 낮고, 인증에 사용되는 얼굴 이미지가 변경되지 않는데 반하여, 본 발명의 실시 예에서는 동적으로 가변되는 주기에 따라 인증을 위한 얼굴 이미지를 획득하고, 획득되는 얼굴 이미지들을 사용자의 사용 습관(예를 들어, 사용자가 일인용 장치를 내려다보는 각도에 따른 상하각도 변화)과 외양 변화(좌우 각도 변화, 조명 변화, 방사 왜곡, 원근 왜곡 등에 따른 이미지의 외양 변화)를 고려하여 트레이닝하여 분류하여 저장한다. 그러므로 이와 같이 획득되고 분류된 얼굴 이미지들을 인증 장치 즉, 본인-타인을 판별하는 판별기에 적용하여 실질적으로 일인용 장치를 사용하고자 하는 사용자 이미지와 비교되도록 함으로써, 보다 신뢰성이 있는 인증이 이루어지며, 인식 성능 또한 향상된다. While the face recognition performance is low and the face image used for authentication does not change under a general monotone device (smartphone) environment that statically uses one or a small number of user images, in the embodiment of the present invention, (For example, a change in vertical angle according to an angle at which a user looks down on a single device) and an appearance change (a change in a lateral angle, a light Change of appearance of image due to change, radial distortion, perspective distortion, etc.). Therefore, the face images thus obtained and classified are applied to the authentication device, that is, the discriminator for discriminating the self-person, so as to be compared with the user image to be actually used by the single-person device, more reliable authentication is performed, Performance is also improved.
다음에는 본 발명의 실시 예에 따른 제2 분류 과정에서 사용되는 얼굴 이미지의 키(ki)와 각도 공간에 포함하는 복수(ns)개의 부공간들의 키들(ks1 , .., kns)을 산출하는 방법에 대하여 설명한다. Next, the plurality including a key (k i) and the angle area of the face image used in the second classification (n s) of keys of the subspaces according to an embodiment of the present invention (k s1, .., k ns ) Will be described.
상하각도인 촬영 각도에 대응하는 각도 공간별로, 사전 트레이닝용 Np개의 얼굴 이미지 각각에 대하여, 얼굴 인식 필터를 적용하여 필터 응답 데이터인 원시 특징량을 획득한다. 원시 특징량은 |F|개의 특징량 요소들로 이루어진다 (F={f}). A face recognition filter is applied to each of the Np face images for pre-training for each angle space corresponding to the photographing angle at the vertical angle to acquire the original feature amount as the filter response data. The primitive feature consists of | F | feature parameters (F = {f}).
얼굴 이미지 각각을 하나의 클래스로 간주하면, 각 클래스별로 |F|개의 특징량 요소들로 이루어진 원시 특징량이 획득된다. 원시 특징량을 구성하는 각 특징량 요소(f)별로 동일한 클래스내에서의 차이를 나타내는 클래스내 분산값(varw)(동일 얼굴 이미지내에서의 특징량 차이를 나타내는 값이라고 할 수 있음)과 다른 클래스들간의 차이를 나타내는 클래스간 분산값(varb)(다른 얼굴 이미지와의 특징량 차이를 나타내는 값이라고 할 수 있음)을 각각 산출한다. 그리고 각 특징량 요소(f)별로 클라스내 분산값(varw)과 클래스간 분산값(varb)의 비율(varb/ varw) 즉, 분산 비율을 구한다. When each face image is regarded as one class, a primitive feature amount composed of | F | feature amount components for each class is obtained. The variance value var w in the class (which may be a value indicating the difference in the feature quantity in the same face image) indicating the difference in the same class for each feature quantity element f constituting the original feature quantity And the inter-class variance value var b (which may be a value indicative of the feature quantity difference from the other face image) indicating the difference between the classes. Then, the ratio (var b / var w ) between the in-class variance value var w and the inter-class variance value var b , that is, the variance ratio, is obtained for each feature element f.
다음, 각 특징량 요소(f)별로 구해진 분산 비율들 중에서 최대값을 가지는 분산 비율을 선택하고, 최대값을 가지는 분산 비율에 해당하는 특징량 요소를 해당하는 얼굴 이미지의 키 값 즉, 키(ki)로 사용된다. Next, a variance ratio having a maximum value among the variance ratios obtained for each feature factor (f) is selected, and a feature value element corresponding to the variance ratio having the maximum value is selected as a key value of the corresponding face image, that is, i ).
한편, 각도 공간의 부공간에 포함되는 Ni개의 얼굴 이미지에 대해서도, 위와 같이 원시 특징량을 획득한다. 얼굴 이미지에 대하여 획득한 원시 특징량을 구성하는 nf개의 특징량 요소({ fe | f1, f2, .., fnf})에 대해 평균(me)과 표준 편차(se)를 산출한다. 평균(me)은 
하나의 부공간(sj)에 포함되는 Ni개의 얼굴 이미지별로 획득된 평균(me)와 표준 편차(se)는 해당 부공간에 대한 키(ksj)를 구성한다. 부공간에 대한 키(ksj)는 다음과 같이 나타낼 수 있다. The mean (m e ) and standard deviation (s e ) obtained for each of the N i face images included in one subspace (s j ) constitute a key (k sj ) for the subspace. The key (k sj ) for the subspace can be expressed as:
이와 같이 획득되는 부공간에 대한 키(ksj)와, 얼굴 이미지에 대하여 획득되는 키(ki)의 비교에 따른 비교값 δ(ki, ksj)는, 이미지의 키(ki)와 부공간의 키(ksj) 사이의 거리이며, 표준 편차로 정규화된 키요소들의 거리의 합이다. 비교값 δ(ki, ksj)는 다음 수식과 같이 나타낼 수 있다. Key (k sj), and a comparison value δ (k i, k sj) according to the comparison of the key (k i) which is obtained for the face image for the unit area is obtained this way is provided with a key (k i) of the image Is the distance between the keys of the subspace (k sj ), and is the sum of the distances of the key elements normalized by the standard deviation. The comparison value? (K i , k sj ) can be expressed by the following equation.
이와 같이 얻어지는 비교값 δ(ki, ksj)을 토대로 위에 기술된 바와 같이, 얼굴 이미지를 미세 공간인 부공간으로 분류할 수 있다. As described above, based on the thus-obtained comparison value? (K i , k sj ), the face image can be classified into a subspace that is a fine space.
위에 기술된 바와 같은, 얼굴 식별 방법을 토대로 얼굴 이미지들을 동적으로 주기마다 획득하여 분류하여 저장한 상태에서, 인증하고자 하는 사용자의 얼굴 이미지가 획득되면, 인증하고자 하는 이미지와 저장된 이미지들을 비교하여 인증이 이루어진다. 예를 들어, 이미지를 처리하여 해당하는 주공간, 부공간을 찾고 인증할 이미지의 특징량과 찾아진 주공간이나 부공간에 대응하여 저장된 이미지의 특징량간의 차이가 크면 적법하지 않은 사용자로 간주한다. If the face image of the user to be authenticated is acquired in the state that the face images are dynamically obtained and stored for each period on the basis of the face identification method as described above and the stored images are compared with each other, . For example, if an image is processed to find a corresponding main space or subspace, and the difference between the feature amount of the image to be authenticated and the feature amount of the stored image corresponding to the searched main space or subspace is large, the user is considered to be illegitimate .
일인용 장치에서 얼굴 인증을 수행한 결과, 다음과 같은 결과를 얻을 수 있었다. As a result of face authentication in a single device, the following results were obtained.
도 4는 본 발명의 실시 예에 따른 얼굴 식별 방법을 적용한 얼굴 이미지들의 분포를 나타낸 예시도이고, 도 5는 본 발명의 실시 예에 따른 얼굴 식별 방법 적용 에 따른 인증 성능을 나타낸 그래프이다. FIG. 4 is a view illustrating distribution of facial images using a face identification method according to an embodiment of the present invention, and FIG. 5 is a graph illustrating authentication performance according to an application of a facial identification method according to an embodiment of the present invention.
첨부한 도 4에서, y축은 인식 성능을 나타내며, x축은 시간 경과를 나타낸다. 도 4에 예시되어 있듯이, 동일한 사용자의 얼굴 이미지들의 얼굴 외양이 시간 경과에 따라 달라지는 환경에서, 본 발명의 실시 예에 따른 얼굴 식별 방법과 기존의 얼굴 식별 방법을 적용한 결과, 도 5와 같은 그래프를 얻을 수 있었다. 4, the y-axis represents recognition performance and the x-axis represents time lapse. As illustrated in FIG. 4, the face identification method and the existing face identification method according to the embodiment of the present invention are applied in an environment in which the face appearance of the same user's face images changes with time, .
동적 이미지 획득을 토대로 하는 본 발명의 실시 예에 따른 얼굴 식별 방법의 성능이, 정적 이미지를 기본으로 하는 기존 방법에 비하여 월등히 인식 성능이 향상됨을 알 수 있다. It can be seen that the performance of the face identification method according to the embodiment of the present invention based on the dynamic image acquisition is far superior to the existing method based on the static image.
다음에는 본 발명의 실시 예에 따른 얼굴 식별 장치의 구조에 대하여 설명한다. Next, a structure of a face identification apparatus according to an embodiment of the present invention will be described.
도 6은 본 발명의 실시 예에 따른 얼굴 식별 장치의 구조를 나타낸 도이다. 6 is a view illustrating the structure of a face identification apparatus according to an embodiment of the present invention.
첨부한 도 6에서와 같이, 본 발명의 실시 예에 따른 얼굴 식별 장치(1)는 얼굴 이미지 획득부(11), 제1 이미지 분류부(12), 제2 이미지 분류부(13), 트레이닝 제어부(14)를 포함한다. As shown in FIG. 6, the
얼굴 이미지 획득부(11)는 일인용 장치의 인증을 위한 사용자의 얼굴 이미지를 촬영하여 복수의 얼굴 이미지를 획득한다. The facial image acquiring unit 11 acquires a plurality of facial images by photographing a face image of the user for authentication of the single apparatus.
제1 이미지 분류부(12)는 획득한 얼굴 이미지들을 촬영 각도에 따라 복수의 각도 구간으로 분류한다. 이를 위하여, 제1 이미지 분류부(12)는 얼굴 이미지로부터 촬영 각도 특히, 카메라와 사용자 사이의 상하 각도를 판별하는 각도 판별부(121), 판별된 촬영 각도에 따라 얼굴 이미지를 하나의 구간으로 분류하는 제1 분류부(122)를 포함하며, 이외에도 분류된 얼굴 이미지에 대한 왜곡 보상을 수행하는 왜곡 보상부(123)를 더 포함한다. The first
제2 이미지 분류부(13)는 제1 이미지 분류부(12)에 의하여 촬영 각도에 따라 복수의 각도 구간으로 분류된 얼굴 이미지들을, 각도 구간별로 복수의 부구간으로 미세 분류한다. The second
이를 위하여, 제2 이미지 분류부(13)는 이미지들에 대한 키값을 산출하는 키 산출부(131), 분류하고자 하는 얼굴 이미지의 키 값과 복수의 부구간들의 키값들에 대한 비교값들을 산출하는 비교값 산출부(132), 산출된 복수의 비교값들 중에서 최소값을 가지는 최소 비교값을 선택하는 비교값 선택부(133), 최소 비교값을 문턱값과 비교하여 얼굴 이미지를 하나의 부구간에 분류하는 제2 분류부(134)를 포함한다. 여기서, 제2 분류부(134)는 최소 비교값이 문턱값 이하인 경우에는 해당 얼굴 이미지를 최소 비교값에 대응하는 부구간으로 분류한다. 최소 비교값이 문턱값보다 큰 경우에는, 현재의 부공간의 개수가 최대 허용 가능 개수와 동일하면 얼굴 이미지를 최소 비교값에 대응하는 부구간으로 분류한다. 반면 현재의 부공간의 개수가 최대 허용 가능 개수와 동일하지 않으면 새로운 부구간을 생성하고 얼굴 이미지를 새로이 생성된 부구간으로 분류한다. To this end, the second
한편 키 산출부(131)는 얼굴 이미지에 대한 키값을 산출하는 제1 키 산출부와, 공간에 해당하는 키 값을 산출하는 제2 키 산출부로 분류될 수 있으며, 각 키 산출부의 키 값 산출 방법은 위에 기술된 방법을 토대로 함으로, 여기서는 상세한 설명을 생략한다. The
이상에서 설명한 본 발명의 실시 예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예에 따른 방법 및 그 시스템의 구성에 대응하는 기능을 실행시킬 수 있는 프로그램 또는 그 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다. Although the present invention has been described and illustrated in detail, it is clearly understood that the same is by way of illustration and example only and is not to be construed as limited to the embodiments set forth herein. And the present invention can be easily implemented by those skilled in the art from the description of the embodiments described above.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.
Claims (15)
획득한 얼굴 이미지들에 대하여 촬영 각도들을 판별하는 단계;
판별된 촬영 각도를 토대로 상기 얼굴 이미지들을 복수의 구간으로 분류하는 단계; 및
상기 얼굴 이미지들에 대한 특징량을 토대로, 상기 각 구간별 얼굴 이미지들을 복수의 부구간으로 분류하는 단계
를 포함하고,
상기 복수의 부구간으로 분류하는 단계는
각 구간에 포함되는 얼굴 이미지별로, 상기 복수의 부구간들에 대응하는 얼굴 특징량을 토대로 하는 제1 키값들과 상기 얼굴 이미지의 특징량을 토대로 하는제2 키값에 따른 비교값들을 토대로, 상기 얼굴 이미지를 상기 복수의 부구간 중 하나의 부구간으로 할당하는, 얼굴 식별 방법.Acquiring user's face images at set intervals for user authentication of the single device;
Determining shooting angles with respect to the acquired face images;
Classifying the face images into a plurality of sections based on the determined photographing angles; And
Classifying the facial images of each section into a plurality of sub sections based on the feature amounts of the face images
Lt; / RTI >
The step of classifying into the plurality of sub-
Based on the first key values based on the face feature amount corresponding to the plurality of sub sections and the comparison values based on the second key value based on the feature amount of the face image for each face image included in each section, And assigning an image to one sub-section of the plurality of sub-sections.
상기 촬영 각도는 사용자가 일인용 장치를 내려다보는 각도에 따른 상하각도를 나타내는, 얼굴 식별 방법.The method of claim 1, wherein
Wherein the photographing angle represents a vertical angle with respect to an angle at which the user looks down the united device.
상기 제1 키값은 하나의 부구간에 포함되는 복수의 얼굴 이미지들에 대한 특징량과, 상기 부구간에 포함되는 얼굴 이미지들에 대한 평균 특징량 및 표준 편차를 토대로 산출되며,
상기 제2 키값은 상기 얼굴 이미지 내에서의 특징량 차이를 나타내는 제1 분산값과, 다른 얼굴 이미지와의 특징량 차이를 나타내는 제2 분산값을 토대로 산출되는, 얼굴 식별 방법.The method of claim 1, wherein
Wherein the first key value is calculated based on a feature amount of a plurality of face images included in one sub section and an average feature amount and a standard deviation of the face images included in the sub section,
Wherein the second key value is calculated based on a first variance value indicating a feature quantity difference in the face image and a second variance value indicating a feature quantity difference with another face image.
상기 복수의 부구간으로 분류하는 단계는
각 구간에 포함되는 얼굴 이미지별로, 상기 복수의 부구간들과의 비교값들을 산출하는 단계;
상기 산출된 비교값들 중에서 최소값을 가지는 최소 비교값을 선택하는 단계; 및
해당 얼굴 이미지를 상기 최소 비교값에 대응하는 부구간에 할당하는 단계
를 포함하는, 얼굴 식별 방법.The method of claim 1, wherein
The step of classifying into the plurality of sub-
Calculating comparison values with respect to the plurality of sub-regions for each face image included in each region;
Selecting a minimum comparison value having a minimum value among the calculated comparison values; And
Assigning the face image to a subinterval corresponding to the minimum comparison value
Gt;
상기 부구간에 할당하는 단계는,
상기 최소 비교값을 미리 설정된 문턱값과 비교하는 단계; 및
상기 최소 비교값이 상기 문턱값 이하인 경우에, 상기 얼굴 이미지를 상기 최소 비교값에 대응하는 부구간에 할당하는 단계
를 포함하는, 얼굴 식별 방법.The method of claim 5, wherein
Wherein the step of allocating to the sub-
Comparing the minimum comparison value with a preset threshold value; And
Assigning the face image to a subinterval corresponding to the minimum comparison value if the minimum comparison value is less than or equal to the threshold value
Gt;
상기 부구간에 할당하는 단계는,
상기 최소 비교값이 상기 문턱값보다 큰 경우에, 상기 부구간들의 개수와 미리 설정된 최대 허용 개수를 비교하는 단계;
상기 부구간들의 개수가 상기 최대 허용 개수와 동일한 경우에는, 상기 얼굴 이미지를 상기 최소 비교값에 대응하는 부구간에 할당하는 단계; 및
상기 부구간들의 개수가 상기 최대 허용 개수보다 작은 경우에는 새로운 부구간을 생성하고, 상기 얼굴 이미지를 상기 생성된 부구간에 할당하는 단계
를 포함하는, 얼굴 식별 방법.The method of claim 6, wherein
Wherein the step of allocating to the sub-
Comparing the number of subintervals with a predetermined maximum allowable number when the minimum comparison value is greater than the threshold value;
Assigning the face image to a subinterval corresponding to the minimum comparison value if the number of subintervals is equal to the maximum allowable number; And
If the number of the subintervals is smaller than the maximum allowable number, generating a new subinterval and assigning the face image to the generated subinterval
Gt;
상기 복수의 구간으로 분류하는 단계 이후에,
상기 복수의 구간으로 분류된 얼굴 이미지들에 대하여 동작흐림보상, 방사 왜곡 보상, 원근 왜곡 보상을 포함하는 보상 처리를 수행하는 단계
를 더 포함하는, 얼굴 식별 방법.The method of claim 1, wherein
After the step of classifying into the plurality of sections,
Performing compensation processing including motion blur compensation, radial distortion compensation, and perspective distortion compensation on the face images classified into the plurality of sections
Further comprising the steps of:
인증하고자 하는 사용자의 얼굴 이미지를 획득하는 단계; 및
상기 획득된 얼굴 이미지를 상기 각 구간별 복수의 부구간으로 분류된 얼굴 이미지들과 비교하여 인증하는 단계
를 더 포함하는, 얼굴 식별 방법.The method of claim 1, wherein
Obtaining a face image of a user to be authenticated; And
Comparing the obtained facial image with facial images classified into a plurality of subintervals for each section, and authenticating
Further comprising the steps of:
상기 얼굴 이미지들을 획득하는 단계는 제1 주기에 따른 설정 간격마다 얼굴 이미지들을 획득하고,
상기 복수의 부구간으로 분류하는 단계는 제2 주기에 따라 얼굴 이미지들을 부구간으로 분류하는, 얼굴 식별 방법.The method of claim 1, wherein
The obtaining of the facial images may include obtaining facial images at a set interval according to a first period,
And classifying the plurality of sub-sections into sub-sections according to a second period.
제1 주기에 따라 상기 일인용 장치의 인증을 위한 사용자의 얼굴 이미지를 촬영하여 복수의 얼굴 이미지를 획득하는 얼굴 이미지 획득부;
획득한 얼굴 이미지들을 촬영 각도에 따라 복수의 각도 구간으로 분류하는 제1 이미지 분류부; 및
상기 제1 이미지 분류부에 의하여 촬영 각도에 따라 복수의 각도 구간으로 분류된 얼굴 이미지들을, 각도 구간별로 복수의 부구간으로 미세 분류하는 제2 이미지 분류부
를 포함하고,
상기 제2 이미지 분류부는
얼굴 이미지들에 대한 키값을 산출하는 키 산출부;
분류하고자 하는 얼굴 이미지의 키 값과 복수의 부구간들의 키값들에 대한 비교값들을 산출하는 비교값 산출부;
산출된 복수의 비교값들 중에서 최소값을 가지는 최소 비교값을 선택하는 비교값 선택부; 및
상기 최소 비교값을 문턱값과 비교하여 얼굴 이미지를 하나의 부구간으로 분류하는 제2 분류부
를 포함하는, 얼굴 식별 장치.In a face identification device for user authentication of a single device,
A face image acquiring unit for acquiring a plurality of face images by photographing a user's face image for authentication of the simulator according to a first cycle;
A first image classifying unit for classifying the acquired facial images into a plurality of angular intervals according to a photographing angle; And
A second image classifying unit for classifying facial images classified into a plurality of angular intervals according to an imaging angle by the first image classifying unit into a plurality of sub-
Lt; / RTI >
The second image classifier
A key calculation unit for calculating a key value for the face images;
A comparison value calculation unit for calculating comparison values for a key value of a face image to be classified and key values of a plurality of sub-intervals;
A comparison value selector for selecting a minimum comparison value having a minimum value among the plurality of comparison values calculated; And
And a second classification unit for comparing the minimum comparison value with a threshold value to classify the face image into one sub-
And a face identification device.
상기 제1 이미지 분류부는
얼굴 이미지로부터 카메라와 사용자 사이의 상하 각도를 나타내는 촬영 각도를 판별하는 각도 판별부;
판별된 촬영 각도에 따라 얼굴 이미지를 하나의 각도 구간으로 분류하는 제1 분류부; 및
상기 분류된 얼굴 이미지에 대한 왜곡 보상을 수행하는 왜곡 보상부
를 포함하는, 얼굴 식별 장치.The method of claim 11, wherein
The first image classifier
An angle discrimination unit for discriminating a photographing angle indicating a vertical angle between the camera and the user from the face image;
A first classifier for classifying the face image into one angular section according to the determined photographing angle; And
A distortion compensating unit for performing distortion compensation on the classified face image,
And a face identification device.
상기 제2 분류부는 최소 비교값이 문턱값 이하인 경우에는 해당 얼굴 이미지를 최소 비교값에 대응하는 부구간으로 분류하고,
최소 비교값이 문턱값보다 큰 경우에는, 현재의 부구간의 개수가 최대 허용 가능 개수와 동일하면 얼굴 이미지를 최소 비교값에 대응하는 부구간으로 분류하며,
현재의 부구간의 개수가 최대 허용 가능 개수와 동일하지 않으면 새로운 부구간을 생성하고 얼굴 이미지를 새로이 생성된 부구간으로 분류하는, 얼굴 식별 장치.The method of claim 11, wherein
Wherein the second classifier classifies the face image into subintervals corresponding to the minimum comparison value if the minimum comparison value is less than the threshold,
If the minimum comparison value is larger than the threshold value, if the number of the current subinterval is equal to the maximum allowable number, the facial image is classified into the subinterval corresponding to the minimum comparison value,
Wherein a new subinterval is generated and the face image is classified into newly generated subintervals if the current number of subintervals is not equal to the maximum allowable number.
상기 분류하고자 하는 얼굴 이미지의 키 값은 얼굴 이미지 내에서의 특징량 차이를 나타내는 제1 분산값과, 다른 얼굴 이미지와의 특징량 차이를 나타내는 제2 분산값을 토대로 산출되고,
상기 부구간의 키값은 하나의 부구간에 포함되는 복수의 얼굴 이미지들에 대한 특징량과, 상기 부구간에 포함되는 얼굴 이미지들에 대한 평균 특징량 및 표준 편차를 토대로 산출되는, 얼굴 식별 장치.
The method of claim 11, wherein
Wherein the key value of the face image to be classified is calculated based on a first variance value indicating a feature quantity difference in a face image and a second variance value indicating a feature quantity difference between the other face image,
Wherein the key value of the subinterval is calculated based on a feature quantity of a plurality of face images included in one subinterval and an average feature quantity and a standard deviation of the face images included in the subinterval.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130094433A KR101441108B1 (en) | 2013-08-08 | 2013-08-08 | Method and apparatus for distinguishing faces for personal device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130094433A KR101441108B1 (en) | 2013-08-08 | 2013-08-08 | Method and apparatus for distinguishing faces for personal device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101441108B1 true KR101441108B1 (en) | 2014-09-22 |
Family
ID=51760344
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130094433A KR101441108B1 (en) | 2013-08-08 | 2013-08-08 | Method and apparatus for distinguishing faces for personal device |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101441108B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229369A (en) * | 2017-12-28 | 2018-06-29 | 广东欧珀移动通信有限公司 | Image capturing method, device, storage medium and electronic equipment |
| US11157760B2 (en) | 2017-12-21 | 2021-10-26 | Samsung Electronics Co., Ltd. | Liveness test method and apparatus |
| US11971924B2 (en) | 2017-12-21 | 2024-04-30 | Samsung Electronics Co., Ltd. | Liveness test method and apparatus |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008142740A1 (en) * | 2007-04-16 | 2008-11-27 | Fujitsu Limited | Image processing method, image processing device, image processing system, and computer program |
-
2013
- 2013-08-08 KR KR1020130094433A patent/KR101441108B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008142740A1 (en) * | 2007-04-16 | 2008-11-27 | Fujitsu Limited | Image processing method, image processing device, image processing system, and computer program |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11157760B2 (en) | 2017-12-21 | 2021-10-26 | Samsung Electronics Co., Ltd. | Liveness test method and apparatus |
| US11971924B2 (en) | 2017-12-21 | 2024-04-30 | Samsung Electronics Co., Ltd. | Liveness test method and apparatus |
| CN108229369A (en) * | 2017-12-28 | 2018-06-29 | 广东欧珀移动通信有限公司 | Image capturing method, device, storage medium and electronic equipment |
| CN108229369B (en) * | 2017-12-28 | 2020-06-02 | Oppo广东移动通信有限公司 | Image shooting method and device, storage medium and electronic equipment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105608450B (en) | Heterogeneous face identification method based on depth convolutional neural networks | |
| JP3940759B2 (en) | Iris registration method, iris registration device, and iris registration program | |
| CN108288027A (en) | A kind of detection method of picture quality, device and equipment | |
| JP6089577B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| US9053540B2 (en) | Stereo matching by census transform and support weight cost aggregation | |
| CN110059579B (en) | Method and apparatus for in vivo testing, electronic device, and storage medium | |
| CN109360179B (en) | Image fusion method and device and readable storage medium | |
| JPWO2010116885A1 (en) | Data processing apparatus, image collation method, program, and image collation system | |
| US10880742B2 (en) | Iris recognition workflow | |
| CN102982321A (en) | Acquisition method and device for face database | |
| KR20100038899A (en) | Extraction method of skin-colored region using variable skin color model | |
| CN110390261A (en) | Object detection method, device, computer readable storage medium and electronic equipment | |
| WO2018006631A1 (en) | User level automatic segmentation method and system | |
| KR101441108B1 (en) | Method and apparatus for distinguishing faces for personal device | |
| CN109993042A (en) | A kind of face identification method and its device | |
| CN109993026B (en) | Training method and device for relative recognition network model | |
| CN107273884A (en) | A kind of License Plate Identification method based on mobile terminal camera | |
| CN102196153B (en) | Image scene brightness difference judgment device and brightness difference judgment method | |
| CN109753886B (en) | Face image evaluation method, device and equipment | |
| CN104156689B (en) | Method and device for positioning feature information of target object | |
| CN110213449B (en) | Method for identifying roaming fraud number | |
| CN106446904A (en) | Image recognition method based on global binarization | |
| CN108711139B (en) | One kind being based on defogging AI image analysis system and quick response access control method | |
| CN115620259A (en) | Lane line detection method based on traffic off-site law enforcement scene | |
| CN113436120B (en) | Image fuzzy value identification method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170901 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180830 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20190902 Year of fee payment: 6 |