KR101441106B1 - 얼굴 검출 및 검증 방법 및 그 장치 - Google Patents

얼굴 검출 및 검증 방법 및 그 장치 Download PDF

Info

Publication number
KR101441106B1
KR101441106B1 KR1020130099192A KR20130099192A KR101441106B1 KR 101441106 B1 KR101441106 B1 KR 101441106B1 KR 1020130099192 A KR1020130099192 A KR 1020130099192A KR 20130099192 A KR20130099192 A KR 20130099192A KR 101441106 B1 KR101441106 B1 KR 101441106B1
Authority
KR
South Korea
Prior art keywords
face
hypothesis
shape
candidate region
feature points
Prior art date
Application number
KR1020130099192A
Other languages
English (en)
Inventor
노명철
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020130099192A priority Critical patent/KR101441106B1/ko
Application granted granted Critical
Publication of KR101441106B1 publication Critical patent/KR101441106B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)

Abstract

얼굴 검출 및 검증 방법 및 그 장치가 제공된다. 입력되는 이미지로부터 얼굴 후보 영역이 검출되고, 얼굴 후보 영역에 대하여 얼굴 모양 정렬을 수행하여 얼굴 모양의 가설(Hypothesis)이 획득된다. 얼굴 모양의 가설이 얼굴 후보 영역의 영상에 어느 정도 부합되는지를 나타내는 정합도를 산출하고, 산출된 정합도를 토대로 얼굴 후보 영역이 얼굴 영역인지를 검증한다.

Description

얼굴 검출 및 검증 방법 및 그 장치{Method for extracting and verifying face and apparatus thereof}
본 발명은 얼굴 인식에 관한 것으로, 특히 이미지로부터 얼굴을 검출하고 검출된 얼굴을 검증하는 방법 및 그 장치에 관한 것이다.
얼굴 인식은 다양한 분야에 적용되고 있으며, 얼굴 인식의 정확성을 높이기 위한 다양한 연구들이 이루어지고 있다. 얼굴 인식을 위하여 영상에서 얼굴을 검출하는 방법은 일반적으로 이미지로부터 획득한 형태 정보를 그대로 사용하거나 형태 정보로부터 추출한 특징 정보를 사용하여 얼굴을 검출한다.　이러한 기존의 얼굴 검출 방법은 일반적으로 좋은 성능을 보여　주고 있으나, 검출률을 결정하는 데에 있어서 문턱치(Thresholding value)가 중요한 역할을 하고 있어서, 검출률이 문턱치 값에 민감하다.　　　
그러나 검출률을 높이기 위해서 문턱치를 낮추면 얼굴이 아닌 것을 검출하는 오승인률(FA, False acceptance rate)이 늘어나게 되고, 반대로 오검출률을 낮추기 위해서 문턱치를 높이면 검출해야 할 얼굴을 놓치게 되는 오거부율(FR, False rejection rate)이 늘어나게 된다.
특히 얼굴을 놓치지 않고 검출하기 위해서　문턱치를 낮추면 전체적으로는 얼굴과 다르더라도 형태의 일부로부터 추출된 정보가 얼굴로 인식되는 오류가 종종 발생한다. 이러한 오류는 예를 들어, 나뭇가지, 숲, 벽 등의 영역에서 주로 발생한다. 한편 문턱치를 높이면 실제 얼굴을 검출하지 못하는 오류가 종종 발생하며, 얼굴 색, 표정, 조명 등의 변화에 더욱 취약하여 얼굴을 검출하지 못하는 오류가 증가한다. 한다. 이는 얼굴 색, 표정, 조명 변화　등에 취약한 결과를 가져오게 된다.
본 발명이 해결하고자 하는 기술적 과제는 이미지로부터 얼굴을 검출하는 성능을 보다 향상시킬 수 있는 얼굴 검출 및 검증 방법 그리고 그 장치를 제공하는 것이다.
또한 본 발명이 해결하고자 하는 기술적 과제는 얼굴 이미지로부터 형태 정보와 모양 정보를 이용하여 얼굴을 검출하는 방법 및 그 장치를 제공하는 것이다.
위의 기술적 과제를 위한 본 발명의 특징에 따른 얼굴 검출 및 검증 방법은, 입력되는 이미지로부터 얼굴 후보 영역을 검출하는 단계; 상기 얼굴 후보 영역을 얼굴 모양 정렬을 수행하여 얼굴 모양의 가설(Hypothesis)을 생성하는 단계; 상기 얼굴 모양의 가설이 상기 얼굴 후보 영역의 영상에 어느 정도 부합되는지를 나타내는 정합도를 산출하는 단계; 및 상기 산출된 정합도를 토대로 상기 얼굴 후보 영역이 얼굴 영역인지를 검증하는 단계를 포함한다.
상기 얼굴 모양의 가설을 생성하는 단계는 얼굴 모양을 이루는 객체에 대응하는 특징점들이 상기 얼굴 후보 영역에 발생할 확률지도를 산출하는 단계; 상기 확률지도로부터 특징점들을 무작위로 선택하는 단계; 및 상기 선택된 특징점들을 토대로 얼굴 모양의 가설을 생성하는 단계를 포함할 수 있다.
상기 정합도를 산출하는 단계에서 상기 정합도는 상기 얼굴 모양의 가설을 형성하는 전체 특징점들의 개수와 아웃 라이어(outlier)의 개수를 토대로 산출될 수 있다. 이 경우, 상기 정합도를 산출하는 단계는 상기 얼굴 모양의 가설을 형성하는 특징점들에 대하여 각각 적합성을 산출하는 단계; 상기 산출된 적합성의 값이 미리 설정된 값보다 낮은 값을 가지는 특징점들을 아웃 라이어로 판단하는 단계; 및 상기 전체 특징점들의 개수를 상기 아웃 라이어들의 개수로 나누어서 상기 정합도를 산출하는 단계를 포함할 수 있다.
또한 상기 정합도를 산출하는 단계는 상기 얼굴 모양의 가설을 형성하는 특징점들에 대하여 각각 적합성을 산출하는 단계; 및 상기 적합성들의 값들 중에서 중간값을 토대로 상기 정합도를 산출하는 단계를 포함할 수 있다.
여기서, 상기 특징점의 적합성은 특징점과 상기 얼굴 모양의 가설에서 상기 특징점에 대응하는 점까지의 거리를 나타낼 수 있다.
한편 상기 검증하는 단계는 상기 산출된 정합도와 미리 설정된 정합도 문턱치보다 큰 경우에 상기 얼굴 후보 영역이 얼굴 영역인 것으로 판단할 수 있다.
또한 상기 얼굴 후보 영역을 검출하는 단계는 상기 입력되는 이미지를 스캔하여 영역을 추출하는 단계; 상기 추출된 영역을 미리 학습되어 저장되어 있는 얼굴 형판과 비교하여 매칭률을 획득하는 단계; 상기 획득한 매칭률이 미리 설정된 문턱치 보다 크면 추출된 영역이 얼굴 후보 영역인 것으로 판단하는 단계; 및 상기 획득한 매칭률이 미리 설정된 문턱치 보다 작으면 추출된 영역이 얼굴 후보 영역이 아닌 것으로 판단하는 단계를 포함할 수 있다.
본 발명의 다른 특징에 따른 얼굴 검출 장치는, 입력되는 이미지로부터 얼굴 후보 영역을 검출하는 얼굴 후보 영역 검출부; 상기 얼굴 후보 영역을 얼굴 모양 정렬을 수행하여 얼굴 모양의 가설(Hypothesis)을 생성하는 얼굴 모양 정렬부; 및 상기 얼굴 모양의 가설을 토대로 상기 얼굴 후보 영역이 얼굴 영역인지를 검증하는 검증부를 포함한다.
상기 얼굴 모양 정렬부는, 얼굴의 모양을 이루는 요소 즉, 눈, 코, 입을 포함하는 각 객체에 대응하는 설정 개수의 특징점들을 상기 얼굴 후보 영역에 적용시켜 각 특징점들이 나타날 확률지도를 산출하는 확률 지도 산출부; 및 상기 산출된 각 특징점의 확률지도로부터 각 특징점들의 위치를 무작위적으로 선택하고 선택한 특징점들을 연결하여 얼굴 모양의 가설을 생성하는 얼굴 모양 가설 생성부를 포함할 수 있다.
상기 검증부는 상기 얼굴 모양의 가설과 상기 얼굴 후보 영역에 대응하는 영상의 정합도를 산출하는 정합도 산출부; 및 상기 산출된 정합도와 미리 설정된 정합도 문턱치를 비교하여 얼굴 후보 영역이 얼굴 영역인지를 검증하는 얼굴 검증부를 포함할 수 있다.
또한 상기 정합도 산출부는 상기 얼굴 모양의 가설을 형성하는 전체 특징점들의 개수를, 상기 특징점들 중에서 아웃 라이어로 판단되는 특징점들의 개수로 나누어서 상기 정합도를 산출할 수 있다.
또한 상기 정합도 산출부는 상기 얼굴 모양의 가설을 형성하는 특징점들에 대하여 각각 적합성을 산출하고, 상기 적합성들의 값들 중에서 중간값을 상기 정합도로 사용할 수 있다.
본 발명의 실시 예에 따르면, 얼굴 형태 정보를 기반으로 추출한 얼굴 후보 영역을 이용하여 이미지로부터 얼굴을 검출하는 성능을 보다 향상시킬 수 있다. 특히, 얼굴 형태 정보를 기반하여 추출한 얼굴 후보 영역을 얼굴 모양 정보를 토대로 검증함으로써, 얼굴로 잘못 검출되는 오검출 영역을 감소시켜 오검출률을 감소시킬 수 있다.
도 1은 본 발명의 실시 예에 따른 얼굴 검출 및 검증 방법의 흐름도이다.
도 2는 본 발명의 실시 예에 따른 얼굴 후보 영역 검출 과정의 흐름도이다.
도 3은 본 발명의 실시 예에 따른 얼굴 모양 정렬 및 검증 과정의 흐름도이다.
도 4는 본 발명의 실시 예에 따른 얼굴 모양 정렬에 따라 획득되는 얼굴 모양의 가설을 나타낸 예시도이다.
도 5는 본 발명의 실시 예에 따른 얼굴 검출 장치의 구조도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이제 본 발명의 실시 예에 따른 얼굴 검출 및 검증 방법 그리고 그 장치에 대하여 설명한다.
본 발명의 실시 예에서는 얼굴 이미지로부터 획득한 형태 정보를 기반으로 얼굴을 검출하고, 얼굴 이미지로부터 획득한 모양 정보를 이용하여 얼굴 영역을 검증한다.
도 1은 본 발명의 실시 예에 따른 얼굴 검출 및 검증 방법의 흐름도이다.
본 발명의 실시 예에 따른 얼굴 검출 및 검증 장치(이하, 설명의 편의를 위하여, 얼굴 검출 장치라고 명명함)는 도 1에서와 같이, 입력되는 이미지로부터 얼굴 후보 영역을 검출한다(S100, S110). 이를 위하여, 입력 이미지를 스캔하여 얼굴 후보 영역을 검출한다.
도 2는 본 발명의 실시 예에 따른 얼굴 후보 영역 검출 과정의 흐름도이다.
첨부한 도 2에 도시되어 있듯이, 얼굴 검출 장치는 입력되는 이미지의 전체를 윈도우를 이용하여 스캔하면서 얼굴 검출 대상이 될 영역을 추출한다(S300). 그리고 입력 이미지로부터 추출된 영역을 미리 학습되어 저장되어 있는 얼굴 형판(Template)과 비교한다. 얼굴 형판은 다양한 얼굴에 대한 다양한 형태 기반 특징 정보를 이용하여 학습된 얼굴에 대한 표준적인 형판으로 복수개일 수 있다.
얼굴 이미지로부터 추출된 영역과 얼굴 형판을 비교하여 매칭률을 획득하고(S310), 획득한 매칭률을 미리 설정된 문턱치(TH1)와 비교하여 추출된 영역이 얼굴에 해당하는지를 판단한다(S320). 예를 들어, 추출된 영역에 대하여 획득한 매칭률이 문턱치(TH1)보다 높으면 추출된 영역이 얼굴 영역인 것으로 판단하고, 추출된 영역에 대하여 획득한 매칭률이 문턱치(TH1)보다 낮으면 추출된 영역이 얼굴 영역이 아닌 것으로 판단한다(S330). 이때 사용되는 문턱치가 높으면 FR(오거부율)이 높아지고, 문턱치가 낮으면 FA(오인증률)이 높아진다. 이에 따라 본 발명의 실시 예에서는 문턱치를 기존의 얼굴 검출 방법에 사용되는 문턱치보다 낮게 설정하여, 검출해야 할 얼굴을 놓치게 되는 오거부율(FR)이 낮아지도록 한다. 그리고 낮게 설정된 문턱치에 의하여 얼굴이 아닌 것을 검출하는 오인증률(FA)이 높아지는 것은 이후에 기술하는 모양 정보를 이용한 검증 과정을 이용하여 보상하여, 오인증률도 낮아지도록 한다.
얼굴 검출 장치는 윈도우를 이용하여 추출된 영역이 얼굴 영역인 것으로 판단되면 해당 추출된 영역을 후보 영역으로 선정하고, 입력 이미지에 대하여 스캔을 계속하여 수행하면서 스캔되어 추출되는 영역이 얼굴에 해당하는지를 판단하는 과정을 반복적으로 수행한다. 입력 이미지에 대하여 더 이상 스캔할 영역이 없으면 얼굴 후보 영역 검출을 종료한다(S340, S350).
위에 기술된 바와 같이 형태 정보를 기반으로 한 얼굴 형판을 이용한 얼굴 후보 영역 검출 과정이 종료되면, 입력 이미지로부터 스캔에 따른 얼굴 후보 영역들이 획득된다.
다음, 얼굴 검출 장치는 도 1에서와 같이, 획득한 얼굴 후보 영역에서의 영상을 모양 정보를 이용하여 정렬한다(S120). 이러한 과정을 얼굴 모양 정렬(face shape alignment)라고 할 수 있는데, 획득한 얼굴 후보 영역에 해당하는 영상에서 얼굴의 모양을 정렬하기 위하여, 얼굴의 모양을 이루는 요소 즉, 눈, 코, 입 등의 각 객체의 위치 및 모양을 영상에 맞춘다.
얼굴 검출 장치는 얼굴 모양 정렬을 통하여 얼굴 후보 영역에 대한 얼굴 모양 가설(Hypothesis)을 획득하고(S130), 획득한 얼굴 모양 가설을 토대로 얼굴 후보 영역이 얼굴 영역인지 비얼굴 영역인지를 검증한다(S140).
도 3은 본 발명의 실시 예에 따른 얼굴 모양 정렬 및 검증 과정의 흐름도이다.
얼굴 검출 장치는 얼굴 모양 정렬을 위하여, 도 3에서와 같이, 얼굴 후보 영역들에 대하여 특징점들(여기서 특징점은 얼굴의 모양을 이루는 각 객체에 관련된 점들로, 예를 들어, 오른쪽 눈의 바깥쪽 점, 왼쪽 눈썹 가운데 점 등일 수 있다)들을 적용하여 얼굴 모양을 정의한다. 즉, 설정 개수(예를 들어, 68개)의 특징점들을 기반으로 아다부스트(Adaboost), SVM(Support. Vector. Machine)의 방법을 이용하여 얼굴 후보 영역에서 각 특징점들이 나타날 확률지도를 산출한다(S500). 그리고 산출된 각 특징점의 확률지도로부터 나타날 수 있는 얼굴 모양의 가설을 생성한다. 얼굴 후보 영역에 대하여 산출된 확률 지도로부터 각 특징점들의 위치를 무작위적으로 선택한 다음에(S510), 선택된 특징점들을 가장 잘 나타낼 수 있는 얼굴 모양의 가설을 생성한다(S520). 얼굴 모양의 가설 생성시 사용되는 특징점들의 개수는 변경 가능하다.
도 4는 본 발명의 실시 예에 따른 얼굴 모양 정렬에 따라 획득되는 얼굴 모양의 가설을 나타낸 예시도이다.
위에 기술된 바와 같은, 입력 이미지에 대하여 형태 정보를 기반으로 도 4의 (a)와 같은 얼굴 후보 영역이 획득될 수 있다. 도 4의 (a)는 얼굴 후보 영역에 대하여 획득한 확률 지도로부터 선택된 특징점들을 연결하여 도 4의 (b)와 같은 얼굴 모양의 가설을 생성할 수 있다.
이와 같이 생성된 얼굴 모양의 가설이 얼굴 후보 영역의 얼굴 영상에 어느 정도 부합되는지를 검증하기 위하여, 얼굴 검출 장치는 얼굴 모양의 가설과 얼굴 후보 영역에 대응하는 영상(이는 검출 영상이라고도 명명할 수 있음)의 정합도를 측정한다(S530).
본 발명의 실시 예에서는 얼굴 모양의 가설과 얼굴 후보 영역의 검출 영상의 정합도를 산출하기 위하여, 전체 특징점의 개수 대비 아웃라이어(outlier)의 개수를 사용한다. 정합도는 다음과 같이 나타낼 수 있다.
Figure 112013076019731-pat00001
아웃 라이어는 특징점들을 기반으로 하는 객체 인식에서 인라이어(inlier) 즉, 정합점이 아닌 부정합점을 나타낸다. 얼굴 모양의 가설을 형성하는 특징점들에 대하여 각각 적합성을 산출하고, 미리 설정된 값 이상의 적합성을 가지는 특징점들을 정합점으로 분류하고, 미리 설정된 값보다 작은 적합성을 가지는 특징점들은 부정합점으로 분류될 수 있다. 정합점들은 얼굴 모양의 가설에서 현재 영상에서 보인다고 판단되는 얼굴 특징점들(눈 끝점, 입술 오른쪽 가장자리, 눈썹 윗점 등)을 나타내는 부분으로, 얼굴 모양의 가설을 지지하는 특징점들을 의미한다.
가설의 지지 여부를 판단하는 적합성은 영상에서 특징 반응(Feature Response)로부터 검출된 특징점들과 각 특징점들에 해당하는 얼굴 모양의 가설 사이의 거리 값으로 측정된다. 적합성, 즉, 거리가 주어진 값보다 작으면 정합점이 되고, 거리가 주어진 값보다 크면 부정합점으로 판단한다.
특징점들에 대한 적합성을 토대로 아웃 라이어들을 확인하고, 확인된 아웃 라이어들의 개수와 전체 특징점들의 개수를 토대로 위의 수학식 1과 같이, 얼굴 후보 영역에 대한 적합도를 산출할 수 있다.
위에 기술된 수학식 1과는 달리, 하기와 같은 수학식 2를 토대로 본 발명의 실시 예에 따른 얼굴 모양의 가설과 얼굴 후보 영역의 검출 영상의 정합도를 산출할 수 있다.
Figure 112013076019731-pat00002
정합도를 산출하는 다른 방법은 적합성들의 중간값(Median)을 사용하는 것이다. 각 특징점과 얼굴 모양의 가설간의 적합성을 측정한 후에 측정된 값의 중간값이 미리 설정된 값보다 작으면, 얼굴 모양의 가설이 검출 영상과 일치하는 것으로 판단하고, 크면 얼굴 모양의 가설이 검출 영상과 불일치 하는 것으로 판단할 수 있다.
여기서 중간값은 적합성들을 작은 순으로 나열하였을 때, 가운데에 위치하는 값을 나타낸다. 예를 들어 특징점들이 눈 끝점, 입술 오른쪽 가장자리, 눈썹 윗점이라고 할 때, 얼굴 후보 영역의 검출 영상의 눈 끝점과 얼굴 모양의 가설에 대응하는 눈 끝점 사이의 제1 거리, 얼굴 후보 영역의 검출 영상의 입술 오른쪽 가장 자리와 얼굴 모양의 가설에 대응하는 입술 오른쪽 가장 자리 사이의 제2 거리, 얼굴 후보 영역의 검출 영상의 눈썹 윗점과 얼굴 모양의 가설에 대응하는 눈썹 윗점 사이의 제3 거리인 적합성들이 획득된다고 하자. 이 경우, 제1 거리, 제2 거리, 제3 거리 중에서 가운데에 위치하는 값을 적합성들의 중간값이라고 한다. 예를 들어, 설명의 편의상 총 5개의 적합성들이 획득되고, 각 적합성들에 대응하는 거리값들이 0.1, 0.2, 0.3, 0.5, 0.9라고 할 때, 0.3이 적합성들의 중간값이 된다.
이외에도, AAM(Active Appearance Model), CLM(Constraint Local Model), BTSM(Bayesian Tangent Shape Model), ASM(Active Shape Model)등과 같은　얼굴 정렬 방법을 기반으로, 각 특징점들에 대한 적합성을 산출할 수 있다.
이후, 얼굴 검출 장치는 얼굴 후보 영역에 대하여 얼굴 모양 정렬 후 산출된 적합도와 미리 설정된 적합도 문턱치와 비교한다(S540). 비교 결과, 산출된 적합도가 적합도 문턱치 이상이면 얼굴 후보 영역으로부터 생성된 얼굴 모양의 가설이 얼굴 영상인 것으로 판단한다(S550). 즉, 얼굴 후보 영역이 얼굴 영역인 것으로 판단한다.
한편 비교 결과, 산출된 적합도가 적합도 문턱치 보다 낮으면 얼굴 후보 영역으로부터 생성된 얼굴 모양의 가설이 얼굴이 아닌 것으로 판단한다. 이러한 경우에는 다시 단계(S510)로 복귀하여 특징점들을 토대로 한 얼굴 모양 가설을 다시 재생성하고 적합도를 산출하는 과정을 다시 수행할 수 있다. 한편, 검증할 얼굴 모양의 가설이 있는 경우에, 위와 같이 얼굴 모양 가설 생성 및 적합도 산출 과정이 반복적으로 수행될 수 있다(S560). 이 경우, 얼굴 모양 가설 생성 및 적합도 산출 과정의 수행 횟수가 미리 설정된 최대 반복 회수 이내인 경우에 검증할 얼굴 모양의 가설이 있는 것으로 판단하고, 얼굴 모양 가설 생성 및 적합도 산출 과정의 수행 횟수가 미리 설정된 최대 반복 회수보다 많은 경우에, 검증할 얼굴 모양의 가설이 없는 것으로 판단할 수 있다.
한편, 얼굴 후보 영역에 대하여 검증할 얼굴 모양의 가설이 없는 경우에는 생성된 얼굴 모양의 가설이 얼굴 영상이 아닌 것으로 판단한다. 즉, 얼굴 후보 영역이 비얼굴 영역인 것으로 판단한다(S570).
이러한 얼굴 검출 및 검증 과정을 통하여, 형태 정보를 기반으로 한 얼굴 후보 영역 검출시 오거부율이 낮아지고 오검출률이 높아지더라도, 모양 정보를 이용한 얼굴 모양의 가설에 대한 얼굴 영상의 적합도 판별 과정에 따라, 얼굴로 잘못 인식되는 오검출 영역이 검증되면서 걸러진다. 그러므로 최종적으로 얼굴 검출에 있어서, 오검부율이 높아지면서 오검출률은 낮아지게 된다.
도 5는 본 발명의 실시 예에 따른 얼굴 검출 장치의 구조를 나타낸 도이다.
첨부한 도 5에서와 같이, 본 발명의 실시 예에 따른 얼굴 검출 장치(100)는 얼굴 후보 영역 검출부(110), 얼굴 모양 정렬부(120), 그리고 검증부(130)를 포함한다.
얼굴 후보 영역 검출부(110)는 입력 이미지를 스캔하여 얼굴 후보 영역을 검출한다. 구체적으로, 스캔되어 추출된 영역을 미리 학습되어 저장되어 있는 얼굴 형판과 비교하여 매칭률을 획득하고, 획득한 매칭률이 미리 설정된 문턱치(TH1) 보다 높으면 추출된 영역이 얼굴 영역인 것으로 판단한다. 이러한 과정을 통하여 얼굴 후보 영역을 검출한다.
얼굴 모양 정렬부(120)는 얼굴 후보 영역에 해당하는 영상을 얼굴 모양으로 정렬한다. 이를 위하여, 얼굴 모양 정렬부(120)는 얼굴의 모양을 이루는 요소 즉, 눈, 코, 입 등의 각 객체에 대응하는 설정 개수의 특징점들을 얼굴 후보 영역에 적용시켜 각 특징점들이 나타날 확률지도를 산출하는 확률 지도 산출부(121), 산출된 각 특징점의 확률지도로부터 각 특징점들의 위치를 무작위적으로 선택하고 선택한 특징점들을 연결하여 나타낼 수 있는 얼굴 모양의 가설(Hypothesis)을 생성하는 얼굴 모양 가설 생성부(122)를 포함한다.
검증부(130)는 얼굴 후보 영역이 얼굴 영역인지를 검증한다. 이를 위하여, 생성된 얼굴 모양의 가설과 얼굴 후보 영역에 대응하는 영상의 정합도를 산출하는 정합도 산출부(131), 그리고 산출된 정합도와 미리 설정된 정합도 문턱치를 비교하여 얼굴 후보 영역이 얼굴 영역인지를 검증하는 얼굴 검증부(132)를 포함한다.
정합도 산출부(131)는 얼굴 모양의 가설에 사용된 전체 특징점들의 개수와 아웃라이어의 개수를 사용하여 정합도를 산출할 수 있다. 또한 정합도 산출부(131)는 적합성의 중간값을 사용하여 정합도를 산출할 수 있다.
이러한 방법 및 장치는 얼굴 검출이 요구되는 다양한 환경(스마트폰, 출입인증 시스템, 랩탑, 카메라 등)에서 더 높은 신뢰성으로 얼굴 검출을 수행할 수 있다.
이상에서 설명한 본 발명의 실시 예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예에 따른 방법 및 그 시스템의 구성에 대응하는 기능을 실행시킬 수 있는 프로그램 또는 그 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.

Claims (13)

  1. 입력되는 이미지로부터 얼굴 후보 영역을 검출하는 단계;
    상기 얼굴 후보 영역을 얼굴 모양 정렬을 수행하여 얼굴 모양의 가설(Hypothesis)을 생성하는 단계;
    상기 얼굴 모양의 가설이 상기 얼굴 후보 영역의 영상에 어느 정도 부합되는지를 나타내는 정합도를 산출하는 단계; 및
    상기 산출된 정합도를 토대로 상기 얼굴 후보 영역이 얼굴 영역인지를 검증하는 단계
    를 포함하고,
    상기 얼굴 모양의 가설을 생성하는 단계는
    얼굴 모양을 이루는 객체에 대응하는 특징점들이 상기 얼굴 후보 영역에 발생할 확률을 나타내는 확률지도로부터 특징점들을 선택하고, 선택된 특징점들을 토대로 얼굴 모양의 가설을 생성하는, 얼굴 검출 및 검증 방법.
  2. 제1항에 있어서
    상기 얼굴 모양의 가설을 생성하는 단계는
    얼굴 모양을 이루는 객체에 대응하는 특징점들이 상기 얼굴 후보 영역에 발생할 확률지도를 산출하는 단계;
    상기 확률지도로부터 특징점들을 무작위로 선택하는 단계; 및
    상기 선택된 특징점들을 토대로 얼굴 모양의 가설을 생성하는 단계
    를 포함하는, 얼굴 검출 및 검증 방법.
  3. 제1항에 있어서
    상기 정합도를 산출하는 단계에서 상기 정합도는 상기 얼굴 모양의 가설을 형성하는 전체 특징점들의 개수와 아웃 라이어(outlier)의 개수를 토대로 산출되는, 얼굴 검출 및 검증 방법.
  4. 제3항에 있어서
    상기 정합도를 산출하는 단계는
    상기 얼굴 모양의 가설을 형성하는 특징점들에 대하여 각각 적합성을 산출하는 단계;
    상기 산출된 적합성의 값이 미리 설정된 값보다 낮은 값을 가지는 특징점들을 아웃 라이어로 판단하는 단계; 및
    상기 전체 특징점들의 개수를 상기 아웃 라이어들의 개수로 나누어서 상기 정합도를 산출하는 단계
    를 포함하는, 얼굴 검출 및 검증 방법.
  5. 제1항에 있어서
    상기 정합도를 산출하는 단계는
    상기 얼굴 모양의 가설을 형성하는 특징점들에 대하여 각각 적합성을 산출하는 단계; 및
    상기 적합성들의 값들 중에서 중간값을 토대로 상기 정합도를 산출하는 단계
    를 포함하는, 얼굴 검출 및 검증 방법.
  6. 제4항 또는 제5항에 있어서
    상기 특징점의 적합성은 특징점과 상기 얼굴 모양의 가설에서 상기 특징점에 대응하는 점까지의 거리를 나타내는, 얼굴 검출 및 검증 방법.
  7. 제1항에 있어서
    상기 검증하는 단계는 상기 산출된 정합도와 미리 설정된 정합도 문턱치보다 큰 경우에 상기 얼굴 후보 영역이 얼굴 영역인 것으로 판단하는, 얼굴 검출 및 검증 방법.
  8. 제1항에 있어서
    상기 얼굴 후보 영역을 검출하는 단계는
    상기 입력되는 이미지를 스캔하여 영역을 추출하는 단계;
    상기 추출된 영역을 미리 학습되어 저장되어 있는 얼굴 형판과 비교하여 매칭률을 획득하는 단계;
    상기 획득한 매칭률이 미리 설정된 문턱치 보다 크면 추출된 영역이 얼굴 후보 영역인 것으로 판단하는 단계; 및
    상기 획득한 매칭률이 미리 설정된 문턱치 보다 작으면 추출된 영역이 얼굴 후보 영역이 아닌 것으로 판단하는 단계
    를 포함하는, 얼굴 검출 및 검증 방법.
  9. 입력되는 이미지로부터 얼굴 후보 영역을 검출하는 얼굴 후보 영역 검출부;
    상기 얼굴 후보 영역을 얼굴 모양 정렬을 수행하여 얼굴 모양의 가설(Hypothesis)을 생성하는 얼굴 모양 정렬부; 및
    상기 얼굴 모양의 가설을 토대로 상기 얼굴 후보 영역이 얼굴 영역인지를 검증하는 검증부를 포함하고,
    상기 얼굴 모양 정렬부는 얼굴 모양을 이루는 객체에 대응하는 특징점들이 상기 얼굴 후보 영역에 발생할 확률을 나타내는 확률지도로부터 특징점들을 선택하고, 선택된 특징점들을 토대로 얼굴 모양의 가설을 생성하는, 얼굴 검출 장치.
  10. 제9항에 있어서
    상기 얼굴 모양 정렬부는,
    얼굴의 모양을 이루는 요소 즉, 눈, 코, 입을 포함하는 각 객체에 대응하는 설정 개수의 특징점들을 상기 얼굴 후보 영역에 적용시켜 각 특징점들이 나타날 확률지도를 산출하는 확률 지도 산출부; 및
    상기 산출된 각 특징점의 확률지도로부터 각 특징점들의 위치를 무작위적으로 선택하고 선택한 특징점들을 연결하여 얼굴 모양의 가설을 생성하는 얼굴 모양 가설 생성부
    를 포함하는, 얼굴 검출 장치.
  11. 제9항에 있어서
    상기 검증부는
    상기 얼굴 모양의 가설과 상기 얼굴 후보 영역에 대응하는 영상의 정합도를 산출하는 정합도 산출부; 및
    상기 산출된 정합도와 미리 설정된 정합도 문턱치를 비교하여 얼굴 후보 영역이 얼굴 영역인지를 검증하는 얼굴 검증부
    를 포함하는, 얼굴 검출 장치.
  12. 제11항에 있어서
    상기 정합도 산출부는 상기 얼굴 모양의 가설을 형성하는 전체 특징점들의 개수를, 상기 특징점들 중에서 아웃 라이어로 판단되는 특징점들의 개수로 나누어서 상기 정합도를 산출하는, 얼굴 검출 장치.
  13. 제11항에 있어서
    상기 정합도 산출부는 상기 얼굴 모양의 가설을 형성하는 특징점들에 대하여 각각 적합성을 산출하고, 상기 적합성들의 값들 중에서 중간값을 상기 정합도로 사용하는, 얼굴 검출 장치.
KR1020130099192A 2013-08-21 2013-08-21 얼굴 검출 및 검증 방법 및 그 장치 KR101441106B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130099192A KR101441106B1 (ko) 2013-08-21 2013-08-21 얼굴 검출 및 검증 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130099192A KR101441106B1 (ko) 2013-08-21 2013-08-21 얼굴 검출 및 검증 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR101441106B1 true KR101441106B1 (ko) 2014-09-23

Family

ID=51760342

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130099192A KR101441106B1 (ko) 2013-08-21 2013-08-21 얼굴 검출 및 검증 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101441106B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188590A (zh) * 2019-04-09 2019-08-30 浙江工业大学 一种基于三维人脸模型的脸型分辨方法
KR102307288B1 (ko) * 2020-06-29 2021-09-30 주식회사 카카오뱅크 영상통화인증의 품질 관리 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130048088A (ko) * 2011-11-01 2013-05-09 주식회사 에스원 얼굴 인식 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130048088A (ko) * 2011-11-01 2013-05-09 주식회사 에스원 얼굴 인식 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110188590A (zh) * 2019-04-09 2019-08-30 浙江工业大学 一种基于三维人脸模型的脸型分辨方法
CN110188590B (zh) * 2019-04-09 2021-05-11 浙江工业大学 一种基于三维人脸模型的脸型分辨方法
KR102307288B1 (ko) * 2020-06-29 2021-09-30 주식회사 카카오뱅크 영상통화인증의 품질 관리 방법

Similar Documents

Publication Publication Date Title
CN108009528B (zh) 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质
CN111339990B (zh) 一种基于人脸特征动态更新的人脸识别系统和方法
JP3279913B2 (ja) 人物認証装置、特徴点抽出装置及び特徴点抽出方法
JP4946730B2 (ja) 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム
Spreeuwers Fast and accurate 3D face recognition: using registration to an intrinsic coordinate system and fusion of multiple region classifiers
US8472679B2 (en) Biometric information processing apparatus, biometric information processing method, and biometric information processing computer program
Boehnen et al. A fast multi-modal approach to facial feature detection
US20130243278A1 (en) Biological information processor
US9489561B2 (en) Method and system for estimating fingerprint pose
KR102554391B1 (ko) 홍채 인식 기반 사용자 인증 장치 및 방법
JP4351982B2 (ja) 個人認証方法、装置及びプログラム
KR100940902B1 (ko) 손가락 기하학 정보를 이용한 바이오 인식 방법
CN106663157A (zh) 用户认证方法、执行该方法的装置及存储该方法的记录介质
KR20150143304A (ko) 화상 인식 장치 및 화상 인식 장치에의 특징량 데이터 등록 방법
CN110414299A (zh) 一种基于计算机视觉的猴脸亲缘关系分析方法
US9904843B2 (en) Information processing device, information processing method, and program
US20200065564A1 (en) Method for determining pose and for identifying a three-dimensional view of a face
KR101101142B1 (ko) 비제한적 환경에서의 홍채 인식 시스템 및 방법
KR101441106B1 (ko) 얼굴 검출 및 검증 방법 및 그 장치
CN106156739A (zh) 一种基于脸部轮廓分析的证件照耳朵检测与提取方法
Jung et al. Fingerprint classification using the stochastic approach of ridge direction information
JP4775957B2 (ja) 顔検出装置
CN111079587A (zh) 人脸的识别方法、装置、计算机设备及可读存储介质
WO2023028947A1 (zh) 掌静脉非接触式三维建模方法、装置及认证方法
EP3076370B1 (en) Method and system for selecting optimum values for parameter set for disparity calculation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170901

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180830

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190902

Year of fee payment: 6