KR101133225B1 - 자세 추정을 이용한 얼굴 인식 시스템 및 방법 - Google Patents

자세 추정을 이용한 얼굴 인식 시스템 및 방법 Download PDF

Info

Publication number
KR101133225B1
KR101133225B1 KR1020100112882A KR20100112882A KR101133225B1 KR 101133225 B1 KR101133225 B1 KR 101133225B1 KR 1020100112882 A KR1020100112882 A KR 1020100112882A KR 20100112882 A KR20100112882 A KR 20100112882A KR 101133225 B1 KR101133225 B1 KR 101133225B1
Authority
KR
South Korea
Prior art keywords
face
posture
image
classifier
database
Prior art date
Application number
KR1020100112882A
Other languages
English (en)
Inventor
조성원
정선태
최선형
Original Assignee
홍익대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 홍익대학교 산학협력단 filed Critical 홍익대학교 산학협력단
Priority to KR1020100112882A priority Critical patent/KR101133225B1/ko
Application granted granted Critical
Publication of KR101133225B1 publication Critical patent/KR101133225B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 자세 추정을 이용한 얼굴 인식 시스템 및 방법에 관한 것으로서, 얼굴 이미지를 자세별로 그룹화하며, 각 그룹별로 구분된 얼굴 이미지를 저장하는 얼굴 등록 데이터베이스부; 인증 대상 이미지를 상기 얼굴 인식 시스템에 입력하는 인증 이미지 입력부; 상기 인증 이미지 입력부를 통하여 입력된 이미지로부터 얼굴과 동시에 자세를 추정하는 얼굴 검출부; 및 상기 얼굴 검출부를 통하여 검출된 이미지의 자세 정보에 기초하여 상기 얼굴 등록 데이터베이스부의 해당 자세에 속하는 그룹에 저장된 얼굴 등록 이미지와 입력 이미지의 유사도를 비교하여 얼굴 인증을 수행하는 얼굴 인증부를 포함하는 자세 추정을 이용한 얼굴 인식 시스템 및 방법이 제공된다.

Description

자세 추정을 이용한 얼굴 인식 시스템 및 방법 {System and Method for recognizing face using pose estimation}
본 발명은 자세 추정을 이용한 얼굴 인식 시스템 및 방법에 관한 것으로, 보다 상세하게는 데이터 등록 절차에서 자세의 구분에 따라 그룹별로 각각 데이터를 저장하고, 인증 부분의 속도 향상을 위해 얼굴 검출 시 입력 얼굴 이미지의 자세를 추정한 후, 그 자세에 따라 각 그룹별 데이터와 입력 이미지의 유사도를 비교하여 연산량을 줄임으로써 얼굴 인식 속도를 향상시킬 수 있는 자세 추정을 이용한 얼굴 인식 시스템 및 방법에 관한 것이다.
얼굴인식은 특정 센서에 접촉하지 않고 자연스럽게 얼굴을 기반으로 사람을 인식하기 때문에 매력적인 기술 중 하나이다. 얼굴 인식은 얼굴 검출, 자세 추정, 조명 처리, 얼굴 특징 추출 기술의 발전과 함께 그 성능이 향상되면서 점차적으로 그 사용이 확대되고 있다.
얼굴 검출은 주어진 영상에 존재하는 얼굴의 위치와 크기를 찾아내는 단계로, 얼굴 인식을 수행하기 위해 반드시 필요한 선행 단계이다. 정확한 얼굴 검출 없이는 안정적인 얼굴 인식을 수행할 수 없으므로, 얼굴 검출은 얼굴 인식 기술에 있어 매우 중요한 기술이다. 얼굴 검출은 얼굴과 비얼굴을 분류해 낼 수 있는 분류기(clsssifier)를 주어진 영상에 대해 다양한 위치와 크기를 찾는 과정이다. 얼굴을 검출하기 위해서는 분류기를 많은 횟수 적용하게 되므로, 검출에 있어 많은 시간이 소요 하였다. 또한 사람의 얼굴은 개인차이나, 안경과 같은 액세서리에 따라 변화하며, 특히 자세나 시점, 조명변화, 회전 등에 의해 다양한 변화를 가지므로 분류기의 복잡도는 매우 높다. 이러한 얼굴검출의 특성은 빠른 검출 속도 뿐아니라, 높은 검출율(detection rate)과 낮은 오검출율(false alarm rate)이라는 상충되는 과제도 안고 있다.
기존의 얼굴 검출의 연구들 중에서 속도와 검출 성능에서 가장 우수한 평가를 받고 있는 알고리즘은 아다부스트(AdaBoost)를 이용한 얼굴 검출 알고리즘이다. 아다부스트 알고리즘은 많은 특징 집합으로부터 약한 분류기(Weak classifier)를 구성하고 이를 선택적으로 조합하여 복잡한 패턴을 분류할 수 있는 강한 분류기(Strong classifier)를 학습하는 방법으로, 강한 분류기를 단계적(Cascade)으로 배열하여 얼굴 검출기를 생성한다. 하지만 검출된 얼굴은 다양한 자세와 액세서리를 포함한 포괄적인 얼굴 이미지이다. 이 경우 얼굴 인식 단계에서 자세와 조명에 따른 인식률의 현저한 저하와 연산량의 증대라는 문제점을 안고 있었다.
도 1을 참조하여 종래 기술에 따른 얼굴 인식 방법을 살펴보면, 우선 얼굴의 자세 구분없이 얼굴 데이터를 얼굴 인식 데이터베이스에 저장한다(S10). 얼굴 인증을 위한 입력 이미지로부터 얼굴을 검출하는 과정을 수행한다(S20). 그 다음에, 검출된 얼굴 데이터와 얼굴 인식 데이터베이스에 등록된 얼굴 데이터의 유사도를 비교하는 과정을 수행한다(S30). 오차범위 내에서 일치하는 데이터가 존재하는지 판단한다(S40). 판단 결과, 오차범위 내에서 일치하는 데이터가 존재하는 경우 얼굴 인증 판정을 내린다(S50).
종래 기술에 따르면, 얼굴 등록 이미지를 자세의 구분 없이 상, 하, 좌, 우, 정면의 5개 등록 데이터를 한 곳에 저장하고, 인증 시 입력 이미지와 등록 이미지 사이의 유사도를 측정하여 인증 여부를 판단하였다. 그 결과, 자세가 일치하지 않아 인증이 안 되는 이미지들과의 유사도 측정을 수행함으로써 연산량의 증대로 인하여 얼굴 인식 속도 저하는 물론 오검출율은 증가하는 문제점이 있었다.
본 발명은 상술한 종래의 문제점을 극복하기 위한 것으로서, 본 발명이 해결하고자 하는 과제는 데이터 등록 절차에서 자세의 구분에 따라 그룹별로 각각 데이터를 저장하고, 인증 부분의 속도 향상을 위해 얼굴 검출 시 입력 얼굴 이미지의 자세를 추정한 후, 그 자세에 따라 각 그룹별 데이터와 입력 이미지의 유사도를 비교하여 연산량을 줄임으로써 얼굴 인식 속도를 향상시킬 수 있는 자세 추정을 이용한 얼굴 인식 시스템 및 방법을 제공하기 위한 것이다.
본 발명의 예시적인 실시예에 따르면, 얼굴 이미지를 자세별로 그룹화하며, 각 그룹별로 얼굴 이미지를 구분하여 저장하는 단계; 얼굴 인식 대상 이미지를 입력하는 단계; 학습된 단계적 얼굴 검출기를 이용하여 입력된 이미지로부터 얼굴을 검출하는 단계; 얼굴 자세 추정을 위한 분류기를 선정하여 상기 단계적 얼굴 검출기에 추가하고, 상기 분류기를 이용하여 얼굴 자세를 추정하는 단계; 검출된 이미지의 얼굴 자세 정보에 기초하여 해당 자세에 속하는 그룹의 얼굴 데이터베이스에 저장된 얼굴 등록 이미지와 입력 이미지의 유사도를 비교하는 단계; 및 유사도가 오차 범위 이내인 얼굴 이미지가 존재하는지 판단하여 얼굴 인증을 수행하는 단계;를 포함하는 자세 추정을 이용한 얼굴 인식 방법이 제공된다.
상기 각 그룹별로 얼굴 이미지를 구분하여 저장하는 단계는, 상기 얼굴 이미지를 정면, 상측, 하측, 좌측 및 우측 얼굴 자세로 분류하여 그룹화하고, 각 그룹별로 구분된 얼굴 이미지를 해당 그룹이 저장될 데이터베이스에 구분하여 저장한다.
상기 단계적 얼굴 검출기는 하-웨이블릿 특징을 이용하여 제1 분류기를 구성하고, 상기 제1 분류기를 선택적으로 조합하여 상기 제1 분류기에 비해 상대적으로 복잡한 패턴을 분류할 수 있는 제2 분류기를 학습하고, 상기 학습된 제2 분류기를 단계적(Cascade)으로 배열하여 생성한다.
상기 얼굴 자세 추정을 위한 분류기를 선정하는 단계는, 각 자세별 얼굴 그룹을 선정하는 단계; 각 자세별 얼굴 이미지의 명암 계산값에 대한 데이터를 수집하는 단계; 각 자세별 얼굴 그룹의 마할라노비스 거리를 계산하는 단계; 및상기 마할라노비스 거리값을 비교하여 자세에 강인한 분류기를 선정하는 단계를 포함한다.
상기 선정된 분류기의 자세 구분율이 미리 설정된 임계값 보다 큰지 판단하는 단계; 및 판단 결과, 자세 구분율이 미리 설정된 임계값 보다 클 경우에는 선정된 분류기를 단계적 얼굴 검출기에 추가하여, 얼굴 검출 단계에서 얼굴 검출과 자세 추정을 동시에 수행하는 단계를 더 포함한다.
본 발명의 다른 측면에 따르면, 얼굴 이미지를 자세별로 그룹화하며, 각 그룹별로 구분된 얼굴 이미지를 저장하는 얼굴 등록 데이터베이스부; 인증 대상 이미지를 상기 얼굴 인식 시스템에 입력하는 인증 이미지 입력부; 상기 인증 이미지 입력부를 통하여 입력된 이미지로부터 얼굴과 동시에 자세를 추정하는 얼굴 검출부; 및 상기 얼굴 검출부를 통하여 검출된 이미지의 자세 정보에 기초하여 상기 얼굴 등록 데이터베이스부의 해당 자세에 속하는 그룹에 저장된 얼굴 등록 이미지와 입력 이미지의 유사도를 비교하여 얼굴 인증을 수행하는 얼굴 인증부를 포함한다.
상기 얼굴 등록 데이터베이스부는 정면 얼굴 이미지를 저장하는 정면 얼굴 데이터베이스; 상측 얼굴 이미지를 저장하는 상측 얼굴 데이터베이스; 하측 얼굴 이미지를 저장하는 하측 얼굴 데이터베이스; 좌측 얼굴 이미지를 저장하는 좌측 얼굴 데이터베이스; 및 우측 얼굴 이미지를 저장하는 우측 얼굴 데이터베이스로 구성된다.
상기 얼굴 검출부는 단계적 얼굴 검출기를 포함하며, 상기 단계적 얼굴 검출기는 하-웨이블릿 특징을 이용하여 제1 분류기를 구성하고, 상기 제1 분류기를 선택적으로 조합하여 상기 제1 분류기에 비해 상대적으로 복잡한 패턴을 분류할 수 있는 제2 분류기를 학습하고, 상기 학습된 제2 분류기를 단계적(Cascade)으로 배열하여 생성한다.
상기 단계적 얼굴 검출기는 얼굴 자세 추정을 위한 분류기를 포함하며, 상기 분류기는 각 자세별 얼굴 그룹의 마할라노비스 거리값을 비교하여 선정한다.
본 발명에 따르면, 등록 절차에서 자세의 구분에 따라 그룹별로 각각 데이터를 저장하고, 인증 부분의 속도 향상을 위해 얼굴 검출 시 선택된 분류기의 값을 이용하여 입력 얼굴 이미지의 자세를 추정한 후, 자세에 따라 인증여부를 비교할 그룹별 등록 데이터에서 등록 이미지와 입력 이미지의 유사도를 비교함 으로써 자세가 불일치하여 인증이 안 되는 이미지들과의 유사도 측정을 회피할 수 있게 된다. 그 결과 자세가 유사한 등록 이미지와의 유사도만을 연산함으로써 연산량이 크게 감소되고 얼굴 인식 속도가 크게 향상되는 효과를 얻을 수 있다.
도 1은 종래 기술에 따른 얼굴 인식 방법의 개략적인 흐름도이다.
도 2는 본 발명의 실시예에 따른 자세 추정을 이용한 얼굴 인식 시스템의 개략적인 기능 블록도이다.
도 3은 도 2에 도시된 얼굴 등록 데이터베이스부의 개략적인 구성도이다.
도 4는 본 발명의 실시예에 따른 자세 추정을 이용한 얼굴 인식 방법의 흐름도이다.
도 5는 자세에 강인한 약한 분류기를 선정하기 위한 과정을 나타낸 흐름도이다.
도 6은 마할라노비스 거리를 이용하여 선택된 약한 분류기가 표시된 사진이다.
도 7a 및 도 7b는 본 발명의 실험에 사용된 데이터베이스의 이미지이다.
도 8a 및 도 8b은 정면 얼굴 및 왼쪽 얼굴의 약한 분류기를 비교한 그래프이다.
도 9는 각 자세별 자세 추정률을 나타낸 표이다.
도 10은 본 발명에 따른 얼굴 인식 방법과 종래 기술에 따른 얼굴 인식 방법을 이용한 얼굴 인식 속도를 비교한 표이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대해 상세히 설명한다.
도 2는 본 발명의 실시예에 따른 자세 추정을 이용한 얼굴 인식 시스템의 개략적인 기능 블록도이며, 도 3은 도 2에 도시된 얼굴 등록 데이터베이스부의 개략적인 구성도이다.
도 2 및 도 3을 참조하면, 본 발명의 실시예에 따른 자세 추정을 이용한 얼굴 인식 시스템은 얼굴 등록 데이터베이스부(100), 인증 이미지 입력부(200), 얼굴 검출부(300), 얼굴 인증부(400) 및 제어부(500)를 포함한다. 얼굴 등록 데이터베이스부(100)는 정면 얼굴 데이터베이스(110), 상측 얼굴 데이터베이스(120), 하측 얼굴 데이터베이스(130), 좌측 얼굴 데이터베이스(140) 및 우측 얼굴 데이터베이스(150)를 포함한다.
얼굴 이미지 등록 단계에서 얼굴 이미지를 자세별로 그룹화하며, 각 그룹별로 구분된 얼굴 이미지가 얼굴 등록 데이터베이스부(100)에 저장된다. 본 실시예의 경우, 얼굴 이미지는 5개의 그룹 즉, 정면 얼굴, 상측 얼굴, 하측 얼굴, 좌측 얼굴 및 우측 얼굴로 구분되며, 구분된 얼굴 이미지는 해당 얼굴 데이터베이스가 각각 저장된다. 즉, 정면 얼굴 이미지는 정면 얼굴 데이터베이스(110)에 저장되고, 상측 얼굴 이미지는 상측 얼굴 데이터베이스(120)에 저장되고, 하측 얼굴 이미지는 하측 얼굴 데이터베이스(130)에 저장되고, 좌측 얼굴 이미지는 좌측 얼굴 데이터베이스(140)에 저장되고, 우측 얼굴 이미지는 우측 얼굴 데이터베이스(150)에 저장된다.
인증 이미지 입력부(200)는 인증 대상 이미지를 얼굴 인식 시스템에 입력하는 기능을 수행한다.
얼굴 검출부(300)는 인증 이미지 입력부(200)를 통하여 입력된 이미지로부터 얼굴을 검출하는 기능을 수행한다. 또한, 얼굴 검출시 선택된 분류기값을 이용하여 입력 이미지의 자세를 추정한다. 즉, 입력 이미지의 정면, 상측, 하측, 좌측 및 우측 여부를 판단한다.
얼굴 인증부(400)는 얼굴 검출부(300)를 통하여 검출된 이미지의 자세 정보에 기초하여 얼굴 등록 데이터베이스부(100)의 해당 자세에 속하는 그룹의 얼굴 데이터베이스에 저장된 얼굴 등록 이미지와 입력 이미지의 유사도를 비교하여 얼굴 인증을 수행한다.
도 4는 본 발명의 실시예에 따른 자세 추정을 이용한 얼굴 인식 방법의 흐름도이며, 도 5는 자세에 강인한 약한 분류기를 선정하기 위한 과정을 나타낸 흐름도이고, 도 6은 마할라노비스 거리를 이용하여 선택된 약한 분류기가 표시된 사진이다.
도 4를 참조하면, 우선 얼굴 이미지를 자세별로 그룹화하며, 각 그룹별로 얼굴 이미지를 구분하여 저장하는 과정을 수행한다(S110). 즉, 얼굴 이미지를 자세별로 그룹화한다. 본 실시예의 경우, 얼굴 이미지를 정면, 상측, 하측, 좌측 및 우측 총 5가지 자세로 분류하여 그룹화한다. 그리고 나서, 각 그룹별로 구분된 얼굴 이미지를 해당 그룹이 저장될 데이터베이스에 구분하여 저장한다.
그 다음에, 얼굴 인식 대상 이미지를 입력하는 과정을 수행한다(S120).
학습된 단계적 얼굴 검출기를 이용하여 입력된 이미지로부터 얼굴을 검출하는 과정을 수행한다(S130). 본 실시예에서는 아다부스트 알고리즘을 이용하여 단계적 얼굴 검출기를 구성한다. 우선, 하-웨이블릿 특징을 이용하여 약한 분류기(Weak classifier)를 구성하고, 이러한 약한 분류기를 선택적으로 조합하여 복잡한 패턴을 분류할 수 있는 강한 분류기(Strong classifier)를 학습하고, 학습된 강한 분류기를 단계적(Cascade)으로 배열하여 얼굴 검출기를 생성한다. 이렇체 생성된 단계적 얼굴 검출기를 이용하여 입력된 이미지로부터 얼굴을 검출하게 된다.
이를 보다 상세히 살펴보면, 하-웨이블렛 특징은 에지(edge)나 라인(line)을 표현하며, 두 개 혹은 그 이상의 사각형 영역으로 정의하였다. 즉, 주어진 하-웨이블렛 특징 값은 두 가지 사각형 영역(흑백)의 명암 값의 가중차(weighted subtraction)로 정의될 수 있다.
본 실시예에서 약한 분류기는 각 하-웨이블렛 특징 집합에 대한 가충차의 값에 대해 최적화된 문턱 값으로 얼굴/비얼굴을 분류하도록 설계하였다. 즉, 하-웨이블릿 특징에 대한 가중차의 값이 fj(x)일 때, 약한 분류기 hj(x)는 다음 식(1)과 같이 설계하였다. j는 문턱 값, pj는 polarity이다.
(식1)
Figure 112010074090634-pat00001
강한 분류기는 약한 분류기의 가중합으로 구성되며 아다부스트 알고리즘은 적절한 약한 분류기를 선택하고 이에 가중치를 부여하는 알고리즘이다. 아다부스트 알고리즘을 통해 얻은 강한 분류기 h(x)는 T개의 약한 분류기로 선택되었을 때, 다음 식 (2)과 같은 형태를 지닌다. αt는 학습을 통해 얻은 각 약한 분류기에 대한 가중치로, 각 약한 분류기가 가지는 에러에 반비례 하는 경향을 지닌다.
(식 2)
Figure 112010074090634-pat00002
본 실시예에서 단계별 얼굴 검출기는 학습된 강한 분류기를 단계적으로 적용함으로써 구성하였다. 입력 영상이 주어지면, 각 단계(stage)의 강한 분류기로 얼굴/비얼굴 분류를 하고, 각 단계의 강한 분류기는 앞 단계를 통과한 학습데이터들을 사용한다.
그리고 나서, 자세에 강인한 분류기를 선택하고, 선택된 분류기를 이용하여 얼굴 자세를 추정하는 과정을 수행한다(S140).
검출된 이미지의 얼굴 자세 정보에 기초하여 얼굴 등록 데이터베이스부의 해당 자세에 속하는 그룹의 얼굴 데이터베이스에 저장된 얼굴 등록 이미지와 입력 이미지의 유사도를 비교하는 과정을 수행한다(S150).
유사도가 오차 범위 이내인 얼굴 등록 이미지가 존재하는지 판단하여(S160), 존재하는 경우 얼굴 인증을 행한다(S170).
도 5를 참조하여 자세에 강인한 약한 분류기를 선정하기 위한 과정을 살펴보면, 우선 각 자세별 얼굴 그룹을 선정하는 과정을 수행한다(S141).
그 다음에 각 자세별 얼굴 이미지의 명암 계산값에 대한 데이터를 수집하는 과정을 수행한다(S142).
아다부스트 알고리즘을 통해 학습된 하-웨이블렛은 일반적으로 정면 얼굴 이미지만을 학습시키는 것이 아닌 상하좌우로 돌아간 얼굴 이미지를 함께 학습시킨다. 이렇게 학습된 하-웨이블렛은 정면 얼굴 및 회전된 얼굴도 얼굴 검출 시 검출해야 하므로 단계별 얼굴 검출기는 회전된 얼굴 이미지와 정면 얼굴이미지의 공통된 특징을 포함하고 있다고 할 수 있다. 그러나, 얼굴을 검출하는 공통된 특징이라도 정면과 각 자세에 따른 얼굴이미지의 명암 계산값은 다르기 때문에, 상기 S142 과정을 통하여 각 자세별 얼굴 이미지의 명암 계산값에 대한 데이터를 수집한다.
그리고 나서, 각 자세별 얼굴 그룹의 마할라노비스 거리를 계산하는 과정을 수행한다(S143). 얼굴 검출기 각각의 약한 분류기값을 비교하여(S144), 자세에 강인한 약한 분류기를 선정하는 과정을 수행한다(S145).
자세에 강인한 분류기를 선별하기 위해서는 두 자세(패턴)의 비유사도를 판단해야한다. 두 패턴 x와 y의 비유사도 d(x, y)를 측정하는 방법으로 유클리드 거리 ED와 마할라노비스 거리 MD가 있다.
두 패턴
Figure 112010074090634-pat00003
, 에 대한 유클리드 거리 (ED)는 아래 (식 3)과 같으며,
(식3) :
Figure 112010074090634-pat00004
패턴 x와 분산이 Σ 인 패턴 y와의 마할라노비스 거리 (MD)는 아래 (식 4)와 같다.
(식4) :
Figure 112010074090634-pat00005

여기서,
Figure 112010074090634-pat00006
는 공분산 행렬
Figure 112010074090634-pat00007
의 역행렬이다.
식 (3), (4)에서 dED는 두 패턴 벡터 사이의 거리를 나타내며, dMD는 한 포인트에서 어떤 분포를 이루고 있는 군집 중심 가지의 거리나 또는 두 분포의 중심간 거리를 나타낸다.
따라서, 두 분포의 분산구조를 변경시킬 경우, 두 중심의 유클리드 거리는 동일한 값을 갖는 반면, 마할라노비스 거리는 다른 값을 갖게 된다.
예를 들어, 두 개의 1차원 정규분포
Figure 112010074090634-pat00008
에서 분산이 서로 같으면
Figure 112010074090634-pat00009
, 유클리드 거리와 마할라노비스 거리는
Figure 112010074090634-pat00010
가 되지만, 두 패턴이 속한 분산이 서로 다를 경우
Figure 112010074090634-pat00011
에는
Figure 112010074090634-pat00012
가 하였다.
두 패턴 x, y의 상관성을 나타내는 비 유사도 측정법으로 두 점 사이의 기하거리만을 나타내는 유클리드 거리 보다는 분산구조를 고려하는 마할라노비스 거리가 효과적이다.
따라서, 본 실시예의 경우, 다양한 자세를 갖는 얼굴 이미지에 얼굴 검출기를 적용하여 각각 약한 분류기 값을 추출한 후, 각각 약한 분류기값의 분산과 평균을 구하여 이를 이용 마할라노비스 거리가 가장 먼 값을 갖는 분류기들을 자세에 강인한 약한 분류기로 선정하였다.
선정된 약한 분류기의 자세 구분율이 미리 설정된 임계값 보다 큰지 판단하는 과정을 수행한다(S146). 판단 결과, 자세 구분율이 미리 설정된 임계값 보다 클 경우에는 선정된 약한 분류기를 단계별 얼굴 검출기에 추가(S147)하여 얼굴 검출 단계에서 얼굴 검출과 자세 추정이 동시에 이루어지도록 한다.
한편, 자세 구분율이 미리 설정된 임계값 보다 작을 경우에는 S142 과정으로 복귀하여 위 과정을 반복 수행한다.
도 7a 및 도 7b는 본 발명의 실험에 사용된 데이터베이스의 이미지이며, 도 8a 및 도 8b은 정면 얼굴 및 왼쪽 얼굴의 약한 분류기를 비교한 그래프이며, 도 9는 각 자세별 자세 추정률을 나타낸 표이고, 도 10은 본 발명에 따른 얼굴 인식 방법과 종래 기술에 따른 얼굴 인식 방법을 이용한 얼굴 인식 속도를 비교한 표이다.
[실험예]
본 발명에 따른 실험을 수행하기 위해 PC 사양은 Intel(R) Core(TM)2 Duo E6750 2.66GHz, 2GB RAM 2.66GHz 이며, 실험에는 듀얼 코어중 하나의 CPU만을 이용하였다.
실험은 제안된 하-웨이블렛을 이용한 자세추정 방법의 개선된 성능을 테스트하기 위해, 검출된 얼굴 이미지를 인증에 사용하여 인증 과정에서 자세를 추정하는 방법 즉, 종래 기술에 따른 방법과 얼굴 검출시 자세의 정보를 포함하여 인증 과정에 사용함으로써 인증 과정에서 자세 추정을 생략하는 방법 즉, 본원 발명에 따른 방법과 비교하였다.
사용한 얼굴 데이터 베이스는 자세에 대한 얼굴검출과 인식을 사용 하는데 쓰이는 CMU PIE DataBase와 FEI Face Database를 이용 하였다. FEI Face Database는 정면 얼굴 이미지와 좌우 180도의 각도를 나누어 자세의 추정을 테스트하기 위해 제공된 얼굴 데이터베이스이다. 총 200명의 얼굴 데이터를 제공하고 있으며 실험에 사용된 데이터는 정면얼굴과 얼굴 검출이 허용하는 한계치인 좌우 30도까지의 이미지 총 5장을 좌우 테스트용으로 사용하였다.
CMU PIE Face Database는 총 41368장의 JPEG 포맷의 컬러 이미지로 640x480의 해상도로 68명의 인물에 대해, 13개의 자세 43개의 조명 조건, 4개의 표정으로 구성되어 있다. 실험에 사용된 이미지는 조명의 영향을 제외한 상하좌우 그리고 정면의 5개 이미지이며 특히 상하 이미지의 자세 구별을 위해 사용되었다.
실험 방법은 첫 번째, 좌우 자세 구분만을 테스트 하기위한 FEI FaceDatabase를 사용, 좌우 구별이 얼마나 잘 되는지 정면과 좌우 구별률을 테스트하는 실험과 두 번째, 5개의 표준 자세에 따른 입력이미지와의 L2 Norm 계산법에 의한 자세추정과 얼굴 검출 수행과 동시에 판별하는 자세 추정의 두 가지 경우를 비교하였다.
우선, 정면 얼굴과 좌우 자세 추정을 수행하기 FEI Face Database를 이용 100명의 이미지의 약한 분류기 값을 각각 구하고, 그에 따른 평균과 분산 값을 구하였다. 그 다음 마할라노비스 거리를 구하고 값이 큰 순서대로 정렬하여 좌우 자세에 민감한 약한 분류기를 각 자세별로 5개씩 선별하였다. 그 후 나머지 100명의 이미지에 대해 좌우 구별을 테스트 하였다.
다음으로 두 번째 실험을 위해 FEI Face Database를 이용하여 선택한 약한 분류기와 추가로 CMU PIE Face Database를 이용하여 상하를 구분하는 약한 분류기를 따로 선별하였고, 본 발명에서는 총 65사람 중 35사람을 이용 상하 자세에 민감한 약한 분류기를 선별하고 나머지 30사람을 테스트에 사용하였다.
[실험결과]
FEI Face Database를 이용한 정면 이미지와 왼쪽이미지의 약한 분류기를 비교한 그래프는 도 8a 및 도 8b에 도시된다. 가로축은 학습시킨 약한 분류기들을 번호 순서대로 나열한 것이고, 세로축은 각각의 약한 분류기들을 얼굴 이미지의 해당영역과 연산했을 때의 값이다. 약한 분류기의 값이 전체적인 범위가 10 배 이상 차이가 나는 것을 볼 수 있다. 이중에서 평균 0값에 치우친 약한 분류기가 아닌 마할라노비스 거리를 이용하여 큰 이질성을 가진 약한 분류기를 선택하였다.
이렇게 선정된 약한 분류기를 사용한 자세 추정률을 정리한 결과는 도 9에 도시된다. 도 9에 도시된 표를 참조하면, 정면 얼굴과 대비하여 상, 하 얼굴은 패턴의 변화가 적은 반면, 좌, 우 얼굴과 정면 얼굴 간에는 자세의 각도가 조금만 틀어져도 패턴의 변화가 많기 때문에 자세의 구별이 확연해짐을 알 수 있다.
도 10은 자세추정을 하지 않는 종래 기술에 따른 얼굴 인식 시스템의 인증시간과 본원 발명에 따라 자세추정을 적용한 얼굴인식 시스템의 인증시간을 비교한 결과가 도시된다. 실험값은 CMU Database 100장을 등록 후 인증에 걸리는 평균시간으로서, 본원 발명에 따르면 하-웨이블렛을 이용한 자세 추정의 결과가 얼굴검출과 동시에 수행됨으로써, 얼굴인식 시스템의 전체 연산량이 줄어들어 인증시간이 크게 단축됨을 알 수 있다.
이상에서 설명한 것은 본 발명에 따른 자세 추정을 이용한 얼굴 인식 시스템 및 방법의 예시적인 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이, 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.

Claims (9)

  1. 자세 추정을 이용한 얼굴 인식 방법에 있어서,
    얼굴 이미지를 자세별로 그룹화하며, 각 그룹별로 얼굴 이미지를 구분하여 저장하는 단계;
    얼굴 인식 대상 이미지를 입력하는 단계;
    학습된 단계적 얼굴 검출기를 이용하여 입력된 이미지로부터 얼굴을 검출하는 단계;
    얼굴 자세 추정을 위한 분류기를 선정하여 상기 단계적 얼굴 검출기에 추가하고, 상기 분류기를 이용하여 얼굴 자세를 추정하는 단계;
    검출된 이미지의 얼굴 자세 정보에 기초하여 해당 자세에 속하는 그룹의 얼굴 데이터베이스에 저장된 얼굴 등록 이미지와 입력 이미지의 유사도를 비교하는 단계; 및
    유사도가 오차 범위 이내인 얼굴 이미지가 존재하는지 판단하여 얼굴 인증을 수행하는 단계;를 포함하며,
    상기 단계적 얼굴 검출기는 하-웨이블릿 특징을 이용하여 제1 분류기를 구성하고, 상기 제1 분류기를 선택적으로 조합하여 상기 제1 분류기에 비해 상대적으로 복잡한 패턴을 분류할 수 있는 제2 분류기를 학습하고, 상기 학습된 제2 분류기를 단계적(Cascade)으로 배열하여 생성하는 것을 특징으로 하는 자세 추정을 이용한 얼굴 인식 방법.
  2. 제1항에 있어서,
    상기 각 그룹별로 얼굴 이미지를 구분하여 저장하는 단계는,
    상기 얼굴 이미지를 정면, 상측, 하측, 좌측 및 우측 얼굴 자세로 분류하여 그룹화하고, 각 그룹별로 구분된 얼굴 이미지를 해당 그룹이 저장될 데이터베이스에 구분하여 저장하는 것을 특징으로 하는 자세 추정을 이용한 얼굴 인식 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 얼굴 자세 추정을 위한 분류기를 선정하는 단계는,
    각 자세별 얼굴 그룹을 선정하는 단계;
    각 자세별 얼굴 이미지의 명암 계산값에 대한 데이터를 수집하는 단계;
    각 자세별 얼굴 그룹의 마할라노비스 거리를 계산하는 단계; 및
    상기 마할라노비스 거리값을 비교하여 자세에 강인한 분류기를 선정하는 단계를 포함하는 것을 특징으로 하는 자세 추정을 이용한 얼굴 인식 방법.
  5. 제4항에 있어서,
    상기 선정된 분류기의 자세 구분율이 미리 설정된 임계값 보다 큰지 판단하는 단계; 및
    판단 결과, 자세 구분율이 미리 설정된 임계값 보다 클 경우에는 선정된 분류기를 단계적 얼굴 검출기에 추가하여, 얼굴 검출 단계에서 얼굴 검출과 자세 추정을 동시에 수행하는 단계를 더 포함하는 것을 특징으로 하는 자세 추정을 이용한 얼굴 인식 방법.
  6. 자세 추정을 이용한 얼굴 인식 시스템에 있어서,
    얼굴 이미지를 자세별로 그룹화하며, 각 그룹별로 구분된 얼굴 이미지를 저장하는 얼굴 등록 데이터베이스부;
    인증 대상 이미지를 상기 얼굴 인식 시스템에 입력하는 인증 이미지 입력부;
    상기 인증 이미지 입력부를 통하여 입력된 이미지로부터 얼굴과 동시에 자세를 추정하는 얼굴 검출부; 및
    상기 얼굴 검출부를 통하여 검출된 이미지의 자세 정보에 기초하여 상기 얼굴 등록 데이터베이스부의 해당 자세에 속하는 그룹에 저장된 얼굴 등록 이미지와 입력 이미지의 유사도를 비교하여 얼굴 인증을 수행하는 얼굴 인증부를 포함하며,
    상기 얼굴 검출부는 단계적 얼굴 검출기를 포함하며, 상기 단계적 얼굴 검출기는 하-웨이블릿 특징을 이용하여 제1 분류기를 구성하고, 상기 제1 분류기를 선택적으로 조합하여 상기 제1 분류기에 비해 상대적으로 복잡한 패턴을 분류할 수 있는 제2 분류기를 학습하고, 상기 학습된 제2 분류기를 단계적(Cascade)으로 배열하여 생성하는 것을 특징으로 하는 자세 추정을 이용한 얼굴 인식 시스템.
  7. 제6항에 있어서,
    상기 얼굴 등록 데이터베이스부는,
    정면 얼굴 이미지를 저장하는 정면 얼굴 데이터베이스;
    상측 얼굴 이미지를 저장하는 상측 얼굴 데이터베이스;
    하측 얼굴 이미지를 저장하는 하측 얼굴 데이터베이스;
    좌측 얼굴 이미지를 저장하는 좌측 얼굴 데이터베이스; 및
    우측 얼굴 이미지를 저장하는 우측 얼굴 데이터베이스로 구성되는 것을 특징으로 하는 자세 추정을 이용한 얼굴 인식 시스템.
  8. 삭제
  9. 제6항에 있어서,
    상기 단계적 얼굴 검출기는 얼굴 자세 추정을 위한 분류기를 포함하며, 상기 얼굴 자세 추정을 위한 분류기는 각 자세별 얼굴 그룹의 마할라노비스 거리값을 비교하여 선정하는 것을 특징으로 하는 자세 추정을 이용한 얼굴 인식 시스템.
KR1020100112882A 2010-11-12 2010-11-12 자세 추정을 이용한 얼굴 인식 시스템 및 방법 KR101133225B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100112882A KR101133225B1 (ko) 2010-11-12 2010-11-12 자세 추정을 이용한 얼굴 인식 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100112882A KR101133225B1 (ko) 2010-11-12 2010-11-12 자세 추정을 이용한 얼굴 인식 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101133225B1 true KR101133225B1 (ko) 2012-04-05

Family

ID=46143243

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100112882A KR101133225B1 (ko) 2010-11-12 2010-11-12 자세 추정을 이용한 얼굴 인식 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101133225B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101464446B1 (ko) * 2013-10-07 2014-11-24 재단법인대구경북과학기술원 얼굴 인식과 자세 추정을 이용한 개인 인증 방법 및 그 장치
KR20160146861A (ko) * 2014-04-29 2016-12-21 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 얼굴 표정 추적
KR20220084859A (ko) * 2020-12-14 2022-06-21 주식회사 엘지씨엔에스 계속 사용 인증 방법, 장치 및 기록매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144755A (en) * 1996-10-11 2000-11-07 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Method and apparatus for determining poses
KR20040007000A (ko) * 2002-07-16 2004-01-24 삼성전자주식회사 얼굴 포즈 정보와 가중치 스키마를 이용한 얼굴 인식 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6144755A (en) * 1996-10-11 2000-11-07 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Method and apparatus for determining poses
KR20040007000A (ko) * 2002-07-16 2004-01-24 삼성전자주식회사 얼굴 포즈 정보와 가중치 스키마를 이용한 얼굴 인식 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101464446B1 (ko) * 2013-10-07 2014-11-24 재단법인대구경북과학기술원 얼굴 인식과 자세 추정을 이용한 개인 인증 방법 및 그 장치
KR20160146861A (ko) * 2014-04-29 2016-12-21 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 얼굴 표정 추적
KR102390781B1 (ko) * 2014-04-29 2022-04-25 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 얼굴 표정 추적
KR20220084859A (ko) * 2020-12-14 2022-06-21 주식회사 엘지씨엔에스 계속 사용 인증 방법, 장치 및 기록매체
WO2022131689A1 (ko) * 2020-12-14 2022-06-23 주식회사 엘지씨엔에스 계속 사용 인증 방법, 장치 및 기록매체
KR102413128B1 (ko) * 2020-12-14 2022-06-24 주식회사 엘지씨엔에스 계속 사용 인증 방법, 장치 및 기록매체

Similar Documents

Publication Publication Date Title
CN108319964B (zh) 一种基于混合特征和流形学习的火灾图像识别方法
Kim et al. Gaussian process regression flow for analysis of motion trajectories
WO2018219016A1 (zh) 一种人脸检测训练方法、装置及电子设备
Kuncheva et al. PCA feature extraction for change detection in multidimensional unlabeled data
CN111126482B (zh) 一种基于多分类器级联模型的遥感影像自动分类方法
CN102460508B (zh) 图像识别方法和图像识别设备
CN105205501B (zh) 一种多分类器联合的弱标注图像对象检测方法
CN105608441B (zh) 一种车型识别方法及系统
CN101558431A (zh) 脸认证设备
CN107909027A (zh) 一种具有遮挡处理的快速人体目标检测方法
CN108960142B (zh) 基于全局特征损失函数的行人再识别方法
CN110263712A (zh) 一种基于区域候选的粗精行人检测方法
CN111325237B (zh) 一种基于注意力交互机制的图像识别方法
CN109886284B (zh) 基于层次化聚类的欺诈检测方法及系统
CN103150546A (zh) 视频人脸识别方法和装置
CN103020602A (zh) 基于神经网络的人脸识别方法
CN107194413A (zh) 一种基于多特征融合的判别型级联外观模型的目标匹配方法
CN105608443B (zh) 一种多特征描述及局部决策加权的人脸识别方法
JP2014182754A (ja) 学習装置、学習方法及びプログラム
KR101133225B1 (ko) 자세 추정을 이용한 얼굴 인식 시스템 및 방법
Mitsui et al. Object detection by joint features based on two-stage boosting
Shi et al. Smoke detection based on dark channel and convolutional neural networks
Suheryadi et al. Spatio-temporal analysis for moving object detection under complex environment
Bijl A comparison of clustering algorithms for face clustering
Bouchrika et al. Cascaded hybrid wavelet network for hand gestures recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee