KR101420020B1 - 측면 얼굴 검출 방법 및 장치 - Google Patents

측면 얼굴 검출 방법 및 장치 Download PDF

Info

Publication number
KR101420020B1
KR101420020B1 KR1020120144512A KR20120144512A KR101420020B1 KR 101420020 B1 KR101420020 B1 KR 101420020B1 KR 1020120144512 A KR1020120144512 A KR 1020120144512A KR 20120144512 A KR20120144512 A KR 20120144512A KR 101420020 B1 KR101420020 B1 KR 101420020B1
Authority
KR
South Korea
Prior art keywords
image
local
side face
value
voting
Prior art date
Application number
KR1020120144512A
Other languages
English (en)
Other versions
KR20140076203A (ko
Inventor
장준수
김종열
도준형
Original Assignee
한국 한의학 연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국 한의학 연구원 filed Critical 한국 한의학 연구원
Priority to KR1020120144512A priority Critical patent/KR101420020B1/ko
Publication of KR20140076203A publication Critical patent/KR20140076203A/ko
Application granted granted Critical
Publication of KR101420020B1 publication Critical patent/KR101420020B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077—Measuring of profiles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Dentistry (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

피험자의 측면 얼굴에 대한 전체 영상을 검출하여 전체 영상 보팅(Voting) 값을 연산하고, 피험자의 측면 얼굴에 대한 하나 이상의 국부 영상을 검출하여 하나 이상의 국부 영상 보팅(Voting) 값을 연산한 후, 전체 영상 보팅 값과 하나 이상의 국부 영상 보팅 값을 분석하여 피험자의 측면 얼굴의 영상을 검출하는 측면 얼굴 검출 장치 및 방법을 제공한다.

Description

측면 얼굴 검출 방법 및 장치{METHOD AND APPARATUS FOR DETECTING PROFILE FACE}
본 발명의 실시예들은 입력된 정지 영상으로부터 측면 얼굴을 검출하는 장치 및 방법에 관한 것이다.
일반적인 얼굴 검출 방법은 얼굴과 얼굴이 아닌 클래스를 구분하는 분류기를 이용하여 통계 데이터를 학습하여, 입력된 영상을 통계 데이터와 비교 분석하여 얼굴을 검출하는 방법이다.
예를 들어, 통계 데이터로는 기준 윈도우 크기에 해당하는 다수의 얼굴 사진(포지티브 데이터(positive data))을 준비하고, 동일한 윈도우 크기의 얼굴이 아닌 다수의 사진(네거티브 데이터(negative data))을 준비한다.
포지티브 데이터는 정해진 규칙에 의해서 정규화가 잘 이루진 데이터가 바람직하며, 예를 들어, 기준 윈도우 내에서 얼굴의 위치와 크기 등이 정해진 규칙에 의해서 통일되는 것이 바람직하다. 한편, 네거티브 데이터는 규칙에 심하게 어긋나는 얼굴 사진 등이 포함될 수 있다.
통계적 학습을 사용하는 방법으로는 비올라(Viola)와 존스(Jones)에 의해서 제안된 적응 부스트(AdaBoost) 방법이 있으며, 상기 방법을 포함해서 다양한 변형된 특징 추출과 학습 방법에 의해서 분류기 학습을 수행할 수 있다.
얼굴 영상 검출 장치는 기준 윈도우 크기 영상 입력이 들어오면 전술한 분류기 학습이 완료된 영상 데이터와 비교 분석하여, 얼굴 영상인지 여부를 판단할 수 있다. 일반적으로 입력 영상은 기준 윈도우 크기가 아니며 높은 해상도의 영상인 경우가 대부분이므로, 얼굴의 크기 및 위치를 모르는 상황에서 얼굴 영상의 검출을 수행하여야 한다.
특히, 측면 얼굴 검출 방법은 정면 얼굴에 비해서 검출 방법이 많이 나와있지 않아, 통계 학습에 근거한 정면 얼굴 검출 방법을 측면 얼굴에 적용하는 실정이다.
정면 얼굴 검출 방법은 정규화된 얼굴 영상(얼굴 크기 및 눈, 코, 입 등의 위치가 기준 사각형 윈도우에 비슷하게 존재)을 가지고 학습하는데, 측면 얼굴 검출 방법은 정면 얼굴에 비해서 정규화시 정합(alignment) 오차가 큰 편이므로, 측면 얼굴에 대한 통계 데이터를 정규화하는데 어려움이 있다.
본 발명의 일실시예는 정확한 측면 얼굴을 검출하는 장치 및 방법을 제공한다.
본 발명의 일실시예는 정면과 측면 얼굴 측정으로부터 3차원 얼굴 모델을 생성하기 위한 검출 데이터를 제공한다.
본 발명의 일실시예는 입력 영상에 대한 팬(pan) 각도를 분석하여 정확한 측면 얼굴을 검출할 수 있는 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 측면 얼굴 검출 장치는 피험자의 측면 얼굴에 대한 전체 영상을 검출하여 전체 영상 보팅(Voting) 값을 연산하는 측면 얼굴 전체 검출부, 상기 피험자의 측면 얼굴에 대한 하나 이상의 국부 영상을 검출하여 하나 이상의 국부 영상 보팅(Voting) 값을 연산하는 하나 이상의 측면 얼굴 국부 검출부, 및 상기 전체 영상 보팅 값과 상기 하나 이상의 국부 영상 보팅 값을 분석하여 상기 피험자의 측면 얼굴의 영상을 검출하는 공간 해석부를 포함한다.
본 발명의 일측에 따르면, 상기 측면 얼굴 전체 검출부는 상기 전체 영상의 스케일 및 상기 전체 영상의 좌표를 기반으로 상기 전체 영상 보팅 값을 기록할 수 있다.
본 발명의 일측에 따르면, 상기 하나 이상의 측면 얼굴 국부 검출부는 상기 각각의 국부 영상의 스케일 및 상기 각각의 국부 영상의 좌표를 기반으로 상기 국부 영상 보팅 값을 기록할 수 있다.
본 발명의 일측에 따르면, 상기 공간 해석부는 상기 전체 영상과 상기 하나 이상의 국부 영상 중, 스케일이 동일한 전체 영상과 하나 이상의 국부 영상을 그룹화하여 하나 이상의 스케일 그룹에 포함시킬 수 있다.
본 발명의 일측에 따르면, 상기 공간 해석부는 상기 하나 이상의 스케일 그룹 별로, 상기 전체 영상의 좌표로부터 상기 하나 이상의 국부 영상의 좌표의 상대적 위치 평균 값을 연산할 수 있다.
본 발명의 일측에 따르면, 상기 공간 해석부는 상기 하나 이상의 스케일 그룹 별로, 상기 상대적 위치 평균 값을 기반으로 상기 각각의 국부 영상의 좌표를 상기 전체 영상의 좌표로 변환하여, 상기 각각의 국부 영상의 변환 좌표를 생성할 수 있다.
본 발명의 일측에 따르면, 상기 공간 해석부는 상기 하나 이상의 스케일 그룹 별로, 상기 각각의 국부 영상의 변환 좌표를 기반으로 상기 각각의 국부 영상 보팅 값을 상기 전체 영상 보팅 값에 대응하는 각각의 국부 영상 보팅 값으로 변환할 수 있다.
본 발명의 일측에 따르면, 상기 공간 해석부는 상기 하나 이상의 스케일 그룹 별로, 상기 전체 영상 보팅 값과 상기 변환된 각각의 국부 영상 보팅 값을 합산하여 합산 보팅 값을 연산할 수 있다.
본 발명의 일측에 따르면, 상기 공간 해석부는 상기 하나 이상의 스케일 그룹에 포함된 하나 이상의 합산 보팅 값 중, 기설정된 임계(threshold) 값보다 큰 합산 보팅 값을 선택하고, 상기 선택된 합산 보팅 값이 포함된 스케일 그룹의 전체 영상과 하나 이상의 국부 영상을 상기 측면 얼굴의 영상으로 검출할 수 있다.
본 발명의 일측에 따르면, 상기 공간 해석부는 상기 선택된 합산 보팅 값이 포함된 스케일 그룹의 스케일 및 좌표를 검출할 수 있다.
본 발명의 일측에 따르면, 상기 공간 해석부는 상기 각각의 국부 영상 보팅 값을 상기 전체 영상 보팅 값에 대응하는 각각의 국부 영상 보팅 값으로 변환하고, 상기 전체 영상 보팅 값과 상기 변환된 각각의 국부 영상 보팅 값을 합산하여 합산 보팅 값을 연산하며, 상기 합산 보팅 값이 기설정된 임계(threshold) 값보다 큰 경우, 상기 합산 보팅 값을 가진 하나 이상의 국부 영상을 상기 측면 얼굴의 영상으로 검출할 수 있다.
본 발명의 일측에 따르면, 상기 공간 해석부는 상기 선택된 합산 보팅 값을 가진 하나 이상의 국부 영상의 스케일 및 좌표를 검출할 수 있다.
본 발명의 일측에 따른 측면 얼굴 검출 장치는 상기 검출된 측면 얼굴에 대한 측면 각도를 추정하는 얼굴 영역 검출부를 더 포함할 수 있다.
본 발명의 일측에 따르면, 상기 측면 얼굴 전체 검출부는 상기 측면 얼굴에 대한 후보 영역을 탐색하고, 상기 탐색된 후보 영역에 대한 상기 전체 영상 보팅(Voting) 값을 연산하며, 상기 측면 얼굴 국부 검출부는 상기 탐색된 후보 영역에 대한 상기 하나 이상의 국부 영상 보팅 값을 연산할 수 있다.
본 발명의 일실시예에 따른 측면 얼굴 검출 방법은 피험자의 측면 얼굴에 대한 전체 영상을 검출하여 전체 영상 보팅(Voting) 값을 연산하는 단계, 상기 피험자의 측면 얼굴에 대한 하나 이상의 국부 영상을 검출하여 하나 이상의 국부 영상 보팅(Voting) 값을 연산하는 단계, 및 상기 전체 영상 보팅 값과 상기 하나 이상의 국부 영상 보팅 값을 분석하여 상기 피험자의 측면 얼굴의 영상을 검출하는 단계를 포함한다.
본 발명의 일실시예에 따르면 정확한 측면 얼굴을 검출하는 장치 및 방법을 제공할 수 있다.
본 발명의 일실시예에 따르면 정면과 측면 얼굴 측정으로부터 3차원 얼굴 모델을 생성하기 위한 검출 데이터를 제공할 수 있다.
본 발명의 일실시예에 따르면 입력 영상에 대한 팬(pan) 각도를 분석하여 정확한 측면 얼굴을 검출할 수 있다.
도 1은 본 발명의 일실시예에 따른 측면 얼굴 검출 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 일측에 따른 측면 얼굴의 전체 영상을 검출한 예를 도시한 도면이다.
도 3은 피라미드 영상 검출 방식에 따른 측면 얼굴 영상을 검출하는 예를 도시한 예이다.
도 4는 본 발명의 일측에 따른 측면 얼굴의 국부 영상을 검출한 예를 도시한 도면이다.
도 5는 본 발명의 일측에 따른 복수의 국부 영역을 검출한 예를 도시한 도면이다.
도 6은 본 발명의 일측에 따른 측면 얼굴 검출 공간을 해석하는 예를 도시한 도면이다.
도 7은 본 발명의 일측에 따른 얼굴 영역 검출부를 부가한 측면 얼굴 검출 장치의 구성을 도시한 블록도이다.
도 8은 본 발명의 다른 측면에 따른 측면 얼굴 검출 장치의 구성을 도시한 블록도이다.
도 9는 본 발명의 일실시예에 따른 측면 얼굴 검출 방법을 도시한 도면이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일실시예에 따른 측면 얼굴 검출 장치의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 측면 얼굴 검출 장치는 측면 얼굴 전체 검출부(110), 하나 이상의 측면 얼굴 국부 검출부(120), 및 공간 해석부(130)를 포함한다.
측면 얼굴 전체 검출부(110)는 피험자의 측면 얼굴에 대한 전체 영상을 검출하여 전체 영상 보팅(Voting) 값을 연산하며, 하나 이상의 측면 얼굴 국부 검출부(120)는 피험자의 측면 얼굴에 대한 하나 이상의 국부 영상을 검출하여 하나 이상의 국부 영상 보팅(Voting) 값을 연산한다. 공간 해석부(130)는 전체 영상 보팅 값과 하나 이상의 국부 영상 보팅 값을 분석하여 피험자의 측면 얼굴의 영상을 검출한다.
도 2는 본 발명의 일측에 따른 측면 얼굴의 전체 영상을 검출한 예를 도시한 도면이다.
도 1 및 도 2를 참조하면, 측면 얼굴 전체 검출부(110)는 전체 영상의 스케일 및 전체 영상의 좌표를 기반으로 전체 영상 보팅 값을 기록할 수 있다.
측면 얼굴 전체 검출부(110)는 포지티브 데이터로 정규화된 측면 얼굴 영상을 수집할 수 있으며, 네거티브 데이터로 측면 얼굴이 포함되지 않거나 정규화 조건을 만족시키지 못하는 측면 얼굴 영상을 수집할 수 있다.
측면 얼굴 전체 검출부(110)는 비올라-존스 애드부스터(Viola-Jones AdaBoost) 등의 다양한 학습 기법을 활용하여 영상 데이터를 학습할 수 있으며, 검출기 출력으로 이진값(0 또는 1) 또는 연속형 값을 전체 영상 보팅 값으로 기록하고, 입력 영상에서 측면 얼굴을 검출할 수 있다.
도 3은 피라미드 영상 검출 방식에 따른 측면 얼굴 영상을 검출하는 예를 도시한 예이다.
도 1 내지 도 3을 참조하면, 측면 얼굴 전체 검출부(110)는 측면 입력 영상을 피라미드 이미지를 만들어서, 각각의 스케일 영상(s1~sn)에 대한 검출기 출력 값을 보팅(voting) 공간에 기록할 수 있다. 예를 들어, 측면 얼굴 전체 검출부(110)는 s1 해상도가 640*480인 경우, 해당 보팅 공간도 640*480이고, 연산된 보팅 값을 640*480 공간에 기록할 수 있다.
측면 얼굴 전체 검출부(110)는 측면 얼굴을 검출하기 위한 s1 스케일의 윈도우(310)에서 좌표(x, y)(320) 대한 보팅 값은
Figure 112014025025418-pat00001
으로 표기할 수 있다. 측면 얼굴 전체 검출부(110)는 보팅을 수행하는 경우, (x, y) 좌표(320)를 현재 추출된 윈도우(310)의 기준점 좌표 p_pf로 표기할 수 있다.
도 4는 본 발명의 일측에 따른 측면 얼굴의 국부 영상을 검출한 예를 도시한 도면이다.
도 1 및 도 4를 참조하면, 하나 이상의 측면 얼굴 국부 검출부(120)는 각각의 국부 영상의 스케일 및 각각의 국부 영상의 좌표를 기반으로 국부 영상 보팅 값을 기록할 수 있다.
측면 얼굴 국부 검출부(120)는 포지티브 데이터로 귀 영역 등의 정규화된 측면 얼굴의 국부 영역 영상을 수집할 수 있으며, 네거티브 데이터로 국부 영역의 주변 영역들에 대한 영상을 수집할 수 있다.
측면 얼굴 국부 검출부(120)는 비올라-존스 애드부스터(Viola-Jones AdaBoost) 등의 다양한 학습 기법을 활용하여 영상 데이터를 학습할 수 있으며, 검출기 출력으로 이진값(0 또는 1) 또는 연속형 값을 하나 이상의 국부 영상 보팅 값으로 기록하고, 입력 영상에서 측면 얼굴을 검출할 수 있다.
측면 얼굴 국부 검출부(120)는 도 3에 도시된 바와 같이, 전체 영상의 좌표(410), 전체 영상의 윈도우(420), 국부 영상의 좌표(430), 및 국부 영상의 윈도우(440) 등을 분석하여 보팅 값을 연산할 수 있다.
측면 얼굴 국부 검출부(120)는 측면 입력 영상을 피라미드 이미지를 만들어서, 각각의 스케일 영상에 대한 검출기 출력 값을 보팅(voting) 공간에 기록할 수 있다. 예를 들어, 측면 얼굴 국부 검출부(120)는 국부 영역 검출에서 해당 스케일 s, 좌표 (x, y) 대한 보팅 값을
Figure 112012103397819-pat00002
와 같이 표기할 수 있다.
측면 얼굴 국부 검출부(120)는 눈 영역, 코 영역, 입 영역 등의 다양한 국부 영역에 대한 보팅 값을 기록할 수 있다.
예를 들어, 측면 얼굴 국부 검출부(120)는 첫번째 국부 영역에 대한 검출을 위하여
Figure 112012103397819-pat00003
와 같이 보팅 값을 기록할 수 있으며, 두번째 국부 영역에 대한 검출을 위하여
Figure 112012103397819-pat00004
와 같이 보팅 값을 기록할 수 있으며, m번째 국부 영역에 대한 검출을 위하여
Figure 112012103397819-pat00005
와 같이 보팅 값을 기록 할 수 있다.
본 발명의 일측에 따르면, 보팅을 수행하기 위한 (x, y) 좌표는 현재 추출된 국부 영역 윈도우의 기준점 좌표 p_l 을 사용할 수 있다.
도 5는 본 발명의 일측에 따른 복수의 국부 영역을 검출한 예를 도시한 도면이다.
도 1 및 도 5를 참조하면, 측면 얼굴 국부 검출부(120)는 국부 영역 학습을 위해서 포지티브 데이터로 원하는 대상 영역(510)을 선택할 수 있으며, 네거티브 데이터로 포지티브 데이터 획득 위치 주변의 영역들(520)을 획득할 수 있다.
예를 들어, 측면 얼굴 국부 검출부(120)는 국부 영역 학습을 위해서 포지티브 데이터로 귀 영역(510)을 선택할 수 있으며, 네거티브 데이터로 귀 부분이 포함될 수는 있으나 정합이 제대로 되지 않은 영역들(520)을 획득할 수 있다.
본 발명의 일측에 따른 측면 얼굴 검출 장치는 공간 해석부를 이용하여 전체 영상 보팅 값과 하나 이상의 국부 영상 보팅 값을 분석하여 피험자의 측면 얼굴의 영상을 검출한다.
도 6은 본 발명의 일측에 따른 측면 얼굴 검출 공간을 해석하는 예를 도시한 도면이다.
도 1 및 도 6을 참조하면, 공간 해석부(130)는 전체 영상과 하나 이상의 국부 영상 중, 스케일이 동일한 전체 영상과 하나 이상의 국부 영상을 그룹화하여 하나 이상의 스케일 그룹에 포함시킬 수 있다.
공간 해석부(130)는 하나 이상의 스케일 그룹 별로, 전체 영상의 좌표로부터 하나 이상의 국부 영상의 좌표의 상대적 위치 평균 값을 연산할 수 있다. 또한, 공간 해석부(130)는 하나 이상의 스케일 그룹 별로, 상대적 위치 평균 값을 기반으로 각각의 국부 영상의 좌표를 전체 영상의 좌표로 변환하여, 각각의 국부 영상의 변환 좌표를 생성할 수 있다.
공간 해석부(130)는 하나 이상의 스케일 그룹 별로, 각각의 국부 영상의 변환 좌표를 기반으로 각각의 국부 영상 보팅 값을 전체 영상 보팅 값에 대응하는 각각의 국부 영상 보팅 값으로 변환할 수 있다. 또한, 공간 해석부(130)는 하나 이상의 스케일 그룹 별로, 전체 영상 보팅 값과 변환된 각각의 국부 영상 보팅 값을 합산하여 합산 보팅 값을 연산할 수 있다.
공간 해석부(130)는 하나 이상의 스케일 그룹에 포함된 하나 이상의 합산 보팅 값 중, 기설정된 임계(threshold) 값보다 큰 합산 보팅 값을 선택하고, 선택된 합산 보팅 값이 포함된 스케일 그룹의 전체 영상과 하나 이상의 국부 영상을 측면 얼굴의 영상으로 검출할 수 있다. 이때, 공간 해석부(130)는 선택된 합산 보팅 값이 포함된 스케일 그룹의 스케일 및 좌표를 검출할 수 있다.
공간 해석부(130)는 복수의 보팅 값을 준비하고, 동일한 스케일에 대해서 보팅 값을 합산할 수 있다. 이때, 공간 해석부(130)는 학습 영상에서 측면 얼굴 전체 영역(620)의 좌표(610)에 대한 각각의 국부 영역(640)의 좌표(630)의 상대적 위치의 평균 값을 구할 수 있다.
공간 해석부(130)는 각각의 국부 영역(640)의 좌표(630)를 측면 얼굴 좌표로 변환할 수 있다(650). 측면 얼굴 국부 영역의 좌표(p_l)의 측면 얼굴 전체 영역의 좌표(p_pf)에 대한 상대적 위치를 (x_r1, y_r1)이라고 할 때,
Figure 112012103397819-pat00006
값을 하기 수학식 1과 같이 좌표 변환된 공간의 값
Figure 112012103397819-pat00007
로 변환할 수 있다.
Figure 112012103397819-pat00008
예를 들어, 공간 해석부(130)는 스케일 s에 대해서 측면 얼굴 및 1~m개의 국부영역의 보팅 값을 합산할 수 있으며, 최종적으로 합산된 합산 보팅 값은 하기 수학식 2와 같을 수 있다.
Figure 112012103397819-pat00009
공간 해석부(130)는 각각의 스케일이 대해서 보팅 값 합산을 한 후, 임계 값 보다 큰 값을 선택함으로써, 측면 얼굴을 검출할 수 있으며, 임계 값 보다 큰 값이 존재하는 (s, x, y)를 찾으면 얼굴의 크기 및 위치 정보를 알 수 있다.
본 발명의 일측에 따른 측면 얼굴 검출 장치는 측면 얼굴의 전체 영역에 대한 위치뿐만 아니라, 각각 국부 영역의 좌표를 변환하지 않고 보팅을 수행하여 각각의 국부 영역의 위치도 검출할 수 있다.
도 1을 다시 참조하면, 공간 해석부(130)는 각각의 국부 영상 보팅 값을 전체 영상 보팅 값에 대응하는 각각의 국부 영상 보팅 값으로 변환하고, 전체 영상 보팅 값과 변환된 각각의 국부 영상 보팅 값을 합산하여 합산 보팅 값을 연산하며, 합산 보팅 값이 기설정된 임계(threshold) 값보다 큰 경우, 합산 보팅 값을 가진 하나 이상의 국부 영상을 측면 얼굴의 영상으로 검출할 수 있다. 이때, 공간 해석부(130)는 선택된 합산 보팅 값을 가진 하나 이상의 국부 영상의 스케일 및 좌표를 검출할 수 있다.
한편, 측면 얼굴 국부 검출부를 의하여 검출되는 국부 영역의 윈도우 크기는 측면 얼굴 전체 검출부에 의하여 검출되는 전체 영역의 윈도우 크기보다 작지 않을 수 있다.
예를 들어, 측면 얼굴 전체 영역의 윈도우 크기가 20*20인 경우, 동일한 스케일에서 귀 영역 검출 윈도우 크기는 10*10 등으로 작게 설정 가능하나, 귀 영역 검출 윈도우 크기를 24*24 등과 같이 크게 설정하고 피라미드 이미지 레벨의 다른 스케일 영상에서 영상 검출을 적용한 후, 스케일을 보정할 수도 있다.
또한, 본 발명의 일측에 따른 측면 얼굴 검출 장치는 측면 얼굴이 팬(pan) 각도 90도인지 여부를 확인할 수도 있다.
도 7은 본 발명의 일측에 따른 얼굴 영역 검출부를 부가한 측면 얼굴 검출 장치의 구성을 도시한 블록도이다.
도 7을 참조하면, 본 발명의 일측에 따른 측면 얼굴 검출 장치는 공간 해석부(710)에 의하여 검출된 측면 얼굴에 대한 측면 각도를 추정하는 얼굴 영역 검출부(720)를 더 포함할 수 있다.
예를 들어, 측면 얼굴 검출 장치는 검출하고자 하는 측면 얼굴 영상이 70~80도 인 경우, 반대편 눈썹, 눈, 속눈썹 등이 보이는 등 눈 영역의 영상 특성이 다르게 표시될 수도 있다.
이러한 경우, 측면 얼굴 검출 장치는 전술한 검출 학습을 이용하여 90도 얼굴 영역에 대한 학습을 수행할 수 있다. 예를 들어, 측면 얼굴 검출 장치는 포지티브 데이터로 얼굴 영상이 90도인 경우 눈, 코, 입 등의 영역을 수집하고, 네거티브 데이터로 70~80도인 경우 눈, 코, 입 등의 영역을 수집할 수 있다. 얼굴 영역 검출부(720)는 측면 얼굴 검출이 되면 검출 위치에서 다시 90도 얼굴 영역에 대한 검출 결과를 적용하여 얼굴 영상이 90도인지 판단할 수 있다.
또한, 본 발명의 일측에 따른 측면 얼굴 검출 장치는 연산 시간 향상을 위해서 측면 얼굴 전체 검출부를 입력 영상에 적용한 후 후보 영역을 먼저 탐색하고, 후보 영역에서만 측면 얼굴의 각각의 측면 얼굴 국부 검출부를 적용하여 보팅 지도를 생성할 수도 있다.
도 8은 본 발명의 다른 측면에 따른 측면 얼굴 검출 장치의 구성을 도시한 블록도이다.
도 8을 참조하면, 본 발명의 다른 측면에 따른 측면 얼굴 검출 장치는 측면 얼굴 전체 검출부(810)를 이용하여 상기 측면 얼굴에 대한 후보 영역을 탐색하고, 상기 탐색된 후보 영역에 대한 상기 전체 영상 보팅(Voting) 값을 연산할 수 있으며, 측면 얼굴 국부 검출부(820)를 이용하여 상기 탐색된 후보 영역에 대한 상기 하나 이상의 국부 영상 보팅 값을 연산할 수 있다. 또한, 측면 얼굴 검출 장치는 공간 해석부(830)를 이용하여 전체 영상 보팅 값과 하나 이상의 국부 영상 보팅 값을 분석하여 피험자의 측면 얼굴의 영상을 검출할 수 있다.
이때, 본 발명의 일측에 따른 측면 얼굴 검출 장치는 측면 얼굴 전체 검출부와 측면 얼굴 국부 검출부의 보팅 결과를 종합하여, 측면 얼굴 및 국부 영역 검출 결과를 도출할 수 있다.
도 9는 본 발명의 일실시예에 따른 측면 얼굴 검출 방법을 도시한 도면이다.
도 9를 참조하면, 본 발명의 일실시예에 따른 측면 얼굴 검출 장치는 피험자의 측면 얼굴에 대한 전체 영상을 검출하여 전체 영상 보팅(Voting) 값을 연산한다(910).
본 발명의 일실시예에 따른 측면 얼굴 검출 장치는 피험자의 측면 얼굴에 대한 하나 이상의 국부 영상을 검출하여 하나 이상의 국부 영상 보팅(Voting) 값을 연산한다(920).
본 발명의 일실시예에 따른 측면 얼굴 검출 장치는 전체 영상 보팅 값과 하나 이상의 국부 영상 보팅 값을 분석하여 피험자의 측면 얼굴의 영상을 검출한다(930).
본 발명의 일실시예에 따른 측면 얼굴 검출 장치는 정확한 측면 얼굴을 검출할 수 있으며, 정면과 측면 얼굴 측정으로부터 3차원 얼굴 모델을 생성하기 위한 검출 데이터를 제공할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.　
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
110: 측면 얼굴 전체 검출부
120: 측면 얼굴 국부 검출부
130: 공간 해석부

Claims (22)

  1. 피험자의 측면 얼굴에 대한 전체 영상을 검출하여, 상기 전체 영상의 스케일 및 상기 전체 영상의 좌표를 기반으로, 이진값 또는 연속형 값으로 기록되는 전체 영상 보팅(Voting) 값을 연산하는 측면 얼굴 전체 검출부;
    상기 피험자의 측면 얼굴에 대한 하나 이상의 국부 영상을 검출하여, 상기 각각의 국부 영상의 스케일 및 상기 각각의 국부 영상의 좌표를 기반으로, 이진값 또는 연속형 값으로 기록되는 하나 이상의 국부 영상 보팅(Voting) 값을 연산하는 하나 이상의 측면 얼굴 국부 검출부; 및
    상기 전체 영상과 상기 하나 이상의 국부 영상 중, 스케일이 동일한 전체 영상과 하나 이상의 국부 영상을 그룹화하여 하나 이상의 스케일 그룹에 포함시키고, 상기 하나 이상의 스케일 그룹 별로, 상기 각각의 국부 영상 보팅 값을 상기 전체 영상 보팅 값에 대응하는 각각의 국부 영상 보팅 값으로 변환하고, 상기 전체 영상 보팅 값과 상기 변환된 각각의 국부 영상 보팅 값을 합산하여 하나 이상의 합산 보팅 값을 연산하며, 상기 하나 이상의 합산 보팅 값 중, 기설정된 임계(threshold) 값보다 큰 합산 보팅 값을 선택하고, 상기 선택된 합산 보팅 값이 포함된 스케일 그룹의 전체 영상과 하나 이상의 국부 영상을 상기 피험자의 측면 얼굴의 영상으로 검출하는 공간 해석부를 포함하는 측면 얼굴 검출 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 공간 해석부는,
    상기 하나 이상의 스케일 그룹 별로, 상기 전체 영상의 좌표로부터 상기 하나 이상의 국부 영상의 좌표의 상대적 위치 평균 값을 연산하는 측면 얼굴 검출 장치.
  6. 제5항에 있어서,
    상기 공간 해석부는,
    상기 하나 이상의 스케일 그룹 별로, 상기 상대적 위치 평균 값을 기반으로 상기 각각의 국부 영상의 좌표를 상기 전체 영상의 좌표로 변환하여, 상기 각각의 국부 영상의 변환 좌표를 생성하는 측면 얼굴 검출 장치.
  7. 제6항에 있어서,
    상기 공간 해석부는,
    상기 하나 이상의 스케일 그룹 별로, 상기 각각의 국부 영상의 변환 좌표를 기반으로 상기 각각의 국부 영상 보팅 값을 상기 전체 영상 보팅 값에 대응하는 각각의 국부 영상 보팅 값으로 변환하는 측면 얼굴 검출 장치.
  8. 제7항에 있어서,
    상기 공간 해석부는,
    상기 하나 이상의 스케일 그룹 별로, 상기 전체 영상 보팅 값과 상기 변환된 각각의 국부 영상 보팅 값을 합산하여 상기 합산 보팅 값을 연산하는 측면 얼굴 검출 장치.
  9. 삭제
  10. 제1항에 있어서,
    상기 공간 해석부는,
    상기 선택된 합산 보팅 값이 포함된 스케일 그룹의 스케일 및 좌표를 검출하는 측면 얼굴 검출 장치.
  11. 삭제
  12. 제1항에 있어서,
    상기 공간 해석부는,
    상기 선택된 합산 보팅 값을 가진 하나 이상의 국부 영상의 스케일 및 좌표를 검출하는 측면 얼굴 검출 장치.
  13. 제1항에 있어서,
    상기 검출된 측면 얼굴에 대한 측면 각도를 추정하는 얼굴 영역 검출부
    를 더 포함하는 측면 얼굴 검출 장치.
  14. 제1항에 있어서,
    상기 측면 얼굴 전체 검출부는 상기 측면 얼굴에 대한 후보 영역을 탐색하고, 상기 탐색된 후보 영역에 대한 상기 전체 영상 보팅(Voting) 값을 연산하며,
    상기 측면 얼굴 국부 검출부는 상기 탐색된 후보 영역에 대한 상기 하나 이상의 국부 영상 보팅 값을 연산하는 측면 얼굴 검출 장치.
  15. 피험자의 측면 얼굴에 대한 전체 영상을 검출하여, 상기 전체 영상의 스케일 및 상기 전체 영상의 좌표를 기반으로, 이진값 또는 연속형 값으로 기록되는 전체 영상 보팅(Voting) 값을 연산하는 단계;
    상기 피험자의 측면 얼굴에 대한 하나 이상의 국부 영상을 검출하여, 상기 각각의 국부 영상의 스케일 및 상기 각각의 국부 영상의 좌표를 기반으로, 이진값 또는 연속형 값으로 기록되는 하나 이상의 국부 영상 보팅(Voting) 값을 연산하는 단계;
    상기 전체 영상과 상기 하나 이상의 국부 영상 중, 스케일이 동일한 전체 영상과 하나 이상의 국부 영상을 그룹화하여 하나 이상의 스케일 그룹에 포함시키는 단계;
    상기 하나 이상의 스케일 그룹 별로, 상기 각각의 국부 영상 보팅 값을 상기 전체 영상 보팅 값에 대응하는 각각의 국부 영상 보팅 값으로 변환하는 단계;
    상기 전체 영상 보팅 값과 상기 변환된 각각의 국부 영상 보팅 값을 합산하여 하나 이상의 합산 보팅 값을 연산하는 단계;
    상기 하나 이상의 합산 보팅 값 중, 기설정된 임계(threshold) 값보다 큰 합산 보팅 값을 선택하는 단계; 및
    상기 선택된 합산 보팅 값이 포함된 스케일 그룹의 전체 영상과 하나 이상의 국부 영상을 상기 피험자의 측면 얼굴의 영상으로 검출하는 단계
    를 포함하는 측면 얼굴 검출 방법.
  16. 제15항에 있어서,
    상기 측면 얼굴의 영상을 검출하는 단계는,
    상기 하나 이상의 스케일 그룹 별로, 상기 전체 영상의 좌표로부터 상기 하나 이상의 국부 영상의 좌표의 상대적 위치 평균 값을 연산하는 단계; 및
    상기 하나 이상의 스케일 그룹 별로, 상기 상대적 위치 평균 값을 기반으로 상기 각각의 국부 영상의 좌표를 상기 전체 영상의 좌표로 변환하여, 상기 각각의 국부 영상의 변환 좌표를 생성하는 단계
    를 포함하는 측면 얼굴 검출 방법.
  17. 제16항에 있어서,
    상기 측면 얼굴의 영상을 검출하는 단계는,
    상기 선택된 합산 보팅 값이 포함된 스케일 그룹의 스케일 및 좌표를 검출하는 단계
    를 더 포함하는 측면 얼굴 검출 방법.
  18. 삭제
  19. 제15항에 있어서,
    상기 측면 얼굴의 영상을 검출하는 단계는,
    상기 선택된 합산 보팅 값을 가진 하나 이상의 국부 영상의 스케일 및 좌표를 검출하는 단계
    를 더 포함하는 측면 얼굴 검출 방법.
  20. 제15항에 있어서,
    상기 검출된 측면 얼굴에 대한 측면 각도를 추정하는 단계
    를 더 포함하는 측면 얼굴 검출 방법.
  21. 제15항에 있어서,
    상기 측면 얼굴에 대한 후보 영역을 탐색하는 단계;
    상기 탐색된 후보 영역에 대한 상기 전체 영상 보팅(Voting) 값을 연산하는 단계;
    상기 탐색된 후보 영역에 대한 상기 하나 이상의 국부 영상 보팅 값을 연산하는 단계
    를 더 포함하는 측면 얼굴 검출 방법.
  22. 제15항 내지 제17항 및 제19항 내지 제21항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020120144512A 2012-12-12 2012-12-12 측면 얼굴 검출 방법 및 장치 KR101420020B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120144512A KR101420020B1 (ko) 2012-12-12 2012-12-12 측면 얼굴 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120144512A KR101420020B1 (ko) 2012-12-12 2012-12-12 측면 얼굴 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140076203A KR20140076203A (ko) 2014-06-20
KR101420020B1 true KR101420020B1 (ko) 2014-07-17

Family

ID=51128591

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120144512A KR101420020B1 (ko) 2012-12-12 2012-12-12 측면 얼굴 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101420020B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6108437A (en) * 1997-11-14 2000-08-22 Seiko Epson Corporation Face recognition apparatus, method, system and computer readable medium thereof
JP2003141563A (ja) 2001-10-31 2003-05-16 Nippon Telegr & Teleph Corp <Ntt> 顔３次元コンピュータグラフィック生成方法、そのプログラム及び記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6108437A (en) * 1997-11-14 2000-08-22 Seiko Epson Corporation Face recognition apparatus, method, system and computer readable medium thereof
JP2003141563A (ja) 2001-10-31 2003-05-16 Nippon Telegr & Teleph Corp <Ntt> 顔３次元コンピュータグラフィック生成方法、そのプログラム及び記録媒体

Also Published As

Publication number Publication date
KR20140076203A (ko) 2014-06-20

Similar Documents

Publication Publication Date Title
US9098740B2 (en) Apparatus, method, and medium detecting object pose
TWI505200B (zh) 用於判定視訊中之一物件之部位及屬性的方法、系統、電腦程式產品及程序
JP6398979B2 (ja) 映像処理装置、映像処理方法および映像処理プログラム
US20110025834A1 (en) Method and apparatus of identifying human body posture
US9245206B2 (en) Image processing apparatus and image processing method
JP2014093023A (ja) 物体検出装置、物体検出方法及びプログラム
CN103514432A (zh) 人脸特征提取方法、设备和计算机程序产品
Holzer et al. Learning to efficiently detect repeatable interest points in depth data
US11763435B2 (en) Person verification device and method and non-transitory computer readable media
Wang et al. Face live detection method based on physiological motion analysis
KR100988326B1 (ko) 사용자 맞춤형 표정 인식 방법 및 장치
JP6287827B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN116958584B (zh) 关键点检测方法、回归模型的训练方法、装置及电子设备
KR20140104091A (ko) 깊이 영상을 이용하는 객체 인식 장치 및 그 장치를 이용한 방법
KR101991307B1 (ko) 다중 객체 추적을 위한 트랙렛의 특징 벡터 할당이 가능한 전자 장치 및 그 동작 방법
JP7383435B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2014032605A (ja) 画像認識装置、画像認識方法および画像認識プログラム
KR101420020B1 (ko) 측면 얼굴 검출 방법 및 장치
CN107066943B (zh) 一种人脸检测方法及装置
KR100865531B1 (ko) 전경 화소의 군집화에 의한 개별 보행인 분리 방법
CN105989339B (zh) 用于检测目标的方法和装置
US11967108B2 (en) Computer-readable recording medium storing position identification program, position identification method, and information processing apparatus
KR102663992B1 (ko) 비디오 분석을 통해 사람의 행동을 검출하는 딥러닝 기반의 행동 검출 모델을 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치
US20230377188A1 (en) Group specification apparatus, group specification method, and computer-readable recording medium
KR20240019030A (ko) 시선 방향을 검출하는 딥러닝 기반의 시선 방향 검출 모델을 학습하는 학습 방법 및 학습 장치, 이를 이용한 테스트 방법 및 테스트 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180704

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190708

Year of fee payment: 6