KR20110007418A - 얼굴 회전각 검출 방법 및 장치 - Google Patents

얼굴 회전각 검출 방법 및 장치 Download PDF

Info

Publication number
KR20110007418A
KR20110007418A KR1020090064930A KR20090064930A KR20110007418A KR 20110007418 A KR20110007418 A KR 20110007418A KR 1020090064930 A KR1020090064930 A KR 1020090064930A KR 20090064930 A KR20090064930 A KR 20090064930A KR 20110007418 A KR20110007418 A KR 20110007418A
Authority
KR
South Korea
Prior art keywords
face
image
rotation angle
region
detecting
Prior art date
Application number
KR1020090064930A
Other languages
English (en)
Other versions
KR101215751B1 (ko
Inventor
이성주
김재희
조재익
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020090064930A priority Critical patent/KR101215751B1/ko
Publication of KR20110007418A publication Critical patent/KR20110007418A/ko
Application granted granted Critical
Publication of KR101215751B1 publication Critical patent/KR101215751B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 실시예는 얼굴 회전각 검출 방법 및 장치에 관한 것이다.
본 발명의 실시예는 얼굴에 대한 영상을 검출하여 입력 영상을 생성하는 영상 검출기; 입력 영상으로부터 얼굴 영역을 검출하여 얼굴 영상을 생성하는 전처리기; 및 얼굴 영상의 수평 에지 및 수직 에지 중 하나 이상을 분석하여 추출되는 얼굴 특징을 기초로 얼굴에 대한 상하 회전각 및 좌우 회전각 중 하나 이상을 검출하는 회전각 검출기를 포함하는 것을 특징으로 하는 회전각 검출 장치를 제공한다.
본 발명의 실시예에 의하면, 복잡한 얼굴 특징들을 추출하여 회전각을 검출하는 방식보다 안정적으로 얼굴의 상하좌우의 회전각을 검출할 수 있다. 또한, 사람이 안경을 착용하거나 콧수염을 기르는 등의 방해물이 얼굴에 존재하는 경우에도, 얼굴의 상하 회전각을 더욱 정확하게 검출할 수 있다.
얼굴, 상하, 좌우, 회전각, 히스토그램, 평균, 표준편차, 경계선, 중심선

Description

얼굴 회전각 검출 방법 및 장치{Face Rotation Angle Detection Method and Apparatus}
본 발명의 실시예는 얼굴 회전각 검출 방법 및 장치에 관한 것이다. 더욱 상세하게는, 운전자 감시 시스템에서 필요로 하는 운전자의 시선 방향 유추 및 졸음 여부 판단에 사용되는 운전자 얼굴의 상하 및 좌우 회전각을 측정하는 장치와 방법에 관한 것이다.
최근 휴먼 머신 인터페이스(HMI: Human Machine Interface) 기술의 발달로 사람의 얼굴에 대한 영상을 처리하는 다양한 응용 시스템에 대한 관심이 고조되고 있다. 사람의 얼굴에 대한 영상을 처리하는 응용으로서는, 예를 들어 인물 사진의 자동 정렬, 유사한 방향성을 가지는 사람의 얼굴 찾기, 사람이 얼굴을 좌우 또는 상하로 의도적으로 움직이는 상황을 자동으로 인식하는 헤드 제스쳐(Head Gesture) 인식 등이 있을 수 있다.
특히, 헤드 제스쳐 인식에 관한 응용은 차량의 운전자 감시 시스템에 적용될 수 있는데, 차량을 운전하는 운전자의 시선 방향을 유추하여 운전자의 조향 의도를 파악하거나 운전자의 졸음 여부를 판단하는 등 유용하게 활용될 수 있다. 이와 같 이, 운전자 얼굴의 상하 좌우의 회전각을 측정하는 기술로서는 얼굴의 눈, 코, 입 등과 같은 구체적인 특징의 기하학적 위치 관계를 분석하는 방법(이하 '기하학적 위치 관계 분석 방법'이라 칭함)과 얼굴 영상의 블록별 방위(Orientation)를 분석하는 방법(이하 '블록별 방위 분석 방법'이라 칭함) 등이 이용될 수 있다.
기하학적 위치 관계 분석 방법은, 운전자의 얼굴이 상하로 회전함에 따라 눈, 코, 입, 이마선 등과 같은 얼굴의 특징들도 함께 이동할 때, 얼굴의 특징들의 위치 관계를 분석하여 얼굴의 좌우 및 상하 회전각을 측정한다. 블록별 방위 분석 방법은, 운전자의 얼굴이 상하, 좌우로 회전하면서 발생되는 회전각에 따라 변화하는 얼굴 영상의 블록별 방위 정보의 변화를 분석하여 얼굴의 상하 좌우의 회전각을 유추한다.
하지만, 기하학적 위치 관계 분석 방법은, 운전자가 안경을 착용하거나 콧수염을 기르거나 입을 움직이거나 이마선이 들어나지 않는 경우와 같은 경우에는, 얼굴의 특징들을 정확하게 검출하지 못하여 상하 회전각을 유추하는 정확도가 낮아지는 문제점이 있다. 또한, 블록별 방위 분석 방법은 기하학적 위치 관계 분석 방법과는 달리 얼굴의 구체적인 특징을 찾지 않아도 되어, 기하학적 위치 관계 분석 방법과 비교할 때 상대적으로 안정적인 장점이 있다. 하지만, 블록별 방위 분석 방법도 운전자가 안경을 착용하거나 콧수염을 기르거나 입을 움직이는 경우 등과 같은 경우에도 블록별 방위 정보가 변하여 얼굴의 상하 좌우의 회전각을 유추하는 정확도가 낮아지는 문제점이 있다.
전술한 문제점을 해결하기 위해 본 발명의 실시예는, 간단한 얼굴 특징을 이용하면서도 얼굴에 방해물이 있는 경우에도 얼굴의 상하 및 좌우의 회전각을 안정적이고 정확하게 검출하는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명의 실시예는, 얼굴에 대한 영상을 검출하여 입력 영상을 생성하는 영상 검출기; 입력 영상으로부터 얼굴 영역을 검출하여 얼굴 영상을 생성하는 전처리기; 및 얼굴 영상의 수평 에지 및 수직 에지 중 하나 이상을 분석하여 추출되는 얼굴 특징을 기초로 얼굴에 대한 상하 회전각 및 좌우 회전각 중 하나 이상을 검출하는 회전각 검출기를 포함하는 것을 특징으로 하는 회전각 검출 장치를 제공한다.
또한, 본 발명의 실시예의 다른 목적에 의하면, 얼굴에 대한 영상을 검출하여 입력 영상을 생성하는 단계; 입력 영상으로부터 얼굴 영역을 검출하여 얼굴 영상을 생성하는 단계; 얼굴 영상으로부터 수평 에지 영상을 추출하고 이진화하여 생성되는 이진화 영상으로부터 얻어지는 히스토그램의 평균 및 표준편차를 얼굴 특징으로 추출하는 단계; 및 얼굴 특징을 기초로 얼굴에 대한 상하 회전각을 검출하는 단계를 포함하는 것을 특징으로 하는 회전각 검출 방법을 제공한다.
또한, 본 발명의 또 다른 목적에 의하면, 얼굴에 대한 영상을 검출하여 입력 영상을 생성하는 단계;상기 입력 영상으로부터 얼굴 영역을 검출하여 얼굴 영상을 생성하는 단계; 얼굴 영상으로부터 수직 에지 영상을 추출하고 이진화하여 생성되 는 이진화 영상으로부터 얻어지는 얼굴의 좌우 경계선 및 중심선을 얼굴 특징으로 추출하는 단계; 및 얼굴 특징을 기초로 얼굴에 대한 좌우 회전각을 검출하는 단계를 포함하는 것을 특징으로 하는 회전각 검출 방법을 제공한다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 복잡한 얼굴 특징들을 추출하여 회전각을 검출하는 방식보다 안정적으로 얼굴의 상하좌우의 회전각을 검출할 수 있다. 또한, 사람이 안경을 착용하거나 콧수염을 기르는 등의 방해물이 얼굴에 존재하는 경우에도, 얼굴의 상하 회전각을 더욱 정확하게 검출할 수 있다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적 으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 얼굴 회전각 검출 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 얼굴 회전각 검출 장치(100)는 사람 얼굴의 상하좌우의 회전각을 검출하는 장치로서, 사람 얼굴을 촬영한 영상으로부터 얼굴이 상하좌우로 얼마만큼의 각도만큼 회전되는지를 검출하기 위한 장치이다. 얼굴 회전각 검출 장치(100)는 운전자 감시 시스템 등과 같이 얼굴에 대한 영상을 처리하는 다양한 응용에서 활용될 수 있다. 예를 들어, 얼굴 회전각 검출 장치(100)는 차량의 운전자의 시선을 감지하여 조향, 제동, 회피 등의 의도를 감지하거나 운전자의 졸음 등을 감지하여, 운전자가 편리하고 안전하게 운전하도록 보조하는 조향 시스템, 제동 시스템 등의 내부에 독립적인 하드웨어 컴퓨터 시스템으로 구현되거나 해당 시스템 내의 컴퓨터의 기록장치에 저장되는 소프트웨어를 구성하는 프로그램 모듈로서 구현될 수 있다.
이러한 얼굴 회전각 검출 장치(100)는 얼굴에 대한 영상을 검출하여 입력 영상(Input Image)을 생성하는 영상 검출기(Image Dectector, 110), 입력 영상으로부터 얼굴 영역(Face Region)을 검출하여 얼굴 영상(Face Image)을 생성하는 전처리기(Preprocessor, 120) 및 얼굴 영상의 수평 에지(Horizontal Edge) 및 수직 에지(Vertical Edge) 중 하나 이상을 분석하여 추출되는 얼굴 특징(Face Feature)을 기초로 얼굴에 대한 상하 회전각(Up-and-Down Rotation Angle) 및 좌우 회전 각(Right-and-Left Rotation Angle) 중 하나 이상을 검출하는 회전각 검출기(Rotation Angle Detector, 130)를 포함하여 구성될 수 있다. 이와 같은 얼굴 회전각 검출 장치(100)를 구성하는 구성 요소들은 각각이 컴퓨터 시스템을 가지는 독립적인 하드웨어로 구현될 수도 있지만 얼굴 회전각 검출 장치(100)라는 하드웨어에서 각 기능을 수행하는 프로그램 모듈로서 구현될 수도 있다.
영상 검출기(110)는 카메라 등과 같은 촬영 장치로 구현될 수 있으며, 사람의 얼굴을 촬영하고 촬영된 영상을 입력 영상으로서 생성하여 전처리기(120)로 출력한다. 이러한 영상 검출기(110)는 예를 들어, 차량의 계기판 부근과 같이, 촬영하고자 하는 사람의 얼굴을 아래쪽에서 촬영할 수 있도록 설치되어는 것이 바람직하다. 즉, 영상 검출기(110)는 사람의 얼굴의 전면의 수직 방향에서 소정의 각도만큼 아래에서 얼굴 방향을 바라보며 설치되는 것이 바람직하다.
전처리기(120)는 영상 검출기(110)로부터 입력되는 입력 영상으로부터 얼굴 영역 이외의 영역에서 발생하는 잡음(Noise)를 최소화하기 위해 얼굴 영역을 검출하여 얼굴 영상을 생성하는데, 아다부스트 알고리즘(Adaboost)과 적응적 템플릿 매칭(Adaptive Template Matching) 방법을 결합하여 입력 영상으로부터 얼굴 영역을 검출할 수 있다.
회전각 검출기(130)는 전처리기(120)로부터 입력되는 얼굴 영상으로부터 수평 에지 영상(Horizontal Edge Image)을 추출하고 이진화(Binarization)하여 생성되는 이진화 영상(Binarized Image)으로부터 얻어지는 히스토그램(Histogram)의 평균(Average) 및 표준편차(Standard Deviation)를 얼굴 특징으로 추출하고, 얼굴 특 징을 기초로(즉, 히스토그램의 평균 및 표준편차를 이용하여) 얼굴의 상하 회전각을 검출할 수 있다. 이때, 회전각 검출기(130)는 히스토그램의 평균 및 표준편차를 정면 얼굴에 대해 정규화(Regularization)하고 정규화된 히스토그램의 평균 및 표준편차를 이용하여 최종적인 얼굴의 상하 회전각을 검출할 수 있다.
또한, 회전각 검출기(130)는 전처리기(120)로부터 입력되는 얼굴 영상으로부터 수직 에지 영상(Vertical Edge Image)을 추출하고 이진화하여 생성되는 이진화 영상으로부터 얻어지는 얼굴의 좌우 경계선(Right-and-Left Border Line) 및 중심선(Center Line)을 얼굴 특징으로서 추출하고, 추출된 얼굴 특징을 기초로(즉, 추출된 얼굴의 좌우 경계선 및 중심선을 이용하여) 얼굴의 좌우 회전각을 검출할 수 있다.
이를 위해, 회전각 검출기(130)는 전처리기(120)로부터 입력되는 얼굴 영상을 기준 관심 지역으로 설정하고, 기준 관심 지역을 기초로 외곽 관심 지역과 중심 관심 지역을 설정하며, 외곽 관심 지역을 이진화하여 좌우 경계선을 검출하고, 중심 관심 지역을 이진화하여 중심선을 검출할 수 있다. 또한, 회전각 검출기(130)는 외곽 관심 지역을 좌 영역 및 우 영역으로 나누고 각 영역을 이진화하여 좌우 경계선을 검출할 수 있다. 여기서, 외곽 관심 지역은 기준 관심 지역을 상하좌우로 확장하여 설정될 수 있으며, 중심 관심 지역은 기준 관심 지역을 소정의 비율로 축소하여 설정될 수 있다.
또한, 회전각 검출기(130)는 수평 에지 영상 및 수직 에지 영상을 이진화할 때, 피타일 임계치(P-Tile Threshold)를 이용하여 이진화할 수 있다.
이하에서는 본 발명의 일 실시예에 따른 얼굴 회전각 검출 장치(100)가 차량의 운전자 감시 시스템 등과 같이 운전자의 시선 유추나 졸음 감시 등을 통해 조향이나 제동을 보조하는 운전 및 주차 보조 시스템에 장착되는 것으로 예를 들어, 본 발명의 일 실시예에 따른 얼굴 회전각 검출 방법을 설명한다. 다만, 이러한 예는 설명의 편의를 위한 것일 뿐, 본 발명의 일 실시예에 따른 얼굴 회전각 검출 장치(100)와 얼굴 회전각 검출 방법은 다른 다양한 응용에서도 적용될 수 있다.
도 2는 본 발명의 일 실시예에 따른 얼굴의 상하 회전각 검출 방법을 설명하기 위한 순서도이다.
얼굴 회전각 검출 장치(100)는 차량의 운전석 계기판 부근에 장착된 카메라 및 조명을 이용하여 운전자의 얼굴에 대한 영상을 검출하여 입력 영상을 생성한다(S210). 여기서, 영상을 검출하기 위한 카메라는 반드시 계기판 부근에 설치되어야 하는 것은 아니며 운전자의 얼굴의 아래쪽에서 얼굴 방향으로 설치되면 된다.
입력 영상에는 운전자의 얼굴 이외에도 창문이나 창문에 비치는 여러 배경도 나타나게 된다. 따라서, 입력 영상에서 얼굴이 나타내는 영역 즉, 얼굴 영역 이외의 영역에서 발생하는 잡음(즉, 창문이나 창문에 비치는 여러 배경들에 의한 영상)을 최소화하기 위해, 입력 영상으로부터 얼굴 영역을 추출하여 얼굴 영상을 생성한다(S220). 이와 같이, 입력 영상으로부터 얼굴 영역을 추출하기 위해, 얼굴 회전각 검출 장치(100)는 아다부스트 알고리즘과 적응적 템플릿 매칭 방법을 결합하여 사용할 수 있다.
아다부스트 알고리즘을 이용한 얼굴 영역 추출 과정을 예시적으로 나타낸 도 3을 참조하면, 아다부스트 알고리즘은 여러 개의 약한 분류기(Weak Classifier, F1, F2, …, FN , 310, 312, 314)를 조합하여 구성되는 강한 분류기(Strong Classifier)를 이용하여 얼굴을 검출하는 알고리즘이다. 여기서, 제 1 약한 분류기(F1, 310)는 입력 영상에서 얼굴로 유추되는 일부 영역의 영상(즉, 일부 영상)을 입력받아, 입력된 일부 영상이 얼굴과 약간이라도 유사하면 얼굴 영역의 영상(즉, 얼굴 영상)으로 인식하고, 전혀 얼굴이 아니라고 판단되면 얼굴 영역의 영상이 아닌 것(즉, 비얼굴 영상)으로 판단한다. FN은 F1에 비해 엄격하게 얼굴 여부를 판단하는 분류기이다. 즉, F1에 의해 얼굴 영상으로 인식된 영상은 F2에 의해 더 엄격한 판단 기준으로 얼굴과 유사한지 여부가 판단되며, 계속해서 얼굴 영상으로 판단되는 경우, F3, F4 등의 분류기를 통해 점점 더 엄격한 판단 기준에 따라 얼굴과 유사한지 여부가 판단되며, FN 분류기에서 가장 엄격한 판단 기준에 따라 얼굴과 유사한지 여부를 판단하여 최종적인 얼굴 영상을 추출한다.
템플릿 매칭 방법은 전체의 입력 영상에서 얼굴에 대한 템플릿을 이동시켜 가면서 영상 간 거리를 측정하여 거리가 가장 짧은 곳에 얼굴이 존재한다고 판단하는 방법이다. 적응적 템플릿 매칭 방법은 템플릿 매칭 방법과 같이 얼굴 영역을 판단하지만, 고정적인 얼굴에 대한 템플릿을 사용하는 것이 아니라 프레임마다 얼굴에 대한 템플릿을 업데이트하여 사용하는 방법이다. 적응적 템플릿 매칭 방법은 아다부스트에 비해 속도가 빠른 장점이 있지만, 정확한 템플릿이 먼저 존재해야 하는 문제점이 있다.
따라서, 본 발명의 일 실시예에서는 아다부스트를 이용하여 먼저 얼굴 영역을 찾고 찾아진 얼굴 영역의 영상을 얼굴에 대한 템플릿으로 설정하며, 이후에 입력되는 영상에서는 적응적 템플릿 매칭을 이용함으로써, 입력 영상에서 얼굴 영상을 추출한다. 또한, 템플릿 매칭을 수행할 때 한 번 매칭이 잘못되면 이후의 영상에서 계속적으로 오류(Error)가 전파(Propagation)되는 것을 방지하기 위해 리셋(Resaet) 함수를 두고, 리셋해야 할 경우에는 아다부스트로 얼굴을 검출하는 방식을 사용함으로써, 결과적으로 회전된 얼굴도 정확하고 빠르게 검출할 수 있다.
다시 도 2를 참조하면, 얼굴 회전각 검출 장치(100)는 생성된 얼굴 영상에서 수평 에지를 분석하여 추출되는 얼굴 특징을 기초로 얼굴의 상하 회전각을 검출한다(S230). 이를 위해, 얼굴 회전각 검출 장치(100)는 얼굴 영상으로부터 수평 에지 영상을 추출하고 이진화하여 생성되는 이진화 영상으로부터 얻어지는 히스토그램의 평균 및 표준편차를 얼굴 특징으로 추출하고, 추출된 얼굴 특징을 기초로 얼굴에 대한 상하 회전각을 검출할 수 있다.
본 발명의 일 실시예에 따른 얼굴의 상하 회전각을 검출하는 과정을 예시적으로 나타낸 도 4를 참조하면, 얼굴 회전각 검출 장치(100)는 4A에 나타낸 바와 같은 얼굴 영상을 소벨 마스크(Sobel Mask)와 같은 콘볼루션 마스크(Convolution Mask)를 이용하여 콘볼루션하여 수평 방향의 에지 영상인 수평 에지 영상을 획득하고 이진화하여, 4B에 나타낸 바와 같은 이진화 영상을 생성한다. 얼굴 회전각 검출 장치(100)는 4B에 나타낸 바와 같은 이진화 영상을 수평 방향으로 프로젝 션(Projection)하여 4B 및 4C에 나타낸 바와 같은 히스토그램을 구하고, 히스토그램의 정면 대비 평균과 표준편차의 변화량을 구하여 상하 회전각을 나타내는 비선형 함수의 입력 벡터를 구하고, 분류(Classification) 또는 회귀(Regression) 등을 이용하여 비선형 함수를 구하여 상하 회전각을 구하며, 상하 회전각을 정면에 대한 회전각으로 정규화하여 최종적인 얼굴의 상하 회전각을 구할 수 있다. 이하에서는 도 5 및 도 6을 통해 도 4를 통해 전술한 얼굴의 상하 회전각을 검출하는 과정을 상세히 설명한다.
단계 S220에서 전술한 바와 같이 얼굴 영상이 생성되면, 얼굴 회전각 검출 장치(100)는 얼굴 영상의 수평 방향 에지 영상인 수평 에지 영상을 구한다. 수평 에지 영상은 M×N 크기의 영상으로서, 수학식 1과 같이 수평 에지 영상
Figure 112009043320128-PAT00001
는 얼굴 영상
Figure 112009043320128-PAT00002
와 콘볼루션 마스크(Convolution Mask)
Figure 112009043320128-PAT00003
의 콘볼루션으로 얻을 수 있다.
Figure 112009043320128-PAT00004
수학식 1에서,
Figure 112009043320128-PAT00005
는 M×N 크기의 수평 에지 영상을 나타내며,
Figure 112009043320128-PAT00006
는 M×N 크기의 얼굴 영상을 나타내며,
Figure 112009043320128-PAT00007
은 M×N 크기의 콘볼루션 마스크를 나타내며,
Figure 112009043320128-PAT00008
이고,
Figure 112009043320128-PAT00009
이다. 또한, 콘볼루션 마스크
Figure 112009043320128-PAT00010
은 소벨 마스크(Sobel Mask), 프리윗 마스크(Prewitt Mask), 로버트 마스크(Roberts Mask)를 사용할 수 있다.
얼굴 회전각 검출 장치(100)는 수평 에지 영상을 피타일 임계치(P-Tile Threshold) 방법을 이용하여 이진화하여 이진화 영상
Figure 112009043320128-PAT00011
를 얻는다. 피타일 임계치 방법은 전체의 입력 영상에서 에지(Edge) 강도가 상위 P % 내에 드는 픽셀(Pixel)은 '1'의 값을 가지고, 나머지 픽셀들은 '0'의 값을 가지는 것으로 이진화한다.
피타일 임계치 방법을 이용하여 이진화 영상
Figure 112009043320128-PAT00012
가 얻어지면, 얼굴 회전각 검출 장치(100)는 이진화 영상을 수평 방향으로 프로젝션(Projection)하여 히스토그램
Figure 112009043320128-PAT00013
를 수학식 2와 같이 얻을 수 있다.
Figure 112009043320128-PAT00014
얼굴 회전각 검출 장치(100)는 수학식 2를 통해 얻어진 히스토그램의 평균
Figure 112009043320128-PAT00015
및 표준편차
Figure 112009043320128-PAT00016
를 각각 수학식 3과 수학식 4를 통해 구할 수 있다.
Figure 112009043320128-PAT00017
Figure 112009043320128-PAT00018
얼굴의 상하 회전 시의 수평 에지 영상의 이진화 영상의 변화를 예시적으로 나타낸 도 5를 참조하면, 운전자가 정면을 바라볼 때, 위쪽을 바라볼 때, 아래쪽을 바라볼 때, 각각에 대한 얼굴 특징의 변화를 알 수 있다. 5A, 5B 및 5C는 각각 운전자가 정면을 바라볼 때, 위쪽을 바라볼 때 및 아래쪽을 바라볼 때의 수평 에지 영상의 이진화 영상을 나타낸 것이다.
즉, 본 발명의 일 실시예에서는 카메라가 차량의 계기판 부근에 설치되어 카메라가 얼굴보다 아래쪽에 위치할 수 있으므로, 5B에 나타낸 바와 같이 얼굴이 위쪽으로 회전하는 경우 눈, 코, 입, 눈썹과 같은 얼굴 특징들이 위쪽으로 이동하면서 몰린다. 따라서, 얼굴이 위쪽으로 회전하는 경우, 히스토그램의 평균과 표준편차가 작아지는 특성이 있다. 반면, 5C에 나타낸 바와 같이 얼굴이 아래쪽을 회전할 경우 얼굴 특징들이 아래쪽으로 이동하면서 넓게 퍼지기 때문에, 히스토그램의 평균과 표준편차가 커지는 특성이 있다.
얼굴의 상하 회전 시에 대한 히스토그램의 평균 및 표준편차와 정면 대비 평균 및 표준편차를 예시적으로 나타낸 도 6을 참조하면, 전술한 바와 같이 얼굴의 상하 회전의 방향이 위쪽인지 또는 아래쪽인지 여부에 따른 히스토그램의 평균 및 표준편차와 정면 대비 평균 및 표준편차를 알 수 있다. 6A는 얼굴이 상하 방향으로 다양하게 회전된 경우의 입력 영상을 나타낸 것이고, 6B는 6A에 나타낸 각 경우에 대한 히스토그램의 평균과 표준편차를 나타낸 것이며, 6C는 6A에 나타낸 각 경우에 대한 히스토그램의 정면 대비 평균과 표준편차를 나타낸 것이다.
도 6을 통해, 얼굴의 회전 방향이 위쪽일수록 히스토그램의 평균 및 표준편차가 작아지고, 얼굴의 회전 방향이 아래쪽일수록 히스토그램의 평균 및 표준편차가 커짐을 알 수 있다. 따라서, 얼굴 회전각 검출 장치(100)는 히스토그램의 평균 및 표준편차의 변화량을 통해 얼굴의 상하 회전각을 유추할 수 있다.
하지만, 이러한 히스토그램의 평균 및 표준편차는 사람이 안경을 착용하거나 콧수염을 기르는 경우 등에는 수평 방향 에지에 의해 그 값이 달라질 수 있으며, 그에 따라 얼굴의 상하 회전각이 왜곡되어 유추될 수 있다. 이러한 문제점을 해결하기 위해, 얼굴 회전각 검출 장치(100)는 히스토그램의 평균
Figure 112009043320128-PAT00019
및 표준편차
Figure 112009043320128-PAT00020
에 정면 얼굴(즉, 상하 회전각이 '0°'인 경우)에서 구한 히스토그램의 평균
Figure 112009043320128-PAT00021
및 표준편차
Figure 112009043320128-PAT00022
를 빼줘서 정면 얼굴 대비 평균의 변화량 및 표준 편차의 변화량을 각각 수학식 5 및 수학식 6을 통해 구함으로써, 안경이나 콧수염 등 얼굴의 다른 방해물에 대한 영향을 정규화할 수 있다.
Figure 112009043320128-PAT00023
Figure 112009043320128-PAT00024
실제의 주행 환경에서는 운전자가 정면을 보고 있는 경우가 대부분이므로, 정면 얼굴에서의 평균
Figure 112009043320128-PAT00025
및 표준 편차
Figure 112009043320128-PAT00026
는 입력되는 영상의 프레임에서 구한 평균 및 표준 편차의 이동 평균(Moving Average)으로 구할 수 있다.
이와 같이, 정면 얼굴 대비 평균 및 표준편차의 변화량을 구하면, 상하 회전각을 구하기 위한 비선형 함수의 입력 벡터
Figure 112009043320128-PAT00027
를 수학식 7과 같이 구할 수 있다.
Figure 112009043320128-PAT00028
이때, 상하 회전각
Figure 112009043320128-PAT00029
와 입력 벡터
Figure 112009043320128-PAT00030
사이의 관계를 표현하는 비선형 함수
Figure 112009043320128-PAT00031
를 구하면, 상하 회전각
Figure 112009043320128-PAT00032
는 수학식 8을 통해 구할 수 있다.
만약, 상하 회전각이 이산적인 값이면, 비선형 함수
Figure 112009043320128-PAT00034
는 서포트 벡터 머신(Support Vector Machine)과 같은 분류(Classification) 방법으로 구해질 수 있으며, 상하 회전각이 연속적인 값이면, 비선형 함수
Figure 112009043320128-PAT00035
는 서포트 벡터 리그레션(Support Vector Regression)과 같은 회귀(Regression) 방법으로 구해질 수 있다. 최종적으로 운전자가 정면을 보고 있더라도 상하 회전각이 0°가 나오지 않을 수 있으므로, 정면일 때의 상하 회전각
Figure 112009043320128-PAT00036
을 일종의 오프셋(Offset)값으로 현재 상하 회전각에서 빼줘서 정규화하여 최종적인 상하 회전각
Figure 112009043320128-PAT00037
을 수학식 9를 통해 구해질 수 있다.
Figure 112009043320128-PAT00038
실제의 주행 환경에서는 운전자가 정면을 보고 있을 경우가 대부분이므로 정면일 때의 상하 회전각
Figure 112009043320128-PAT00039
은 상하 회전각
Figure 112009043320128-PAT00040
의 이동 평균으로 구해질 수 있다.
도 7은 본 발명의 일 실시예에 따른 얼굴의 상하 회전각 검출 방법을 설명하기 위한 순서도이다.
본 발명의 일 실시예에 따른 얼굴 회전각 검출 장치(100)는 얼굴의 좌우 회전각을 검출하기 위해, 얼굴에 대한 영상을 검출하여 입력 영상을 생성하고(S710), 입력 영상으로부터 얼굴 영역을 추출하여 얼굴 영상을 생성한다(S720). 단계 S710 및 단계 S720은 도 2를 통해 전술한 단계 S210 및 단계 S220과 동일 또는 유사하므로 상세한 설명은 생략한다.
얼굴 영상이 생성되면, 얼굴 회전각 검출 장치(100)는 얼굴 영상에서 수직 에지를 분석하여 추출되는 얼굴 특징을 기초로 얼굴의 좌우 회전각을 검출한다(S730). 이를 위해, 얼굴 회전각 검출 장치(100)는 얼굴 영상으로부터 수직 에지 영상을 추출하고 이진화하여 생성되는 이진화 영상으로부터 얻어지는 얼굴의 좌우 경계선 및 중심선을 얼굴 특징으로 추출하고, 추출된 얼굴 특징을 기초로 얼굴에 대한 좌우 회전각을 검출할 수 있다.
본 발명의 일 실시예에 따른 얼굴의 좌우 회전각을 검출하는 과정을 예시적으로 나타낸 도 8을 참조하면, 얼굴 회전각 검출 장치(100)는 8A에 나타낸 바와 같은 얼굴 영상에서 8B에 나타낸 바와 같이 관심 지역을 설정하여 8C에 나타낸 바와 같이 얼굴의 좌우 경계선 및 중심선을 얼굴 특징으로서 추출하고, 추출된 좌우 경계선 및 중심선을 원통 얼굴 모델에 적용하여 좌우 회전각을 구하고, 이를 정면 회전각으로 정규화하여 최종적인 좌우 회전각을 구한다. 이하에서는 도 9 내지 도 14를 통해 도 8을 통해 전술한 얼굴의 좌우 회전각을 검출하는 과정을 상세히 설명한 다.
얼굴 회전각 검출 장치(100)는 단계 S720에서 얼굴 영상을 생성하면, 얼굴 영상으로부터 얼굴의 좌우 경계선 및 중심선을 얼굴 특징으로서 추출하기 위한 관심 지역(ROI: Region of Interest)을 도 9와 같이 설정한다. 얼굴 특징을 추출하기 위해 설정된 관심 지역을 예시적으로 나타낸 도 9를 참조하면, 전체의 입력 영상에서 세 개의 관심 지역이 설정된다.
제 2 관심 지역은 얼굴 검출 결과를 통해 얻은 얼굴 영상의 얼굴 영역으로 설정된다. 제 1 관심 지역은 얼굴의 좌우 경계선을 찾기 위한 관심 지역으로서, 제 2 관심 지역 즉, 얼굴 검출 결과를 통해 얻은 얼굴 영상의 얼굴 영역을 상하좌우로 확장하여 설정된다. 제 3 관심 지역은 얼굴의 중심선을 찾기 위한 관심 지역으로서, 제 2 관심 지역을 소정의 비율로 축소하여 설정된다. 이때, 제 3 관심 지역은 도 10과 같이 설정될 수 있다. 이때, 회전된 얼굴에서도 얼굴의 코 영역을 찾기 위해, 제 3 관심 지역은 지난 프레임의 회전각에 따라 도 11과 같이 회전된 방향에 맞춰서 이동시킨 위치에 설정될 수 있다. 이와 같이, 관심 지역의 설정이 완료된 후, 얼굴 회전각 검출 장치(100)는 제 1 관심 지역의 영상을 수직 방향으로 에지 오퍼레이터(Edge Operator)로 처리한 후, 이진화하여 수직 에지 영상을 얻는다. 이때, 이진화는 피타일 임계치 방법이 사용될 수 있다.
한편, 낮과 같이 운전자 쪽의 창문에 강한 태양빛이 있는 경우 빛이 비치는 곳의 에지가 상대적으로 강하므로, 제 1 관심 지역의 영상 전체를 피타일 임계치 방법으로 이진화하는 경우, 빛이 비치지 않는 곳의 에지가 잘 나타나지 않는 문제 점이 있다. 이러한 문제점을 해결하기 위해, 얼굴 회전각 검출 장치(100)는 제 1 관심 지역을 좌 영역과 우 영역으로 나누고 나누어진 각 영역의 영상을 피타일 임계치 방법으로 이진화함으로써, 좌우의 에지가 모두 잘 검출되도록 할 수 있다.
소벨 필터링(Sbel Filtering)을 이용하여 얻어진 수직 에지 영상의 이진화 영상을 나타낸 도 12를 참조하면, 빛이 강하게 비치치 않는 곳의 에지가 잘 나타나지 않는 것을 알 수 있다. 12A는 제 1 관심 지역의 영상을 나타낸 것이고, 12C는 제 1 관심 지역의 영상 전체를 소벨 필터링을 통해 얻어진 수직 에지 영상의 이진 영상을 나타낸 것이다. 12C를 통해, 제 1 관심 지역의 영상 전체를 필터링하여 얻어진 수직 에지의 영상의 이진 영상에서는 빛이 강하게 비치는 곳의 에지가 잘 나타나지만, 빛이 강하게 비치지 않는 곳의 에지는 상대적으로 잘 나타나지 않는 것을 알 수 있다. 12B는 제 1 관심 지역의 영상의 수직 에지 영상을 나타낸 것이고, 12D는 12B에 나타낸 수직 에지 영상을 좌 영역과 우 영역으로 나누어 이진화한 이진화 영상을 나타낸 것이다. 12D를 통해, 제 1 관심 지역의 영상을 두 영역으로 나누어 이진화함으로써, 좌우의 에지가 모두 잘 나타남을 알 수 있다.
얼굴 회전각 검출 장치(100)는 전술한 바와 같이 얻어진 수직 에지 영상의 이진화 영상을 수직 방향으로 프로젝션하여 히스토그램을 얻고, 얻어진 히스토그램의 피크(Peak)로 좌우 경계선을 찾을 수 있으며, 제 3 관심 지역의 영상을 피타일 임계치 방법을 이용하여 얼굴의 콧구멍과 배경으로 이진화한 후 콧구멍의 x좌표 즉, 수평 좌표의 평균으로 얼굴의 중심선을 찾을 수 있다.
이와 같이, 얼굴의 좌우 경계선과 중심선이 얼굴 특징으로서 추출되면, 얼굴 회전각 검출 장치(100)는 도 13에 나타낸 바와 같은 원통 얼굴 모델에 얼굴 특징인 얼굴의 좌우 경계선과 중심선을 적용함으로써, 수학식 10과 같이 얼굴의 좌우 회전각을 검출할 수 있다.
Figure 112009043320128-PAT00041
수학식 10에서,
Figure 112009043320128-PAT00042
는 좌우 회전각을 나타내고, x r 은 우측 경계선의 좌표를 나타내며, x l 은 좌측 경계선의 좌표를 나타내며, x c 은 중심선의 좌표를 나타낸다.
사용자가 정면을 보고 있더라도 좌우 회전각이 0°가 되지 않을 수 있으므로, 최종적인 얼굴의 좌우 회전각은 정면을 보고 있을 때의 좌우 회전각을 일종의 오프셋값으로 현재의 좌우 회전각에서 빼줘서 정규화될 수 있다. 정면을 보고 있을 때의 좌우 회전각은 운전 중에 운전자들이 대부분 정면을 본다고 가정한 상태에서, 유추한 좌우 회전각이 -10° 내지 +10°일 때의 회전각들을 이동 평균하여 유추될 수 있다. 정면 회전각으로 정규화된 경우와 정규화되지 않은 경우의 히스토그램을 나타낸 도 14를 참조하면, 에스터메이티드 투루스(ET: Estimated Truth)에 따른 좌우 회전각과 그라운드 투루스(GT: Ground Truth)에 따른 좌우 회전각의 비교를 통해, 정규화된 경우의 에스터메이티드 투루스에 따른 좌우 회전각이 실제 좌우 회전각의 그라운드 투루스와 유사함을 확인할 수 있다.
이상에서 전술한 바와 같이, 본 발명의 일 실시예에 따르면, 얼굴의 좌우 경계선과 중심선, 히스토그램의 평균 및 표준편차의 변화량 등과 같은 간단한 얼굴 특징을 추출하여 얼굴의 상하 회전각과 좌우 회전각을 검출함으로써, 눈, 코, 입 등과 같은 복잡한 얼굴 특징들을 추출하여 회전각을 검출하는 방식보다 안정적으로 얼굴의 상하좌우의 회전각을 검출할 수 있다. 또한, 히스토그램의 평균 및 표준편차를 정면에서의 히스토그램의 평균 및 표준편차에 대해 정규화하여 그 변화량으로 상하 회전각을 검출함으로써, 사람이 안경을 착용하거나 콧수염을 기르는 등의 방해물이 얼굴에 존재하는 경우에도, 얼굴의 상하 회전각을 더욱 정확하게 검출할 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 얼굴 회전각 검출 장치를 간략하게 나타낸 블록 구성도,
도 2는 본 발명의 일 실시예에 따른 얼굴의 상하 회전각 검출 방법을 설명하기 위한 순서도,
도 3은 아다부스트 알고리즘을 이용한 얼굴 영역 추출 과정을 설명하기 위한 예시도,
도 4는 본 발명의 일 실시예에 따른 얼굴의 상하 회전각을 검출하는 과정을 설명하기 위한 예시도,
도 5는 얼굴의 상하 회전 시의 수평 에지 영상의 이진화 영상의 변화를 예시나타낸 예시도,
도 6은 얼굴의 상하 회전 시에 대한 히스토그램의 평균 및 표준편차와 정면 대비 평균 및 표준편차를 나타낸 예시도,
도 7은 본 발명의 일 실시예에 따른 얼굴의 상하 회전각 검출 방법을 설명하기 위한 순서도,
도 8은 본 발명의 일 실시예에 따른 얼굴의 좌우 회전각을 검출하는 과정을 설명하기 위한 예시도,
도 9는 본 발명의 일 실시예에 따라 얼굴의 좌우 경계선 및 중심선을 추출하기 위해 설정되는 관심 지역을 나타낸 예시도,
도 10은 본 발명의 일 실시예에 따라 제 3 관심 지역을 설정하는 모습을 나 타낸 예시도,
도 11은 본 발명의 일 실시예에 따라 회전 방향으로 바이어스된 제 3 관심 지역을 나타낸 예시도,
도 12는 본 발명의 일 실시예에 따라 소벨 필터링하여 얻어진 수직 에지 영상의 이진화 영상을 나타낸 예시도,
도 13은 본 발명의 일 실시예에 따른 원통 얼굴 모델을 나타낸 예시도,
도 14는 본 발명의 일 실시예에 따라 정면 회전각으로 정규화된 경우와 정규화되지 않은 경우의 히스토그램을 나타낸 예시도이다.
< 도면의 주요 부분에 대한 부호의 설명 >
100: 얼굴 회전각 검출 장치 110: 영상 검출기
120: 전처리기 130: 회전각 검출기

Claims (10)

  1. 얼굴에 대한 영상을 검출하여 입력 영상을 생성하는 영상 검출기;
    상기 입력 영상으로부터 얼굴 영역을 검출하여 얼굴 영상을 생성하는 전처리기; 및
    상기 얼굴 영상의 수평 에지 및 수직 에지 중 하나 이상을 분석하여 추출되는 얼굴 특징을 기초로 상기 얼굴에 대한 상하 회전각 및 좌우 회전각 중 하나 이상을 검출하는 회전각 검출기
    를 포함하는 것을 특징으로 하는 회전각 검출 장치.
  2. 제 1 항에 있어서, 상기 회전각 검출기는,
    상기 얼굴 영상으로부터 수평 에지 영상을 추출하고 이진화하여 생성되는 이진화 영상으로부터 얻어지는 히스토그램의 평균 및 표준편차를 상기 얼굴 특징으로 추출하는 것을 특징으로 하는 회전각 검출 장치.
  3. 제 2 항에 있어서, 상기 회전각 검출기는,
    상기 히스토그램의 평균 및 표준편차를 정면 얼굴에 대해 정규화하고 정규화된 히스토그램의 평균 및 표준편차를 상기 얼굴 특징으로 추출하는 것을 특징으로 하는 회전각 검출 장치.
  4. 제 1 항에 있어서, 상기 회전각 추출기는,
    상기 얼굴 영상으로부터 수직 에지 영상을 추출하고 이진화하여 생성되는 이진화 영상으로부터 얻어지는 상기 얼굴의 좌우 경계선 및 중심선을 상기 얼굴 특징으로 추출하는 것을 특징으로 하는 회전각 검출 장치.
  5. 제 4 항에 있어서, 상기 회전각 검출기는,
    상기 얼굴 영상을 기준 관심 지역으로 설정하고, 상기 기준 관심 지역을 기초로 외곽 관심 지역과 중심 관심 지역을 설정하며, 상기 외곽 관심 지역을 이진화하여 상기 좌우 경계선을 검출하고, 상기 중심 관심 지역을 이진화하여 상기 중심선을 검출하는 것을 특징으로 하는 회전각 검출 장치.
  6. 제 5 항에 있어서, 상기 회전각 검출기는,
    상기 외곽 관심 지역을 좌 영역 및 우 영역으로 나누고 각 영역을 이진화하여 상기 좌우 경계선을 검출하는 것을 특징으로 하는 회전각 검출 장치.
  7. 제 5 항에 있어서,
    상기 외곽 관심 지역은 상기 기준 관심 지역을 상하좌우로 확장하여 설정되며, 상기 중심 관심 지역은 상기 기준 관심 지역을 소정의 비율로 축소하여 설정되는 것을 특징으로 하는 회전각 검출 장치.
  8. 제 2 항 또는 제 4 항에 있어서, 상기 회전각 검출기는,
    피타일 임계치(P-Tile Threshold)를 이용하여 이진화하는 것을 특징으로 하는 회전각 검출 장치.
  9. 얼굴에 대한 영상을 검출하여 입력 영상을 생성하는 단계;
    상기 입력 영상으로부터 얼굴 영역을 검출하여 얼굴 영상을 생성하는 단계;
    상기 얼굴 영상으로부터 수평 에지 영상을 추출하고 이진화하여 생성되는 이진화 영상으로부터 얻어지는 히스토그램의 평균 및 표준편차를 얼굴 특징으로 추출하는 단계; 및
    상기 얼굴 특징을 기초로 상기 얼굴에 대한 상하 회전각을 검출하는 단계
    를 포함하는 것을 특징으로 하는 회전각 검출 방법.
  10. 얼굴에 대한 영상을 검출하여 입력 영상을 생성하는 단계;
    상기 입력 영상으로부터 얼굴 영역을 검출하여 얼굴 영상을 생성하는 단계;
    상기 얼굴 영상으로부터 수직 에지 영상을 추출하고 이진화하여 생성되는 이진화 영상으로부터 얻어지는 상기 얼굴의 좌우 경계선 및 중심선을 얼굴 특징으로 추출하는 단계; 및
    상기 얼굴 특징을 기초로 상기 얼굴에 대한 좌우 회전각을 검출하는 단계
    를 포함하는 것을 특징으로 하는 회전각 검출 방법.
KR1020090064930A 2009-07-16 2009-07-16 얼굴 회전각 검출 방법 및 장치 KR101215751B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090064930A KR101215751B1 (ko) 2009-07-16 2009-07-16 얼굴 회전각 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090064930A KR101215751B1 (ko) 2009-07-16 2009-07-16 얼굴 회전각 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110007418A true KR20110007418A (ko) 2011-01-24
KR101215751B1 KR101215751B1 (ko) 2012-12-26

Family

ID=43613873

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090064930A KR101215751B1 (ko) 2009-07-16 2009-07-16 얼굴 회전각 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101215751B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9349038B2 (en) 2012-09-11 2016-05-24 Samsung Electronics Co., Ltd. Method and apparatus for estimating position of head, computer readable storage medium thereof

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4825473B2 (ja) * 2005-09-05 2011-11-30 アイシン精機株式会社 顔向き判別装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9349038B2 (en) 2012-09-11 2016-05-24 Samsung Electronics Co., Ltd. Method and apparatus for estimating position of head, computer readable storage medium thereof

Also Published As

Publication number Publication date
KR101215751B1 (ko) 2012-12-26

Similar Documents

Publication Publication Date Title
Fuhl et al. Eyes wide open? eyelid location and eye aperture estimation for pervasive eye tracking in real-world scenarios
KR101517181B1 (ko) 차선 이탈 경보 시스템 및 방법
EP1970839B1 (en) Apparatus, method, and program for face feature point detection
JP4845698B2 (ja) 眼部検出装置、眼部検出方法及びプログラム
KR101281260B1 (ko) 차량 인식 방법 및 장치
CN102473282B (zh) 外部光映入判定装置、视线检测装置及外部光映入判定方法
US10311583B2 (en) Eye motion detection method, program, program storage medium, and eye motion detection device
KR102460665B1 (ko) 응시 거리를 결정하는 방법 및 디바이스
CN110889355B (zh) 一种人脸识别校验方法、系统及存储介质
US10521659B2 (en) Image processing device, image processing method, and image processing program
JP2000105829A (ja) 顔パーツ検出方法及びその装置
CN103493100B (zh) 眼睑检测装置、眼睑检测方法
CN105310690A (zh) 皱纹检测装置和皱纹检测方法
JP2010191793A (ja) 警告表示装置及び警告表示方法
EP2741234B1 (en) Object localization using vertical symmetry
WO2016059643A1 (en) System and method for pedestrian detection
CN111582077A (zh) 基于人工智能软件技术的安全带佩戴检测方法和装置
JP4082203B2 (ja) 開閉眼判定装置
KR101215751B1 (ko) 얼굴 회전각 검출 방법 및 장치
Pangestu et al. Eyeball movement detection system using corner triangle similarity, naïve Bayes, and ear approach
Wiśniewska et al. Robust eye gaze estimation
Jimenez-Pinto et al. Driver alert state and fatigue detection by salient points analysis
JP4996943B2 (ja) 顔特徴点検出装置、顔特徴点検出方法及びプログラム
Daniluk et al. Eye status based on eyelid detection: A driver assistance system
Kumar Morphology based facial feature extraction and facial expression recognition for driver vigilance

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20090716

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20110623

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20090716

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120620

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
GRNT Written decision to grant
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20121218

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20121218

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20121218

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20150923

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20150923

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20160927

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20160927

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20170922

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20170922

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20180920

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20180920

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20190924

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20200925

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20210923

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20220921

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee