KR102360424B1 - 얼굴 검출 방법, 영상 처리 방법, 얼굴 검출 장치 및 이를 포함하는 전자 시스템 - Google Patents

얼굴 검출 방법, 영상 처리 방법, 얼굴 검출 장치 및 이를 포함하는 전자 시스템 Download PDF

Info

Publication number
KR102360424B1
KR102360424B1 KR1020140187831A KR20140187831A KR102360424B1 KR 102360424 B1 KR102360424 B1 KR 102360424B1 KR 1020140187831 A KR1020140187831 A KR 1020140187831A KR 20140187831 A KR20140187831 A KR 20140187831A KR 102360424 B1 KR102360424 B1 KR 102360424B1
Authority
KR
South Korea
Prior art keywords
image
face
ratio
face detection
detection operation
Prior art date
Application number
KR1020140187831A
Other languages
English (en)
Other versions
KR20160077666A (ko
Inventor
김응주
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140187831A priority Critical patent/KR102360424B1/ko
Priority to US14/973,953 priority patent/US9824261B2/en
Priority to CN201510984693.7A priority patent/CN105744151B/zh
Publication of KR20160077666A publication Critical patent/KR20160077666A/ko
Application granted granted Critical
Publication of KR102360424B1 publication Critical patent/KR102360424B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals

Abstract

얼굴 검출 방법에서는, 영상 촬상 모듈을 이용하여, 초점이 맞춰지지 않은(unfocused) 피사체에 대한 영상 정보를 포함하는 제1 영상을 획득한다. 제1 영상이 획득되는 시점에서의 영상 촬상 모듈과 피사체 사이의 의사 거리(pseudo-distance)를 획득한다. 의사 거리에 기초하여 얼굴 검출 동작을 수행하기 위한 스케일링 값을 복수의 비율들 중 제1 비율로 결정한다. 제1 비율을 기준으로 스케일링 값을 선택적으로 변경하여 제1 영상에 대한 얼굴 검출 동작을 수행한다.

Description

얼굴 검출 방법, 영상 처리 방법, 얼굴 검출 장치 및 이를 포함하는 전자 시스템{METHOD OF DETECTING FACE, METHOD OF PROCESSING IMAGE, FACE DETECTION DEVICE AND ELECTRONIC SYSTEM INCLUDING THE SAME}
본 발명은 영상 처리에 관한 것으로서, 더욱 상세하게는 영상으로부터 얼굴을 검출하는 방법, 상기 얼굴 검출 방법을 이용한 영상 처리 방법, 상기 얼굴 검출 방법을 수행하는 얼굴 검출 장치 및 상기 얼굴 검출 장치를 포함하는 전자 시스템에 관한 것이다.
영상 촬상 장치가 다양한 종류의 전자 시스템 및 모바일 시스템에 적용되고 있다. 최근에는 영상 정보뿐만 아니라 거리 정보까지 제공할 수 있는 영상 촬상 장치에 대한 연구가 활발하게 진행되고 있다. 상기 영상 촬상 장치에 의해 획득된 상기 영상 정보는 다양한 방식으로 처리될 수 있으며, 예를 들어, 상기 영상 정보로부터 얼굴 정보를 검출할 수 있다. 상기 얼굴 정보를 검출하기 위한 다양한 방식들이 연구되고 있다.
본 발명의 일 목적은 워크로드(workload)를 감소시킬 수 있는 영상으로부터 얼굴을 검출하는 방법을 제공하는 것이다.
본 발명의 다른 목적은 상기 얼굴 검출 방법을 이용하는 영상 처리 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 상기 얼굴 검출 방법을 수행하는 얼굴 검출 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 상기 얼굴 검출 장치를 포함하는 전자 시스템을 제공하는 것이다.
상기 일 목적을 달성하기 위해, 본 발명의 실시예들에 따른 얼굴 검출 방법에서는, 영상 촬상 모듈을 이용하여, 초점이 맞춰지지 않은(unfocused) 피사체에 대한 영상 정보를 포함하는 제1 영상을 획득한다. 상기 제1 영상이 획득되는 시점에서의 상기 영상 촬상 모듈과 상기 피사체 사이의 의사 거리(pseudo-distance)를 획득한다. 상기 의사 거리에 기초하여 얼굴 검출 동작을 수행하기 위한 스케일링 값을 복수의 비율들 중 제1 비율로 결정한다. 상기 제1 비율을 기준으로 상기 스케일링 값을 선택적으로 변경하여 상기 제1 영상에 대한 상기 얼굴 검출 동작을 수행한다.
상기 의사 거리를 획득하는데 있어서, 상기 제1 영상이 획득되는 시점에서의 상기 피사체에 대한 거리 정보를 추출할 수 있다. 상기 제1 영상이 획득되는 시점에서의 상기 영상 촬상 모듈에 포함되는 렌즈의 위치를 검출할 수 있다. 상기 거리 정보 및 상기 렌즈의 위치에 기초하여 상기 의사 거리를 연산할 수 있다.
일 실시예에서, 상기 거리 정보는 상기 렌즈의 제1 부분을 통해 입사되는 제1 피사체 영상 및 상기 렌즈의 제2 부분을 통해 입사되는 제2 피사체 영상 사이의 위상 차이에 상응하는 디스패리티(disparity) 값을 포함할 수 있다.
일 실시예에서, 상기 영상 촬상 모듈은 상기 거리 정보에 상응하는 제1 데이터 및 상기 영상 정보를 포함하는 상기 제1 영상을 동시에 획득할 수 있다.
상기 스케일링 값을 상기 제1 비율로 결정하는데 있어서, 상기 의사 거리, 상기 영상 촬상 모듈의 화각(Field of View; FOV) 및 기준 얼굴 크기에 기초하여 상기 제1 영상에 포함될 수 있는 예측 얼굴 크기를 연산할 수 있다. 상기 예측 얼굴 크기에 대한 상기 얼굴 검출 동작을 수행하는 얼굴 분류기(classifier)의 기준 윈도우의 크기의 비율인 예측 비율을 연산할 수 있다. 상기 복수의 비율들 중 상기 예측 비율과 가장 근사한 상기 제1 비율을 상기 스케일링 값으로 선택할 수 있다.
상기 예측 얼굴 크기와 상기 얼굴 검출 동작을 수행하여 획득된 얼굴 영역의 크기가 서로 다른 경우에, 상기 제1 영상 이후에 획득된 제2 영상에 대한 상기 얼굴 검출 동작을 수행하는데 있어서, 상기 복수의 비율들 중 상기 제1 비율과 다른 제2 비율로 상기 스케일링 값을 결정하고, 상기 제2 비율을 기준으로 상기 스케일링 값을 선택적으로 변경하여 상기 제2 영상에 대한 상기 얼굴 검출 동작을 수행할 수 있다.
일 실시예에서, 상기 얼굴 검출 동작을 수행하는데 있어서, 상기 제1 비율을 가지는 상기 스케일링 값을 기초로 상기 제1 영상을 스케일링하여 제2 영상을 획득할 수 있다. 얼굴 분류기에 기초하여 상기 제2 영상을 분석할 수 있다. 상기 제2 영상에 대한 분석 결과 상기 얼굴 분류기의 기준 윈도우에 상응하는 얼굴 영역이 검출된 경우에, 상기 얼굴 검출 동작을 종료할 수 있다.
상기 얼굴 검출 동작을 수행하는데 있어서, 상기 제2 영상에 대한 분석 결과 상기 얼굴 영역이 검출되지 않은 경우에, 상기 복수의 비율들 중 상기 제1 비율과의 차이가 가장 작은 제2 비율로 상기 스케일링 값을 변경할 수 있다. 상기 제2 비율을 가지는 상기 스케일링 값을 기초로 상기 제1 영상을 스케일링하여 제3 영상을 획득할 수 있다. 상기 얼굴 분류기에 기초하여 상기 제3 영상을 분석할 수 있다.
일 실시예에서, 상기 얼굴 검출 동작을 수행하는데 있어서, 상기 제1 비율을 가지는 상기 스케일링 값을 기초로 얼굴 분류기의 기준 윈도우를 스케일링할 수 있다. 상기 얼굴 분류기에 기초하여 상기 제1 영상을 분석할 수 있다. 상기 제1 영상에 대한 분석 결과 상기 얼굴 분류기의 기준 윈도우에 상응하는 얼굴 영역이 검출된 경우에, 상기 얼굴 검출 동작을 종료할 수 있다.
상기 의사 거리를 획득하는 단계, 상기 스케일링 값을 결정하는 단계 및 상기 얼굴 검출 동작을 수행하는 단계는 상기 영상 촬상 모듈과 별도로 구현되는 데이터 처리 모듈에 의해 실행될 수 있다.
상기 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 영상 처리 방법에서는, 영상 촬상 모듈을 이용하여, 초점이 맞춰지지 않은(unfocused) 피사체에 대한 영상 정보를 포함하는 제1 영상을 획득한다. 상기 제1 영상이 획득되는 시점에서의 상기 영상 촬상 모듈과 상기 피사체 사이의 의사 거리(pseudo-distance)를 획득한다. 상기 의사 거리에 기초하여 얼굴 검출 동작을 수행하기 위한 스케일링 값을 복수의 비율들 중 제1 비율로 결정한다. 상기 제1 비율을 기준으로 상기 스케일링 값을 선택적으로 변경하여 상기 제1 영상에 대한 상기 얼굴 검출 동작을 수행한다. 상기 영상 촬상 모듈을 이용하여, 초점이 맞춰진(focused) 상기 피사체에 대한 영상 정보를 포함하는 제2 영상을 획득한다. 상기 얼굴 검출 동작을 수행하여 획득된 상기 제1 영상의 얼굴 영역에 상응하는 상기 제2 영상의 제1 영역에 대한 영상 처리를 수행한다.
상기 또 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 얼굴 검출 장치는 영상 촬상 모듈 및 데이터 처리 모듈을 포함한다. 상기 영상 촬상 모듈은 초점이 맞춰지지 않은(unfocused) 피사체에 대한 영상 정보를 포함하는 제1 영상을 획득한다. 상기 데이터 처리 모듈은 상기 제1 영상이 획득되는 시점에서의 상기 영상 촬상 모듈과 상기 피사체 사이의 의사 거리(pseudo-distance)를 획득하고, 상기 의사 거리에 기초하여 얼굴 검출 동작을 수행하기 위한 스케일링 값을 복수의 비율들 중 제1 비율로 결정하며, 상기 제1 비율을 기준으로 상기 스케일링 값을 선택적으로 변경하여 상기 제1 영상에 대한 상기 얼굴 검출 동작을 수행한다.
상기 데이터 처리 모듈은 연산부, 추정부 및 검출부를 포함할 수 있다. 상기 연산부는 상기 제1 영상이 획득되는 시점에서의 상기 피사체에 대한 거리 정보를 추출할 수 있다. 상기 추정부는 상기 영상 촬상 모듈로부터 상기 제1 영상이 획득되는 시점에서의 상기 영상 촬상 모듈에 포함되는 렌즈의 위치를 검출하고, 상기 거리 정보 및 상기 렌즈의 위치에 기초하여 상기 의사 거리를 연산하며, 상기 의사 거리에 기초하여 상기 스케일링 값을 결정할 수 있다. 상기 검출부는 상기 스케일링 값에 기초하여 상기 제1 영상에 대한 상기 얼굴 검출 동작을 수행할 수 있다.
일 실시예에서, 상기 거리 정보는 상기 렌즈의 제1 부분을 통해 입사되는 제1 피사체 영상 및 상기 렌즈의 제2 부분을 통해 입사되는 제2 피사체 영상 사이의 위상 차이에 상응하는 디스패리티(disparity) 값을 포함할 수 있다. 상기 추정부는 상기 거리 정보 및 상기 렌즈의 위치에 기초하여 상기 스케일링 값을 결정하는 룩업 테이블을 저장할 수 있다.
일 실시예에서, 상기 검출부는 스케일링부 및 영상 분석부를 포함할 수 있다. 상기 스케일링부는 상기 제1 비율을 가지는 상기 스케일링 값을 기초로 상기 제1 영상을 스케일링하여 제2 영상을 획득할 수 있다. 상기 영상 분석부는 얼굴 분류기에 기초하여 상기 제2 영상을 분석할 수 있다.
상기 제2 영상에 대한 분석 결과 상기 얼굴 분류기의 기준 윈도우에 상응하는 얼굴 영역이 검출된 경우에, 상기 데이터 처리 모듈은 상기 얼굴 검출 동작을 종료할 수 있다. 상기 제2 영상에 대한 분석 결과 상기 얼굴 영역이 검출되지 않은 경우에, 상기 추정부는 상기 복수의 비율들 중 상기 제1 비율과의 차이가 가장 작은 제2 비율로 상기 스케일링 값을 변경하고, 상기 스케일링부는 상기 제2 비율을 가지는 상기 스케일링 값을 기초로 상기 제1 영상을 스케일링하여 제3 영상을 획득하며, 상기 영상 분석부는 상기 얼굴 분류기에 기초하여 상기 제3 영상을 분석할 수 있다.
일 실시예에서, 상기 검출부는 스케일링부 및 영상 분석부를 포함할 수 있다. 상기 스케일링부는 상기 제1 비율을 가지는 상기 스케일링 값을 기초로 얼굴 분류기의 기준 윈도우를 스케일링할 수 있다. 상기 영상 분석부는 상기 얼굴 분류기에 기초하여 상기 제1 영상을 분석할 수 있다.
일 실시예에서, 상기 영상 촬상 모듈은 상기 거리 정보에 상응하는 제1 데이터 및 상기 영상 정보를 포함하는 상기 제1 영상을 동시에 획득할 수 있다. 상기 연산부는 상기 영상 촬상 모듈로부터 수신된 상기 제1 데이터에 기초하여 상기 거리 정보를 추출할 수 있다.
일 실시예에서, 상기 얼굴 검출 장치는 거리 측정 모듈을 더 포함할 수 있다. 상기 거리 측정 모듈은 상기 거리 정보에 상응하는 제1 데이터를 획득할 수 있다. 상기 연산부는 상기 거리 측정 모듈로부터 수신된 상기 제1 데이터에 기초하여 상기 거리 정보를 추출할 수 있다.
상기 데이터 처리 모듈은, 상기 거리 정보에 기초하여 제1 제어 신호를 발생하는 제어부를 더 포함할 수 있다. 상기 영상 촬상 모듈은, 상기 제1 제어 신호에 기초하여 상기 렌즈의 위치를 제어하는 모터를 더 포함할 수 있다.
상기 또 다른 목적을 달성하기 위해, 본 발명의 실시예들에 따른 전자 시스템은 프로세서 및 얼굴 검출 장치를 포함한다. 상기 얼굴 검출 장치는 상기 프로세서에 의해 제어되고, 초점이 맞춰지지 않은(unfocused) 피사체에 대한 영상 정보를 포함하는 제1 영상에 대한 얼굴 검출 동작을 수행한다. 상기 얼굴 검출 장치는 영상 촬상 모듈 및 데이터 처리 모듈을 포함한다. 상기 영상 촬상 모듈은 상기 제1 영상을 획득한다. 상기 데이터 처리 모듈은 상기 제1 영상이 획득되는 시점에서의 상기 영상 촬상 모듈과 상기 피사체 사이의 의사 거리(pseudo-distance)를 획득하고, 상기 의사 거리에 기초하여 얼굴 검출 동작을 수행하기 위한 스케일링 값을 복수의 비율들 중 제1 비율로 결정하며, 상기 제1 비율을 기준으로 상기 스케일링 값을 선택적으로 변경하여 상기 제1 영상에 대한 상기 얼굴 검출 동작을 수행한다.
상기 영상 촬상 모듈은, 초점이 맞춰진(focused) 상기 피사체에 대한 영상 정보를 포함하는 제2 영상을 더 획득할 수 있다. 상기 프로세서는, 상기 얼굴 검출 동작을 수행하여 획득된 상기 제1 영상의 얼굴 영역에 상응하는 상기 제2 영상의 제1 영역에 대한 영상 처리를 수행할 수 있다.
일 실시예에서, 상기 데이터 처리 모듈은 상기 프로세서 내에 포함될 수 있다.
일 실시예에서, 상기 전자 시스템은 휴대폰(Mobile Phone), 스마트 폰(Smart Phone), 개인 정보 단말기(Personal Digital Assistant; PDA), 휴대형 멀티미디어 플레이어(Portable Multimedia Player; PMP), 디지털 카메라(Digital Camera), 음악 재생기(Music Player), 휴대용 게임 콘솔(Portable Game Console), 네비게이션(Navigation) 시스템과 같은 모바일 시스템일 수 있다.
상기와 같은 본 발명의 실시예들에 따른 얼굴 검출 방법 및 이를 수행하는 얼굴 검출 장치에서는, 초점이 맞춰지지 않은 제1 영상에 기초하여 얼굴 검출 동작을 수행한다. 구체적으로, 제1 영상이 획득되는 시점에서의 렌즈와 피사체 사이의 의사 거리에 기초하여 얼굴 검출 동작을 위한 스케일링 값의 초기 값을 결정할 수 있으며, 초기 값을 기준으로 스케일링 값을 선택적으로 변경하여 제1 영상에 대한 얼굴 검출 동작을 수행할 수 있다. 따라서, 얼굴 검출 장치 및 이를 포함하는 전자 시스템의 워크로드가 감소될 수 있다.
도 1은 본 발명의 실시예들에 따른 얼굴 검출 장치를 나타내는 블록도이다.
도 2는 본 발명의 실시예들에 따른 얼굴 검출 방법을 나타내는 순서도이다.
도 3은 도 2의 의사 거리를 획득하는 단계의 일 예를 나타내는 순서도이다.
도 4a, 4b 및 4c는 도 3의 피사체에 대한 거리 정보를 추출하는 단계를 설명하기 위한 도면들이다.
도 5는 도 2의 스케일링 값을 결정하는 단계의 일 예를 나타내는 순서도이다.
도 6은 도 5의 예측 얼굴 크기를 연산하는 단계를 설명하기 위한 도면이다.
도 7은 도 5의 예측 비율을 연산하는 단계 및 스케일링 값을 선택하는 단계를 설명하기 위한 도면이다.
도 8 및 9는 도 2의 의사 거리를 획득하는 단계 및 스케일링 값을 결정하는 단계를 설명하기 위한 도면들이다.
도 10은 도 2의 얼굴 검출 동작을 수행하는 단계의 일 예를 나타내는 순서도이다.
도 11a, 11b, 12a 및 12b는 도 10의 제1 영상을 다운 스케일링하는 단계를 설명하기 위한 도면들이다.
도 13은 도 1의 얼굴 검출 장치에 포함되는 검출부의 일 예를 나타내는 블록도이다.
도 14는 도 2의 얼굴 검출 동작을 수행하는 단계의 다른 예를 나타내는 순서도이다.
도 15는 도 1의 얼굴 검출 장치에 포함되는 검출부의 다른 예를 나타내는 블록도이다.
도 16a 및 16b는 도 2의 얼굴 검출 방법을 설명하기 위한 도면들이다.
도 17은 본 발명의 실시예들에 따른 얼굴 검출 장치를 나타내는 블록도이다.
도 18은 본 발명의 실시예들에 따른 전자 시스템을 나타내는 블록도이다.
도 19는 본 발명의 실시예들에 따른 영상 처리 방법을 나타내는 순서도이다.
도 20은 본 발명의 실시예들에 따른 전자 시스템이 모바일 기기로 구현된 일 예를 나타내는 평면도이다.
도 21a 및 21b는 본 발명의 실시예들에 따른 얼굴 검출 장치에 포함되는 센서의 예들을 나타내는 도면들이다.
도 22는 본 발명의 실시예들에 따른 전자 시스템이 모바일 기기로 구현된 다른 예를 나타내는 평면도이다.
도 23 및 24는 본 발명의 실시예들에 따른 전자 시스템을 나타내는 블록도들이다.
본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 실시예들에 따른 얼굴 검출 장치를 나타내는 블록도이다.
도 1을 참조하면, 얼굴 검출 장치(100)는 영상 촬상 모듈(200) 및 데이터 처리 모듈(300)을 포함한다.
영상 촬상 모듈(200)은 피사체(10)를 포함하는 영상을 획득한다. 예를 들어, 영상 촬상 모듈(200)은 초점이 맞춰지지 않은(unfocused) 피사체(10)에 대한 영상 정보를 포함하는 제1 영상(IMG1)을 획득한다.
영상 촬상 모듈(200)은 렌즈(210)를 포함한다. 영상 촬상 모듈(200)은 센서(220) 및 모터(230)를 더 포함할 수 있다.
렌즈(210)는 외부에서 수신되는 광 신호(LT)를 센서(220)에 집중시킬 수 있다. 광 신호(LT)는 가시광선, 적외선 및/또는 근적외선 등을 포함할 수 있다. 도 1에서는 영상 촬상 모듈(200)이 하나의 렌즈(210)를 포함하는 것으로 도시하였으나, 실시예에 따라서 영상 촬상 모듈(200)은 두 개 이상의 렌즈들을 포함하여 구현될 수 있다.
센서(220)는 광 신호(LT)에 기초하여 제1 영상(IMG1)을 획득할 수 있다. 상술한 것처럼, 제1 영상(IMG1)은 포커싱(focusing) 동작이 수행되기 이전의 초점이 맞춰지지 않은 영상일 수 있으며, 피사체(10)에 대한 흐릿한 영상 정보를 포함할 수 있다.
또한, 센서(220)는 광 신호(LT)에 기초하여 피사체(10)에 대한 거리 정보(DSPR)에 상응하는 제1 데이터(IL, IR)를 획득할 수 있다. 제1 데이터(IL, IR)에 기초하여 제1 영상(IMG1)이 획득되는 시점에서의 피사체(10)에 대한 거리 정보(DSPR)가 추출될 수 있다.
일 실시예에서, 센서(220)는 이미지 센서일 수 있다. 구체적으로, 센서(220)는 거리 정보(DSPR)에 상응하는 제1 데이터(IL, IR) 및 상기 영상 정보를 포함하는 제1 영상(IMG1)을 실질적으로 동시에 획득할 수 있으며, 예를 들어 RGBZ 센서일 수 있다. 이하에서는, 센서(220)가 CMOS(complementary metal oxide semiconductor) 이미지 센서인 경우에 기초하여 본 발명의 실시예들을 설명하지만, 센서(220)는 CCD(charge-coupled device) 이미지 센서 등과 같은 다양한 방식의 이미지 센서들 중 하나일 수 있다.
모터(230)는 데이터 처리 모듈(300)에서 수신되는 제어 신호(CTR)에 기초하여 렌즈(210)의 위치를 제어할 수 있다. 예를 들어, 모터(230)는 보이스 코일 모터(voice coil motor; VCM)일 수 있다.
영상 촬상 모듈(200)은 상기 렌즈(210)의 위치(즉, 렌즈(210)의 현재 위치)를 나타내는 제1 신호(LP)를 발생할 수 있다.
한편, 도시하지는 않았지만, 도 19를 참조하여 후술하는 것처럼, 영상 촬상 모듈(200)은 제1 영상(IMG1)을 획득한 이후에, 초점이 맞춰진(focused) 피사체(10)에 대한 영상 정보를 포함하는 제2 영상을 획득할 수도 있다.
데이터 처리 모듈(300)은 제1 영상(IMG1)이 획득되는 시점에서의 렌즈(210)와 피사체(10) 사이의 의사 거리(pseudo-distance)를 획득하고, 상기 의사 거리에 기초하여 얼굴 검출 동작을 수행하기 위한 스케일링 값(SL)을 복수의 비율들 중 제1 비율로 결정하며, 상기 제1 비율을 기준으로 스케일링 값(SL)을 선택적으로 변경하여 제1 영상(IMG1)에 대한 상기 얼굴 검출 동작을 수행한다.
데이터 처리 모듈(300)은 연산부(310), 추정부(320) 및 검출부(330)를 포함할 수 있다. 데이터 처리 모듈(300)은 제어부(340)를 더 포함할 수 있다.
연산부(310)는 제1 데이터(IL, IR)에 기초하여 제1 영상(IMG1)이 획득되는 시점에서의 피사체(10)에 대한 거리 정보(DSPR)를 추출할 수 있다. 도 4a, 4b 및 4c를 참조하여 후술하는 것처럼, 거리 정보(DSPR)는 렌즈(210)의 제1 부분(예를 들어, 좌측)을 통해 입사되는 제1 피사체 영상(IL) 및 렌즈(210)의 제2 부분(예를 들어, 우측)을 통해 입사되는 제2 피사체 영상(IR) 사이의 위상 차이에 상응하는 디스패리티(disparity) 값을 포함할 수 있다.
추정부(320)는 영상 촬상 모듈(200)로부터 제1 영상(IMG1)이 획득되는 시점에서의 상기 렌즈(210)의 위치를 나타내는 제1 신호(LP)를 수신할 수 있고, 거리 정보(DSPR) 및 상기 렌즈(210)의 위치에 기초하여 상기 의사 거리를 연산할 수 있으며, 상기 의사 거리에 기초하여 스케일링 값(SL)을 결정할 수 있다. 추정부(320)는 검출 신호(DR)에 기초하여 스케일링 값(SL)을 선택적으로 변경할 수 있다. 도 8 및 9를 참조하여 후술하는 것처럼, 스케일링 값(SL)은 룩업 테이블의 형태로 추정부(320)에 저장될 수도 있다.
검출부(330)는 스케일링 값(SL)에 기초하여 제1 영상(IMG1)에 대한 상기 얼굴 검출 동작을 수행할 수 있으며, 상기 얼굴 검출 동작의 결과를 나타내는 검출 신호(DR)를 발생할 수 있다.
연산부(310), 추정부(320) 및 검출부(330)의 구체적인 구성 및 동작에 대해서는 도 3 내지 15를 참조하여 후술하도록 한다.
제어부(340)는 거리 정보(DSPR)에 기초하여 상기 렌즈(210)의 위치를 제어하기 위한 제어 신호(CTR)를 발생할 수 있다. 영상 촬상 모듈(200)은 제어 신호(CTR)에 기초하여 오토 포커싱(auto-focusing) 동작을 수행할 수 있다.
일 실시예에서, 데이터 처리 모듈(300)은 CPU(central processing unit), 마이크로프로세서, AP(application processor) 등과 같은 임의의 프로세서일 수 있다. 다른 실시예에서, 데이터 처리 모듈(300)은 상기와 같은 임의의 프로세서 내에 포함될 수 있다. 또 다른 실시예에서, 데이터 처리 모듈(300)은 상기와 같은 임의의 프로세서와 별도로 구현될 수 있다.
도 1에서는 하나의 영상 촬상 모듈(200)이 거리 정보(DSPR)에 상응하는 제1 데이터(IL, IR) 및 상기 영상 정보를 포함하는 제1 영상(IMG1)을 동시에 획득하는 것으로 도시하였으나, 도 17을 참조하여 후술하는 것처럼 거리 정보(DSPR)에 상응하는 상기 제1 데이터를 획득하는 모듈과 상기 영상 정보를 포함하는 제1 영상(IMG1)을 획득하는 모듈이 별도로 구현될 수도 있다.
도 2는 본 발명의 실시예들에 따른 얼굴 검출 방법을 나타내는 순서도이다.
도 1 및 2를 참조하면, 본 발명의 실시예들에 따른 얼굴 검출 방법에서는, 영상 촬상 모듈(200)을 이용하여 제1 영상(IMG1)을 획득한다(단계 S100). 제1 영상(IMG1)은 초점이 맞춰지지 않은 피사체(10)에 대한 상기 영상 정보를 포함하는 영상이다.
제1 영상(IMG1)이 획득되는 시점에서의 상기 의사 거리를 획득한다(단계 S200). 상기 의사 거리는 제1 영상(IMG1)이 획득되는 시점에서의 영상 촬상 모듈(200)과 피사체(10) 사이의 거리를 나타낸다.
상기 의사 거리에 기초하여 스케일링 값(SL)을 상기 복수의 비율들 중 상기 제1 비율로 결정한다(단계 S300). 상기 제1 비율은 스케일링 값(SL)의 초기 값일 수 있다. 상기 제1 비율을 기준으로 스케일링 값(SL)을 선택적으로 변경하여 제1 영상(IMG1)에 대한 상기 얼굴 검출 동작을 수행한다(단계 S400). 스케일링 값(SL)은 상기 얼굴 검출 동작을 수행하는데 사용될 수 있다.
일 실시예에서, 도 10을 참조하여 후술하는 것처럼, 스케일링 값(SL)에 기초하여 제1 영상(IMG1)을 스케일링(예를 들어, 다운 스케일링(down-scaling))할 수 있고, 상기 스케일링된 영상에 기초하여 상기 얼굴 검출 동작을 수행할 수 있다. 다른 실시예에서, 도 14를 참조하여 후술하는 것처럼, 스케일링 값(SL)에 기초하여 얼굴 분류기(classifier)의 기준 윈도우를 스케일링(예를 들어, 업 스케일링(up-scaling))할 수 있고, 상기 스케일링된 얼굴 분류기에 기초하여 상기 얼굴 검출 동작을 수행할 수 있다.
일 실시예에서, 상기 제1 비율을 가지는 스케일링 값(SL)에 기초하여 상기 얼굴 분류기의 기준 윈도우에 상응하는 얼굴 영역이 검출된 경우에, 상기 얼굴 검출 동작이 종료될 수 있다. 상기 제1 비율을 가지는 스케일링 값(SL)에 기초하여 상기 얼굴 영역이 검출되지 않은 경우에, 상기 제1 비율과의 차이가 가장 작은 제2 비율로 스케일링 값(SL)을 변경하고, 상기 제2 비율을 가지는 스케일링 값(SL)에 기초하여 상기 얼굴 검출 동작을 다시 수행할 수 있다.
도 2의 단계 S200, S300 및 S400은 데이터 처리 모듈(300)에 의해 수행될 수 있다.
도 3은 도 2의 의사 거리를 획득하는 단계의 일 예를 나타내는 순서도이다.
도 1, 2 및 3을 참조하면, 상기 의사 거리를 획득(단계 S200)하는데 있어서, 제1 영상(IMG1)이 획득되는 시점에서의 피사체(10)에 대한 거리 정보(DSPR)를 추출할 수 있다(단계 S210). 예를 들어, 거리 정보(DSPR)는 상기 렌즈(210)의 제1 부분을 통해 입사되는 제1 피사체 영상(IL) 및 상기 렌즈(210)의 제2 부분을 통해 입사되는 제2 피사체 영상(IR) 사이의 상기 위상 차이에 상응하는 상기 디스패리티 값을 포함할 수 있다.
제1 영상(IMG1)이 획득되는 시점에서의 상기 렌즈(210)의 위치를 검출할 수 있다(단계 S230). 예를 들어, 영상 촬상 모듈(200)로부터 수신된 제1 신호(LP)에 기초하여 제1 영상(IMG1)이 획득되는 시점에서의 상기 렌즈(210)의 위치를 검출할 수 있다.
거리 정보(DSPR) 및 상기 렌즈(210)의 위치에 기초하여 상기 의사 거리를 연산할 수 있다(단계 S250).
도 3의 단계 S210은 연산부(310)에 의해 수행될 수 있고, 단계 S230 및 S250은 추정부(320)에 의해 수행될 수 있다.
도 4a, 4b 및 4c는 도 3의 피사체에 대한 거리 정보를 추출하는 단계를 설명하기 위한 도면들이다. 특히, 도 4a, 4b 및 4c는 상기 디스패리티 값의 개념을 설명하기 위한 도면들이다. 상기 디스패리티 값은 제1 피사체 영상(IL)과 제2 피사체 영상(IR) 사이의 상기 위상 차이에 상응하는 값일 수 있으며, 상기 위상 차이를 수치화한 값일 수 있다. 도시의 편의상, 도 4a, 4b 및 4c에서는 피사체(10)의 얼굴(11)만을 도시하였다.
도 4a를 참조하면, 렌즈(210)가 센서(220)와 지나치게 멀리 떨어져 있을 수 있다. 구체적으로, 렌즈(210)의 위치가 제1 위치(LA)인 경우에, 센서(220)는 상기 렌즈(210)의 제1 부분(즉, 좌측)을 통해 입사되는 광(LTLA)에 기초하여 제1 피사체 영상(ILA)을 획득할 수 있고, 상기 렌즈(210)의 제2 부분(즉, 우측)을 통해 입사되는 광(LTRA)에 기초하여 제2 피사체 영상(IRA)을 획득할 수 있다. 제1 피사체 영상(ILA)과 제2 피사체 영상(IRA)이 일치하지 않으며, 제1 위상 차이(DA)만큼 이격되어 얼굴(11)에 대한 초점이 맞지 않을 수 있다. 다시 말하면, 두 영상들(ILA, IRA) 사이에는 양안 시차(binocular parallax)가 존재할 수 있다. 도 4a에 도시된 것처럼, 제1 피사체 영상(ILA)이 상대적으로 오른쪽에 위치하고 제2 피사체 영상(IRA)이 상대적으로 왼쪽에 위치하는 경우에, 상기 디스패리티 값은 양의 정수일 수 있다(즉, front-focus에 의한 positive disparity). 제1 피사체 영상(ILA)과 제2 피사체 영상(IRA) 사이의 제1 위상 차이(DA)가 증가할수록 상기 디스패리티 값의 절대값이 증가할 수 있다.
도 4b를 참조하면, 렌즈(210)와 센서(220)의 거리가 적절하여 얼굴(11)에 대한 초점이 맞을 수 있다. 구체적으로, 렌즈(210)의 위치가 제1 위치(LA)보다 센서(220)에 가까운 제2 위치(LB)인 경우에, 센서(220)는 상기 렌즈(210)의 제1 부분(즉, 좌측)을 통해 입사되는 광(LTLB)에 기초하여 제1 피사체 영상(ILB)을 획득할 수 있고, 상기 렌즈(210)의 제2 부분(즉, 우측)을 통해 입사되는 광(LTRB)에 기초하여 제2 피사체 영상(IRB)을 획득할 수 있다. 제1 피사체 영상(ILA)과 제2 피사체 영상(IRA)이 일치함에 따라, 두 영상들(ILB, IRB) 사이에는 양안 시차가 존재하지 않으며, 얼굴(11)에 대한 초점이 맞을 수 있다. 도 4b에 도시된 것처럼, 제1 피사체 영상(ILA)과 제2 피사체 영상(IRA)이 일치하는 경우에, 상기 디스패리티 값은 0일 수 있다(즉, in-focus에 의한 zero disparity).
도 4c를 참조하면, 렌즈(210)가 센서(220)와 지나치게 가까이 있을 수 있다. 구체적으로, 렌즈(210)의 위치가 제2 위치(LB)보다 센서(220)에 가까운 제3 위치(LC)인 경우에, 센서(220)는 상기 렌즈(210)의 제1 부분(즉, 좌측)을 통해 입사되는 광(LTLC)에 기초하여 제1 피사체 영상(ILC)을 획득할 수 있고, 상기 렌즈(210)의 제2 부분(즉, 우측)을 통해 입사되는 광(LTRC)에 기초하여 제2 피사체 영상(IRC)을 획득할 수 있다. 제1 피사체 영상(ILC)과 제2 피사체 영상(IRC)이 일치하지 않으며, 제2 위상 차이(DC)만큼 이격되어 얼굴(11)에 대한 초점이 맞지 않을 수 있다. 다시 말하면, 두 영상들(ILC, IRC) 사이에는 양안 시차가 존재할 수 있다. 도 4c에 도시된 것처럼, 제1 피사체 영상(ILC)이 상대적으로 왼쪽에 위치하고 제2 피사체 영상(IRC)이 상대적으로 오른쪽에 위치하는 경우에, 상기 디스패리티 값은 음의 정수일 수 있다(즉, back-focus에 의한 negative disparity). 제1 피사체 영상(ILC)과 제2 피사체 영상(IRC) 사이의 제2 위상 차이(DC)가 증가할수록 상기 디스패리티 값의 절대값이 증가할 수 있다.
상술한 것처럼, 상기 디스패리티 값은 양의 정수, 0 및 음의 정수 중 하나일 수 있다. 상기 디스패리티 값이 양의 정수인 경우에, 렌즈(210)와 센서(220) 사이의 거리가 상대적으로 먼 것으로 판단할 수 있다. 상기 디스패리티 값이 음의 정수인 경우에, 렌즈(210)와 센서(220) 사이의 거리가 상대적으로 가까운 것으로 판단할 수 있다. 상기 디스패리티 값이 0인 경우에, 렌즈(210)와 센서(220) 사이의 거리가 적절하여 피사체(10)에 대한 초점이 맞는 것으로 판단할 수 있다. 상기 디스패리티 값의 절대값이 증가할수록 피사체(10)에 대한 초점이 맞지 않는 것으로 판단할 수 있다.
도 4a, 4b 및 4c는 하나의 렌즈(210)에 기초하여 상기 디스패리티 값을 획득하는 예를 도시하였으나, 두 개 이상의 렌즈들에 기초하여 상기 디스패리티 값을 획득할 수 있다. 일 실시예에서, 상기 영상 촬상 모듈은 두 개의 렌즈들을 포함하여 구현될 수 있다. 이 경우, 상기 디스패리티 값은 제1 렌즈를 통해 입사되는 제1 피사체 영상 및 제2 렌즈를 통해 입사되는 제2 피사체 영상 사이의 위상 차이에 상응할 수 있으며, 상기와 같은 방식을 스테레오스코픽(stereoscopic) 방식이라 부를 수 있다. 다른 실시예에서, 상기 영상 촬상 모듈은 복수의 렌즈들을 포함하여 구현될 수 있다. 이 경우, 상기 디스패리티 값은 상기 복수의 렌즈들을 통해 입사되는 복수의 피사체 영상들 사이의 위상 차이에 기초하여 획득될 수 있으며, 상기와 같은 방식을 라이트 필드(light-field) 또는 플렌옵틱(plenoptic) 방식이라 부를 수 있다.
한편, 도시하지는 않았지만, 상기 디스패리티 값에 기초하여 상기 오토 포커싱 동작이 수행될 수 있다. 예를 들어, 도 4a를 참조하여 상술한 것처럼 상기 디스패리티 값이 양의 정수인 경우에, 제어부(도 1의 340)는 렌즈(210)와 센서(220) 사이의 상기 거리를 감소시키기 위한 제어 신호(CTR)를 발생할 수 있다. 도 4c를 참조하여 상술한 것처럼 상기 디스패리티 값이 음의 정수인 경우에, 제어부(도 1의 340)는 렌즈(210)와 센서(220) 사이의 상기 거리를 증가시키기 위한 제어 신호(CTR)를 발생할 수 있다.
도 5는 도 2의 스케일링 값을 결정하는 단계의 일 예를 나타내는 순서도이다.
도 1, 2 및 5를 참조하면, 스케일링 값(SL)을 상기 제1 비율로 결정(단계 S300)하는데 있어서, 상기 의사 거리, 영상 촬상 모듈(200)의 화각(Field of View; FOV) 및 기준 얼굴 크기에 기초하여 상기 제1 영상에 포함될 수 있는 예측 얼굴 크기를 연산할 수 있다(단계 S310). 상기 영상 촬상 모듈(200)의 화각에 기초하여 영상 촬상 모듈(200)이 포착할 수 있는 장면의 크기가 결정될 수 있다. 상기 기준 얼굴 크기는 사람 얼굴의 표준적인 크기로서, 약 17cm 내지 약 21cm 사이의 값을 가질 수 있다.
상기 예측 얼굴 크기에 대한 상기 얼굴 분류기의 기준 윈도우의 크기의 비율인 예측 비율을 연산할 수 있다(단계 S330). 상기 얼굴 분류기는 상기 얼굴 검출 동작을 수행하기 위한 정보 및/또는 데이터들을 가질 수 있다. 상기 얼굴 분류기에 대해서는 도 7을 참조하여 후술하도록 한다.
실시예에 따라서, 도 10을 참조하여 후술하는 것처럼 상기 얼굴 분류기의 기준 윈도우의 크기를 고정한 상태에서 상기 얼굴 검출 동작을 수행할 수도 있고, 도 14를 참조하여 후술하는 것처럼 상기 얼굴 분류기의 기준 윈도우의 크기를 변경하면서 상기 얼굴 검출 동작을 수행할 수도 있다. 상기 얼굴 분류기의 기준 윈도우의 크기를 변경하면서 상기 얼굴 검출 동작을 수행하는 경우에, 상기 예측 비율은 상기 예측 얼굴 크기에 대한 상기 얼굴 분류기의 기준 윈도우의 초기 크기의 비율을 나타낼 수 있다.
상기 복수의 비율들 중 상기 예측 비율과 가장 근사한 상기 제1 비율을 스케일링 값(SL)으로 선택할 수 있다(단계 S350). 상기 제1 비율은 스케일링 값(SL)의 초기 값일 수 있다. 예를 들어, 상기 제1 비율은 상기 복수의 비율들 중 상기 예측 비율과의 차이가 가장 작은 값일 수 있다. 다른 예에서, 상기 제1 비율은 상기 예측 비율과 실질적으로 동일할 수 있다.
도 5의 단계 S310, S330 및 S350은 추정부(320)에 의해 수행될 수 있다.
도 6은 도 5의 예측 얼굴 크기를 연산하는 단계를 설명하기 위한 도면이다.
도 1, 5 및 6을 참조하면, 상기 영상 촬상 모듈(200)의 화각에 기초하여 상기 영상 촬상 모듈(200)이 포착할 수 있는 장면(20)의 크기가 결정될 수 있다. 기준 얼굴 크기(FR)는 장면(20)에 포함된 얼굴(11)의 크기를 나타내며, 상술한 것처럼 약 17cm 내지 약 21cm 사이의 값을 가질 수 있다. 의사 거리(WD)는 제1 영상(IMG1)이 획득되는 시점에서의 렌즈(210)와 피사체(10)(즉, 얼굴(11)) 사이의 거리를 나타내며, 도 3을 참조하여 상술한 것처럼 연산될 수 있다. 중심 거리(focal distance)(FD)는 렌즈(210)와 센서(220) 사이의 거리를 나타내며, 도 3의 단계 S230에서 검출된 상기 렌즈(210)의 위치에 기초하여 연산될 수 있다. 예측 얼굴 크기(FP)는 렌즈(210)에 입사된 광 신호를 기초로 센서(220)에 의해 획득된 얼굴 영상(221)의 크기를 나타낼 수 있다. 기준 얼굴 크기(FR), 예측 얼굴 크기(FP), 의사 거리(WD) 및 중심 거리(FD)의 관계는 하기의 [수학식 1]과 같이 표현될 수 있다.
[수학식 1]
FR:FP=WD:FD
상기의 [수학식 1]로부터, 예측 얼굴 크기(FP)는 하기의 [수학식 2]와 같이 나타낼 수 있다.
[수학식 2]
FP=(FR*FD)/WD
센서(220)가 이미지 센서인 경우에, 센서(220)의 크기(I) 및 센서(220)에 포함된 픽셀들의 총 개수(PX)를 알고 있다면, 예측 얼굴 크기(FP)에 포함된 픽셀들의 개수(FPPX)는 하기의 [수학식 3]과 같이 나타낼 수 있다.
[수학식 3]
FPPX={(FR*FD)/WD}*(PX/I)
도 7은 도 5의 예측 비율을 연산하는 단계 및 스케일링 값을 선택하는 단계를 설명하기 위한 도면이다. 특히, 도 7은 상기 얼굴 검출 동작을 수행하는데 사용되는 상기 얼굴 분류기의 개념을 설명하기 위한 도면이다.
도 5, 6 및 7을 참조하면, 얼굴 분류기(CLSF)는 영상(IMG)에 포함된 얼굴 영역(FC)을 검출할 수 있다. 얼굴 분류기(CLSF)는 사각형 형상의 기준 윈도우(도 7의 점선 부분)를 가질 수 있고, 얼굴 영역(FC)을 식별하기 위한 정보, 예를 들어 사람 얼굴의 눈에 대한 정보(또는 이미지), 사람 얼굴의 입에 대한 정보(또는 이미지) 등을 가질 수 있다. 얼굴 분류기(CLSF)는 다양한 얼굴 검출 알고리즘들 중 적어도 하나에 기초하여 얼굴 영역(FC)을 검출할 수 있다. 예를 들어, 얼굴 분류기(CLSF)는 비올라-존스(Viola-Jones) 얼굴 검출 알고리즘으로 널리 알려진, HAAR-like feature에 기반한 알고리즘에 기초하여 얼굴 영역(FC)을 검출할 수 있다. 얼굴 분류기(CLSF)의 형상 및/또는 얼굴 분류기(CLSF)가 얼굴 영역(FC)을 검출하기 위한 알고리즘은 실시예에 따라서 다양하게 변경될 수 있다.
도 5의 단계 S330에서, 상기 예측 비율을 연산할 수 있다. 상기 예측 비율은 예측 얼굴 크기(FP)에 포함된 픽셀들의 개수(FPPX)에 대한 상기 얼굴 분류기(CLSF)의 기준 윈도우에 포함된 픽셀들의 개수로 표현될 수 있다. 예를 들어, 예측 얼굴 크기(FP)에 포함된 픽셀들의 개수(FPPX)가 약 100개이고, 상기 얼굴 분류기(CLSF)의 기준 윈도우에 포함된 픽셀들의 개수가 약 30개인 경우에, 상기 예측 비율은 약 3.33일 수 있다.
도 5의 단계 S350에서, 스케일링 값(SL)의 초기 값을 선택할 수 있다. 일반적으로, 상기 복수의 비율들은 일정한 크기만큼 증가 또는 감소하는 복수의 값들일 수 있다. 예를 들어, 상기 복수의 비율들이 1부터 10까지 1씩 증가하는 10개의 값들이고, 상기 예측 비율이 약 3.33인 경우에, 상기 복수의 비율들 중 상기 예측 비율인 3.33과 가장 근사한 3을 스케일링 값(SL)으로 선택할 수 있다. 다른 예에서, 상기 복수의 비율들이 1부터 10까지 0.5씩 증가하는 19개의 값들이고, 상기 예측 비율이 약 3.33인 경우에, 상기 복수의 비율들 중 상기 예측 비율인 3.33과 가장 근사한 3.5를 스케일링 값(SL)으로 선택할 수 있다.
도 8 및 9는 도 2의 의사 거리를 획득하는 단계 및 스케일링 값을 결정하는 단계를 설명하기 위한 도면들이다.
도 2, 3 및 5를 참조하여 상술한 것처럼, 단계 S210, S230 및 S250을 수행하여 상기 의사 거리를 획득(단계 S200)할 수 있고, 단계 S310, S330 및 S350을 수행하여 스케일링 값(SL)을 상기 제1 비율로 결정(단계 S300)할 수 있다. 다만, 상기 얼굴 검출 동작을 수행할 때마다 상기와 같은 연산을 수행하는 경우에, 얼굴 검출 장치(도 1의 100)의 작업량(workload)이 과도하게 증가할 수 있다. 따라서, 거리 정보(DSPR) 및 상기 렌즈(210)의 위치에 기초하여 스케일링 값(SL)을 바로 결정하는 경우에, 얼굴 검출 장치(도 1의 100)의 작업량이 감소할 수 있다.
도 1, 2, 8 및 9를 참조하면, 거리 정보(DSPR) 및 상기 렌즈(210)의 위치(즉, 렌즈(210)의 현재 위치)를 나타내는 제1 신호(LP)에 기초하여 스케일링 값(SL)을 직접 결정하기 위한 룩업 테이블(예를 들어, 의사 거리 테이블)의 일 예가 도시되어 있다. 상기 룩업 테이블은 추정부(320)에 저장될 수 있으며, 영상 촬상 모듈(200)의 특성에 상응하도록 사전 실험을 통해 구현될 수 있다.
도 8 및 9에 도시된 룩업 테이블의 예에서, 피사체(10)에 초점을 맞추기 위한 n(n은 자연수)개의 렌즈 위치들(L1, L2, L3, L4, L5, L6, L7, L8, L9, L10, L11, L12, ..., Ln)이 정의될 수 있으며, 상기 얼굴 검출 동작을 수행하기 위한 m(m은 자연수)개의 스케일링 값들(SL1, SL2, SL3, ..., SLj-1, SLj, SLj+1, SLj+2, ..., SLm)이 정의될 수 있다. 일반적으로 n이 m보다 클 수 있다.
상기 룩업 테이블에 기초하여 스케일링 값(SL)이 결정될 수 있다. 예를 들어, 도 8에 도시된 것처럼, 거리 정보(DSPR)(즉, 상기 디스패리티 값)가 +3이고 상기 렌즈(210)의 위치가 L8인 경우에, 스케일링 값(SL)이 SL2로 결정될 수 있다. 이와 같이, 상기 의사 거리를 획득하지 않고 스케일링 값(SL)을 직접 결정함으로써, 얼굴 검출 장치(도 1의 100) 및 이를 포함하는 시스템의 작업량이 감소할 수 있다.
도 10은 도 2의 얼굴 검출 동작을 수행하는 단계의 일 예를 나타내는 순서도이다.
도 10은 상기 얼굴 분류기의 기준 윈도우의 크기를 고정하고 제1 영상(IMG1)의 크기를 감소시키면서 상기 얼굴 검출 동작을 수행하는 실시예를 나타낼 수 있다.
도 1, 2 및 10을 참조하면, 제1 영상(IMG1)에 대한 상기 얼굴 검출 동작을 수행(단계 S400)하는데 있어서, 상기 제1 비율을 가지는 스케일링 값(SL)을 기초로 제1 영상(IMG1)을 스케일링할 수 있다(단계 S410). 예를 들어, 도 5의 단계 S350에서 스케일링 값(SL)의 초기 값이 3 또는 3.5로 선택된 경우에, 제1 영상(IMG1)을 다운 스케일링하여 제1 영상(IMG1)보다 3배 또는 3.5배 작은 영상(즉, 제1 축소 영상)을 획득할 수 있다.
상기 얼굴 분류기에 기초하여 상기 스케일링된 영상(즉, 상기 제1 축소 영상)을 분석할 수 있다(단계 S430). 예를 들어, 상기 얼굴 분류기의 기준 윈도우를 이용하여 상기 제1 축소 영상을 전체적으로 스캔함으로써, 상기 제1 축소 영상을 분석할 수 있다.
상기 스케일링된 영상(즉, 상기 제1 축소 영상)으로부터 상기 얼굴 분류기의 기준 윈도우에 상응하는 얼굴 영역이 검출되었는지 여부를 판단할 수 있다(단계 S450).
상기 스케일링된 영상(즉, 상기 제1 축소 영상)에 대한 분석 결과 상기 얼굴 영역이 검출된 경우에(단계 S450: 예), 상기 얼굴 검출 동작을 종료할 수 있다.
상기 스케일링된 영상(즉, 상기 제1 축소 영상)에 대한 분석 결과 상기 얼굴 영역이 검출되지 않은 경우에(단계 S450: 아니오), 상기 복수의 비율들 중 상기 제1 비율과의 차이가 가장 작은 제2 비율로 스케일링 값(SL)을 변경할 수 있다(단계 S470). 예를 들어, 도 5의 단계 S350에서 스케일링 값(SL)의 초기 값이 1부터 10까지 1씩 증가하는 10개의 값들 중 3으로 선택된 경우에, 스케일링 값(SL)을 2 또는 4로 변경할 수 있다. 도 5의 단계 S350에서 스케일링 값(SL)의 초기 값이 1부터 10까지 0.5씩 증가하는 19개의 값들 중 3.5로 선택된 경우에, 스케일링 값(SL)을 3 또는 4로 변경할 수 있다.
상기 변경된 스케일링 값(SL)에 기초하여 단계 S410, S430 및 S450이 반복될 수 있다. 예를 들어, 상기 제2 비율을 가지는 스케일링 값(SL)을 기초로 제1 영상(IMG1)을 다운 스케일링(단계 S410)하여 제2 축소 영상을 획득할 수 있고, 상기 얼굴 분류기에 기초하여 상기 제2 축소 영상을 분석(단계 S430)할 수 있으며, 상기 제2 축소 영상으로부터 상기 얼굴 영역이 검출되었는지 여부를 판단할 수 있다(단계 S450).
단계 S410, S430, S450 및 S470은 상기 얼굴 영역이 검출될 때까지 반복될 수 있다. 다시 말하면, 상기 의사 거리에 기초하여 스케일링 값(SL)의 초기 값이 SLj로 결정되었다면, 스케일링 값(SL)을 SLj, SLj-1, SLj+1, SLj-2, SLj+2, ... 의 순서로 변경하며 상기 얼굴 검출 동작을 반복적으로 수행할 수 있다.
도 11a, 11b, 12a 및 12b는 도 10의 제1 영상을 다운 스케일링하는 단계를 설명하기 위한 도면들이다. 도 11a는 초점이 맞는 영상을 나타내며, 도 11b는 도 11a의 영상을 다운 스케일링한 영상을 나타낸다. 도 12a는 초점이 맞춰지지 않은 영상을 나타내며, 도 12b는 도 12a의 영상을 다운 스케일링한 영상을 나타낸다.
도 11a, 11b, 12a 및 12b를 참조하면, 초점이 맞는 원본 영상(도 11a)을 다운 스케일링한 영상(도 11b)과 초점이 맞춰지지 않은 원본 영상(도 12a)을 다운 스케일링한 영상(도 12b)이 매우 유사함을 확인할 수 있다. 따라서, 초점이 맞춰지지 않은 제1 영상(IMG1)에 기초하여 상기 얼굴 검출 동작을 수행하는 경우와 초점이 맞는 영상에 기초하여 상기 얼굴 검출 동작을 수행하는 경우에 상기 얼굴 영역을 검출하는 성능은 실질적으로 동일할 수 있다.
도 13은 도 1의 얼굴 검출 장치에 포함되는 검출부의 일 예를 나타내는 블록도이다.
도 1 및 13을 참조하면, 검출부(330)는 스케일링부(331) 및 영상 분석부(333)를 포함할 수 있다.
스케일링부(331)는 스케일링 값(SL)을 기초로 제1 영상(IMG1)을 스케일링하여 스케일링된 영상(DIMG1)을 발생할 수 있다. 예를 들어, 스케일링부(331)는 상기 제1 비율을 가지는 스케일링 값(SL)을 기초로 제1 영상(IMG1)을 다운 스케일링하여 상기 제1 축소 영상을 획득할 수 있다.
영상 분석부(333)는 얼굴 분류기(CLSF)에 기초하여 스케일링된 영상(DIMG1)(즉, 상기 제1 축소 영상)을 분석할 수 있다. 영상 분석부(333)는 스케일링된 영상(DIMG1)(즉, 상기 제1 축소 영상)에 대한 분석 결과를 나타내는 검출 신호(DR)를 발생할 수 있다.
스케일링된 영상(DIMG1)(즉, 상기 제1 축소 영상)에 대한 분석 결과 상기 얼굴 영역이 검출된 경우에, 검출 신호(DR)는 상기 얼굴 검출 동작이 완료되었음을 나타내는 제1 정보 및 상기 얼굴 영역에 대한 제2 정보를 포함할 수 있다. 데이터 처리 모듈(300)은 검출 신호(DR)에 기초하여 상기 얼굴 검출 동작을 종료할 수 있다.
스케일링된 영상(DIMG1)(즉, 상기 제1 축소 영상)에 대한 분석 결과 상기 얼굴 영역이 검출되지 않은 경우에, 검출 신호(DR)는 상기 얼굴 검출 동작이 완료되지 않았음을 나타내는 제3 정보를 포함할 수 있다. 추정부(320)는 검출 신호(DR)에 기초하여 상기 복수의 비율들 중 상기 제1 비율과의 차이가 가장 작은 상기 제2 비율로 스케일링 값(SL)을 변경할 수 있고, 스케일링부(331)는 상기 제2 비율을 가지는 스케일링 값(SL)을 기초로 제1 영상(IMG1)을 다시 스케일링하여 상기 제2 축소 영상을 획득할 수 있으며, 영상 분석부(333)는 얼굴 분류기(CLSF)에 기초하여 상기 제2 축소 영상을 분석할 수 있다.
도 14는 도 2의 얼굴 검출 동작을 수행하는 단계의 다른 예를 나타내는 순서도이다.
도 14는 제1 영상(IMG1)의 크기를 고정하고 상기 얼굴 분류기의 기준 윈도우의 크기를 증가시키면서 상기 얼굴 검출 동작을 수행하는 실시예를 나타낼 수 있다.
도 1, 2 및 14를 참조하면, 제1 영상(IMG1)에 대한 상기 얼굴 검출 동작을 수행(단계 S400)하는데 있어서, 상기 제1 비율을 가지는 스케일링 값(SL)을 기초로 상기 얼굴 분류기의 기준 윈도우를 스케일링할 수 있다(단계 S415). 예를 들어, 도 5의 단계 S350에서 스케일링 값(SL)의 초기 값이 3 또는 3.5로 선택된 경우에, 상기 얼굴 분류기의 기준 윈도우를 업 스케일링하여, 상기 얼굴 분류기의 기준 윈도우의 초기 크기보다 3배 또는 3.5배 큰 제1 확대 기준 윈도우를 가지는 얼굴 분류기를 획득할 수 있다.
상기 스케일링 된 얼굴 분류기(즉, 상기 제1 확대 기준 윈도우를 가지는 얼굴 분류기)에 기초하여 제1 영상(IMG1)을 분석할 수 있다(단계 S430). 예를 들어, 상기 제1 확대 기준 윈도우를 가지는 얼굴 분류기를 이용하여 제1 영상(IMG1)을 전체적으로 스캔함으로써, 제1 영상(IMG1)을 분석할 수 있다.
제1 영상(IMG1)으로부터 상기 얼굴 영역이 검출되었는지 여부를 판단할 수 있다(단계 S450).
제1 영상(IMG1)에 대한 분석 결과 상기 얼굴 영역이 검출된 경우에(단계 S450: 예), 상기 얼굴 검출 동작을 종료할 수 있다.
제1 영상(IMG1)에 대한 분석 결과 상기 얼굴 영역이 검출되지 않은 경우에(단계 S450: 아니오), 상기 복수의 비율들 중 상기 제1 비율과의 차이가 가장 작은 제2 비율로 스케일링 값(SL)을 변경할 수 있다(단계 S470). 예를 들어, 도 5의 단계 S350에서 스케일링 값(SL)의 초기 값이 1부터 10까지 1씩 증가하는 10개의 값들 중 3으로 선택된 경우에, 스케일링 값(SL)을 2 또는 4로 변경할 수 있다. 도 5의 단계 S350에서 스케일링 값(SL)의 초기 값이 1부터 10까지 0.5씩 증가하는 19개의 값들 중 3.5로 선택된 경우에, 스케일링 값(SL)을 3 또는 4로 변경할 수 있다.
상기 변경된 스케일링 값(SL)에 기초하여 단계 S415, S435 및 S450이 반복될 수 있다. 예를 들어, 상기 제2 비율을 가지는 스케일링 값(SL)을 기초로 상기 얼굴 분류기의 기준 윈도우를 스케일링(단계 S415)하여 스케일링 된 얼굴 분류기(즉, 제2 확대 기준 윈도우를 가지는 얼굴 분류기)를 획득할 수 있고, 상기 스케일링 된 얼굴 분류기(즉, 상기 제2 확대 기준 윈도우를 가지는 얼굴 분류기)에 기초하여 제1 영상(IMG1)을 분석(단계 S435)할 수 있으며, 제1 영상(IMG1)으로부터 상기 얼굴 영역이 검출되었는지 여부를 판단할 수 있다(단계 S450). 상기 제2 확대 기준 윈도우는 상기 얼굴 분류기의 기준 윈도우의 초기 크기보다 2배 또는 3배 크거나, 3배 또는 4배 클 수 있다.
단계 S415, S435, S450 및 S470은 상기 얼굴 영역이 검출될 때까지 반복될 수 있다. 다시 말하면, 상기 의사 거리에 기초하여 스케일링 값(SL)의 초기 값이 SLj로 결정되었다면, 스케일링 값(SL)을 SLj, SLj-1, SLj+1, SLj-2, SLj+2, ... 의 순서로 변경하며 상기 얼굴 검출 동작이 반복적으로 수행될 수 있다.
도 15는 도 1의 얼굴 검출 장치에 포함되는 검출부의 다른 예를 나타내는 블록도이다.
도 1 및 15를 참조하면, 검출부(330a)는 스케일링부(331a) 및 영상 분석부(333a)를 포함할 수 있다.
스케일링부(331a)는 스케일링 값(SL)을 기초로 상기 얼굴 분류기(CLSF)의 기준 윈도우를 스케일링하여 스케일링 된 얼굴 분류기(UCLSF)를 발생할 수 있다. 예를 들어, 스케일링부(331a)는 상기 제1 비율을 가지는 스케일링 값(SL)을 기초로 상기 얼굴 분류기(CLSF)의 기준 윈도우를 업 스케일링하여 상기 제1 확대 기준 윈도우를 가지는 얼굴 분류기를 획득할 수 있다.
영상 분석부(333a)는 스케일링 된 얼굴 분류기(UCLSF)(즉, 상기 제1 확대 기준 윈도우를 가지는 얼굴 분류기)에 기초하여 제1 영상(IMG1)을 분석할 수 있다. 영상 분석부(333a)는 제1 영상(IMG1)에 대한 분석 결과를 나타내는 검출 신호(DR)를 발생할 수 있다
제1 영상(IMG1)에 대한 분석 결과 상기 얼굴 영역이 검출된 경우에, 검출 신호(DR)는 상기 얼굴 검출 동작이 완료되었음을 나타내는 상기 제1 정보 및 상기 얼굴 영역에 대한 상기 제2 정보를 포함할 수 있다. 데이터 처리 모듈(300)은 검출 신호(DR)에 기초하여 상기 얼굴 검출 동작을 종료할 수 있다.
제1 영상(IMG1)에 대한 분석 결과 상기 얼굴 영역이 검출되지 않은 경우에, 검출 신호(DR)는 상기 얼굴 검출 동작이 완료되지 않았음을 나타내는 상기 제3 정보를 포함할 수 있다. 추정부(320)는 검출 신호(DR)에 기초하여 상기 복수의 비율들 중 상기 제1 비율과의 차이가 가장 작은 상기 제2 비율로 스케일링 값(SL)을 변경할 수 있고, 스케일링부(331a)는 상기 제2 비율을 가지는 스케일링 값(SL)을 기초로 상기 얼굴 분류기(CLSF)의 기준 윈도우를 다시 스케일링하여 상기 제2 확대 기준 윈도우를 가지는 얼굴 분류기를 획득할 수 있으며, 영상 분석부(333a)는 상기 제2 확대 기준 윈도우를 가지는 얼굴 분류기에 기초하여 제1 영상(IMG1)을 분석할 수 있다.
도 16a 및 16b는 도 2의 얼굴 검출 방법을 설명하기 위한 도면들이다.
도 8 및 9를 참조하여 상술한 것처럼, 상기 미리 정해진 룩업 테이블에 기초하여 스케일링 값(SL)을 효과적으로 결정할 수 있다. 다만, 얼굴 검출 장치(100)가 동작하는 환경에 따라서 상기 룩업 테이블의 정확성이 낮아질 수 있으며, 상기 룩업 테이블의 정확성을 보장하기 위하여 룩업 테이블을 보상(예를 들어, 일시적 조정(temporal adaptation))할 수 있다.
도 1, 2, 8, 9, 16a 및 16b를 참조하면, 상기 렌즈(210)의 위치와 상기 의사 거리 사이의 상관 관계는 얼굴 검출 장치(100)가 동작하는 환경에 따라서 변할 수 있다. 예를 들어, 상기 예측 얼굴 크기와 상기 얼굴 검출 동작을 수행하여 획득된 상기 얼굴 영역의 크기가 서로 다를 수 있다.
구체적으로, 도 16a에 도시된 것처럼, 거리 정보(DSPR)가 Dx이고 상기 렌즈(210)의 위치가 Lk(k는 1 이상 n 이하의 자연수)인 경우에, 상기 룩업 테이블에서 Dx와 Lk가 만나는 영역(EXPT)에 상응하도록 스케일링 값(SL)의 초기 예측치가 결정될 수 있다. 즉, 제1 영상(IMG1)에 대한 상기 얼굴 검출 동작을 수행하는 경우에, 스케일링 값(SL)의 초기 값은 SLj로 결정될 수 있으며, SLj(j는 1 이상 m 이하의 자연수)가 상기 예측 비율과 가장 근사한 제1 비율(PR)일 수 있다.
하지만, 상기 얼굴 검출 동작을 수행하는데 있어서, 특정 환경에서는 SLj의 스케일링 값(SL)에 기초하여 상기 얼굴 영역을 검출하지 못할 수 있으며, SLj+1의 스케일링 값(SL)에 기초하여 상기 얼굴 영역을 검출할 수 있다. 이 경우, 상기 특정 환경에 적합하도록, 상기 룩업 테이블을 △만큼 이동(shift)시켜 상기 룩업 테이블을 보상할 수 있다. 예를 들어, △는 초기 스케일링 값과 실제 스케일링 값의 차이(즉, index의 차이), 스케일링 값들의 개수(m), 렌즈 위치들의 개수(n) 등에 기초하여 결정될 수 있다.
도 16b에 도시된 것처럼, 상기 룩업 테이블이 보상된 이후에, 그리고 거리 정보(DSPR)가 Dx이고 상기 렌즈(210)의 위치가 Lk인 경우에, 상기 보상된 룩업 테이블에서 Dx와 Lk가 만나는 영역(RLT)에 상응하도록 스케일링 값(SL)의 초기 예측치가 결정될 수 있다. 즉, 제1 영상(IMG1) 이후에 획득된 다른 제2 영상에 대한 상기 얼굴 검출 동작을 수행하는 경우에, 스케일링 값(SL)의 초기 값은 제1 비율(PR)인 SLj와 다른 제2 비율(RR)인 SLj+1로 결정될 수 있다. 상기 예측 비율과 가장 근사한 스케일링 값(SL)의 초기 값이 제1 비율(PR)에서 제2 비율(RR)로 변경될 수 있다.
다시 말하면, 제1 영상(IMG1)에 대한 상기 얼굴 검출 동작을 수행하는 경우에, 제1 비율(PR)이 스케일링 값(SL)의 초기 값으로 결정되었으나, 제1 비율(PR)과 다른 제2 비율(RR)에 기초하여 제1 영상(IMG1)으로부터 상기 얼굴 영역이 검출될 수 있다. 이 경우, 제1 영상(IMG1) 이후에 획득된 상기 제2 영상에 대한 상기 얼굴 검출 동작을 수행하는 경우에는, 제2 비율(RR)인 SLj+1을 스케일링 값(SL)의 초기 값으로 결정하며, 제2 비율(RR)을 기준으로 스케일링 값(SL)을 선택적으로 변경하여 상기 제2 영상에 대한 상기 얼굴 검출 동작을 수행할 수 있다.
일 실시예에서, 상기 룩업 테이블에 대한 일시적 조정은 얼굴 검출 장치(100)가 활성화되어 있는 동안에, 즉 영상 촬상 장치(200)가 활성화되어 있는 동안에만 유효할 수 있다. 다시 말하면, 상기 룩업 테이블이 도 16b에 도시된 것처럼 보정된 후에 얼굴 검출 장치(100)가 비활성화되었다면, 얼굴 검출 장치(100)가 다시 활성화된 경우에, 상기 룩업 테이블은 도 16b의 보정 상태를 유지하는 것이 아니라 도 16a의 초기 상태를 가질 수 있다.
도 17은 본 발명의 실시예들에 따른 얼굴 검출 장치를 나타내는 블록도이다.
도 17을 참조하면, 얼굴 검출 장치(100a)는 영상 촬상 모듈(200a) 및 데이터 처리 모듈(300a)을 포함한다. 얼굴 검출 장치(100a)는 거리 측정 모듈(400)을 더 포함할 수 있다.
영상 촬상 모듈(200a)은 초점이 맞춰지지 않은(unfocused) 피사체(10)에 대한 영상 정보를 포함하는 제1 영상(IMG1)을 획득한다. 영상 촬상 모듈(200a)은 제1 영상(IMG1)을 획득한 이후에, 초점이 맞춰진(focused) 피사체(10)에 대한 영상 정보를 포함하는 제2 영상을 획득할 수도 있다.
영상 촬상 모듈(200a)은 렌즈(210)를 포함하며, 센서(220a) 및 모터(230)를 더 포함할 수 있다.
렌즈(210)는 외부에서 수신되는 광 신호(LT)를 센서(220a)에 집중시킬 수 있다. 센서(220a)는 광 신호(LT)에 기초하여 제1 영상(IMG1)을 획득할 수 있다. 모터(230)는 데이터 처리 모듈(300a)에서 수신되는 제어 신호(CTR)에 기초하여 렌즈(210)의 위치를 제어할 수 있다. 한편, 영상 촬상 모듈(200a)은 상기 렌즈(210)의 위치(즉, 렌즈(210)의 현재 위치)를 나타내는 제1 신호(LP)를 발생할 수 있다.
일 실시예에서, 센서(220a)는 이미지 센서일 수 있다. 구체적으로, 센서(220a)는 상기 영상 정보를 포함하는 제1 영상(IMG1)을 획득할 수 있으며, 예를 들어 RGB 센서일 수 있다.
거리 측정 모듈(400)은 영상 촬상 모듈(200a)과 통신할 수 있으며, 피사체(10)에 대한 거리 정보(DSPR)에 상응하는 제1 데이터(PD)를 획득할 수 있다. 예를 들어, 제1 데이터(PD)는 위상 차 정보를 포함할 수 있으며, 제1 데이터(PD)에 기초하여 제1 영상(IMG1)이 획득되는 시점에서의 피사체(10)에 대한 거리 정보(DSPR)가 추출될 수 있다.
일 실시예에서, 거리 측정 모듈(400)은 이미지 센서를 포함할 수 있다. 상기 이미지 센서는 거리 정보(DSPR)에 상응하는 제1 데이터(PD)를 획득할 수 있으며, 예를 들어 깊이(depth) 센서일 수 있다.
데이터 처리 모듈(300a)은 제1 영상(IMG1)이 획득되는 시점에서의 렌즈(210)와 피사체(10) 사이의 의사 거리(pseudo-distance)를 획득하고, 상기 의사 거리에 기초하여 얼굴 검출 동작을 수행하기 위한 스케일링 값(SL)을 복수의 비율들 중 제1 비율로 결정하며, 상기 제1 비율을 기준으로 스케일링 값(SL)을 선택적으로 변경하여 제1 영상(IMG1)에 대한 상기 얼굴 검출 동작을 수행한다.
데이터 처리 모듈(300a)은 연산부(310a), 추정부(320) 및 검출부(330)를 포함할 수 있으며, 제어부(340)를 더 포함할 수 있다.
연산부(310a)는 제1 데이터(PD)에 기초하여 제1 영상(IMG1)이 획득되는 시점에서의 피사체(10)에 대한 거리 정보(DSPR)를 추출할 수 있다. 거리 정보(DSPR)는 상기 디스패리티 값을 포함할 수 있다. 추정부(320)는 영상 촬상 모듈(200a)로부터 제1 영상(IMG1)이 획득되는 시점에서의 상기 렌즈(210)의 위치를 나타내는 제1 신호(LP)를 수신할 수 있고, 거리 정보(DSPR) 및 상기 렌즈(210)의 위치에 기초하여 상기 의사 거리를 연산할 수 있으며, 상기 의사 거리에 기초하여 스케일링 값(SL)을 결정할 수 있다. 검출부(330)는 스케일링 값(SL)에 기초하여 제1 영상(IMG1)에 대한 상기 얼굴 검출 동작을 수행할 수 있으며, 상기 얼굴 검출 동작의 결과를 나타내는 검출 신호(DR)를 발생할 수 있다. 제어부(340)는 거리 정보(DSPR)에 기초하여 상기 렌즈(210)의 위치를 제어하기 위한 제어 신호(CTR)를 발생할 수 있다.
거리 정보(DSPR)에 상응하는 제1 데이터(PD)를 획득하는 거리 측정 모듈(400)과 상기 영상 정보를 포함하는 제1 영상(IMG1)을 획득하는 영상 촬상 모듈(200a)이 분리되어 있는 것을 제외하면, 도 17의 얼굴 검출 장치(100a)는 도 1의 얼굴 검출 장치(100)와 실질적으로 동일할 수 있다.
본 발명의 실시예들에 따른 얼굴 검출 방법 및 이를 수행하는 얼굴 검출 장치에서는, 초점이 맞춰지지 않은 제1 영상(IMG1)에 기초하여 상기 얼굴 검출 동작을 수행한다. 구체적으로, 제1 영상(IMG1)이 획득되는 시점에서의 렌즈(210)와 피사체(10) 사이의 상기 의사 거리에 기초하여 상기 얼굴 검출 동작을 위한 스케일링 값(SL)의 초기 값을 결정할 수 있으며, 상기 초기 값을 기준으로 스케일링 값(SL)을 선택적으로 변경하여 제1 영상(IMG1)에 대한 상기 얼굴 검출 동작을 수행할 수 있다. 따라서, 스케일링 값(SL)의 초기 값을 결정하지 않고 상기 얼굴 검출 동작을 수행하는 경우와 비교하였을 때, 워크로드가 감소될 수 있다.
도 18은 본 발명의 실시예들에 따른 전자 시스템을 나타내는 블록도이다.
도 18을 참조하면, 전자 시스템(1000)은 프로세서(1010) 및 얼굴 검출 장치(100)를 포함한다. 전자 시스템(1000)은 통신(Connectivity)부(1020), 메모리 장치(1030), 사용자 인터페이스(1040) 및 파워 서플라이(1050)를 더 포함할 수 있다.
실시예에 따라서, 전자 시스템(1000)은 휴대폰(Mobile Phone), 스마트 폰(Smart Phone), 태블릿(Tablet) PC, 노트북(Laptop Computer), 개인 정보 단말기(Personal Digital Assistant; PDA), 휴대형 멀티미디어 플레이어(Portable Multimedia Player; PMP), 디지털 카메라(Digital Camera), 음악 재생기(Music Player), 휴대용 게임 콘솔(Portable Game Console), 네비게이션(Navigation) 시스템 등과 같은 임의의 모바일 기기일 수 있다.
프로세서(1010)는 특정 계산들 또는 태스크들과 같은 다양한 컴퓨팅 기능들을 실행할 수 있다. 예를 들어, 프로세서(1010)는 CPU(central processing unit), 마이크로프로세서, AP(application processor) 등과 같은 임의의 프로세서일 수 있다. 구체적으로, 전자 시스템(1000)이 상기와 같은 임의의 모바일 기기인 경우에, 프로세서(1010)는 모바일 기기를 구동하기 위한 운영 체제(Operating System; OS)를 실행할 수 있고, 인터넷 브라우저, 게임, 동영상, 카메라 등을 제공하는 다양한 어플리케이션들을 실행할 수 있다.
실시예에 따라서, 프로세서(1010)는 하나의 프로세서 코어(Single Core)를 포함하거나, 복수의 프로세서 코어들(Multi-Core)을 포함할 수 있다. 또한, 실시예에 따라서, 프로세서(1010)는 내부 또는 외부에 위치한 캐시 메모리(Cache Memory)를 더 포함할 수 있다.
통신부(1020)는 외부 장치와 통신을 수행할 수 있다. 예를 들어, 통신부(1020)는 범용 직렬 버스(Universal Serial Bus; USB) 통신, 이더넷(Ethernet) 통신, 근거리 무선 통신(Near Field Communication; NFC), 무선 식별(Radio Frequency Identification; RFID) 통신, 이동 통신(Mobile Telecommunication), 메모리 카드 통신 등을 수행할 수 있다. 예를 들어, 통신부(1020)는 베이스밴드 칩 셋(Baseband Chipset)을 포함할 수 있고, GSM, GPRS, WCDMA, HSxPA 등의 통신을 지원할 수 있다.
메모리 장치(1030)는 프로세서(1010)에 의해 처리되는 데이터를 저장하거나, 동작 메모리(Working Memory)로서 작동할 수 있다. 구체적으로, 전자 시스템(1000)이 상기와 같은 임의의 모바일 기기인 경우에, 메모리 장치(1030)는 모바일 기기를 부팅하기 위한 부트 이미지(boot image), 모바일 기기를 구동하기 위한 상기 운영 체제와 관련된 파일 시스템(file system), 모바일 기기와 연결되는 외부 장치와 관련된 장치 드라이버(device driver), 모바일 기기에서 실행되는 상기 어플리케이션 등을 저장할 수 있다. 예를 들어, 메모리 장치(1030)는 DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory), 모바일 DRAM, DDR SDRAM, LPDDR SDRAM, GDDR SDRAM, RDRAM 등과 같은 휘발성 메모리를 포함할 수도 있고, EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시 메모리(Flash Memory), PRAM(Phase Change Random Access Memory), RRAM(Resistance Random Access Memory), NFGM(Nano Floating Gate Memory), PoRAM(Polymer Random Access Memory), MRAM(Magnetic Random Access Memory), FRAM(Ferroelectric Random Access Memory) 등과 같은 비휘발성 메모리를 포함할 수도 있다.
사용자 인터페이스(1040)는 키패드, 버튼(도 20의 1043, 1045), 마이크(도 20의 1047), 터치 스크린(도 20의 1044) 등과 같은 하나 이상의 입력 장치, 및/또는 스피커(도 20의 1048), 디스플레이 장치(도 20의 1041) 등과 같은 하나 이상의 출력 장치를 포함할 수 있다. 파워 서플라이(1050)는 전자 시스템(1000)의 동작 전압을 공급할 수 있다.
얼굴 검출 장치(100)는 프로세서(1010)에 의해 제어되고, 초점이 맞춰지지 않은(unfocused) 피사체(10)에 대한 영상 정보를 포함하는 제1 영상(IMG1)에 대한 얼굴 검출 동작을 수행한다. 얼굴 검출 장치(100)는 도 1의 얼굴 검출 장치(100) 및 도 17의 얼굴 검출 장치(100a) 중 하나일 수 있으며, 도 2 내지 16을 참조하여 상술한 방식에 기초하여 동작할 수 있다. 예를 들어, 얼굴 검출 장치(100)는 영상 촬상 모듈(200) 및 데이터 처리 모듈(300)을 포함한다. 얼굴 검출 장치(100)는 제1 영상(IMG1)이 획득되는 시점에서의 영상 촬상 모듈(200)과 피사체(10) 사이의 상기 의사 거리에 기초하여 상기 얼굴 검출 동작을 위한 스케일링 값(SL)의 초기 값을 결정할 수 있다. 상기 초기 값을 기준으로 스케일링 값(SL)을 선택적으로 변경하여 제1 영상(IMG1)에 대한 상기 얼굴 검출 동작을 수행함으로써, 얼굴 검출 장치(100) 및 이를 포함하는 전자 시스템(1000)의 워크로드가 감소될 수 있다.
일 실시예에서, 얼굴 검출 장치(100)는(즉, 얼굴 검출 장치(100)에 포함되는 영상 촬상 모듈(200)은) 초점이 맞춰진(focused) 피사체(10)에 대한 영상 정보를 포함하는 제2 영상을 더 획득할 수 있다. 프로세서(1010)는 상기 얼굴 검출 동작을 수행하여 획득된 상기 제1 영상(IMG1)의 얼굴 영역에 상응하는 상기 제2 영상의 제1 영역에 대한 영상 처리를 수행할 수 있다. 예를 들어, 상기 영상 처리는 이미지 보간(Image Interpolation), 색 보정(Color Correction), 화이트 밸런스(White Balance), 감마 보정(Gamma Correction), 색 변환(Color Conversion) 등을 포함할 수 있다.
일 실시예에서, 본 발명의 실시예들에 따른 얼굴 검출 방법의 일부 또는 전부는 얼굴 검출 장치(100) 및/또는 프로세서(1010)에 의해 실행 가능한 프로그램(즉, 소프트웨어)의 형태로 구현되고 상기 프로그램은 메모리 장치(1030)에 저장될 수 있다. 다른 실시예에서, 본 발명의 실시예들에 따른 얼굴 검출 방법의 일부 또는 전부는 하드웨어로 구현되어 얼굴 검출 장치(100) 및/또는 프로세서(1010)에 포함될 수 있다.
도시하지는 않았지만, 얼굴 검출 장치(100)에 포함되는 데이터 처리 모듈(300)은 프로세서(1010)의 외부에 배치될 수 있다. 이와 다르게, 도 23 및 24를 참조하여 후술하는 것처럼, 데이터 처리 모듈(300)은 프로세서(1010)의 내부에 배치될 수도 있다. 또한, 도시하지는 않았지만, 전자 시스템(1000)은 상기 제2 영상의 제1 영역에 대한 상기 영상 처리를 수행하기 위한 별도의 영상 처리 모듈을 더 포함할 수도 있다.
전자 시스템(1000)이 상기와 같은 임의의 모바일 기기인 경우에, 모바일 기기 또는 모바일 기기의 구성요소들은 다양한 형태들의 패키지를 이용하여 실장될 수 있는데, 예를 들어, PoP(Package on Package), BGAs(Ball grid arrays), CSPs(Chip scale packages), PLCC(Plastic Leaded Chip Carrier), PDIP(Plastic Dual In-Line Package), Die in Waffle Pack, Die in Wafer Form, COB(Chip On Board), CERDIP(Ceramic Dual In-Line Package), MQFP(Plastic Metric Quad Flat Pack), TQFP(Thin Quad Flat-Pack), SOIC(Small Outline Integrated Circuit), SSOP(Shrink Small Outline Package), TSOP(Thin Small Outline Package), TQFP(Thin Quad Flat-Pack), SIP(System In Package), MCP(Multi Chip Package), WFP(Wafer-level Fabricated Package), WSP(Wafer-Level Processed Stack Package) 등과 같은 패키지들을 이용하여 실장될 수 있다.
이상, 전자 시스템(1000)이 모바일 기기인 경우에 기초하여 본 발명의 실시예들을 설명하였으나, 전자 시스템(1000)은 개인용 컴퓨터(Personal Computer; PC), 서버 컴퓨터(Server Computer), 워크스테이션(Workstation), 노트북(Laptop), 휴대폰, 스마트 폰, PDA, PMP, 디지털 카메라, 캠코더(Camcoder), 디지털 TV(Digital Television), 셋-탑 박스(Set-Top Box), 음악 재생기, 휴대용 게임 콘솔, 네비게이션 시스템 등과 같은 임의의 컴퓨팅 시스템일 수도 있다.
도 19는 본 발명의 실시예들에 따른 영상 처리 방법을 나타내는 순서도이다.
도 18 및 19를 참조하면, 본 발명의 실시예들에 따른 영상 처리 방법에서는, 영상 촬상 모듈(200)을 이용하여 제1 영상(IMG1)을 획득한다(단계 S100). 제1 영상(IMG1)이 획득되는 시점에서의 상기 의사 거리를 획득한다(단계 S200). 상기 의사 거리에 기초하여 스케일링 값(SL)을 상기 복수의 비율들 중 상기 제1 비율로 결정한다(단계 S300). 상기 제1 비율을 기준으로 스케일링 값(SL)을 선택적으로 변경하여 제1 영상(IMG1)에 대한 상기 얼굴 검출 동작을 수행한다(단계 S400). 도 19의 단계 S100, S200, S300 및 S400은 도 2의 단계 S100, S200, S300 및 S400과 각각 실질적으로 동일할 수 있다.
영상 촬상 모듈(200)을 이용하여 상기 제2 영상을 더 획득할 수 있다(단계 S500). 상기 제2 영상은 초점이 맞춰진(focused) 피사체(10)에 대한 영상 정보를 포함하는 영상일 수 있다.
상기 얼굴 검출 동작을 수행하여 획득된 상기 제1 영상(IMG1)의 얼굴 영역에 상응하는 상기 제2 영상의 제1 영역에 대한 영상 처리를 수행할 수 있다(단계 S600). 상술한 것처럼, 상기 영상 처리는 이미지 보간, 색 보정, 화이트 밸런스, 감마 보정, 색 변환(Color Conversion) 등을 포함할 수 있다.
도 19의 단계 S600은 프로세서(1010)에 의해 수행될 수 있다.
도 20은 본 발명의 실시예들에 따른 전자 시스템이 모바일 기기로 구현된 일 예를 나타내는 평면도이다.
도 20을 참조하면, 모바일 기기(1000)는 얼굴 검출 장치(100), 디스플레이 장치(1041), 터치 스크린(1044), 버튼들(1043, 1045), 마이크(1047) 및 스피커(1048)를 포함할 수 있다.
얼굴 검출 장치(100)는 도 1의 얼굴 검출 장치(100)일 수 있으며, 도 2 내지 16을 참조하여 상술한 방식에 기초하여 동작할 수 있다. 얼굴 검출 장치(100)는 영상 촬상 모듈(200) 및 데이터 처리 모듈(도 1의 300)을 포함할 수 있으며, 의사 거리에 기초하여 초점이 맞춰지지 않은 제1 영상(IMG1)에 대한 얼굴 검출 동작을 수행할 수 있다.
일 실시예에서, 영상 촬상 모듈(200)은 모바일 기기(1000)의 제1 면(예를 들어, 전면)에 장착될 수 있다. 도 20에서는 영상 촬상 모듈(200)이 모바일 기기(1000)의 전면의 좌측 상단부에 배치되는 것으로 도시하였으나, 영상 촬상 모듈(200)은 모바일 기기(1000) 내의 임의의 위치에 배치될 수 있다.
디스플레이 장치(1041)는 모바일 기기(1000)의 상기 제1 면에 장착되며, 상기 얼굴 검출 동작의 경과 및 결과를 표시할 수 있다. 디스플레이 장치(1041)는 이미지(영상)를 표시하도록 구성된 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode) 디스플레이, FED(Field Emission Display) 등의 다양한 타입의 디스플레이 패널을 포함할 수 있다.
터치 스크린(1044) 및 버튼들(1043, 1045)은 사용자의 입력을 수신할 수 있으며, 상기 사용자의 입력에 기초하여 사용자가 의도한 기능(예를 들어, 목표 동작)을 수행하기 위한 입력 신호를 발생할 수 있다. 예를 들어, 사용자의 손가락, 스타일러스 펜 등이 터치 스크린(1044)의 표면에 접촉됨으로써 사용자가 의도한 기능이 수행될 수 있고, 사용자의 손가락 등이 버튼들(1043, 1045)을 누름으로써 사용자가 의도한 기능이 수행될 수 있다. 버튼(1043)은 모바일 기기(1000)를 활성화 또는 비활성화시키는 전원 버튼일 수 있다. 마이크(1047)는 음성 인식을 수행할 수 있고, 스피커(1048)는 음성 출력을 수행할 수 있다.
일 실시예에서, 터치 스크린(1044)은 정전용량(capacitive) 방식, 저항(resistive) 방식, 초음파 방식 등과 같은 다양한 방식의 터치 스크린들 중 하나일 수 있으며, 터치 스크린(1044)과 디스플레이 장치(1041)는 서로 중첩되도록 일체적으로 배치될 수 있다. 실시예에 따라서, 버튼들(1043, 1045), 마이크(1047) 및 스피커(1048) 중 적어도 하나는 생략될 수 있다.
도 21a 및 21b는 본 발명의 실시예들에 따른 얼굴 검출 장치에 포함되는 센서의 예들을 나타내는 도면들이다.
도 1, 20, 21a 및 21b를 참조하면, 센서(220)는 3차원 컬러 이미지 센서일 수 있으며, 복수의 거리 픽셀들 및 복수의 컬러 픽셀들을 포함할 수 있다. 실시예에 따라서, 센서(220)는 다양한 개수 비 및 사이즈 비로 거리 픽셀들 및 컬러 픽셀들을 포함할 수 있다. 예를 들어, 도 21a에 도시된 것처럼 센서(220a)는 거리 픽셀들(221a) 및 컬러 픽셀들(223a)을 포함할 수도 있고, 도 21b에 도시된 것처럼 센서(220b)는 거리 픽셀들(221b) 및 컬러 픽셀들(223b)을 포함할 수도 있다. 일 실시예에서, 적외선(또는 근적외선) 필터가 상기 거리 픽셀들 상에 형성되고, 컬러 필터(예를 들어, 레드, 그린 및 블루 필터들)가 상기 컬러 픽셀들 상에 형성될 수 있다.
도 22는 본 발명의 실시예들에 따른 전자 시스템이 모바일 기기로 구현된 다른 예를 나타내는 평면도이다.
도 22를 참조하면, 모바일 기기(1000a)는 얼굴 검출 장치(100a), 디스플레이 장치(1041), 터치 스크린(1044), 버튼들(1043, 1045), 마이크(1047) 및 스피커(1048)를 포함할 수 있다.
얼굴 검출 장치(100a)는 도 17의 얼굴 검출 장치(100a)일 수 있으며, 도 2 내지 16을 참조하여 상술한 방식에 기초하여 동작할 수 있다. 얼굴 검출 장치(100a)는 영상 촬상 모듈(200a), 데이터 처리 모듈(도 17의 300a) 및 거리 측정 모듈(400)을 포함할 수 있으며, 의사 거리에 기초하여 초점이 맞춰지지 않은 제1 영상(IMG1)에 대한 얼굴 검출 동작을 수행할 수 있다.
도 22의 디스플레이 장치(1041), 터치 스크린(1044), 버튼들(1043, 1045), 마이크(1047) 및 스피커(1048)는 도 20의 디스플레이 장치(1041), 터치 스크린(1044), 버튼들(1043, 1045), 마이크(1047) 및 스피커(1048)와 각각 실질적으로 동일할 수 있다.
도 23 및 24는 본 발명의 실시예들에 따른 전자 시스템을 나타내는 블록도들이다.
도 23을 참조하면, 전자 시스템(1100)은 프로세서(1110) 및 얼굴 검출 장치(100)를 포함한다. 전자 시스템(1100)은 통신부(1020), 메모리 장치(1030), 사용자 인터페이스(1040) 및 파워 서플라이(1050)를 더 포함할 수 있다.
프로세서(1110)는 특정 계산들 또는 태스크들과 같은 다양한 컴퓨팅 기능들을 실행할 수 있다. 얼굴 검출 장치(100)는 프로세서(1110)에 의해 제어되고, 초점이 맞춰지지 않은(unfocused) 피사체(10)에 대한 영상 정보를 포함하는 제1 영상(IMG1)에 대한 얼굴 검출 동작을 수행한다. 얼굴 검출 장치(100)는 도 1의 얼굴 검출 장치(100)일 수 있다. 예를 들어, 얼굴 검출 장치(100)는 영상 촬상 모듈(200) 및 데이터 처리 모듈(300)을 포함한다.
얼굴 검출 장치(100)에 포함되는 데이터 처리 모듈(300)은 프로세서(1110)의 내부에 배치될 수 있다.
도 23의 통신부(1020), 메모리 장치(1030), 사용자 인터페이스(1040) 및 파워 서플라이(1050)는 도 18의 통신부(1020), 메모리 장치(1030), 사용자 인터페이스(1040) 및 파워 서플라이(1050)와 각각 실질적으로 동일할 수 있다.
도 24를 참조하면, 전자 시스템(1100a)은 프로세서(1110a) 및 얼굴 검출 장치(100a)를 포함한다. 전자 시스템(1100a)은 통신부(1020), 메모리 장치(1030), 사용자 인터페이스(1040) 및 파워 서플라이(1050)를 더 포함할 수 있다.
프로세서(1110a)는 특정 계산들 또는 태스크들과 같은 다양한 컴퓨팅 기능들을 실행할 수 있다. 얼굴 검출 장치(100a)는 프로세서(1110a)에 의해 제어되고, 초점이 맞춰지지 않은(unfocused) 피사체(10)에 대한 영상 정보를 포함하는 제1 영상(IMG1)에 대한 얼굴 검출 동작을 수행한다. 얼굴 검출 장치(100a)는 도 17의 얼굴 검출 장치(100a)일 수 있다. 예를 들어, 얼굴 검출 장치(100a)는 영상 촬상 모듈(200a), 데이터 처리 모듈(300a) 및 거리 측정 모듈(400)을 포함할 수 있다.
얼굴 검출 장치(100a)에 포함되는 데이터 처리 모듈(300a)은 프로세서(1110a)의 내부에 배치될 수 있다.
도 24의 통신부(1020), 메모리 장치(1030), 사용자 인터페이스(1040) 및 파워 서플라이(1050)는 도 18의 통신부(1020), 메모리 장치(1030), 사용자 인터페이스(1040) 및 파워 서플라이(1050)와 각각 실질적으로 동일할 수 있다.
본 발명은 얼굴 검출 동작을 수행하는 장치 및 이를 포함하는 다양한 장치 및 시스템에 적용될 수 있다. 따라서 본 발명은 휴대폰, 스마트 폰, PDA, PMP, 디지털 카메라, 캠코더, PC, 서버 컴퓨터, 워크스테이션, 노트북, 디지털 TV, 셋-탑 박스, 음악 재생기, 휴대용 게임 콘솔, 네비게이션 시스템, 스마트 카드, 프린터 등과 같은 다양한 전자 기기에 유용하게 이용될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.

Claims (20)

  1. 영상 촬상 모듈을 이용하여, 초점이 맞춰지지 않은(unfocused) 피사체에 대한 영상 정보를 포함하는 제1 영상을 획득하는 단계;
    상기 제1 영상이 획득되는 시점에서의 상기 영상 촬상 모듈과 상기 피사체 사이의 의사 거리(pseudo-distance)를 획득하는 단계;
    상기 의사 거리에 기초하여 얼굴 검출 동작을 수행하기 위한 스케일링 값을 복수의 비율들 중 제1 비율로 결정하는 단계; 및
    상기 제1 비율을 기준으로 상기 스케일링 값을 선택적으로 변경하여 상기 제1 영상에 대한 상기 얼굴 검출 동작을 수행하는 단계를 포함하고,
    상기 스케일링 값을 상기 제1 비율로 결정하는 단계는,
    예측 얼굴 크기에 대한 상기 얼굴 검출 동작을 수행하는 얼굴 분류기(classifier)의 기준 윈도우의 크기의 비율인 예측 비율을 연산하는 단계; 및
    상기 복수의 비율들 중 상기 예측 비율과 가장 근사한 상기 제1 비율을 상기 스케일링 값으로 선택하는 단계를 포함하는 얼굴 검출 방법.
  2. 제 1 항에 있어서, 상기 의사 거리를 획득하는 단계는,
    상기 제1 영상이 획득되는 시점에서의 상기 피사체에 대한 거리 정보를 추출하는 단계;
    상기 제1 영상이 획득되는 시점에서의 상기 영상 촬상 모듈에 포함되는 렌즈의 위치를 검출하는 단계; 및
    상기 거리 정보 및 상기 렌즈의 위치에 기초하여 상기 의사 거리를 연산하는 단계를 포함하는 것을 특징으로 하는 얼굴 검출 방법.
  3. 제 2 항에 있어서,
    상기 거리 정보는 상기 렌즈의 제1 부분을 통해 입사되는 제1 피사체 영상 및 상기 렌즈의 제2 부분을 통해 입사되는 제2 피사체 영상 사이의 위상 차이에 상응하는 디스패리티(disparity) 값을 포함하는 것을 특징으로 하는 얼굴 검출 방법.
  4. 제 2 항에 있어서, 상기 영상 촬상 모듈은,
    상기 거리 정보에 상응하는 제1 데이터 및 상기 영상 정보를 포함하는 상기 제1 영상을 동시에 획득하는 것을 특징으로 하는 얼굴 검출 방법.
  5. 제 1 항에 있어서, 상기 스케일링 값을 상기 제1 비율로 결정하는 단계는,
    상기 의사 거리, 상기 영상 촬상 모듈의 화각(Field of View; FOV) 및 기준 얼굴 크기에 기초하여 상기 제1 영상에 포함될 수 있는 상기 예측 얼굴 크기를 연산하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 검출 방법.
  6. 제 5 항에 있어서,
    상기 예측 얼굴 크기와 상기 얼굴 검출 동작을 수행하여 획득된 얼굴 영역의 크기가 서로 다른 경우에,
    상기 제1 영상 이후에 획득된 제2 영상에 대한 상기 얼굴 검출 동작을 수행하는데 있어서, 상기 복수의 비율들 중 상기 제1 비율과 다른 제2 비율로 상기 스케일링 값을 결정하고, 상기 제2 비율을 기준으로 상기 스케일링 값을 선택적으로 변경하여 상기 제2 영상에 대한 상기 얼굴 검출 동작을 수행하는 것을 특징으로 하는 얼굴 검출 방법.
  7. 영상 촬상 모듈을 이용하여, 초점이 맞춰지지 않은(unfocused) 피사체에 대한 영상 정보를 포함하는 제1 영상을 획득하는 단계;
    상기 제1 영상이 획득되는 시점에서의 상기 영상 촬상 모듈과 상기 피사체 사이의 의사 거리(pseudodistance)를 획득하는 단계;
    상기 의사 거리에 기초하여 얼굴 검출 동작을 수행하기 위한 스케일링 값을 복수의 비율들 중 제1 비율로 결정하는 단계; 및
    상기 제1 비율을 기준으로 상기 스케일링 값을 선택적으로 변경하여 상기 제1 영상에 대한 상기 얼굴 검출 동작을 수행하는 단계를 포함하고,
    상기 얼굴 검출 동작을 수행하는 단계는,
    상기 제1 비율을 가지는 상기 스케일링 값을 기초로 상기 제1 영상을 스케일링하여 제2 영상을 획득하는 단계;
    얼굴 분류기에 기초하여 상기 제2 영상을 분석하는 단계; 및
    상기 제2 영상에 대한 분석 결과 상기 얼굴 분류기의 기준 윈도우에 상응하는 얼굴 영역이 검출된 경우에, 상기 얼굴 검출 동작을 종료하는 단계를 포함하는 것을 특징으로 하는 얼굴 검출 방법.
  8. 제 7 항에 있어서, 상기 얼굴 검출 동작을 수행하는 단계는,
    상기 제2 영상에 대한 분석 결과 상기 얼굴 영역이 검출되지 않은 경우에, 상기 복수의 비율들 중 상기 제1 비율과의 차이가 가장 작은 제2 비율로 상기 스케일링 값을 변경하는 단계;
    상기 제2 비율을 가지는 상기 스케일링 값을 기초로 상기 제1 영상을 스케일링하여 제3 영상을 획득하는 단계; 및
    상기 얼굴 분류기에 기초하여 상기 제3 영상을 분석하는 단계를 더 포함하는 것을 특징으로 하는 얼굴 검출 방법.
  9. 영상 촬상 모듈을 이용하여, 초점이 맞춰지지 않은(unfocused) 피사체에 대한 영상 정보를 포함하는 제1 영상을 획득하는 단계;
    상기 제1 영상이 획득되는 시점에서의 상기 영상 촬상 모듈과 상기 피사체 사이의 의사 거리(pseudodistance)를 획득하는 단계;
    상기 의사 거리에 기초하여 얼굴 검출 동작을 수행하기 위한 스케일링 값을 복수의 비율들 중 제1 비율로 결정하는 단계; 및
    상기 제1 비율을 기준으로 상기 스케일링 값을 선택적으로 변경하여 상기 제1 영상에 대한 상기 얼굴 검출 동작을 수행하는 단계를 포함하고,
    상기 얼굴 검출 동작을 수행하는 단계는,
    상기 제1 비율을 가지는 상기 스케일링 값을 기초로 얼굴 분류기의 기준 윈도우를 스케일링하는 단계;
    상기 얼굴 분류기에 기초하여 상기 제1 영상을 분석하는 단계; 및
    상기 제1 영상에 대한 분석 결과 상기 얼굴 분류기의 기준 윈도우에 상응하는 얼굴 영역이 검출된 경우에, 상기 얼굴 검출 동작을 종료하는 단계를 포함하는 것을 특징으로 하는 얼굴 검출 방법.
  10. 제 1 항에 있어서,
    상기 의사 거리를 획득하는 단계, 상기 스케일링 값을 결정하는 단계 및 상기 얼굴 검출 동작을 수행하는 단계는 상기 영상 촬상 모듈과 별도로 구현되는 데이터 처리 모듈에 의해 실행되는 것을 특징으로 하는 얼굴 검출 방법.
  11. 영상 촬상 모듈을 이용하여, 초점이 맞춰지지 않은(unfocused) 피사체에 대한 영상 정보를 포함하는 제1 영상을 획득하는 단계;
    상기 제1 영상이 획득되는 시점에서의 상기 영상 촬상 모듈과 상기 피사체 사이의 의사 거리(pseudo-distance)를 획득하는 단계;
    상기 의사 거리에 기초하여 얼굴 검출 동작을 수행하기 위한 스케일링 값을 복수의 비율들 중 제1 비율로 결정하는 단계;
    상기 제1 비율을 기준으로 상기 스케일링 값을 선택적으로 변경하여 상기 제1 영상에 대한 상기 얼굴 검출 동작을 수행하는 단계;
    상기 영상 촬상 모듈을 이용하여, 초점이 맞춰진(focused) 상기 피사체에 대한 영상 정보를 포함하는 제2 영상을 획득하는 단계; 및
    상기 얼굴 검출 동작을 수행하여 획득된 상기 제1 영상의 얼굴 영역에 상응하는 상기 제2 영상의 제1 영역에 대한 영상 처리를 수행하는 단계를 포함하는 영상 처리 방법.
  12. 초점이 맞춰지지 않은(unfocused) 피사체에 대한 영상 정보를 포함하는 제1 영상을 획득하는 영상 촬상 모듈; 및
    상기 제1 영상이 획득되는 시점에서의 상기 영상 촬상 모듈과 상기 피사체 사이의 의사 거리(pseudo-distance)를 획득하고, 상기 의사 거리에 기초하여 얼굴 검출 동작을 수행하기 위한 스케일링 값을 복수의 비율들 중 제1 비율로 결정하며, 상기 제1 비율을 기준으로 상기 스케일링 값을 선택적으로 변경하여 상기 제1 영상에 대한 상기 얼굴 검출 동작을 수행하는 데이터 처리 모듈을 포함하고,
    상기 데이터 처리 모듈은, 예측 얼굴 크기에 대한 상기 얼굴 검출 동작을 수행하는 얼굴 분류기(classifier)의 기준 윈도우의 크기의 비율인 예측 비율을 연산하고, 상기 복수의 비율들 중 상기 예측 비율과 가장 근사한 상기 제1 비율을 상기 스케일링 값으로 선택하는 얼굴 검출 장치.
  13. 초점이 맞춰지지 않은(unfocused) 피사체에 대한 영상 정보를 포함하는 제1 영상을 획득하는 영상 촬상 모듈; 및
    상기 제1 영상이 획득되는 시점에서의 상기 영상 촬상 모듈과 상기 피사체 사이의 의사 거리(pseudodistance)를 획득하고, 상기 의사 거리에 기초하여 얼굴 검출 동작을 수행하기 위한 스케일링 값을 복수의 비율들 중 제1 비율로 결정하며, 상기 제1 비율을 기준으로 상기 스케일링 값을 선택적으로 변경하여 상기 제1 영상에 대한 상기 얼굴 검출 동작을 수행하는 데이터 처리 모듈을 포함하고,
    상기 데이터 처리 모듈은,
    상기 제1 영상이 획득되는 시점에서의 상기 피사체에 대한 거리 정보를 추출하는 연산부;
    상기 영상 촬상 모듈로부터 상기 제1 영상이 획득되는 시점에서의 상기 영상 촬상 모듈에 포함되는 렌즈의 위치를 검출하고, 상기 거리 정보 및 상기 렌즈의 위치에 기초하여 상기 의사 거리를 연산하며, 상기 의사 거리에 기초하여 상기 스케일링 값을 결정하는 추정부; 및
    상기 스케일링 값에 기초하여 상기 제1 영상에 대한 상기 얼굴 검출 동작을 수행하는 검출부를 포함하는 것을 특징으로 하는 얼굴 검출 장치.
  14. 제 13 항에 있어서,
    상기 거리 정보는 상기 렌즈의 제1 부분을 통해 입사되는 제1 피사체 영상 및 상기 렌즈의 제2 부분을 통해 입사되는 제2 피사체 영상 사이의 위상 차이에 상응하는 디스패리티(disparity) 값을 포함하며,
    상기 추정부는 상기 거리 정보 및 상기 렌즈의 위치에 기초하여 상기 스케일링 값을 결정하는 룩업 테이블을 저장하는 것을 특징으로 하는 얼굴 검출 장치.
  15. 제 13 항에 있어서, 상기 검출부는,
    상기 제1 비율을 가지는 상기 스케일링 값을 기초로 상기 제1 영상을 스케일링하여 제2 영상을 획득하는 스케일링부; 및
    얼굴 분류기에 기초하여 상기 제2 영상을 분석하는 영상 분석부를 포함하는 것을 특징으로 하는 얼굴 검출 장치.
  16. 제 13 항에 있어서, 상기 검출부는,
    상기 제1 비율을 가지는 상기 스케일링 값을 기초로 얼굴 분류기의 기준 윈도우를 스케일링하는 스케일링부; 및
    상기 얼굴 분류기에 기초하여 상기 제1 영상을 분석하는 영상 분석부를 포함하는 것을 특징으로 하는 얼굴 검출 장치.
  17. 제 13 항에 있어서,
    상기 영상 촬상 모듈은 상기 거리 정보에 상응하는 제1 데이터 및 상기 영상 정보를 포함하는 상기 제1 영상을 동시에 획득하며,
    상기 연산부는 상기 영상 촬상 모듈로부터 수신된 상기 제1 데이터에 기초하여 상기 거리 정보를 추출하는 것을 특징으로 하는 얼굴 검출 장치.
  18. 제 13 항에 있어서,
    상기 거리 정보에 상응하는 제1 데이터를 획득하는 거리 측정 모듈을 더 포함하며,
    상기 연산부는 상기 거리 측정 모듈로부터 수신된 상기 제1 데이터에 기초하여 상기 거리 정보를 추출하는 것을 특징으로 하는 얼굴 검출 장치.
  19. 제 13 항에 있어서,
    상기 데이터 처리 모듈은, 상기 거리 정보에 기초하여 제1 제어 신호를 발생하는 제어부를 더 포함하고,
    상기 영상 촬상 모듈은, 상기 제1 제어 신호에 기초하여 상기 렌즈의 위치를 제어하는 모터를 더 포함하는 것을 특징으로 하는 얼굴 검출 장치.
  20. 프로세서; 및
    상기 프로세서에 의해 제어되고, 초점이 맞춰지지 않은(unfocused) 피사체에 대한 영상 정보를 포함하는 제1 영상에 대한 얼굴 검출 동작을 수행하는 얼굴 검출 장치를 포함하고,
    상기 얼굴 검출 장치는,
    상기 제1 영상을 획득하는 영상 촬상 모듈; 및
    상기 제1 영상이 획득되는 시점에서의 상기 영상 촬상 모듈과 상기 피사체 사이의 의사 거리(pseudo-distance)를 획득하고, 상기 의사 거리에 기초하여 얼굴 검출 동작을 수행하기 위한 스케일링 값을 복수의 비율들 중 제1 비율로 결정하며, 상기 제1 비율을 기준으로 상기 스케일링 값을 선택적으로 변경하여 상기 제1 영상에 대한 상기 얼굴 검출 동작을 수행하는 데이터 처리 모듈을 포함하고,
    상기 데이터 처리 모듈은, 예측 얼굴 크기에 대한 상기 얼굴 검출 동작을 수행하는 얼굴 분류기(classifier)의 기준 윈도우의 크기의 비율인 예측 비율을 연산하고, 상기 복수의 비율들 중 상기 예측 비율과 가장 근사한 상기 제1 비율을 상기 스케일링 값으로 선택하는 전자 시스템.
KR1020140187831A 2014-12-24 2014-12-24 얼굴 검출 방법, 영상 처리 방법, 얼굴 검출 장치 및 이를 포함하는 전자 시스템 KR102360424B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140187831A KR102360424B1 (ko) 2014-12-24 2014-12-24 얼굴 검출 방법, 영상 처리 방법, 얼굴 검출 장치 및 이를 포함하는 전자 시스템
US14/973,953 US9824261B2 (en) 2014-12-24 2015-12-18 Method of face detection, method of image processing, face detection device and electronic system including the same
CN201510984693.7A CN105744151B (zh) 2014-12-24 2015-12-24 脸部检测方法、脸部检测装置和图像拾取设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140187831A KR102360424B1 (ko) 2014-12-24 2014-12-24 얼굴 검출 방법, 영상 처리 방법, 얼굴 검출 장치 및 이를 포함하는 전자 시스템

Publications (2)

Publication Number Publication Date
KR20160077666A KR20160077666A (ko) 2016-07-04
KR102360424B1 true KR102360424B1 (ko) 2022-02-09

Family

ID=56164563

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140187831A KR102360424B1 (ko) 2014-12-24 2014-12-24 얼굴 검출 방법, 영상 처리 방법, 얼굴 검출 장치 및 이를 포함하는 전자 시스템

Country Status (3)

Country Link
US (1) US9824261B2 (ko)
KR (1) KR102360424B1 (ko)
CN (1) CN105744151B (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10027883B1 (en) * 2014-06-18 2018-07-17 Amazon Technologies, Inc. Primary user selection for head tracking
US10594974B2 (en) 2016-04-07 2020-03-17 Tobii Ab Image sensor for vision based on human computer interaction
ES2847200T3 (es) * 2016-04-07 2021-08-02 Tobii Ab Sensor de imágenes para interacción humano-ordenador basada en visión por ordenador
US10764515B2 (en) 2016-07-05 2020-09-01 Futurewei Technologies, Inc. Image sensor method and apparatus equipped with multiple contiguous infrared filter elements
JP2019083501A (ja) * 2017-10-27 2019-05-30 ソニーセミコンダクタソリューションズ株式会社 撮像装置
KR102459853B1 (ko) * 2017-11-23 2022-10-27 삼성전자주식회사 디스패리티 추정 장치 및 방법
US11763538B2 (en) * 2018-08-31 2023-09-19 Canon Kabushiki Kaisha Image processing apparatus and electronic apparatus

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010117489A (ja) * 2008-11-12 2010-05-27 Canon Inc 撮像装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7872670B2 (en) 2002-04-22 2011-01-18 Sanyo Electric Co., Ltd. Camera performing photographing in accordance with photographing mode depending on object scene
JP4126721B2 (ja) 2002-12-06 2008-07-30 富士フイルム株式会社 顔領域抽出方法及び装置
JP4264660B2 (ja) * 2006-06-09 2009-05-20 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP5014241B2 (ja) * 2007-08-10 2012-08-29 キヤノン株式会社 撮像装置、およびその制御方法
JP4544282B2 (ja) 2007-09-14 2010-09-15 ソニー株式会社 データ処理装置、およびデータ処理方法、並びにプログラム
WO2009038146A1 (ja) 2007-09-20 2009-03-26 Canon Kabushiki Kaisha 画像検出装置および画像検出方法
CN101430477B (zh) 2007-11-09 2011-06-08 鸿富锦精密工业（深圳）有限公司 判断被摄物体距离的方法
KR101033098B1 (ko) 2009-02-09 2011-05-06 성균관대학교산학협력단 실시간 얼굴 검출 장치
US8570429B2 (en) 2009-02-27 2013-10-29 Samsung Electronics Co., Ltd. Image processing method and apparatus and digital photographing apparatus using the same
TW201224955A (en) 2010-12-15 2012-06-16 Ind Tech Res Inst System and method for face detection using face region location and size predictions and computer program product thereof
CN102096810B (zh) * 2011-01-26 2017-06-30 北京中星微电子有限公司 一种电脑前疲劳状态的检测方法和装置
CN102855459B (zh) * 2011-06-30 2015-11-25 株式会社理光 用于特定前景物体的检测验证的方法和系统
JP5821457B2 (ja) 2011-09-20 2015-11-24 ソニー株式会社 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるためのプログラム
CN102833486B (zh) * 2012-07-05 2016-09-21 深圳泰山体育科技股份有限公司 一种实时调节视频图像中人脸显示比例的方法及装置
US9047504B1 (en) * 2013-08-19 2015-06-02 Amazon Technologies, Inc. Combined cues for face detection in computing devices

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010117489A (ja) * 2008-11-12 2010-05-27 Canon Inc 撮像装置

Also Published As

Publication number Publication date
US20160188963A1 (en) 2016-06-30
CN105744151A (zh) 2016-07-06
CN105744151B (zh) 2020-09-04
US9824261B2 (en) 2017-11-21
KR20160077666A (ko) 2016-07-04

Similar Documents

Publication Publication Date Title
KR102360424B1 (ko) 얼굴 검출 방법, 영상 처리 방법, 얼굴 검출 장치 및 이를 포함하는 전자 시스템
US10455141B2 (en) Auto-focus method and apparatus and electronic device
US10291842B2 (en) Digital photographing apparatus and method of operating the same
CN109565551B (zh) 对齐于参考帧合成图像
US9538065B2 (en) System and method for multi-focus imaging
TWI706379B (zh) 圖像處理方法及裝置、電子設備和儲存介質
US8718459B2 (en) Method and digital camera having improved autofocus
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
JP6447840B2 (ja) 画像装置、及び画像装置における自動的な焦点合わせのための方法、並びに対応するコンピュータプログラム
US9838594B2 (en) Irregular-region based automatic image correction
EP3366035B1 (en) Multiple camera autofocus synchronization
TWI451184B (zh) 焦距調整方法與相關影像擷取裝置
TWI613904B (zh) 立體影像產生方法及使用此方法的電子裝置
KR20130103217A (ko) 블러화된 이미지의 제공 장치 및 블러화된 이미지의 제공 방법
US20220279127A1 (en) Image signal processor for performing auto zoom and auto focus, image processing method thereof, and image processing system including the image signal processor
JP2020086216A (ja) 撮像制御装置、撮像装置及び撮像制御プログラム
TW201642008A (zh) 影像擷取裝置及其動態對焦方法
TW201631349A (zh) 影像擷取裝置及其自動對焦方法
CN108337425B (zh) 影像撷取装置及其对焦方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right