KR20140055935A - 헤드 포즈 추정을 위한 장치 및 방법 - Google Patents

헤드 포즈 추정을 위한 장치 및 방법 Download PDF

Info

Publication number
KR20140055935A
KR20140055935A KR1020130057562A KR20130057562A KR20140055935A KR 20140055935 A KR20140055935 A KR 20140055935A KR 1020130057562 A KR1020130057562 A KR 1020130057562A KR 20130057562 A KR20130057562 A KR 20130057562A KR 20140055935 A KR20140055935 A KR 20140055935A
Authority
KR
South Korea
Prior art keywords
head
pitch
angle
deflection
depth
Prior art date
Application number
KR1020130057562A
Other languages
English (en)
Inventor
롱 리우
마오린 첸
판 장
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/065,833 priority Critical patent/US9406135B2/en
Publication of KR20140055935A publication Critical patent/KR20140055935A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

헤드 포즈 추정을 위한 장치 및 방법을 제공한다. 상기 장치는, 입력된 깊이 영상으로부터 헤드 영역(head area)을 추출하는 헤드 영역 추출부; 상기 헤드 영역에서 헤드의 피치각(pitch angle)을 추정하는 헤드 피치각 추정부; 상기 헤드 영역에서 헤드의 편향각(deflection angel)을 추정하는 헤드 편향각 추정부; 및 상기 추정된 헤드의 피치각 및 상기 추정된 헤드의 편향각에 기초하여 헤드 포즈를 합성하는 헤드 포즈 합성부를 포함한다. 상기 장치 및 방법에 따라 조명 변화의 영향을 받지 않게 우수한 헤드 포즈 식별 결과를 획득할 수 있다.

Description

헤드 포즈 추정을 위한 장치 및 방법{DEVICE AND METHOD FOR HEAD POSE ESTIMATING}
아래의 설명은 인체의 헤드 포즈(head pose)를 추정하는 기술에 관한 것으로, 특히 깊이 영상(depth image)에 기초하여 헤드 포즈를 추정하는 장치 및 방법에 관한 것이다.
컴퓨터 시각 기술 및 모델 식별 기술의 발달로 인해 인체 포즈 식별 기술은 많은 분야에서 폭넓게 사용되고 있다. 예를 들어, 더욱 직관적으로 장치를 조작할 수 있도록 인체 포즈 식별 기술은 HCI(Human Computer Interaction)에 사용될 수 있다. 또한, 헤드 포즈 식별 기술을 기반으로 하는 HCI 방식은 가상(virtual)의 게임 환경에서 플레이어(player)의 즐거움을 향상시킬 수 있고, 안전 운전 시스템에서 사용자의 관심 지점(point of interest)을 반영할 수 있다. 또한, 헤드 포즈 식별 결과는 헤드를 구동하는 애니메이션에서 사용될 수 있고, 자연스러운(natural) 3D 상호 동작(interoperation)을 달성하기 위해 사용될 수도 있다. 대부분 경우, 시선에 대한 검출은 HCI를 실행하는데 매우 중요한 키 포인트이고, 헤드 포즈 식별은 시선을 검출하는 기초이다. 그리고 헤드 포즈 식별 결과는 시선 검출에 대한 중요한 참고로서 사용될 수 있다.
헤드 포즈 식별 기술은, 일반적으로, 칼라 영상 또는 적외선 영상(infrared image)을 사용하여 헤드 포즈를 식별한다.
일 측에 따르면, 조명 변화의 영향을 받지 않고, 효과적으로 헤드 포즈를 식별할 수 있는 헤드 포즈 추정 장치 및 방법이 제공될 수 있다.
일 측에 따르면, 헤드 포즈 추정을 위한 장치가 제공될 수 있다. 상기 장치는, 입력된 깊이 영상(depth image)으로부터 헤드 영역(head area)을 추출하는 헤드 영역 추출부(head area extracting unit); 상기 헤드 영역에서 헤드의 피치각(pitch angle)을 추정하는 헤드 피치각 추정부(head pitch angel estimating unit); 상기 헤드 영역에서 헤드의 편향각(deflection angel)을 추정하는 헤드 편향각 추정부(head deflection angel estimating unit); 및 상기 추정된 헤드의 피치각 및 상기 추정된 헤드의 편향각에 기초하여 헤드 포즈를 합성하는 헤드 포즈 합성부(head pose synthesizing unit)를 포함할 수 있다.
상기 헤드 영역 추출부는, 헤드의 깊이 특징(depth feature)에 기초하여 상기 입력된 깊이 영상으로부터 상기 헤드 영역을 검출하는 헤드 검출부(head detecting unit); 상기 검출된 헤드 영역에서 배경 부분(background part)을 제거하는 배경 제거부(background removing unit); 및 상기 헤드의 윤곽 특징(outline feature)에 기초하여 상기 배경 부분이 제거된 헤드 영역에 대하여 정밀(elaboration) 처리를 수행하는 헤드 영역 정밀 처리부(head area elaboration processing unit)를 포함할 수 있다.
상기 헤드 피치각 추정부는, 상기 헤드 영역에서 수직 방향을 따라가는 헤드의 깊이를 가리키는 헤드의 피치선(pitch line)을 추출하는 피치선 추출부(pitch line extracting unit); 상기 추출된 헤드의 피치선을 직선으로 피팅(fitting)하는 피팅부(fitting unit); 및 상기 직선이 수직 방향을 벗어나는 각도를 계산하여 헤드의 피치각으로 설정하는 피치각 계산부(pitch angle calculating unit)를 포함할 수 있다.
상기 피팅부는, 상기 헤드의 피치선을 복수의 섹션(section)으로 구분하며, RANSAC 알고리즘에 기초하여 피팅 확률(probability)이 가장 높은 섹션에서 상기 직선을 획득할 수 있다.
상기 헤드 편향각 추정부는, 상기 헤드 영역에서 수평 방향을 따라가는 헤드의 깊이를 가리키는 헤드의 편향선(deflection line)을 추출하는 편향선 추출부; 및
상기 헤드의 편향각에 기초하여 초점 깊이(depth of focus)가 헤드의 중심을 벗어나는 정도를 결정하여 헤드의 편향각을 획득하는 편향각 계산부를 포함할 수 있다.
상기 헤드 포즈 합성부는, 상기 헤드의 피치각 및 상기 헤드의 편향각에 기초하여 피치 방향 및 편향 방향으로 3D 모델을 구동함으로써 대응하는 3D 헤드 포즈를 획득할 수 있다.
일 측에 따르면, 헤드 포즈 추정을 위한 방법이 제공된다. 상기 헤드 포즈 추정을 위한 방법은, 입력된 깊이 영상으로부터 헤드 영역을 추출하는 단계; 상기 헤드 영역에서 헤드의 피치각을 추정하는 단계; 상기 헤드 영역에서 헤드의 편향각을 추정하는 단계; 및 상기 추정된 헤드의 피치각 및 상기 추정된 헤드의 편향각에 기초하여 헤드 포즈를 합성하는 단계를 포함할 수 있다.
상기 헤드 영역을 추출하는 단계는, 헤드의 깊이 특징에 기초하여 상기 입력된 깊이 영상으로부터 상기 헤드 영역을 검출하는 단계; 상기 검출된 헤드 영역에서 배경 부분을 제거하는 단계; 및 상기 헤드의 윤곽 특징에 기초하여 상기 배경 부분이 제거된 헤드 영역에 대하여 정밀 처리를 수행하는 단계를 포함할 수 있다.
상기 헤드의 피치각을 추정하는 단계는, 상기 헤드 영역에서 수직 방향을 따라가는 헤드의 깊이를 가리키는 헤드의 피치선을 추출하는 단계; 상기 추출된 헤드의 피치선을 직선으로 피팅하는 단계; 및 상기 직선이 수직 방향을 벗어나는 각도를 계산하여 헤드의 피치각으로 설정하는 단계를 포함할 수 있다.
상기 추출된 헤드의 피치선을 직선으로 피팅하는 단계는, 상기 헤드의 피치선을 복수의 섹션으로 구분하며, RANSAC 알고리즘에 기초하여 피팅 확률이 가장 높은 섹션에서 상기 직선을 획득하는 단계를 포함할 수 있다.
상기 헤드의 편향각을 추정하는 단계는, 상기 헤드 영역에서 수평 방향을 따라가는 헤드의 깊이를 가리키는 헤드의 편향선을 추출하는 단계; 및 상기 헤드의 편향각에 기초하여 초점 깊이가 헤드의 중심을 벗어나는 정도를 결정하여 헤드의 편향각을 획득하는 단계를 포함할 수 있다.
상기 추정된 헤드의 피치각 및 헤드의 편향각에 기초하여 헤드 포즈를 합성하는 단계는, 상기 헤드의 피치각 및 상기 헤드의 편향각에 기초하여 피치 방향 및 편향 방향으로 3D 모델을 구동함으로써 대응하는 3D 헤드 포즈를 획득하는 단계를 포함할 수 있다.
상기 장치 및 방법에 따라, 깊이 영상에 기초하여 조명 변화의 영향을 받지 않게 헤드 포즈를 추정할 있다. 또한, 헤드 피치각 및 헤드 편향각을 이용하여 3D 모델을 구동함으로써 우수한 식별 결과가 획득될 수 있으며, 거리가 멀거나 해상도가 저하인 경우에도 정확하게 식별된 포즈가 획득될 수 있다. 또한, 실시예에 따르면, 계산량이 적기 때문에, 실시간으로 요구를 만족시킬 수 있다.
도 1은 일 실시예에 따른 헤드 포즈 추정 장치를 도시한 블록도이다.
도 2는 일 실시예에 따른 헤드 포즈 추정 방법을 도시한 흐름도이다.
도 3은 일 실시예에 따른 헤드 영역 추출부을 도시한 블록도이다.
도 4는 일 실시예에 따라 추출된 헤드 영역을 도시한 것이다.
도5는 일 실시예에 따른 헤드 피치각 추정부를 도시한 블록도이다.
도 6은 일 실시예에 따라 추출된 헤드 피치선을 도시한 것이다.
도 7은 일 실시예에 따라 헤드 피치각을 계산하는 예를 도시한 것이다.
도 8은 일 실시예에 따른 헤드 편향각 추정부를 도시한 블록도이다.
도 9는 일 실시예에 따라 추출된 헤드 편향선을 도시한 것이다.
도 10은 일 실시예에 따라 헤드 편향각을 계산하는 예를 도시한 것이다.
도 11은 일 실시예에 따라 헤드 포즈를 합성하는 예를 도시한 블록도이다.
도 12는 일 실시예에 따라 합성된 헤드 포즈를 출력하는 예를 도시한 것이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 헤드 포즈 추정 장치를 도시한 블록도이다. 도1에 도시된 바와 같이, 일 실시예에 따른 헤드 포즈 추정 장치는 입력된 깊이 영상으로부터 헤드 영역을 추출하는 헤드 영역 추출부(10); 상기 헤드 영역에서 헤드의 피치각을 추정하는 헤드 피치각 추정부(20); 상기 헤드 영역에서 헤드의 편향각을 추정하는 헤드 편향각 추정부(30); 및 상기 추정된 헤드의 피치각 및 상기 추정된 헤드의 편향각에 기초하여 헤드 포즈를 합성하는 헤드 포즈 합성부(40)를 포함할 수 있다. 여기서, 입력된 깊이 영상은 TOF(time-of-flight) 카메라 또는 구조형 광(structured light)을 기반으로 하는 카메라와 같은 촬영 장치를 통해 생성될 수 있다. 또한, 실시예에 따르면, 깊이 영상을 촬영할 때, 촬영될 모델은 특별한 포즈 또는 얼굴을 나타낼 필요가 없으며, 촬영 장치에서 일정 거리가 떨어진 위치에 위치할 필요가 없다. 또한, 사용자를 특정한 배경 스크린 앞에서 촬영할 필요도 없다.
일 실시예에 따르면, 상기 헤드 포즈 추정 장치는 합성된 헤드 포즈를 출력하는 헤드 포즈 출력부(50)를 더 포함할 수 있다.
헤드 포즈는 주로 헤드 피칭(pitching) 및 헤드 편향에 의하여 표시될 수 있다. 이에 대응하여, 깊이 영상 중의 헤드 영역에서 헤드의 피치각 및 편향각을 각각 추정할 수 있다. 상기 추정된 피치각 및 편향각에 기초하여 대응하는 헤드 포즈가 합성될 수 있다.
이하에서, 도2를 참조하여 일 실시예에 따른 헤드 포즈 추정 장치를 사용하여 헤드 포즈를 추정하는 예를 설명한다.
도 2는 일 실시예에 따른 헤드 포즈 추정 방법을 도시한 흐름도이다.
도2에 도시된 바와 같이, 단계(S100)에서 헤드 영역 추출부(10)을 사용하여, 입력된 깊이 영상으로부터 헤드 영역을 추출할 수 있다.
예를 들어, 도 3은 일 실시예에 따른 헤드 영역 추출부(10)을 도시한 블록도이다. 도3에 도시된 바와 같이, 헤드 영역 추출부(10)는 헤드의 깊이 특징(depth feature)에 기초하여 상기 입력된 깊이 영상으로부터 상기 헤드 영역을 검출하는 헤드 검출부(110)을 포함할 수 있다. 헤드 검출부(110)은 헤드 특징의 트레이닝 샘플에 기초하여 헤드 영역을 검출할 수 있다.
상기 상기 헤드 영역 추출부(10)은 검출된 헤드 영역에서 배경 부분을 제거하는 배경 제거부(120)를 더 포함할 수 있다. 구체적으로, 깊이 영상에서, 배경 부분(background part)의 깊이 및 전경 부분(foreground part)의 깊이가 서로 다르기 때문에, 배경 제거부(120)는 헤드와 배경 부분의 깊이 차이에 따라 헤드 영역에서 배경 부분을 제거하여 전경에 위치한 헤드 영역을 획득할 수 있다.
정확하게 헤드 영역을 검출하기 위하여, 상기 헤드 영역 추출부(10)은 상기 헤드의 윤곽 특징에 기초하여 상기 배경 부분이 제거된 헤드 영역에 대하여 정밀 처리를 수행하는 헤드 영역 정밀 처리부(130)을 더 포함할 수 있다. 일반적으로, 인체 헤드 양쪽과 위쪽으로 구성된 윤곽이 공통적인 형상 특징을 구비하고, 헤드 아래쪽(예를 들어, 아래턱)의 깊이 및 주변 신체 부위의 깊이가 서로 다르기 때문에, 헤드 영역 정밀 처리부(130)은 헤드 양쪽과 위쪽으로 구성된 윤곽 특징에 따라 헤드 영역에서 헤드 양쪽 및 위쪽 위치를 확인할 수 있고, 이에 따라 헤드부터 신체까지의 깊이 차이에 기초하여 헤드 아래쪽 위치를 확인할 수 있다.
상기와 같이, 도 3을 참조하여 헤드 영역 추출부(10)가 입력된 깊이 영상으로부터 상기 헤드 영역을 검출하는 방법에 대해 설명하였다.
도 4는 일 실시예에 따라 추출된 헤드 영역을 도시한 것이다. 여기서, 실시예에 따른 헤드 영역 추출부(10)는 상기 설명된 구조 및 동작에 한정되지 않는다. 기술적인 문제를 해결하기 위해 입력된 깊이 영상으로부터 헤드 영역을 검출할 수 있는 어느 방식이 있다면, 이는 실시예에 사용될 수 있다.
다시 도2를 참조한다. 단계(S200)에서 헤드 피치각 추정부(20)은 헤드 영역에서 헤드 피치각을 추정할 수 있다.
예시로, 도 5는 일 실시예에 따른 헤드 피치각 추정부(20)을 도시한 블록도이다. 도5에 도시된 바와 같이, 헤드 피치각 추정부(20)은 헤드 영역에서 수직 방향을 따라가는 헤드의 깊이를 가리키는 헤드의 피치선을 추출하는 피치선 추출부(210); 추출된 헤드의 피치선을 직선으로 피팅하는 피팅부(220); 및 상기 직선이 수직 방향을 벗어나는 각도를 계산하여 헤드의 피치각으로 설정하는 피치각 계산부(230)을 포함할 수 있다.
일 실시예에 따르면, 헤드 포즈는 헤드 피칭 및 헤드 편향으로 구분된다. 여기서, 헤드 피치는 헤드를 들거나 숙이는 동작 등을 의미하고, 헤드 편향은 헤드를 돌리는 동작을 의미한다. 깊이 영상을 촬영할 때, 인체를 촬영 장치로 향하게 함으로써, 헤드 피칭은 수직 방향(예를 들어, Y축)을 따라가는 깊이 변화를 유발시키고, 헤드 편향은 수평 방향(예를 들어, X축)을 따라가는 깊이 변화를 유발시킨다. Z축은 깊이 방향을 의미한다.
구체적으로, 피치선 추출부(210)는 헤드 영역에서 헤드의 피치선을 추출할 수 있다. 상기 헤드의 피치선은 수직 방향을 따라가는 헤드의 깊이를 가리킨다. 일 실시예에서, 헤드의 피치선을 추출하면, 피치선 추출부(210)는 3D 공간의 헤드 영역에서 수직 방향을 따라가는 헤드의 깊이만 추출하고, 편향 방향을 따라가는 헤드의 깊이 변화를 무시할 수 있다. 예를 들어, 피치선 추출부(210)은 3D 헤드 영역을 Y-Z 평면에 매핑(mapping)할 수 있다. 여기서, Y축은 헤드의 수직 방향을 의미하고, Z축은 헤드의 깊이 방향을 의미할 수 있다. 구체적으로, 헤드의 피치선에서 임의의 점(y,z)에 대하여, 피치선 추출부(210)는 3D 헤드 영역에서 수평 방향으로 y에 대응하는 가장 큰 깊이를 깊이z로 설정할 수 있다. 또는, 피치선 추출부(210)는 3D 헤드 영역에서 수평 방향으로 y에 대응하는 평균 깊이를 깊이z로 설정하여 더욱 평평한 헤드 피치선을 획득할 수 있다.
도 6은 일 실시예에 따라 추출된 헤드 피치선을 도시한 것이다.
도 6에서 첫 번째 행의 깊이 영상(depth image)(610, 620, 630)은 헤드를 든 경우에 대한 것이다. 두 번째 행의 깊이 영상(depth image)(640, 650, 660)은 헤드가 정면을 보는(front view) 경우에 대한 것이다. 세 번째 행의 깊이 영상(depth image)(670, 680, 690)은 헤드를 숙이는 경우에 대한 것이다.
도 6에서 첫 번째 열의 깊이 영상(depth image)(610, 640, 670)은 헤드가 우측으로 편향된 경우에 대한 것이다. 두 번째 열의 깊이 영상(depth image)(620, 650, 680)은 헤드가 좌우로 편향되지 않고 정시하는 경우(앞을 보는 경우)에 대한 것이다. 세 번째 열의 깊이 영상(630, 660, 690)은 헤드가 좌측으로 편향된 경우에 대한 것이다.
따라서, 깊이 영상(610)은 헤드가 우측으로 편향되어 있으면서 헤드를 든 경우에 대응한다. 깊이 영상(620)은 헤드가 좌우로 편향되지 않고 정시하면서 헤드를 든 경우에 대응한다. 깊이 영상(630)은 헤드가 좌측으로 편향되어 있으면서 헤드를 든 경우에 대응한다. 깊이 영상(640)은 헤드가 우측으로 편향되어 있으면서 헤드가 정면을 보는(front view) 경우에 대응한다. 깊이 영상(650)은 헤드가 좌우로 편향되지 않고 정시하면서 헤드가 정면을 보는 경우에 대응한다. 깊이 영상(660)은 헤드가 좌측으로 편향되어 있으면서 헤드가 정면을 보는 경우에 대응한다. 깊이 영상(670)은 헤드가 우측으로 편향되어 있으면서 헤드를 숙이는 경우에 대응한다. 깊이 영상(680)은 헤드가 좌우로 편향되지 않고 정시하면서 헤드를 숙이는 경우에 대응한다. 깊이 영상(690)은 헤드가 좌측으로 편향되어 있으면서 헤드를 숙이는 경우에 대응한다.
도 6에서 그래프(615)는 깊이 영상(610)에 대응하는 헤드 피치선(617)을 도시한다. 그래프(625)는 깊이 영상(620)에 대응하는 헤드 피치선을 도시한다. 그래프(635)는 깊이 영상(630)에 대응하는 헤드 피치선을 도시한다. 그래프(645)는 깊이 영상(640)에 대응하는 헤드 피치선을 도시한다. 그래프(655)는 깊이 영상(650)에 대응하는 헤드 피치선을 도시한다. 그래프(665)는 깊이 영상(660)에 대응하는 헤드 피치선을 도시한다. 그래프(675)는 깊이 영상(670)에 대응하는 헤드 피치선을 도시한다. 그래프(685)는 깊이 영상(680)에 대응하는 헤드 피치선을 도시한다. 그래프(695)는 깊이 영상(690)에 대응하는 헤드 피치선을 도시한다.
따라서, 첫 번째 행의 그래프(615, 625, 635)는, 각각, 헤드를 든 경우의 깊이 영상(610, 620, 630)에 대응하는 헤드 피치선을 도시한다. 두 번째 행의 그래프(645, 655, 665)는, 각각, 헤드가 정면을 보는 경우의 깊이 영상(640, 650, 660)에 대응하는 헤드 피치선을 도시한다. 세 번째 행의 그래프(675, 685, 695)는, 각각, 헤드를 숙이는 경우의 깊이 영상(670, 680, 690)에 대응하는 헤드 피치선을 도시한다.
도6에 도시된 바와 같이, 첫 번째 행(615, 625, 635)에서는, 헤드를 드는 경우에 추출된 헤드의 피치선이 표시되고, 깊이가 Y축에 따라 상승되는 것으로 나타난다(예를 들면, 아래턱보다 이마와 촬영 장치의 거리가 더 멀다). 도 6의 그래프(615, 625, 635, 645, 655, 665, 675, 685, 695)에서 Y축은 헤드의 수직 방향을 나타내며, Z축은 깊이 값을 나타낸다. Y축의 값이 작을수록 헤드의 수직 방향에서 아래 쪽(예를 들어, 아래턱 방향)을 나타내고, Y축의 값이 클수록 헤드의 수직 방향에서 위 쪽(예를 들어, 이마 방향)을 나타낸다. 도 6에서 첫 번째 행의 그래프(615, 625, 635)는 헤드를 든 경우에 대한 것으로, Y축에 따라 깊이 값이 커진다. 예를 들어, 헤드를 든 경우, Y축의 값이 커질수록, 깊이 값이 증가한다. 헤드를 든 경우, 헤드의 수직 방향에서 위쪽으로 갈수록 촬영 장치로부터의 거리가 멀어진다.
이때, 그래프(615, 625, 635)를 참조하면, 헤드의 좌우 편향에 따라 헤드의 피치선은 거의 변화가 없음을 알 수 있다.
두 번째 행(645, 655, 665)에서는, 정면을 보는(front view) 경우에 추출된 헤드의 피치선이 표시되고, 깊이가 Y축에 따라 큰 변화 없는 것으로 나타난다(예를 들면, 이마와 아래턱이 같은 깊이 평면에 있다). 세 번째 행(675, 685, 695)에서는, 헤드를 숙이는 경우에 추출된 헤드의 피치선이 표시되고, 깊이 값이 Y축에 따라 작아지는 것으로 나타난다(예를 들면, 아래턱보다 이마가 촬영 장치에 더 가깝다).
헤드의 피치선이 추출되면, 피팅부(220)는 추출된 헤드의 피치선을 직선으로 피팅한다. 구체적으로, 헤드의 피치각은 얼굴 평면과 신체 평면의 교각(intersection angle)을 의미할 수 있고, 피팅부(220)은 얼굴 평면을 Y-Z 평면에서 직선으로 피팅하고, 상기 직선과 Y축의 교각은 얼굴 평면과 신체 평면의 교각(예를 들어, 헤드의 피치각)을 의미한다.
피팅부(220)는 임의의 적합한 방법(예, 최소 제곱법(least squares method))을 사용하여 추출된 헤드의 피치선을 직선으로 피팅할 수 있다. 여기서, 일 실시예는, 아래턱 부위와 이마 부위의 커브(curve)를 고려하여, 최적의 피팅 효과를 획득하기 위하여, 피팅부(220)를 통해 RANSAC 알고리즘을 사용하여 피팅을 수행한다.
이하에서 피팅부(220)가 RANSAC 알고리즘을 사용하여 추출된 헤드의 피치선을 직선으로 피팅하는 처리에 대하여 설명한다. 구체적으로, 얼굴의 전체 영역을 고려하면, 아래턱 부위와 이마 부위의 커브는 부수적 부분이기 때문에, RANSAC 알고리즘은 이런 상황에서 적합하게 사용될 수 있다.
우선, 피팅부(220)는 헤드의 피치선에서 N 개 의 피팅선 샘플링 포인트(sampling point)를 추출한다. N은 정의 정수(positive integer)이다. 그 다음에, 피팅선을 ay+bz+c=0로 가정하여, 각 샘플링 포인트(yn，zn)(n은 샘플링 포인트의 시퀀스를 의미하고, 1≤n≤N)와 가정된 피팅선(ay+bz+c=0)의 거리를 계산한다. 상기 거리가 미리 설정된 임계값Tdis보다 작으면, 대응하는 샘플링 포인트(yn，zn)는 유효 샘플링 포인트로 설정되고, 상기 거리가 미리 설정된 임계값Tdis보다 크거나 같으면, 대응하는 샘플링 포인트(yn，zn)는 무효 샘플링 포인트로 설정된다. Tdis의 값은 경험 또는 실험을 통해 결정될 수 있다. 따라서, 피팅부(220)는 수학식 1로 샘플링 포인트(yn，zn)와 가정된 피팅선의 거리DSn을 결정할 수 있다.
Figure pat00001
상기와 같이, 각 샘플링 포인트와 가정된 피팅선의 거리DSn가 결정되면 피팅부(220)는 수학식 2로 상기 가정된 피팅선의 피팅 확률P를 계산한다.
Figure pat00002
상기 방식을 통해 피팅부(220)는 가장 높은 피팅 확률P를 구비하는 가정된 피팅선(ay+bz+c=0)을 헤드의 피치선을 가리키는 피팅 직선으로 결정한다.
또한, 서로 다른 헤드 포즈에 대하여 피치선에 의하여 구분된 섹션은 서로 다른 역할을 구비한다. 도6에 도시된 바와 같이, 헤드를 들어는 동작에 대하여, 헤드 위쪽에 위치한 피치선의 한 섹션을 이용하면 더욱 좋은 계산 효과를 나타낼 수 있고, 헤드를 숙이는 동작에 대하여 헤드 아래쪽에 위치한 피치선의 한 섹션을 이용하면 더욱 좋은 계산 효과를 나타낼 수 있다. 따라서, 피팅부(220)는, 섹션으로 구분하고 피팅하는 방식으로, 추출된 헤드의 피치선을 직선을 피팅할 수 있다. 구체적으로, 우선 피팅부(220)는 헤드의 피치선을 복수의 섹션으로 구분하며, 피팅 확률이 가장 높은 섹션을 선택하여, 헤드의 피치선을 가리키는 피팅 직선으로 결정한다.
피팅부(220)에 의하여, 추출된 헤드의 피치선이 직선으로 피팅되면, 피치각 계산부(203)는 상기 직선이 수직 방향을 벗어나는 각도를 계산하여 헤드의 피치각으로 설정한다.
이하에서 도7을 참조하여 피치각 계산부(230)가 헤드의 피치각을 계산하는 처리 과정을 설명한다. 도 7은 일 실시예에 따라 헤드 피치각을 계산하는 예를 도시한 것이다.
도7에 도시된 예와 같이 헤드 피치각
Figure pat00003
은 얼굴 평면(예를 들어, 피팅선)과 신체 평면(예를 들어, Y축)의 교각을 의미한다. 이런 경우, 피치각 계산부(203)는 수학식 3으로 헤드의 피치각
Figure pat00004
을 계산할 수 있다.
Figure pat00005
상기,
Figure pat00006
는 얼굴 위쪽과 아래쪽의 깊이 차이를 의미한다. 예를 들어, 피팅선에서 가장 큰 깊이와 가장 작은 깊이의 차이를 의미한다.
Figure pat00007
는 얼굴 위쪽과 아래쪽의 거리를 의미한다. 예를 들어,
Figure pat00008
는 얼굴의 길이(length)일 수 있다. 여기서, 일반적으로 촬영 대상의 깊이를 획득하면, 깊이는 물리적 깊이로 표시되고, 영상에 있는 얼굴 위쪽과 아래쪽의 거리는 픽셀 거리(pixel distance)로 표시된다. 다시 말하면, 이런 경우, 깊이 및 얼굴 길이는 서로 다른 사이즈의 측정 단위(unit of measure)를 가질 수 있다. 따라서 환산 계수(scaling factor)
Figure pat00009
를 이용하여 깊이와 얼굴 길이의 측정 단위에 대한 차이를 해소할 수 있다. 그러나, 깊이 카메라(depth camera)로부터 물리적 거리로 얼굴 길이를 표시하는 영상을 직접적으로 획득할 수 있으면, 상기 환산 계수
Figure pat00010
은 필요 없거나 상기 환산 계수
Figure pat00011
을 1로 설정할 수 있다.
피치각 계산부(230)는 상기 계산된 헤드의 피치각을 수정할 수 있다. 구체적으로, 코(nose) 등 부위의 커브로 인해, 정면을 보더라도 얼굴에서 완전히 수직된 피팅선을 획득하기 어렵고 일정한 편차가 있다. 따라서, 피치각 계산부(230)는, 계산된 피치각
Figure pat00012
에 오프셋 각도
Figure pat00013
를 더하고, 헤드의 피치각을 수정한다. 상기
Figure pat00014
는 얼굴 커브의 오프셋 각도를 수정하기 위해 사용될 수 있다. 또한, 상기
Figure pat00015
는 경험 또는 실험에 의하여 특정 값으로 설정될 수 있다.
헤드 피치각 추정부(20)는 앞에서 설명된 세부 구조 및 동작에 한정되지 않는다. 기술적 문제를 해결하기 위하여, 헤드 영역에서 헤드의 피치각을 추정할 수 있는 어느 방식이 있다면, 이는 실시예에 사용될 수 있다.
다시 도2를 참조한다. 단계(S300)에서 헤드 편향각 추정부(30)은 헤드 영역에서 헤드의 편향각을 추정한다.
예시로, 도 8은 일 실시예에 따른 헤드 편향각 추정부(30)를 도시한 블록도이다. 도8에 도시된 바와 같이, 헤드 편향각 추정부(30)는 헤드 영역에서 수평 방향을 따라가는 헤드의 깊이를 가리키는 헤드의 편향선을 추출하는 편향선 추출부(310); 및 상기 헤드의 편향각에 기초하여 초점 깊이(depth of focus)가 헤드 중심을 벗어나는 정도를 결정하여 헤드의 편향각을 획득하는 편향각 계산부(320)를 포함할 수 있다.
여기서, 헤드와 촬영 장치의 공간적 위치 관계로 인해, 헤드의 피치각과 같은 방식으로 헤드의 편향각을 추정하기 어렵다. 따라서, 일 실시예에서, 헤드의 편향선이 결정되면(상기 헤드의 편향선은 수평 방향을 따라가는 헤드의 깊이를 가리킨다), 상기 헤드의 편향선을 기초하여 초점 깊이가 헤드 중심을 벗어나는 정도를 결정하여 헤드의 편향각을 획득한다. 이는, 헤드가 편향되면, 초점 깊이가 헤드 중심을 벗어나는 정도가 헤드 편향각의 크기에 따라 결정되기 때문이다.
편향선 추출부(310)는 헤드 영역에서 헤드의 편향선을 추출할 수 있다. 예를 들어, 헤드의 편향선이 추출되면, 편향선 추출부(310)는 3D공간의 헤드 영역에서 수평 방향을 따라가는 헤드의 깊이만 추출하고, 수직 방향을 따라가는 헤드의 깊이 변화를 무시할 수 있다. 편향선 추출부(310)는 3D 헤드 영역을 X-Z 평면에 매핑하고, X축은 헤드의 수평 방향을 의미하고, Z축은 헤드의 깊이 방향을 의미할 수 있다. 헤드의 편향선에서 임의의 점(x,z)에 대하여, 편향선 추출부(310)는 3D 헤드 영역에서 수직 방향으로x에 대응하는 가장 큰 깊이를 깊이z로 설정할 수 있다. 또는, 편향선 추출부(310)는3D 헤드 영역에서 수직 방향으로x에 대응하는 평균 깊이를 깊이z로 설정하여 더욱 평평한 헤드 편향선을 획득할 수 있다.
도 9는 일 실시예에 따라 추출된 헤드 편향선을 도시한 것이다.
도 9의 깊이 영상(910, 920, 930, 940, 950, 960, 970, 980, 990)은, 각각, 도 6의 깊이 영상(610, 620, 630, 640, 650, 660, 670, 680, 690)에 대응한다. 도 9에서 첫 번째 행의 깊이 영상(depth image)(910, 920, 930)은 헤드를 든 경우에 대한 것이다. 두 번째 행의 깊이 영상(depth image)(940, 950, 960)은 헤드가 정면을 보는(front view) 경우에 대한 것이다. 세 번째 행의 깊이 영상(depth image)(970, 980, 990)은 헤드를 숙이는 경우에 대한 것이다. 도 9에서 첫 번째 열의 깊이 영상(depth image)(910, 940, 970)은 헤드가 우측으로 편향된 경우에 대한 것이다. 두 번째 열의 깊이 영상(depth image)(920, 950, 980)은 헤드가 좌우로 편향되지 않고 정시하는 경우(앞을 보는 경우)에 대한 것이다. 세 번째 열의 깊이 영상(930, 960, 990)은 헤드가 좌측으로 편향된 경우에 대한 것이다. 따라서, 깊이 영상(910)은 헤드가 우측으로 편향되어 있으면서 헤드를 든 경우에 대응한다. 깊이 영상(920)은 헤드가 좌우로 편향되지 않고 정시하면서 헤드를 든 경우에 대응한다. 깊이 영상(930)은 헤드가 좌측으로 편향되어 있으면서 헤드를 든 경우에 대응한다. 깊이 영상(940)은 헤드가 우측으로 편향되어 있으면서 헤드가 정면을 보는(front view) 경우에 대응한다. 깊이 영상(950)은 헤드가 좌우로 편향되지 않고 정시하면서 헤드가 정면을 보는 경우에 대응한다. 깊이 영상(960)은 헤드가 좌측으로 편향되어 있으면서 헤드가 정면을 보는 경우에 대응한다. 깊이 영상(970)은 헤드가 우측으로 편향되어 있으면서 헤드를 숙이는 경우에 대응한다. 깊이 영상(980)은 헤드가 좌우로 편향되지 않고 정시하면서 헤드를 숙이는 경우에 대응한다. 깊이 영상(990)은 헤드가 좌측으로 편향되어 있으면서 헤드를 숙이는 경우에 대응한다.
도 9에서 그래프(915)는 깊이 영상(910)에 대응하는 헤드 편향선(917)을 도시한다. 그래프(925)는 깊이 영상(920)에 대응하는 헤드 편향선을 도시한다. 그래프(935)는 깊이 영상(930)에 대응하는 헤드 편향선을 도시한다. 그래프(945)는 깊이 영상(940)에 대응하는 헤드 편향선을 도시한다. 그래프(955)는 깊이 영상(950)에 대응하는 헤드 편향선을 도시한다. 그래프(965)는 깊이 영상(960)에 대응하는 헤드 편향선을 도시한다. 그래프(975)는 깊이 영상(970)에 대응하는 헤드 편향선을 도시한다. 그래프(985)는 깊이 영상(980)에 대응하는 헤드 편향선을 도시한다. 그래프(995)는 깊이 영상(990)에 대응하는 헤드 편향선을 도시한다.
따라서, 첫 번째 열의 그래프(915, 945, 975)는, 각각, 헤드를 우측으로 편향한 경우의 깊이 영상(910, 940, 970)에 대응하는 헤드 편향선을 도시한다. 두 번째 열의 그래프(925, 955, 985)는, 각각, 정시하는 경우(앞을 보는 경우)의 깊이 영상(920, 950, 980)에 대응하는 헤드 편향선을 도시한다. 세 번째 열의 그래프(935, 965, 995)는, 각각, 헤드를 좌측으로 편향한 경우의 깊이 영상(930, 960, 990)에 대응하는 헤드 편향선을 도시한다.
도9에 도시된 바와 같이, 첫 번째 열(915, 945, 975)에서는, 헤드가 우측으로 편향된 경우에 추출된 헤드의 편향선이 표시되어 있고, 깊이가 X축에 따라 변화되는 것으로 나타난다(예를 들어, 우측의 볼(cheek)보다 좌측의 볼이 촬영 장치에 더 가깝다).
도 9의 그래프(915, 925, 935, 945, 955, 965, 975, 985, 995)에서 X축은 헤드의 수평 방향을 나타내며, Z축은 깊이 값을 나타낸다. Z축의 값이 작을수록 헤드의 수평 방향에서 오른 쪽(예를 들어, 우측 볼(right cheek) 방향)을 나타내고, Z축의 값이 클수록 헤드의 수평 방향에서 왼 쪽(예를 들어, 좌측 볼 방향)을 나타낸다. 도 9에서 첫 번째 열의 그래프(915, 945, 975)는 헤드를 우측으로 편향한 경우에 대한 것으로, X축에 따라 깊이 값이 작아진다. 예를 들어, 헤드를 우측으로 편향한 경우, X축의 값이 커질수록, 깊이 값이 감소한다. 헤드를 우측으로 편향한 경우, 헤드의 수평 방향에서 오른쪽에서 왼쪽으로 갈수록 촬영 장치로부터의 거리가 작아진다.
이때, 그래프(915, 945, 975)를 참조하면, 헤드의 상하 피치에 따라 헤드의 편향선은 거의 변화가 없음을 알 수 있다.
두 번째 열(925, 955, 985)에서는, 정시하는 경우(앞을 보는 경우)에 추출된 헤드의 편향선이 표시되어 있고, 깊이가 Y축을 중심으로 대칭성(symmetry)을 구비하는 것으로 나타난다(예를 들어, 좌측의 볼과 우측의 볼의 깊이는 대칭성을 나타난다). 세 번째 열(935, 965, 995)에서는, 헤드가 좌측으로 편향된 경우에 추출된 헤드의 편향선이 표시되어 있고, 깊이가 X축에 따라 변화되는 것으로 나타난다(예를 들어, 좌측의 볼보다 우측의 볼이 촬영 장치에 더 가깝다).
편향선 추출부(310)는, 위 반쪽 얼굴의 편향을 고려하지 않고, 아래 반쪽 얼굴의 편향선을 헤드의 편향선으로 추출할 수 있다. 이는, 헤드가 편향되면, 아래 반쪽 얼굴이 편향 정도를 더욱 정확하게 나타날 수 있기 때문이다.
또한, 편향선 추출부(310)에 의하여 헤드 영역에서 헤드의 편향선이 추출되면, 편향선 추출부(310)는 볼의 가장자리에 위치한 헤드 영상 포인트의 개수를 결정할 수 있고, 결정된 헤드 영상 포인트의 개수가 미리 설정된 임계값보다 작으면 헤드 영역에서 대응하는 헤드 영상 포인트를 제거할 수 있다. 상기 방식을 사용하면 볼의 가장자리의 노이즈 포인트(noise point)를 효과적으로 제거할 수 있으며 추출된 헤드 편향선의 유효성을 향상시킬 수 있다.
편향선 추출부(310)에 의하여, 헤드 영역에서 헤드의 편향선이 추출되면, 편향각 계산부(320)는 상기 헤드의 편향선을 기초하여 초점 깊이가 헤드 중심을 벗어나는 정도를 결정하여 헤드 편향각을 획득한다.
초점 깊이는 헤드 영역에서 깊이를 따라가는 각 영상 포인트의 초점이고, 헤드 중심은 헤드의 기하 중심(geometric centre)을 의미한다. 일 실시예에서, 헤드의 편향각을 결정할 때 수평 방향을 따라가는 초점 깊이 및 헤드 중심의 좌표만 고려한다.
따라서, 평향각 계산부(320)는 수학식 4로 헤드의 초점 깊이
Figure pat00016
및 헤드 중심(예를 들어, 헤드의 기하 중심)
Figure pat00017
을 결정할 수 있다.
Figure pat00018
Figure pat00019
；
상기,
Figure pat00020
는 수평 방향(예를 들어, x축)을 따라가는 초점 깊이의 좌표 수치를 의미한다.
Figure pat00021
는 수평 방향(예를 들어, x축)을 따라가는 헤드 중심의 좌표 수치를 의미한다. M은 헤드의 편향선을 구성하는M개의 포인트를 의미한다.
Figure pat00022
는 M개의 포인트 중의 m번째 포인트의 깊이를 의미한다.
Figure pat00023
는 수평 방향을 따라가는 m번째 포인트의 위치를 의미한다.
Figure pat00024
는 환산 계수를 의미하고, 상기 m번째 포인트의 깊이와 수평 위치의 측정 단위에 대한 차이를 해소할 수 있다. 일반적으로 촬영 대상의 깊이를 획득하면, 깊이는 물리적 깊이로 표시되고, 영상에 있는 각 포인트의 위치는 픽셀 거리로 표시된다. 예를 들어, 이런 경우, 깊이와 수평 위치는 서로 다른 사이즈의 측정 단위를 구비한다. 깊이 카메라로부터 얼굴 영상에 있는 각 포인트의 물리적 위치를 직접적으로 획득할 수 있으면, 상기 환산 계수
Figure pat00025
이 필요 없거나 또는 상기 환산 계수
Figure pat00026
을 1로 설정할 수 있다.
평향각 계산부(320)를 통해 헤드의 초점 깊이
Figure pat00027
및 헤드 중심
Figure pat00028
가 결정되면, 편향각 계산부(320)는 상기 초점 깊이
Figure pat00029
가 헤드 중심
Figure pat00030
에 벗어나는 정도에 따라 헤드의 편향각을 획득한다.
이하에서, 도10을 참조하여 편향각 계산부(320)가 헤드의 편향각을 계산하는 처리 과정을 설명한다. 도 10은 일 실시예에 따라 헤드 편향각을 계산하는 예를 도시한 것이다.
도10에 도시된 예와 같이, 헤드 편향각
Figure pat00031
은 초점 깊이
Figure pat00032
가 헤드 중심
Figure pat00033
에서 벗어나는 정도를 의미한다. 일 실시예에서, 수평 방향을 따라가는 초점 깊이
Figure pat00034
와 헤드 중심
Figure pat00035
의 편향만 고려될 수 있다. 따라서 평향각 계산부(320)는 아래 등식으로 헤드의 편향각
Figure pat00036
을 계산할 수 있다.
Figure pat00037
상기,
Figure pat00038
는 헤드의 편향각
Figure pat00039
에 대응하는 편향 거리를 의미하고,
Figure pat00040
이다.
Figure pat00041
는 미리 획득된 헤드의 편향각을 의미하고,
Figure pat00042
는 미리 획득된 헤드의 편향각
Figure pat00043
에 대응하는 편향 거리를 의미한다. 여기서, 경험 또는 실험에 따라
Figure pat00044
및
Figure pat00045
의 구체적인 수치가 획득될 수 있다.
실시예에 따른 헤드 편향각 추정부(30)는 상기 설명된 세부 구조 및 동작에 한정되지 않는다. 기술적 문제를 해결하기 위하여, 헤드 영역에서 헤드의 편향각을 추정할 수 있는 어느 방식이 있다면, 실시예에 사용될 수 있다.
평향각 계산부(320)를 통해 헤드의 편향각
Figure pat00046
이 계산되면, 다시 도2를 참조한다. 단계(S400)에서, 헤드 포즈 합성부(40)는 추정된 헤드의 피치각 및 헤드의 편향각에 기초하여 헤드 포즈를 합성한다.
예를 들어, 헤드 포즈 합성부(40)는 추정된 헤드의 피치각 및 헤드의 편향각에 기초하여, 피치 방향 또는 편향 방향으로 3D 모델을 구동함으로써, 대응하는 3D 헤드 포즈를 획득할 수 있다.
도 11은 일 실시예에 따라 헤드 포즈를 합성하는 예를 도시한 블록도이다. 도11에 도시된 바와 같이, 일 실시예에 따른 헤드 포즈 추정 장치는 인체의 깊이 영상에서 헤드 영역을 검출한 다음에, 추정된 헤드 피치각 및 헤드 편향각을 이용하여 3D 모델을 구동함으로써, 대응하는 3D 헤드 포즈를 획득할 수 있다.
실시예에 따라, 도2에 도시된 방법은 추가된 단계(S500)를 더 포함할 수 있다. 헤드 포즈 출력부(50)는 합성된 헤드 포즈를 출력할 수 있다. 헤드 포즈 출력부(50)는 도12에 도시된 바와 같이 합성된 헤드 포즈를 출력할 수 있다. 도12를 참조하면, 헤드 포즈 출력부(50)는 합성된 헤드 포즈를 출력하는 동시에, 촬영된 칼라 영상, 깊이 영상, 및 대응하는 헤드 편향각과 헤드 피치각의 커브 도표도 출력할 수 있다.
상기와 같이 실시예에 따른 헤드 포즈 추정을 위한 장치 및 방법을 설명하였다. 상기 장치 및 방법에 따르면, 깊이 영상에 기초하여 조명 변화의 영향을 받지 않게 헤드 포즈를 추정할 있다. 또한, 헤드 피치각 및 헤드 편향각을 이용하여 3D 모델을 구동함으로써 우수한 식별 결과를 획득할 수 있으며, 거리가 멀거나 해상도가 저하인 경우에도 정확하게 식별된 포즈를 획득할 수 있다. 또한, 실시예에 따른 헤드 포즈 추정을 위한 장치 및 방법은 간단한 계산을 통해 실시간으로 요구를 만족시킬 수 있다.
일 실시예에 따른 헤드 포즈 추정을 위한 장치 및 방법은 각종 설계 방안에 적용될 수 있다. 예시로, HCI 장치에 사용될 수 있다. 상기 장치는 조립된 전자 제품(예, 셋 톱 박스, 스마트 TV, 게임기, 3D TV, 모바일 장치)일 수 있고, 또한 통합 HCI 제어 칩(integrated HCI control chip)으로 해당하는 장치에 설치될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 입력된 깊이 영상으로부터 헤드 영역을 추출하는 헤드 영역 추출부;
    상기 헤드 영역에서 헤드의 피치각을 추정하는 헤드 피치각 추정부;
    상기 헤드 영역에서 헤드의 편향각을 추정하는 헤드 편향각 추정부; 및
    상기 추정된 헤드의 피치각 및 상기 추정된 헤드의 편향각에 기초하여 헤드 포즈를 합성하는 헤드 포즈 합성부
    를 포함하는 헤드 포즈 추정을 위한 장치.
  2. 제1항에 있어서,
    상기 헤드 영역 추출부는,
    헤드의 깊이 특징에 기초하여 상기 입력된 깊이 영상으로부터 상기 헤드 영역을 검출하는 헤드 검출부; 및
    상기 검출된 헤드 영역에서 배경 부분을 제거하는 배경 제거부
    를 포함하는 헤드 포즈 추정을 위한 장치.
  3. 제2항에 있어서,
    상기 헤드 영역 추출부는,
    상기 헤드의 윤곽 특징에 기초하여 상기 배경 부분이 제거된 헤드 영역에 대하여 정밀 처리를 수행하는 헤드 영역 정밀 처리부
    를 더 포함하는 헤드 포즈 추정을 위한 장치.
  4. 제1항에 있어서,
    상기 헤드 피치각 추정부는,
    상기 헤드 영역에서 수직 방향을 따라가는 헤드의 깊이를 가리키는 헤드의 피치선을 추출하는 피치선 추출부;
    상기 추출된 헤드의 피치선을 직선으로 피팅하는 피팅부; 및
    상기 직선이 수직 방향을 벗어나는 각도를 계산하여 헤드의 피치각으로 설정하는 피치각 계산부
    를 포함하는 헤드 포즈 추정을 위한 장치.
  5. 제4항에 있어서,
    상기 피팅부는,
    상기 헤드의 피치선을 복수의 섹션으로 구분하며, RANSAC 알고리즘에 기초하여 피팅 확률이 가장 높은 섹션에서 상기 직선을 획득하는 헤드 포즈 추정을 위한 장치.
  6. 제1항에 있어서,
    상기 헤드 편향각 추정부는,
    상기 헤드 영역에서 수평 방향을 따라가는 헤드의 깊이를 가리키는 헤드의 편향선을 추출하는 편향선 추출부; 및
    상기 헤드의 편향각에 기초하여 초점 깊이가 헤드의 중심을 벗어나는 정도를 결정하여 헤드의 편향각을 획득하는 편향각 계산부
    를 포함하는 헤드 포즈 추정을 위한 장치.
  7. 제1항에 있어서,
    상기 헤드 포즈 합성부는,
    상기 헤드의 피치각 및 상기 헤드의 편향각에 기초하여 피치 방향 및 편향 방향으로 3D 모델을 구동함으로써 대응하는 3D 헤드 포즈를 획득하는 헤드 포즈 추정을 위한 장치.
  8. 입력된 깊이 영상으로부터 헤드 영역을 추출하는 단계;
    상기 헤드 영역에서 헤드의 피치각을 추정하는 단계;
    상기 헤드 영역에서 헤드의 편향각을 추정하는 단계; 및
    상기 추정된 헤드의 피치각 및 상기 추정된 헤드의 편향각에 기초하여 헤드 포즈를 합성하는 단계
    를 포함하는 헤드 포즈 추정을 위한 방법.
  9. 제8항에 있어서,
    상기 헤드 영역을 추출하는 단계는,
    헤드의 깊이 특징에 기초하여 상기 입력된 깊이 영상으로부터 상기 헤드 영역을 검출하는 단계; 및
    상기 검출된 헤드 영역에서 배경 부분을 제거하는 단계
    를 포함하는 헤드 포즈 추정을 위한 방법.
  10. 제9항에 있어서,
    상기 헤드 영역을 추출하는 단계는,
    상기 헤드의 윤곽 특징에 기초하여 상기 배경 부분이 제거된 헤드 영역에 대하여 정밀 처리를 수행하는 단계
    를 더 포함하는 헤드 포즈 추정을 위한 방법.
  11. 제8항에 있어서,
    상기 헤드의 피치각을 추정하는 단계는,
    상기 헤드 영역에서 수직 방향을 따라가는 헤드의 깊이를 가리키는 헤드의 피치선을 추출하는 단계;
    상기 추출된 헤드의 피치선을 직선으로 피팅하는 단계; 및
    상기 직선이 수직 방향을 벗어나는 각도를 계산하여 헤드의 피치각으로 설정하는 단계
    를 포함하는 헤드 포즈 추정을 위한 방법.
  12. 제11항에 있어서,
    상기 추출된 헤드의 피치선을 직선으로 피팅하는 단계는,
    상기 헤드의 피치선을 복수의 섹션으로 구분하며, RANSAC 알고리즘에 기초하여 피팅 확률이 가장 높은 섹션에서 상기 직선을 획득하는 단계
    를 포함하는 헤드 포즈 추정을 위한 방법.
  13. 제8항에 있어서,
    상기 헤드의 편향각을 추정하는 단계는,
    상기 헤드 영역에서 수평 방향을 따라가는 헤드의 깊이를 가리키는 헤드의 편향선을 추출하는 단계; 및
    상기 헤드의 편향각에 기초하여 초점 깊이가 헤드의 중심을 벗어나는 정도를 결정하여 헤드의 편향각을 획득하는 단계
    를 포함하는 헤드 포즈 추정을 위한 방법.
  14. 제8항에 있어서,
    상기 추정된 헤드의 피치각 및 헤드의 편향각에 기초하여 헤드 포즈를 합성하는 단계는,
    상기 헤드의 피치각 및 상기 헤드의 편향각에 기초하여 피치 방향 및 편향 방향으로 3D 모델을 구동함으로써 대응하는 3D 헤드 포즈를 획득하는 단계
    를 포함하는 헤드 포즈 추정을 위한 방법.
  15. 제8항 내지 제14항 중 어느 한 항의 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능 기록매체.
KR1020130057562A 2012-10-29 2013-05-22 헤드 포즈 추정을 위한 장치 및 방법 KR20140055935A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/065,833 US9406135B2 (en) 2012-10-29 2013-10-29 Device and method for estimating head pose

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210420900.2A CN103793680B (zh) 2012-10-29 2012-10-29 用于估计头部姿势的设备和方法
CN201210420900.2 2012-10-29

Publications (1)

Publication Number Publication Date
KR20140055935A true KR20140055935A (ko) 2014-05-09

Family

ID=50669328

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130057562A KR20140055935A (ko) 2012-10-29 2013-05-22 헤드 포즈 추정을 위한 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20140055935A (ko)
CN (1) CN103793680B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107707839A (zh) * 2017-09-11 2018-02-16 广东欧珀移动通信有限公司 图像处理方法及装置
US10528802B2 (en) 2018-01-09 2020-01-07 Futurewei Technologies, Inc. Head pose and distraction estimation
CN110047101A (zh) * 2018-01-15 2019-07-23 北京三星通信技术研究有限公司 物体姿态估计方法、获得稠密深度图像的方法、相应装置
KR102075686B1 (ko) * 2018-06-11 2020-02-11 세메스 주식회사 카메라 자세 추정 방법 및 기판 처리 장치
CN114612939B (zh) * 2022-03-25 2023-01-10 珠海视熙科技有限公司 一种基于tof相机的坐姿识别方法、装置及智能台灯

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7391888B2 (en) * 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
CN102122343A (zh) * 2010-01-07 2011-07-13 索尼公司 躯干倾斜角度确定及姿势估计方法和装置
US9582707B2 (en) * 2011-05-17 2017-02-28 Qualcomm Incorporated Head pose estimation using RGBD camera

Also Published As

Publication number Publication date
CN103793680A (zh) 2014-05-14
CN103793680B (zh) 2018-10-23

Similar Documents

Publication Publication Date Title
KR101169533B1 (ko) 얼굴 자세 추정 장치, 얼굴 자세 추정 방법 및 얼굴 자세 추정 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
US9767611B2 (en) Information processing apparatus and method for estimating depth values using an approximate plane
KR100544677B1 (ko) 다시점 영상 및 깊이 정보를 이용한 3차원 객체 추적 장치및 그 방법
US9460337B2 (en) Information processor and information processing method
US9406135B2 (en) Device and method for estimating head pose
KR101681538B1 (ko) 영상 처리 장치 및 방법
KR101082046B1 (ko) 2차원 영상의 3차원 영상으로의 변환방법 및 그 장치
KR20140055935A (ko) 헤드 포즈 추정을 위한 장치 및 방법
US9727776B2 (en) Object orientation estimation
KR20150096922A (ko) 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법
KR102001636B1 (ko) 이미지 센서와 대상 객체 사이의 상대적인 각도를 이용하는 깊이 영상 처리 장치 및 방법
KR101991094B1 (ko) 거리 측정 방법, 거리 측정 장치, 컴퓨터 프로그램 및 기록매체
WO2012100225A1 (en) Systems and methods for generating a three-dimensional shape from stereo color images
KR101694651B1 (ko) 3차원 위치 추정을 이용한 광각 렌즈 영상의 왜곡 보정 장치 및 그 방법
JPWO2014033936A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
KR102110459B1 (ko) 3차원 이미지 생성 방법 및 장치
CN111801725A (zh) 图像显示控制装置及图像显示控制用程序
JP2013185905A (ja) 情報処理装置及び方法、並びにプログラム
JP5253227B2 (ja) 画像入力装置及び被写体検出方法、プログラム
JP4850768B2 (ja) ３次元の人の顔の表面データを再構築するための装置及びプログラム
KR101226668B1 (ko) 스테레오 카메라를 이용한 3차원 동작 인식장치 및 인식방법
KR20100006736A (ko) 이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법
TWI658431B (zh) 影像處理方法、影像處理裝置及電腦可讀取記錄媒體
JP2008261756A (ja) ステレオ画像対から３次元の頭部姿勢をリアルタイムで推定するための装置及びプログラム
KR20140061164A (ko) 깊이 영상을 이용한 손 검출 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application