KR20130058424A

KR20130058424A - 특징점의 삼차원 위치 계산 장치 및 방법

Info

Publication number: KR20130058424A
Application number: KR20110124422A
Authority: KR
Inventors: 남동경; 박주용
Original assignee: 삼성전자주식회사
Priority date: 2011-11-25
Filing date: 2011-11-25
Publication date: 2013-06-04
Also published as: US20130136302A1; CN103136744B; CN103136744A; KR101874494B1; US9600714B2; EP2597597B1; EP2597597A2; EP2597597A3

Abstract

피사체를 촬영한 영상으로부터 복수 개의 특징점을 추출하고 상기 복수 개의 특징점들 각각의 3차원 공간상 좌표를 계산하는 장치가 제공된다. 상기 장치는 특징점 분석 알고리즘을 이용하여 상기 피사체를 촬영한 영상으로부터 복수 개의 특징점을 추출한다. 상기 특징점 사이의 거리는 상기 피사체 특징에 따라 다르게 설정될 수 있으며 상기 3차원 공간상 좌표 계산에 있어서 입력 값으로 주어진다. 상기 장치는 상기 특징점 사이의 상대적 위치에 대한 정보를 포함하는 방향 벡터를 계산하여 상기 3차원 공간상 좌표 계산에 이용할 수 있다.

Description

특징점의 삼차원 위치 계산 장치 및 방법{APPARATUS AND METHOD FOR CALCULATING 3 DIMENSIONAL POSITION OF FEATURE POINTS}

특징점에 대한 3차원(3-Dimensional, 3D) 위치를 계산하는 장치 및 방법에 연관되며, 보다 특정하게는 공간 상 특징점을 검출하여 각각의 특징점의 3차원 좌표를 계산하는 장치 및 방법에 연관된다.

최근 카메라는 단순히 주변 풍경이나 인물을 촬영하는 영상 획득장치의 역할을 넘어서, 카메라 주변 공간에 대한 다양한 정보를 손쉽게 입력하기 위한 수단의 역할을 담당하고 있다.

예를 들어 스마트폰의 카메라는 바코드 또는 QR 코드를 인식하는 수단으로 사용되며, 비디오 게임과 연동되는 카메라는 사람의 모션 센싱을 수행하기도 한다.

한편, 3D 디스플레이나 보안 카메라 등에서는 객체의 위치나 움직임을 추적하는 기능이 중요하게 인식되고 있으며, 이러한 분야에서도 카메라를 이용하여 객체나 특징점, 이를테면 인간의 눈의 위치를 식별하고 추적하는 기능의 필요성이 커지고 있다.

이를 테면 현재 상용화되어 많이 보급된 스테레오스코픽 방식의 안경식 3D 디스플레이 다음의 기술로 제시되고 있는 무안경식 3D 디스플레이, 멀티뷰 디스플레이에 있어서, 인간의 좌안이나 우안 위치에 맞도록 좌안 영상과 우안 영상을 생성하는 것은 중요한 이슈이므로 인간의 눈의 위치를 정확하고 빠르게 계산하는 방법이 요구된다.

여러 개의 카메라가 아닌 하나의 카메라만을 이용하여 특징점들에 대한 3차원 공간 좌표를 빠르게 계산할 수 있는 장치 및 방법이 제공된다.

하나의 카메라를 이용하여 사용자의 얼굴을 촬영하여 좌안과 우안 각각의 3차원 공간 좌표를 계산할 수 있으며, 사용자 별로 정밀한 조정(Calibration)을 반영할 수 있는 장치 및 방법이 제공된다.

본 발명의 일측에 따르면, 입력 영상으로부터 복수 개의 특징점을 추출하는 특징점 추출부, 상기 복수 개의 특징점 상호간의 위치 차이에 연관된 방향 벡터를 계산하는 방향 벡터 계산부, 및 상기 입력 영상 내의 상기 복수 개의 특징점 사이의 거리 및 상기 방향 벡터를 이용하여 상기 복수 개의 특징점 각각의 공간 좌표를 계산하는 공간 좌표 계산부를 포함하는 공간 좌표 계산 장치가 제공된다.

본 발명의 일실시예에 따르면 상기 공간 좌표 계산 장치는 피사체를 촬영하여 상기 입력 영상을 생성하는 단일의 카메라 모듈인 영상 생성부를 더 포함한다.

상기 특징점 추출부는 상기 입력 영상으로부터 인간의 눈에 대응하는 복수 개의 특징 점을 추출할 수 있다.

이 경우, 상기 방향 벡터 계산부는 상기 입력 영상에 인간 얼굴 마스크를 적용하여 상기 입력 영상에 포함된 인간 얼굴의 전면 방향에 대응하는 상기 방향 벡터를 계산할 수 있다.

본 발명의 일실시예에 따르면 상기 복수 개의 특징점 사이의 거리는 사용자 설정에 따라 조정될 수 있는 값이다.

본 발명의 다른 일측에 따르면, 인간의 얼굴을 촬영하여 입력 영상을 생성하는 영상 생성 장치, 상기 입력 영상으로부터 상기 인간의 좌안에 대응하는 제1 특징점 및 상기 인간의 우안의 위치에 대응하는 제2 특징점의 위치를 추출하는 특징점 추출부, 상기 인간의 좌안 및 상기 인간의 우안 사이의 거리 정보를 이용하여 상기 제1 특징점 및 상기 제2 특징점 각각의 3차원 공간상 좌표를 계산하는 공간 좌표 계산부를 포함하는 공간 좌표 계산 장치가 제공된다.

여기서, 상기 영상 생성 장치는 상기 인간의 얼굴을 촬영하여 상기 입력 영상을 생성하는 단일의 카메라 모듈일 수 있다.

한편 상기 공간 좌표 계산 장치는 상기 입력 영상을 분석하여 상기 인간의 얼굴 정면 방향에 대응하는 방향 벡터를 계산하는 방향 벡터 계산부를 더 포함하고, 이 경우 상기 공간 좌표 계산부는 상기 거리 정보 및 상기 방향 벡터를 이용하여 상기 제1 특징점 및 상기 제2 특징점 각각의 3차원 공간상 좌표를 계산할 수 있다.

이 경우 상기 방향 벡터 계산부는 상기 입력 영상에 인간 얼굴 마스크 모델을 적용하여 상기 방향 벡터를 계산할 수 있다.

또한 상기 공간 좌표 계산부는 상기 입력 영상 내에서 상기 제1 특징점 및 상기 제2 특징점 각각의 픽셀 인덱스에 따라 상기 영상 생성 장치로부터 제1 특징점 및 상기 제2 특징점 각각을 향하는 방향을 계산하여 상기 제1 특징점 및 상기 제2 특징점 각각의 3차원 공간상 좌표 계산에 이용할 수 있다.

본 발명의 또 다른 일측에 따르면, 입력 영상으로부터 복수 개의 특징점을 추출하는 특징점 추출 단계, 상기 복수 개의 특징점 상호간의 위치 차이에 연관된 방향 벡터를 계산하는 방향 벡터 계산 단계, 및 상기 입력 영상 내의 상기 복수 개의 특징점 사이의 거리 및 상기 방향 벡터를 이용하여 상기 복수 개의 특징점 각각의 공간 좌표를 계산하는 공간 좌표 계산 단계를 포함하는 공간 좌표 계산 방법이 제공된다.

본 발명의 또 다른 일측에 따르면, 단일의 카메라 모듈이 인간의 얼굴을 촬영하여 입력 영상을 생성하는 영상 생성 단계, 상기 입력 영상으로부터 상기 인간의 좌안에 대응하는 제1 특징점 및 상기 인간의 우안의 위치에 대응하는 제2 특징점의 위치를 추출하는 특징점 추출 단계, 상기 인간의 좌안 및 상기 인간의 우안 사이의 거리 정보를 이용하여 상기 제1 특징점 및 상기 제2 특징점 각각의 3차원 공간상 좌표를 계산하는 공간 좌표 계산 단계를 포함하는 공간 좌표 계산 방법이 제공된다.

하나의 카메라만을 이용하여 공간 상 위치를 달리하는 특징점들의 3차원 좌표를 비교적 정확하게 계산하므로, 눈 위치 추적 등에 필요한 카메라 장치 리소스가 절감된다.

원가나 디자인 면에서 3D 디스플레이에 등에 적용되기에 적합한 형태로 인간의 눈 추적을 수행할 수 있으며, 사용자 별로 조정을 반영할 수도 있어 사용자가 특정된 3D 디스플레이나 게임기 등에 적합하다.

도 1은 본 발명의 일실시예에 따른 공간 좌표 계산 장치가 예시적으로 디스플레이 기기에 배치된 응용예를 도시하는 구성도이다.
도 2는 본 발명의 일실시예에 따른 공간 좌표 계산 장치를 도시하는 블록도이다.
도 3은 본 발명의 일실시예에 따른 영상 생성 장치와 눈의 공간적 배치를 설명하기 위한 개념도이다.
도 4은 본 발명의 일실시예에 따라 생성된 입력 영상에서 눈의 방향을 계산하는 과정을 설명하기 위한 개념도이다.
도 5는 본 발명의 일실시예에 따라 두 눈의 위치 벡터 및 얼굴의 방향 벡터를 구하는 과정을 설명하기 위한 개념도이다.
도 6은 본 발명의 일실시예에 따른 특징점 위치 계산 방법을 도시하는 흐름도이다.

이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일실시예에 따른 공간 좌표 계산 장치가 예시적으로 디스플레이 기기에 배치된 응용예를 도시하는 구성도(100)이다.

도시된 바와 같이, 본 발명의 일실시예에 따르면 공간 좌표 계산 장치(200)가 디스플레이 기기(101)를 위해 인간(102)의 좌안(110) 및 우안(120)의 공간 좌표를 계산하는 데에 이용될 수 있다.

그러나, 이러한 내용은 어디까지나 본 발명의 예시적 일부에 불과하며, 본 발명의 사상을 벗어나지 않는 범위의 임의의 응용에 적용이 가능하다. 따라서, 이하에서는 디스플레이 기기(101)에서 인간(102)의 양안(110 및 120) 공간 좌표를 계산하는 내용으로 설명하지만, 본 발명은 이러한 일부 실시예에 국한되어 해석되어서는 안 된다.

도 2를 참조하여 다시 설명하겠지만, 공간 좌표 계산 장치(200)에는 단일의 카메라 모듈이 포함될 수 있다.

이 단일의 카메라 모듈의 화각(FoV: Field of View) 내에 위치하는 인간(102) 얼굴을 촬영하면 본 발명의 일실시예에 따른 공간 좌표 계산 장치(200)는 촬영된 영상으로부터 양안(110 및 120)의 위치를 특징점으로 찾아내고, 후술할 방법에 따라 양안(110 및 120)의 공간 좌표를 빠르게 계산해 낸다.

종래에는 하나의 카메라를 이용하여 획득한 영상으로부터는 양안(110 및 120)의 정확한 공간 좌표를 계산하는 데에 어려움이 있었는데, 이는 카메라 영상이 기본적으로 삼차원 공간을 2차원 평면에 투사하여 표현하고 있어서, 카메라로 촬영된 피사체에 대해서는 카메라 시점으로부터 방향만 알 수 있을 뿐, 삼차원 위치를 파악할 수 없기 때문이다.

따라서 종래에는 3차원 공간에서 서로 다른 위치에 있는 두 개 이상의 카메라를 이용하여 각각의 카메라에 대한 영상을 획득하고, 이를 이용하여 삼각 측량법에 의해 인간(102)의 양안(110 및 120)의 공간 좌표를 결정하고자 하였는데, 이러한 방법은 카메라 수의 증가에 따른 비용 증가 문제, 다수 카메라 사이의 광학적 정합, 시간적 동기화 필요성 등으로 인해 실제 제품에 적용하기에는 어려움이 있었다.

이해를 돕기 위해 예를 들면, 스마트폰 등의 기기에서 삼차원 영상 표현이나 영상 통화 목적으로 사용자의 얼굴을 촬영하고 공간 위치를 파악해야 할 경우에, 스마트 폰 상에 두 개 이상의 카메라가 배치되는 것은 비용 및 휴대폰 크기의 증가의 문제가 있다.

따라서 본 발명의 일실시예에 따르면 보다 유용하고 적합한 방법은 하나의 카메라를 이용하여 원하는 특징점의 삼차원 위치, 즉 공간상 좌표를 계산한다.

본 발명의 실시예들은 도 2 이하를 참조하여 보다 상세히 후술한다.

도 2는 본 발명의 일실시예에 따른 공간 좌표 계산 장치(200)를 도시하는 블록도이다.

본 발명의 일실시예에 따르면, 영상 생성부(210)는 하나의 카메라를 포함하며, 피사체인 인간의 얼굴 등을 촬영하여 입력 영상을 생성한다. 이러한 입력 영상은 이를 테면 디지털 칼라 영상으로 이해될 수 있다.

그러면 특징점 추출부(220)는 상기 입력 영상으로부터 공간 좌표를 계산하고자 하는 특징점들, 이를테면 도 1에 도시된 인간(102)의 양안(110 및 120)을 추출한다. 영상으로부터 눈(eye)의 위치를 추출하는 알고리즘은 종래에 많이 소개되어 있으므로 구체적인 언급을 생략한다.

본 발명의 일실시예에 따른 공간 좌표 계산 장치(200)에는 이러한 입력 영상으로부터 추출되는 특징점들 외에 미리 결정되어 있거나 실시간 입력되는 값으로서 특징점들 사이의 거리가 이용된다.

이 특징점들 사이의 거리는, 이를테면 인간의 평균적 양안 사이 거리(Inter Pupil Distance: IPD)로서 인간의 성별이나 나이 및 인종에 따라 약간 상이하지만, 대략 6cm 정도이다.

이 IPD 값이 본 발명의 실시예에 따라 특징점인 좌안 우안 각각의 공간 상 위치를 계산하는 데에 이용되는데, IPD 값은 입력 값이긴 하지만 고정되어 있는 상수는 아니고, 피사체인 인간에 따라 얼마든지 조정(Calibration)될 수 있는 값이다.

방향 벡터 계산부(230)는 상기 입력 영상에 미리 주어지는 인간 얼굴의 마스크 모델을 이용하여 촬영된 인간(102)의 얼굴 정면이 어디를 향하고 있는지의 방향 벡터를 계산한다.

그러면, 공간 좌표 계산부는 이 방향 벡터와 함께, 영상 생성부에 포함된 카메라 시점으로부터 특징점들이 어느 방향에 있는지의 정보와 상기 IPD를 이용하여 각 특징점들의 좌표를 계산한다.

구체적인 계산 과정은 도 3 내지 도 5를 참조하여 상세히 후술한다.

도 3은 본 발명의 일실시예에 따른 영상 생성 장치와 눈의 공간적 배치를 설명하기 위한 개념도이다.

카메라(310)는 도 2의 영상 생성부(210)에 포함되는 일체의 카메라 모듈에 대응할 수 있다. 이하에서는 설명의 편의를 위해 카메라(310)의 투사 중심점이 원점 O에 위치한다고 좌표계를 설정한다. 그리고, 원점 O에서 인간의 좌안(321)까지의 위치 벡터를 P_L, 우안(331)까지의 위치 벡터를 P_R 벡터로 표기한다.

또한, 좌안(321)까지의 방향 벡터를 v_L로 표기하며 방향 벡터 v_L의 성분은 (lx, ly, lz)로 표기한다. 우안(331)까지의 방향 벡터는 v_R로 표기하며 방향 벡터 v_R의 성분은 (rx, ry, rz)로 표기한다.

여기서 방향 벡터 v_L와 방향벡터 v_R는 각각 위치 벡터 P_L 및 위치 벡터 P_R과 같은 방향 성분을 가지며 크기가 1인 단위벡터(unit vector)이다.

d_L은 원점 O에서 좌안(321)까지의 z축(313) 방향의 거리를 나타내며, P_L 벡터의 z축(313) 방향 성분 값으로 이해될 수 있다.

마찬가지로 d_R은 원점 O에서 우안(331)까지의 z축(313) 방향 거리를 나타낸다.

그리고, 카메라와 관련하여 hFoV와 vFoV는 각각 수평 방향 시야각 (horizontal Field of View)와 수직 방향 시야각 (vertical Field of View)를 나타내며, hRes와 vRes는 각각 카메라 촬영 영상의 수평 해상도 (horizontal pixel resolution)와 수직 해상도 (vertical pixel resolution)를 의미한다.

또한 상기한 바와 같이 IPD는 좌안(321)과 우안(331) 사이의 거리 (Inter Pupil Distance)를 뜻하며, fn 벡터는 얼굴이 향하는 방향을 나타내는 방향 벡터로 좌안(321)과 우안(331)을 연결하는 직선과 수직이며 얼굴의 정면이 향하는 방향을 의미한다. 좌안 평면(320)은 좌안(321)을 포함하며 좌표계의 x축(311) 및 y축(312)이 이루는 xy 평면과 평행인 가상의 평면이다. 또한 우안 평면(330)은 우안(331)을 포함하면서 상기 xy 평면과 평행인 가상의 평면이다.

이하에서는 도 4를 참조해서 이와 같은 배치에서 본 발명의 일실시예에 따른 방향 벡터 계산부(230)가 방향 벡터인 v_L과 v_R을 구하는 방법을 설명한다.

도 4은 본 발명의 일실시예에 따라 생성된 입력 영상에서 눈의 방향을 계산하는 과정을 설명하기 위한 개념도이다.

도 4에서 도시된 바와 같이 촬영된 입력 영상에서 하나의 눈, 이를테면 좌안의 중심이 수평 방향으로 x 번째 화소에 위치한다고 가정한다. 그리고, 수평 방향 화소 값을 (-1/2, 1/2) 범위로 정규화 (normalize)한 값을 x' 이라고 하면,

의 관계가 성립된다.

그러면 좌표 원점 O에서 x' 이 이루는 각도가 θx 에 대해서는 다음 수학식의 관계가 성립한다.

여기서 d는 정규화된 z축(313) 방향의 거리이다. 그러면, 수학식 2와 수학식 3으로부터,

의 내용이 도출되며, 따라서 θx는,

로 구할 수 있고, θy는,

로 구할 수 있다.

그러면 이 경우에 방향 벡터 v는,

로 계산될 수 있다.

따라서, 좌안(321)의 방향 벡터 v_L과 우안(331)의 방향 벡터 v_R은 각각,

으로 구할 수 있다.

그리고, 여기서,

의 계산이 가능하다.

상기 수학식들에서, x_L, y_L은 각각 촬영된 영상의 좌안 중심의 수평 방향 화소 위치와 수직 방향 화소 위치를 나타내며, x_R, y_R은 각각 우안 중심의 수평 방향 화소 위치와 수직 방향 화소 위치를 뜻한다.

이렇게 좌안과 우안의 방향 벡터가 산출되면, 각각의 위치 벡터를 구할 수 있는데 이에 대해서는 도 5를 참조하여 설명한다.

도 5는 본 발명의 일실시예에 따라 두 눈의 위치 벡터 및 얼굴의 방향 벡터를 구하는 과정을 설명하기 위한 개념도이다.

도시된 내용을 참조하여 먼저 좌안의 위치 벡터 P_L를 계산하면,

의 결론이 가능하며, 마찬가지로 우안의 위치 벡터를 계산하면,

가 된다. 그리고 수학식 14, 수학식 15에서 d_L 및 d_R의 값이 결정되면 눈의 위치를 알 수 있는데, 이를 결정하기 위하여 다음 두 식을 이용한다.

여기서 수학식 16을 상기 수학식 14와 수학식 15를 이용하여 다시 정리하면,

가 되고, 따라서, 좌안의 z축 방향 거리 d_L은,

로 계산됨을 알 수 있다. 그리고, 여기서,

로 정의하고, 수학식 14와 수학식 15 및 수학식 19를 이용하여 수학식 17을 다시 정리하면,

가 된다. 그러면 우안의 z축 방향 거리는,

로 계산될 수 있고, 다시 이 값을 상기 수학식 19에 대입하면, 좌안의 z축 방향 거리도,

로 계산된다.

그러면, 좌안(321)과 우안(331)의 3차원 공간 상 좌표 값인 위치 벡터 P_L과 P_R은 각각,

로 구해진다. 여기서 α는 상기 수학식 20에서 정의된 값이다.

이상 설명한 방법에 의해 공간 좌표 계산부(240)는 하나의 카메라에 의해 촬영된 영상과 IPD 값 및 얼굴 방향 벡터 Fn 만을 이용하여 양안의 3차원 좌표 값을 정확하게 계산할 수 있다.

도 6은 본 발명의 일실시예에 따른 특징점 위치 계산 방법을 도시하는 흐름도이다.

단계(610)에서는 인간 마다 다를 수 있는 IPD 값에 의한 계산 결과 오차를 줄이기 위해 사용자에 맞는 조정된 IPD 값을 입력할 수 있으며, 이 단계는 선택적으로(optionally) 수행된다. 이러한 사용자 IPD 입력이 생략되면, 기본 값, 이를테면 6cm 정도의 값이 IPD 값으로 설정되어 계산에 이용될 수 있다.

그리고, 단계(620)에서의 카메라 파라미터들(hFoV, vFoV, hRes, vRes) 및 카메라 모드 등이 설정될 수 있고, 이 단계 역시 선택적으로 수행될 수 있다.

그리고 영상 생성부(210)가 피사체를 촬영하여 영상을 생성한다(630).

이렇게 촬영된 영상이 주어지면 단계(640)에서는 특징점 추출부(220)가 영상 내에서 어느 픽셀들이 촬영된 인간의 양안의 위치에 해당하는 지 특징점을 검출한다. 이러한 특징점의 픽셀 인덱스는 좌안 위치가 (xL, yL)로, 우안 위치가 (xR, yR)으로 표시된다.

한편, 단계(650)에서는 방향 벡터 계산부(230)가 현재 프레임의 영상에 상응하는 피사체 얼굴을 분석하여 얼굴 방향 벡터인 fn을 결정한다. 촬영된 영상으로부터 얼굴의 방향 벡터 fn을 계산하는 방법으로는 얼굴의 삼차원적 특징점 모델을 학습하여 촬영된 영상에 매칭하는 방법이 대표적이다.

단계(660)에서 특징점 각각의 방향 벡터가 상기 수학식들에 따라 계산된다.

앞서 입력된 카메라 파라미터 및 눈의 화소 위치 정보로부터 수학식 8 내지 13을 사용하면 특징점인 눈의 방향 벡터들이 계산된다.

그리고 단계(670)에서 공간 좌표 계산부(240)는 상기 계산된 눈의 방향 벡터와 앞서 입력된 IPD 값, 그리고 얼굴 방향 벡터 정보로부터 수학식 24 및 수학식 25를 이용하여 눈의 위치 벡터 PL 및 PR을 계산한다. 계산된 좌안과 우안의 위치 벡터 성분은 단계(680)에서 삼차원 공간 정보로 전달되거나 출력된다.

그리고, 카메라 모드에 따라 다음 프레임이 지속적으로 입력되어 계속적 위치 좌표 갱신이 필요한 경우에는 단계(690)에서의 판단에 따라 단계(630) 이하가 반복될 수 있다.

한편, 상술한 실시예에서는 얼굴 방향 벡터 fn이 두 눈을 지나는 직선에 수직인 경우에 대하여 기술하였다. 하지만 수직이 아닌 경우에 대해서도 마찬가지 방법으로 계산이 가능하다. 이 경우 상기 수학식 16만 다음과 같이 바뀌게 된다.

여기서 θ는 얼굴 방향 벡터가 두 눈을 지나는 직선과 이루는 각도가 된다.

이상의 단계들은 도 3 내지 도 5를 참조하여 상술한 바와 같다.

본 발명의 실시예들에 따르면 하나의 카메라만을 이용하여 촬영된 영상으로부터 피사체의 특징점, 이를테면 왼쪽 눈 및 오른쪽 눈에 대한 삼차원 공간 위치 정보가 빠르고 정확하게 계산된다.

따라서 기존의 스테레오 카메라 방식에 비하여 구현을 위한 장치 구조가 간단해지고, 구현 비용이 낮아져서 제품화에 적합하다. 따라서 이러한 실시예에 따르면 3D 디스플레이 기기, 모션 센싱 분야, 로봇 시스템 등에서 특징점 위치 계산이 매우 효율적으로 이루어질 수 있다.

본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

200: 공간 좌표 계산 장치
210: 영상 생성부
220: 특징점 추출부
230: 방향 벡터 계산부
240: 공간 좌표 계산부

Claims

입력 영상으로부터 복수 개의 특징점을 추출하는 특징점 추출부;
상기 복수 개의 특징점 상호간의 위치 차이에 연관된 방향 벡터를 계산하는 방향 벡터 계산부; 및
상기 입력 영상 내의 상기 복수 개의 특징점 사이의 거리 및 상기 방향 벡터를 이용하여 상기 복수 개의 특징점 각각의 공간 좌표를 계산하는 공간 좌표 계산부
를 포함하는 공간 좌표 계산 장치.
제1항에 있어서,
피사체를 촬영하여 상기 입력 영상을 생성하는 단일의 카메라 모듈인 영상 생성부
를 더 포함하는 공간 좌표 계산 장치.
제1항에 있어서,
상기 특징점 추출부는 상기 입력 영상으로부터 인간의 눈에 대응하는 복수 개의 특징 점을 추출하는 공간 좌표 계산 장치.
제3항에 있어서,
상기 방향 벡터 계산부는 상기 입력 영상에 인간 얼굴 마스크를 적용하여 상기 입력 영상에 포함된 인간 얼굴의 전면 방향에 대응하는 상기 방향 벡터를 계산하는 공간 좌표 계산 장치.
제3항에 있어서,
상기 복수 개의 특징점 사이의 거리는 사용자 설정에 따라 조정될 수 있는 값인 공간 좌표 계산 장치.
인간의 얼굴을 촬영하여 입력 영상을 생성하는 영상 생성 장치;
상기 입력 영상으로부터 상기 인간의 좌안에 대응하는 제1 특징점 및 상기 인간의 우안의 위치에 대응하는 제2 특징점의 위치를 추출하는 특징점 추출부;
상기 인간의 좌안 및 상기 인간의 우안 사이의 거리 정보를 이용하여 상기 제1 특징점 및 상기 제2 특징점 각각의 3차원 공간상 좌표를 계산하는 공간 좌표 계산부
를 포함하는 공간 좌표 계산 장치.
제6항에 있어서,
상기 입력 영상을 분석하여 상기 인간의 얼굴 정면 방향에 대응하는 방향 벡터를 계산하는 방향 벡터 계산부
를 더 포함하고,
상기 공간 좌표 계산부는 상기 거리 정보 및 상기 방향 벡터를 이용하여 상기 제1 특징점 및 상기 제2 특징점 각각의 3차원 공간상 좌표를 계산하는 공간 좌표 계산 장치.
제7항에 있어서,
상기 방향 벡터 계산부는 상기 입력 영상에 인간 얼굴 마스크 모델을 적용하여 상기 방향 벡터를 계산하는 공간 좌표 계산 장치.
제6항에 있어서,
상기 영상 생성 장치는 상기 인간의 얼굴을 촬영하여 상기 입력 영상을 생성하는 단일의 카메라 모듈인 공간 좌표 계산 장치.
제6항에 있어서,
상기 공간 좌표 계산부는 상기 입력 영상 내에서 상기 제1 특징점 및 상기 제2 특징점 각각의 픽셀 인덱스에 따라 상기 영상 생성 장치로부터 제1 특징점 및 상기 제2 특징점 각각을 향하는 방향을 계산하여 상기 제1 특징점 및 상기 제2 특징점 각각의 3차원 공간상 좌표 계산에 이용하는 공간 좌표 계산 장치.
입력 영상으로부터 복수 개의 특징점을 추출하는 특징점 추출 단계;
상기 복수 개의 특징점 상호간의 위치 차이에 연관된 방향 벡터를 계산하는 방향 벡터 계산 단계; 및
상기 입력 영상 내의 상기 복수 개의 특징점 사이의 거리 및 상기 방향 벡터를 이용하여 상기 복수 개의 특징점 각각의 공간 좌표를 계산하는 공간 좌표 계산 단계
를 포함하는 공간 좌표 계산 방법.
제11항에 있어서,
상기 입력 영상은 피사체를 촬영하여 상기 입력 영상을 생성하는 단일의 카메라 모듈에 의해 획득되는 것인 공간 좌표 계산 방법.
제11항에 있어서,
상기 특징점 추출 단계는 상기 입력 영상으로부터 인간의 눈에 대응하는 복수 개의 특징 점을 추출하는 공간 좌표 계산 방법.
제13항에 있어서,
상기 방향 벡터 계산 단계는 상기 입력 영상에 인간 얼굴 마스크를 적용하여 상기 입력 영상에 포함된 인간 얼굴의 전면 방향에 대응하는 상기 방향 벡터를 계산하는 공간 좌표 계산 방법.
제13항에 있어서,
상기 복수 개의 특징점 사이의 거리를 사용자 설정에 따라 조정하여 입력하는 사용자 조정 단계
를 더 포함하는 공간 좌표 계산 방법.
단일의 카메라 모듈이 인간의 얼굴을 촬영하여 입력 영상을 생성하는 영상 생성 단계;
상기 입력 영상으로부터 상기 인간의 좌안에 대응하는 제1 특징점 및 상기 인간의 우안의 위치에 대응하는 제2 특징점의 위치를 추출하는 특징점 추출 단계;
상기 인간의 좌안 및 상기 인간의 우안 사이의 거리 정보를 이용하여 상기 제1 특징점 및 상기 제2 특징점 각각의 3차원 공간상 좌표를 계산하는 공간 좌표 계산 단계
를 포함하는 공간 좌표 계산 방법.
제16항에 있어서,
상기 입력 영상을 인간 얼굴 마스크 모델과 비교하여 상기 인간의 얼굴 정면 방향에 대응하는 방향 벡터를 계산하는 방향 벡터 계산 단계
를 더 포함하고,
상기 공간 좌표 계산 단계는 상기 거리 정보 및 상기 방향 벡터를 이용하여 상기 제1 특징점 및 상기 제2 특징점 각각의 3차원 공간상 좌표를 계산하는 공간 좌표 계산 방법.
제16항에 있어서,
상기 공간 좌표 계산 단계는 상기 입력 영상 내에서 상기 제1 특징점 및 상기 제2 특징점 각각의 픽셀 인덱스에 따라 상기 영상 생성 장치로부터 제1 특징점 및 상기 제2 특징점 각각을 향하는 방향을 계산하여 상기 제1 특징점 및 상기 제2 특징점 각각의 3차원 공간상 좌표 계산에 이용하는 공간 좌표 계산 방법.
제11항 내지 제18항 중 어느 한 항의 공간 좌표 계산 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.