KR101435325B1

KR101435325B1 - 깊이 맵 생성 방법 및 장치

Info

Publication number: KR101435325B1
Application number: KR1020130039010A
Authority: KR
Inventors: 노준용; 이정진; 박종진; 이상우
Original assignee: 한국과학기술원
Priority date: 2013-04-10
Filing date: 2013-04-10
Publication date: 2014-08-27

Abstract

깊이 맵 생성 방법 및 장치가 개시되어 있다. 깊이 맵 생성 방법은 복수의 키 프레임에 대해 에러 함수를 기반으로 3D 템플릿 모델과 2D 객체를 매칭하는 단계, 매칭된 3D 템플릿 모델을 기반으로 상기 2D 객체의 깊이 정보를 예측하는 단계와 2D 객체를 복수의 칼라-세그멘트로 분할하고, 분할된 칼라-세그멘트와 상기 2D 객체의 깊이 정보를 기반으로 깊이 맵을 생성하는 단계를 포함할 수 있다. 따라서, 전화된 3D(dimension) 영상에 대한 시각적인 왜곡을 감소시킬 수 있다.

Description

깊이 맵 생성 방법 및 장치{METHOD AND APPARATUS FOR GERNERATING DEPTH MAP}

본 발명은 영상 처리에 관한 것으로서, 보다 상세하게는 깊이 맵 생성 방법 및 장치에 관한 것이다.

스테레오스코픽 비디오(stereoscopic video)를 생성하기 위해서는 정확하게 세팅된 카메라들로 구성된 스테레오스코픽 리그(stereoscopic rig)를 사용할 수 있다. 동적인 장면을 촬영하기 위해서는 카메라의 위치를 이동하여야 한다. 하지만, 스테레오스코픽 리그는 무겁고 다루기가 어렵기 때문에 스테레오스코픽 리그를 사용하여 동적인 촬영을 하는 것은 촬영에 일정한 제한이 될 수 있다. 또한 스테레오스코픽 비디오를 생성시 복수 개의 스테레오 카메라 사이의 동기화도 어려운 문제 중 하나이다. 스테레오스코픽 리그에 작은 어긋남이 있는 경우 촬영된 영상에서 시각적인 피로감이 발생할 수 있다.

하나의 카메라로 촬영된 2D 영상을 3D 영상으로 전환하는 방법이 3D 영상을 생성하는 방법 중 하나로 사용되고 있다. 이러한 2D-3D 영상 전환 방법은 기존에 2D 영상으로 촬영된 화면을 3D 영상으로 생성하기 위해 많이 사용되기도 하지만, 스테레오스코픽 리그를 사용한 촬영 방법의 한계를 극복하기 위해 사용할 수도 있다.

2D에서 3D로 전환된 영상의 화질은 2D 영상의 객체를 기반으로 결정한 깊이의 정확도에 의해 결정될 수 있다. 특히, 객체가 사람일 경우, 사람에 대한 영상 왜곡에 대해서는 시청자들이 빠르게 인지할 수 있기 때문에 2D 영사에 정확하게 깊이 정보를 부여하여 3D 영상으로 생성하는 것이 중요한 문제일 수 있다. 많은 장면에서 사람이 중심이 되는 경우가 많기 때문에 2D 영상에서 사람의 깊이를 자동으로 예측하는 방법을 사용하여 2D 영상을 3D 영상으로 전환함으로서 영상 전환 과정을 빠르게 수행할 수 있다.

2D 영상에서 사람의 깊이 정보를 예측하는 것은 여러 가지 어려운 점이 있다. 영상에서 형태가 변하지 않는 다른 객체들과 달리 사람의 움직임은 관절을 기반으로 수행되어 형태가 변할 수 있다. 또한, 2D 영상에서 사람의 옷과 머리에 대한 깊이 정보를 부여하는 것도 또한 어려운 문제 중 하나일 수 있다. 시청자들은 영상의 다른 객체들보다 사람의 깊이 정보에 발생한 에러에 더욱 민감하기 때문에 2D 영상을 3D 영상으로 전환시 사람의 깊이 정보를 정확하게 예측하는 것이 중요하다.

본 발명의 제1 목적은 깊이 맵을 생성하는 방법을 제공하는 것이다.

본 발명의 제2 목적은 깊이 맵을 생성하는 방법을 수행하는 장치를 제공하는 것이다.

상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 깊이 맵 생성 방법은 복수의 키 프레임에 대해 에러 함수를 기반으로 3D 템플릿 모델과 2D 객체를 매칭하는 단계, 상기 매칭된 3D 템플릿 모델을 기반으로 상기 2D 객체의 깊이 정보를 예측하는 단계와 상기 2D 객체를 복수의 칼라-세그멘트로 분할하고, 상기 분할된 칼라-세그멘트와 상기 2D 객체의 깊이 정보를 기반으로 깊이 맵을 생성하는 단계를 포함하되, 상기 3D 템플릿 모델은 사람의 관절 정보를 포함하는 모델일 수 있다. 상기 복수의 키 프레임에 대해 에러 함수를 기반으로 3D 템플릿 모델과 2D 객체를 매칭하는 단계는 상기 에러 함수를 기반으로 상기 복수의 키 프레임에 대해 관련된 관절 각도 포즈 정보 및 루트 위치 정보를 예측하는 단계와 상기 관련된 관절 각도 포즈 정보 및 상기 루트 변환 정보를 기반으로 상기 3D 템플릿 모델과 상기 2D 객체를 매칭하는 단계를 포함하되 상기 관련된 관절 각도 포즈는 상기 복수의 키 프레임 사이에 산출된 상기 3D템플릿 모델의 관절에 대한 정보이고,상기 루트 위치 정보는 상기 복수의 키 프레임 사이에 산출된 상기 3D 템플릿 모델에서 루트의 위치를 나타내는 정보일 수 있다. 상기 에러 함수는 관절 투사 제약 정보, 각도 포즈 한계 제약 정보, 관련된 z-깊이 제약 정보 및 연속적인 관절 각도 제약 정보를 파라메터로 사용하는 함수이고 상기 관절 투사 제약 정보는 상기 3D 템플릿 모델의 관절 위치를 2D 평면에 투사한 위치와 상기 2D 객체의 관절 위치의 차이를 기반으로 산출되는 정보이고 상기 각도 포즈 한계 제약 정보는 상기 상기 3D 템플릿 모델의 관절이 미리 결정된 범위에 있는지 여부를 기반으로 산출되는 정보이고, 관련된 z-깊이 제약 정보는 관절과 상기 관절의 모 관절에 대한 상대적인 깊이 정보를 기반으로 산출되는 정보이고, 연속적인 관절 각도 제약 정보는 연속적으로 연결된 관절의 변화 정도를 기반으로 산출되는 정보일 수 있다. 상기 2D 객체를 복수의 칼라-세그멘트로 분할하고, 상기 분할된 칼라-세그멘트와 상기 2D 객체의 깊이 정보를 기반으로 깊이 맵을 생성하는 단계는 상기 복수의 칼라-세그먼트는 제1 칼라-세그먼트와 제2 칼라-세그먼트이고, 상기 제1 칼라-세그먼트에 포함된 픽셀의 깊이 값의 평균값인 제1 평균값을 산출하는 단계, 상기 제1 평균값을 기반으로 상기 픽셀을 제1 깊이 픽셀과 제2 깊이 픽셀로 분류하는 단계, 상기 제2 칼라-세그먼트에 포함된 픽셀의 깊이 값의 평균값인 제2 평균값을 산출하는 단계, 상기 제2 평균값을 기반으로 상기 제2 깊이 픽셀 중 상기 제2 칼라-세그먼트에 포함될 깊이 픽셀을 결정하는 단계를 더 포함하되, 상기 제1 깊이 픽셀은 상기 제1 평균값과의 깊이 값의 차이가 일정 범위보다 작거나 같은 픽셀이고, 상기 제2 깊이 픽셀은 상기 제1 평균값과의 깊이 값의 차이가 일정 범위보다 큰 픽셀일 수 있다. 상기 제1 깊이 픽셀의 2D(dimension) 좌표를 상기 제1 칼라-세그먼트를 기반으로 평균값 좌표로 전환하여 와핑하는 단계와 상기 제2 깊이 픽셀의 2D 좌표를 상기 제2 칼라-세그먼트를 기반으로 평균값 좌표로 전환하여 와핑하는 단계를 더 포함할 수 있다. 상기 3D 템플릿 모델은 상기 3D 템플릿 모델을 구성하는 관절들의 원점에 대한 정보인 관절 원점 정보, 상기 3D 템플릿 모델을 구성하는 관절들의 회전축에 관한 정보인 관절 회전 축 정보, 상기 3D 템플릿 모델을 구성하는 관절과 상기 관절의 모 관절 사이의 움직임 정보인 관절 병진 운동 정보, 상기 복수의 키 프레임 사이에서 산출된 상기 3D 템플릿 모델을 구성하는 관절들 사이의 정보인 관련된 관절 각도 포즈 정보와 상기 복수의 키 프레임 사이에 산출된 상기 3D 템플릿 모델의 루트 위치(root position)에 대한 정보인 루트 위치 정보를 포함할 수 있다.

상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 깊이 맵 생성 장치는 프로세서를 포함하고, 상기 프로세서는 복수의 키 프레임에 대해 에러 함수를 기반으로 3D 템플릿 모델과 2D 객체를 매칭하고 상기 매칭된 3D 템플릿 모델을 기반으로 상기 2D 객체의 깊이 정보를 예측하고 상기 2D 객체를 복수의 칼라-세그멘트로 분할하고, 상기 분할된 칼라-세그멘트와 상기 2D 객체의 깊이 정보를 기반으로 깊이 맵을 생성하도록 구현될 수 있되, 상기 3D 템플릿 모델은 사람의 관절 정보를 포함하는 모델일 수 있다. 상기 프로세서는 상기 에러 함수를 기반으로 상기 복수의 키 프레임에 대해 관련된 관절 각도 포즈 정보 및 루트 위치 정보를 예측하고 상기 관련된 관절 각도 포즈 정보 및 상기 루트 변환 정보를 기반으로 상기 3D 템플릿 모델과 상기 2D 객체를 매칭하도록 구현되되, 상기 관련된 관절 각도 포즈는 상기 복수의 키 프레임 사이에 산출된 상기 3D템플릿 모델의 관절에 대한 정보이고, 상기 루트 위치 정보는 상기 복수의 키 프레임 사이에 산출된 상기 3D 템플릿 모델에서 루트의 위치를 나타내는 정보일 수 있다. 상기 에러 함수는 관절 투사 제약 정보, 각도 포즈 한계 제약 정보, 관련된 z-깊이 제약 정보 및 연속적인 관절 각도 제약 정보를 파라메터로 사용하는 함수이고, 상기 관절 투사 제약 정보는 상기 3D 템플릿 모델의 관절 위치를 2D 평면에 투사한 위치와 상기 2D 객체의 관절 위치의 차이를 기반으로 산출되는 정보이고, 상기 각도 포즈 한계 제약 정보는 상기 상기 3D 템플릿 모델의 관절이 미리 결정된 범위에 있는지 여부를 기반으로 산출되는 정보이고, 관련된 z-깊이 제약 정보는 관절과 상기 관절의 모 관절에 대한 상대적인 깊이 정보를 기반으로 산출되는 정보이고, 연속적인 관절 각도 제약 정보는 연속적으로 연결된 관절의 변화 정도를 기반으로 산출되는 정보일 수 있다. 상기 프로세서는, 상기 복수의 칼라-세그먼트는 제1 칼라-세그먼트와 제2 칼라-세그먼트이고, 상기 제1 칼라-세그먼트에 포함된 픽셀의 깊이 값의 평균값인 제1 평균값을 산출하고 상기 제1 평균값을 기반으로 상기 픽셀을 제1 깊이 픽셀과 제2 깊이 픽셀로 분류하고, 상기 제2 칼라-세그먼트에 포함된 픽셀의 깊이 값의 평균값인 제2 평균값을 산출하고 상기 제2 평균값을 기반으로 상기 제2 깊이 픽셀 중 상기 제2 칼라-세그먼트에 포함될 깊이 픽셀을 결정하도록 구현되되, 상기 제1 깊이 픽셀은 상기 제1 평균값과의 깊이 값의 차이가 일정 범위보다 작거나 같은 픽셀이고, 상기 제2 깊이 픽셀은 상기 제1 평균값과의 깊이 값의 차이가 일정 범위보다 큰 픽셀일 수 있다. 상기 프로세서는, 상기 제1 깊이 픽셀의 2D(dimension) 좌표를 상기 제1 칼라-세그먼트를 기반으로 평균값 좌표로 전환하여 와핑하고 상기 제2 깊이 픽셀의 2D 좌표를 상기 제2 칼라-세그먼트를 기반으로 평균값 좌표로 전환하여 와핑하도록 구현될 수 있다. 상기 3D 템플릿 모델은 상기 3D 템플릿 모델을 구성하는 관절들의 원점에 대한 정보인 관절 원점 정보, 상기 3D 템플릿 모델을 구성하는 관절들의 회전축에 관한 정보인 관절 회전 축 정보, 상기 3D 템플릿 모델을 구성하는 관절과 상기 관절의 모 관절 사이의 움직임 정보인 관절 병진 운동 정보, 상기 복수의 키 프레임 사이에서 산출된 상기 3D 템플릿 모델을 구성하는 관절들 사이의 정보인 관련된 관절 각도 포즈 정보와 상기 복수의 키 프레임 사이에 산출된 상기 3D 템플릿 모델의 루트 위치(root position)에 대한 정보인 루트 위치 정보를 포함할 수 있다.

상술한 바와 같이 본 발명의 실시예에 따른 깊이 맵 생성 방법 및 장치에 따르면, 2D(dimension) 객체의 깊이 정보를 정확하게 결정할 수 있다. 따라서, 전화된 3D 영상에 대한 시각적인 왜곡을 감소시킬 수 있다.

도 1은 본 발명의 실시예에 따른 깊이 정보 예측 방법을 나타낸 순서도이다.
도 2는 본 발명의 실시예에서 사용하는 3D 템플릿 모델을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 연속 적인 관절 각도 제약을 나타내는 개념도이다.
도 4는 본 발명의 실시에에 따른 유저 인터페이스를 나타낸다.
도 5는 본 발명의 실시예에 따른 칼라 세그멘테이션을 수행하는 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 워핑 방법을 나타낸 개념도이다,.
도 7은 본 발명의 실시예에 따라 생성된 깊이 맵 생성 장치를 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따라 생성된 깊이 맵을 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 깊이 맵 생성 방법에 따라 생성한 깊이 맵을 나타낸다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 실시예에 따른 깊이 정보 예측 방법을 나타낸 순서도이다.

도 1을 참조하면, 본 발명에 따른 깊이 정보 예측 방법은 크게 아래의 두 개의 단계를 통해 수행될 수 있다.

1. 템플릿 모델 매칭 단계(단계 S100).

템플릿 모델 매칭 단계에서는 주어진 3D 템플릿 모델과 2D 객체인 사람을 매칭할 수 있다. 3D 템플릿 모델은 많은 수의 관절과 자유도(degree of freedom, DOF)를 가진 모델로서 사람의 복잡한 포즈를 반영하기에 충분한 모델일 수 있다. 증가하는 3D 템플릿 모델의 관절의 개수를 통해 2D 객체와 3D 템플릿 모델이 자연스러운 매칭될 수도 있다. 하지만, 반대로 2D 객체와 3D 템플릿 모델에 대한 매칭을 수행함에 있어 복잡도가 높아질 수 있다. 본 발명에서는 연결된 순차적인 관절들 간의 부드러운 각 변화가 이루어지도록 순차적인 관절 각에 대한 제약을 수행하여 3D 템플릿 모델과 2D 객체를 매칭할 수 있다. 이러한 방법은 유저 인터 페이스 기반으로 수행될 수도 있다. 매칭된 3D 템플릿 모델은 투사되어 이를 기반으로 2D 객체에 대한 깊이 정보를 예측할 수 있다.

2. 깊이 전파(depth propagation) 단계(단계 S120).

템플릿 모델 매칭 단계를 통해 템플릿 모델을 투사(projection)한 것과 2D 객체의 경계는 사람의 복잡한 실루엣으로 인해 완벽하게 매칭되지 않을 수 있다. 그러므로 매칭된 3D 템플릿 모델로부터 렌더링된 깊이 맵(depth map)은 2D 객체에 대한 정확하고 충분한 깊이 정보를 제공해주지 못할 수 있다. 본 발명의 실시예에서는 빈 공간(vacant area)에 주변의 깊이 정보를 전파하여 깊이 정보를 추정하는 방법 대신에 다른 방법을 사용하여 깊이 정보가 없는 공간에 대해 깊이 정보를 추정할 수 있다. 본 발명의 실시예에서는 2D 객체를 복수개의 부분(segment)으로 나누고, 알 수 없는 깊이 정보는 청크를 스트레칭 후에 와핑함으로서 예측할 수 있다.이러한 방법을 사용함으로서 결과 깊이 맵에서 깊이에 대한 디테일한 부분들에 대한 정확한 깊이 정보를 산출할 수 있다.

이하, 본 발명의 실시예에서는 템플릿 모델 매칭 단계(단계 S100)와 깊이 전파 단계(단계 S120)에 대해 구체적으로 개시한다.

1. 템플릿 모델 매칭 단계

사람의 템플릿 모델 매칭 단계에서는 적은 수의 입력 정보를 기반으로 비디오 시퀀스에 나타나는 2D 사람 객체를 3D 사람 템플릿 모델에 매칭할 수 있다. 이하, 본 발명의 실시예에서는 설명의 편의상 3D 사람 템플릿 모델을 3D 템플릿 모델, 2D 사람 객체를 2D 객체라는 용어로 정의하여 사용한다. 또한 이하, 본 발명의 실시예에서 개시하는 2D-3D 영상 전환 방법은 사람 뿐만 아니라 다른 객체(예를 들어, 동물, 자동차 등)에 대해서도 적용될 수 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다. 3D 템플릿 모델로 다양한 3D 템플릿 모델이 사용될 수도 있지만, 본 발명에서는 노출한(fully skinned) 상태의 사람에 대한 3D 템플릿 모델을 사용하여 2D 객체에 대한 매칭을 수행할 수 있다.

도 2는 본 발명의 실시예에서 사용하는 3D 템플릿 모델을 나타낸 개념도이다.

도 2를 참조하면, 3D 템플릿 모델은 29개의 관절을 가질 수 있다. 3D 템플릿 모델은 루트(root)에서 하나, 다리(legs)에서 두 개, 무릎(knees)에서 두 개, 발목(ankles)에서 두 개, 고환(balls)에서 두 개, 발가락(toes)에 두 개, 척추(spine)에 네 개, 쇄골(clavicles)에 두 개, 팔꿈치(elbows)에 두 개, 손목(wrists)에 두 개, 머리에 두 개, 턱(jaw)에 두 개의 관절을 포함할 수 있다.

3D 템플릿 모델의 포즈는 관절 원점의 집합(a set of joint orientations)

, 관절 회전 축(joint translation axis)

, 관절과 상기 관절의 모 관절 사이의 관련된 관절 병진 운동(relative joint translations between a joint and its parent)

, 각각의 관절에서 관련된 관절 각도 포즈(relative joint angular pose of each joint)

및 루트 위치(root position)

에 의해 기술될 수 있다.

자유도(DOF)는 키 프레임 k에서 관련된 관절 각도 포즈

또는

에 관해서 예를 들어, 53의 값을 가질 수 있다. K는 키 프레임의 개수이다. 이러한 3D 템플릿 모델은 하나의 예시적인 모델로서 다른 관절의 개수 및 자유도를 가지는 3D 템프릿 모델이 사용될 수도 잇다.

사용자는 이미지 시퀀스에서 각 관절

의 투사된 2D 관절 위치의 예측치를 구체화할 수 있는 반면에, 관절 관계 각(joint relative angle)

및 루트 위치(root position)

는 예측되어야 한다. 템플릿 모델 매칭 단계에서는 3D 템플릿 모델과 이미지 전환의 대상인 2D 사람 객체의 몸의 비율은 유사하다고 가정한다.

1-(1) 키 프레임들의 포즈 최적화 단계

본 발명의 실시예에 따른 키 프레임들의 포즈 최적화 단계에서는 에러 함수를 기반으로 포즈 최적화를 수행할 수 있다. 아래의 수학식 1의 에러 함수를 최적화하는 과정을 통해 관련 관절 각도상 포즈

및 루트 병진 운동

을 예측할 수 있다.

<수학식 1>

수학식 1에서

는 관절 투사 제약(joint projection constraints)이고

는 각도 포즈 한계 제약(angular pose limit constraint)이다.

는 관련된 z-깊이 제약(relative z?depth constraints),

는 연속적인 관절 각도 제약(sequential joint angular constraints)일 수 있다.

,

및

는 각각의 제약에 대한 가중치이다. 이하의 본 발명의 실시예에서는 관절 투사 제약, 각도 포즈 한계 제약, 관련된 z-깊이 제약 및 연속적인 관절 각도 제약에 대해 구체적으로 상술한다.

*1-(1)-1) 관절 투사 제약

관절 투사 제약

는 2D 관절 위치

와 순방향 운동학(forward kinematics)에 의해 복원된 3D 관절 위치의 투사 사이의 유클라디안 거리(Euclidean distance)의 제곱 합으로서 아래의 수학식 2와 같이 정의된다.

<수학식 2>

수학식 2에서 C는 카메라 투사 매트릭스,

는 순방향 운동학 함수이다. 순방향 운동학 함수는 주어진 포즈 상태

를 이용하여 i번째 관절의 3D 위치를 산출할 수 있다. 관절 투사 제약 정보는 3D 템플릿 모델의 관절 위치를 2D 평면에 투사한 위치와 상기 2D 객체의 관절 위치의 차이를 기반으로 산출되는 정보일 수 있다.

카메라 투사 매트릭스는 기존에 구비된 카메라 트래킹 어플리케이션으로부터 쉽게 산출될 수 있다.

1-(1)-2) 각도 포즈 한계 제약

각도 포즈 한계 제약

은 각각의 경계값이 정해지지 않은 각도에 대해 플랫 에러 값(flat error value)를 할당함으로서

의 개별 각도가 특정한 각도

에 속하도록 할 수 있다. 아래의 수학식 3은 각도 포즈 한계 제약을 나타낸다.

<수학식 3>

수학식 3에 기반한 제약을 기반으로 포즈 최적화를 수행함으로서 최적화된 포즈의 결과값이 왜곡되지 않도록 할 수 있다. 경계값이 정해지지 않은 각도 상 포즈를 제약하기 위하여 일반인들의 포즈를 참조값으로 활용할 수 있다. 일반인의 포즈 각도를 참조함으로서 자유도에 대한 낮은 한계점

및 높은 한계점

을 선택할 수 있다. 선택된 값들은 실험적으로 측정된 값일 수 있다. 각도 포즈 한계 제약 정보는 3D 템플릿 모델의 관절이 미리 결정된 범위에 있는지 여부를 기반으로 산출되는 정보일 수 있다.

1-(1)-3) 관련된 z-깊이 제약

각도 포즈 한계 제약과 유사하게, 관련된 z-깊이 제약

는 복원된 3D 관절과 상기 3D 관절의 모 관절에 대한 정렬을 수행하도록 할 수 있다. 관련된 z-깊이 제약

는 사용자가 제공한 순서에 따라 z-축 방향을 따라 수행될 수 있다.

본 발명의 실시예에 따르면, 키 프레임 k에 대한 각각의 관절과 모관절의 관련된 순서를 설정할 수 있다.

의 디폴트 값은 0이고 이것은 i번째 관절과 i번째 관절의 모관절을 특정한 순서로 설정하지 않는다는 것을 의미한다. +1은 모관절보다 더 높게 관절의 z 축의 위치를 설정한다는 것을 의미하고 -1은 그 반대로 모관절보다 더 낮게 관절의 z 축의 위치를 설정한다는 것을 의미한다. 관련된 z-깊이 제약 정보는 관절과 관절의 모 관절에 대한 상대적인 깊이 정보를 기반으로 산출되는 정보일 수 있다.

아래의 수학식 4는 관련된 z-깊이 제약을 나타낸 수학식이다.

<수학식 4>

수학식 4에서,

와

는 각각 i번째 관절과 i번째 관절의 모관절의 z 축 위치이고, 전술한 수학식 2의 순방향 운동학 함수 F에 의해 산출될 수 있다.

본 발명의 실시예에서는 피부를 노출한 상태의 사람에 대한 3D 템플릿 모델로서 많은 수의 관절과 높은 자유도를 가진 모델을 사용함으로서 좀더 정확하게 포즈를 복원할 수 있고 깊이 정보를 전파를 하기 위한 좋은 초기 상태를 제공할 수 있다. 그러나 많은 수의 관절 및 높은 자유도의 3D 템플릿 모델을 사용한다는 것은 어려움이 존재할 수 있다. 예를 들어, 매우 동적인 움직임은 2D 객체의 관절의 위치를 찾아내기 어렵고, 수학식 2의 관절 투사 제약에서 에러의 축적을 발생시킬 수 있다. 이로 인해 포즈 예측에서 에러를 발생시킬 수 있다.

1-(1)-4) 연속적인 관절 각도 제약

본 발명의 실시예에 따르면, 연속 관절 각도상 제약()을 기반으로 이러한 문제점을 해결할 수 있다.

도 3은 본 발명의 실시예에 따른 연속 적인 관절 각도 제약을 나타내는 개념도이다.

도 3의 (A)에서는 선형적으로 연결된 관절이 점진적으로 회전하는 것을 나타낸다.

도 3 (B)에서는 관절의 갑작스런 회전은 부자연스러운 포즈를 생성할 수 있다. 연속적인 관절 각도 제약을 통해 연속되는 관절들의 회전각에 대한 급격한 변화를 막을 수 있다.

연속 관절 각도상 제약은 연속적으로 연결된 관절의 회전 각도가 급격히 변하는 것을 억제할 수 있다. 아래의 수학식 5는 연속 관절 각도상 제약을 나타낸다.

<수학식 5>

수학식 5에서

는 집합 또는 벡터의 원소들의 개수를 나타내고,

는 벡터

의 집합이고,

는 연속적으로 연결된 관절들의 인덱스들

을 포함하는 벡터이다. 이러한 연속적인 관절 각도상 제약을 특정한 부위(예를 들어, 척추, 목, 머리의 관절)에 적용할 수 있다. 연속적인 관절 각도 제약 정보는 연속적으로 연결된 관절의 변화 정도를 기반으로 산출되는 정보일 수 있다.

에러 함수를 직접적으로 최적화하는 대신에, 우선적으로 모든 키 프레임에 대한 루트 변환(root transformation) 또는 루트 위치를 최적화할 수 있다. 루트 변환(루트 위치)은 다른 관절의 위치에 전반적인 영향을 끼질 수 있기 때문에 우선적으로 최적화를 수행하는 대상이 될 수 있다. 루트 변환의 초기 예측 값을 잘못 예측하는 경우 3D 템플릿 모델의 앞-뒤 포즈가 모호해지는 현상을 야기할 수 있다. 따라서, 본 발명의 실시예에서는 루트에 직접적으로 연결되지 않은 다른 관절을 생략하여 루트 변환의 초기 예측값을 산출할 수 있다.

루트에 직접적으로 연결되지 않은 다른 관절을 생략하기 위한 방법으로 동일 에너지 함수(same energy function)를 사용할 수 있다. 루트에 직접적으로 연결되지 않은 다른 관절을 생략하는 경우, 두 개의 다리와 하나의 척추 관절이 남을 수 있다. 이들 사이의 중간의 뼈들의 집합은 역 T자 형태의 강체(reversed-T-shaped rigid body)를 형성할 수 있다. 이 최적화는 매우 빠르게 수렴하고 루트 변환에 대한 정확한 초기 예측값을 결정하도록 할 수 있다. 결국 전체 최적화가 수행된다.

본 발명의 실시예에서 사용하는 3D 템플릿 모델은 많은 수의 관절을 가지고 있다. 3D 템플릿 모델에서 사용되는 많은 수의 관절로 인해 각각의 관절 투사 위치를 각각 예측하여 결정하는 것이 어렵다. 본 발명의 실시예에서는 입력 관절 투사 위치와 다른 제약들의 구체화를 가능하게 하는 유저 인터페이스를 구현하여 템플릿 모델 매칭을 수행할 수 있다.

도 4는 본 발명의 실시에에 따른 유저 인터페이스를 나타낸다.

도 4를 참조하면, 유저 인터페이스는 입력된 관절 투사 위치와 전술한 포즈 최적화 단계의 제약을 기반으로 3D 템플릿 모델과 2D 객체를 매칭할 수 있다.

각각의 관절에 대한 표시자(marker)는 초기에 스크린의 오른쪽에 위치한 3D 템플릿 모델의 실루엣 이미지에 위치할 수 있다. 2D 객체에서 붉은색 플러스로 표시된 표시자(400)는 관련된 z-순서 제약에 대해 양의 값이 해당 표시자에 할당되었다는 것을 나타낸다. 녹색 마이너스로 표시된 표시자(450)는 관련된 z-순서 제약에 대해 음의 값이 해당 표시자에 할당되었다는 것을 나타낸다.

즉, 유저 인터페이스는 3D 템플릿 모델과 대응되는 2D 객체 사이의 매칭을 수행할 수 있다.

각 관절에 대응되는 표시자는 초기에 2D 객체의 대응되는 부분에 위치할 수 있다. 이러한 표시자들은 드래그 및 드롭되어 로딩되는 이미지 시퀀스에 놓여질 수 있다. 위치한 표시자의 위치를 바꾸는 것은 드래그 및 드롭되어 수행할 수 있다. 각각의 관절의 이름을 나타내는 태그는 이미 위치한 표시자를 표현하기 위해서 켜졌다 꺼졌다 할 수 있다. 관련된 z-순서 제약은 on/off가 가능하다.

2. 깊이 정보 전파 단계

깊이 정보 전파 단계는 산출된 깊이 정보를 완전한 깊이 맵을 생성하기 위해 전파하는 단계이다. 깊이 맵은 복잡합 실루엣 영역을 포함할 수 있다. 요약하면, 2D 객체를 복수의 세그먼트들로 나누고 세그먼트를 기준으로 깊이 픽셀이 해당 세그먼트에 해당하는지 여부를 결정할 수 있다. 분류된 깊이 픽셀을 기반으로 형성된 각각의 다각형을 와핑할 수 있다. 와핑을 수행함으로서 영상에서 디테일한 깊이 변화가 보존될 수 있다.

2-(1) 칼라 세그멘테이션

모든 프레임에 대해 사용자 마스크(user mask)를 사용하여 객체의 내부 픽셀을 추출할 수 있다. 추출된 내부 픽셀은 i번째 프레임에 대한 여러 칼라 세그먼트

로 나누어질 수 있다.

는 i번째 프레임에 대한 칼라 세그먼트의 개수를 나타낸다. 칼라 세그멘테이션은 민-쉬프트(Mean-shift) 칼라 세그멘테이션 알고리즘에 의해 수행될 수 있다. 칼라 세그멘테이션을 통해 2D 객체의 서로 다른 부분들이 명확하게 분류될 수 있다.

도 5는 본 발명의 실시예에 따른 칼라 세그멘테이션을 수행하는 방법을 나타낸 개념도이다.

도 5를 참조하면,(A)는 2D 객체, (B)는 민-쉬프트 칼라 세그멘테이션을 사용하여 세그멘테이션된 이미지, (C)는 역상관된(decorrelated) 이미지를 나타낸다. 신체의 여러 부분이 명확하게 인지될 수 있다.

2-(2). 칼라 세그먼트와 깊이 픽셀 사이의 관련성을 찾는 단계

깊이 정보를 분류하기 전에 i번째 프레임에 대해 산출된 칼라-세그먼트

와 깊이 맵

을 중첩시킬 수 있다. 칼라-세그먼트와 중첩된 깊이 픽셀의 청크(chunk)

에 대하여 각 청크의 평균 깊이 값

을 표시할 수 있다.

투사된 3D 템플릿 모델과 2D 객체의 실루엣 사이의 불일치 때문에, 예를 들어, n번째 청크

는 상당히 다른 깊이 픽셀을 가지는 2D 객체의 여러 부분을 포함하는 부분일 수 있다. 이러한 경우, 관련된 칼라-세그먼트

의 경계선에 대응되어 겹쳐진 깊이 픽셀의 청크를 직접적으로 와핑하는 것은 결과적으로 산출된 깊이 맵에 블러를 발생시킬 수 있다.

도 6은 본 발명의 실시예에 따른 워핑 방법을 나타낸 개념도이다.

도 6을 참조하면,

과

는 2D 객체의 칼라 세그멘트를 나타낸다. 칼라 세그먼트와 깊이 맵은 합치될 수 있다.

는 주로 방패의 깊이 픽셀

을 내포하고, 반면에

는 몸통의 깊이 픽셀

을 내포할 수 있다. 그러나

의 일부분은 몸통의 깊이 픽셀

을 포함할 수 있고,

의 일부분도 방패의 깊이 픽셀

을 포함할 수 있다. 즉, 하나의 칼라 세그멘트에도 서로 다른 깊이 정보를 포함하는 픽셀들이 있을 수 있다. 이러한 픽셀들을 직접적으로 워핑하는 것은 결과적으로 결과 영상의 깊이 정보기 디테일한 부분들에서 손상이 되는 원인이 될 수 있다. 따라서 본 발명의 실시예에서는 하나의 세그먼트에 포함된 깊이 픽셀들을 추가적으로 분류할 수 있다.

본 발명에서는 개별적인 깊이 픽셀

을 아래의 수학식 6와 같이 분류할 수 있다.

<수학식 6>

수학식 6에서

와

는 임계치이다. 만약, 청크

가 깊이 픽셀을 포함하고, 깊이 픽셀이

에 가깝다면,

이

에 대응되는 2D 객체의 단일한 부분을 나타낸다고 가정할 수 있다.

는

와 대응되지 않는 깊이 픽셀의 집합일 수 있다.

에 포함된 일부의 깊이 픽셀은 인접한 세그먼트

에 연관될 수 있기 때문에 모든 세그먼트의 첫 번째 분류 후에

를 다시 한번 분류할 수 있다. 재분류는 아래와 같은 유사한 수학식 7을 기반으로 수행될 수 있다.

<수학식 7>

수학식 7에서

이다. 반복적인 절차에서

가 더 이상 바뀌지 않을 때까지 이러한 절차를 반복적으로 수행할 수 있다.

즉, 복수의 칼라-세그먼트(예를 들어, 제1 칼라-세그먼트와 제2 칼라-세그먼트)가 존재하는 경우, 제1 칼라-세그먼트에 포함된 픽셀의 깊이 값의 평균값인 제1 평균값을 산출하고 제1 평균값을 기반으로 상기 픽셀을 제1 깊이 픽셀과 제2 깊이 픽셀로 분류할 수 있다. 또한, 제2 칼라-세그먼트에 포함된 픽셀의 깊이 값의 평균값인 제2 평균값을 산출하고 제2 평균값을 기반으로 제2 깊이 픽셀 중 상기 제2 칼라-세그먼트에 포함될 깊이 픽셀을 결정할 수 있다.

2-(3). 와핑 단계

깊이 정보를 전파하는 하나의 방법으로 주변의 깊이 정보를 기반으로 알지 못하는 픽셀의 깊이 정보를 추정하는 방법이 있다. 하지만, 이러한 방법은 깊이 픽셀의 청크에 포함되어 있는 세부적인 깊이 정보를 정확하게 예측하지 못한다.

본 발명에서는 이러한 방법 대신에 청크를 스트레칭할 수 있다.

MVC(mean value coordinate)는 스트레칭 이후에 깊이 픽셀의 청크에서 깊이 정보를 부드럽게 보간하기 위해 사용될 수 있다. 특히, 깊이 픽셀

의 2D 좌표는 관련된 칼라-세그먼트

의 MVC

로 전환할 수 있다. 아래의 함수

는 이미지를 와핑한다.

<수학식 8>

여기서

는 형태

의 윤곽선으로부터 샘플링된 값이고,

는 샘플링된 픽셀의 개수일 수 있다. 즉, 제1 깊이 픽셀의 2D 좌표를 상기 제1 칼라-세그먼트를 기반으로 평균값 좌표(MVC)로 전환하여 와핑할 수 있다. 초기에,

의 경계선으로부터 샘플링된 픽셀과

사이에 관련성을 알지 못한다.

가

의 부분 집합이기 때문에 내포된 픽셀을 중첩된 윤곽선에 우선적으로 매칭할 수 있다. 그 후 나머지 픽셀에 의해 형성된 곡선을 매개 변수로 표현할 수 있다. 매개 변수화된 곡선들 사이에 관련성은 쉽게 형성될 수 있다.

도 7은 본 발명의 실시예에 따라 생성된 깊이 맵 생성 장치를 나타낸 개념도이다.

도 7을 참조하면 깊이 맵 생성 장치는 템플릿 모델 매칭부(700)와 깊이 정보 전파부(750)를 포함할 수 있다. 템플릿 모델 매칭부(700)와 깊이 정보 전파부(750)에서는 도 1 내지 도 6에서 전술한 본 발명의 실시예를 구현할 수 있다. 이하, 템플릿 모델 매칭부(700)와 깊이 정보 전파부(750)에 대해서 간략하게 설명하면 각 구성부는 아래와 같은 동작을 수행할 수 있다.

템플릿 모델 매칭부(700)는 예를 들어, 3D 템플릿 모델과 2D 객체 사이에서 매칭을 수행하여 2D 객체에 대한 깊이 정보를 산출할 수 있다. 템플릿 모델 매칭부(700)에서는 전술한 다양한 제약(관절 투사 제약, 각도 포즈 한계 제약, 관련된 z-깊이 제약 및 연속적인 관절 각도 제약)을 기반으로 3D 템플릿 모델과 2D 객체를 매칭을 수행할 수 있다. 템플릿 모델 매칭부(700)는 유저 인터페이스로서 구현될 수 있다. 이러한 경우 디스플레이를 통해 3D 템플릿 모델과 2D 객체를 다양한 제약을 기반으로 매칭 시키고 그 결과를 시각적으로 확인할 수 있다.

깊이 정보 전파부(750)는 템플릿 모델 매칭을 수행한 결과를 기반으로 2D 객체의 깊이 정보를 결정할 수 있다. 깊이 정보 전파부(750)에서는 깊이 픽셀을 세그먼트에 포함된 깊이 픽셀의 평균값을 기준으로 추가적으로 분류할 수 있다. 또한 깊이 정보 전파부(750)에서는 MVC(mean value coordinates)를 기반으로 분류된 픽셀에 대하여 와핑을 수행하여 추가적인 깊이 정보를 생성할 수 있다.

위와 같은 구성은 설명의 편의상 기능상 각 구성부를 분리하여 표현한 것으로 하나의 구성부로 표현된 경우도 복수의 구성부로 나뉠 수 있고 복수의 구성부도 하나의 구성부로 합쳐질 수 있다.

도 8은 본 발명의 실시예에 따라 생성된 깊이 맵을 나타낸 개념도이다.

도 8을 참조하면, 상단의 이미지(800)는 본 발명의 실시예에 따라 생성한 깊이 맵이고, 하단의 이미지(850)는 기존 깊이 맵 생성 방법으로 전문가가 수동으로 생성한 깊이 맵이다. 상단의 이미지와 하단의 이미지를 비교하면, 본 발명의 실시예에 따라 자동적인 프로세스에 의해 생성한 깊이 맵이 기존의 전문가에 의해 생성한 깊이 맵 정보와 크게 차이가 없다는 것을 확인할 수 있다. 객체의 경계에서는 오히려 본 발명의 실시예에 따라 생성한 깊이 맵이 향상된 성능을 가질 수 있다.

도 9는 본 발명의 실시예에 따른 깊이 맵 생성 방법에 따라 생성한 깊이 맵을 나타낸다.

도 9의 (A)는 본 발명의 실시예에 따른 깊이 맵 생성 방법을 기반으로 생성한 깊이 맵을 나타낸다.

도 9의 (B)는 2D 객체를 나타낸다.

도 9의 (C)는 전문가에 의해 수동적으로 생성된 깊이 맵을 나타낸다.

본 발명의 실시예에 따른 깊이 맵 생성 방법을 사용하는 경우, 2D 객체의 몸통의 선 및 팔의 선과 같은 2D 객체의 경계에 대하여 더욱 정확한 깊이 정보 구분이 되는 것을 확인 할 수 있다. 그에 반해 전문가에 의해 생성된 깊이 맵은 블러가 발생하고 경계에 대해 명확하게 구분되지 않는 깊이 맵이 생성될 수 있다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

깊이 맵 생성 방법에 있어서,
복수의 키 프레임에 대해 에러 함수를 기반으로 3D 템플릿 모델과 2D 객체를 매칭하는 단계;
상기 매칭된 3D 템플릿 모델을 기반으로 상기 2D 객체의 깊이 정보를 예측하는 단계; 및
상기 2D 객체를 복수의 칼라-세그멘트로 분할하고, 상기 분할된 칼라-세그멘트와 상기 2D 객체의 깊이 정보를 기반으로 깊이 맵을 생성하는 단계를 포함하되,
상기 3D 템플릿 모델은 사람의 관절 정보를 포함하는 모델인 깊이 맵 생성 방법.
제1항에 있어서, 상기 복수의 키 프레임에 대해 에러 함수를 기반으로 3D 템플릿 모델과 2D 객체를 매칭하는 단계는,
상기 에러 함수를 기반으로 상기 복수의 키 프레임에 대해 관련된 관절 각도 포즈 정보 및 루트 위치 정보를 예측하는 단계; 및
상기 관련된 관절 각도 포즈 정보 및 상기 루트 위치 정보를 기반으로 상기 3D 템플릿 모델과 상기 2D 객체를 매칭하는 단계를 포함하되,
상기 관련된 관절 각도 포즈는 상기 복수의 키 프레임 사이에 산출된 상기 3D템플릿 모델의 관절에 대한 정보이고,
상기 루트 위치 정보는 상기 복수의 키 프레임 사이에 산출된 상기 3D 템플릿 모델에서 루트의 위치를 나타내는 정보인 깊이 맵 생성 방법.
제1항에 있어서,
상기 에러 함수는 관절 투사 제약 정보, 각도 포즈 한계 제약 정보, 관련된 z-깊이 제약 정보 및 연속적인 관절 각도 제약 정보를 파라메터로 사용하는 함수이고,
상기 관절 투사 제약 정보는 상기 3D 템플릿 모델의 관절 위치를 2D 평면에 투사한 위치와 상기 2D 객체의 관절 위치의 차이를 기반으로 산출되는 정보이고,
상기 각도 포즈 한계 제약 정보는 상기 3D 템플릿 모델의 관절이 미리 결정된 범위에 있는지 여부를 기반으로 산출되는 정보이고,
관련된 z-깊이 제약 정보는 관절과 상기 관절의 모 관절에 대한 상대적인 깊이 정보를 기반으로 산출되는 정보이고,
연속적인 관절 각도 제약 정보는 연속적으로 연결된 관절의 변화 정도를 기반으로 산출되는 정보인 깊이 맵 생성 방법.
제1항에 있어서, 상기 2D 객체를 복수의 칼라-세그멘트로 분할하고, 상기 분할된 칼라-세그멘트와 상기 2D 객체의 깊이 정보를 기반으로 깊이 맵을 생성하는 단계는,
상기 복수의 칼라-세그먼트는 제1 칼라-세그먼트와 제2 칼라-세그먼트이고,
상기 제1 칼라-세그먼트에 포함된 픽셀의 깊이 값의 평균값인 제1 평균값을 산출하는 단계;
상기 제1 평균값을 기반으로 상기 픽셀을 제1 깊이 픽셀과 제2 깊이 픽셀로 분류하는 단계;
상기 제2 칼라-세그먼트에 포함된 픽셀의 깊이 값의 평균값인 제2 평균값을 산출하는 단계;
상기 제2 평균값을 기반으로 상기 제2 깊이 픽셀 중 상기 제2 칼라-세그먼트에 포함될 깊이 픽셀을 결정하는 단계를 더 포함하되,
상기 제1 깊이 픽셀은 상기 제1 평균값과의 깊이 값의 차이가 일정 범위보다 작거나 같은 픽셀이고,
상기 제2 깊이 픽셀은 상기 제1 평균값과의 깊이 값의 차이가 일정 범위보다 큰 픽셀이고,
상기 제2 깊이 픽셀 중 상기 제2 칼라-세그먼트에 포함될 깊이 픽셀은 상기 제2 평균값과의 깊이 값의 차이가 일정 범위보다 작거나 같은 픽셀인, 깊이 맵 생성 방법.
제4항에 있어서,
상기 제1 깊이 픽셀의 2D(dimension) 좌표를 상기 제1 칼라-세그먼트를 기반으로 평균값 좌표로 전환하여 와핑하는 단계; 및
상기 제2 깊이 픽셀의 2D 좌표를 상기 제2 칼라-세그먼트를 기반으로 평균값 좌표로 전환하여 와핑하는 단계를 더 포함하는 깊이 맵 생성 방법.
제1항에 있어서, 상기 3D 템플릿 모델은,
상기 3D 템플릿 모델을 구성하는 관절들의 원점에 대한 정보인 관절 원점 정보;
상기 3D 템플릿 모델을 구성하는 관절들의 회전축에 관한 정보인 관절 회전 축 정보;
상기 3D 템플릿 모델을 구성하는 관절과 상기 관절의 모 관절 사이의 움직임 정보인 관절 병진 운동 정보;
상기 복수의 키 프레임 사이에서 산출된 상기 3D 템플릿 모델을 구성하는 관절들 사이의 정보인 관련된 관절 각도 포즈 정보; 및
상기 복수의 키 프레임 사이에 산출된 상기 3D 템플릿 모델의 루트 위치(root position)에 대한 정보인 루트 위치 정보를 포함하는 깊이 맵 생성 방법.
프로세서를 포함하는 깊이 맵 생성 장치에 있어서,
상기 프로세서는 복수의 키 프레임에 대해 에러 함수를 기반으로 3D 템플릿 모델과 2D 객체를 매칭하고 상기 매칭된 3D 템플릿 모델을 기반으로 상기 2D 객체의 깊이 정보를 예측하고 상기 2D 객체를 복수의 칼라-세그멘트로 분할하고, 상기 분할된 칼라-세그멘트와 상기 2D 객체의 깊이 정보를 기반으로 깊이 맵을 생성하도록 구현되되,
상기 3D 템플릿 모델은 사람의 관절 정보를 포함하는 모델인 깊이 맵 생성 장치.
제7항에 있어서, 상기 프로세서는,
상기 에러 함수를 기반으로 상기 복수의 키 프레임에 대해 관련된 관절 각도 포즈 정보 및 루트 위치 정보를 예측하고 상기 관련된 관절 각도 포즈 정보 및 상기 루트 위치 정보를 기반으로 상기 3D 템플릿 모델과 상기 2D 객체를 매칭하도록 구현되되,
상기 관련된 관절 각도 포즈는 상기 복수의 키 프레임 사이에 산출된 상기 3D템플릿 모델의 관절에 대한 정보이고,
상기 루트 위치 정보는 상기 복수의 키 프레임 사이에 산출된 상기 3D 템플릿 모델에서 루트의 위치를 나타내는 정보인 깊이 맵 생성 장치.
제7항에 있어서,
상기 에러 함수는 관절 투사 제약 정보, 각도 포즈 한계 제약 정보, 관련된 z-깊이 제약 정보 및 연속적인 관절 각도 제약 정보를 파라메터로 사용하는 함수이고,
상기 관절 투사 제약 정보는 상기 3D 템플릿 모델의 관절 위치를 2D 평면에 투사한 위치와 상기 2D 객체의 관절 위치의 차이를 기반으로 산출되는 정보이고,
상기 각도 포즈 한계 제약 정보는 상기 3D 템플릿 모델의 관절이 미리 결정된 범위에 있는지 여부를 기반으로 산출되는 정보이고,
관련된 z-깊이 제약 정보는 관절과 상기 관절의 모 관절에 대한 상대적인 깊이 정보를 기반으로 산출되는 정보이고,
연속적인 관절 각도 제약 정보는 연속적으로 연결된 관절의 변화 정도를 기반으로 산출되는 정보인 깊이 맵 생성 장치.
제7항에 있어서, 상기 프로세서는,
상기 복수의 칼라-세그먼트는 제1 칼라-세그먼트와 제2 칼라-세그먼트이고, 상기 제1 칼라-세그먼트에 포함된 픽셀의 깊이 값의 평균값인 제1 평균값을 산출하고 상기 제1 평균값을 기반으로 상기 픽셀을 제1 깊이 픽셀과 제2 깊이 픽셀로 분류하고, 상기 제2 칼라-세그먼트에 포함된 픽셀의 깊이 값의 평균값인 제2 평균값을 산출하고 상기 제2 평균값을 기반으로 상기 제2 깊이 픽셀 중 상기 제2 칼라-세그먼트에 포함될 깊이 픽셀을 결정하도록 구현되되,
상기 제1 깊이 픽셀은 상기 제1 평균값과의 깊이 값의 차이가 일정 범위보다 작거나 같은 픽셀이고, 상기 제2 깊이 픽셀은 상기 제1 평균값과의 깊이 값의 차이가 일정 범위보다 큰 픽셀이며, 상기 제2 깊이 픽셀 중 상기 제2 칼라-세그먼트에 포함될 깊이 픽셀은 상기 제2 평균값과의 깊이 값의 차이가 일정 범위보다 작거나 같은 픽셀인, 깊이 맵 생성 장치.
제10항에 있어서, 상기 프로세서는,
상기 제1 깊이 픽셀의 2D(dimension) 좌표를 상기 제1 칼라-세그먼트를 기반으로 평균값 좌표로 전환하여 와핑하고 상기 제2 깊이 픽셀의 2D 좌표를 상기 제2 칼라-세그먼트를 기반으로 평균값 좌표로 전환하여 와핑하도록 구현되는 깊이 맵 생성 장치.
제7항에 있어서, 상기 3D 템플릿 모델은,
상기 3D 템플릿 모델을 구성하는 관절들의 원점에 대한 정보인 관절 원점 정보;
상기 3D 템플릿 모델을 구성하는 관절들의 회전축에 관한 정보인 관절 회전 축 정보;
상기 3D 템플릿 모델을 구성하는 관절과 상기 관절의 모 관절 사이의 움직임 정보인 관절 병진 운동 정보;
상기 복수의 키 프레임 사이에서 산출된 상기 3D 템플릿 모델을 구성하는 관절들 사이의 정보인 관련된 관절 각도 포즈 정보; 및
상기 복수의 키 프레임 사이에 산출된 상기 3D 템플릿 모델의 루트 위치(root position)에 대한 정보인 루트 위치 정보를 포함하는 깊이 맵 생성 장치.
복수의 키 프레임에 대해 에러 함수를 기반으로 사람의 관절 정보를 포함하는 3D 템플릿 모델과 2D 객체를 매칭하는 단계;
상기 매칭된 3D 템플릿 모델을 기반으로 상기 2D 객체의 깊이 정보를 예측하는 단계; 및
상기 2D 객체를 복수의 칼라-세그멘트로 분할하고, 상기 분할된 칼라-세그멘트와 상기 2D 객체의 깊이 정보를 기반으로 깊이 맵을 생성하는 단계를 실행시키기 위한 프로그램을 기록한 컴퓨터 해독 가능 기록 매체.