KR101626065B1

KR101626065B1 - 마커리스 모션 캡쳐링 장치 및 방법

Info

Publication number: KR101626065B1
Application number: KR1020090097203A
Authority: KR
Inventors: 한영란; 이승신; 박두식
Original assignee: 삼성전자주식회사
Priority date: 2009-10-13
Filing date: 2009-10-13
Publication date: 2016-05-31
Also published as: US20110085704A1; KR20110040074A; US8644552B2; EP2657911A1; EP2317474A1

Abstract

마커리스 모션 캡쳐링 장치 및 방법이 개시된다. 마커리스 모션 캡쳐링 장치는 마커 또는 센서의 이용없이 카메라를 통해 입력된 영상으로부터 동작자의 포즈 및 움직임을 추적하여, 마커리스 모션 캡쳐링 장치의 이용 분야 및 장소의 선택을 넓힐 수 있다.

모션 캡쳐, 관절 검출, 마커리스, 움직임 추적, 포즈 추적

Description

마커리스 모션 캡쳐링 장치 및 방법{APPARATUS AND METHOD FOR MARKERLESS MOTION CAPTURING}

아래의 실시예들은 동작자의 포즈 및 움직임을 실시간으로 추정(estimation)하고 추적(tracking)하는 모션 캡쳐링 기술에 관한 것이다.

모션 캡쳐 기술은 애니메이션, 영화, 방송물, 게임 등과 같은 3D 컨텐츠 제작 분야에서 캐릭터의 자연스러운 동작을 생성하기 위해 폭넓게 사용된다. 더욱이, 모션 캡쳐링 기술은 객체의 제스처(gesture)를 분석하는 기술의 기반으로서, 인터랙티브 디스플레이(Interactive Display)가 발전됨에 따라 모션 캡쳐링 기술의 응용 분야가 확대되고 있다.

일반적으로, 모션 캡쳐링 기술은 동작자의 옷인, 몸에 센서 또는 마커(Marker)를 부착하여 동작자의 모션을 캡쳐하므로 고가의 특수 장비를 요구한다. 또한, 센서는 동작자의 주변 환경 변화에 민감하게 반응하므로 캡쳐되는 위치 정보에 잡음이 포함되는 경우가 발생한다.

이에 따라, 최근에는, 캡쳐링된 영상에서 잡음을 감소시키면서 비용을 절감하기 위한 모션 캡쳐링 기술의 연구가 진행되고 있다.

마커리스 모션 캡쳐링 장치는, 영상으로부터 동작자의 신체 정보를 계산하여 동작자의 운동 궤적을 결정하는 운동 궤적 정보 결정부, 영상에서 동작자의 실루엣을 추적하는 실루엣 추적부, 및 운동 궤적 및 실루엣을 이용하여 동작자의 관절을 검출하는 관절 검출부를 포함한다.

이때, 운동 궤적 정보 결정부는, 동작자의 전신이 포함된 영상으로부터 동작자에 대해 신체 부위의 사이즈를 계산하고, 신체 부위가 움직일 수 있는 운동 궤적을 결정할 수 있다.

또한, 실루엣 추적부는, 기준 관절의 위치를 기준으로 설정된 서칭 윈도우와 실루엣이 교차하는 점을 연속적으로 검색하여 동작자의 실루엣을 할 수 있다.

또한, 관절 검출부는, 운동 궤적 및 실루엣을 기초로 결정된 관절 검색 영역 내에서 동작자의 관절을 검색할 수 있다. 여기서, 관절 검출부는, 운동 궤적 및 실루엣을 이용하여 동작자의 머리, 손, 어깨 관절, 팔꿈치 관절, 손목 관절, 무릎 관절, 발목 관절, 및 고 관절 중 적어도 하나를 검출할 수 있다.

마커리스 모션 캡쳐링 장치는, 2개의 영상 촬상 장치 각각으로부터 수신한 영상을 이용하여 뎁스(depth)를 추출하는 뎁스 추출부, 영상으로부터 동작자의 신체 정보를 계산하여 동작자의 운동 궤적을 결정하는 운동 궤적 정보 결정부, 영상에서 동작자의 실루엣을 추적하는 실루엣 추적부, 운동 궤적 및 실루엣을 이용하여 동작자의 2D 관절을 검출하는 2D 관절 검출부, 및 뎁스를 이용하여 동작자의 2D 관 절로부터 3D 관절을 복원하는 3D 관절 복원부를 포함한다.

마커리스 모션 캡쳐링 장치는, 3개의 영상 촬상 장치들 중 동작자의 정면에 위치한 영상 촬상 장치로부터 수신한 영상에서 동작자의 신체 정보를 계산하여 동작자의 운동 궤적을 결정하는 운동 궤적 정보 결정부, 3개의 영상 촬상 장치 각각으로부터 수신한 영상에서 동작자의 실루엣을 추적하는 실루엣 추적부, 운동 궤적 및 실루엣을 이용하여 3개의 영상 촬상 장치 각각으로부터 수신한 영상에 대해 동작자의 2D 관절을 검출하는 2D 관절 검출부, 및 3개의 영상 촬상 장치 각각으로부터 수신한 영상에 대해 검출한 2D 관절 위치를 이용하여 동작자의 3D 관절을 복원하는 3D 관절 복원부를 포함한다.

마커리스 모션 캡쳐링 방법은, 영상으로부터 동작자의 신체 정보를 계산하여 동작자의 운동 궤적을 결정하는 단계, 영상에서 동작자의 실루엣을 추적하는 단계, 및 운동 궤적 및 실루엣을 이용하여 동작자의 관절을 검출하는 단계를 포함한다.

동작자의 신체에 마커 또는 센서를 부착하지 않고 동작자의 모션을 캡쳐함으로써 동작자의 모션을 캡쳐링할 수 있는 장소의 선택 폭이 넓어진다.

또한, 서로 다른 종류의 카메라를 이용하여 영상이 입력되는 경우에도 동일한 방법으로 동작자의 모션을 캡쳐링 할 수 있다.

또한, 마커 또는 센서와 같은 특수 장비 없이도 동작자의 모션을 캡쳐링할 수 있으므로 TV, 모바일 폰, 포터블 PC, 디지털 카메라와 같은 어플리케이션에서 넓게 활용할 수 있다.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 하나의 카메라를 이용하는 경우의 마커리스 모션 캡쳐링 장치를 도시한 도면이다.

도 1을 참조하면, 모션 캡쳐링 장치는, 카메라로부터 촬영된 동작자의 영상을 수신하여 동작자의 모션을 캡쳐링한다. 이때, 카메라는 기설정된 거리를 두고 동작자의 전면에 배치된다. 여기서, 카메라와 동작자 사이의 거리는, 동작자의 전신이 카메라에 의해 촬영되도록 기설정된다.

이하에서는, 카메라에서 촬영된 동작자의 영상을 이용하여 동작자의 모션을 캡쳐링하는 과정에 대해 도 2를 참조하여 설명하기로 한다.

도 2는 마커리스 모션 캡쳐링 장치의 구성을 도시한 도면이다.

도 2를 참조하면, 마커리스 모션 캡쳐링 장치는 운동 궤적 정보 결정부(210), 실루엣 추적부(230), 및 관절 검출부(250)를 포함한다.

운동 궤적 정보 결정부(210)는 카메라(100)를 통해 촬영된 동작자의 영상으로부터 동작자의 신체 정보를 계산하여 동작자의 운동 궤적을 결정한다. 이때, 카메라(100)에서 촬영된 영상에는 동작자의 전신 또는 일부가 포함될 수 있다.

보다 상세하게는, 운동 궤적 정보 결정부(210)는 기획득된 신체 비례 정보와 카메라(100)를 통해 촬영된 동작자의 영상을 이용하여 동작자의 신체 정보를 계산 한다.

즉, 도 3을 참조하면, 운동 궤적 정보 결정부(210)는 카메라(100)를 통해 촬영된 동작자의 영상으로부터 동작자의 신장(H)을 계산하고, 계산된 동작자의 신장과 기획득된 신체 비례 정보를 이용하여 동작자의 신체 정보를 픽셀 단위로 계산한다.

여기서, 동작자의 신체 정보는 동작자의 신체 부위 각각의 사이즈를 나타내며,동작자의 머리(Head) 길이(H×1/6), 몸통(Torso) 길이(H×1/3), 몸통 너비(H×1/5), 어깨 관절부터 팔꿈치 관절까지의 길이(H×1/6), 팔꿈치 관절부터 손목 관절까지의 길이(H×1/6), 고 관절부터 무릎 관절까지의 길이(H×1/4), 및 무릎 관절부터 발목 관절까지의 길이(H×1/4)를 포함한다.

이때, 신체 비례 정보는 온라인, 혹은 오프라인은 통해 획득 될 수 있을 뿐만 아니라, 마커리스 모션 캡쳐링 장치에 기설정될 수 있다.

또한, 운동 궤적 정보 결정부(210)는 도 4와 같이, 기획득된 관절 운동 범위 정보를 이용하여 계산된 동작자의 신체 부위, 즉, 동작자의 관절 각각이 움직일 수 있는 운동 궤적을 결정한다. 여기서, 운동 궤적의 일 예로는 운동 각도를 들 수 있다.

보다 상세하게는, 도 4를 참조하면, 운동 궤적 정보 결정부(210)는 계산된 머리 길이 및 관절 운동 범위 정보를 이용하여 동작자의 머리가 좌/우, 앞/뒤로 움직일 수 있는 운동 궤적을 결정한다. 동일한 방법으로, 운동 궤적 정보 결정부(210)는 계산된 동작자의 신체 정보와 관절 운동 범위 정보를 이용하여 동작자의 관절 각각이 움직일 수 있는 운동 궤적을 결정한다.

실루엣 추적부(230)는 기설정된 서칭 윈도우와 기준 관절을 이용하여 카메라(100)에서 촬영된 영상에서 동작자의 실루엣을 추적한다. 여기서, 서칭 윈도우는 원형(510), 또는 삼각형, 사각형(520) 등의 다각형으로 기설정될 수 있다.

보다 상세하게는, 도 5를 참조하여 기준 관절이 왼쪽 어깨 관절이고, 왼쪽 팔의 실루엣을 추적하는 경우를 예로 들면, 실루엣 추적부(230)는 왼쪽 어깨 관절의 위치(p1)를 서칭 윈도우(a)의 중심으로 설정하고, 서칭 윈도우(a)와 팔의 엣지가 교차하는 점(p2)을 검색한다.

그리고, 실루엣 추적부(230)는 도 6에 도시된 바와 같이, 기설정된 추적 방향(5번 방향)을 참조하여 서칭 윈도우(a)와 팔의 엣지가 교차하는 점(p2)을 다시 서칭 윈도우(b)의 중심으로 설정함으로써, 서칭 윈도우(b)와 팔의 엣지가 교차하는 점을 검색한다. 실루엣 추적부(230)는 서칭 윈도우와 팔의 엣지 간의 교차점을 연속적으로 검색하여 왼쪽 팔의 실루엣(510, 520)을 추적한다.

이와 동일한 방법으로, 실루엣 추적부(230)는 동작자의 머리, 손, 발, 다리, 몸통 등의 실루엣을 추적한다. 즉, 추적된 동작자의 실루엣은 도 12의 1210과 같다.

이때, 동작자의 실루엣을 추적함에 있어서, 서칭 윈도우의 각 중심점들(Pi)은 도6에 도시된 바와 같이, 서칭 윈도우의 중심점 각각이 위치한 좌표(Px, Py), 기준 점으로부터의 거리(P.lehgth), 및 변화 각도(P.direction)를 갖는다. 여기서, 변화 각도는 기준범으로부터 이동한 거리가 어느 방향으로 이동하였는지를 나타낸 다.

즉, 서칭 윈도우가 원형인 경우, 반지름의 누적이 기준점으로부터 이동한 거리(P.length)가 되고, 서칭 윈도우가 사각형인 경우, sqart(a²+b²)이 기준점으로부터 이동한 거리가 된다. 여기서, 기준점은 기준 관절의 위치 or 이전 서칭 윈도우의 중심이다. 이때, 이동 거리(P.lehgth)와 변화 각도(P.direction)는 실루엣 라인 상에서 관절의 위치할 수 있는 지점을 결정하기 위해 이용될 수 있다.

관절 검출부(250)는 운동 궤적 정보 결정부(210)에서 결정된 동작자의 운동 궤적과 실루엣 추적부(230)에서 추적된 동작자의 실루엣을 이용하여 관절 검색 영역을 설정한다. 그리고, 관절 검출부(250)는 관절 검색 영역 내에서 동작자의 머리, 손, 및 관절을 검출한다. 여기서, 동작자의 관절은, 동작자의 어깨 관절, 팔꿈치 관절, 손목 관절, 무릎 관절, 발목 관절, 및 고 관절을 포함한다. 이때, 관절 검출부(250)는 동작자의 머리, 어깨 관절, 고 관절, 무릎 관절, 및 발목 관절 순서로 관절들을 검출한다.

보다 상세하게는, 도 7 및 12를 참조하여 동작자의 머리와 손을 검출하는 경우를 예로 들어 설명하면, 관절 검출부(250)는 동작자의 머리를 기준으로 카메라에서 촬영된 영상의 컬러(RGB)를 이용하여 관절 검색 영역 내에서 동작자의 머리와 손(1220)을 검출한다. 이때, 머리는 반드시 1개, 손은 0 내지 2개가 검출될 수 있다.

즉, 관절 검출부(250)는 관절 검색 영역 내에서 스킨 컬러를 많이 포함하고 있는 적어도 하나의 영역을 검출한다. 여기서, 스킨 컬러가 휴(HUE) 도메인 에서 55 내지 90도 사이에 넓게 존재한다고 가정한다.

그리고, 복수의 영역이 검출된 경우, 관절 검출부(250)는 영역의 크기가 큰 부분을 머리로, 작은 부분을 손으로 각각 검출한다. 이때, 손을 검출하는 경우, 관절 검출부(250)는 검출된 머리를 배제하고 손을 검출한다. 검출된 손이 2개이면, 관절 검출부(250)는 이전 프레임의 위치를 참조하여 오른손과 왼손을 구분하여 검출한다.

여기서, 관절 검색 영역은 동작자의 실루엣 및 운동 궤적을 이용하여 동작자의 신체 범위 내로 설정될 수 있다. 이를 통해, 얼굴이나 손이 아닌 영역에서 머리 또는 손이 검출되는 경우를 줄일 수 있다.

또한, 도 8 및 12를 참조하여 동작자의 어깨 관절을 검출하는 경우를 예로 들어 설명하면, 관절 검출부(250)는 검출된 머리를 기준으로 서칭 윈도우와 실루엣이 교차하는 지점을 어깨 관절(1230)로 검출한다. 여기서, 서칭 윈도우는 사각형 또는 원형의 모양을 가지며, 서칭 윈도우의 크기는 검출된 동작자의 머리 길이를 이용하여 기설정된다. 이를 통해, 도 8과 같이, 머리를 기준으로 서칭 윈도우를 배치시킴으로써, 관절 검출부(250)는 어깨 관절을 검출하기 위한 검색 영역을 설정할 수 있다.

또한, 도 9 및 12를 참조하여 동작자의 팔꿈치 및 손목 관절을 검출하는 경우를 예로 들어 설명하면, 관절 검출부(250)는 검출된 어깨 관절을 기준으로 동작자의 운동 궤적과 실루엣을 이용하여 팔꿈치 및 손목 관절(1240)을 검출한다.

이때, 동작자의 팔이 몸의 일부와 겹쳐진 경우, 관절 검출부(250)는 검출된 동작자의 손의 위치를 참조하여 손목 관절을 검출한다. 그리고, 관절 검출부(250)는 어깨 관절과 손목 관절 간의 거리와 기획득된 신체 비례 정보를 이용하여 팔꿈치 관절을 검출한다.

또한, 도 10 및 12를 참조하여 동작자의 고 관절을 검출하는 경우를 예로 들어 설명하면, 관절 검출부(250)는 검출된 동작자의 머리 및 어깨 관절의 위치를 기준으로 동작자의 포즈 및 신체 사이즈를 이용하여 고 관절을 검출한다.

보다 상세하게는, 동작자가 서 있는 경우, 관절 검출부(250)는 검출된 머리를 기준으로 동작자가 서 있을 때의 머리 위치부터 상하(y축)로 이동한 거리 비(ratio)만큼 토루소의 높이를 줄여 고 관절(1250)을 검출한다. 여기서, 토루소(torso)는 어깨 관절부터 고 관절까지의 몸통을 나타낸다.

이때, 동작자가 서 있지 않고 숙인 포즈를 취한 경우, 관절 검출부(250)는 도 10과 같이, 머리 위치를 기준으로 숙인 포즈까지의 거리(d)를 이용하여 토루소의 높이(Torso_Height)를 계산한다. 그리고, 양쪽 어깨 관절이 평행하면, 관절 검출부(250)는 양 어깨 관절의 중간 지점으로부터 수직(y축) 방향으로 토루소의 높이만큼 아래에 위치한 끝점을 이용하여 고 관절을 검출한다. 여기서, 관절 검출부(250)는 끝점을 기준으로 좌우로 평행선을 그어 실루엣과 교차되는 지점을 고 관절로 검출할 수 있다.

또한, 양쪽 어깨 관절이 평행하지 않으면, 즉, 어깨의 두 관절이 기울어진 경우, 관절 검출부(250)는 양쪽 어깨 관절 중 높은 위치의 어깨 관절로부터 수직 방향으로 토루소의 높이만큼 아래에 위치한 끝점을 이용하여 고 관절을 검출한다. 여기서, 관절 검출부(250)는 끝점을 기준으로 좌우 양방향 또는 어느 한 방향으로 평행선을 그어 실루엣과 교차되는 지점을 고 관절로 검출할 수 있다.

또한, 도 11 및 12를 참조하여 동작자의 무릎 및 발목 관절을 검출하는 경우를 예로 들어 설명하면, 관절 검출부(250)는 고 관절을 기준으로 실루엣, 운동 궤적, 및 검출된 손의 위치를 이용하여 발목 관절 및 무릎 관절(1260)을 검출한다. 이때, 관절 검출부(250)는 고 관절의 위치와 발 끝점 간의 거리와 신체 비례 정보를 이용하여 무릎 관절을 검출할 수 있다. 이를 통해, 관절 검출부(250)에서는 도 12와 같이 동작자의 관절들(1270,1280)을 검출할 수 있다.

도 13은 마커리스 모션 캡쳐링 장치의 동작을 설명하기 위해 제공되는 흐름도이다.

먼저, 운동 궤적 정보 결정부(210)는 카메라로부터 입력된 영상에서 동작자의 운동 궤적을 결정하고, 실루엣 추적부(230)는 영상에서 동작자의 실루엣을 추적한다(S1310).

이어, 관절 검출부(250)는 동작자의 머리를 기준으로 카메라에서 촬영된 영상의 컬러(RGB)를 이용하여 관절 검색 영역 내에서 동작자의 머리와 손을 검출한다. 이때, 스킨 컬러를 이용하여 복수의 영역이 검출된 경우, 관절 검출부(250)는 복수의 영역 중 크기가 큰 영역을 머리(S1310)로, 작은 영역을 손(S1320)으로 각각 검출한다.

그리고, 관절 검출부(250)는 실루엣 및 서칭 윈도우를 이용하여 어깨 관절을 검출한다(S1330). 즉, 관절 검출부(250)는 검출된 머리를 기준으로 서칭 윈도우와 실루엣이 교차하는 지점을 어깨 관절로 검출한다. 여기서, 서칭 윈도우는 사각형 또는 원형의 모양을 가지며, 서칭 윈도우의 크기는 검출된 동작자의 머리 길이를 이용하여 기설정된다.

이어, 관절 검출부(250)는 검출된 동작자의 어깨 관절을 기준으로 팔꿈치 및 손목 관절 검출을 검출한다(S1350).

보다 상세하게는, 동작자의 팔이 몸의 일부와 겹쳐지지 않은 경우, 관절 검출부(250)는 어깨 관절을 기준으로 실루엣 및 운동 궤적을 이용하여 손목 및 팔꿈치 관절을 검출한다. 그리고, 동작자의 팔이 몸의 일부와 겹쳐진 경우, 관절 검출부(250)는 어깨 관절을 기준으로, 실루엣, 운동 궤적 및, 동작자의 손의 위치를 이용하여 손목 및 팔꿈치 관절을 검출한다.

그리고, 관절 검출부(250)는 어깨 관절을 기준으로 동작자의 몸의 숙임 여부를 고려하여 동작자의 고 관절을 검출한다(S1360).

보다 상세하게는, 동작자가 서 있는 경우, 관절 검출부(250)는 검출된 머리를 기준으로 동작자가 서 있을 때의 머리 위치부터 상하(y축)로 이동한 거리 비(ratio)만큼 토루소의 높이를 조정하여 고 관절을 검출한다. 이때, 동작자의 몸이 숙이고 있는 경우, 관절 검출부(250)는 머리 위치를 기준으로 숙인 포즈까지의 거리(d)를 이용하여 토루소의 높이(Torso_Height)를 계산하고, 계산된 토루소의 높이를 이용하여 고 관절을 검출한다.

이어, 관절 검출부(250)는 고 관절을 기준으로 실루엣, 운동 궤적, 및 손의 위치를 이용하여 발목 관절 및 무릎 관절을 검출한다(S1370).

지금까지 설명한 봐와 같이, S1320 내지 S1370 단계를 통해, 관절 검출부(250)는 동작자의 머리, 손, 어깨, 팔꿈치, 손목, 무릎, 발목, 및 고 관절을 검출할 수 있다. 또한, 동작자가 다양한 포즈를 취하고 있더라도, 도 14에 도시된 바와 같이, 관절 검출부(250)는 동작자의 포즈에 따라서 동작자의 관절들을 검출할 수 있다.

이상에서는, 한 개의 카메라를 이용하여 동작자의 모션을 캡쳐링하는 과정에 대해 설명하였으나, 복수의 카메라를 이용하여 동작자의 모션을 캡쳐링 할 수 있다.

도 15는 두 개의 카메라를 이용하는 경우의 마커리스 모션 캡쳐링 장치를 도시한 도면이다.

도 15를 참조하면, 모션 캡쳐링 장치는, 두 개의 카메라로부터 촬영된 동작자의 영상을 수신하여 동작자의 모션을 캡쳐링한다. 이때, 두 개의 카메라는 기설정된 거리를 두고 동작자의 전면에 배치된다. 여기서, 두 개의 카메라 각각과 동작자 사이의 거리는, 동작자의 전신이 카메라에 의해 촬영되도록 기설정된다.

도 16은 두 개의 카메라를 이용하는 경우의 마커리스 모션 캡쳐링 장치의 구성을 도시한 도면이다.

도 16을 참조하면, 마커리스 모션 캡쳐링 장치는 뎁스 추출부(1610), 운동 궤적 정보 결정부(1620), 실루엣 추적부(1630), 관절 검출부(1640) 및 관절 복원부(1650)를 포함한다.

뎁스(Depth) 추출부(1610)는 두 개의 카메라로부터 입력된 스테레오 영상을 이용하여 영상에 포함된 동작자의 뎁스를 추출한다.

운동 궤적 정보 결정부(1620)는 두 개의 카메라 중 어느 하나의 카메라로부터 입력된 영상으로부터 동작자의 신체 정보를 계산하여 운동 궤적을 결정한다. 여기서, 운동 궤적 정보 결정부(1620)는 도 2의 운동 궤적 정보 결정부(210)와 동일하므로 자세한 설명은 생략하기로 한다.

실루엣 추적부(1630)는 뎁스 추출부(1510)로부터 입력된 영상으로부터 동작의 실루엣을 추적한다.

관절 검출부(1640)는 동작자의 실루엣과 운동 궤적을 이용하여 동작자의 머리,손, 어깨, 팔꿈치, 손목, 무릎, 발목, 고 관절을 검출한다. 즉, 관절 검출부(1640)에서는 동작자의 관절을 2D(Dimension)으로 검출한다. 여기서, 관절 검출부(1640)의 동작은 도 2의 관절 검출부(250)와 동일하므로 자세한 설명은 생략한다.

관절 복원부(1650)는 뎁스 추출부에서 추출된 뎁스, 동작자의 운동 궤적, 및 실루엣을 이용하여 동작자의 2D 관절을 3D로 복원한다. 여기서, 뎁스는 도 14의 z-거리를 나타낸다.

도 17은 세 개의 카메라를 이용하는 경우의 마커리스 모션 캡쳐링 장치를 도시한 도면이다.

도 17을 참조하면, 모션 캡쳐링 장치는, 세 개의 카메라로부터 촬영된 동작자의 영상을 수신하여 동작자의 모션을 캡쳐링한다. 이때, 한 개의 카메라는 동작 자의 정면에 배치되고, 두 개의 카메라는 각각 동작자의 좌측 및 우측에 배치된다. 여기서, 세 개의 카메라 각각은 동작자의 전신을 촬영할 수 있는 거리를 두고 배치된다.

도 18은 세 개의 카메라를 이용하는 경우의 마커리스 모션 캡쳐링 장치의 구성을 도시한 도면이다.

도 18을 참조하면, 마커리스 모션 캡쳐링 장치는 운동 궤적 정보 결정부(1810), 실루엣 추적부(1820), 관절 검출부(1830) 및 관절 복원부(1840)를 포함한다.

운동 궤적 정보 결정부(1810)는 세 개의 카메라들 중 어느 하나로부터 입력된 영상으로부터 동작자의 신체 정보를 계산하여 운동 궤적을 결정한다. . 여기서, 운동 궤적 정보 결정부(1810)는 도 2의 운동 궤적 정보 결정부(210)와 동일하므로 자세한 설명은 생략하기로 한다.

실루엣 추적부(1820)는 세 개의 카메라로부터 입력된 영상 각각에서 동작자의 실루엣을 추적한다.

관절 검출부(1830)는 동작자의 운동 궤적과 3개의 실루엣을 이용하여 동작자의 관절을 검출한다. 이때, 관절 검출부(1830)는 3개의 실루엣 각각에서 동작자의 관절을 검출한다. 여기서, 검출되는 동작자의 관절은 2D이다.

관절 복원부(1840)는 관절 검출부(1830)에서 검출된 3장의 2D관절을 이용하여 동작자의 3D 관절을 복원한다.

한편, 마커리스 모션 캡쳐링 장치에서 이용되는 카메라(100)의 일 예로는 마 커리스 모션 캡쳐링 장치(200)에 탈착가능한 웹 카메라, 디지털 카메라, 및 캠코더를 들 수 있다.

또한, 앞에서 설명한 마커리스 모션 캡쳐링 장치 및 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 일실시예는 아래에 기재된 특허 청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

도 3은 관절에 따른 신체 비례 정보를 설명하기 위해 제공되는 도면이다.

도 4는 관절 운동 범위 정보를 설명하기 위해 제공되는 도면이다.

도 5 및 6은 동작자의 실루엣 추적을 설명하기 위해 제공되는 도면이다.

도 7 내지 12는 동작자의 관절 검출을 설명하기 위해 제공되는 도면이다.

도 14는 다양한 포즈를 취하는 동작자의 관절 검출을 설명하기 위해 제공되는 도면이다.

<도면의 주요 부분에 대한 부호의 설명>

100: 카메라

200: 모션 캡쳐링 장치

210; 운동 궤적 정보 결정부

230: 실루엣 추적부

250: 관절 검출부

Claims

영상으로부터 동작자의 신체 정보를 계산하여 상기 동작자의 운동 궤적을 결정하는 운동 궤적 정보 결정부;

상기 영상에서 상기 동작자의 실루엣을 추적하는 실루엣 추적부; 및

상기 운동 궤적과 상기 실루엣을 이용하여 상기 동작자의 관절을 검출하는 관절 검출부를 포함하고,

상기 운동 궤적 정보 결정부는, 상기 계산된 신체 정보에 기초하여 상기 동작자의 신체 부위가 움직일 수 있는 상기 운동 궤적을 결정하고,

상기 관절 검출부는, 상기 결정된 운동 궤적 및 상기 실루엣을 이용하여 관절 검색 영역을 결정하고, 상기 결정된 관절 검색 영역 내에서 상기 동작자의 관절을 검출하는, 마커리스 모션 캡쳐링 장치.
제1항에 있어서,

상기 운동 궤적 정보 결정부는,

동작자의 전신이 포함된 영상으로부터 상기 동작자에 대해 신체 부위의 사이즈를 계산하고, 상기 신체 부위가 움직일 수 있는 운동 궤적을 결정하는 마커리스 모션 캡쳐링 장치.
제1항에 있어서,

상기 실루엣 추적부는,

기준 관절의 위치를 기준으로 설정된 서칭 윈도우와 상기 실루엣이 교차하는 점을 연속적으로 검색하여 상기 동작자의 실루엣을 추적하는 마커리스 모션 캡쳐링 장치.
삭제
제1항에 있어서,

상기 관절 검출부는,

상기 운동 궤적 및 상기 실루엣을 이용하여 동작자의 머리, 손, 어깨 관절, 팔꿈치 관절, 손목 관절, 무릎 관절, 발목 관절, 및 고 관절 중 적어도 하나를 검출하는 마커리스 모션 캡쳐링 장치.
제5항에 있어서,

상기 관절 검출부는,

상기 동작자의 머리, 어깨 관절, 고 관절, 무릎 관절, 및 발목 관절 순서로 상기 동작자의 관절을 검출하는 마커리스 모션 캡쳐링 장치.
제5항에 있어서,

상기 관절 검출부는,

상기 동작자의 머리를 기준으로 상기 어깨 관절을 검출하고, 상기 검출된 어 깨 관절을 기준으로 상기 팔꿈치 관절, 상기 손목 관절, 및 상기 고 관절을 검출하고, 상기 검출된 고 관절을 기준으로 상기 무릎 및 발목 관절을 검출하는 마커리스 모션 캡쳐링 장치.
제5항에 있어서,

상기 관절 검출부는,

상기 실루엣을 기초로 결정된 검색 영역 내에서 상기 영상의 컬러를 이용하여 상기 머리 및 손을 검출하는 마커리스 모션 캡쳐링 장치.
제8항에 있어서,

상기 관절 검출부는,

상기 동작자의 머리를 기초로 결정된 서칭 윈도우와 상기 추적된 실루엣이 교차하는 지점을 상기 어깨 관절로 검출하는 마커리스 모션 캡쳐링 장치.
제7항에 있어서,

상기 관절 검출부는,

상기 동작자가 서 있는 경우의 머리 위치와 상기 동작자의 포즈에 따라 변경된 머리 위치를 기초로 토루소(torso)의 높이를 조정하여 상기 고 관절을 검출하는 마커리스 모션 캡쳐링 장치.
제7항에 있어서,

상기 관절 검출부는,

상기 운동 궤적, 실루엣, 및 손을 이용하여 상기 동작자의 팔꿈치 관절, 손목 관절, 무릎 관절, 및 발목 관절 중 적어도 하나를 검출하는 마커리스 모션 캡쳐링 장치.
2개의 영상 촬상 장치 각각으로부터 수신한 영상을 이용하여 뎁스(depth)를 추출하는 뎁스 추출부;

상기 영상으로부터 동작자의 신체 정보를 계산하여 상기 동작자의 운동 궤적을 결정하는 운동 궤적 정보 결정부;

상기 영상에서 상기 동작자의 실루엣을 추적하는 실루엣 추적부;

상기 운동 궤적 및 상기 실루엣을 이용하여 상기 동작자의 2D 관절을 검출하는 2D 관절 검출부; 및

상기 뎁스를 이용하여 상기 동작자의 2D 관절로부터 3D 관절을 복원하는 3D 관절 복원부를 포함하고,

상기 운동 궤적 정보 결정부는, 상기 계산된 신체 정보에 기초하여 상기 동작자의 신체 부위가 움직일 수 있는 상기 운동 궤적을 결정하고,

상기 2D 관절 검출부는, 상기 결정된 운동 궤적 및 상기 실루엣을 이용하여 관절 검색 영역을 결정하고, 상기 결정된 관절 검색 영역 내에서 상기 동작자의 관절을 검출하는, 마커리스 모션 캡쳐링 장치.
3개의 영상 촬상 장치들 중 동작자의 정면에 위치한 영상 촬상 장치로부터 수신한 영상에서 상기 동작자의 신체 정보를 계산하여 상기 동작자의 운동 궤적을 결정하는 운동 궤적 정보 결정부;

상기 3개의 영상 촬상 장치 각각으로부터 수신한 영상에서 상기 동작자의 실루엣을 추적하는 실루엣 추적부;

상기 운동 궤적 및 상기 실루엣을 이용하여 상기 3개의 영상 촬상 장치 각각으로부터 수신한 영상에 대해 상기 동작자의 2D 관절을 검출하는 2D 관절 검출부; 및

상기 3개의 영상 촬상 장치 각각으로부터 수신한 영상에 대해 검출한 2D 관절 위치를 이용하여 상기 동작자의 3D 관절을 복원하는 3D 관절 복원부를 포함하고,

상기 운동 궤적 정보 결정부는, 상기 계산된 신체 정보에 기초하여 상기 동작자의 신체 부위가 움직일 수 있는 상기 운동 궤적을 결정하고,

상기 2D 관절 검출부는, 상기 결정된 운동 궤적 및 상기 실루엣을 이용하여 관절 검색 영역을 결정하고, 상기 결정된 관절 검색 영역 내에서 상기 동작자의 관절을 검출하는, 마커리스 모션 캡쳐링 장치.
영상으로부터 동작자의 신체 정보를 계산하여 상기 동작자의 운동 궤적을 결정하는 단계;

상기 영상에서 상기 동작자의 실루엣을 추적하는 단계; 및

상기 운동 궤적 및 상기 실루엣을 이용하여 상기 동작자의 관절을 검출하는 단계를 포함하고,

상기 운동 궤적을 결정하는 단계는, 상기 계산된 신체 정보에 기초하여 상기 동작자의 신체 부위가 움직일 수 있는 상기 운동 궤적을 결정하고,

상기 관절을 검출하는 단계는, 상기 결정된 운동 궤적 및 상기 실루엣을 이용하여 관절 검색 영역을 결정하고, 상기 결정된 관절 검색 영역 내에서 상기 동작자의 관절을 검출하는, 마커리스 모션 캡쳐링 방법.
제14항에 있어서,

상기 결정하는 단계는,

동작자의 전신이 포함된 상기 동작자에 대해 신체 부위의 사이즈를 계산하고, 상기 신체 부위가 움직일 수 있는 운동 궤적을 결정하는 마커리스 모션 캡쳐링 방법.
제14항에 있어서,

상기 추적하는 단계는,

기준 관절의 위치를 기준으로 설정된 서칭 윈도우와 상기 실루엣이 교차하는 점을 연속적으로 검색하여 상기 동작자의 실루엣을 추적하는 마커리스 모션 캡쳐링 방법.
삭제
제14항에 있어서,

상기 검출하는 단계는,

상기 운동 궤적 및 상기 실루엣을 이용하여 상기 동작자의 머리, 손, 어깨 관절, 팔꿈치 관절, 손목 관절, 무릎 관절, 발목 관절, 및 고 관절 중 적어도 하나를 검출하는 마커리스 모션 캡쳐링 방법.
제18항에 있어서,

상기 검출하는 단계는,

상기 동작자의 머리, 어깨 관절, 고 관절, 무릎 관절, 및 발목 관절 순서로 상기 동작자의 관절을 검출하는 마커리스 모션 캡쳐링 방법.
제14항 내지 제16항, 제18항 및 제19항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.