KR20050041525A - 모션 캡쳐 시스템 - Google Patents

Abstract

카메라와 프로젝터의 동기가 이루어지도록 하여 실시간 3차원 정보 획득이 가능함과 동시에 획득 정보의 신뢰성 저하를 방지할 수 있도록 한 모션 캡쳐 시스템에 관한 것으로, 3차원 정보를 획득하고자 하는 대상 물체에 컬러 구조광으로 이루어진 적어도 두 개의 프레임 영상을 번갈아 영사하는 프로젝터, 프레임 영상이 영사된 물체를 촬영하기 위한 적어도 두 대의 카메라, 그리고 프로젝터에 프레임 영상을 제공하고 프로젝터의 프레임 영사와 카메라들의 영상 촬영이 동기되도록 하며 카메라들에 의해 촬영된 영상정보를 저장하고, 프레임 단위의 영상정보에 대해 명도가 다른 영역에 비해 높은 부분을 추적하는 방식으로 물체의 움직임 정보를 획득하는 컴퓨터 본체를 포함하므로 실시간 3차원 정보 획득이 가능하고, 획득된 3차원 정보의 신뢰성을 향상시킬 수 있다.

Description

모션 캡쳐 시스템{Motion Capture System}

본 발명은 구조광을 이용하여 3차원 정보를 실시간으로 획득할 수 있도록 한 모션 캡쳐 시스템에 관한 것이다.

모션 캡쳐(Motion Capture)란 인체가 동작하는 움직임을 컴퓨터 데이터 형태로 기록하고, 기록된 정보를 바탕으로 컴퓨터 캐릭터에게 위치 정보를 포함하는 정보를 전달하여 인체의 움직임이 그대로 컴퓨터 캐릭터에 의해 나타낼 수 있도록 하는 작업을 말한다.

이러한 모션 캡쳐 기술은 1970년대에 세상에 알려지기 시작하여 1980~1983년 즈음에 컴퓨터를 이용해서 인간의 동작을 분석하기 위한 움직임이 학문적으로 시작되었다.

1980년대 초기 Simon Fraser 대학의 Tom Calvert 교수는 통신분압기를 인체의 양쪽 무릎에 부착하고 모션 캡쳐하여 컴퓨터 캐릭터를 움직이는 방법을 처음으로 고안하였다.

그 후, MIT 공과 대학과 New York Institute of Technology에서 광센서를 이용한 모션 캡쳐 방식이 고안되어 실험이 이루어졌다.

이 것은 인체에 부착하는 엘이디(LED)로 부터 각 센서의 2차원 값을 카메라를 통해 얻은 값을 통합하여 3차원 정보를 얻어내는 기술로 발달하게 되었다.

1989년부터는 상업성을 띤 작품들에 모션 캡쳐기술이 응용되기 시작되어 뮤직 비디오 촬영이나, TV 어린이 프로그램 등에서도 응용이 되었다.

1993년 이후부터는 상업용 제품이 출시되었고, 앞으로 모션 캡쳐 기술은 다양한 방법으로 발달이 되고 그 응용 범위가 다양해 질 것이다.

이러한 모션 캡쳐 시스템은 방식에 따라서 여러 형태가 있지만, 대표적으로 음향식(Acustic), 기계식(Mechanic), 자기식(Magnetic), 광학식(Optical)의 4가지 형태로 구분할 수 있다.

이때 광학식 시스템(Optical)은 도 1에 도시된 바와 같이, 사람의 몸에 광 반사성이 좋은 마커(Marker)를 붙이고, 적외선 불빛이 나오는 적외선 카메라로 캡처 하는 방식이다.

그러나 마커는 부피가 크고 거추장스러워 마커를 장착한 사람의 자연스런 동작에 장애가 되고 부착할 수 있는 개수도 제한되므로 고밀도의 모션 캡쳐에는 무리가 있다. 특히 비관절 비고형체의 경우(특히, 사람의 얼굴처럼 근육의 이완에 따라 미세한 변화를 나타내거나, 의상 등과 같이 흔들림에 따라 미세한 변화를 나타내는 물체) 모션 캡쳐가 매우 어렵다.

상술한 마커를 사용하지 않고 모션 캡쳐를 하기 위한 가장 이상적인 방법은 여러 대의 카메라를 사용하여 캡쳐한 이미지들간에 특징점들의 대응관계를 구해서 이를 트랙킹(Tracking)하는 방식인데, 일반적인 물체나 인체들에서는 충분한 밀도의 특징점들을 찾는 것은 물론이고 이들의 정확한 대응관계를 구하기도 매우 어려워 현실성이 없다.

따라서 현실적으로 가능한 3차원 영상정보 획득 방법 중 가장 대표적인 것이, 도 2와 같이, LCD/DLP 프로젝터 및 카메라로 이루어진 시스템을 이용하는 것이다.

즉, LCD/DLP 프로젝터를 통해 구조광(Structured-Light)으로 이루어진 하나 또는 다수의 프레임을 해당 피사체에 영사하고 이를 카메라를 통해 촬영하여 3차원 정보를 얻는 방법이다.

이때 프레임을 구성하는 구조광은 특정 형태의 패턴을 가지는데, 현재 이용될 수 있는 대표적인 것이 흑백 이진 패턴(BW binary pattern), 흑백 줄무늬 경계패턴 및 정현파 줄무늬 패턴(fringe pattern)이다.

먼저, 흑백 이진 패턴은 흑과 백의 조합으로 이루어지는 것으로, 첫 번째 프레임에는 흑/백, 두 번째 프레임에는 상기 첫 번째 프레임의 경계에 걸치도록 흑/백/흑, 이런 식으로 다수의 프레임을 구성하는 것으로, N 번의 패턴 영사 및 촬영으로 2^N 개의 투영평면(Plain Identification: PLID)을 유일하게 식별해낼 수 있다.

그리고 이와 같이 얻어진 투영 평면정보는 이미 많이 알려진 캘리브레이션(Calibration) 방법을 이용하여 3차원 정보를 얻는데 사용될 수 있지만, 상술한 바와 같이, 다수의 프레임 촬영이 필요하여 실시간 3차원 정보 획득이 거의 불가능하다.

다음으로, 흑백 줄무늬 경계패턴은 상기 흑백 이진 패턴의 배열형태를 적절히 변형하여 획득 데이터의 안전성을 높인 것이다.

그러나 이 역시 흑백 이진 패턴과 마찬가지로 다수의 프레임 촬영이 필요하여(예를 들어, 100여 개의 투영평면을 얻는데 4 프레임의 이미지가 필요) 4 프레임 동안 물체의 운동을 무시해야 하므로 실시간으로 비고형체의 세밀한 모션을 캡쳐하는 것이 매우 어렵다.

그리고 정현파 줄무늬 패턴 역시 획득 데이터의 안전성을 저하시키거나 다수의 프레임을 촬영해야 하므로 이 역시 실시간 모션 캡쳐가 매우 어렵다.

상술한 바와 같이, 종래의 구조광에 의한 거리 영상 즉, 3차원 정보의 획득은 상술한 바와 같이, 흑백 형태의 구조광 패턴을 적용하므로 한 프레임 당 다수의 구조광 패턴이 필요하게 되어 실시간 모션 캡쳐가 매우 어려운 상태이다.

따라서 의상이나 사람 얼굴 등과 같이 움직이는 물체에 대한 고속 거리영상 획득을 위해 분별 가능한 패턴의 수를 늘려서 한 장면의 거리 영상 획득에 필요한 구조광 영사를 줄이기 위한 칼라 사용에 관해 많은 연구가 있었다.

그 연구들에서는 하나의 줄무늬가 하나의 투영 평면을 결정하는 경우가 대부분이었다.

이 경우 서로 다른 N 개의 컬러로 유일하게 결정할 수 있는 투영평면의 수는 N 개가 된다.

따라서 더 많은 투영평면을 결정하기 위해서는 하나의 영상 이미지에 같은 투영평면의 줄무늬를 중복해서 사용한 후 언래핑(Unwrapping: 중복된 것을 다시 구분해내는 과정)하는 방법이 있다.

그러나 언래핑은 대상 물체의 구조를 제한하는 특성이 있어서, 기하학적으로 복잡한 형태의 경우 그 결과에 오류가 자주 발생하는 문제가 있다.

따라서 서로 다른 N 개의 컬러로 유일하게 결정할 수 있는 투영평면의 수를 증가시키기 위한 것이, 컬러 다중 줄무늬 패턴을 이용하는 것으로, 이를 이용하면 최소의 프레임 예를 들어, 한 프레임을 이용하여 실시간으로 3차원 정보를 획득하는 것이 가능하다.

그러나 표면 반사율이 균일하지 않은 물체 즉, 색상이 복잡한 물체의 경우, 하나의 프레임 영사만으로는 획득된 3차원 정보의 정확도가 저하되므로, 적어도 두 개의 프레임을 영사해야 획득된 3차원 정보의 정확도를 향상시킬 수 있다.

그러나 현재의 모션 캡쳐 시스템은 카메라와 프로젝터의 동기화가 어려워, 컬러로 이루어진 구조광을 이용한 적어도 두 개의 프레임을 정확한 타이밍에 캡쳐하여 실시간으로 3차원 정보를 획득할 수 없는 문제점이 있다.

따라서 본 발명은 상기한 종래의 문제점을 해결하기 위하여 안출한 것으로서, 카메라와 프로젝터의 동기가 이루어지도록 하여 실시간 3차원 정보 획득이 가능함과 동시에 획득 정보의 신뢰성 저하를 방지할 수 있도록 한 모션 캡쳐 시스템을 제공함에 그 목적이 있다.

본 발명은 3차원 정보를 획득하고자 하는 대상 물체에 컬러 구조광으로 이루어진 적어도 두 개의 프레임 영상을 번갈아 영사하는 프로젝터, 프레임 영상이 영사된 물체를 촬영하기 위한 적어도 두 대의 카메라, 그리고 프로젝터에 프레임 영상을 제공하고 프로젝터의 프레임 영사와 카메라들의 영상 촬영이 동기되도록 하며 카메라들에 의해 촬영된 영상정보를 저장하고, 프레임 단위의 영상정보에 대해 명도가 다른 영역에 비해 높은 부분을 추적하는 방식으로 물체의 움직임 정보를 획득하는 컴퓨터 본체를 포함함을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 모션 캡쳐 시스템의 바람직한 일실시예를 상세히 설명하면 다음과 같다.

도 3은 본 발명에 따른 모션 캡쳐 시스템의 구성을 나타낸 도면, 도 4는 도 3의 시스템에 적용되는 두 프레임의 구조광 패턴 실시예를 나타낸 도면이고, 도 5a 내지 도 5d는 도 4의 프레임 영사에 따른 실험결과를 나타낸 도면이다.

본 발명에 따른 모션 캡쳐 시스템의 바람직한 일실시예는 도 3에 도시된 바와 같이, 3차원 정보를 획득하고자 하는 대상 물체(10), 상기 물체(10)에 컬러 구조광으로 이루어진 적어도 두 개의 프레임 영상을 번갈아 영사하는 프로젝터(20), 상기 프레임 영상이 영사된 물체를 촬영하기 위한 제1 카메라(30) 및 제2 카메라(40), 상기 프로젝터(20)에 프레임 영상을 제공하고 상기 프로젝터(20)의 프레임 영사와 제1 카메라(30) 및 제2 카메라(40)의 영상 촬영이 동기되도록 하며 상기 제1 카메라(30) 및 제2 카메라(40)에 의해 촬영된 영상정보를 저장하는 컴퓨터 본체(50)를 포함하여 구성된다.

이때 컴퓨터 본체(50)는 프레임 영상 및 카메라 촬영 영상정보 저장을 위한 하드 디스크(52), 자체의 그래픽 프로세싱 유닛(GPU)을 이용하여 상기 프레임 영상을 프로젝터(20)에서 영사 가능한 형태로 변환하여 상기 프로젝터(20)에 제공하는 그래픽 카드(51), 상기 하드 디스크(52)에서 프레임 영상을 읽어들이고, 읽어들인 프레임 영상의 변환동작이 이루어지도록 상기 그래픽 카드(51)를 제어하며, 상기 그래픽 카드(51)로의 프레임 영상공급에서 프로젝터(20) 영사까지의 시간에 따라 상기 프로젝터 영사와 영상 촬영이 동기되도록 상기 제1 카메라(30) 및 제2 카메라(40)를 제어하는 메인 프로세서(53) 즉, CPU를 포함한다.

그리고 상기 제1 및 제2 카메라(30)(40)를 적용한 것은 본 발명의 실시예일뿐, 본 발명의 핵심은 프로젝터와 카메라를 동기시키는 것이므로 실제 두 대 이상의 카메라를 사용하여 시스템을 구성하는 것도 어렵지 않다.

또한 각 카메라는 촬영한 영상정보를 자체의 메모리를 이용하여 저장할 수도 있다.

이와 같이 구성된 본 발명에 따른 모션 캡쳐 시스템의 동작을 상세히 설명하면 다음과 같다.

상세한 설명에 앞서, 본 발명의 모션 캡쳐 시스템에 두 개의 프레임 영상 각각이 도 3의 상/하의 구조광 패턴으로 이루어진 예를 들기로 한다.

먼저, 메인 프로세서(53)는 하드 디스크(52)로부터 도 4와 같은 두 개의 프레임 영상을 번갈아 가며 읽어들이고, 각각에 대해 프로젝터(20)에서 영사 가능한 형태로 변환이 이루어지도록 상기 그래픽 카드(51)의 그래픽 프로세싱 유닛을 직접 제어한다.

그리고 상기 그래픽 카드(51)는 변환된 프레임 영상을 프로젝터(20)에 공급하고, 프로젝터(20)는 그래픽 카드(51)에서 공급된 프레임 영상을 물체(10)에 영사한다.

이어서 메인 프로세서(53)는 실제 프로젝터(20)에서 프레임 영상을 물체(10)에 영사하는 시점과 제1 및 제2 카메라(30)(40)의 촬영시점을 동기시킨다.

이때 상기 그래픽 카드(51)에서 프레임 영상을 변환하여 프로젝터(20)를 통해 영사되기까지의 시간(T_d)은 동일하고, 이를 메인 프로세서(53)가 알고 있다.

따라서 메인 프로세서(53)는 그래픽 카드(51)로 프레임 영상을 공급하는 시점부터 상기 시간(T_d) 경과시점에 제1 및 제2 카메라(30)(40)이 촬영을 시작하도록 하여, 프로젝터와 카메라를 동기시키는 것이다.

이와 같이, 도 4에 도시된 두 개의 프레임을 번갈아가며, 물체(10)에 영사하고 제1 및 제2 카메라(30)(40)를 통해 촬영하여 영상정보를 저장함으로서, 3차원 정보 획득이 이루어진다.

그리고 상술한 3차원 영상획득에 관련된 실험결과가 도 5a 내지 도 5d에 도시되어 있다.

즉, 도 5a는 일반조명에서의 물체 즉, 얼굴사진이다.

상기 도 5a와 같은 얼굴에 상술한 도 4와 같은 구조광으로 이루어진 두 개의 프레임을 순차적으로 영사한 결과가 도 5b에 도시되어 있다.

그리고 도 5b를 제1 및 제2 카메라(30)(40)를 통해 촬영하고 별도의 3차원 정보 분석 프로그램을 통해 분석하여 구조광 패턴을 식별한 것이 도 5c에 도시되어 있다.

최종적으로 도 5c에서 획득한 3차원 영상을 밝기값으로 처리한 것이 도 5d에 도시되어 있다.

또한 상술한 3차원 영상 획득시, 얼굴이나 옷감과 같이 위치이동이 있는 경우 실질적인 모션 캡쳐를 위해서는 얼굴의 움직임을 추적하는 과정이 필요하다.

즉, 먼저 3차원 영상 획득의 대상이 되는 얼굴에 흰 점들을 찍은 후, 상술한 프레임 영사를 수행하는 것이다.

이때 흰 점은 일반적인 얼굴을 기준으로 약 30개 정도가 적당하다.

물론 상술한 흰 점의 수는 약간의 변동을 주더라도 영상 획득에는 문제가 없으나, 그 수가 너무 적을 경우 획득 영상의 밀도가 저하되고, 그 수가 너무 많을 경우 영상 획득이 어렵게 된다.

상술한 카메라 촬영에 따른 정보들에서 그 점의 영역에 해당하는 픽셀(Pixel)들의 색상 정보(흰색)를 이용하여, 연속되는 프레임들에서 컬러 히스토그램(Histogram) 비교나, SSD(Sum of Squared Distance)를 계산하여 가장 적은 차이를 나타내는 좌표를 다음 프레임에서의 점의 좌표라고 추정한다.

또한 컬러 줄무늬 패턴을 얼굴에 영사할 경우 프레임 진행에 따라 움직이는 점의 영역 색상이 변화하게 된다.

따라서 보다 효율적인 추적을 위해 점의 윤곽선 즉, 에지(Edge) 정보를 이용한다.

즉, 육안으로도 어느 정도 확인이 가능하듯이, 윤곽선은 프레임을 이루는 줄무늬 패턴의 인한 점 내부의 색 변화에 특징이 있다.

따라서 얼굴이 3차원 곡면임을 감안할 때, 찍은 점을 타원으로 가정하고 타원의 원호를 따라 에지 성분의 정도 즉, 인텐서티(Intensity)의 변화 다시 말해, 명도(밝기)를 측정하여 후보점이 얼마나 예상한 타원과 가까운 지를 측정하면, 점의 추적이 가능해진다.

여기에 확률적인 요소를 가하여, 프레임마다 일정한 개수의 가중치화된 샘플들을 가지고 추적 대상의 상태를 추정하는 파티클 필터링(일정한 수의 파트클들에 대해 측정 결과에 비례하는 가중치를 할당하고, 그 가중치에 따라 다음 단계에서의 파티클들을 생성해 나가는 방법)을 사용하면, 이미지 상에 방해물이 존재하더라도 보다 정확한 추적이 가능해진다.

컬러 줄무늬 패턴의 경우, 색상은 다르지만 그 밝기는 거의 동일한데 반하여, 흰점이 찍힌 부분은 다른 곳에 비해 밝다.

따라서 본 발명은 이를 이용하여 프레임 진행에 따라 다른 영역에 비해 밝은 영역을 찾는 방식으로 얼굴 움직임 추적이 가능한 것이다.

본 발명에 따른 모션 캡쳐 시스템은 그래픽 카드 및 카메라를 메인 프로세서가 제어하여 상기 그래픽 카드로부터 프레임 영상을 제공받아 물체에 영사하는 프로젝터 및 이를 촬영하기 위한 카메라의 동기가 정확히 이루어지도록 하므로 실시간 3차원 정보 획득이 가능하고, 획득된 3차원 정보의 신뢰성을 향상시킬 수 있는 효과가 있다.

도 1은 일반적인 마커를 이용한 광학식 모션 캡쳐방식을 설명한 도면

도 2는 일반적인 구조광을 이용한 3차원 정보 획득 시스템의 구성을 개략적으로 나타낸 도면

도 3은 본 발명에 따른 모션 캡쳐 시스템의 구성을 나타낸 도면

도 4는 도 3의 시스템에 적용되는 두 프레임의 구조광 패턴 실시예를 나타낸 도면

도 5a 내지 도 5d는 도 4의 프레임 영사에 따른 실험결과를 나타낸 도면

- 도면의 주요부분에 대한 부호의 설명 -

10: 물체 20: 프로젝터

30: 제1 카메라 40: 제2 카메라

50: 컴퓨터 본체 51: 그래픽 카드

52: 하드 디스크 53: 메인 프로세서

Claims (2)

1. 표면에 소정 수의 흰 점이 소정 간격으로 찍힌 대상 물체에 컬러 구조광으로 이루어진 적어도 두 개의 프레임 영상을 번갈아 영사하는 프로젝터;

   상기 프레임 영상이 영사된 물체를 촬영하기 위한 적어도 두 대의 카메라; 그리고

   상기 프로젝터에 프레임 영상을 제공하고 상기 프로젝터의 프레임 영사와 상기 카메라들의 영상 촬영이 동기되도록 하며 상기 카메라들에 의해 촬영된 영상정보를 저장하고, 프레임 단위의 영상정보에 대해 명도가 다른 영역에 비해 높은 부분을 추적하는 방식으로 물체의 움직임 정보를 획득하는 컴퓨터 본체를 포함하는 모션 캡쳐 시스템.
2. 제1 항에 있어서,

   상기 컴퓨터 본체는

   프레임 영상 및 카메라 촬영 영상정보 저장을 위한 하드 디스크,

   자체의 그래픽 프로세싱 유닛(GPU)을 이용하여 상기 프레임 영상을 프로젝터에서 영사 가능한 형태로 변환하여 상기 프로젝터에 제공하는 그래픽 카드, 그리고

   상기 하드 디스크에서 프레임 영상을 읽어들이고, 읽어들인 프레임 영상의 변환동작이 이루어지도록 상기 그래픽 카드를 제어하며, 상기 그래픽 카드로의 프레임 영상공급에서 프로젝터 영사까지의 시간에 따라 상기 프로젝터 영사와 영상 촬영이 동기되도록 상기 카메라들을 제어하고, 프레임 단위의 영상정보에 대해 명도가 다른 영역에 비해 높은 부분을 추적하는 방식으로 물체의 움직임 정보를 획득하는 메인 프로세서를 포함하는 모션 캡쳐 시스템.