KR20090130003A

KR20090130003A - 삼차원 물체를 트래킹하기 위한 시스템 및 방법

Info

Publication number: KR20090130003A
Application number: KR1020097020075A
Authority: KR
Inventors: 앤드류 체스녹
Original assignee: 오가닉 모션
Priority date: 2007-03-02
Filing date: 2008-03-03
Publication date: 2009-12-17
Also published as: WO2008109567A4; WO2008109567A2; US8471848B2; CA2717485A1; CN101681438A; EP2135197A2; JP2014013573A; US20090122058A1; JP2010520565A; AU2008222933A1; EP2135197A4; WO2008109567A3

Abstract

본 발명의 실시는 3차원 이미지 재생성의 개선된 시스템 및 방법에 관한 것이다. 본 발명의 시스템과 방법은 다수의 2차원 비디오 카메라 소스로부터 3차원 물체를 추출하고 디지털적으로 재생성하며 이를 트래킹하는 것에 관한 것이다. 본 발명의 시스템과 방법은 2차원 카메라를 통해 3차원 장면을 재생성하고 이를 다시 2차원 표면으로 재투영하는 것에 관한 것이다. 본 발명의 시스템과 방법은 이미지 분석 기술을 2차원 도메인에서 수행함으로써 3차원 모델의 분석에 소요되는 이미지 처리 과정을 크게 단순화시킨다.

Description

삼차원 물체를 트래킹하기 위한 시스템 및 방법{SYSTEM AND METHOD FOR TRACKING THREE DIMENSIONAL OBJECTS}

본 출원은 2007년 3월 2일에 출원된 미국 예비 특허 출원 60/892,738의 혜택을 주장하며 상기 출원의 내용은 본 출원에 참조로써 포함되었다.

본 발명의 구현은 컴퓨터 비전 및 삼차원(3D) 이미지 재생성에 관한 것이다.

지난 20년에 걸쳐 컴퓨터 비전 분야는 3차원(3D) 공간에서 물체를 재구성하고 디지털화하며 트래킹하기 위한 많은 기술들이 개발되어 문서화되었다. 이러한 기술 중의 하나로서, 하나의 물체로부터 형성된 다수의 2차원(2D) 윤곽 이미지들로부터 물체를 재생성하는 기술이 있다. 이러한 기술들은 보통 3차원적 부피를 차지하는 복셀(voxel)을 이용하는데 이 복셀은 여러 관점으로부터 얻어진 2차원 윤곽 이미지들을 이용하여 만들어진다. 이러한 기술은 재구성되는 물체의 일반적인 3차원 형상을 나타내는 복셀 볼룸을 생성하는데 효율적으로 사용되어 왔다.

시각적 형태를 계산하기 위한 여러 알고리즘들이 공개되었는데, 예를 들면 다음과 같다:

W. Martin, J. K. Aggarwal, "Volumetric descriptions of Objects from multiple views", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 5, no. 2, pp. 150-158, March 1983; M. Potmesil, "Generating octree models of 3D objects from their silhouettes in a sequence of images,"Computer Vision, Graphics and Image Processing, vol.　40, pp.　1-29, 1987; Richard Szeliski, "Rapid octree construction from image sequences", CYGIP: Image Understanding, vol., 58; no. 1, pp, 23-32, July 1993; and W. Niem, "Robust and Fast Modeling of 3D Natural Objects from Multiple Views", Proceedings, "Image and Video Processing II", Vol. 2182. pp. 388-397 (1994).

이들 문서들의 내용은 본 명세서에 참조로써 포함되었다.

이들 연구들은 입체적인 공간 표현을 이용하여 문제를 해결하려 한다. 이러한 표현으로 가장 일반적인 것은 3차원 박스를 이산량의 크기를 가지는 복셀들의 집합으로 분할하는 것이다. 박스의 크기는 물체를 포함할 수 있는 값으로 결정된다. 이들의 성능을 개선하기 위하여 이들은 옥트리(octree)로 표현되거나 실행 시간에 계산된다.

이에 대한 문서는 다음과 같다:

C. H. Chien and J. K. Aggarwal, "Identification of 3D Objects from Multiple Silhouettes Using Quadtrees　/ Octrees", Computer Vision Graphics And Image Processing 36, .pp.256-273 (1986); and A.W. Fitzgibbon, G. Cross and A. Zissermann, "Automatic 3D Model Construction for Turntable Sequences", Proceedings of the European Workshop on 3D Structure from Multiple images of Large-scale Environments (SMILE '98), LNCS 1506, pp. 155-170 (1998).

이들 문서들의 내용은 본 명세서에 참조로써 통합되었다.

종래의 공간 조성 방법은 성능과 유연성에 있어 문제점을 갖고 있다. 각 X축, Y축 및 Z축 차원의 복셀들의 그리드를 미리 정의함에 따라 컴퓨터 자원이 빨리 고갈된다. 100 x 100 x 100 정도의 낮은 해상도를 나타내는 일백만 복셀 정도를 포함하는 매우 낮은 해상도에서만 실시간 성능이 가능하다. 공간 분할을 이용하는 이 방법 또는 기타 최적화에 대한 많은 기술들이 개발되었다. 이들 기술들은 도움은 되지만 복셀 기반 방법에 실시간 실용성을 보장하지는 못했다. 미국 특허 7,127,362 는 이러한 방법을 개시하며 그 내용은 본 명세서에 참조로써 통합되었다.

상기 기술들을 이용하여 이미지를 재생성한 후에 연구자들은 물체를 분석하고 트래킹하기 위해 다양한 기술을 사용하였다. 복셀 그리드를 분석하는 것은 많은 시간을 요한다. 복셀의 그리드로 표현된 인체 모양을 트래킹하기 위한 한 방법이 미국 특허 7,257,237에 개시되었으며 그 내용은 본 명세서에 참조로써 포함되었다.

따라서 3차원 이미지 재생성을 위한 개선된 시스템과 방법이 이 분야에서 요구되고 있다.

본 발명은 3차원 이미지 재구성을 위한 개선된 시스템과 방법을 제공함으로써 이러한 문제점을 해결하고 그 외의 다른 요구들을 충족시킨다.

본 발명의 실시예들은 복셀을 사용하지 않고 이미지를 재구성하는 새로운 시스템과 방법에 관한 것이다. 이들 실시예들은 일단 복셀 형태를 재구성된 후에 이를 분석하고 트래킹하는 것과 관련한 성능 문제와 함께 복셀 기반 재구성 방법에 내재하는 성능과 해상도 문제를 동시에 해결한다.

본 발명은 다수의 2차원 비디오 카메라 소스들로부터 3차원 물체를 추출하고, 이를 디지털적으로 재구성하고 트래킹하는 새로운 방법을 개발하였다. 이 방법은 특히 사람 뿐만 아니라 동물과 같은 복잡한 유기적 형태를 고속으로 탐지하고 트래킹할 수 있게 해준다. 본 발명의 실시예들은 트래킹 대상에 마커나 트래킹 장비를 부착하여 사용하지 않는 마커 비사용 모션 캡처 시스템에서 성공적으로 실시간 수행을 가능하게 하는 방법에 관한 것이다.

본 발명의 실시예들은 2차원 카메라를 통해 3차원 장면을 재생성하고 이를 다시 2차원 표면으로 투영하는 신규한 방법에 관한 것이다. 이 방법은 분석 기술들을 2차원 도메인에서 수행함으로써 대상 모델을 분석하기 위한 이미지 처리과정을 크게 단순화시킨다.

본 발명의 실시예들은 상기 방법뿐만 아니라, 비디오 게임 산업을 위해 개발된 그래픽 카드 하드웨어(GPU)를 본 발명의 용도에 맞게 변경하여 사용하는 독특한 방법을 제공한다. 이들 하드웨어를 본 발명의 용도에 맞추어 사용하는 신규한 방법은 기존의 CPU에 의존하는 방법에 비해 수백 배의 속도로 3차원 장면을 재생성하는 가속을 얻을 수 있다.

본 발명의 목적과 이점은 첨부된 도면들과 더불어 기술된 하기 상세한 설명에 따라 명확하게 될 것이며, 첨부된 도면들에서 전반적으로 참조 기호는 해당 부 분들을 나타내며 각 도면에 있어서,

도 1은 대상을 둘러싼 6개의 카메라로부터의 뷰(view)를 도시하고;

도 2는 배경 제거 정보를 보여주는 비디오 뷰를 도시하고;

도 3은 큰 크기의 조정용 체커 판을 바라보는 카메라의 비디오 뷰를 도시하고;

도 4는 모든 카메라 데이터가 2차원 다각형으로 투영된 후에 (이 경우에 다각형은 대상의 발의 길이 방향으로의 바닥의 단면을 나타낸다.) 2차원 다각형을 관찰하는 3차원 뷰를 도시하고;

도 5는 2차원에 투영된 다각형들을 반복적으로 이용하여 공간을 검사하고 인간 대상의 전체 모양을 탐색하는 것을 도시하고;

도 6은 골격 모양을 2차원 다각형에서 값들을 구함으로써 생성된 데이터에 초기 매칭하는 것을 도시하고;

도 7은 텍스처 데이터가 2차원 다각형으로 투영된 후의 2차원 다각형을 도시하고;

도 8은 지역 좌표계에서 2차원 다각형을 이용하여 트래킹된 팔의 근접 뷰를 도시하고;

도 9는 텍스처를 2차원에 투영하는 방법을 도시하고;

도 10은 도 9에서 투영된 텍스처의 다른 관점에서의 뷰를 도시하고;

도 11은 어떻게 실제 세계가 디지털 도메인에 연관되고 어떻게 카메라가 가상 프로젝터에 연관되는 지를 보여주는 레이 아웃을 도시하고;

도 12는 카메라 공간의 배열을 세팅하는 방법을 도시하고;

도 13은 교차하는 카메라 투영의 가상 투영 클라우드(cloud)를 도시하고;

도 14는 카메라 투영으로부터 얻은 데이터가 2차원 평면 위에 그려지는 방법을 도시하고;

도 15는 트래킹되는 캐릭터의 골격에 지역적으로 위치한 슬라이스로부터 다음 단계를 위한 위치 정보를 제공받는 방법을 도시하고;

도 16은 2차원 슬라이스를 분석하여 이를 복잡한 장면에서 나타나는 에러를 제거하기 위해 사용하는 과정을 도시하고;

도 17은 앤드 캡을 이용하여 트래킹되는 골격 형상을 적절히 위치시키는 방법을 도시하고;

도 18은 예시적 시스템에서 데이터의 흐름을 도시하고;

도 19는 본 발명의 실시예에 따른 전형적인 카메라 레이아웃을 도시하고;

도 20은 2차원 다각형으로의 투영의 근접 뷰를 도시한다.

상기 기술된 도면의 그림들은 본 발명의 사상을 기술하기 위한 목적으로만 제공된 것이며 크기의 척도를 나타내지 않으며 특히 본 발명의 실시의 범위에 있는 가능한 형태 또는 비례들을 그 범위에 있어 제한하고자 하는 것은 아니다.

본 발명의 실시예에 따라 다수의 비디오 카메라로 관찰되는 3차원 공간 내의 인물 물체를 추출하고 트래킹하는 단계는 다음과 같다:

단계 1: 이미지 획득

본 발명의 특정 실시예는 최대한 많은 관점들을 제공하기 위해 관심 영역 주변에 배치된 10개 또는 그 이상의 디지털 비디오 카메라로부터의 비디오 공급을 사용한다.

도 18에 비디오 획득 서브시스템이 도시되었다. 다수의 카메라(1801)가 파이어와이어(FireWire) 케이블(1802), 이더넷 아이피(Ethernet IP), 아날로그 케이블 또는 기타 상용의 비디오 전송수단을 이용하여 호스트 컴퓨터에 비디오를 공급한다. 이 비디오는 카메라 획득 보드(1803)에 공급된다. 본 발명의 실시예의 경우에는 IEEE1394a 파이어와이어(Firewire) 규격을 사용하는 주문 생산된 카드를 사용하였다. 일반적으로는 DMA(Direct Memory Access) 전송(1804)을 통해 비디오 데이터를 전송할 수 있으면 어떠한 종류의 이미지 인터페이스 카드도 사용 가능하다. DMA 전송을 이용하여 비디오 데이터는 호스트 컴퓨터의 시스템 메모리로 전송된다. 데이터는 이로부터 다시 그래픽 처리 장치(Graphics Processing Unit: GPU) 메모리(1805)로 전송된다. 본 발명의 경우에 사용된 그래픽 프로세싱 유니트는 버텍스와 픽셀 쉐이더 기능을 갖춘 표준의 다이렉트 엑스(DirectX) 일반 소비자 판매용 3차원 그래픽 카드이다. 선택적으로, 비디오 데이터를 동시에 복사하여 DMA 전송을 통해 하드 디스크 어레이(1806)로 전송하여 추후에 사용할 수 있도록 하는 것도 가능하다. 100% DMA 전송을 사용하는 목적은 호스트 컴퓨터의 CPU의 작업을 덜어 다른 작업을 할 수 있도록 하기 위함이다. 이러한 이미지 전송 방법을 이용하면 전체 CPU 싸이클의 1% 정도 만을 사용하여 비디오 데이터를 필요한 장소에 옮길 수 있다.

도 11은 물체 또는 스캔 영역 주변에 어떻게 카메라를 위치시킬 것인지를 도시하고 있다. 도 1은 본 발명의 소프트웨어의 스냅 샷으로서 물체들이 도 11에 기술된 대로 설치된 환경에 위치할 때 호스트 컴퓨터로 공급되는 전형적인 비디오 중 6개를 보여주고 있다.

단계 2: 배경 삭제

1) 흑백 카메라의 사용: 흑백 카메라를 사용하는 경우에는 능동(active) 배경을 사용함으로써 더 빠르게 대상을 배경으로부터 분리하는데 도움이 될 수 있다. 본 발명의 경우, 능동 배경은 후광(backlit) 시트, 또는 3M 사에서 판매하는 스카치라이트(ScotchLite) 제품과 같은 반사형 제품으로 만들 수 있는 반사 표면으로 구성된다. 이 물질들은 도로 표시판이나 의복의 반사 스트라이프 또는 도로의 페인트 등에서 쉽게 발견된다. 이러한 물질에 빛을 비추면 빛은 그 빛이 출발한 위치로 재반사된다. 카메라 렌즈 근처에 광원을 위치시킴으로써 반사되어 카메라 쪽으로 되돌아가는 빛으로 인해 배경이 빛이 나는 것처럼 보여진다. 이렇게 빛이 나는 배경을 이용하는 기본적인 이유는 대상이 되는 이미지의 가장 밝은 텍스처도 배경보다는 어두울 것이라는 사실이다. 배경을 제거하는데 두 가지 방법이 사용될 수 있다. 이들 방법들은 설정된 조명 조건에 따라 바꾸어 가면서 사용할 수 있다. 첫번째 방법은 이미지에서 특정 수준 이상의 밝은 부분을 제거하는 것이다. 이 경우에 특정 임계값보다 밝은 픽셀은 배경에 속하는 것으로 생각한다. 도 2에서 이 배경은 예시를 돕기 위해 검은 색으로 대체되었다. 흑백 카메라를 사용하는 경우에 능동 배경을 제거하는 또다른 방법은 배경의 참조 이미지를 촬영하여 전경 이미지와 배 경 이미지를 픽셀단위로 비교하여 차이를 구하는 것이다. 그리고 그 차이의 절댓값을 택하여 특정 임계값 이상의 이미지를 분리하였다. 이러한 방법의 아이디어는 전경 이미지와 배경 이미지의 픽셀 값의 차이가 일정값 이상이면 이는 전경 이미지의 일부일 것이란 것이다. 이렇게 픽셀 값들을 빼서 나온 결과는 첫 번째 방법과 같이 밝은 배경을 사용하여 제거한 결과와 유사하였다. 능동 배경을 사용함으로써, 대상이 장면 내에서 움직임에 따라 생기는 주변 빛 또는 그림자의 변화로 인해 도입되는 이미지 분할에서의 복잡성을 제거하였다. 후위 조명으로 그림자를 제거하거나 약화시켰다. 이러한 방법의 단점은 능동 배경 또는 특수 반사 표면의 설치시 전용 스튜디오가 필요하다는 것이다.

2) 컬러 카메라의 사용: 컬러 카메라를 사용할 때는 배경을 제거하기 위해 더 복잡한 선택사항이 생겨난다. 컬러 카메라 사용시, 배경 장면(즉, 스캔 영역에서 대상이 없는 장면)을 촬영하여 이 이미지를 적색 녹색 청색 (RGB) 컬러 공간에서 색도 광도 채도(HLS) 컬러 공간으로 변환한다. 전경 이미지에 대해서도 같은 과정을 가하고 다음 규칙을 적용한다.

a. 전경 픽셀이 채도에 있어 배경 픽셀보다 밝은 경우 이는 전경 픽셀이다.

b. 전경 픽셀이 배경 픽셀보다 어두운 경우 이는 전경 픽셀이거나 그림자가 진 배경 픽셀이다. 그림자부분은 그림자의 영향을 받은 색깔과 같은 색도의 값을 가지는 경향이 있다. 이 경우 두 번째 검사로서 전경의 색도 값과 배경의 색도 값이 (주어진 범위 내에서) 유사한 지를 검사한다. 값이 유사하고 광도와 채도에서의 차이가 크지 않은 경우에는 이를 대상의 그림자에 영향을 받은 배경 픽셀로 가정한 다.

c. 전경이 색도 값에 있어 배경과 차이가 나면 채도와 광도가 같다고 해도 이 픽셀을 분리하여 전경으로 한다.

d. 전경과 배경이 채도에서 특정 범위 이상으로 차이가 나는 경우에도 또한 분리하여 배경을 전경 픽셀로 본다.

본 발명에서는 이러한 규칙들을 결합하여 장면에서 빛의 변화에 잘 적용되는 픽셀 단위의 신뢰성있는 배경 제거 방법을 개발하였다. 이 방법은 전용 스튜디오의 셋팅이 필요없이 실내 및 실외에서 신뢰성있는 배경 제거를 허용한다. 이미 기술한 픽셀 단위 제거 기술과 함께 배경 대비 전경의 증감도(gradient)의 변화를 관찰하는 영역에 기반한 기술을 사용할 수도 있다. 어떤 경우에는 전경의 픽셀이 배경 색상과 유사한 값을 가짐으로 인해 배경으로 잘못 지정되었을 수도 있다. 그러나 주변 픽셀이 증감도에 있어서 다르기 때문에 (밝은 색에서 어두운 색으로의 변화가 전경과 배경에서 반대로 일어나는 경우 등) 이 픽셀이 실제는 배경 픽셀이 아니라고 가정할 수 있다.

이러한 기술들을 결합함으로써 자연 일광과 같은 복잡한 조명 조건에서도 신뢰성있는 배경 제거가 가능하다. 단점은 상기 기술된 흑백 카메라를 이용한 기술에 비교하면 이러한 부가적인 계산 과정으로 인해 시스템 성능이 상당한 영향을 받는다는 것이다. 그러나 두 기술은 본 명세서에서 이후에 기술하는 투영 방법을 사용하여 실시간으로 수행될 수 있다.

배경 제거에서의 유의점:

본 명세서에서 배경 제거를 개념적으로 기술하였다. 본 발명의 방법에서는 배경을 2차원 레벨 또는 전처리 과정에서 제거하지 않는다. 본 발명에서는 비디오를 투영하는 것과 같은 방법으로 (하기에서 기술) 배경을 장면으로 투영한다. 이를 통해 2차원 다각형(또는 슬라이스: slice)으로의 투영 후에 데이터를 이용하여 완전히 자유로운 작업을 할 수 있다 (하기에서 기술).

단계 3: 렌즈 왜곡 및 카메라 조정

비디오 카메라의 렌즈는 이미지를 왜곡시킨다. 이러한 왜곡은 어안(fisheye) 렌즈 또는 광각 렌즈를 통하여 보면 명확히 알 수 있다. 직선은 렌즈 주변부에서 곡선화하기 쉽다. 카메라로 관찰된 물체를 성공적으로 재구성하기 위해 이러한 이미지의 왜곡을 보정하고 렌즈의 광학적 특성으로 생겨나는 이미지 편향을 교정할 필요가 있다. 이러한 왜곡이 보정될 수 있어야만 실제 장면을 재구성할 때 투영된 직선이 디지털 도메인에서 적절히 한 선으로 모이게 된다. 성공적인 수행을 위해서 먼저 정확한 렌즈의 변수 값들을 도출하여야 한다. 이 변수 값들에는 X 및 V 방향으로의 정확하거나 또는 거의 정확한 초점 (이들 수치는 예를 들어 6mm와 같은 값일 수 있지만 본 발명에서 필요로 하는 수치는 6.0231mm 정도의 정확도를 갖는 실수 값이다), X 및 Y 방향으로의 정확한 렌즈 중앙점 (이 값은 렌즈가 어느 정도 이미지 센서에 밀착되는지를 나타내는 척도로서, 제작자들은 렌즈를 이미지 센서의 중앙에 위치시키지만 본 발명에서 요구하는 수치의 정도는 단일 픽셀 이하 또는 0.002mm이하이다) 및 X축 및 Y축 방향으로의 렌즈의 휨 등을 포함한다. 이들 값들은 카메라 렌즈가 카메라에 정확히 장착되지 않은 경우에 필요하다. 렌즈의 중앙에 서 가장자리로의 여러 점들에서 초점 거리가 변화하는 것을 반영하기 위해 두 개 이상의 값을 사용한다.

제 1단계: 렌즈로 체커 판 패턴을 촬영하여 여러 다른 각도로부터 30개의 이미지를 얻는다. 시스템은 이 체커 판을 자동 판독하여 판 위의 모든 사각형들의 교차점을 찾아낸다. 이로부터 30개의 점들의 집합을 얻는다. 이들 점들로부터 잘 알려져 있는 알고리즘을 이용하여 모든 렌즈 변수들을 계산한다.

제 2단계: 렌즈의 변수들을 찾아낸 후에 카메라의 위치를 조정할 필요가 있다. 일단 큰 체커 판을 구하여 장면의 중앙에 위치시킨다. 체커 판을 볼 수 있는 각각의 카메라는 사진을 찍어 체커와 점들을 탐지한다. 카메라의 판에 대한 상대적 위치를 공개된 방법을 이용하여 구하였지만 본 발명에서는 정확성을 개선할 수 있는 방법을 고안하였다. 모든 카메라(100개 또는 그 이상)로 연속적인 촬영을 하고 판에 대한 각 카메라들의 상대적 위치를 바탕으로 모든 카메라의 위치적 관계에 관한 맵을 작성하였다. (도 12 참조)

그리고 판을 바닥에 놓고 하나의 카메라의 바닥의 판에 대한 상대적 위치를 구하였다. 바닥의 체커 판의 상단 왼쪽의 체커가 스캔 공간에서 X축과 Y축의 원점과 상향 벡터 (up vector: 판에서 나오는 방향이 Z축 방향이 됨)가 된다. 각 카메라가 자신과 다른 모든 카메라 간의 상대적 위치를 알고 있기 때문에 판을 가장 잘 볼 수 있는 카메라를 카메라의 그리드의 위치와 방향에 대해 원점에 위치시킬 것이다. 이 때, 각 카메라의 위치는 판의 원점에 대해 상대적으로 알려진다. 카메라 그리드의 원점에 대한 정확도는 그리 중요하지는 않으며 샘플 하나만을 이용하여 이 를 수행하기로 한다. 그러나 각 카메라들의 각각에 대한 상대적 위치는 100개 이상의 샘플을 사용한다. 이 과정에서 표준편차를 택하여 그 이상 벗어나는 샘플은 계산에서 제외함으로써 과정을 더욱 개선하였다. 각 카메라의 원점에 대한 X축, Y축 및 Z축 방향의 위치는 밀리미터 이하의 단위의 정확도로 얻을 수 있음을 알았다. 큰 체커 판으로부터의 여러 카메라로부터의 뷰가 도 3에 도시되었다.

단계 4. 2차원 표면으로의 투영을 통한 이미지 재구성

배경을 제거하고 모든 카메라의 정확한 위치와 렌즈의 특성들을 알게 되면 본 발명의 획기적인 기술을 사용할 수 있다. 이들 이미지들은 2차원 표면으로 투영될 수 있다. 비디오를 표면으로 투영하기 위하여 3차원 그래픽에서 그림자를 3차원 장면으로 투영하기 위해 사용되는 통상적인 방법을 사용하였다. 다이렉트엑스(DirectX)나 오픈지엘(OpenGL)을 이용하여 그림자, 광원 또는 비디오 등을 2차원 다각형 텍스처에 투영하는 많은 방법들이 잘 문서화되어 있다. 이들 기술들은 렌더링되는 2차원 슬라이스의 UV 텍스처 좌표를 왜곡시켜 투영된 텍스처를 읽어 들이는 것을 포함한다. 본 발명의 경우에는 투영되는 텍스처는 2차원 비디오 스트림이다. 이들 기술들은 3차원 그래픽 분야에서는 잘 정립되어 있는 기술들이다. 기술들의 우수한 배경 지식으로 다음 출판물들을 들 수 있다.

Mark Segal and Carl Korobkin and Rolf van Widenfelt and Jim Foran and Paul Haeberli, "Fast shadows and lighting effects using texture mapping, SIGGRAPH Comput. Graph. vol. 26, no.　2, 1992, issn., 0097-8930} pp. 249-252. 상기 문서들은 본 명세서에 참조로써 통합되었다.

유추적으로 말하면, 컴퓨터는 기본적으로 비디오 프로젝터를 시뮬레이션하는 장치이다. 3차원 시뮬레이션에서 각각의 카메라는 비디오 프로젝터로 전환된다. 배경이 제거되거나 배경이 그대로 공급되는 비디오는 각 카메라의 3차원 공간으로 투영된다. 여기에서의 아이디어는 각각의 카메라가 공급되는 비디오를 실제 카메라의 정확한 위치로부터 실제 카메라의 정확한 렌즈 특성을 이용하여 정확한 방향으로 투영시키는 것이다. 사실상 실제 세계에서 일어나는 일을 역으로 수행하는 것이다. 실제 세계에서는 모든 물체로부터의 빛은 그 물체에서 본 발명의 시스템의 많은 카메라들로 나아간다. 디지털 도메인의 3차원 모델에서 이들 이미지는 반대의 과정을 거친다. 시스템에 의해 빛이 카메라로부터 시뮬레이션되는 물체 쪽으로 정확한 렌즈의 특성으로 투사된다. 모든 카메라가 적절히 조정되면 이들 광선은 3차원 디지털 도메인 내에서 실제 세계에서 나온 것처럼 만나게 된다. (도 13 참조)

도 19는 실제 세계와 디지털 도메인을 하나하나 비교해 주고 있다. 데이터 클라우드는 디지털 도메인에서 이론적 공간을 나타낸다. 모든 데이터는 사용가능하며 실제 세계를 나타내기 위해 사용될 수 있으나 다각형을 이 공간에 위치시켜야만 비디오 데이터를 표면에 투영시킬 수 있다. 2차원 다각형을 이 투영 공간에 놓음으로써 이 시뮬레이션된 광선을 잡아낼 수 있다. 이 과정은 다음과 같이 진행된다. 전경 텍스처(예를 들어 검은색이 아닌 것)가 슬라이스 표면의 픽셀에 닿으면 카운터를 1 또는 특정 값만큼 증가시켜 배경과 다른 값을 가지게 한다. 모든 카메라를 슬라이스로 투영시키는 마지막 단계에서 증가된 개수를 계산한다. 이 값들이 투영된 카메라의 개수와 일치하면 (또는 약간 적은 숫자일 때) 해당 픽셀의 공간에 고 형 물체가 있음을 알 수 있다. 이 고형 물체를 나타내는 픽셀은 각각의 정확한 위치에서의 실제 세계에서의 고형 물체를 나타낸다. 3차원 장면을 해체하기 위하여 많은 2차원 다각형 슬라이스를 사용하는데 이는 MRI 이미징 시스템과 유사하게 보이는 것으로 장면의 위에서 아래까지 많은 슬라이스를 사용한다. 모든 단면을 이렇게 함으로써 실제 세계에 서있는 사람을 디지털 도메인 상의 슬라이스에 재등장케 함으로써 시각화할 수 있다. 더 많은 슬라이스를 사용할 수록 더 정확한 이미지를 얻을 수 있다.

도 14는 비디오 데이터 상의 두 점이 어떻게 다각형을 이루도록 짝지워지는지를 보여준다. 도 20은 이와 같은 교차를 다른 방법을 통해 도 19로부터 3번 슬라이스를 밀접히 관찰함으로써 이루어낸다. 이 경우에, 오른쪽 팔의 일부인 광선이 어떻게 각 프로젝터로부터 슬라이스의 올바른 위치에서 만나는지를 알 수 있다. 또한 2차원 그림(2001)의 점선 슬라이스를 보면, 이 슬라이스가 다시 카메라로 재 투영되었을 때 슬라이스가 어떻게 보일 지에 대한 아이디어를 얻을 수 있다.

이러한 방법으로 다각형(즉, 2차원 슬라이스)이 효율적으로 공간으로 슬라이스화되며 카메라가 촬영하고 있는 실제 세계로의 뷰를 제공한다. 이제 이러한 다각형들을 가상 공간에 위치시킴으로써 실제 세계의 슬라이스 단면을 생성할 수 있다. 유추적으로 슬라이스는 인간 신체의 단면을 통해 슬라이스를 얻어내는 MRI 데이터에 해당한다 (MRI에서 사용하는 기술은 매우 다른 점에 유의). 이와 같은 단면을 얻을 수 있지만 물론 인체의 안을 볼 수는 없다. 슬라이스의 바깥 윤곽과 바깥 텍스처(단면의 표면 영역의 실제 비디오 이미지)를 얻을 수 있을 뿐이다.

본 발명의 방법이 특별한 이유를 살펴 보면, 이는 공개된 다수의 카메라를 이용하는 다른 볼룸 기반 재구성 방법과는 다음과 같은 점에서 아주 다르다는 것이다:

1. 본 발명의 방법은 해상도에 무관하다. 슬라이스의 명확도는 렌더링되는 슬라이스 텍스처의 표면 해상도에 의해 결정된다. 이는 슬라이스의 특성을 동적으로 선택할 수 있음을 의미한다. 3차원 가상 투영 시스템(디지털 도메인) 내에서 실제 세계를 동적으로 "보고 검사"할 수 있는 능력은 매우 중요한 것을 허락해 준다: 이제 수행 중에 어떤 것을 주의깊게 보아야 하는지와 물체의 어느 부분이 중요한 지를 알려 준다. 예를 들어 사람의 운동을 트래킹하는 경우에는 대상의 손가락 부분을 볼 때보다 가슴 부분을 볼 때 더 낮은 해상도를 사용할 수 있다. 이미지 재생성을 위해 복셀 기반의 방법을 사용하지 않음으로써 이 분야 대부분에서 사용하는 부분인 룩업 테이블과 해상도 의존 모델의 사용을 완전히 배제할 수 있다.

2. 본 발명은 최신의 판매용 비디오 게임시장을 위해 고안된 3차원 비디오 하드웨어( 그래픽 처리 장치:GPU)의 목적을 재구성할 수 있다. 이 기술을 이용하여 3차원 그래픽과 비디오 게임 분야에서 수십억 달러의 비용으로 개발된 하드웨어적 특성을 본 발명의 목적에 맞추어 사용할 수 있다. 텍스처를 투영하는 것은 비디오 게임에 있어서 조명을 좀더 사실적으로 만드는데 큰 역할을 한다. 본 발명의 슬라이스 기술을 이용하여 이 하드웨어 기술을 완전히 새로운 방법으로 사용할 수 있었다. 이 방법으로 하드웨어적으로 가속되는 투영 방법을 개발하였으며 렌더링 시간이 CPU 기반 방법에 비하여 100배에서 심지어 1000배까지 빨라질 수 있었다.

3. 본 발명의 방법은 매우 빨라서 하기 기술된 모션 캡처 기술은 해당 분야에서 공개된 다수의 기술에 비해 일백만 배 빠르게 실행되었다.

4. 본 발명의 동적 해상도 기술은 복셀 기반의 방법에 비해 매우 높은 해상도를 가능하게 해준다. 본 기술은 복셀 기반 모델에서의 수행에 비해 200배의 해상도에서 실행을 가능하게 한다.

5. 일반적인 3차원 모델 재생성에 더하여, 본 발명의 슬라이스 방법을 이용하면 이전에 3차원이 아닌 2차원 영역에서 다루어졌던 컴퓨터 비전 분야에서의 많은 문제들을 해결할 수 있다. 슬라이스를 이용하여 예를 들면 텍스처나 단면들을 2차원 영역에서 효율적으로 트래킹 할 수 있으며(하기 기술함) 제 2단계로 3차원 위치를 외삽할 수 있다. 따라서 2차원 이미지 처리 기술의 비용으로 3차원 이미지를 효율적으로 생성할 수 있다. 또한 이전에 3차원 환경에서 효율적으로 다루어지지 않았던 많은 2차원 이미지 기술들을 본 발명의 목적에 맞게 이용하였다.

6. 확장성. 슬라이스에 기반한 시각화 설계 구축은 확장성이 용이하다. 시스템은 많은 서버와 수백 개의 카메라를 이용하여 구성될 수 있으며 각각의 슬라이스는 해당 슬라이스의 공간 내 위치에 기초하여 이와 관련 있는 올바른 카메라를 선택하여 렌더링될 수 있다. 이를 통해 광범위한 공간에 걸쳐 카메라들과 트랙 대상 물체를 갖춘 대규모 시설을 구성할 수 있었다.

단계 5. 슬라이스의 2차원 이미지 분석

상기 기술된 바와 같이, 슬라이스 투영 기술의 이점은 종래의 이미지 처리 기술을 이용하여 작업한 후 이들을 3차원 도메인에 투영할 수 있다는 점이다. 본 발명에서 사용한 첫번째 단계로 2차원 이미지에서 찾아지는 물체를 분류한다. 물체는 2차원 평면으로 이루어지는 연속된 단면으로 정의된다. 본 발명에서는 이를 블롭(blob)으로 부른다. 각각의 블롭을 분리하고 나면 이미 공개된 다양한 2차원 커브 피팅(curve fitting) 알고리즘을 적용한다. 사용된 일반적인 방법은 블롭에 타원을 피팅시키는 방법이다. 이를 통해 X축 Y축 반경과 회전각 뿐만 아니라 블롭의 중심의 위치의 X축 Y축 값을 얻을 수 있다. 이러한 방법으로 본 발명의 슬라이스 시스템을 이용하여 3차원 원 데이터를 2차원 데이터로 옮겼으며 그 후에 2차원 타원을 본 발명의 원래 블롭 포인트로 피팅시킴으로써 2차원 원래 데이터를 사용 가능한 벡터 데이터로 옮겼다.

다음 단계로, 2차원 벡터 데이터를 취하여 슬라이스의 특성을 적용함으로써 3차원적 특성을 구해낸다. 이 때, 슬라이스의 실제 세계 크기와 함께 그 위치와 방향, 해상도를 고려한다. 이로부터 타원의 픽셀의 X축 Y축 위치를 실제 세계의 X축 Y축 위치로 변환한다. (즉, 바닥 조정 판의 원점에 대하여 밀리미터 단위로)

이러한 방법으로 몇 번의 단순한 단계에 걸쳐 실제 세계의 3차원 벡터 데이터를 생성한다.

도 4는 단일 슬라이스가 대상의 바닥 부분의 발에 놓여진 본 발명의 시스템을 도시한다. 상기 기술된 투영 기술을 이용하여 대상의 "발자국"을 찾아낸다. 그리고 상기 기술된 타원 피팅 기술을 적용한다. 적색 십자가들은 슬라이스에서 물체들의 중암점들을 표시한다. 스크린 상의 슬라이스의 두 개의 2차원 윈도우는 3차원 뷰 상의 슬라이스의 실제 텍스처이다.

단계 6. 모델 탐지

이 단계는 공간을 걷는 인간 형태를 탐지하는 단계이다.

가. 슬라이스를 바닥에 놓고 발자국을 찾는다. 이는 슬라이스를 분석하고 발의 크기에 해당하는 특성을 가지는 블롭을 찾음으로써 이루어진다. 이들을 찾으면,

나. 다른 슬라이스를 몇 인치 높은 위치에 놓는다. 이들은 발목에 해당한다. 이들을 찾으면 사람이 어느 방향으로 향하는 지를 결정한다. 발의 전단은 발목에서 먼 쪽을 향하는 경향이 있음을 이용한다.

다. 그 다음에 슬라이스를 무릎에 놓는다. 머리 근처에 몇 개의 슬라이스를 놓아 사람의 키를 나타낸다.

라. 몸체의 각도를 관찰하여 인체의 방향을 찾는다.

마. 슬라이스를 인체의 양쪽에 놓아 팔을 찾는다.

이들 시험 검사가 끝나면 특정한 자세의 인체 형상을 보고 있다는 것을 상당히 높은 정도의 확실성으로 판단할 수 있다. 이에 대한 그래프 샘플이 도 5에 도시되었다.

단계 7. 모델 매칭:

상기 기술된 "스마트 샘플링"기술을 사용하여 대략의 정도로 인간 물체가 관찰되고 있음을 판단하면 다음 단계로 넘어간다. 물리학과 관절, 질량과 역 운동 역학에 기초한 봉제 인형 시스템이 사용되었다. 이 봉제 인형에 힘을 가하여 이 인형을 팔, 손, 머리 및 발이 있다고 생각되는 지점에 위치시킨다. 초기에 봉제 인형의 뼈대가 공간에 놓여진 슬라이스들의 타원의 단면의 중앙과 일치한다고 가정한다. 단계 7에서 모델을 실제 세계의 3차원 데이터와 대략적으로 매칭시킨다. 도 6은 상기 기술을 나타내기 위해 본 발명의 시스템이 봉제 인형에 2차원 슬라이스 프레임워크로 중첩되는 것을 보여 준다.

단계 8. 모델 트래킹:

단계 8에서는 슬라이스들을 봉제 인형상에 위치시키는 과정이 이루어진다. 봉제 인형의 관점에서(그리고 전역 참조 포인트는 제외하고) 슬라이스들을 모든 인체 부분에 놓는다. 이들 슬라이스들은 고정된 방향으로 골격에 부착된다. 모든 중앙점들이 계산되어 타원의 중심과 골격의 중심의 차이를 판별한다. 그리고 모델에 힘을 가하여 모델이 3차원 데이터의 위치로 더 근사하도록 한다. (도 15) 이러한 방법으로 봉제 인형을 움직이고 이 봉제 인형이 실제 세계의 인간을 따르도록 하는데 이는 사람이 인형 조종사가 되고 봉제 인형은 3차원 컴퓨터 시뮬레이션 상의 투영된 데이타에 따라 조종사의 조종을 받는 꼭두각시 인형인 것과 같다. 봉제 인형의 각 뼈들은 슬라이스들을 그 뼈 근처에 놓도록 하고 이를 생성된 타원의 위치와 비교한다. 다시 힘을 가하여 각각의 봉제 인형의 뼈가 점차적으로 움직여 실제 대상을 나타내는 슬라이스의 단면의 중앙으로 가까이 가도록 한다.

이러한 방법으로 뼈를 트래킹하면서 시스템을 관찰한다.

물체들 간의 상호 간섭:

예: 팔을 트래킹함에 있어 이 팔이 신체 쪽으로 움직이는 경우 문제가 생긴다. 경우에 따라서는 하나는 팔의 단면에 속하고 다른 하나는 신체의 단면에 속하는 분리 가능한 두 블롭이 너무 가까워져서 단일 블롭을 형성할 수도 있다. 이 경 우에 어느 물체가 어디에 속하는 지를 판별하기가 어려워진다. 본 발명에서는 이 문제를 봉제 인형을 이용하여 이러한 상황을 점검함으로써 해결하였다. 봉제 인형은 실제 사람이 움직이는 것과 같은 방식으로 실시간으로 움직이므로 봉제 인형이 실제 데이터와 매우 근접한 것으로 가정할 수 있다. 두 개의 뼈가 매우 가까워져서 접촉하는 정도가 되면, 작은 블롭이 큰 블롭에 병합되는 가장 높은 확률을 계산하는데 이는 팔이 신체에 가까워지는 경우에 해당한다. 도 16에 자세한 사항이 도시된다. 팔의 직경과 신체의 직경 및 상대 위치를 알고 있으므로 팔의 작은 블롭이 신체의 큰 블롭의 내부에 위치하는 것으로 생각할 수 있다. 이러한 기술은 신체와 각 부분이 서로 밀착되거나 트래킹 시스템이 붕괴되는 것을 방지하는데 매우 효율적인 것으로 판명되었다.

앤드 캡(End Cap). 신체 부분의 말단을 탐색하는 슬라이스들을 앤드 캡으로 부르기로 한다. 신체부분의 말단은 손, 발 및 머리를 포함한다. 앤드 캡을 이용함으로써 봉제 인형이 최말단까지 뻗어 나갔음을 확실히 알 수 있다. 손, 발 및 머리를 강제로 위치시킴으로써 매우 적합한 모델의 매칭을 얻을 수 있었다. (도 17 참조.) 이러한 모델 인식 기술과 같은 기술을 이미 기술한 앤드 캡에 적용하였다. 한 손이 다른 손 가까이 움직이면 한 손이 다른 손에 병합되지 않도록 힘을 조절한다.

단계 9. 텍스처 사용:

이미 기술한 바와 같이, 슬라이스로 투영시키는 방법의 큰 이점 중의 하나는 3차원 모델에 2차원 이미지 처리 기술을 사용할 수 있다는 것이다.

슬라이스들의 단면을 이용하여 매칭과 봉제 인형의 트래킹을 수행한 후에는 모델의 위치를 다듬기 위한 두 번째 과정을 수행할 수 있다. 모델의 표면 텍스처를 분석함으로써 봉제 인형의 위치를 실제 세계의 실제 대상에 매칭되도록 더 조절할 수 있다.

그 동작은 다음과 같다.

봉제 인형이 실제 사람의 위치에 매우 가까이 근접할 때, 슬라이스를 단면이 아닌 표면으로 위치시킬 수 있다. 예를 들면, 슬라이스를 대상의 가슴에 위치시킬 수 있다. 슬라이스의 윤곽은 단면을 사용하는 경우와 같이 결정되며 이 슬라이스가 교차하는 가슴의 단면을 보여준다. 그러나 카메라에 대한 이 슬라이스의 상대적 위치를 알고 있으므로 가장 적절히 위치한 카메라 프로젝터들의 조합으로부터 실제 투영된 텍스처를 결정하고 렌더링할 수 있다. 이제 가슴은 신체의 윤곽일 뿐만 아니라 비디오로부터 보이는 모습과 텍스처가 된다. 보다 중요한 것은, 이제 각 2차원 슬라이스를 분석하고 텍스처 자체의 움직임을 트래킹하여 높은 정확도를 얻을 수 있다는 것이다.

1차 과정. 봉제 인형을 슬라이스의 외형 윤곽에 맞춘다(즉, 타원 위치 설정).

2차 과정. 봉제 인형이 실제 사람과 매우 근접한 위치로 움직이면 슬라이스를 대상의 표면으로 위치시킬 수 있다. 이렇게 하여 실제 사람의 3차원 텍스처를 얻을 수 있다. 그리고 이 텍스처를 더욱 트래킹하여 봉제 인형의 위치를 더욱 개선한다. 도 7과 도 8에서 슬라이스로 투영된 텍스처의 예를 도시하였다.

단계 10. 텍스처 트래킹

본 발명에서는 공개된 기술을 사용하여 2차원 표면의 텍스처 트래킹을 수행하였다. 각 슬라이스에 대하여 텍스처의 이미지를 애니메이션 과정을 시작할 때 동일한 슬라이스에서 추출한 참조 이미지와 비교하였다. 그리고 두 텍스처 간의 위치 차이를 X축 및 Y축 값에 대하여 결정하고 회전된 각도를 결정한다. 이 과정의 특징은 이 2차원 X축 및 Y축 값과 회전각 데이터를 이용하여 타원의 경우와 마찬가지로 3차원 위치를 계산할 수 있다는 것이다. 슬라이스 자체의 위치와 방향을 취하고 3차원에서의 변화가 실제의 3차원에서의 변화와 얼마나 차이가 있는지를 결정한다. 이 차이를 이용하여 봉제 인형에 힘을 가함으로써 타원을 이용하여 조정한 후에 두번째 과정에서 위치 데이터를 더욱 가다듬는다. 이 두번째 과정을 거침으로써 마커와 특수 의복을 사용하는 기존의 마커 기반 모션 캡쳐 시스템보다 훨씬 정확도가 우수한 결과를 얻을 수 있다.

도 9와 도 10은 슬라이스를 모델의 가슴에 위치시키고 비디오 이미지로부터 모델로 텍스처를 투영하는 방법을 도시한다. 투영된 텍스처는 이미지 하단 왼쪽의 2차원 윈도우에 보여진다.

요약:

2차원 슬라이스(2차원 다각형)에 투영시키는 방법을 사용함으로써 컴퓨터 비전 부분에서 큰 돌파구를 마련할 수 있었다. 이를 통해 3차원 그래픽 분야에서 공개된 기술들을 본 발명에 맞게 적용하고 이 기술들을 3차원 도메인에서 유용하게 사용함으로써 유기적 물체(본 발명의 경우에 인체)를 근사할 수 있었다. 본 발명의 기술은 세계 최초로 마커를 사용하지 않는 실시간 모션 캡처 시스템을 구축할 수 있게 해주었는데 이 모션 캡처 시스템은 트래킹을 수행하기 위한 비전 컴퓨터의 동작을 돕기 위해 특수하게 고안된 마커와 특수 의복을 사용해야 하는 시스템과 같은 속도 및 해상도로 동작할 수 있다.

GPU 하드웨어 관련 사항:

본 발명의 실시예는 라데온(Radeon) 9700 그래픽 프로세서를 이용하였다. 이 라데온 프로세서는 본 명세서에 기술된 투영 알고리즘을 하드웨어 기반으로 다룰 수 있는 최초의 그래픽 프로세서이다. 첫번째 슬라이스 시스템은 당시 가장 진보된 쉐이더 시스템인 쉐이더 모델 1.4를 사용하여 구현되었다.

GPU 쉐이더 3.0 버전이 도입됨에 따라 전체 투영 기술을 단일 과정으로 수행할 수 있었다. 이는 렌즈 왜곡으로부터 배경 제거와 투영에 이르기까지 전체를 단일 과정으로 계산할 수 있으며 인스턴싱(instancing)을 통해 전체 슬라이드를 단일 GPU 호출을 통해 시스템에 투영할 수 있다.

본 발명의 실시예들은 실제 세계의 물체를 디지털 내의 다수의 비디오 카메라 스트림을 3차원 다각형 표면으로 투영함으로써 컴퓨터의 3차원 디지털 도메인 내에서 재생성하는 새로운 방법과 시스템을 포함할 수 있으며 이는 2개 또는 그 이상의 비디오 카메라와 비디오 카메라 또는 입력 획득 포트, DMA 컨트롤러를 가지는 호스트 컴퓨터, 중앙 연산 장치 및/또는 그래픽 연산 장치를 포함한다.

본 시스템의 실시예들은 다각형 표면으로의 투영에 대한 계산을 가속하기 위하여 다이렉트엑스 또는 오픈지엘 가속 그래픽 카드를 사용할 수 있다. 본 시스템의 실시예들은 이미지 데이터를 전송함에 있어 IEEE1394 규격을 사용할 수 있다.본 시스템의 실시예들은 이미지 데이터 전송을 위해 이더넷을 사용할 수 있다.

본 시스템의 실시예들은 이미지 전송을 위해 무선 네트워킹 프로토콜을 사용할 수 있다. 본 시스템의 실시예들은 각 카메라에 대한 비디오 데이터와 배경 데이터를 모두 다각형으로 투영할 수 있다. 본 시스템의 실시예들은 투영된 2차원 다각형 표면상의 텍스처 픽셀들을 다시 3차원 좌표로 되돌릴 수 있다.

본 시스템의 실시예들은 인간을 대상으로 한 트래킹에 사용될 수 있다. 본 시스템의 실시예들은 동물을 트래킹하는데 사용될 수 있다. 본 시스템의 실시예들은 3차원 캐릭터를 애니메이션하는데 사용될 수 있다. 본 시스템의 실시예들은 가라오케 시스템의 시각화 보조도구로 사용될 수 있다.

본 시스템의 실시예들은 카메라로부터 2차원 다각형으로 투영된 데이타에 대해 2차원 이미지 프로세싱 기술을 사용할 수 있다. 본 시스템의 실시예들은 투영된 다각형 상에 형성된 2차원 형상을 판별하기 위하여 2차원 형상 조정 기술을 사용할 수 있다. 본 시스템의 실시예들은 모든 데이터들이 2차원 다각형에 투영된 후에 배경 제거를 수행할 수 있다.

본 시스템의 실시예들은 흑백 카메라와 3M 사의 스카치라이트(ScotchLite) 되반사 물질을 사용할 수 있다. 본 시스템의 실시예들은 컬러 카메라를 사용할 수 있다. 본 시스템의 실시예들은 슬라이스 투영의 계산을 CPU에서 GPU로 옮기기 위해 버텍스와 프래그먼트(fragment) 쉐이더를 사용할 수 있다.

본 시스템의 실시예들은 투영되고 분석된 다각형들을 반복적으로 사용하여 재생성되는 물체의 형상을 누진적으로 조사하기 위하여 다음 다각형을 어디에 위치 시킬 것인지를 알아낼 수 있다. 본 시스템의 실시예들은 다각형 법선에 대한 각도에 기반한 카메라 사이의 혼합에 기반하여 비디오 텍스처를 2차원 다각형에 투영할 수 있다. 본 시스템의 실시예들은 2차원 광학 흐름 기법을 사용하여 2차원 다각형으로 투영된 텍스처 내의 비교점들을 추적할 수 있다.

본 시스템의 실시예들은 모션 캡처 시스템의 일부로 사용되어 마커나 추적 장치를 부착하지 않고 인간의 운동을 추적하고 디지털화할 수 있다. 본 시스템의 실시예들은 인간을 대상으로 크기를 측정하고 대상의 움직임을 분석하여 얻은 데이터로 정확한 관절 회전점을 계산하는데 사용될 수 있다. 본 시스템의 실시예들은 테니스 플레이어를 분석하는데 사용될 수 있는데 플레이어의 스윙과 인체 움직임을 분석함으로써 플레이어의 기능을 향상시키고 어깨, 팔꿈치 또는 발목 등에 발생하는 부상을 예방할 수 있다.

본 시스템의 실시예들은 특정한 제품들을 사용할 때 대상 제품의 움직임에 대한 관찰을 위한 연구 개발에 사용될 수 있다. 본 시스템의 실시예들은 스키 선수나 스노우보드 선수의 움직임을 분석하여 기능을 향상시키고 부상을 방지하는 데 사용될 수 있다. 본 시스템의 실시예들은 TV방송 네트워크에서 실제 대상에 대한 가상 캐릭터를 애니메이트하고 방송하는데 사용될 수 있다.

본 시스템의 실시예들은 인간 컴퓨터 사용자 인터페이스의 일부로 사용될 수 있다. 본 시스템의 실시예들은 보안 시스템의 일부로 사용될 수 있다. 본 시스템의 실시예들은 인간을 대상으로 자전거, 골프 클럽, 의복 및 신발 등 스포츠 용품이나 장비를 조절하는데 사용될 수 있다.

본 시스템의 실시예들은 시각 시뮬레이션 또는 훈련 시스템에 사용될 수 있다. 본 시스템의 실시예들은 인체 형상, 크기 또는 호흡 메카니즘과 같은 생체 활동을 관찰하는데 사용될 수 있다. 본 시스템의 실시예들은 공공 오락 설비에 사용될 수 있다. 본 시스템의 실시예들은 운동이나 체력 훈련 검사 및 추천 시스템에 사용될 수 있다.

본 시스템의 실시예들은 신체 재활 시스템의 일부로 사용될 수 있다. 본 시스템의 실시예들은 임상 운동 분석 또는 평가 도구의 일부로 사용될 수 있다. 본 시스템의 실시예들은 장애인에 대한 보조도구로 사용될 수 있다. 본 시스템의 실시예들은 훈련 도구의 일부로 사용될 수 있다.

본 시스템의 실시예들은 가상 현실 시각화 시스템의 일부로 사용될 수 있다. 본 발명의 특정 실시예에 있어 실시 방법의 모든 단계는 상기 기술된 바와 같이 컴퓨터 또는 컴퓨터로 구성된 시스템으로 수행될 수 있다. 변형된 실시예에서는 하나 또는 그 이상의 단계가 인간에 의해 수동으로 조작될 수 있다.

본 명세서에 기술된 방법의 변형된 실시예로서, 추가적인 단계가 추가될 수 있으며 특정 단계가 배제되거나, 특정 단계가 수회에 걸쳐 수행되거나 다른 순서로 수행되거나 동시에 수행될 수 있다.

본 발명의 실시예는 발명을 예시할 목적으로 제공된 것으로 발명을 제한하고자 하는 것은 아니며, 해당 기술 분야에 능통한 자라면 본 발명이 상기 기술된 실시예와 다르게 실시될 수 있음을 알 수 있을 것이다. 해당 기술 분야에 능통한 자가 본 발명의 사상과 권리범위에서 벗어나지 않는 한 상기 기술된 실시에 여러 가 지 설정을 가할 수 있으며 본 발명은 하기 청구 범위에 의해서만 제한된다.

Claims

3차원 디지털 도메인 내의 목표 물체의 3차원적 표현을 생성하기 위한 방법으로서,

(1) 목표 물체를 배경 공간 내에 위치시키는 단계;

(2) 최소한 두 개의 비디오 카메라를 상기 목표 물체 방향으로 지향시키는 단계;

(3) 목표 물체 방향으로 지향된 상기 각각의 비디오 카메라로부터 전체 이미지를 획득하는 단계;

(4) 상기 각각의 전체 이미지들로부터 상기 배경 공간을 제거하여 목표 물체의 목표 이미지를 생성하는 단계;

(5) 상기 각각의 비디오 카메라들의 내부 조정을 수행하는 단계;

(6) 상기 두 개 또는 그 이상의 비디오 카메라의 상대적 외부 조정을 수행하는 단계; 및

(7) 상기 하나 또는 그 이상의 목표 이미지를 상기 3차원 디지털 도메인으로 투영하여 상기 목표 물체의 3차원 이미지를 재구성하는 단계를 포함하는 것을 특징으로하는 방법.
제 1항에 있어서,

상기 배경 제거, 카메라 내부 조정 및 이미지 재생성 단계는 순차적으로 수 행되는 것을 특징으로 하는 방법.
제 1항에 있어서, 상기 배경 제거, 카메라 내부 조정 및 이미지 재생성 단계는 실질적으로 동시에 수행되는 것을 특징으로 하는 방법.
제 1항에 있어서,

상기 상대적 외부 카메라의 조정 단계는 이미지 캡처 단계 이전에 수행되는 것을 특징으로 하는 방법.
제 1항에 있어서,

상기 내부 카메라 조정은 상기 비디오 카메라들 각각의 최소한 하나의 렌즈의 왜곡을 분석하고 상기 렌즈의 상기 광학적 특성에 의해 도입된 이미지 편차를 보정하는 단계를 포함하는 것을 특징으로 하는 방법.
제5항에 있어서,

상기 내부 카메라 조정은 상기 렌즈의 초점, 상기 렌즈가 상기 비디오 카메라에 부착될 때 상기 렌즈의 중앙점 및 상기 렌즈가 상기 비디오 카메라에 부착될때 그 뒤틀리는 정도로 이루어지는 군에서 선택되는 상기 렌즈의 특성을 계산하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 6항에 있어서,

상기 렌즈의 특성을 계산하는 단계는

(1) 체커 판 패턴을 배경 공간에 위치시켜 상기 비디오 카메라가 여러 각도로부터 상기 체커 판 패턴의 하나 또는 그 이상의 이미지를 획득하는 단계;

(2) 상기 체커 판 패턴의 하나 또는 그 이상의 이미지들의 각 정사각형의 교차점들을 확인하는 단계; 및

(3) 상기 교차점들을 이용하여 렌즈의 특성을 계산하는 단계를 포함하는 것을 특징으로 하는 방법.
제 7항에 있어서,

최소한 30개 또는 그 이상의 체커 판 이미지가 획득되는 것을 특징으로 하는 방법.
제 1항에 있어서,

최소한 5개 또는 그 이상의 비디오 카메라가 상기 목표 물체를 지향하는 것을 특징으로 하는 방법.
제 1항에 있어서,

최소한 10개 또는 그 이상의 비디오 카메라가 상기 목표 물체를 지향하는 것을 특징으로 하는 방법.
제 1항에 있어서,

상기 비디오 카메라 중 최소한 하나는 디지털 비디오 카메라, 아날로그 비디오 카메라, 흑백 비디오 카메라 및 컬러 비디오 카메라로 이루어지는 군에서 선택되는 것을 특징으로 하는 방법.
제 1항에 있어서,

상기 배경 제거는

(1) 능동 배경을 상기 목표 물체 뒤의 상기 배경 공간에 위치시키는 단계;

(2) 상기 능동 배경이 빛을 발하게 하는 단계;

(3) 상기 이미지의 각 픽셀이 소정의 임계값보다 밝은 지를 결정하는 단계;

(4) 상기 소정의 임계값보다 밝은 것으로 결정된 각 픽셀을 배경 픽셀로 설정하고 상기 소정의 임계값보다 어두운 것으로 결정된 각 픽셀을 전경 픽셀로 설정하는 단계; 및

(5) 각 전경 픽셀을 목표 물체의 상기 이미지로 보존하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,

상기 배경 제거는

(1) 상기 목표 물체를 상기 배경 공간에 위치시키기 이전에 상기 배경 공간 의 배경 이미지를 캡처하는 단계;

(2) 상기 목표 물체를 상기 배경 공간에 위치시킨 후 상기 목표 물체의 전경 이미지를 확보하는 단계;

(3) 전경 이미지로부터 배경이미지의 제거를 픽셀 단위로 수행하는 단계;

(4) 전경 이미지에 남아있는 모든 픽셀을 전경 픽셀로 설정하는 단계; 및

(5) 각 전경 픽셀을 목표 물체의 상기 이미지로 보존하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,

상기 배경 제거는

(1) 상기 목표 물체를 상기 배경 공간에 위치시키기 이전에 상기 배경 공간의 배경 이미지를 캡처하는 단계;

(2) 상기 목표 물체를 상기 배경 공간에 위치시킨 후 상기 목표 물체의 전경 이미지를 확보하는 단계;

(3) 상기 배경 이미지와 상기 전경 이미지 각각을 색도-광도-채도 공간으로 전환하는 단계;

(4) 컬러 공간의 픽셀을 설정함에 있어서

(i) 상기 전경 이미지의 픽셀의 채도가 상응하는 상기 배경 이미지의 픽셀의 채도보다 밝으면 상기 전경 이미지의 픽셀을 전경 픽셀로 설정 하는 것;

(ii) 상기 전경 이미지의 픽셀의 채도가 상응하는 상기 배경 이미지의 픽셀 의 채도보다 어둡고, 상기 전경 이미지의 픽셀의 색도가 상응하는 상기 배경 이미지의 픽셀과 소정 범위 내에서 차이가 나며, 상기 전경 이미지의 픽셀과 상응하는 상기 배경 이미지의 픽셀의 채도와 광도의 차이가 소정의 범위를 벗어나지 않으면 상기 전경 이미지의 픽셀을 배경 픽셀로 설정하는 것;

(iii) 상기 전경 이미지의 픽셀의 색도가 상응하는 상기 배경 이미지의 픽셀로부터 소정의 범위 외에 있으면 상기 전경 이미지의 픽셀을 전경 픽셀로 설정하는 것; 및

(iv) 전경과 배경의 채도가 소정의 차이 이상이면 픽셀을 전경 픽셀로 설정하고 그 차이를 삭제하여 배경과 전경의 픽셀 타입을 설정하는 것으로 이루어지는 방법들의 군으로부터 선택된 하나 또는 그 이상의 규칙을 이용하여 컬러 공간의 픽셀을 설정하는 단계; 및

(5) 각 전경 픽셀을 목표 물체의 상기 이미지로 보존하는 단계를 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서, 상기 배경 제거는 상기 배경 공간과 전경 공간을 대비하여 그 변화도(gradient)의 차이를 분석하는 지역 기반 기술을 사용하는 것을 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,

상기 상대적 외부 카메라 조정은

(1) 체커 판 패턴을 배경 공간에 놓아 상기 각각의 카메라가 다수의 각도로부터 상기 체커 판 패턴의 하나 또는 그 이상의 이미지를 획득하도록 하는 단계;

(2) 상기 각 비디오 카메라가 상기 체커 판 패턴의 하나 또는 그 이상의 이미지를 캡처하는 단계;

(3) 상기 체커 판 패턴의 하나 또는 그 이상의 이미지들의 각 정사각형의 교차점들을 확인하는 단계; 및

(4) 상기 교차점들을 이용하여 상기 비디오 카메라의 위치를 계산하는 단계를 포함하는 것을 특징으로 하는 방법.
제 16항에 있어서,

상기 체크 판 패턴에 대한 상기 비디오 카메라의 상대적 위치에 기반하여 상기 각 비디오 카메라의 위치 관계의 맵을 구축하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 17항에 있어서,

상기 위치 관계의 맵 구축 단계는

(1) 상기 비디오 카메라들 중 상기 체커 판의 상기 이미지를 캡처하기에 가장 좋은 위치에 있는 카메라를 결정하는 단계; 및

(2) 다른 카메라들을 상기 체커 판의 상기 이미지를 캡처하기에 가장 좋은 위치에 있는 것으로 결정된 상기 카메라로 향하게 하는 단계를 포함하는 것을 특징 으로 하는 방법.
제 18항에 있어서,

표준편차를 계산하여 이로부터 외부에 있는 것을 제거하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,

하나 또는 그 이상의 상기 획득된 이미지를 상기 3차원 디지털 도메인으로 투영하여 이미지를 재생성하는 상기 단계는 상기 각 비디오 카메라로부터 획득한 상기 이미지를 상기 비디오 카메라의 방향으로 또 상기 비디오 카메라의 위치로부터 상기 비디오 카메라의 렌즈 특성을 이용하여 상기 3차원 디지털 도메인으로 투영하는 단계를 포함하는 것을 특징으로 하는 방법.
제 20항에 있어서,

상기 이미지 재생성은 쉐이더 언어를 지원하는 하드웨어를 이용하여 수행되는 것을 특징으로 하는 방법.
제 20항에 있어서,

상기 이미지 재생성은

(1) 상기 하나 또는 그 이상의 비디오 카메라의 구성과 유사한 구성으로 하 나 또는 그 이상의 가상 프로젝터를 상기 3차원 디지털 도메인에 개념화하는 단계;

(2) 하나 또는 그 이상의 가상 2차원 슬라이스를 상기 3차원 디지털 도메인에 삽입하는 단계;

(3) 상기 가상 2차원 슬라이스를 상기 투영된 이미지와 비교하는 단계;

(4) 상기 투영된 이미지가 상기 가상 2차원 슬라이스를 교차할 때마다 카운터를 증가시키는 단계;

(5) 상기 카운터를 상기 하나 또는 그 이상의 비디오 카메라의 개수와 비교하는 단계; 및

(6) 상기 목표 물체가 상기 3차원 디지털 도메인에서 상기 가상 2차원 슬라이스의 위치에 존재하는 것으로 간주되는지를 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 22항에 있어서,

상기 이미지 재생성은 상기 목표 물체의 특성에 가장 잘 맞도록 상기 각 가상 2차원 슬라이스의 특성을 동적으로 구성하는 것을 더 포함하는 것을 특징으로 하는 방법.
제 22항에 있어서,

상기 각 가상 2차원 슬라이스는 상기 각각의 가상 2차원 슬라이스가 다른 가상 2차원 슬라이스와 평행이 되도록 상기 3차원 디지털 도메인에 삽입되는 것을 특 징으로 하는 방법.
제 1항에 있어서,

상기 목표 물체를 상기 3차원 디지털 도메인에서 트래킹하는 것을 더 포함하는 것을 특징으로 하는 방법.
제 25항에 있어서,

상기 목표 물체의 표면 텍스처를 탐지하고 상기 목표 물체의 상기 표면 텍스처를 트래킹하는 것을 더 포함하는 것을 특징으로 하는 방법.
제 25항에 있어서,

상기 목표 물체를 트래킹하는 단계는

(1) 상기 3차원 디지털 도메인으로 투영된 상기 각각의 획득된 이미지에 대한 2차원 이미지 분석을 수행하는 단계;

(2) 상기 목표 물체의 알려진 특성을 기초로 하여 상기 목표 물체의 존재 여부를 탐지하는 단계; 및

(3) 상기 3차원 디지털 도메인 내에 상기 목표 물체의 가상 표현인 봉제 인형을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
제 26항에 있어서,

상기 2차원 이미지 분석 단계는

(1) 하나 또는 그 이상의 이미지 표현 구성체를 위해 각 가상 2차원 슬라이스를 평가하는 단계;

(2) 상기 이미지 표현 구성체의 윤곽을 계산하는 단계;

(3) 타원을 상기 각 이미지 표현 구성체로 맞추는 단계;

(4) 상기 각 이미지 표현 구성체의 중앙점, x 및 y 방향 반경 및 회전각을 계산하는 단계; 및

(5) 각 가상 2차원 슬라이스의 알려진 특성을 상기 2차원 슬라이스 내에 위치하는 상기 이미지 표현 구성체에 적용하여 상기 각 이미지 표현 구성체의 실제 세계 좌표를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
제 26항에 있어서,

상기 목표 물체를 탐지하는 단계는

(1) 상기 하나 또는 그 이상의 비디오 카메라의 구성과 유사한 구성으로 하나 또는 그 이상의 가상 프로젝터를 상기 3차원 디지털 도메인에 개념화하는 단계;

(2) 하나 또는 그 이상의 가상 2차원 슬라이스를 상기 3차원 디지털 도메인에 삽입하는 단계;

(3) 상기 가상 2차원 슬라이스를 상기 투영된 이미지와 비교하는 단계;

(4) 상기 투영된 이미지가 상기 가상 2차원 슬라이스를 교차할 때마다 카운터를 증가시키는 단계;

(5) 상기 카운터를 상기 하나 또는 그 이상의 비디오 카메라의 개수와 비교하는 단계; 및

(6) 상기 목표 물체가 상기 3차원 디지털 도메인에서 상기 가상 2차원 슬라이스의 위치에 존재하는 것으로 간주되는지를 결정하는 단계;

(7) 하나 또는 그 이상의 이미지 표현 구성체를 위해 각 가상 2차원 슬라이스를 평가하는 단계;

(8) 상기 이미지 표현 구성체의 윤곽을 계산하는 단계;

(9) 타원을 상기 각 이미지 표현 구성체로 맞추는 단계;

(10) 상기 각 이미지 표현 구성체의 중앙점, x 및 y 방향 반경 및 회전각을 계산하는 단계; 및

(11) 각 가상 2차원 슬라이스의 알려진 특성을 상기 2차원 슬라이스 내에 위치하는 상기 이미지 표현 구성체에 적용하여 상기 각 이미지 표현 구성체의 실제 세계 좌표를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
제 29항에 있어서,

상기 목표 물체는 사람이고, 상기 방법은

(1) 바닥에 평행인 가상 2차원 슬라이스를 바닥 높이에 삽입하는 단계;

(2) 바닥에 평행인 가상 2차원 슬라이스를 발목 높이에 삽입하는 단계;

(3) 바닥에 평행인 가상 2차원 슬라이스를 무릅 높이에 삽입하는 단계;

(4) 바닥에 평행인 가상 2차원 슬라이스를 엉덩이 높이에 삽입하는 단계;

(5) 바닥에 평행인 가상 2차원 슬라이스를 가슴 높이에 삽입하는 단계;

(6) 바닥에 평행인 하나 또는 그 이상의 가상 2차원 슬라이스를 머리 높이에 삽입하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 29항에 있어서,

바닥에 평행하고 바닥 높이에 있는 상기 2가상 차원 슬라이스 내에 위치하는 하나 또는 그 이상의 이미지 표현 구성체와 바닥에 평행하고 발목 높이에 있는 상기 2차원 슬라이스 내에 위치하는 하나 또는 그 이상의 표현 구성체간의 관계를 분석함으로써 상기 사람의 방향을 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 29항에 있어서,

상기 사람의 방향을 결정하는 단계는 바닥에 평행하게 엉덩이 높이에 있는 상기 가상 2차원 슬라이스 내에 위치하는 하나 또는 그 이상의 이미지 표현 구성체와 바닥에 평행하고 가슴 높이에 있는 상기 2차원 슬라이스 내에 위치하는 하나 또는 그 이상의 표현 구성체간의 관계를 분석하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 32항에 있어서,

상기 사람의 키를 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 33항에 있어서,

하나 또는 그 이상의 가상 2차원 슬라이스를 앤드 캡(End cap)으로서 삽입하여 상기 목표 물체의 가장자리가 결정되도록 하는 단계를 더 포함하는 것을 특징으로 하는 방법.
목표 물체의 3차원 표현을 생성하고 선택적으로 트래킹하는 시스템으로서,

상기 시스템은

(1) 상기 목표 물체를 지향하는 최소한 두 개의 비디오 카메라;

(2) 상기 비디오 카메라 중 하나 또는 그 이상에 커플링되는 하나 또는 그 이상의 비디오 카메라 이미지 획득 모듈; 및

(3) DMA 컨트롤러와 그래픽 처리 장치를 포함하며 상기 하나 또는 그 이상의 비디오 카메라 획득 모듈에 커플링되고 또 최소한 이미지 획득 모듈로부터 이미지를 획득하고 내부 카메라 조정을 수행하며 배경 제거 과정을 수행하고 이미지 재생성 과정을 수행하도록 구성된 최소한 하나의 프로세서 기반 장치를 포함하는 것을 특징으로 하는 시스템.
제 1항에 있어서,

최소한 5개 또는 그 이상의 비디오 카메라가 상기 목표 물체를 지향하는 것을 특징으로 하는 시스템.
제 36항에 있어서,

최소한 10개 또는 그 이상의 비디오 카메라가 상기 목표 물체를 지향하는 것을 특징으로 하는 시스템.
제 1항에 있어서,

상기 비디오 카메라 중 최소한 하나는 디지털 비디오 카메라, 아날로그 비디오 카메라, 흑백 비디오 카메라 및 컬러 비디오 카메라로 이루어지는 군에서 선택되는 것을 특징으로 하는 시스템.
제 1항에 있어서,

상기 최소한 두개의 비디오 카메라는 상기 목표 물체 근처를 지향하도록 하여 상기 개수의 비디오 카메라로부터 가능한 최대한의 서로 다른 뷰를 제공하도록 하는 것을 특징으로 하는 시스템.
제 1항에 있어서,

상기 최소한 하나 또는 그 이상의 비디오 카메라 이미지 획득 모듈은 파이어와이어(Firewire), 이더넷, 무선 및 아날로그 연결로 구성된 군에서 선택된 연결을 통해 상기 비디오 카메라 중 하나에 커플링되는 것을 특징으로 하는 시스템.
제 1항에 있어서,

상기 프로세서 기반 장치의 상기 그래픽 처리 장치는 다이렉트엑스(DirectX) 기능을 가지는 소비자 판매용 3차원 그래픽 카드로서 버텍스와 픽셀 쉐이더 기능을 수행하는 것을 특징으로 하는 시스템.
제 41항에 있어서,

상기 그래픽 처리 장치는 라데온(Radeon) 9700 그래픽 프로세서인 것을 특징으로 하는 시스템.
제 1항에 있어서,

상기 프로세서 기반 장치는 DMA 전송을 통해 상기 하나 또는 그 이상의 비디오 카메라 획득 모듈로 커플링되는 것을 특징으로 하는 시스템.