KR20110133587A - 제 1 이미징 장치 및 제 2 이미징 장치의 상대적인 위치 및 상대적인 방향을 결정하기 위한 방법 및 관련 장치 - Google Patents

Abstract

제 1 이미징 장치 및 제 2 이미징 장치 각각의 제 1 이미지 및 제 2 이미지 내의 공통으로 도시된 물체의 이미지를 비교함으로써 제 1 이미징 장치 및 제 2 이미징 장치의 상대적인 위치 및 상대적인 방향을 결정하기 위한 방법이 개시되고, 제 1 이미징 장치 및 제 2 이미징 장치들은 제 1 이미지 및 제 2 이미지 각각에 대한 제 1 깊이 정보 및 제 2 깊이 정보를 각각 제공하도록 구성되고, 적어도 제 1 깊이 정보 및 제 2 깊이 정보는 상기 결정에서 사용된다. 대응하는 장치가 또한 개시된다.

Description

제 1 이미징 장치 및 제 2 이미징 장치의 상대적인 위치 및 상대적인 방향을 결정하기 위한 방법 및 관련 장치{A METHOD FOR DETERMINING THE RELATIVE POSITION OF A FIRST AND A SECOND IMAGING DEVICE AND DEVICES THEREFORE}

본 발명은 일반적으로 카메라 교정 기술 및 그에 대한 장치 분야에 관한 것이다. 본 발명은 제 1 이미징 장치 및 제 2 이미징 장치의 상대적인 위치 및 상대적인 방향을 결정하기 위한 방법 및 장치 및 그의 애플리케이션에 관한 것이다.

2 개 이상의 카메라들로 장면을 캡쳐할 때, 캡쳐된 데이터 또는 정보를 효율적으로 이용하기 위해, 예를 들면, 장면 내의 물체의 3-D 정보를 유도하기 위해 이러한 카메라의 특징이 종종 요구된다. 이러한 특징은 통상적으로 카메라의 위치, 카메라의 방향 및, 예를 들면, 해상도, 시야, 스큐(skew) 등과 같은 내부 카메라 파라미터(또한 본질 파라미터(intrinsic parameter)라 불림)를 포함한다. 예를 들면, 장면의 3 차원 모델을 생성할 때, 통상적으로 이러한 정보는 결정적으로 중요하다. 카메라 정보의 복원은 종종 본 기술 분야에서 "카메라 교정(camera calibration)"으로 불린다.

현재 해결책은 교정을 수행하기 위해 카메라에 의해 캡쳐된 컬러 정보를 사용한다. 그러나, 보통 교정 단계가 요구되고, 이것은 교정 물체가 실제 장면으로 물리적으로 제공 또는 삽입되는 것을 요구한다. 그후, 교정 물체의 공지된 특징은 카메라 파라미터를 복원하는데 사용된다.

그러한 교정 물체를 요구하지 않는 다른 해결책이 존재하지만, 이러한 해결책은 느리거나 신뢰할 수 없다. 이러한 해결책은, 보통 그들이 어려운 초기화를 포함하고 그들이 장면에 관한 부가적인 지식 또는 정보를 요구한다는 문제점을 갖는다. 이러한 해결책은 최종 사용자에게 투명한 카메라 교정을 허용하지 않는다. 또한, 카메라 교정을 유지하면서, 움직이는 카메라를 지원하는 것은 어렵다. 최신 방법은 또한 실질적인 프로세싱 능력들을 요구한다.

가장 최신의 기술은 또한 실시간 3-D 정보 추출을 허용하지 않는다.

본 기술 분야에서, 실제 물체의 3-D 정보를 유도하기 위해, 예를 들면, 가상 세계와 같은 가상 환경에서 물체를 표현하도록 물체의 이러한 3-D 정보를 사용하기 위한 기술이 존재한다. "실제 물체를 3-D 디지털 정보로 변환하기" 위한 기존의 기술의 예는 하나 이상의 레이저들에 의한 물체의 스캐닝을 포함한다.

"제 1", "제 2", "제 3" 등과 같은 용어들이 사용될 때, 이것은 순차적이거나 연대순의 순서가 가정된다는 것을 필연적으로 의미하지는 않는다.

용어 "포함"은 그가 다른 요소 또는 단계를 배제하지 않는다는 것과 같이 해석되어야 한다.

본 발명의 제 1 양상에 따라, 제 1 이미징 장치 및 제 2 이미징 장치 각각의 제 1 이미지 및 제 2 이미지 내의 공통으로 도시된 물체의 이미지를 비교함으로써 제 1 이미징 장치 및 제 2 이미징 장치의 상대적인 위치 및 상대적인 방향을 결정하기 위한 방법이 개시되고, 제 1 이미징 장치 및 제 2 이미징 장치들은 제 1 이미지 및 제 2 이미지 각각에 대한 제 1 깊이 정보 및 제 2 깊이 정보를 각각 제공하도록 구성되고, 적어도 제 1 깊이 정보 및 제 2 깊이 정보는 상기 결정을 위해 사용된다.

본 발명의 실시예는 카메라 교정 프로세스를 최적화하기 위해 컬러 데이터에 부가하여 가능하게는 깊이 정보 및 데이터를 사용한다. 깊이 값은 통상적으로 매픽셀마다 컬러 값에 대해 부가하여 이용 가능하고, 이것은 카메라에 본 기술을 사용하여 가능하게 된다. 이러한 깊이 값은 깊이의 상대적인 개념을 나타내는 특정 범위 내의 값이다. 이미지에 대한 모든 깊이 값들의 세트는 깊이 맵을 제공하고, 이는 최신 기술 분야에 공지된 다양한 수단에 의해 획득될 수 있다. 이것은, 예를 들면, 컬러 데이터와 함께 깊이 데이터를 (예를 들면, 비행 시간법 측정(time of flight measurement)에 의해) 직접적으로 캡쳐함으로써 발생할 수 있다. 깊이 데이터를 유도하기 위한 또 다른 더욱 일반적인 방법은 장면의 2 개 (또는 이상) 인근의 이미지들 중에서 그러한 깊이 맵을 생성하는 것이다. 인근의 이미지들은 충분히 중첩된 이미지들로서 규정될 수 있다. 동일한 평면에서 이미지 평면들에 배치된 카메라들이 흔히 사용되고, 카메라 중심들 사이의 거리는 3 내지 100 cm 사이이다. 이러한 깊이 정보를 사용하는 것은 장면으로 교정 물체를 물리적으로 옮기고 가져올 필요 없이 고속 카메라 교정(위치 및 방향)을 가능하게 하여, 동적인 카메라 구성을 가능하게 한다.

본 발명의 실시예에 따라, 상기 방법은

a. 적어도 4 개의 기준 포인트들의 세트를 결정하는 단계 - 상기 기준 포인트들은 투영된 기준 포인트들로서 제 1 이미지 및 제 2 이미지 상에서 인식 가능함 -와,

b. 상기 제 1 이미지 내의 기준 포인트들의 이미지에 대한 제 1 깊이 정보를 사용함으로써 제 1 이미징 장치에 관련하여 상기 기준 포인트들의 가상 위치를 유도하는 단계와,

c. 상기 제 1 이미징 장치의 사전 결정된 방향을 설정하는 단계와,

d. 상기 제 2 이미지 내의 기준 포인트들의 이미지의 제 2 깊이 정보를 사용함으로써 상기 가상 기준 포인트들에 관련하여 제 2 이미징 장치의 위치를 유도하는 단계와,

e. 상기 제 2 이미지 상의 기준 포인트들의 이미지 및 상기 가상 기준 포인트들 사이의 정렬을 최적화함으로써 상기 제 2 이미징 장치의 방향을 결정하는 단계

를 포함한다.

제 1 이미징 장치의 방향은 모든 복원된 위치들로서 자유롭게 결정될 수 있고, 방향들은 이러한 사전 결정된 방향(및 이러한 제 1 이미징 장치의 위치)에 대해 상대적일 것이다.

용어, '기준 포인트'는 3D 표현에서 사용되고, 용어, '(특정 이미징 장치상에) 투영된 기준 포인트들'는 이미징 장치에 의한 그들의 연관된 2D 표현에서 사용된다. 또한, '실제' 기준 포인트들 및 '가상' 기준 포인트들 사이에 구별이 이루어질 수 있고, 제 1 기준 포인트는 실제 세계에서 현실적인 포인트이고, 제 2 기준 포인트는 이미징 장치로부터 가상 3D 공간으로 후방-투영되는 기준 포인트이다(실제 및 가상은 '완벽한' 시스템, 즉, 캡쳐 에러가 없는 시스템에서 동일해야 한다). 적어도 4 개의 실제 기준 포인트들은, 제 1 이미징 장치 및 제 2 이미징 장치 양자에 의해 가시적인, 실제 세계의 포인트인 실제 포인트로서 볼 수 있다. 적어도 4 개의 가상 기준 포인트들은 이미징 장치로부터 투영된 기준 포인트로부터 유도된 포인트로서 볼 수 있다.

적어도 4 개의 (투영된) 기준 포인트들은, 예를 들면, 자동 이미지 인식 또는 다른 최신의 인식 기술에 의해 자동으로 결정될 수 있다.

바람직하게, 적어도 4 개의 가상 기준 포인트들은 동일한 평면 내에 있지 않다.

본 발명의 실시예에 따라, 제 2 이미지 상의 기준 포인트의 이미지와 기준 포인트의 정렬을 최적화하는 것은,

a. 제 2 이미지 내의 가상 기준 포인트의 이미지들 중 적어도 하나와 그의 대응하는 투영된 기준 포인트를 정렬시키는 것;

b. 필연적으로 기준 포인트들의 이미지들 중 나머지가 그들 각각의 가상 기준 포인트들에 최대로 대응하도록 하기 위해, 이미징 장치 중심과 정렬된 투영된 기준 포인트를 연결하는 라인에 의해 규정된, 회전 축 둘레의 회전각을 결정하는 것을 포함한다.

이상적인 경우에, 가상 기준 포인트의 이미지들 중 나머지는 다른 각각의 투영된 기준 포인트들 상에 정확히 맵핑될 수 있다. 실제로, 대응이 완벽할 수 없고, 대응의 최적화 또는 최대화가 수행될 수 있다. 위치 및 방향의 검색 양자에 대해 최적화 방법이 사용될 수 있고, 이러한 방법들의 선택은 이미지 내의 예상된 잡음(2D 및 깊이 양자) 및 결과에서 요청된 정확도에 의존할 것이다. 위치 검색을 최적화하는 하나의 방법은 에너지 함수:

에 대한 최신의 에너지 최소화 방법을 사용하는 것이고, 여기서 R은 2 개의 이미징 장치들에 대한 투영된 기준 포인트들의 세트이고, l₂은 이미징 장치 2의 중심의 위치이고, dist(x, Y)는 (3D) 포인트 x, 및 구(sphere) Y 사이의 거리를 리턴하는 함수이고, proj(x, C)는 카메라 파라미터 C를 사용하여 투영된 (2D) 포인트의 투영을 리턴하는 함수이고, sphere(x, d)는 중심 x 및 반지름 d을 갖는 구를 리턴하는 함수이고, depth(x)는 투영된 기준 포인트 x의 깊이를 리턴하는 함수이다. 방향의 최적화는 또한 유사한 에너지 최소화 방법을 사용할 수 있다. 이러한 경우에서, 최소화될 에너지 함수는:

이고, 여기서 R은 2 개의 이미징 장치들에 대한 투영된 기준 포인트들의 세트이고, r₂은 제 2 이미징 장치의 방향이고, dist(x, Y)는 (2D) 포인트 x, 및 (2D) 포인트 Y 사이의 거리를 리턴하는 함수이고, proj(x, C)는 카메라 파라미터 C를 사용하여 투영된 (2D) 포인트의 투영을 리턴하는 함수이고, proj^{- 1}(x, C)는 카메라 파라미터 C를 사용하여 (3D) 포인트의 후방-투영을 리턴하는 함수이고, cam(i,l,r)은 본질 파라미터 i 및 외부 파라미터 l(위치) 및 r(방향)로 구성된 카메라 파라미터 세트를 리턴하는 함수이고, c₁, i₂ 및 l₂은 이러한 연산 동안에 고정적인 것으로 여겨진다.

단일-카메라 최적화에 대한 대안은 다중-카메라 최적화이다. 상술된 단일-카메라 최적화에서, 비기준 카메라(non-reference)에 의해 에러가 있다. 다중-카메라 최적화에서, 이러한 에러들은 모든 이미징 장치들에 걸쳐 분산될 수 있다. 이러한 경우에, 한 사람은 결과의 제 1 근사치에 대해 기준 카메라를 여전히 사용하고, 그 후 충분한 결과로 수렴하기 위해 가상 기준 포인트의 위치(이미징 장치의 예상된 잡음 여유 내의) 및 다른 이미징 장치 양자를 구성함으로써 결과를 최적화한다. 상술된 바와 같이 유사한 방법은 이러한 경우에 사용될 수 있지만(참조. 에너지 최소화), 가변 파라미터는 모든 수반된 이미징 장치들(기준 이미징 장치 제외) 및 가상 기준 포인트로 확장될 수 있다. 이러한 다중-카메라 최적화를 사용하는 것의 선택은 입력 데이터 내 예상된 잡음, 및 교정 결과의 요구된 정확성에 의존한다. 특정 관점에서, 기준 카메라는 그의 초기 위치 및 방향을 유지하지만, 이러한 카메라로부터 나오는 가상 기준 포인트는 '단지 정확한 해결책'으로서 간주되지 않는다. 이러한 가상 기준 포인트의 좌표는 또한 변수로서 취해지고, (카메라 잡음에 의존하여) 특정 문턱값 내에서 이동될 수 있다. 이러한 경우에 최적화는 비기준 카메라의 카메라 위치/방향, 및 가상 기준 포인트를 결정할 것을 요구한다. 그러한 에러가 또한 기준 카메라에 제공될 것이기 때문에(움직이는 가상 기준 포인트로 인해), 최소화의 목표는 가능한 작은 에러가 모든 이미징 장치에 동등하게 분산되는 것이다.

최대화 문제점을 해결하기 위한 다른 방법은 당업자에게 알려져 있다.

둘 이상의 이미징 장치들의 상대적인 위치의 검색 프로세스를, 그들의 상대적인 위치를 유도하고 그들의 상대적인 방향을 결정하는 프로세스들로 분해하는 것은, 효율적이고 낮은 프로세싱 용량 소모를 가능하게 하므로 서로에게 관련된 이미징 장치의 상대적인 위치의 상대적으로 빠른 결정을 가능하게 한다.

본 발명의 실시예에 따라, 상기 방법은 2 개 이상의 이미징 장치들의 위치 및 방향의 결정 시에 본질 카메라 파라미터를 고려하는 단계를 더 포함한다.

본 발명의 부가적인 양상에 따라, 3 개 이상의 이미징 장치들의 상대적인 위치 및 상대적인 방향을 결정하기 위한 방법은, 서로에게 관련된 부가적인 이미징 장치의 상대적인 위치 및 상대적인 방향을 반복적으로 결정하는 단계, 예를 들면, 사전 결정된 제 1 이미징 장치에 관련하여 부가적인 이미징 장치의 상대적인 위치를 반복적으로 결정하는 단계에 의해 수행될 수 있다. 상술된 다중-카메라 교정은 기준 이미지의 개념을 혼란시키고, 예상된 잡음에 관련하여 상이한 이미징 장치들을 동등하게 처리하는 것을 가능하게 한다.

본 발명의 양상에 따라, 장면 내의 적어도 하나의 물체의 3-D 정보(위치, 방향, 크기,...)를 유도하기 위한 방법이 개시되고, 상기 방법은:

a. 장면의 적어도 2 개의 이미지들을 제공하는 단계 - 양자의 이미지들은 물체를 포함하고, 상기 이미지들은 상기 물체에 관련하여 상이한 위치들 및 방향들에서 촬영됨 -와,

b. 본 발명의 제 1 양상의 실시예에 따른 방법에 의해, 서로에게 관련된 장치들의 상대적인 위치를 유도하는 단계와,

c. 적어도 2 개의 이미징 장치들의 상대적인 위치 및 상대적인 방향을 고려함으로써 적어도 하나의 물체의 3-D 정보를 유도하는 단계를 포함한다.

3-D 정보는 (이에 제한되지 않지만) 2-D 입력에서 가시적인 포인트들의 3-D 위치를 포함한다. 3-D 정보의 부분일 수 있는 다른 정보는 3-D 포인트들에서의 표면의 방향(자주 "수직선(normal)"으로 불림), 컬러 정보(텍스처 등) 등이다.

본 발명의 실시예에 따라, 적어도 하나의 물체의 3-D 정보는 시간 의존적이다. 다시 말해서, 3-D 정보는 실시간으로 결정될 수 있어, 이미징 장치 자체가 특정 실시예에 따라 위치 및/또는 방향을 변경할 때조차, 적어도 2 개의 이미징 장치들에 의해 촬영된 물체의 움직임 및 가능하게는 물체의 형태의 변화의 식별을 허용한다.

다른 실시예에서, 이미징 장치의 상대적인 위치 및 상대적인 방향은 초기에 결정될 수 있고, 이후에 일정하거나 변함없이 유지될 수 있다. 이러한 실시예는 또한 실시간 3-D 물체 정보의 결정을 위해 필요한 프로세싱 전력을 감소시킨다.

상기 방법은 가상 환경에서 사용하기 위해 실제 물체를 3-D 물체 정보로 변환하는데(캡쳐하는데) 사용될 수 있다.

본 발명의 실시예에 따른 방법은 사전 결정된 수의 이미징 장치들의 고정 위치 및 방향을 검색하는데 사용될 수 있고, 이미징 장치의 이미지는 또한 3-D 화상 회의 시스템(video conferencing)에서 사용될 수 있다.

3-D 화상 회의 시스템은 (2 개의 비디오 스트림들을 캡쳐하기 위해 입력에서 2 개의 카메라들을 사용하고 장면을 입체적으로 보여주기 위해 출력 측에서, 예를 들면, 입체 안경을 사용하는) 간단한 입체 비디오를 포함할 수 있다. 상기 방법은, 회의실(반드시 실제 회의실의 순수한 가상 표현만은 아니다)인 가상 환경에 3-D로 상이한 참석자들의 표현을 제공하는 단계를 포함한다. 이러한 3-D 정보로 인해, 한 사람은 이러한 참석자들의 하나의 특정 시야각에 의해 제한되지 않는다.

본 발명의 제 2 양상에 따라, 제 1 이미징 장치 및 제 2 이미징 장치 각각의 제 1 이미지 및 제 2 이미지 내에 공통으로 도시된 물체의 이미지를 비교함으로써 제 1 이미징 장치 및 제 2 이미징 장치의 상대적인 위치 및 상대적인 방향을 결정하도록 구성된 장치가 개시되고, 제 1 이미징 장치 및 제 2 이미징 장치는 제 1 이미지 및 제 2 이미지 각각에 대한 제 1 깊이 정보 및 제 2 깊이 정보를 각각 제공하도록 구성되고, 적어도 제 1 깊이 정보 및 제 2 깊이 정보는 상기 결정에 사용된다.

상기 장치는:

a. 적어도 4 개의 기준 포인트들의 세트를 결정하기 위한 수단 - 상기 기준 포인트들은 제 1 이미지 및 제 2 이미지 상에서 인식 가능함 -과,

b. 상기 제 1 이미지 내의 기준 포인트들의 이미지에 대한 제 1 깊이 정보를 사용함으로써 제 1 이미징 장치에 관련하여 상기 기준 포인트들의 위치를 유도하기 위한 수단과,

c. 상기 제 1 이미징 장치의 타당한 방향을 결정하기 위한 수단과,

d. 상기 제 2 이미지 내의 기준 포인트들의 이미지의 제 2 깊이 정보를 사용함으로써 상기 기준 포인트들에 관련하여 제 2 이미징 장치의 위치를 유도하기 위한 수단;

e. 상기 제 2 이미지 상의 기준 포인트들의 이미지와 기준 포인트들 사이의 정렬을 최적화함으로써 상기 제 2 이미징 장치의 방향을 결정하기 위한 수단

을 포함한다.

상기 장치는 상기 결정 시에 본질 카메라 파라미터를 고려하기 위한 수단을 더 포함할 수 있다.

본 발명의 실시예에 따라, 상기 장치는 서로에 관련하여 부가적인 이미징 장치의 상대적인 위치 및 상대적인 방향을 반복적으로 결정함으로써, 예를 들면, 제 1 사전 결정된 이미징 장치에 관련하여 부가적인 이미징 장치의 상대적인 위치를 반복적으로 결정함으로써 3 개 이상의 이미징 장치들의 상대적인 위치 및 상대적인 방향을 결정하기 위한 수단을 포함한다.

본 발명의 부가적인 양상들은 종속 청구항들에 의해 설명된다. 종속 청구항으로부터의 특징, 독립 청구항들 중 임의의 청구항의 특징, 및 다른 종속 청구항들의 임의의 특징은 당업자에게 적절한 것으로 여겨지는 바와 같이 조합될 수 있고, 청구항에 의해 규정된 특정 조합으로만 조합되지 않는다.

첨부한 도면은 본 발명의 실시예를 예시하는데 사용된다.

도 1, 도 2, 도 3, 도 4 및 도 5는 본 발명에 따른 실시예를 예시한 도면.
도 6은 3-D 기하학적 합성체 정황 내에서의 본 발명의 실시예를 예시한 도면 - 3-D 기하학 구조는 상이한 위치들 및 방향들에서 공통 물체로부터 촬영된 상이한 2-D 이미지들로부터 유도됨 -.
도 7은 실제 세계 장면의 3-D 기하학적 합성체에 대한 작업 흐름도 - 본 발명의 실시예에 따른 "깊이 맵을 사용하는 카메라 교정"은 그러한 방법으로 완벽하게 기능할 수 있음. 본 발명에 따른 실시예의 출력은 사용되는 이미징 장치들(예를 들면, 카메라)의 위치 및 방향임 -.
도 8은 본 발명에 따른 실시예에 기초한 가능한 애플리케이션의 가능한 내부 작업 흐름도.
참조 부호들이 상이한 도면 또는 그림에서 유사하거나 동일한 요소 또는 특징에 대해 동일하도록 참조 부호들이 선택된다.

본 발명의 상기 및 다른 이로운 특징 및 목적은 각각의 도면과 연관하여 판독할 때 더욱 명백해질 것이며, 본 발명은 다음의 상세한 설명으로부터 더 쉽게 이해될 것이다.

본 발명의 양상의 설명은 특정 실시예에 의해 수행되고 특정 도면을 참조하여 수행되지만, 이에 제한되지 않는다. 도시된 도면은 단지 개략적이고 제한으로서 고려되어서는 안 된다. 예를 들면, 특정 요소 또는 도형은 다른 요소에 관련하여 비례하거나 일정 비율을 벗어나게 도시될 수 있다.

본 발명에 따른 특정 실시예의 설명에서, 다양한 특징들은 때때로 다양한 본 발명의 양상들 중 하나 이상의 이해를 돕기 위해 단일의 실시예, 도면, 또는 그의 설명으로 함께 그룹화된다. 이것은, 그룹의 모든 특징들이 특정 문제점을 해결하기 위해 반드시 제공되는 것처럼 해석되어서는 안 된다. 본 발명의 양상은 특정 실시예의 설명에서 제공된 특징들의 그룹의 모든 특징보다 더 적을 수 있다.

본 발명의 실시예(도 1에 예시됨)는, 장면(물체(3)를 포함함)이 공지된 본질 파라미터를 갖는 다수의 깊이-인에이블 카메라를 사용하여 캡쳐될 때 깊이-인에이블 카메라(1, 2)(컬러 데이터(11, 21) 및 깊이 데이터(12, 22) 양자를 제공하는 카메라)의 교정을 가능하게 한다. 교정 프로세스는, 예를 들면, 한번에 2 개의 카메라들을 취급할 수 있다(상술된 바와 같은 다중-카메라 최적화를 사용할 때, 이것은 2 개의 카메라들로 제한되지 않는다는 것을 주목하라). 카메라(이미징 장치)의 상대적인 위치는 다수의(적어도 2 개의) 카메라들 중 모든 쌍의 카메라들에 대해 결정될 수 있다.

무엇보다 먼저, 다수의 세부 특징 대응들이 요구되고, 이러한 세부 특징 대응들은 같은 3-D 장면 포인트를 제공하는 장면의 2-D 카메라 뷰들 내의 포인트들이다. 이것은 도 2에 예시된다. 적어도 4 개의 그러한 세부 특징 대응들(A, B, C, D)이 요구되고, 이들 중 적어도 세 개의 도면 대응들이 동일한 3-D 평면에 놓일 수 있다(이것은, 예를 들면, 깊이 맵을 검사함으로써 결정될 수 있음). 실시간 요건과 결합된 시스템의 계산 능력에 기초하여, 더 많거나 더 적은 세부 특징 대응들이 선택될 수 있다. 가장 신뢰할 수 있는 대응들이 선택되는 것이 바람직할 수 있다(가장 확실한 것들). 그러한 대응들을 식별하기 위한 방법은 당업자에게 공지되어 있다.

카메라들 중 2 개의 카메라들에 대한 대응들이 이용 가능하면, 교정 프로세스가 계속될 수 있다. 먼저, 제 1 카메라(1)는 공간에서 특정 위치에 놓일 수 있고, 사전 결정된 회전이 제공된다. 이것은 공간에서 다른 카메라(들)의 위치를 확인하기 위한 기준을 제공한다. 제 2 카메라(2)의 검색된 위치 및 방향(예를 들면, 회전) 속성들은 제 1 카메라(1)의 위치 및 회전에 대해 상대적인 것이 바람직할 수 있다.

제 1 카메라(1)의 위치 및 방향을 고정함으로써, 한 사람은 이러한 카메라의 이미지 평면 상의 기준 포인트들(A, B, C, D)을 3-D 공간으로 후방 투영할 수 있다. 먼저 카메라 정보(위치, 방향 및 본질 파라미터)를 사용하여 3-D 공간 내의 라인(L1) 및 기준 포인트(A)의 2-D 위치를 지정함으로써 이것이 이루어진다. 그 후, 관련 세부 특징 포인트(A)에 대한 깊이 정보(Z¹ _A)가 사용되어, 상술된 라인(L1) 상에 포인트(A')를 지정한다. 이것은 도 3에 예시되고, L1은 3-D 공간 내의 라인을 나타내고, A'는 깊이 정보(Z¹ _A)에 의해 규정된 이러한 라인 상의 포인트를 나타낸다(깊이는 일반적으로 Z로 표시됨).

모든 기준 포인트들(A, B, C, D)에 대해 이것이 반복될 수 있어, Z¹ _A, Z¹ _B, Z¹ _C, Z¹ _D를 통해 3-D 기준 포인트들(A', B', C', D')이 발생된다.

제 2 카메라(2)의 위치(예를 들면, 공지된 핀홀 카메라 모델 내의 핀홀의 위치)를 검색하는 것은, 제 2 카메라로부터 볼 때, 모든 대응하는 기준 포인트(A', B', C', D')의 깊이에 가장 적절하게 대응하는 3-D 공간 내의 위치를 결정함으로써 성취될 수 있다(제 2 카메라(2)의 깊이 맵은 모든 기준 포인트의 깊이(Z² _A, Z² _B, Z² _C, Z² _D)를 규정함). 이것은 도 4에 예시되고, 여기서 4 개의 세부 특징 포인트들은 (카메라(2)의 깊이 맵을 사용하여) 그들의 깊이와 함께 이용 가능하다.

4 개의 기준(또는 세부 특징) 포인트들을 사용할 때 이러한 카메라 위치를 검색하는 방법은 4 개의 구들을 명시적으로 교차시키는 것이고, 모든 구는 그의 중심(A', B', C', D')으로서 3-D 공간 내에 기준 포인트를 갖고, 구의 반지름은 제 2 카메라(2)의 깊이 맵에 의해 지정된 깊이(Z² _A, Z² _B, Z² _C, Z² _D)와 동일하다. 첫 번째로, 2개의 구들이 교차되고, 결과로 원이 발생된다. 이러한 원과 3 번째 구를 교차시키는 것은 2 개의 포인트들을 발생시킨다. 구(4)와의 교차는 카메라 위치로서 이러한 2 개의 포인트들 중 하나를 선택한다. 완벽한 입력 데이터가 제공되지 않을 때, 더 복잡한 결정 기술이 적용될 수 있다.

카메라의 위치(CC)를 검색한 후에, 방향이 계산될 수 있다. 요구된 정보는 카메라(2)의 이미지 평면상으로 투영되는(PA2, PB2, PC2, PD2) 기준 포인트들(A, B, C, D)을 포함한다. 가능한 양호한 기준 포인트들(A', B', C', D')을 매칭시키기 위해 방향이 결정될 수 있다(예를 들면, 카메라를 그의 핀홀 둘레로 회전시키고, 기준 포인트 투영들(PA2, PB2, PC2, PD2)과 주어진 카메라 이미지 평면상의 세부 특징 포인트 위치들(A, B, C, D)을 매칭시킴).

이것을 해결하기 위한 하나의 방법은 하나의 세부 특징 포인트 투영(예를 들면, PB2)의 선택으로 시작된다. 카메라는 이러한 세부 특징 포인트를 이미지 평면에서의 정확한 위치(B)로 투영하기 위해 지향된다. 다른 투영된 포인트를 카메라의 이미지 평면 상으로 매칭시키기 위해, 이제 카메라 중심(CC)에 의해 규정된 축 둘레의 회전(R) 및 선택된 세부 특징 포인트의 투영(PB2)이 요구된다. 이것은 도 5에 예시된다. 좌측 이미지는, 하나의 기준 포인트 투영(PB2)이 이미지 평면 상의 세부 특징 포인트 위치(B)와 매칭되는 상황을 도시한다. 우측 이미지에서, 기준 포인트 투영들 중 나머지를 매칭시키기 위해 상술된 축 또는 라인 둘레에서 카메라의 회전이 수행된다. 예를 들면, 사전 결정된 메트릭에 따른 최상의 매치는 카메라의 방향을 복원하는데 사용된다.

본 발명의 실시예들은 상이한 애플리케이션에서 사용될 수 있다. 일부 예가 다음에 기재된다.

본 발명의 실시예는 홈 3-D 통신 솔루션의 일부분일 수 있다(도 6 참조). 사용자는 그의 주변의 다중 깊이-인에이블 카메라에 의해 기록된다(예를 들면, 깊이 맵 추출을 위해 2-바이-2로 사용된 웹 캠). 그후, 이러한 카메라의 위치 및 방향은 본 발명의 실시예를 사용하여 검색될 수 있어, 사용자에 의해 실행되는 명시적인 교정 단계를 요구하지 않고 교정이 가능하게 하고, 카메라들 중 하나 이상 또는 모두의 움직임을 허용한다.

교정 정보가 계산되면, 다양한 용도들을 위해 다중 카메라들의 컬러 및 깊이 정보가 사용될 수 있고, 용도들 중 하나는 장면의 3 차원 모델의 생성이다. 이것은, 예를 들면, 복셀 공간(voxel space)에서 다중 깊이 맵들을 카빙(carving)함으로써 이루어질 수 있다. 그 후, 그러한 모델은 가상 세계에 통합될 수 있어, 가상 환경에서 실제 배우(사용자의 모델)와의 3-D 통신을 가능하게 한다.

도 7은 실제 세계 장면의 3-D 기하학적 합성체에 대한 작업 흐름을 도시한다. 본 발명의 실시예에 따른 "깊이 맵을 사용하는 카메라 교정"은 그러한 방법으로 완벽하게 기능할 수 있다. 본 발명에 따른 실시예의 출력은 사용된 이미징 장치(예를 들면, 카메라)의 위치 및 방향일 수 있다. 그 후, 출력은 다중 카메라들의 깊이 맵들을 3D 공간으로 후방-투영하는데 사용될 수 있다. 그 후, 예를 들면, 다각형 모델 추출을 위한 것 같이 더 높은 레벨의 3-D 모델들을 이들에게 맞추기 위해 이러한 측정들이 사용될 수 있다.

도 8은 본 발명에 따른 실시예에 기초한 가능한 애플리케이션의 가능한 내부 작업 흐름을 도시한다. 먼저, 2 개 이상의 2 차원 + 깊이 정보 이미지들(2-D + Z)이 생성 또는 제공된다. 그 후, 세부 특징 대응들이 (적어도 하나의) 이미지들 쌍 사이에서 추출된다(91). 그 후, 3-D 공간 내 추정된 기준 포인트들, 및 카메라 뷰들의 깊이 값들 간의 차이를 최소화함으로써 카메라 위치가 검색된다(92). 그 후, 3-D 공간으로부터 투영된 기준 포인트들, 및 공지된 이미지 좌표들 간의 차이를 최소화함으로써 카메라 방향들이 검색된다(93). 상기 프로세스는 선택적으로 다중 반복들을 허용하는 루프(94)를 포함할 수 있다. 이러한 반복들은 최종 결과의 정확도를 개선할 수 있다. 요구된 반복들의 양은 입력 데이터의 예상된 잡음, 및 출력에서 요구되는 정확도에 의존한다.

본원에 서술된 일부 실시예가 다른 실시예들에 포함된 일부 다른 특징들만 포함하지만, 상이한 실시예들의 특징들의 조합은 본 발명의 범위 내에 있고 당업자에 의해 이해되는 상이한 실시예 를 형성하는 의미하게 된다.

본 발명의 원리가 특정 실시예와 연관하여 제시되었지만, 이러한 서술이 단지 예시로서 이루어지고, 첨부된 청구항들에 의해 결정되는 보호 범위의 제한이 아니라는 것이 분명하게 이해된다.

당업자는 본 발명의 실시예가 적어도 다음의 이점을 제공할 수 있다는 것을 인지할 것이다.

- 물리적인 처리 및 실제 교정 물체의 장면으로 이동에 의한 카메라 교정이 필요없음;

- 상이한 카메라들의 상대적인 위치를 상대적인 위치 및 상대적인 방향으로 분리함에 따라 요구되는 상대적으로 낮은 프로세싱 용량은 필요한 프로세싱 전력의 상당한 감소를 가능하게함;

- 특정 실시예에 따라, 예를 들면, 레이저 스캐닝에 기초할 수 있는 더 복잡하고/거나 고가의 솔루션을 필요로 하지 않고, 3-D 물체 정보를 유도하기 위해 실제 카메라가 사용될 수 있음;

- 필요로하는 상대적으로 낮은 프로세싱 전력이 적어도 부분적으로 발생되면서, 본 발명의 실시예는 움직이는 물체의 실시간 3-D 정보 추출을 가능하게함.

1, 2 : 깊이-인에이블 카메라 3 : 물체
11, 21 : 컬러 데이터 12, 22 : 깊이 데이터
CC : 카메라 중심 R : 축 둘레 회전

Claims (15)

1. 제 1 이미징 장치 및 제 2 이미징 장치 각각의 제 1 이미지 및 제 2 이미지 내의 공통으로 도시된 물체의 이미지를 비교함으로써 상기 제 1 이미징 장치 및 상기 제 2 이미징 장치의 상대적인 위치 및 상대적인 방향을 결정하기 위한 방법에 있어서,
   상기 제 1 이미징 장치 및 제 2 이미징 장치들은 상기 제 1 이미지 및 상기 제 2 이미지 각각에 대한 제 1 깊이 정보 및 제 2 깊이 정보를 각각 제공하도록 구성되고,
   적어도 상기 제 1 깊이 정보 및 상기 제 2 깊이 정보는 상기 결정에서 사용되는
   상대적인 위치 및 상대적인 방향 결정 방법.
   
2. 제 1 항에 있어서,
   a. 적어도 4 개의 기준 포인트들의 세트를 결정하는 단계 - 상기 기준 포인트들은 투영된 기준 포인트들로서 상기 제 1 이미지 및 상기 제 2 이미지 상에서 인식 가능함 - 와,
   b. 상기 제 1 이미지 내의 상기 기준 포인트들의 이미지에 대한 상기 제 1 깊이 정보를 사용함으로써 상기 제 1 이미징 장치에 관련하여 상기 기준 포인트들의 가상 위치를 유도하는 단계와,
   c. 상기 제 1 이미징 장치의 사전 결정된 방향을 설정하는 단계와,
   d. 상기 제 2 이미지 내의 상기 기준 포인트들의 상기 이미지의 상기 제 2 깊이 정보를 사용함으로써 상기 가상 기준 포인트들에 관련하여 상기 제 2 이미징 장치의 위치를 유도하는 단계와,
   e. 상기 제 2 이미지 상의 상기 기준 포인트들의 상기 이미지 및 상기 가상 기준 포인트들 사이의 정렬을 최적화함으로써 상기 제 2 이미징 장치의 방향을 결정하는 단계를 포함하는
   상대적인 위치 및 상대적인 방향 결정 방법.
   
3. 제 1 항 또는 제 2 항에 있어서,
   상기 적어도 4 개의 기준 포인트들이 자동으로 결정되는
   상대적인 위치 및 상대적인 방향 결정 방법.
   
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
   상기 제 2 이미지 상의 상기 기준 포인트들의 상기 이미지와 상기 기준 포인트들과의 상기 정렬을 최적화하는 것은,
   a. 상기 제 2 이미지 내의 상기 가상 기준 포인트들의 상기 이미지들 중 적어도 하나와 그의 대응하는 투영된 기준 포인트를 정렬시키는 것과,
   b. 상기 기준 포인트들의 상기 이미지들 중 나머지가 그들의 각각의 가상 기준 포인트들에 최대한으로 대응하도록 하기 위해 필요한, 상기 정렬된 투영된 기준 포인트와 상기 이미징 장치 중심을 연결하는 라인에 의해 정의된 회전 축 둘레의 회전 각도를 결정하는 단계를 포함하는
   상대적인 위치 및 상대적인 방향 결정 방법.
   
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
   상기 결정에서 본질 카메라 파라미터들(intrinsic camera parameters)을 고려하는 단계를 더 포함하는
   상대적인 위치 및 상대적인 방향 결정 방법.
   
6. 제 1 항 내지 제 5 항 중 어느 한 항에 따른 방법에 따라, 사전 결정된 제 1 이미징 장치에 관련하여 부가적인 이미징 장치의 상기 상대적인 위치 및 상기 상대적인 방향을 반복적으로 결정함으로써, 3 개 이상의 이미징 장치들의 상대적인 위치 및 상대적인 방향을 결정하기 위한 방법.
   
7. 장면 내의 적어도 하나의 물체의 3-D 정보를 유도하기 위한 방법으로서,
   a. 상기 장면의 적어도 2 개의 이미지들을 제공하는 단계 - 2개의 이미지들은 상기 물체를 포함하고, 상기 이미지들은 상기 물체에 관련하여 상이한 위치들 및 상이한 방향들에서 촬영됨 - 와,
   b. 제 1 항 내지 제 5 항 중 어느 한 항에 따른 방법에 의해, 서로에게 관련된 상기 이미징 장치들의 상대적인 위치를 유도하는 단계와,
   c. 상기 적어도 2 개의 이미징 장치들의 상기 상대적인 위치 및 상기 상대적인 방향을 고려함으로써 상기 적어도 하나의 물체의 3-D 정보를 유도하는 단계를 포함하는
   3-D 정보 유도 방법.
   
8. 제 7 항에 있어서,
   상기 적어도 하나의 물체의 상기 3-D 정보는 시간 의존적인
   3-D 정보 유도 방법.
   
9. 제 7 항 또는 제 8 항에 있어서,
   상기 이미징 장치들의 상기 상대적인 위치 및 상기 상대적인 방향은 초기화 후에 일정하게 유지되는
   3-D 정보 유도 방법.
   
10. 제 7 항에 있어서,
    상기 방법은
    가상 환경에서 사용하기 위해 실제 물체를 3-D 물체 정보로 변환하는
    3-D 정보 유도 방법의 사용.
    
11. 제 1 항 내지 제 6 항 중 어느 한 항에 따른 방법에 있어서,
    사전 결정된 수의 이미징 장치들의 고정된 위치 및 고정된 방향을 검색하기 위해,
    3-D 화상 회의에서 상기 이미징 장치들의 이미지들을 더 사용하는
    3-D 정보 유도 방법의 사용.
    
12. 제 1 이미징 장치 및 제 2 이미징 장치 각각의 제 1 이미지 및 제 2 이미지 내의 공통으로 도시된 물체의 이미지를 비교함으로써 상기 제 1 이미징 장치 및 상기 제 2 이미징 장치의 상대적인 위치 및 상대적인 방향을 결정하도록 구성된 장치에 있어서,
    상기 제 1 이미징 장치 및 제 2 이미징 장치들은 상기 제 1 이미지 및 상기 제 2 이미지 각각에 대한 제 1 깊이 정보 및 제 2 깊이 정보를 각각 제공하도록 구성되고,
    적어도 상기 제 1 깊이 정보 및 상기 제 2 깊이 정보가 상기 결정에 사용되는
    상대적인 위치 및 상대적인 방향 결정 장치.
    
13. 제 12 항에 있어서,
    a. 적어도 4 개의 기준 포인트들의 세트를 결정하기 위한 수단 - 상기 기준 포인트들은 투영된 기준 포인트들로서 상기 제 1 이미지 및 상기 제 2 이미지 상에서 인식 가능함 - 과,
    b. 상기 제 1 이미지 내의 상기 기준 포인트들의 이미지에 대한 상기 제 1 깊이 정보를 사용함으로써 상기 제 1 이미징 장치에 관련하여 상기 기준 포인트들의 가상 위치를 유도하기 위한 수단과,
    c. 상기 제 1 이미징 장치의 사전 결정된 방향을 설정하기 위한 수단과,
    d. 상기 제 2 이미지 내의 상기 기준 포인트들의 이미지의 상기 제 2 깊이 정보를 사용함으로써 상기 가상 기준 포인트들에 관련하여 상기 제 2 이미징 장치의 위치를 유도하기 위한 수단과,
    e. 상기 제 2 이미지 상의 상기 기준 포인트들의 이미지 및 상기 가상 기준 포인트들 사이의 정렬을 최적화함으로써 상기 제 2 이미징 장치의 방향을 결정하기 위한 수단을 포함하는
    상대적인 위치 및 상대적인 방향 결정 장치.
    
14. 제 12 항 또는 제 13 항에 있어서,
    상기 결정에서 본질 카메라 파라미터들을 고려하기 위한 수단을 더 포함하는
    상대적인 위치 및 상대적인 방향 결정 장치.
    
15. 제 12 항 내지 제 14 항 중 어느 한 항에 있어서,
    제 1 사전 결정된 이미징 장치에 관련하여 부가적인 이미징 장치의 상대적인 위치 및 상대적인 방향을 반복적으로 결정함으로써, 3 개 이상의 이미징 장치들의 상대적인 위치 및 상대적인 방향을 결정하기 위한 수단을 포함하는
    상대적인 위치 및 상대적인 방향 결정 장치.

Images