KR19990028281A

KR19990028281A - 패럴랙스에 기반을 둔 기술을 사용한 이미지 조합 방법 및 시스템

Info

Publication number: KR19990028281A
Application number: KR1019970709595A
Authority: KR
Inventors: 레이케시 쿠마; 케이쓰 제임스 한나; 제임스 알. 베르겐; 패드마나반 앤앤단; 마이클 이라니
Original assignee: 윌리암 제이. 버크; 사르노프 코포레이션
Priority date: 1995-06-22
Filing date: 1996-06-24
Publication date: 1999-04-15
Also published as: CA2225400A1; KR100450469B1; EP0842498A4; WO1997001135A2; WO1997001135A3; US5963664A; EP0842498A2; JPH11509946A

Abstract

본 발명은 이미지화된 장면을 표시하는 다수의 입력 이미지로부터 3차원(3D) 모자이크를 발생하기 위한 시스템에 관한 것이다. 상기 다수의 입력 이미지는 단일 장면의 적어도 2개의 이미지를 포함하는데, 적어도 2개의 이미지는 중첩 영역을 가진다. 상기 시스템은 장면의 파노라마 뷰를 표시하는 이미지 모자이크와 장면의 3차원 기하학을 표시하는 형상 모자이크를 포함하는 3D 모자이크를 생성하는 패럴랙스 기초 접근법을 사용하여 이미지를 조합한다. 특히, 일 실시예에서 상기 시스템은 이미지화된 장면내의 파라메트릭한 표면을 따라 입력 이미지를 기록하고 이미지 정렬에 유용한 변환 벡터를 2차원 이미지 모자이크로 유도한다. 기록될 때, 상기 시스템은 화면내의 대상물을 표시하는 형상 모자이크를 생성한다.

Description

패럴랙스에 기반을 둔 기술을 사용한 이미지 조합 방법 및 시스템

최근까지, 이미지 처리 시스템은 일반적으로 개별 이미지 대 이미지 원리의 비디오, 사진 등의 프레임과 같은 처리된 이미지를 가진다. 각각의 개별 프레임 또는 사진은 전형적으로 필터링, 왜곡, 및 여러 파노라마 변형 적용에 의해 처리된다. 화면의 파노라마 뷰(view)를 형성하기 위하여, 개별 이미지는 2차원 모자이크, 예를 들어 다수의 개별 이미지를 포함하는 이미지를 형성하기 위해 조합된다. 부가적 이미지 처리는 이미지 사이의 이음매(seam)가 보이지 않도록 하여 모자이크가 단일의 큰 이미지 처럼 보이도록 모자이크 상에서 수행된다.

상기 이미지의 정렬과 이음매를 제거하는 부가적 처리는 전형적으로 컴퓨터 워크스테이션을 사용하는 기술자에 의해 수동으로 달성되는데, 예를 들면 이미지 정렬과 조합 과정은 컴퓨터 보조를 받는다. 이런 컴퓨터 보조 이미지 처리 시스템에서, 기술자는 수동으로 처리된 이미지를 선택하고, 수동으로 이런 이미지를 정렬하며, 컴퓨터는 이미지 사이의 어떤 이음매 또는 갭을 제거하기 위해 여러 이미지 조합 과정을 상기 이미지에 적용한다. 이미지의 처리는 전형적으로 여러 컴퓨터 입력 디바이스, 이를테면 마우스, 트랙볼, 키보드 등을 사용하여 달성된다. 수동 모자이크 형성은 비싸기 때문에, 본 기술 분야에 종사하는 당업자는 이미지 모자이크 형성을 위한 자동화된 시스템을 계발하고 있다.

모자이크 구성을 위한 자동화된 시스템에서, 모자이크내의 정보는 일반적으로 2차원 움직임 필드로서 표현된다. 상기 움직임은 평면 움직임 필드, 예를 들어 아핀(affine) 또는 투영 움직임 필드로서 표현된다. 이런 시스템은 "모자이크 기초 이미지 처리 시스템"으로 명명되고, 1994년 11월 14일에 제출된 미국 특허 출원 일련번호 08/339,491에 개시되어 있다. 상기 출원에 개시된 이미지 처리 접근법은 자동적으로 다중 이미지 프레임을 하나 이상의 2차원 모자이크로 조합한다. 그러나, 상기 시스템은 모자이크의 움직임을 표시하는 변위 필드에서 에러를 유발할 수 있는 패럴랙스 움직임을 고려하지 않는다.

다른 타입의 이미지 처리 시스템에서, 다중 이미지는 모자이크 발생없이 사진 계측 정보, 이를테면 상관적인 방향 평가, 범위 맵 복원 등을 복원하기 위해서 분석된다. 이런 이미지 분석 기술은 내부 카메라 파라미터(예를 들면, 초점 길이 화소 분해능, 종횡비, 및 이미지 중심)이 공지되어 있다고 가정한다. 정렬과 사진 계측을 사용하는 자동화된 이미지 처리 시스템에서, 정렬과 사진 계측 방법은 2가지 단계: (1) 영역 또는 형상 기초된 매칭 구성의 일부 형태를 통해 여러 이미지내의 화소 사이의 일치를 확립하는 단계; 및 (2) 3차원 화면 정보를 복원하기 위해 화소 변위를 분석하는 단계를 포함한다.

본 발명은 이미지 처리 시스템에 관한 것으로서, 특히 패럴랙스(parallax)에 기반을 둔 기술을 사용하여 모자이크로 다중 이미지를 조합하는 이미지 처리 시스템에 관한 것이다.

도 1은 본 발명의 이미지 처리 시스템을 결합한 이미지화 시스템의 블록도를 도시한다.

도 2는 도 1의 시스템의 입력 이미지와 출력 모자이크를 개략적으로 도시한다.

도 3은 기준 카메라에 의해 생성된 기준 이미지, 검사 카메라에 의해 생성된 검사 이미지, 상기 카메라들에 의해 이미지화된 장면내의 임의 파라메트릭한 표면 관계의 기하학적 표현이다.

도 4는 이미지를 기록하고, 기록된 이미지로부터 패럴랙스 정보를 추출하기 위한 P-then-P 루틴의 순서도이다.

도 5는 이미지를 기록하고 기록된 이미지로부터 패럴랙스 정보를 추출하기 위한 P-and-P 루틴의 순서도이다.

도 6은 본 발명의 이미지 처리 시스템의 기능 블록도이다.

도 7은 포즈 평가 루틴의 순서도이다.

도 8은 3D 교정된 모자이크 구성 루틴의 순서도이다.

도 9는 장면이 이미지내의 포인트들을 교합하는 대상물을 포함하는 도 3의 평면 OMP의 2차원 기하학적 표현이다.

도 10은 본 발명의 시스템을 사용하여 장면내의 대상물 높이를 평가하기 위한 실험 셋업을 도시한다.

도 11은 존재하는 3D 모자이크의 새로운 뷰를 합성하는 새로운 시스템에 대한 적용의 블록도를 도시한다.

본 발명은 이미지 모자이크와 형상 모자이크를 포함하는 3D 모자이크를 구성하기 위해 이미지를 기록하는 화면의 다수의 이미지를 제공하는 단계를 포함하는 다수의 이미지 처리 방법에 관한 것인데, 상기 이미지 모자이크는 장면의 3D 기하학을 표시하는 파노라마 뷰를 표시한다.

또한 본 발명은 다수의 이미지를 저장하기 위한 수단, 및 상기 저장 수단에 접속되고 3D 모자이크를 구성하기 위해 이미지를 기록하기 위한 기록 프로세서를 포함하는 다수의 장면 이미지로부터 장면의 3D 모자이크를 생성하기 위한 시스템에 관한 것인데, 상기 이미지 모자이크는 장면의 파노라마 뷰를 표시하고 상기 형상 모자이크는 장면의 3D 기하학을 표시한다.

본 발명의 기술은 첨부 도면과 관련하여 다음의 상세한 설명을 고려함으로써 쉽게 이해될 수 있다.

우선 3D 모자이크를 형성하기 위해 이미지화된 장면을 표시하는 다수의 이미지를 조합하는 이미지 처리 시스템이 개시되는데, 상기 3D 모자이크는 장면의 파노라마 뷰를 표시하는 이미지 모자이크와 장면의 3D 기하학을 표시하는 형상 모자이크를 포함한다. 상기 형상 모자이크는 2차원의 파라메트릭한 표면과 나머지 패럴랙스 필드의 2차원 이미지 움직임으로 분할되는 움직임 필드에 의해 어떤 2개의 이미지 사이의 관계를 정의한다. 많은 기술이 움직임 필드와 파라메트릭한 변환 파라미터를 생성에 유용하더라도, 다음의 설명은 예시적 방법을 개시한다. 플레인-댄-패럴랙스(P-then-P : plane-then-parallax)로서 공지된 제 1 방법은 초기에 장면의 파라메트릭한 표면(평면)을 따라 이미지를 기록한 다음에 상기 장면의 3D 기학학을 표시하는 패럴랙스 필드를 결정한다. 플레인-앤드-패럴랙스(P-and-P : plane-and-parallax)로서 공지된 제 2 예시적 방법은 동시에 이미지를 기록하여 패럴랙스 필드를 결정한다. 어느 한쪽의 방법으로, 기록의 결과는 파라메트릭한 표면, 파라메트릭한 표면에 대해 장면의 3D 기하학(움직임)을 표시하는 패럴랙스 필드. 및 파라메트릭한 표면내의 움직임을 표시하는 평면 움직임 필드를 따라 이미지 정렬을 달성하기 위한 변환 파라미터이다. 이런 결과는 3D 모자이크를 형성하기 위해 입력 이미지를 조합하는데 사용될 수 있다.

파라메트릭한 표면의 이미지 움직임은 본질적으로 2D 모자이크의 일반적 표현이다. 상기 파라메트릭한 표면의 움직임은 일반적으로 2차원 움직임 필드를 직접 평가하기 위한 많은 이용가능한 기술 중 하나를 사용하여 평가되는 파라메트릭한 움직임 필드로서 표현된다. 일반적으로 말하면, 직접 접근법은 2차원 모자이크를 형성하기 위해 다수의 이미지를 정렬하고 조합하는데 만족스럽다. 이런 2차원 모자이크는 이미지 시퀀스에 의해 포착되는 장면내의 2차원 파라메트릭한 표면의 정렬을 의미한다. 이런 파라메트릭한 표면은 장면의 대상물이 대부분 놓여있는 장면의 실제 표면이 될 수 있거나 파라메트릭한 표면은 장면내에서 임의로 선택되는 가상 표면이 될 수 있다. 장면내의 모든 대상물은 카메라가 파라메트릭한 표면에 대해 이동할 때 패럴랙스 움직임으로서 공지되는 것을 생성한다. 이런 파라메트릭한 움직임은 패럴랙스 움직임 필드(또한 여기에서 패럴랙스 필드로서 참조된)에 의해 표현된다. 상기 패럴랙스 필드는 상기 표면의 평면에 놓이지않는 장면내의 대상물을 위한 값을 가진다. 상기 표면의 평면에 놓이는 대상물이 패럴랙스 필드로 표현되더라도, 이런 대상물은 제로 패럴랙스를 가진다. 특히, 상기 패럴랙스 필드는 상기 파라메트릭한 표면의 전후방에 놓이는 대상물과 장면의 3D 기하학표면으로부터 이런 대상물의 거리(높이)를 나타낸다. 이와같이, 파라메트릭한 표면 및 그것의 평면 움직임 필드와 협력하는 패럴랙스 필드를 사용하여, 상기 시스템은 임의 동일선까지 장면의 3D 복구를 발생할 수 있다. 카메라 교정 파라미터, 이를테면 초점 길이와 광학 중심이 공지되어 있다면, 이런 장면의 3D 복구는 기하학이다.

도 1은 다수의 이미지로부터 3D 모자이크를 발생하는데 사용되는 이미지 처리 시스템(100)의 블록도를 도시한다. 상기 시스템은 일반적으로 이미 개시된 바와 같이 이미지 처리 시스템으로서 기능하도록 프로그램되는 일반적 목적의 컴퓨터이다. 상기 시스템은 장면(102)을 이미지화하는 하나 이상의 카메라(104_n)를 더 포함한다. 예시적 시스템에서 2개의 카메라(104₁과 104₂)가 도시된다. 단순함을 위하여 각각의 카메라는 일련의 디지털화된 비디오 정보의 프레임을 발생하는 디지털 비디오 카메라로 가정된다. 선택적으로, 상기 카메라는 여전히 카메라, 일반적 비디오 카메라, 또는 신호가 시스템(100)에 대한 입력으로서 사용되기 이전에 개별적으로 디지털화되는 출력 신호를 가지는 적외선 센서, 초음파 센서 등과 같은 일부 다른 형태의 이미지 센서가 될 수 있다. 어떤 경우에, 각각의 카메라(104₁과 104₂)는 장면의 명확한 뷰를 가지는 이미지를 발생한다. 특히, 상기 이미지는 장면의 서로 다른 뷰를 이미지화하는 각각의 카메라로부터 선택된 프레임이 될 수 있거나 카메라가 장면에 걸쳐 상하좌우로 움직일 때 단일 카메라로부터의 일련의 프레임이 될 수 있다. 어느 한쪽의 경우에, 본 발명의 이미지 처리 시스템에 대한 입력 신호는 단일 장면의 서로다른 뷰에서 취해지는 적어도 2개의 이미지이다. 각각의 이미지는 부분적으로 적어도 하나의 다른 이미지로 묘사되는 장면과 중첩한다. 상기 시스템(100)은 이미지를 3D 모자이크로 조합하고 상기 모자이크를 출력 디바이스(106)에 제공한다. 상기 출력 디바이스는 비디오 압축 시스템, 비디오 저장 및 재생 시스템, 또는 일부 다른 3D 모자이크를 위한 응용이 될 수 있다.

도 2는 상기 시스템(100)에 대한 입력 이미지(200_n)와 상기 입력 이미지에 응답하여 시스템에 의해 발생된 출력 3D 모자이크(202)를 개략적으로 도시한다. 이미 언급된 바와 같이, 상기 입력 이미지는 일련의 장면 이미지이고, 각각의 이미지는 서로다른 뷰로부터의 장면을 묘사한다. 상기 시스템(100)은 이미지를 정렬하여 이미지 모자이크(204), 예를 들어 모든 이미지를 통해 연장하는 임의 파라메트릭한 표면을 따라 정렬된 이미지를 가지는 2차원 모자이크를 형성하기 위해 이들을 조합한다. 이미지 모자이크를 형성하는 정렬은 파라메트릭한 변환 파라미터와 평면 움직임 필드 둘다를 요구한다. 상기 이미지 모자이크에 부가적으로, 상기 시스템은 서로에 대한 그리고 파라메트릭한 표면에 대한 이미지 내의 3D 대상물과 관련있는 상기 움직임 필드를 포함하는 형상 모자이크(206)를 발생한다. 상기 형상 모자이크는 패럴랙스 움직임 필드(208)를 포함한다. 상기 평면 움직임 필드는 이미지로부터 이미지까지의 이미지로 나타나는 파라메트릭한 표면내의 움직임을 나타내는 반면, 상기 패럴랙스 플로우 필드는 파라메트릭한 표면에 관련한 장에서면의 3D 대상물의 패럴랙스에 기인하는 움직임을 나타낸다.

A. 나머지 패럴랙스 필드 결정

하나는 "기준" 카메라로 다른 하나는 "검사" 카메라(예를 들면, 도 1의 각각의 카메라(104₁와 104₂))로 표시되는 2개의 카메라 뷰를 고려하라. 일반적으로, 상기 이미지 처리 시스템은 식 1에 의해 표시된 강성 바디 변환을 사용하여 기준 카메라 좌표 시스템의 어떤 3D(3D) 포인트( )를 검사 카메라 좌표 시스템의 3D 포인트( )에 매핑한다.

상기 매핑 벡터는 변환( )에 의해 수반되는 회전(R) 또는 회전(R)에 의해 수반되는 변환( )에 의해 표현된다. 원근 투사법을 사용하여, 투사점(P)의 상기 이미지 좌표(x, y)는 식 2의 벡터( )에 의해 주어진다.

여기에서 f는 카메라의 초점 거리이다.

도 3은 기준 카메라에 의해 발생된 기준 이미지(302), 검사 카메라에 의해 발생된 검사 이미지(304) 및 이미지화된 장면내의 임의 파라메트릭한 표면(300)사이의 관계에 대한 기하학적 표현이다. S는 중요한 표면(실제 또는 가상 표면(300))을 나타내고, P는 S 상에 변위되지않는 장면내의 주변 포인트(예를 들면, 대상물의 위치)을 나타내며, O와 M은 각 카메라의 중앙 위치(초점)를 나타낸다고 하자. 상기 이미지(302) 상의 P의 이미지는 p이다. 광선(MP)은 위치(Q)에서 상기 표면(S)을 가로지른다. 상기 표면(S) 상의 모든 포인트를 정렬함으로써 상기 이미지(302와 304)를 정렬하는데 사용되는 일반적 왜곡 방법은 상기 이미지(304) 상의 P 이미지인 p'를 상기 이미지(302) 상의 Q 이미지인 q로 왜곡한다. 그러므로 나머지 패럭랙스 벡터는 선(PQ)의 이미지가 되는 pq이다. 도면에서 벡터 pq는 p를 통과하는 에피폴라(epipolar) 평면인 평면 OMP 상에 놓인다는 것은 명백하다. 이런 벡터가 상기 장면의 어떤 포인트(P)에 대해 발생되기 때문에, 모든 패럴랙스 벡터의 수집은 패럴랙스 변위 필드를 형성한다고 말할 수 있다. 각각의 이미지 포인트와 연관된 상기 패럴랙스 벡터가 이미지와 연관된 에피폴라 평면을 따라 놓이기 때문에, 상기 벡터는 에피폴라 필드로서 참조된다. 이런 필드는 방사형 구조를 가지고, 각각의 벡터는 공통 이미지의 공통 원점으로부터 2중의 "에피폴(epipole)"(확장 초점(FOE : focus of expansion))을 발산하는 것처럼 보인다. 도 3에서, 상기 에피폴은 포인트 "t"에 변위된다. 도 3으로부터, 에피폴 t는 이미지 평면(302)과 선 OM의 교차점에 놓인다는 것이 명백하다. 또한 상기 패럴랙스 변위 필드는 여기에서 단순히 패럴랙스 필드 또는 패럴랙스 움직임 필드로서 참조된다.

상기 나머지 패럴랙스 정보(예를 들면, 패럴랙스 필드)의 결정에서, 2개의 이미지는 일반적 파라메트릭한 움직임 평가 방법을 사용하여 파라메트릭한 표면을 따라 정렬(기록)된다고 가정된다. 또한 이런 정렬 방법은 종래 기술에 정렬 또는 기록의 "계층적인 직접 방법"으로서 공지되어 있다. 이런 하나의 방법은 1994년 11월 14일에 제출된 미국 특허 출원 일련번호 08/339,491에 개시되어 있다. 이하에 더 상세히 개시되는 것과 같이, 새로운 시스템이 파라메트릭한 표면을 따라 2개의 이미지를 정렬하기 위해 변환과 평면 움직임 필드를 결정할 때, 상기 시스템은 상기 장면의 대상물에 대한 파라메트릭한 표면의 높이를 표시하는 나머지 패럴랙스 정보를 결정한다.

B. 이미지의 등록

3D 장면을 정확하게 표현하기 위해 이미 개시된 일반적 원리를 사용하여, 상기 시스템은 평면과 패럴랙스 움직임 뿐만 아니라 이미지를 정렬하기 위한 변환 파라미터를 복원하여야 한다. 예시적으로, 상기 시스템은 개별적으로, 또는 순차적으로 변환 파라미터와 이미지내의 움직임을 결정하기 위하여 2가지 기술을 사용한다. 제 1 기술은 둘다의 카메라에 의해 이미지화되는 상기 장면내의 평면(파라메트릭한 표면)이 우선 8개 파라미터 평면 변환을 사용하여 등록되는 "순차적 등록" 접근법이다. 다음에 상기 나머지 패럴렉스 움직임은 개별적, 순차적으로 실행되는 단계를 사용하여 평가된다. 제 2 기술은 상기 시스템이 동시에 파라메트릭한 변환 뿐만 아니라 평면과 패럴랙스 움직임 필드를 평가히는 "동시 등록"이다.

ⅰ. 순차적 등록

도 4는 순차적 등록을 수행하여 패럴랙스 필드를 결정하기 위해 상기 시스템에 의해 실행되는 루틴(400)의 순서도를 도시한다. 상기 장면의 평면을 등록하기 위해, 상기 시스템은 계층적인 직접 등록 기술을 사용한다. 이런 기술은 평면내의 움직임에 대한 평면 플로우 필드 모델을 사용한다. 다수의 이미지가 단계 402에서 상기 시스템에 입력될 때, 상기 루틴은 2개의 순차적 단계를 수행하는데, 즉 상기 루틴은 단계 404에서 변환 파라미터와 움직임 필드를 결정하고, 단계 406에서 평면 움직임 필드를 유도하며, 변환 파라미터와 상기 패럴랙스 필드 둘다를 평가한다. 상기 루틴으로부터 얻어지는 결과는 상기 입력 이미지를 고려한 상관적인 정보, 예를 들어 평면을 따라 이미지를 정렬하기 위한 상기 변환 파라미터 및 상기 장면의 3D 기하학을 나타내는 상기 평면과 상기 패럴랙스 움직임 필드이다.

특히, 상기 장면의 포인트의 전체 움직임 벡터는 평면 표면 움직임(u_p, v_p)와 나머지 패럴렉스 움직임(u_r, v_r)에 기인하여 움직임 벡터의 합으로서 압축된다. 이와 같이, 이런 움직임 벡터는 식 3과 같이 나타낸다.

(u,v)=(u_p,u_v)+(u_r,u_r)

더욱이, 평면 표면(2차원)의 움직임 필드는 다음과 같이 표현된다.

여기에서,

T_2x, T_2y및 T_2z는 카메라 뷰 사이의 변환 벡터를 표시하고, Ω_x, Ω_y및 Ω_z는 각속도 벡터를 표시하고, f는 카메라의 초점 길이를 표시하며, N_2x, N_2y및 N_2z는 카메라 중앙으로부터 평면 표면에 대한 표준 벡터를 표시한다. 나머지 패럴랙스 벡터는 추가로 다음과 같이 표현된다.

여기에서 패럴랙스 크기 필드는 식 7에 의해 표현된다.

여기에서 H는 평면으로부터 중요한 포인트의 수직 거리이며, P_z는 중요한 포인트의 깊이이다(또한 종래에 범위로 참조된). 이미지의 각각의 포인트에서, 상기 패럴랙스 크기 필드(γ)는 기준 표면으로부터 대응하는 3D 포인트의 높이에 의해 직접 변하고 예를 들어 카메라 중앙으로부터의 거리인 상기 포인트의 깊이에 따라 역으로 변한다.

전체 움직임 필드를 결정하기 위하여, 순차적 접근은 우선 (u_p, v_p)에 대해 식 4를 풀고 다음에 (u_r, v_r)에 대해 식 3을 푼다. 거침-미세(coarse-to-fine) 반복 방식으로 정렬을 달성하기 위하여, 상기 입력 이미지는 다중 분해능 이미지 피라미드를 형성하기 위해 부표본화된다. 각각의 피라미드 레벨내에서, 이미지 정렬 매칭의 표시로서 사용되는 측정은 이미지상의 중요한 선택 영역에 걸쳐 집적되는 제곱된 차이(SSD : squared difference)의 합이다. 전형적으로, 상기 시스템은 초기에 선택된 영역으로서 완전한 이미지를 선택하고, 그후에 정렬 측정이 최소화될때까지 더 작은 영역을 반복적으로 선택한다. 정렬을 완성하기 위하여, 상기 정렬 측정은 2차 플로우 필드 파라미터(아래에 정의된)에 관련하여 최소화된다. 상기 SSD 에러는 이미지 영역내에서 상기 플로우 필드 평가를 측정한다.

여기에서 x=(x,y)는 이미지내의 포인트의 공간적 위치를 의미하고, I는 다중 분해능 피라미드 이미지 세기이며, u(x)=(u(x,y),v(x,y))는 이미지 영역내의 포인트(x,y)에서의 이미지 속도를 의미하고 {u}는 상기 영역내의 전체 움직임 필드를 의미한다. 상기 움직임 필드는 한 세트의 글로벌 및 국부적인 파라미터에 의해 변형된다.

이런 기술을 사용하여, 단계 410에서 상기 시스템은 우선 2개의 이미지 각각에 대한 다중 해상력 피라미드 표현(예를 들면, 라플라시안 또는 가우시안 피라미드)을 구성한다. 이후에, 단계 412에서 상기 루틴은 거침-미세 방식으로 2개의 이미지를 서로 정렬하는 움직임 파라미터를 평가하는데, 예를 들어 특별히 도시되지않더라도 상기 루틴은 거침-미세 정렬을 달성하기 위하여 피라미드의 레벨에 걸쳐 반복한다. 특히, 상기 루틴은 이전의 평면 움직임 필드 계산을 사용하여 이미지를 정렬하고 이미지 피라미드의 각각의 레벨에서 SSD를 최소화한다. 상기 루틴은 8개의 움직임 파라미터(p₁내지 p₈)와 2개의 이미지(예를 들면, "실제" 또는 물리적 표면)에서의 상당한 수의 화소를 포함하는 평면 표면내의 영역을 기준하여 얻어지는 움직임 필드를 평가한다. 특히, 상기 루틴은 약간의 초기 파라미터 값(전형적으로, 제로)으로 시작하고, 다음에 우선 거친 이미지 분해능으로 다음에 이미지 피라미드내에서 연속적으로 더 미세한 이미지 분해능으로 SSD 에러를 최소화하기 위해 상기 파라미터를 반복적으로 정련한다. 각각의 정렬 반복의 단계 이후에, 현재 파라미터 세트에 기초한 변환이 2개의 이미지 사이의 나머지 변위를 감소하기 위하여 검사 이미지에 적용된다. 상기 기준 및 검사 이미지는 선택된 이미지 영역(예를 들면, 물리적 평면내의 중첩 영역)이 "가시" 평면 표면을 따라 정렬되도록 등록된다. 상기 루틴은 단계 414에서 추가 계산 반복이 정렬을 달성하기 위해 필요한지의 여부를 질문한다. 상기 결정은 상기 SSD과 소정 임계 SSD 레벨의 비교에 기초된다. 추가 정렬이 요구된다면 단계 412로의 루틴 루프가 필요하다. 상기 이미지가 정확히 등록될 때, 상기 루틴은 단계 414로부터 단계 406로 진행한다.

단계 406에서, 상기 루틴은 변환 파리미터와 패럴렉스 필드를 계산하기 위하여 평면 플로우 필드 정보를 사용한다. 단계 418에서, 식 4에서 표현된 바와 같은 상기 (u_p, v_p)의 값은 단계 404에서 계산된 p₁내지 p₈의 평가된 값을 사용하여 계산된다. 다음에, (u_p, v_p)의 값과 식 6의 (u_r, v_r)의 식이 SSD 함수(식 8)로 치환된다. 다음에 식 8은 방향 변환 T_2(x,y,z)과 패럴랙스 벡터 필드(γ)에 대해 풀기 위해 최소화된다. 상기 루틴은 파라미터가 SSD를 최소화하기 위해 계산될 때 단계 420로부터 반복한다. 뚜렷하게 도시되지 않았더라도, 또한 상기 루틴은 충분한 변환 파라미터 정확성을 달성하기 위하여 피라미드 레벨을 통해 반복한다. 상기 SSD 가 충분한 레벨까지 최소화될 때, 상기 루틴은 단계 408에서 출력으로서 뱐환 파라미터, 평면 움직임 필드 및 패럴랙스 움직임 필드를 발생한다. 이런 값들은 이미지 피라미드의 여러 레벨을 사용하여 발생되고, 이와같이 이런 파라미터와 움직임 필드는 다중 분해능 피라미드로서 발생된다는 것에 유의하라. 그러므로, 상기 파라미터와 움직임 필드 피라미드는 3D 모자이크의 다중 분해능 피라미드를 형성하기 위해 직접 사용될 수 있다.

상기 시스템은 일반적으로 뚜렷한 평면 표면을 포함한 장면을 묘사하는 이미지를 정렬하기 위해 이런 순차적 등록 프로세스를 사용한다. 상기 프로세스의 결과는 2D 모자이크와 장면의 3D 기하학을 표현하는 움직임 필드를 형성하기 위해 평면을 따라 상기 이미지를 정렬하기 위한 한 세트의 변환 파라미터이다. 다시 말해서, 상기 시스템은 2단계 프로세스: 평면에 대한 등록(단계 404), 다음에 패럴랙스 정보 결정(단계 406)을 사용하여 3D 모자이크를 형성하는데 사용된다. 이런 2단계 프로세스는 플레인-댄-패럴랙스(P-then-P) 방법으로 불리운다.

ⅱ. 동시 등록

도 5는 2개의 이미지를 동시에 등록하고 패럴랙스 필드를 발생하기 위한 루틴(500)을 도시한다. 동시 등록 접근법에서, 상기 시스템은 동시에 식 3과 6에 정의된 바와 같이 전체 움직임 벡터의 (u_p,v_p)와 (u_r, v_r)을 푼다.

동시 등록 접근법을 사용하여, "실제" 평면 표면은 불필요하고; 그러므로 상기 이미지는 임의로 상기 이미지내에 놓이는 "가상" 평면 표면으로 등록될 수 있다. 이와 같이, 이런 접근법은 순차적 등록 접근법 보다 더욱 적응성 있다.

루틴(500)은 단계 402와 410이 이미지를 입력하고 그것으로부터 다중 분해능 피라미드를 구성한다는 점에서 루틴(400)과 동일한 방식으로 시작한다. 그후에, 단계 504에서 상기 루틴은 변환 파라미터, 평면 움직임 필드 및 패럴랙스 필드를 계산한다. 상기 결과는 단계 510에서의 출력이다.

특히, 식 3과 4의 (u,v)를 위한 식은 완전한 대상 함수를 얻기 위하여 식 5로 치환된다. 다음에 상기 얻어지는 함수는 동시에 평면 움직임 파라미터(p₁내지 p₈), 변환의 방향(T_2(x,y,z)및 이미지 피라미드의 각 레벨에서의 패럴랙스 필드(γ)에 대해 풀기 위하여 단계 504에서 SSD에 관련하여 최소화된다. 이와 같이, 이런 프로세스는 거침-미세 형태의 다중 분해능 이미지 피라미드를 사용하여 반복된다. 상기 피라미드의 거침 레벨에서 얻어진 결과는 다음 레벨에서의 계산을 위한 초기 평가로서 사용된다. 상기 피라미드의 각각의 레벨에서, 상기 계산은 SSD를 최소화하기 위해 반복된다. 그러나 각각의 반복에서의 결과는 계산 결과의 다중 분해능 피라미드를 형성하기 위해 저장된다. 예를 들면, 상기 프로세스는 변환 파라미터와 움직임 필드의 다중 분해능 피라미드를 형성한다. 단계 506를 통한 각각의 반복후, 상기 평가된 움직임 파라미터는 단계 508에서 표준화되고, 그결과 상기 평면 등록 파라미터는 최소 패럴랙스 필드(예를 들면, 2개의 카메라에 의해 이미지화된 3D 장면의 평균 평면)를 발생하는 수직 평면에 대응된다. 단계 510에서 발생된 결과는 2D 모자이크, 상기 평면과의 움직임을 표시하는 평면 움직임 필드, 및 상기 평면에 놓이지않는 장면의 대상물을 표시하는 패럴랙스 벡터 필드를 형성하기 위해 상기 평면을 따라 이미지를 정렬하기 위한 한 세트의 변환 파라미터이다. 다시 말새서, 상기 시스템은 한 단계 프로세스: 동시적인 평면에 대한 등록과 패럴랙스 정보의 결정을 사용하여 3D 정렬을 발생한다. 이런 한 단계 프로세스는 플레인-앤드-패럴랙스(P-and-P) 방법으로 불리운다.

ⅲ. 순차적 및 동시 이미지 등록의 조합

도 6은 본 발명의 시스템(100)의 기능적 블록도를 도시한다. 상기 입력 이미지는 이미지 저장기(600)에 임시 저장된다. 우선, 상기 시스템(100)은 기준 및 검사 이미지를 등록하고 패럴렉스 필드의 평가(도 4의 루틴 400에 따라 동작하는 P-then-P 등록 프로세서(602))를 제공하기 위해 순차적 등록을 사용한다. 둘째, 상기 시스템은 추가 이미지 정렬과 정밀한 패럴랙스 필드(도 5의 루틴 500에 따라 동작하는 P-and-P 등록 프로세서(604))를 제공하기 위해 동시 등록을 사용한다. 어느 한 쪽의 프로세서(602 또는 604)가 정확성의 소정 측정(예를 들면, 최소 SSD)내에서 정확하다고 간주되는 파라메트릭한 표면을 위한 플로우 필드를 발생한다면, 상기 시스템은 이미지 처리를 중단하고 3D 모자이크 발생을 시작한다. 예를 들면, 간단한 모양의 대상물을 포함하는 장면에서, 상기 P-댄-P 처리는 상기 장면의 3D 모자이크를 정확히 발생하기에 충분하다. 많은 패럴랙스 대상물을 가지는 더욱 복잡한 장면은 정확한 3D 모자이크를 발생하기 위해 이미지 처리의 둘다의 형태를 요구할 수 있다. 일반적으로, 정렬 품질은 검사와 기준 이미지 사이의 표준 플로우 필드의 크기를 계산함으로써 테스팅된다. 소정 임계값(예를 들면, 0.5) 이상의 표준 플로우을 가지는 파라메트릭한 표면의 영역은 정렬되지않아 순차적 프로세서에 의해 추가 처리될 때 라벨링된다. 이런 영역이 최소(deminimus) 크기를 얻는다면, 상기 시스템은 정렬된 이미지라고 간주하여 다음 프로세서는 실행되지 않는다.

상기 2개의 프로세서의 출력은 변환 파라미터와 움직임 필드이다. 3D 모자이크 발생기(606)는 3D 모자이크를 형성하기 위해 입력 이미지를 상기 변환 파라미터 및 움직임 필드와 조합한다. 이미 정의된 바와 같이, 상기 3D 모자이크는 이미지 모자이크와 형상 모자이크를 포함하는데, 상기 이미지 모자이크는 상기 이미지에 의해 표현된 장면의 파노라마 뷰이고 상기 형상 모자이크는 상기 파노라마 뷰내의 장면의 3D 기하학을 표시한다.

다음에 상기 3D 모자이크는 이미 개시된 기본 시스템의 여러 확장 및 응용(참조번호 608)에 사용될 수 있다. 상기 시스템의 확장과 응용은 아래에서 상세히 개시된다.

C. 발명의 확장

본 발명의 실용성을 증진하는 다수의 최적의 프로세스가 있다. 첫 번째는 새로운 뷰 포인트로터 현존하는 모자이크로 취해진 새로운 이미지를 합치하는 단순한 기술을 제공하는 포즈 평가 루틴이다. 제 2 확장은 현존하는 모자이크를 상기 모자이크에 의해 표현된 장면의 새로운 이미지와 조합함으로써 새로운 3D 모자이크를 발생하기 위한 기술이다. 제 3 확장은 3D 모자이크내의 교합을 검출하고 처리하기 위한 기술이다.

i. 포즈 평가

도 7은 포즈 평가 루틴(700)의 순서도이다. 기준 및 검사 이미지가 주어지면, 시스템은 이미지를 정렬하고, 기준 이미지 모자이크와 기준 형상 모자이크를 형성하기 위하여 상기한 바와 같이 P-then-P 프로세스 및/또는 P-and-P 프로세스를 이용하여 패럴랙스를 결정한다. 이어서 기준 모자이크는 3D 장면의 초기 표현으로서 기능한다. 기준 이미지 및 형상 모자이크는 단계 702에서 입력되어 단계 704에서 다중 분해능 피라미드로 전환된다. 기준 모자이크가 피라미드로서 제공되면, 단계 704는 무시될 수 있다. 단계 708에서 이미지 피라미드로 전환된 새로운 뷰 포인트(단계 706)로부터 취해진 장면의 새로운 이미지가 주어지면, 루틴은 단계 710에서 기준 모자이크를 구성하기 위하여 사용된 기준 뷰에 대하여 새로운 뷰 포인트의 포즈를 계산한다. 새로운 이미지의 포즈는 11개의 포즈 파라미터, 즉 8개의 평면 움직임 파라미터(p₁내지 p₈)와 3개의 평행이동 파라미터(T_2(x,y,z))로 나타난다. 포즈 파라미터를 계산하기 위하여, 시스템은 이미지를 등록하기 위하여 앞서 사용된 직접 계층적인 기술을 다시 사용하며 SSD가 소정치에 이를 때 까지 단계 712를 통해 반복된다. 특히, 패럴랙스 필드 γ가 주어지면, 식 8은 11개의 포즈 파라미터를 평가하기 위하여 식 3을 사용하여 최소화된다. 등록이 상기한 바와 같이 접근되면, 새로운 이미지는 새로운 이미지 및 장면의 3D 표현의 이미지 피라미드에 걸쳐 거침-미세 등록 프로세스를 사용하여 정렬된다. 포즈 평가 루틴의 결과는 평행이동 파라미터, 평면 움직임 필드, 및 새로운 이미지에 대한 패럴랙스 움직임 필드이다. 이 결과, 새로운 이미지는 다음에 기술되는 바와 같이 3D 모자이크내로 통합될 수 있다.

ii. 3D 수정된 모자이크 발생

포즈 평가를 사용하고 서로 장면의 복수의 이미지에 관한 3D 모자이크가 주어지면, 시스템은 그것이 이용가능하게 될 때 기존의 모자이크를 새로운 이미지 정보로 갱신할 수 있다. 새로운 이미지로부터 기존의 모자이크로 정보를 통합하는 프로세스는 3D 모자이크를 수정하는 것으로 공지되어 있다.

상기한 바와 같이, 3D 모자이크는 두 부분, 즉 장면의 다양한 이미지의 집합을 나타내는 모자이크 이미지, 및 상기 뷰에 상응하는 패럴랙스 맵(형상 모자이크)을 포함한다. 패럴랙스 맵은 그 자체가 서로 다양한 이미지에 관련한 패럴렉스 맵을 배열함으로써 생성된다는 것을 주지한다. 3D 수정된 모자이크를 구성하기 위하여, 새로운 이미지는 기존의 모자이크로 등록되며 이어서 새로운 이미지 정보는 기존의 모자이크내로 병합된다. 병합된 이미지 및 모자이크는 다음의 새로운 이미지에 대하여 기존의 모자이크가 되는 수정된 모자이크가 된다.

도 8은 3D 수정된 모자이크를 구성하기 위한 루틴(800)의 순서도이다. 단계 802에서, 시스템은 기존의 3D 모자이크가 공급되며, 이어서 모자이크 어셈블리 프로세스가 다음과 같이 진행된다:

1. 단계 804에서, 카메라는 기존의 모자이크에서 나타난 장면의 새로운 이미지를 제공한다. 새로운 이미지는 장면의 새로운 뷰 포인트로부터 취해진다.

2. 단계 806에서, 루틴은 기존의 모자이크를 새로운 이미지에 등록하는 11개의 포즈 파라미터를 계산하기 위하여 포즈 평가 프로세스를 사용한다.

3. 단계 808에서, 루틴은 평가된 포즈 파라미터를 사용하여 기존의 이미지 모자이크를 투사함으로써 새로운 뷰 포인트로부터 취해진 합성 이미지를 생성한다. 투사는 식 3을 사용하여 기존의 이미지 모자이크를 순방향으로 왜곡시킴으로써 달성된다. 순방향 이미지 왜곡으로부터 일어나는 합성 이미지에서 어떤 홀이 발생하는 것을 피하기 위하여, 루틴은 종래 「Wolberg, Digital Image Warping, IEEE Computer Society Press, Los Alamitos, California(1990)」에 기술되어 있는 바와 같이 제 2 이미지를 슈퍼샘플링한다. 투사는 이미지내의 교합(occlusion)에 민감하여야 한다. 교합 검출 및 처리는 다음에 기술된다.

새로운 이미지는 기존의 이미지 모자이크에 등록될 수 있으며 새로운 이미지는 기존의 이미지 모자이크로 왜곡되게 된다는 것을 주지해야 한다. 그러나, 이러한 왜곡을 달성하기 위하여, 새로운 이미지에 관한 패럴랙스 정보는 새로운 이미지를 정확하게 왜곡하고 장면의 3D 기하를 포착하는데 필요하다. 필요한 패럴랙스 정보를 발생하기 위하여, 모자이크내에 병합된 이전의 이미지는 메모리에 일시적으로 저장되고 새로운 이미지에 대하여 패럴랙스 정보를 발생하기 위하여 기준 이미지로서 사용되며, 또는 두 개의 새로운 이미지 및 그 각각의 패럴랙스 필드는 단계 804에서 제공된다. 예를 들면, 새로운 이미지가 모자이크로 왜곡되면, 새로운 이미지는 패럴랙스 필드가 제공되어야 한다. 이것은 기존의 모자이크가 새로운 이미지로 왜곡될 경우에는 필요하지 않다. 도 8은 모자이크를 이미지로 왜곡시키기 위한 프로세스만을 도시한다.

4. 단계 810에서, 루틴은 새로운 모자이크를 생성하기 위하여 합성 이미지를 새로운 이미지로 병합한다. 이 새로운 모자이크는 기존의 모자이크로서 경로(814)를 따라 공급된다. 합성 이미지는 이미지 영역을 포함하지만 새로운 이미지에는 존재하지 않는다. 이들 새로운 영역들은 새로운 이미지에 부가되고 새로운 3D 모자이크를 생성하기 위하여 그 경계를 확장한다. 병합 프로세스에서, 원활한 모자이크 구성을 달성하기 위하여, 루틴은 합성 이미지 및 새로운 이미지 영역에서 공통적인 영역의 세기를 일시적으로 평균할 수 있다.

새로운 뷰 포인트에 대한 형상 모자이크를 구성하기 위하여, 시스템은 기존의 이미지 모자이크가 투사되었던 방법과 동일한 방법으로 기존의 형상 모자이크를 새로운 이미지 좌표 시스템으로 순방향 왜곡시킨다. 기존의 이미지 모자이크와 새로운 이미지 사이의 포즈 파라미터가 주어지면, 새로운 이미지에서 뿐만아니라 기존의 모자이크에서도 볼 수 있는 기존의 3D 모자이크의 이들 부분의 형상 모자이크가 평가될 수 있다. 투사된 형상 모자이크는 새로운 뷰 포인트에서 볼 수 있는 바와 같이, 3D 모자이크를 완료하기 위하여 부가적인 패럴랙스 정보와 병합된다.

5. 단계 812에서, 루틴은 새로운 뷰 포인트로부터 볼 수 있는 바와 같이, 수정된 3D 모자이크를 디스플레이한다. 이와 같이, 새로운 이미지 정보는 기존의 3D 모자이크내로 통합된다.

iii. 교합 검출 및 처리

교합에 기인하여, 합성 이미지의 생성에 있어서(상세하게 기술하였음) 제 2 이미지에서 하나이상의 이미지는 합성 이미지내의 동일한 포인트로 투사될 것이다. 도 9에서 도시된 바와 같이, 포인트 P,Q 및 R은 검사 이미지(304)를 동일한 포인트에 모두 투사한다. 검사 이미지에 관한 각 포인트의 깊이가 공지되었을 경우, 포인트 P 및 Q는 포인트 R에 의하여 교합된다는 것도 공지된다. 즉, 검사 카메라의 뷰 포인트로부터, 포인트 P 및 Q는 박스(900)의 코너에 의해 교합된다. 그러나, 패럴랙스 맵은 각 포인트의 상대 깊이를 감소시키는데 필요한 정보를 포함하지 않는다. 그럼에도 불구하고, 상대 깊이 정보는 기준 이미지(302)에서 이미지 포인트 p,q 및 r의 상대 위치로부터 유도될 수 있다. 이미지(302)에서의 이 포인트들은 이미지내의 에피폴라 라인(902)에 놓여져야 한다. 라인(904)과 각 이미지(카메라)의 초점 포인트 O 및 P를 연결함으로써, 에피폴 m은 라인(902)상에 한정된다. 초점 포인트 M가 초점 포인트 M보다 더 가까운 장면이라고 가정할 때, 라인(902)상의 포인트 m으로부터의 포인트의 순서는 교합된 포인트를 식별한다. 이 예에서, 포인트 r은 포인트 P, Q 및 R과 같이 포인트 p 및 q를 진행한다. 그러나, 초점 포인트 O가 초점 포인트 M보다 더 가까운 장면에 있으면, 교합된 포인트의 순서는 반전되고 교합된 포인트는 라인(902)상에서 포인트 m에 가장 가까이 있게 된다. 시스템은 이미지내에 교합된 포인트를 결정하기 위한 비교적 간단한 기술을 사용한다. 한번 인식되면, 교합된 포인트는 이미지로부터 삭제되거나 필터링되거나 또는 교합된 포인트에 의해 발생된 잠재적인 인위 구조가 피해지도록 처리될 수 있다.

D. 3D 모자이크에 대한 적용

상기 내용은 적어도 두 개의 이미지를 단일 3D 모자이크와 결합시키는데 사용된 이미지 처리 시스템을 기술하였다. 이와같이 비디오 정보를 나타내기 위한 동적 시스템은 많이 적용되고 있으며, 다음에 기술되는 것은 그중 일부이다.

i. 대상물 높이 평가

일반적으로, 패럴랙스 플로우 벡터는 높이와 비례하고 깊이와는 반비례하며, 그 깊이는 카메라로부터의 대상물의 간격이다. 이와같이, 그라운드상의 대상물의 공중 뷰(aerial view)로부터 발생된 3D 모자이크는 지구 표면위의 대상물의 높이를 평가하는데 사용될 수 있다. 파라메트릭한 표면(지구 표면)으로부터 깊이를 제거하고 대상물 높이를 평가하기 위하여, 본 발명 시스템은 공중 뷰 이미지의 특성(이하 공중뷰 성질이라 함)을 사용하는데 작용된다. 특히, 카메라로부터 대상물까지의 깊이는 일반적으로 그라운드로부터 대상물의 높이보다 더 크다. 천저 공중 이미지에있어서, 모든 포인트의 깊이는 약한 원근 투사가 대상물 높이를 평가하는데 사용될 수 있도록 거의 동일하다. 이에 반하여, 경사 뷰(oblique view)에 있어서는, 소정의 이미지에 걸쳐 깊이 변화가 상당할 수 있다. 그러나, 경사 공중 이미지에서 어떤 단일 포인트에 대하여, 상기 이미지의 깊이는 카메라로부터 가시광선의 라인을 연장하고 그것을 그라운드 평면과 교차시킴으로써 얻어진 가상 3D 포인트의 거의 동일한 깊이이다. 그러므로, 시스템은 그라운드 평면의 식을 평가함으로써 패럴랙스 식 4 및 5에서 깊이를 인수분해할 수 있다.

본 발명의 이미지 처리 시스템에 대한 특정 적용은 높이의 기호를 추론하기 위한 플로우 벡터의 방향과 높이의 크기를 추론하기 위한 변위 벡터의 크기를 사용한다. 높이의 기호는 포인트가 평면 위 또는 아래인지를 지시한다. 다음 접근을 위하여, 변환이 이미지 평면과 평행한 경우에 대한 변위벡터의 크기 는 식 9에 의해 주어진다.

T_1z≠0인 경우에 대한 변위 벡터의 크기는 식 10에 의해 주어진다.

는 확장의 초점(FOE)으로부터 포인트(x_w,y_w)의 변위이다.

이기 때문에, 공중 뷰 성질을 사용하면 식 9 및 10은 식 11로 감소될 수 있다.

I=γ₂/γ_F는 정렬 파라미터와 평가된 패럴랙스 벡터로부터 얻어진 측정치이며 S는 변환 벡터 T₁및 간격 T_2⊥에 의존하는 비례 인자이다. 식 11은 임의의 이미지 포인트의 높이 H를 구하기 위하여 식 12로 다시 기록될 수 있다.

K는 성분 K₁=SN_2X, K₂=SN_2X및 K₃=fSN_2Z를 갖는 미지의 벡터이다.

높이 평가 계산을 가장 용이하게 하기 위하여, 초점 길이 및 이미지 중심과 같은 순수 카메라 파라미터들은 표준 기술을 이용하여 결정되어야 한다. 그러나, 일부 적용에 있어서, 카메라 파라미터를 교정할 수도 없을 뿐만아니라 이들 파라미터를 연역적으로 얻을 수도 없다. 이와 같이, 다수의 교호적인 평가방법은 초점 길이 및/또는 이미지 중심이 공지이거나 미지일 경우에 높이를 평가하는 것을 개선하였다.

만일 초점 길이 및 중심이 둘다 알려지지 않고 적어도 3개의 포인트(기준포인트)의 높이가 알려진다면, 식 12는 선형 추정벡터 에 의해 해결될 수있다.

만일 초점길이 및 카메라 중심이 둘다 알려진다면, 정규 평면이 식 12를 사용하여 추론된다. 이 식은 평면의 평행이동, 회전 및 법선에 대한 2차 등록 파라미터와 관련이 있으며, 평행이동 방향은 의사 파라메트릭한 나머지 추정동안 계산된다. 식 10과 함께 평행이동 방향은 6개의 미지수, 즉, 법선 벡터 N 및 회전 벡터를 포함하는 선형 세트의 8개의 식을 제공한다. 식 9에서 사용된 평행이동이 T₂인 반면에 패럴랙스 플로우 벡터를 위해 계산된 평행이동이 T₁이기 때문에, 파라미터 p₁내지 p₈에 의해 한정된 2차 변환은 반전된다. 선택적으로, 역 2차 변환은 패럴랙스 벡터 추정동안 두 개의 이미지를 서로 교환함으로써 직접 추정될 수있다. 평행이동 벡터는 소정 스케일링 벡터에 의해 결정된다. 이처럼, 적어도 하나의 포인트의 높이는 3D 모자이크 또는 임의의 구성 이미지(실상 또는 허상)에서 각각의 다른 포인트의 높이를 결정하기 위해 필요하다.

초점 길이가 알려지지 않고 이미지 중심이 알려질 때 이미지 포인트의 높이를 결정하기 위해서, 식 12은 장면에서 두 개의 포인트의 알려진 높이를 사용하여 해결된다. 초점 길이가 알려지지 않을 때, 식 8에 의해 주어진 모든 8개의 파라미터를 이용하는 것이 가능하다. 그러나, 선형 파라미터 p₁내지 p₄는 초점 길이에 따르지 않으며, 이들 파라미터에 적합한 식 10이 사용될 수있다. 이들 식을 검사할 때, T_z=0이면 법선 성분 N_z은 결정되지 않는다. 그러나, 성분 N_x및 N_y은 스케일링 벡터에 의해 결정된다. 초점 길이가 알려지지 않았기 때문에, 이 결과는 T_z≠0인 경우 동안 참이다. 이와같이, 평행이동 벡터는 벡터의 스케일링된 버전[fT_xfT_yT_z]이다. 따라서, T_z가 제로인지의 여부에 따라, 본 방법은 벡터 N 및 다음 벡터 K중 적어도 하나의 성분을 결정할 수있다. 본 방법은 모자이크에서 임의의 포인트의 높이 및 벡터 K를 결정하기 위하여 적어도 두 개의 이미지 포인트의 높이 및 식 12를 사용한다.

전술한 기술은 평면(접지 평면)상에 놓인 다수의 대상물의 높이를 결정하기 위하여 실험적으로 사용되었다. 도 10은 실험적인 셋업을 개략적으로 도시한다. 특히, 카메라(1000)는 다양한 형태의 대상물(1006)이 배치되는 평평한 평면(1004)에 근접한 트라이포드(1002)상에 장착된다. 대상물은 평면위에서 1 인치 내지 4.9인치의 높이에 있다. 초기에, 이미지는 수평에 대해 35도의 각도에서 그리고 평면, 즉 위치 1위에서 대략 69인치 높이로 카메라에 의해 포착된다. 다음에, 카메라는 위치 2에서 대략 4인치까지 y-z 평면에서 전방으로 이동된다. 위치 2에서는 제 2 이미지가 포착된다. 전술한 높이 추정기술은 위치 2(검사 이미지)로부터의 이미지를 위치 1(기준 이미지)에서 포착된 이미지로 등록한다음 다양한 대상물의 높이를 결정하기 위해 사용된다. 초점 길이, 카메라 중심 및 3개의 포인트의 높이를 알지않고, 본 방법은 전체 장면의 높이를 결정했다. 각 대상물의 실제 높이와 비교할 때, 추정된 높이에 대한 가장 큰 표준편차는 0.2인치이다.

제 2 실험에서, 검사 이미지는 위치 3, 예를들어 위치 1로부터 x축을 따라 옆으로 대략 4인치로 카메라를 이동시킴으로써 발생된다. 본 방법은 이미지를 등록하여 높이 맵을 발생시키기 위해 다시 사용된다. 이 실험의 결과는 0.27인치의 가장 큰 표준편차를 나타낸다.

전술한 높이 추정 프로세스는 3개의 장면, 즉 (1) 카메라 정보가 알려지지 않을 때, (2) 카메라 초점길이가 알려지고 카메라 중심이 알려지지 않을때(역도 성립함) 및 (3) 양 카메라 중심 및 초점 길이가 알려질때의 상황에서 논의되었다. 그럼에도 불구하고, 제 1 및 제 2 장면에서, 전술한 식은 높이를 해결하는 가정을 사용하지 않기 위하여 약간 수정될 수있다.

두 개의 이미지의 모자이크내에서 대상물의 높이를 찾기 위해 사용된 전술한 기술은 두 개 이상의 이미지로 이루어진 모자이크에서 높이 정보를 결정하기 위해 확대 해석될 수있다. 멀티프레임 기술은 모든 이미지를 단일 기준 이미지로 등록하는 배치방법과 모든 이미지를 통해 확장하는 단일 기준 평면을 이용한다. 일단 모든 이미지가 평면을 따라 정렬되면, 본 방법은 각 쌍의 이미지 프레임사이의 나머지 패럴랙스 변위벡터를 계산한다. 높이 맵은 추정된 나머지 패럴랙스 변위벡터의 시퀀스로부터 추론된다.

이 계산을 달성하기 위하여, 식 11은 식 13으로써 다시 쓰여질 수있다.

여기서, I_i및 S_i은 프레임당 각각 변화하며, 식의 우측은 전체 이미지 시퀀스 전반에 걸쳐 일정하다. 이와같이, I_i및 S_i는 모자이크 전반에 걸쳐 불변량이다.

N 검사 프레임의 시퀀스 및 이미지 평면에 대한 주어진 3개의 이미지 포인트의 높이를 사용하여, 본 방법은 N+3 미지수 값, 즉 N S_i항 및 벡터 K를 포함하는 3N 선형 식을 해결한다. 먼저, 본 방법은 N+3 미지수 값에 대한 해결책을 찾은다음, 모자이크에서 다른 포인트의 높이를 추정하기 위하여 식 13을 해결하는 값을 이용한다. 만일 초점 길이 및/또는 이미지 중심이 알려진다면, 식은 하나 또는 두 개의 알려진 이미지 높이값만을 사용하여 해결될 수있다.

이미지 높이 계산은 포토그라픽 매핑 정보를 발생시키기 위하여 3D 보정 모자이크 루틴과 결합될 수있다. 예를들어, 전술한 높이 추정 시스템은 지형의 높이 맵을 발생시키기 위하여 사용되며, 3D 보정 모자이크 루틴은 보정 3D 모자이크를 발생시키기 위하여 높이 맵을 발생시키는데 사용되는 동일한 이미지를 사용한다. 그다음에, 예를들어 지형에 수직한 새로운 뷰는 합성되며, 높이 맵은 보정될 수있다(새로운 뷰에 따라 변경된다). 이와같이, 높이 맵은 장면의 임의의 뷰포인트로부터 발생될 수있다. 결과적으로, 장면의 사각에서 포착되는 이미지는 직교 뷰포인트로부터 장면의 이미지로 변환될 수있으며, 높이 정보는 새로운 뷰포인트로부터 발생될 수있다.

ii, 합성 뷰 발생(트위닝)

일반적으로 말해서, 3D 장면을 나타내는 기존의 3D 모자이크와 이 모자이크에 대한 새로운 뷰포인트의 포즈가 주어질 때, 시스템은 장면의 합성 이미지를 추론할 수있다. 이와같이, 장면의 다른 뷰포인트를 가진 다른 카메라를 사용하여 장면을 포착함으로써, 시스템은 카메라의 뷰포인트와 다른 뷰포인트로부터의 장면의 뷰인 이미지를 합성할 수있다.

도 11은 스튜디오의 3D 모자이크 표현을 발생시키는데 사용된 3D 스튜디오(1100)내의 카메라의 하드웨어 구조를 도시한다. 스튜디오는 시스템에 의해 기록될 수 있는 한 형태의 3D 장면을 단순히 나타낸다. 물론, 그것은 임의의 3D 장면으로 교환될 수있다. 전술한 3D 모자이크 발생 프로세스는 장면을 나타내는 하나 이상의 모자이크를 발생시키기 위해 장면의 다수의 이미지를 사용한다. 이와같이, 다수의 1피트×1피트 스퀘어를 한정하는 2차원 그리드(1102)는 스튜디오에 근접한 영역내에 카메라의 위치를 한정시키기 위하여 사용된다. 일반적으로, 특정 크기의 그리드 스퀘어, 즉 다수의 카메라 위치는 장면의 복잡성에 따라 변화할 것이다. 또한, 그리드의 모양은 기록된 장면의 형태에 따라 변화할 것이다. 예를들어, 스포트 이벤트와 같은 임의의 장면은 그리드에 의해 제한될 수있다.

모자이크에 대한 이미지를 발생시키기 위하여, 카메라(1104)는 각각의 그리드 시퀀스로부터 이미지(또는 일련의 이미지, 즉 비디오)를 기록한다. 이미지는 다수의 뷰포인트로부터 다수의 이미지를 발생시키기 위하여 각 그리드 스퀘어에 대한 다양한 카메라 팬, 타이틀, 회전 및 줌 위치에서 전형적으로 기록된다. 전술한 이미지 처리 시스템은 각 카메라 위치에서 기록된 다양한 이미지로부터 3D 모자이크를 발생시킨다. 유사하게, 3D 모자이크는 각각의 그리드 포인트에서 다른 카메라 위치에 대해 발생된다. 예를들어, 3D 모자이크(1106, 1108, 1110)(단지 이미지 모자이크 부분이 기술됨)는 그리드 위치(1112, 1114, 1116)로부터 기록되는 장면을 나타낸다. 이들 3D 모자이크는 예를들어 위치(1120)로부터 보여지는 장면을 나타내는 합성 이미지(1118)를 발생시키기 위해 병합된다. 합성 뷰포인트에서 발생된 이미지는 "실제" 카메라 뷰포인트가 아니라, 다양한 모자이크에 포함된 정보로부터 합성된다.

본 발명의 시스템은 두 개의 프로세스중 하나를 사용하여 합성 이미지를 발생시킨다. 장면의 합성 이미지 뷰를 발생시키기 위해 사용된 제 1프로세스는 합성 뷰포인트의 위치(예를들어, 위치(1120))에 대한 각각의 개별 모자이크(예를들어, 모자이크(1106, 1108, 1110))를 왜곡시킨다. 따라서, 각 3D 모자이크가 각 그리드 포인트에 발생되기 때문에, 3D 모자이크는 연관된 그리드 포인트와 관련하여 메모리(모자이크 기억장치(1122))에 기억된다. 새로운 뷰포인트 위치가 주어지면, 모자이크는 새로운 뷰포인트로부터 장면을 나타내는 합성 이미지를 발생시키기 위해 메모리로부터 재호출된다. 이미징된 장면의 복잡성에 따라, 시스템은 메모리내의 각각의 3D 모자이크 또는 이 모자이크의 일부 부세트를 재호출할 수있으며, 예를들어 새로운 뷰 위치에 가장 근접한 모자이크만을 재호출할 수있다. 새로운 뷰 발생기(1124)를 사용하면, 각각의 재호출 3D 모자이크는 새로운 뷰포인트 위치(예를들어, 위치(1120))에서 왜곡되며, 모자이크는 새로운 뷰 이미지(1118)를 형성하기 위해 병합된다. 이미지 병합은 전형적으로 새로운 뷰 이미지를 형성하기 위해 사용된 다양한 모자이크의 화소를 평균함으로써 달성된다. 그러나, 이미지 병합의 다른 형태는 이미 공지되어 있으며 3D 모자이크에 공급될 수있다. 새로운 뷰 발생기에 의해 발생된 결과는 장면(1100)의 새로운 뷰(예를들어, 이미지(1118))이다.

제 2프로세스는 이전에 발생된 3D 모자이크의 위치에서 각각의 카메라 뷰 3D 모자이크를 왜곡시킨다. 예를들어, 카메라 위치(1112)로부터의 3D 모자이크(1106)가 먼저 발생된다음, 카메라 위치(1114)로부터 발생된 모자이크(1108)는 위치(1112)의 좌표 시스템에서 왜곡되며, 그다음에 카메라(1118)에 의해 발생된 모자이크(1110)는 위치(1112)의 좌표 시스템에서 왜곡된다. 이와같이, 장면의 합성 3D 모자이크(특별히 도시되지 않음)는 기준 좌표 시스템(예를들어, 위치(1112))로부터 보여지는 것처럼 다양한 3D 모자이크를 결합함으로써 발생된다. 물론, 임의의 좌표 시스템은 기준 좌표 시스템으로써 사용될 수있다. 물론, 임의의 좌표 시스템은 기준 좌표 시스템으로써 사용될 수있다. 또한, 이미징된 장면에 따라, 각각의 그리드 포인트에서 발생된 일부 3D 모자이크는 합성 모자이크를 발생시키기 위해 사용될 수있다. 그다음에, 장면의 임의의 합성 뷰는 합성 뷰의 좌표 시스템, 예를들어 위치(1120)에서 합성 3D 모자이크를 왜곡시킴으로써 발생될 수있다. 이 결과는 장면의 새로운 뷰(1118)이다.

iii. 장면 변화 검출

본 발명의 시스템은 움직임 이미지화 장치(예를들어, 카메라)를 통해 장면을 모니터링하여 장면의 변화를 검출하기 위해 사용될 수있다. 이미지의 시퀀스중 임의의 장면에 대해 또는 3D 모자이크에 부가될 임의의 새로운 이미지에 대해, 시스템은 P-then-P 프로세스, P-and-P 프로세스 또는 포즈 추정을 사용하여 시퀀스에서 이전 이미지 및 다음 이미지를 선택된 이미지와 비교한다. "실제" 움직임 대상물을 나타내는 변화의 "최종" 영역은 이전 이미지 및 다음 이미지에 대한 비교시 나타나는 영역이다. 시스템은 뷰포인트 변화에 의해 발생되는 변화의 모든 다른 영역, 즉 패럴렉스를 고려한다. 이 단순한 휴리스틱은 추측 및 교합과 같은 뷰포인트에 따르는 변화의 많은 영역을 제거할 때 바람직하게 동작한다.

iv. 다른 응용

3D 모자이크는 2D 모자이크가 현재 사용되고 있는 응용에 사용될 수있다. 특히, 이미지 리던던시가 이미지의 시퀀스를 모자이크에 결합함으로써 제거되기 때문에, 모자이크는 비디오 전송, 비디오 기억, 비디오 검색, 비디오 해석 및 비디오 조작에 사용될 수있다. 모자이크를 사용함으로써, 비디오 데이터는 덜 전송되거나, 덜 기억되며, 또는 덜 해석될 수있다. 이와같이, 본 발명의 시스템에 의해 발생된 3D 모자이크는 이미지 정보가 효율적으로 조작되고, 기억되며 및/또는 전송될 필요가 있는 많은 응용에 사용할 것이다.

당업자는 본 발명의 권리범위를 벗어나지 않고 본 발명을 변형할 수있다. 따라서, 본 발명은 청구범위의 사상 및 범위에 의해서만 제한된다.

Claims

장면의 3차원(3D) 모자이크를 발생하기 위하여 다수의 이미지를 처리하기 위한 방법에 있어서,

상기 장면의 다수의 이미지를 제공하는 단계; 및

이미지 모자이크와 형상 모자이크를 포함하는 상기 3D 모자이크를 구성하기 위하여 상기 이미지를 등록하는 단계를 포함하며, 상기 이미지 모자이크는 상기 장면의 파노라마 뷰를 표시하고 상기 형상 모자이크는 상기 장면의 3차원 기하학을 표시하는 것을 특징으로 하는 방법.
제 1항에 있어서, 상기 등록 단계는,

등록된 이미지를 형성하기 위해 파라메트릭한 표면을 따라 상기 다수의 이미지의 각 이미지를 등록하는 단계;

상기 등록된 이미지에 응답하여 상기 파라메트릭한 표면을 따라 상기 이미지를 정렬하는데 유용한 변환 파라미터 및 파라메트릭한 움직임 필드를 결정하는 단계; 및

상기 장면내의 대상물의 패럴렉스를 표시하는 패럴랙스 필드를 발생하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 2항에 있어서,

상기 다수의 이미지를 다수의 다중 분해능 피라미드로 변환하는 단계를 더 포함하는데, 각각의 이미지 피라미드는 다수의 레벨을 포함하며; 및

상기 등록 단계와 움직임 필드 결정 단계는 상기 다수의 이미지가 소정의 정확도까지 등록될때까지 다중 분해능 피라미드내에서 상기 레벨의 각각에 걸쳐 반복되는 것을 특징으로 하는 방법.
제 1항에 있어서, 상기 등록 단계는,

상기 등록된 이미지를 형성하기 위해 파라메트릭한 표면을 따라 상기 다수의 이미지의 상기 이미지를 동시에 등록하고, 상기 등록된 이미지에 응답하여 상기 파라메트릭한 표면을 따라 상기 이미지를 정렬하는데 유용한 변환 파라미터와 파라메트릭한 움직임 필드를 결정하며, 상기 파라메트릭한 표면내에 놓이지않는 대상물의 패럴랙스를 표시하는 패럴랙스 필드를 발생하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,

상기 이미지 모자이크와 상기 형상 모자이크를 다중 분해능 피라미드로 변환하는 단계;

새로운 이미지를 다중 분해능 피라미드로 변환하는 단계; 및

상기 새로운 이미지를 상기 이미지 모자이크 및 상기 형상 모자이크와 관련시키기 위해 포즈 파라미터를 결정하는 단계를 더 포함하며, 상기 포즈 파라미터는 상기 새로운 이미지를 위한 변환 파라미터, 평면 움직임 필드, 및 패럴랙스 필드를 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,

현존하는 3D 모자이크를 제공하는 단계;

상기 현존하는 3D 모자이크에 관련하여 새로운 이미지를 위한 포즈 파라미터를 결정하는 단계;

상기 새로운 이미지의 좌표로부터 상기 3D 모자이크의 뷰를 표시하는 합성 이미지를 형성하기 위해 상기 현존하는 3D 모자이크를 상기 새로운 이미지의 이미지 좌표로 왜곡하는 단계;

상기 새로운 이미지와 상기 현존하는 3D 모자이크의 조합인 새로운 3D 모자이크를 형성하기 위하여 상기 합성 이미지를 상기 새로운 이미지로 병합하는 단계;

상기 새로운 이미지 다음에 순차적으로 오는 다음 이미지를 제공하는 단계; 및

상기 새로운 이미지, 상기 현존하는 3D 모자이크, 및 상기 다음 이미지 사이의 변화를 검출하는 단계를 더 포함하며, 상기 변화는 상기 움직임과 같은 뷰 포인트 변화에 기인하는 패럴랙스 검출없이 상기 장면내의 움직임을 표시하는 것을 특징으로 하는 방법.
제 1항에 있어서,

상기 장면내의 대상물에 의해 상기 장면내에 교합되는 상기 3D 모자이크내의 포인트를 검출하는 단계; 및

상기 교합된 포인트가 상기 3D 모자이크에서의 인위 구조를 형성하지 않도록 상기 검출된 교합 포인트를 이미지 처리하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서,

상기 파라메트릭한 표면에 관련한 상기 3D 모자이크내의 포인트 높이를 평가하는 단계를 더 포함하는데, 상기 포인트의 높이는 상기 장면내의 대상물 포인트의 높이를 표시하는 높이 맵인 것을 특징으로 하는 방법.
제 1항에 있어서,

서로다른 뷰 포인트로부터 장면을 표시하는 3D 모자이크를 제공하는 단계를 포함하는데, 상기 3D 모자이크는 각각의 뷰 포인트에서 발생되고;

상기 다수의 3D 모자이크를 기준 좌표 시스템에 왜곡하는 단계;

합성 3D 모자이크를 형성하기 위해 상기 다수의 3D 모자이크를 병합하는 단계;

상기 장면의 새로운 뷰 포인트를 위한 좌표를 제공하는 단계;

상기 새로운 뷰 포인트 좌표를 상기 합성 3D 모자이크에 관련시키기 위해 파라미터를 결정하는 단계; 및

합성 이미지를 형성하기 위해 상기 합성 3D 모자이크를 상기 뷰 포인트 좌표로 왜곡하는 단계를 더 포함하며, 상기 합성 이미지는 상기 새로운 뷰 포인트로부터 취해진 상기 합성 3D 모자이크의 새로운 뷰를 표시하는 것을 특징으로 하는 방법.
제 1항에 있어서,

서로다른 뷰 포인트로부터 장면을 나타내는 다수의 3D 모자이크를 제공하는 단계를 포함하는데, 상기 3D 모자이크는 각각의 뷰 포인트에서 발생되고;

상기 장면의 새로운 뷰 포인트를 위한 좌표를 제공하는 단계;

상기 새로운 뷰 포인트를 다수의 상기 3D 모자이크에 관련시키기 위해 파라미터를 결정하는 단계;

합성 이미지를 형성하기 위하여 상기 새로운 뷰 포인트 좌표에 상기 다수의 3D 모자이크를 왜곡하는 단계를 포함하는데, 상기 합성 이미지는 상기 새로운 뷰 포인트로부터 취해진 상기 3D 모자이크의 새로운 뷰를 나타내며; 및

상기 합성 이미지를 형성하기 위하여 상기 다수의 3D 모자이크를 합병하는 단계를 더 포함하는 것을 특징으로 하는 방법.
제 1항에 있어서, 상기 등록 단계는,

처음에 등록된 이미지를 형성하기 위해 파라메트릭한 표면을 따라 상기 다수의 이미지의 각 이미지를 등록하는 단계, 상기 처음에 등록된 이미지에 응답하여 상기 파라메트릭한 표면을 따라 상기 이미지를 처음에 정렬하는데 유용한 초기 변환 파라미터와 초기 파라메트릭한 움직임 필드를 결정하는 단계, 및 상기 장면내의 대상물 패럴렉스를 나타내는 초기 패럴렉스 필드를 발생하는 단계를 포함하는 플레인-댄-패럴렉스 프로세스를 수행하는 단계; 및

상기 초기 변환 파라미터, 초기 파라메트릭한 움직임 필드 및 초기 패럴렉스 필드를 사용하여 최종 등록된 이미지를 형성하도록 상기 파라메트릭한 표면을 따라 상기 다수의 이미지로 상기 이미지를 동시에 등록하는 단계, 상기 최종 등록된 이미지에 응답하여 상기 파라메트릭한 표면을 따라 상기 이미지를 정렬하는데 유용한 최종 변환 파라미터와 최종 파라메트릭한 움직임 필드를 결정하는 단계, 및 상기 장면내의 대상물 패럴렉스를 나타내는 최종 패럴렉스 필드를 발생하는 단계를 더 포함하는 것을 특징으로 하는 방법.
장면의 다수의 이미지로부터 상기 장면의 3차원(3D) 모자이크를 발생하기 위한 시스템에 있어서,

상기 다수의 이미지를 저장하기 위한 수단; 및

상기 저장 수단에 접속되고, 이미지 모자이크와 형상 모자이크를 포함하는 상기 3D 모자이크를 구성하기 위하여 상기 이미지를 등록하기 위한 등록 프로세서를 포함하며, 상기 이미지 모자이크는 상기 장면의 파노라마 뷰를 나타내고, 상기 형상 모자이크는 상기 장면의 3차원 기하학을 나타내는 것을 특징으로 하는 시스템.
제 12항에 있어서, 상기 등록 프로세서는,

상기 이미지 모자이크내의 상기 이미지를 정렬하는데 사용되는 변환 파라미터와 파라메트릭한 움직임 필드를 형성하도록 상기 다수의 이미지를 통해 확장하는 파라메트릭한 표면을 따라 상기 이미지를 정렬한 다음에 상기 장면내의 대상물을 나타내는 패럴랙스 필드를 결정하기 위한 플레인-댄-패럴랙스 등록 프로세서를 더 포함하는 것을 특징으로 하는 시스템.
제 12항에 있어서, 상기 등록 프로세서는,

상기 이미지 모자이크내의 상기 이미지를 정렬하는데 사용되는 변환 파라미터와 파라메트릭한 움직임 필드를 형성하도록 상기 다수의 이미지를 통해 확장하는 파라메트릭한 표면을 따라 상기 이미지를 정렬하고 상기 장면내의 대상물을 나타내는 패럴랙스 필드를 결정하기 위한 플레인-앤드-패럴랙스 등록 프로세서를 더 포함하는 것을 특징으로 하는 시스템.