KR100950169B1 - 다수의 뷰 합성 방법 - Google Patents

Abstract

단안 입력 이미지는 적어도 2개의 출력 이미지들을 생성함으로써 그 단안 입력 이미지에 강화된 3-D 외관이 제공되도록 변환된다. 전경 및 배경 객체들은 입력 이미지에서 분할되며, 전경 객체들이 배경으로부터 돌출되게 보이도록 서로 상이하게 변환된다. 입력 이미지들의 시퀀스가 주어지면, 전경 객체들은 출력 이미지들에서 배경 객체들과 상이하게 움직이는 것처럼 보일 것이다.

입력 이미지, 시퀀스, 출력 이미지, 데이터 처리 장치, 객체

Description

다수의 뷰 합성 방법{Method for multiple view synthesis}

본 발명은 비디오 재료를 특히, 비디오 재료의 3-D 외관을 강화시키기 위한 뷰와 합성하는 분야에 관한 것이다.

임의의 시점으로부터 카메라에 의해 포착된, 3-D 장면의 이미지를 합성하는 것은 잘 알려진 연구 과제이며, 몇 가지 상이한 방식들이 제안되고 있다. 완전한 3-D 모델이 주어지면, 임의의 지점으로부터 장면을 렌더링하는 것이 가능하다. 렌더링(rendering) 기술들은 컴퓨터 그래픽의 분야에서 잘 알려져 있다(예를 들어, J. D. Foley, A. van Damm, S. K. Feiner, 및 J. F. Hughes에 의한, "Computer Graphics-Principles and Practice", Addison Wesley, 제 2 판, 1992년, 제 14 장에서 기술된 바와 같음). 그러나, 모델의 생성은 지루하고, 에러가 있기 쉽고, 노동 집약적이다.

한편, 일부 연구원들은 이미지들로부터 직접 3-D 정보를 추단하고자 한다. 이미지들의 시퀀스로부터 객체들의 형상들 및 카메라 움직임을 복원하는 다양한 방법들이 개발되었다(예를 들어, 1993년, O. Faugeras에 의한, "Three-Dimensional Computer Vision: a Geometric Viewpoint", MIT press 참조). 이 방법들은 통상적으로 계산 집약적이다. 게다가, 많은 경우, 입력 시퀀스는 팬-틸트-줌(pan-tilt-zoom) 카메라에 의해 포착되는데, 이는 장면의 3-D 모델의 복원을 방해한다.

다른 방식은 어떠한 경우에도 객체 및 환경의 명시적인 3-D 모델을 필요로 하지 않은 이미지 기반 렌더링을 수행하는 것이다(예를 들어 L. MacMillan: "An Image Based Approach to Three-Dimensional Computer Graphics", Ph. D. dissertation, University of North Carolina, 1997년에 기술된 바와 같음). 이 방법들은 투사 제약(projective constraint)과 불변들(invariants)을 사용함으로써 3-D에서의 추론(reasoning)을 회피한다.

본 발명의 목적은 단안(monocular) 비디오 시퀀스로부터 시작하여 다수의 장면의 뷰들(views)들 합성하는 것이다.

이것은, 각 입력 이미지에 대해, 2개 이상의 새로운 장면의 뷰들이 생성되는 것으로 달성된다. 이러한 뷰들은 3D-TV 디바이스 또는 임의의 다른 적합한 뷰잉 장치(viewing apparatus)상에서 디스플레이하는데 적합하다. 입력 이미지들은 움직이는 객체들과 정지한 배경으로 분할된다. 배경은 다수의 영역들로 더 분할될 수 있다. 각 영역에 적절한 변환들을 적용함으로써 새로운 뷰들이 생성된다. 유리하게, 필요한 정보를 이미지 시퀀스로부터 이용할 수 없는 경우라도, 간단한 도메인 지식(domain knowledge)이 뷰들의 양호한 근사치들을 생성하는데 사용된다.

다른 목적들 및 이점들은 다음에 명백해질 것이다.

본 발명은 이제 다음의 도면들을 참조하여 비제한적인 예에 의해서 설명될 것이다.

도 1은 본 발명이 사용될 수 있는 시스템을 도시한 도면.

도 2는 본 발명의 흐름도.

도 3은 본 발명에 따라 처리될 이미지의 개략도.

도 4는 움직이는 객체들의 분할을 도시한 도면.

도 5는 도메인 지식의 사용 및 정지한 배경을 다수의 영역들로 더 분할하는 것에 관한 흐름도.

도 6은 새로운 카메라 위치들이 어떻게 도출되는지의 양상들을 도시한 도면.

도 7은 분할된 객체들의 변환들이 어떻게 계산되는지를 도시한 도면.

도 8은 새로운 뷰들이 어떻게 생성되는지를 도시한 도면.

도 9 내지 도 13은 양호한 실시예들의 기술에 사용될 몇 가지 공식을 도시한 도면.

도 1은 또한 때때로 가상 현실 디바이스(virtual reality device)라고도 불리는 통상적인 3-D 이미지 뷰잉 장치를 도시한다. 이 디바이스는 프로세서(101), 메모리(103) 및 선택적으로 디스플레이(102), 네트워크 접속부(104)와 같은 여러 주변장치, 또는 프린터, 키보드, 마우스, 마이크로폰, 스피커, 카메라, 및/또는 원격 제어 디바이스와 같이 도시되지 않은 다른 타입의 주변장치를 포함한다. 접속부는 유선이거나 무선일 수 있다. 프로세서는 PC, 텔레비전 또는 셋톱 박스에 내장되는 임의의 타입으로 이루어질 수 있다. 이 디바이스는 네트워크 접속부(104)를 통해 부가적인 처리 또는 메모리 파워에 액세스할 수 있으며, 그 접속부(104)는 인터넷, 케이블 텔레비전, 및/또는 근거리 통신망(LAN)과 같은 임의의 적절한 네트워크 접속부일 수 있다. 일반적으로 3-D 효과는 뷰잉 디바이스(105)를 사용하여 달성되지만, 뷰잉 디바이스(105)는 3차원의 환영(illusion)을 일으키는 관찰자의 2개의 눈 각각에 나타나는 이미지들간의 차이를 갖는 입체(stereo) 이미지를 생성한다.

도 2는 본 발명에 따른 방법의 흐름도이다. 그 방법은 프로세서(101)에 의해서 또는 네트워크 접속부(104)를 통해서 액세스되는 원격 프로세서에서 실행될 수 있다. 양호한 실시예가 소프트웨어로서 설명되었다 하더라도, 당업자에 의해서 하드웨어에서 똑같이 구현될 수 있다.

본 발명은 또한 도 3의 개략적인 이미지에 관하여 설명될 것이다. 도 3은 테니스 게임을 도시한다. 2명의 선수들(303, 302)이 관중이 앉아 있는 스탠드(301) 앞의 코트(304)에서 경기를 하고 있다. 코트(304) 및 스탠드(301)는 테니스 게임들에 대응하는 지식 도메인 내의 공지된 타입들의 객체들이다.

입력은 예를 들어 테니스 시합 동안 찍힌 이미지들의 시퀀스(I₁, I₂, I₃, ...)이다. 도 2는 장면의 2개의 입체적인 뷰들을 생성하기 위해서 적용되는 단계들을 도시한다. 문자 "L"은 입체 출력의 왼쪽 뷰에 관한 이미지들 및 변환들을 나타내는데 사용되며, 반면에 문자 "R"은 오른쪽 뷰에 관한 이미지들 및 변환들을 나타내는데 사용된다.

201에서, 움직이는 객체들은 정지한 배경으로부터 분할된다. 이 경우에, 선수들(302 및 303)은 분할될 것이다. 분할 방법의 상세는 도 4에서 논의될 것이다. 그 다음 202에서, 도메인 지식은 배경을 개개의 영역들로 추가로 분할하는데 사용된다. 박스(202)에 대해서는 도 5에서 더 많이 논의될 것이다.

203에서, 새로운 뷰들이 선택된다. 상세는 도 6에서 설명될 것이다. 박스들(202 및 203)의 연산들은 병렬로 수행될 수 있다. 204에서 각 영역 m에 대해, 변환들(TL_m 및 TR_m)이 계산된다. 도 7은 방법을 도시한다.

그 다음 205에서, 분할된 영역들은 변환들(TL_m)을 사용하여 왼쪽 뷰를 생성하기 위해 워프된다(warp). 영역들은 또한 변환들(TR_m)을 사용하여 오른쪽 뷰를 생성하기 위해 워프된다. 상세는 도 8에서 논의될 것이다.

움직이는 객체들의 분할:

도 4는 박스(201)에서 수행된 단계들을 도시하는 흐름도이다. 박스들(402, 405 및 409)에서, 기호 "·"는 이미지에의 호모그래피(homography)의 적용을 나타내는데 사용된다.

4a.

401에서, 각 입력 이미지(I_k)에 대해, 호모그래피 변환(H_k)을 추정하여, H_k가 프레임(I_k)에 적용될 때, 변환된 프레임에서의 테니스 코트의 이미지가 제 1 프레임(I₁)에서의 테니스 코트의 이미지와 정렬되게 한다.

호모그래피는 3×3 매트릭스 H로 나타내지며, 이는 도 9의 공식 (1)에 의해 나타난 점에 이미지내의 점(x, y)을 매핑하며, 여기서 h_ij 호모그래피 파라미터들은 호모그래피 매트릭스 H로부터의 값들이다. 이는 종래 기술, 예를 들어 앞서 참조된 O. Faugeras에 의한, Three-dimensional Computer Vision에서 잘 알려져 있다.

입력 이미지들의 정렬은 이미지 시퀀스의 시공간 도함수들을 계산하고, 정상 흐름(normal flow)을 추정하고, 호모그래피 파라미터들을 선형적으로 추정함으로써 행해진다. 이를 달성하기 위한 한가지 방법은 R. Pless 등에 의한, "Detecting Independent Motion: The Statistics of Temporal Continuity", Trans. IEEE PAMI, 제 22 권, 제 8 호, 2000년 8월에서 발견된다.

대안적으로, Burt 등에 의해 발행된 미국 특허 번호 제 5,629,988호에 도시된 바와 같이, 특징 점들(예를 들어, 코너들) 및/또는 선들을 찾아내, 그 입력 이미지들과 매칭시킬 수 있고, 호모그래피는 매칭된 특징들로부터 추정될 수 있다.

402에서, J_k는 변환(H_k)을 이미지(I_k)에 적용한 결과를 나타낸다.

4b.

도메인 지식으로부터, 많은 테니스 시퀀스들에서 카메라는 팬, 틸트, 줌하도록 허용되지만, 그렇지 않고 코트 주위에서 움직이지 않는다는 것이 알려져 있다. 팬-틸트-줌 카메라에 대해, 박스(401)에서 계산된 변환은 테니스 코트뿐만 아니라, 장면에서의 임의의 다른 정지 특징을 정렬시킨다. 움직이는 선수들만이 정렬되지 않는다.

단계 1에서 변환된 이미지들(J_k)은 403에서 장면의 모자이크를 생성하도록 조합될 수 있다. 모자이크의 각 픽셀에 대해, 이미지들(J_k)에는 하나 이상의 픽셀들이 있다. 움직이는 객체들(선수들)을 필터링하기 위해, 각 픽셀의 다수의 값들에 중간 필터가 적용되며, 모자이크 M에 중간값을 넣는다.

중간 값은 다음과 같이 계산된다. 임의의 픽셀에 대해, 값들(x₁, x₂, ..., x_k)이 있다고 가정하자. 이러한 값들은 소트되며, 소트된 값들은 y₁, y₂, ..., y_k)로 표기되며, 여기서 y₁<= y₂<= ...<=y_k)이다. 그 다음 중간값은 y_k/2 이다.

모자이크들을 생성하는 대안적인 방식은 미국 특허 번호 제 5,629,988호에서 발견될 수 있다.

4c.

역변환(H_k ^-1)이 모자이크 M에 적용되고 그 결과가 적절하게 잘려질(crop) 때, 배경 이미지(B_k)는 405에서 얻어진다. 배경 이미지는 움직이는 객체들이 제거되고 다른 뷰들에서 가시적인 배경으로부터 픽셀들로 대체되는 것을 제외하고는 입력 이미지(I_k)와 동일하다.

4d.

그 다음 입력 이미지(I_k)는 대응하는 배경 이미지(B_k)와 비교되며, 406에서 마스크 이미지(M_k)를 생성한다. 그 마스크 이미지의 픽셀 값들은 I_k 및 B_k 의 차가 임계보다 클 때 1이며, 그렇지 않으면 0이다. 그 다음 407에서 마스크 이미지(M_k)에서 1로 설정된 픽셀들이 이미지(I_k)로부터 추출되며 나머지 픽셀들은 블랙으로 설정된다. 그 결과 움직이는 객체들의 이미지(F_k)가 얻어진다.

정지 배경의 분할:

도 5는 박스(202)의 확장을 도시한다. 도메인 식별은 501에서 전자 프로그램 안내 데이터로부터 얻어질 수 있거나 방송 비디오에서 자막 데이터를 분석함으로써 얻어질 수 있다. 어떠한 도메인 식별도 이용할 수 없다 하더라도, 다른 것과 구별되는 특징들(박스(502))을 검출함으로써 입력 비디오가 올바른 도메인으로부터의 것인지 여부를 테스트할 수 있다. 예상된 특징들이 검출되는 경우, 방법은 도메인 식별 없이도 진행될 수 있다.

도메인 지식은 또한 예를 들어, 디지털 TV 방송들에서 입수가능한 MPEG 스트림 메타-데이터(meta-data)를 통해 공급될 수 있다. 도메인 식별만이 송신되는 경우, 도메인 지식은 미리 메모리(103)에 저장될 것이다.

도 3의 예에서, 도메인 지식은 코트(305)의 형상, 중앙 네트(305)가 수직이라는 사실 및 스탠드(301)의 형상에 대한 임의의 가정을 포함할 것이다.

박스 502에서, 도메인의 다른 것과 구별되는 특징들이 검출된다. 테니스 시합의 경우, 다른 것과 구별되는 특징은 코트(305)의 선들이 될 수 있다. 부가적인 특징은 테니스 코트의 색이 균일하다는 지식일 것이다. 특징들은 다음과 같이 검출된다.

5a.

이미지에서 선들을 찾아낸다. 예를 들어, 이미지들에서 선들을 검출하는 많은 공지된 방법들이 있다.

5b.

균일한 색을 가진 큰 영역들을 찾아내고 이 큰 영역들 내에서의 단계 5a에서 발견된 선들만을 선택.

5c.

저장된 모델에서의 선 세그먼트들과 검출된 선들을 매칭시킨다. 이것은 2개 이상의 검출된 선 세그먼트들을 무작위로 선택하여 그것들을 모델의 모든 세그먼트들과 매칭시킴으로써 행해진다. 각 매칭은 이미지와 모델간의 변환을 결정한다(이 변환은 호모그래피이며, 그 이유는 코트가 평면이기 때문이다).

5d.

단계 5c에서 얻어진 각 호모그래피에 대해, 변환을 입력 이미지에 적용하고, 이러한 세그먼트들이 얼마나 잘 정렬되는지 뿐만 아니라, 변환된 이미지에서 얼마나 많은 선 세그먼트들이 모델의 선 세그먼트들와 매칭되는지를 찾아낸다.

5e.

단계 5c 및 5d는 반복되며 최종 변환이 선택된다. 최종 변환 하에서, 대부분의 세그먼트들이 매칭되어 변환된 입력 및 모델사이에서 최상으로 정렬된다.

503에서, 배경은 테니스 코트 및 다른 영역들로 추가로 분할된다. 테니스 시합의 경우, 이 특징들은 네트, 심판 스탠드, 및 관중 스탠드(301)를 포함할 수 있다. 영역들은 도메인 지식들에 기초하여 분할된다. 예를 들어, 네트는 코트 상의 선들에 대하여 알려진 위치에 있다. 심판 스탠드는 코트상에 있다는 것을 알고 있으며, 그 색은 코트의 색과 상이하며, 그래서 이는 색에 기초하여 분할될 수 있다. 여기서 필요한 분할의 타입에 대해서는 Vishvjit S. Nalwa, A Guided Tour of Computer Vision(Addison-Wesley, 1993) section 3.3, "Image Segmentation"에서 발견될 수 있다.

이 단계의 결과로서, 한 마스크 이미지가 영역마다 얻어진다(406에서 얻어진 마스크 이미지와 유사함). 각 영역에 대해, 그 영역에서 픽셀들에 대응하는 마스크 픽셀들은 1로 설정되고, 다른 픽셀들은 0으로 설정된다.

테니스 코트의 변환들을 결정:

도 6에서 테니스 코트의 이미지에 적용되는 변환들이 결정된다. 여기서 말하는 테니스 코트란, 땅만을 의미한다. 다른 분할된 배경 영역들에 대한 변환들은 다음 섹션: "다른 영역들의 변환들의 결정"에서 결정된다. 코트가 평면이기 때문에, 변환들은 호모그래피들이다. HL 및 HR을 결정하는 2개의 대안적인 방식들이 있다.

6a.

모델과 입력 이미지간의 매칭이 이용 가능하면(601, 박스(502)로부터), 본질적인 및 비본질적인 교정(calibration) 파라미터들(코트에 대해)은 602에서 결정될 수 있다. 이를 행하기 위한 공지된 기술들이 있으며, 예를 들어 Emanuele Trucco, Alessandro Verri: "Introductory techniques for 3-D Computer Vision", Prentice Hall, 1998년에 개시되어 있다.

6b.

완전히 교정된 경우, 603에서 임의의 새로운 바람직한 카메라 위치가 선택될 수 있다. 예를 들어, 새로운 카메라들이 3-D 지각을 강화하기 위해 코트에 가까이 배치될 수 있다. 호모그래피들 HL 및 HR은 구(old) 및 신규 카메라 파라미터들로부터 폐쇄된 형태에서 결정될 수 있다(604). 이것을 어떻게 하는지는 상기에 참조된 Trucco & Verri book에 기술되어 있다.

6c.
시스템이 완전히 교정되지 않으면(교정이 바람직하지 않음), 방법(605)은 HL 및 HR을 결정하는데 사용된다. 이 특정 예에서, 네트를 가정하며, 더 먼 코트의 베이스라인(baseline)은 입력 이미지에서 대략 수평이다. 네트의 바닥 에지에 대해, Y 좌표는 y₁로 표기될 것이며, 이미지에서 폭은 w₁로 표기될 것이다. 더 먼 코트의 베이스라인에 대해, Y 좌표는 y₂로 표기될 것이며, 이미지에서 폭은 w₂로 표기될 것이다.

2개의 선 세그먼트들이 3-D 세계에서 동일한 길이를 가지므로, w₁/w₂ 의 비는 공식 (13)에 따라, 2개의 선들에 대한 디스패리티(disparity)의 비와 동일하다.

유사하게, 바닥 스캔 라인의 Y 좌표는 이미지에서 y_B로 표기될 것이다. 각 뷰잉 디바이스에 대해, 디스패리티는 d_MAX로 표기된 어떤 최대치보다도 작을 것이다. 최대치 d_MAX는 예를 들어, 20 픽셀들일 수 있다.

공식 (4)를 사용하여, s_L, s_R, d_L, 및 d_R에 대한 값들이 도출될 수 있다. 물론, 이는 가능한 세트의 해결책들 중 단지 하나이다. 606에서, s_R=0 및 d_R=0을 선택함으로써, 오른쪽 뷰는 입력 뷰를 식별할 수 있다. s_L및 d_L를 얻기 위해, (14)에서 2개의 선형 식들이 구해지며, (13)으로부터 얻어진 한 식과 최대 디스패리티로부터 한 식이 제한된다.

값들 y₁, y₂, w₁, w₁, 및 y_B은 입력 이미지에서의 측정들이며, d_MAX은 뷰잉 시스템의 공지된 파라미터이며, 그래서 s_L및 d_L은 상기 식들에서 유일하게 알려지지 않은 것이다.

따라서, 공식들 (2) 및 (3)의 호모그래피는 607에서 사용될 수 있다.

이 2개의 호모그래피들은 Y 좌표를 변경하지 않고 정류된 입체 뷰들을 생성하지 않는데, 여기서 대응하는 특징들은 두 이미지들에서 동일한 스캔 선들에 의존한다.

상기된 방법은 단지 예이다. 코트상의 다른 공지된 특징들이 검출될 수 있는 경우, 유사한 방법들이 적절한 호모그래피들 HL 및 HR을 결정하는데 사용될 수 있다.

다른 영역들의 변환들을 결정:

테니스 코트 외에, 장면은 이동하는 객체들(407에서 분할됨) 및 배경의 분할된 부분들(503으로부터)을 포함한다. 도 7을 참조하여, 변환들(TL_m 및 TR_m)이 이 영역들에서 어떻게 얻어지는가를 이제 설명할 것이다. 과정은 분할된 선수 영역들에 대해 설명되지만, 동일한(또는 아주 유사한) 과정은 다른 영역들에 적용될 수 있다.

새로운 뷰가 원래의 뷰와 유사한 경우(보통 그러한 경우), 선수는 전방 평행 평면(fronto-parallel plane)에 있는 것과 비슷하다. 이것은 선수와 카메라 사이의 거리를 고려하는 유효한 근사치이다. TL_m 변환은 전경 객체(303)를 포함하는 영역 주위의 경계를 짓는 직사각형(701)에 관하여 결정된다. 하부 왼쪽 코너는 A로 표기되며, 하부 오른쪽 코너는 B로 표기되고, A와 B 사이의 중간 점은 C로 표기된다. 선수(303)는 코트에 서 있는 것으로 가정되며 그러므로 경계를 짓는 직사각형(701)의 하부 라인은 땅위에 놓여 있는 것으로 추정된다. 테니스 코트는 호모그래피(HL)에 의해 변환된다. 특히, 호모그래피(HL)는 점들(A, B, C)을 점들(A', B', C')로 새로운 뷰에서 각각 변환한다.

TL_m은 HL과 호환 가능해야만 한다: 점 C는 C'로 변환될 것이며, 변환된 점들 A, B간의 수평 거리는 점들 A', B'간의 수평 거리와 동일해야 할 것이다. 마지막으로, 경계를 짓는 박스의 종횡비(높이로 나눈 폭)는 상수로 남아 있을 것이다. 따라서, 공식(5)이 도출된다.

도 9의 공식들 (6), (7), (8), (9), (10) 및 (11)은 도 10의 공식 (12)에 대한 변수 정의들이다. 각각의 공식들 (6)-(11)에서 x 및 y 좌표들은 도 7에서 점들과 그들의 변환들에 대해 규정되어지고 있다.

공식 (18)마다 오른쪽 뷰 TR_m에 대한 변환은 유사하게 도출될 수 있다. TR에 대한 공식에서 나타나는 변수들은 공식(19)에서 규정된다. 교대로 이는 호모그래피(HR)가 점들 A, B, C를 점들 A", B", C"로 변환한다는 가정으로부터 도출되며, 여기서 이 점들은 공식들 (15), (16) 및 (17)에서 각각 규정된다.

객체들(예를 들어 테니스 선수들)은 그들이 테니스 코트(땅)과 상이하게 변환되기 때문에, "두드러지게" 보인다. 테니스 코트(HL 및 HR 호모그래피들)의 변환들은 이미지에서 더 높은 점들이 관찰자로부터 더 멀리 있는 것처럼 보이도록 설정된다. 다른 한편으로, 테니스 선수 위의 모든 점들은 관찰자로부터 대략 동일한 거리를 나타낸다.

변환들 TL_m및 TR_m은 테니스 코트의 땅 부분에 적용되는 변환들 HL 및 HR과 상이하다. 따라서, 테니스 선수는 배경으로부터 "두드러지게" 보인다. 보다 구체적으로, HL 및 HR 변환들은 코트의 먼 쪽 위의 점들이 더 작은 디스패리티를 가지며, 그러므로 관찰자로부터 더 멀리 있는 것처럼 보이도록 일반적으로 구성된다. 이는 코트의 정확하고, 기울어진 외관을 생성한다. 다른 한편으로, TL_m 및 TR_m 변환들은 대략적으로 동일한 거리를 나타내는 테니스 선수의 모든 점들을 만든다.

선수의 발은 코트의 가까운 점들과 동일한 디스패리티를 대략적으로 갖는다. 또한, 선수들의 머리의 디스패리티는 대략적으로 동일할 것이다. 그러나, 선수의 머리에 근접하게 나타나는 코트 위의 점들은 보다 작은 디스패리티들을 가지며 이는 배경으로부터 "두드러지는" 선수를 만든다. 심판석(umpire stand)과 같은 다른 특징들은 테니스 선수들과 유사하게 변환되며, 그러므로 또한 배경으로부터 "두드러지게" 보인다.

새로운 뷰들을 생성:

마지막으로, 새로운 뷰들은 도 8에서 기술된 바와 같이 생성된다. 이전 단계들에서, 입력 이미지는 다수의 영역들로 분할되며 변환은 각 영역에 대해 계산된다. 도 8에서, 2개의 경로들이 존재한다. 좌측 경로는 좌측 뷰의 발생에 해당하며, 우측 경로는 우측 뷰의 발생에 해당한다. 2개의 경로들은 동시에 실행되는 것으로 도시된다; 그러나, 이들은 아주 균일하게 순차적으로 실행될 수 있다.

801에서, 각각의 좌측 뷰 변환 TL_m은 변환된 이미지 영역 TL_m와 변환된 마스크 ML_m을 산출하기 위해 이미지 영역(I_k)에 적용되며, 또한 각 마스크(M_k)에 적용된다. HL은 또한 박스(405)에서 생성된 배경 모자이크(B_k)에 적용된다. 테니스 코트의 땅 부분에 대해, 변환 TL_m은 호모그래피 HL이다. 802에서, 변환된 영역들은 새 로운 좌측 뷰를 생성하도록 결합된다. 변환된 마스크 ML_m에서 픽셀이 1일 때마다, IL_m에서 대응하는 픽셀은 출력 이미지에 카피된다.

803에서 객체들을 오버랩함으로써 생긴 충돌들이 해결된다.
몇몇 a, b에 대해, 객체들이 오버랩, 즉 ML_a(pixel)=1 및 ML_b(pixel)=1인 경우, L_k(pixel)는 하기에 규정된 객체 배열(ordering)로, 가장 가까운 객체로부터 픽셀 IL(pixel)로 설정될 것이다.

객체 배열:

각 객체에 대해, 바닥 에지는 기준 평면상의 그 위치를 산출하기 위해 정해져야 한다. 그 다음 더 가까운 객체들은 입력 이미지에서 더 낮은 바닥 에지를 갖는다. 기준 평면(테니스 코트)은 가장 먼 객체들로서 배열된다.

또한 804에서, 선택적으로, 홀(hole)들이 채워질 수 있으며, 여기서 홀들은 분할된 객체들에 의해 포함되지 않은 픽셀들이다. 블랙 픽셀들은 경계 상에 있으며, 이들은 손댈 수 없는 곳에 남겨져 있으며, 이는 이들이 장면에서 결코 도시되지 않은 위치들에 대응하기 쉽기 때문이다. 다른 한편으로, 이러한 값들이 이용 가능한 경우, 배경 모자이크로부터 적절한 값들은 이미지내의 홀들을 채울 수 있다.

박스들(801', 802', 803' 및 804')은 R, 즉 우측 뷰를 L, 즉 좌측 뷰로 대체하는 801-804와 각각 유사하다.

도 4-8의 예는 3-D 효과를 생성하기 위해 입체 이미지들을 사용하는 디바이스에 관한 것이다. 그러나, 그 방법은 임의의 수의 뷰들로 구현을 확장할 수 있다. 우측 뷰의 계산, 즉 HR, TR_m 등의 계산은 좌측 뷰(HL, TL_m 등)의 계산과 완전 무관하다. 그러므로 알고리즘을 N회 반복함으로써 장면의 N개의 상이한 뷰들을 발생시키는데 수월하다. 전형적으로, N개의 뷰들은 특정 디스플레이 디바이스의 요건들에 따라 발생될 것이다.

배경 픽셀들의 변환에 대한 대안적인 실시예:

배경 영역들을 처리하기 위한 대안적인 실시예는 동일한 장면의 제 2 이미지의 사용으로부터 도출될 수 있다. 다음에, 움직이는 객체들이 이미지로부터 이미 분할된다고 가정될 것이다. 아래의 동작들은 다음에 따라, 기준 평면(테니스 코트) 상에 없는 정지한 객체들의 외관을 추정하는데 사용될 수 있다.

1. 2개의 이미지들에서 픽셀들간의 제 1 일치는 수동적으로, 또는 자동적으로 확립된다("Chapter 6 Stereo Vision", Three Dimensional Computer Vision, Olivier Faugeras, MIT Press, 1993 참조)

2. 제 1 이미지들에는 유사 변환까지 기록된다.

a. 평면상의 평행선들의 2개의 대응하는 쌍들은 공식 (20) 및 (21)에 따라 식별된다. 선들의 공통 쌍(copair)들은 PL1=[L11, L12] 및 PL2=[L21, L22]로 표기되며, 여기서 L11, L12, L21, L22는 끝점들(L_ij=[(sx_ij, sy_ij), (ex_ij , ey_ij)])으로 표기된 선들이다.

b. 평행선들의 각 쌍에 대한 배니싱(vanishing) 점(동종 좌표들에서)은 공식 (20) 및 (21)에 따라 계산되며, 여기서 a 및 b의 외적(cross product)의 표기는 공식(22)에 도시된다.

c. 무한대로 vp₁=[x₁ y₁ w₁] 및 vp₂=[x₂ y₂ w₂]를 이동시키는 변환 H_a는 공식 (23)에 따라 계산된다.

d. H_a를 전체 이미지에 적용, 즉 공식(24)에 따른 픽셀은 공식(25)에 따라 움직인다.

3. 제 1 이미지에서 평면상의 4 또는 그 이상의 점들 및 제 2 이미지에서 그 대응하는 점들을 발견한다. 공식 (26)에 따라 변환 H_b이 계산된다. 이 변환은 제 1 이미지(H_a 적용 후)(p₁', p₂', p₃', p₄', ...)에서 그와 함께 정렬하기 위해 제 2 이미지(q₁ q₂ q₃ q₄, ...)에서 이 점들을 이동시킨다.

그 후에, H_b는 전체 이미지에 적용되며, 즉 공식 (2)에 따라 픽셀은 공식 (28)에 따라 픽셀로 이동된다.

4. 제 1 이미지에서 대응하는 점 p_a', p_b' 및 제 2 이미지에서 대응하는 점 q_a', q_b'의 2쌍을 사용하여, 변환된 입력 이미지들 및 출력 이미지간의 외극(epipole)들이 계산된다. e12가 입력 이미지들간의 외극을 표기하고, e12'는 변환된 제 1 이미지 및 출력 이미지간의 외극을 표기하며, e22'가 변환된 제 2 이미지 및 출력 이미지간의 외극을 표기하면, 동종 좌표들에서 공식 (29) 및 (30)이 얻어지며, 이는 실수 좌표들에서 공식 (31)에 대응하며, 여기서 w는 비율이다.

5. 변환된 제 1 이미지에서 각각 대응하는 점 p_i 및 변환된 제 2 이미지에서 각각 대응하는 점q_i 에 대해, 위치 r_i'는 새로운 뷰에서 점에 대해 공식 (32)에 따라 동종 좌표들에서 계산된다.

6. 모든 점들 r_i'는 공식 (33)에 따라 점 r_i로 이동되며, 여기서 e₁₂'=[ex ₁₂' ey₁₂'] 및 d는 상수이다.

그러므로, 2개의 이미지들이 사용될 때, 정지한 배경의 각 픽셀에 대한 분리된 변환이 사실상 존재하며, 제 1 기재된 실시예에서, 배경은 하나 또는 그 이상의 변환들에 포함되며 그 각각은 복수의 픽셀들에 관한 것이다.

기록된 이미지들에서 디스패리티는 2개의 카메라들의 중앙 사이의 전이(translation)에만 의존한다. 새로운 뷰가 발생할 때, 하나는 새로운 카메라의 중앙의 위치에 관한 전이에 동의하기 위해 디스패리티를 변경할 수 있다. 이러한 변환은 M. Irani, P. Anandan, D. Weinshall에 의해 "From Reference Frames to Reference Planes: A New Framework for 3D Scene Analysis", Proceedings: Fifth European Conference on Computer Vision, Freiburg, 1998년 6월에 기재되어 있다.

본 명세서를 판독함으로 인해, 다른 수정예들이 당업자들에게 명백해질 것이다. 이러한 수정예들은 설계, 제조 및 가상 현실 타입 시스템들의 사용에 이미 알려진 그리고 여기에 이미 기술된 특징들 대신에 또는 특징들 외에 사용될 수 있는 다른 특징들을 포함할 수 있다. 청구항들이 특징들의 특정 조합들로 이 출원서에서 공식화되었다 하더라도, 이는 본 출원의 명세서의 범위가 또한 이것이 본 발명 을 행하는 임의의 또는 모든 동일한 기술적 문제점들을 완화시키는지 여부를 명백하게 또는 암시적으로 또는 임의의 그것의 발생을 임의의 새로운 특징 또는 여기에 특징들의 새로운 조합을 포함함을 알 것이다. 이에 의해 출원인들은 새로운 청구항들이 본 출원 또는 그들로부터 도출된 임의의 다른 출원의 실행 동안 이러한 특징들로 공식화될 수 있다는 통지를 제공한다. 특히, 청구항들이 방법에 대해서 여기서 공식화한다 하더라도 출원인은 미래에 장치 및 소프트웨어 청구항들을 부가할 권리를 남겨둔다.

여기서 사용되는 단어 "포함하는"("comprising", "comprise", 또는 "comprises")은 부가적인 소자들을 배제하는 것으로 간주되어서는 안될 것이다. 여기서 사용되는 단수 관사("a" 또는 "an")는 복수의 요소들을 배제하는 것으로 간주되어서는 안될 것이다.

Claims (12)

1. 데이터 처리 디바이스 상에서 사용하는 이미지 처리 방법에 있어서,

   - 적어도 하나의 단안(monocular) 비디오 입력 이미지(Ik)를 수신하는 단계;

   - 상기 입력 이미지(Ik)로부터 적어도 하나의 전경 객체(foreground object) 및 적어도 하나의 배경 객체를 분할(201,202)하는 단계;

   - 상기 입력 이미지의 상기 적어도 하나의 전경 객체에 각각의 좌측(TLm) 및 우측(TRm) 전경 변환 및 상기 적어도 하나의 배경 객체에 각각의 좌측(HL) 및 우측(HR) 배경 변환을 적용하는 단계로서, 상기 좌측(HL) 및 우측(HR) 배경 변환은 상기 입력 이미지(IK)에서 보다 높이 위치한 상기 적어도 하나의 배경 객체의 점들(points)이 변환 후에 관찰자로부터 더 멀리 있게 보이도록 설정되고, 상기 좌측(TLm) 및 우측(TRm) 전경 변환은 상기 적어도 하나의 전경 객체의 모든 점들이 변환 후에 상기 관찰자로부터 동일한 거리로 보이도록 설정되는, 상기 변환을 적용하는 단계; 및

   - 좌측 뷰(Lk)를 생성하도록 상기 좌측 전경 및 배경 변환된 영역들을 조합하고, 우측 뷰(Rk)를 생성하도록 상기 우측 전경 및 배경 변환된 영역들을 조합하는 단계를 포함하는, 이미지 처리 방법.
2. 제 1 항에 있어서,

   상기 좌측(TLm) 전경 변환은 상기 좌측(HL) 배경 변환과 호환되고, 상기 우측(TRm) 전경 변환은 상기 우측(HR) 배경 변환과 호환되는, 이미지 처리 방법.
3. 제 1 항에 있어서,

   입체 이미지(stereo image)를 생성하는 뷰잉 디바이스(105)에 상기 좌측 뷰(Lk) 및 상기 우측 뷰(Rk)를 디스플레이하는 단계를 더 포함하고, 상기 관찰자의 두 눈들 각각에 보여지는 상기 좌측 뷰(Lk) 및 상기 우측 뷰(Rk)간의 차이는 3차원 환영(illusion)을 제공하는, 이미지 처리 방법.
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 제 1 항에 있어서,

   배경 객체들에 대한 상기 각각의 변환들은 단일 장면의 적어도 2개의 단안 입력 이미지들을 비교함으로써 도출되는, 이미지 처리 방법.
10. 제 1 항에 있어서,

    상기 변환을 적용하기 전에, 각각의 분할된 객체의 위치를 전방 평행 평면(fronto-parallel plane)상에 보이는 것처럼 접근시키는 단계를 더 포함하는, 이미지 처리 방법.
11. 데이터 처리 장치에 있어서,

    - 제 1 항 내지 제 3 항, 제 9 항 또는 제 10 항 중 어느 한 항의 방법을 실행하는 데이터 및 명령들을 저장하는 적어도 하나의 메모리(103)와,

    - 상기 명령들을 실행하도록 프로그래밍된 적어도 하나의 프로세서(101)와,

    - 제 1 항 내지 제 3 항, 제 9 항 또는 제 10 항 중 어느 한 항의 상기 방법에 의해 생성되는 이미지들을 제공하는 적어도 하나의 디스플레이 디바이스(102,105)를 포함하는, 데이터 처리 장치.
12. 컴퓨터 프로그램이 저장된 컴퓨터 판독가능 매체로서, 상기 컴퓨터 프로그램은, 상기 프로그램이 컴퓨터에서 실행되면, 제 1 항 내지 제 3 항, 제 9 항 또는 제 10 항 중 어느 한 항의 방법의 모든 단계들을 수행하도록 적응된 컴퓨터 프로그램 코드 수단을 포함하는, 컴퓨터 판독가능 매체.

Images