KR20040017333A

KR20040017333A - 스테레오스코픽 영상 처리 장치 및 방법

Info

Publication number: KR20040017333A
Application number: KR10-2004-7000847A
Authority: KR
Inventors: 리더트피터-안드레
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2001-07-23
Filing date: 2002-06-25
Publication date: 2004-02-26
Also published as: EP1413148A1; JP2004522382A; WO2003010976A1; DE60234187D1; CN100366096C; CN1476729A; KR100912418B1; ES2332708T3; US7085410B2; US20030020708A1; ATE447298T1; JP4098235B2; EP1413148B1

Abstract

영상 처리 유닛(100)은 스테레오스코픽 디스플레이 디바이스(306)상에 디스플레이될 제 1 출력 영상(I^* _L)과 제 2 출력 영상(I^* _R)을 발생하도록 설계되며, 상기 제 1 출력 영상과 상기 제 2 출력 영상은, 상기 제 1 출력 영상(I^* _L)과 제 2 출력 영상(I^* _R)을 좌측 눈과 우측 눈에서 실질적으로 별개로 인식하는 제 1 관찰자의 경우 스테레오스코픽 영상이 되고, 상기 제 1 출력 영상(I^* _L)과 제 2 출력 영상(I^* _R)을 양 눈에서 실질적으로 모두 인식하는 제 2 관찰자의 경우 모노스코픽 영상이 된다. 영상 처리 유닛(100)은 입력 영상(I)과 오프셋 영상(△I)을 가산함으로써 제 1 출력 영상(I^* _L)을 계산하도록 설계되고, 입력 영상(I)에서 오프셋 영상(△I)을 감산함으로써 제 2 출력 영상(I^* _R)을 계산하도록 설계된다.

Description

스테레오스코픽 영상 처리 장치 및 방법{Stereoscopic image processing apparatus and method}

서두에 기재된 종류의 이미지 처리 유닛의 실시예는 2000년, 비디오 기술을 위한 회로 및 시스템에 대한 IEEE 보고서, Vol.10, No.3, pp.387-396에 쓰여진 논문 "Just enough reality: Comfortable 3-D viewing via microstereopsis"에 공지되어 있다.

스테레오스코픽 시스템들에 기초한 종래의 안경에 있어서 적절한 안경을 착용한 관찰자들은 스테레오스코픽 영상들을 볼 수 있다. 안경을 사용하여, 관찰자는 실질적으로 좌측 눈과 우측 눈에서 각각 분리되어 보이는 좌측 영상과 우측 영상을 감지한다. 필터링 효과가 없는 안경이라면 누화(cross-talk)가 있게 된다.관찰자는 2겹으로 겹친 영상을 감지한다: 좌측 영상과 우측 영상은 두 눈에 혼합되어져 보일 수 있다.

위에서 인용된 논문에서, 눈간 분리(interocular separation)의 하한, 즉 미세입체시(microstereopsis)가 연구되어, 예상외로 작은 불일치가 정확하고 기분 좋은 깊이감(depth sensation)을 자극하는 것이 밝혀졌다. 이러한 "경미한(mild)" 3D는 깊이 존재의 감지를 변경시키지 않는다. 이는 또한 연장된 3D 감상(viewing) 동안 감상 편의를 증대시킬 수 있다. 기술된 상황하에서, 누화는 환영(ghosting)보다는 오히려, 초점 심도(depth-of-focus)로서 감지된다. 다시 말하면, 카메라들간의 작은 베이스-라인의 경우에, 누화는 배가(doubling)보다는 흐림(blur)으로 감지된다. 즉, 안경이 없는 관찰자는 허용 가능한 품질을 가진, 흐릿한 모노스코픽 영상을 본다. 카메라들간의 베이스 라인을 조절함으로써, 모노스코픽 화질과 3D 효과의 양 사이에 트레이드-오프(trade-off)가 이루어질 수 있다. 카메라들간의 베이스 라인이 낮아지게 될 때, 안경을 착용한 관찰자들에 대한 깊이 효과는 적어지게 된다. 극도의(extreme) 3D 효과들이 더 이상 가능하지 않다. 반면에, 안경을 착용하지 않은 관찰자들에 대해 누화에 의해 생긴 아티팩트들(artifacts)은 작아지게 된다. 그러나, 이는 카메라들간의 비교적 작은 베이스 라인의 경우에도 모노스코픽 영상이 이 아티팩트들을 보여준다는 단점이 있다.

본 발명은 스테레오스코픽(stereoscopic) 디스플레이 디바이스 상에 디스플레이될 제 1 출력 영상과 제 2 출력 영상을 복수의 입력 이미지들에 기초하여 발생하는 영상 처리 유닛으로서, 제 1 출력 영상과 제 2 출력 영상은,

- 제 1 출력 영상과 제 2 출력 영상을 좌측 눈과 우측 눈에서 실질적으로 별개로 인식하는 제 1 관찰자의 경우 스테레오스코픽 영상이 되고,

- 제 1 출력 영상과 제 2 출력 영상을 양 눈에서 실질적으로 모두 인식하는 제 2 관찰자의 경우 모노스코픽 영상이 되는, 상기 영상 처리 유닛에 관한 것이다.

또한, 본 발명은 스테레오스코픽 디스플레이 디바이스 상에 디스플레이될 제 1 출력 영상과 제 2 출력 영상을 복수의 입력 이미지들에 기초하여 발생하는 영상 처리 방법으로서, 제 1 출력 영상과 제 2 출력 영상은,

- 제 1 출력 영상과 제 2 출력 영상을 양 눈에서 실질적으로 모두 인식하는 제 2 관찰자의 경우, 모노스코픽 영상이 되는, 상기 영상 처리 방법에 관한 것이다.

또한, 본 발명은

- 스테레오스코픽 디스플레이 디바이스 상에 디스플레이될 제 1 출력 영상과 제 2 출력 영상을 복수의 입력 이미지들에 기초하여 발생하는 영상 처리 유닛으로서, 제 1 출력 영상과 제 2 출력 영상은,

- 제 1 출력 영상과 제 2 출력 영상을 좌측 눈과 우측 눈에서 실질적으로 별개로 인식하는 제 1 관찰자의 경우, 스테레오스코픽 영상이 되고,

- 제 1 출력 영상과 제 2 출력 영상을 양 눈에서 실질적으로 함께 인식하는 제 2 관찰자의 경우, 모노스코픽(monoscopic) 영상이 되는, 상기 영상 처리 유닛과,

- 스테레오스코픽 디스플레이 디바이스를 포함하는, 영상 디스플레이 장치에 관한 것이다.

도 1a는 3중 카메라에 접속된 영상 처리 유닛의 실시예를 개략적으로 도시한 도면.

도 1b는 스테레오 카메라에 접속된 영상 처리 유닛의 실시예를 개략적으로 도시한 도면.

도 1c는 모노 카메라에 접속된 영상 처리 유닛의 실시예를 개략적으로 도시한 도면.

도 2a는 렌더러를 포함하는 영상 처리 유닛의 실시예를 개략적으로 도시한 도면.

도 2b는 깊이 추정 유닛을 포함하는 영상 처리 유닛의 실시예를 개략적으로 도시한 도면.

도 3은 이러한 관계에 있어서 영상 디스플레이 장치의 실시예를 개략적으로 도시한 도면.

본 발명의 제 1 목적은 비교적 높은 모노스코픽 화질을 갖는 서두에 기술된 종류의 영상 처리 유닛을 제공하는 것이다.

본 발명의 제 2 목적은 비교적 높은 모노스코픽 화질을 생기게 하는 서두에 기술된 종류의 방법을 제공하는 것이다.

본 발명의 제 3 목적은 비교적 높은 모노스코픽 화질을 갖는 서두에 기술된 종류의 영상 디스플레이 장치를 제공하는 것이다.

본 발명의 제 1 목적은, 영상 처리 유닛이

- 입력 영상들 중 제 1 입력 영상에 기초하여 오프셋 영상을 계산하도록 설계된 오프셋 계산기와,

- 입력 영상들 중 제 2 입력 영상과 오프셋 영상을 가산함으로써 제 1 출력 영상을 계산하도록 설계된 가산 유닛과,

- 입력 영상들 중 제 2 입력 영상에서 오프셋 영상을 감산함으로써 제 2 출력 영상을 계산하도록 설계된 감산 유닛을 포함한다는 점에서 달성된다.

설명을 쉽게 하기 위해, 영상 처리 유닛에 입력 영상들을 제공하는, 한 줄로 잘 배치된 3개의 카메라들이 도입된다. 도 1a를 참조하라. 중간 카메라는 모노스코픽 입력 영상(I)을 제공한다. 즉, 표준 디스플레이 디바이스 상에 디스플레이될 때, 관찰자는 모노스코픽 영상을 본다. 좌측 카메라 및 우측 카메라는 입력 영상들(I_L및 I_R)을 제공한다. 즉, 스테레오스코픽 디스플레이 디바이스 상에 함께 디스플레이될 때, 관찰자는 스테레오스코픽 영상을 본다.

영상 처리 유닛은 입력 영상들 중 적어도 하나를 수신한다. 영상/영상들을 처리하여 제 1 출력 영상(I^* _L)과 제 2 출력 영상(I^* _R)이 생기게 된다. 이 2개의 출력 영상들이 적절한 스테레오스코픽 디스플레이 디바이스 상에 디스플레이될 때, 스테레오스코픽 영상 및 모노스코픽 영상이 보일 수 있다. 이는 관찰자가 안경을 착용하는지 여부에 따른다. 즉,

- 관찰자가 안경을 사용하는 경우에 스테레오스코픽 영상이 보이게 된다. 이는 I^* _L I_L및 I^* _R I_R를 의미한다.

- 관찰자가 안경을 사용하지 않는 경우에 모노스코픽 영상이 보이게 된다. 이는 I^* I를 의미한다. 여기서 I^*는 관찰된 모노스코픽 출력 영상이다.

영상 처리 유닛은 모노스코픽 입력 영상(I) 플러스 또는 마이너스 어떤 오프셋 영상( △I)과 동일한 제 1 출력 영상(I^* _L)과 제 2 출력 영상(I^* _R)을 산출하도록 입력 영상들을 처리한다. 이를 식으로 나타내면 다음과 같다.

I^* _L= I + △I(1)

I^* _R= I - △I(2)

적절한 안경과 결합한 스테레오스코픽 디스플레이 디바이스에 의해 제 1 출력 영상(I^* _L)과 제 2 출력 영상(I^* _R)을 분리함으로써, 관찰자는 스테레오스코픽 영상을 본다. 이 관찰자는 2개의 출력 영상들 사이를 구별할 수 있어 3D 효과, 즉 스테레오스코픽 영상이 생기게 된다. 안경이 없는 관찰자는 2개의 출력 영상들을 혼동한다. 이 관찰자는 2개의 출력 영상들 사이를 구별할 수 없다. 이 관찰자는 모노스코픽 입력 영상(I)과 지각면에서 상당히 동일한 모노스코픽 영상을 본다.

I^*= I^* _L+ I^* _R= I + △I + I - △I = 2I(3)

영상 처리 유닛의 이점은 모노스코픽 화질이 3D 효과와 실질적으로 무관하다는 점이다. 이는 안경을 착용하는 것을 원치 않는 관찰자들도 비교적 높은 모노스코픽 화질을 경험함을 의미한다. 그러나, 동시에 안경을 착용하는 것을 원하는 관찰자들도 비교적 높은 품질을 갖는 스테레오스코픽 영상들을 보게 된다.

본 발명에 따른 영상 처리 유닛의 실시예에서, 오프셋 계산기는 입력 영상들 중 제 1 입력 영상에서 입력 영상들 중 제 3 입력 영상을 감산하고, 2와 실질적으로 동일한 상수로 나눔으로써 오프셋 영상을 계산하도록 설계된다. 입력 영상들 중 제 1 입력 영상, 입력 영상들 중 제 2 입력 영상, 및 입력 영상들 중 제 3 입력 영상은 3중 카메라에 의해 포착될 수 있다. 또한 영상들이 포착하는 순간들 사이에 움직이는 한 카메라에 의해 포착될 수 있다. 게다가 영상들은 그래픽 시스템에 의해 발생될 수 있다. △I는 입력 영상들 중 제 1 입력 영상과 입력 영상들 중 제 3 입력 영상간의 차를 1/2 하여 결정된다. I_L은 입력 영상들 중 제 1 입력 영상이고, I_R은 입력 영상들 중 제 3 입력 영상이라고 가정하자. 그러면 △I 는 다음과 같다.

△I =(4)

출력 영상들(I^* _L및 I^* _R)이 매우 입력 영상들(I_L, I_R)과 각각 유사하다는 점이 장점이다. 휘도가 예를 들어 [0, 255]로 제한되므로, I^* _L및 I^* _R가 유효 휘도 값들을 포함하도록 보장하기 위해 △I의 가산 및 감산 뒤에 클리핑이 오는 것이 바람직하다. 입력 영상들을 스케일링하는 것이 대안이다.

본 발명에 따른 영상 처리 유닛의 다른 실시예에서, 오프셋 계산기는 입력 영상들 중 제 1 입력 영상에서 입력 영상들 중 제 2 입력 영상을 감산함으로써 오프셋 영상을 계산하도록 설계된다. 입력 영상들 중 제 1 입력 영상과 입력 영상들 중 제 2 입력 영상이 스테레오 카메라에 의해 포착될 수 있다. 또한 영상들이 포착하는 순간들 사이에 움직이는 한 카메라에 의해 포착될 수 있다. 게다가 영상들은 그래픽 시스템에 의해 발생될 수 있다. △I는 입력 영상들 중 제 1 입력 영상과 입력 영상들 중 제 2 입력 영상간의 차에 의해 결정된다. I_L은 입력 영상들 중 제 1 입력 영상이고, I는 입력 영상들 중 제 2 입력 영상이라고 가정하자. 그러면 △I은 다음과 같다.

△I = I_L- I(5)

비교적 양호하고 용이한 스테레오스코픽 및 모노스코픽 영상들을 얻으면서, 영상들의 획득을 위해 표준 스테레오 카메라들을 이용할 수 있다는 점이 장점이다.

본 발명에 따른 영상 처리 유닛의 다른 실시예에서, 오프셋 계산기는 입력 영상들 중 제 1 입력 영상을 미분함으로써 오프셋 영상을 계산하도록 설계된다.이 경우에 단 하나의 입력 영상이 존재한다. 즉, 입력 영상들 중 제 2 입력 영상은 입력 영상들 중 제 1 입력 영상과 동일하다. 오프셋 영상은 이 입력 영상으로부터 직접 계산된다. 계산하기 쉽고 매우 강인하다(robust)는 점이 장점이다. 이는 장면에 있어서 실제 깊이와 반드시 관련되지 않는 경미한(mild) 3D 효과를 제공한다. 영상에 있어서 휘도 변화(transition)가 깊이 변화에 대응한다고 가정한다. 입력 영상들 중 제 1 입력 영상은 모노 카메라에 의해 포착될 수 있으며, 또는 그래픽 시스템에 의해 발생될 수 있다. 오프셋 영상을 계산하는 방법의 예가 식 6에 있다.

△I =(6)

본 발명에 따른 영상 처리 유닛의 실시예는 포착된 영상과 깊이 지도(depth map)에 기초하여 입력 영상들을 렌더링하도록 설계된 렌더 유닛(render unit)을 더 포함한다. 영상들이 3중 또는 스테레오 카메라 설정(set-up)으로부터 생성된 것처럼 영상들을 렌더링할 수 있다는 이점이 있다. 그 점에 의거하여, 처리는 상기에 기술된 바와 같이, 이 설정들에서 이용될 수 있다.

렌더 유닛을 포함하는 본 발명에 따른 영상 처리 유닛의 실시예에서, 깊이 지도는 깊이 카메라에 의해 제공된다. 깊이 카메라를 사용함으로써, 깊이 지도를 직접 이용할 수 있다. 하나 이상의 영상들 중 깊이를 추정하는 것은 비교적 복잡한 문제이다. 따라서 깊이 지도가 깊이 카메라에 의해 제공된다면 이점이 있다.

렌더 유닛을 포함하는 본 발명에 따른 영상 처리 유닛의 실시예는 포착된 영상에 기초한 깊이 지도를 발생시키도록 설계된 깊이 추정 유닛을 더 포함한다. 이 개념은 1998년, 오스트리아, 알프바취, 영상 및 다차원 신호 처리 워크숍의 회보, 159-162 페이지, P. Wilinski 및 K. van Overveld 에 의해 쓰여진 논문 "Depth from motion using confidence based block matching"에 기재되어 있다. 본 발명에 따른 이 실시예의 이점은 표준 모노 카메라들에 의해 포착된 비디오 시퀀스들에서조차도, 영상들이 3D 효과를 갖도록 생성될 수 있다는 점이다.

본 발명의 제 2 목적은, 방법이

- 입력 영상들 중 제 1 입력 영상에 기초하여 오프셋 영상을 계산하는 단계와,

- 입력 영상들 중 제 2 입력 영상과 오프셋 영상을 가산함으로써 제 1 출력 영상을 계산하는 단계와,

- 입력 영상들 중 제 2 입력 영상에서 오프셋 영상을 감산함으로써 제 2 출력 영상을 계산하는 단계를 포함한다는 점에서 달성된다.

본 발명의 제 3 목적은, 영상 디스플레이 장치의 영상 처리 유닛이

영상 디스플레이 장치는 수신 수단, 디코더 및 기억 수단과 같은 구성 요소를 포함할 수 있다. 영상 처리 유닛의 수정 및 변화는 기술되어진 방법과 영상 디스플레이 장치의 수정 및 변화에 대응할 수 있다.

본 발명에 따른 영상 처리 유닛, 방법 및 영상 디스플레이 장치의 이러한 양태 및 다른 양태는 하기에 기술된 구현예들과 실시예들에 대하여 그리고 첨부한 도면들을 참조하여 명백하게 되며 설명되어질 것이다.

대응하는 참조 번호들은 도면들 전체에서 동일한 의미를 갖는다.

도 1a는 영상들(I_L, I, I_R)을 각각 포착하는 카메라들(114-118)을 포함하는 3중 카메라에 접속된 영상 처리 유닛(100)의 실시예를 개략적으로 도시한다. 이 영상들은 그 입력 접속기들(108-112)을 통해 영상 처리 유닛(100)에 제공된다. 영상 처리 유닛(100)은 제 1 출력 영상(I^* _L) 및 제 2 출력 영상(I^* _R)을 발생시키도록 설계된다. 영상 처리 유닛(100)은,

- 식 4에 따라 입력 영상들(I_L, I_R)에 기초하여 오프셋 영상(△I)을 계산하도록 설계된 오프셋 계산기(102)와,

- 식 1에 따라 입력 영상(I)과 오프셋 영상(△I)을 가산함으로써 제 1 출력 영상(I^* _L)을 계산하도록 설계된 가산 유닛(104)과,

- 식 2에 따라 입력 영상(I)에서 오프셋 영상(△I)을 감산함으로써 제 2 출력 영상(I^* _R)을 계산하도록 설계된 감산 유닛(106)을 포함한다.

도 1b는 영상들(I_L, I)을 각각 포착하는 카메라들(114 및 116)을 포함하는 스테레오 카메라에 접속된 영상 처리 유닛(101)의 실시예를 개략적으로 도시한다. 이 영상들은 그 입력 접속기들(108 및 112)을 통해 영상 처리 유닛(101)에 제공된다. 영상 처리 유닛(101)은 제 1 출력 영상(I^* _L) 및 제 2 출력 영상(I^* _R)을 발생시키도록 설계된다. 영상 처리 유닛(101)은 식 5에 따라 입력 영상들(I_L, I)에 기초하여 오프셋 영상(△I)을 계산하도록 설계된 오프셋 계산기(102)를 포함한다.

도 1c는 영상(I)을 포착하는 모노 카메라(116)에 접속된 영상 처리 유닛(103)의 실시예를 개략적으로 도시한다. 이 영상은 그 입력 접속기(108)를 통해 영상 처리 유닛(103)에 제공된다. 영상 처리 유닛(103)은 제 1 출력 영상(I^* _L) 및 제 2 출력 영상(I^* _R)을 발생시키도록 설계된다. 영상 처리 유닛(103)은 식 6에 따라 입력 영상(I)에 기초하여 오프셋 영상(△I)을 계산하도록 설계된 오프셋 계산기(102)를 포함한다.

도 2a는 렌더러(renderer)(202)를 포함하는 영상 처리 유닛(105)의 실시예를 개략적으로 도시한다. 영상 처리 유닛(105)은 입력 접속기들(108 및 208)을 통해 그 입력을 수신한다. 카메라(116)는 휘도 값들을 나타내는 픽셀들을 갖는 영상(I)을 포착한다. 카메라(216)는 깊이(depth) 값들을 나타내는 픽셀들을 갖는 깊이 지도(depth map)를 포착한다. 입력 영상들(I_L, I_R)은 이미지(I)의 시차 변형(parallactic transformation)을 통해 생성된다. 이는 입력 영상들(I_L, I_R)을 획득하는데 사용되는 깊이 종속 픽셀 시프트들이 계산됨을 의미한다. 이 타입의 처리는 예를 들어 US 5,929,859에 기재되어 있다. 그 명세서에는, 시프트로부터 얻어진 원치 않는 홀들이나 오버랩들을 방지하는 것이 기술되어 있다. 영상 처리유닛(105)은 식 4에 따라 입력 영상들(I_L, I_R) 및/또는 식 5에 따라 입력 영상들(I_L, I)에 기초하여 오프셋 영상(△I)을 계산하도록 설계된 오프셋 계산기(102)를 포함한다.

도 2b는 렌더러(202) 및 깊이 추정 유닛(204)을 포함하는 영상 처리 유닛(107)의 실시예를 개략적으로 도시한다. 영상 처리 유닛(107)은 입력 접속기(108)를 통해 입력을 수신한다. 카메라(116)는 휘도값들을 나타내는 픽셀들을 갖는 영상(I)을 포착한다. 입력 영상들(I_L, I_R)은 이미지(I)의 시차 변형을 통해 그리고 깊이 추정 유닛(204)에 의해 생성된 깊이 지도들(D) 상에서 생성된다. 깊이 추정 유닛(204)은 예를 들어, 1998년, 오스트리아, 알프바취, 영상 및 다차원 신호 처리 워크숍의 회보, 159-162 페이지, P. Wilinski 및 K. van Overveld 에 의해 쓰여진 논문 "Depth from motion using confidence based block matching"에 기재된 바와 같이 설계된다. 영상 처리 유닛(107)은 식 4에 따라 입력 영상들(I_L, I_R) 및 식 5에 따라 입력 영상들(I_L, I)에 기초하여 오프셋 영상(△I)을 계산하도록 설계된 오프셋 계산기(102)를 포함한다.

도 3은 이러한 관계에 있어서 영상 디스플레이 장치(300)의 실시예를 개략적으로 도시한다. 도 3은 영상들(I_L, I, I_R)을 각각 포착하고 입력 접속기들(312-316)을 통해 멀티플렉서에 영상들을 제공하는 카메라들(114-118)에 접속된 멀티플렉서(309)를 도시한다. 이 멀티플렉서(309)는 포착된 영상들을 나타내는 데이터를인코딩하고 인코딩된 데이터를 송신하도록 설계된다. 인코딩된 데이터는 입력 접속기(310)를 통해 영상 디스플레이 장치(300)에 제공된다. 영상 디스플레이 장치(300)는,

- 인코딩된 데이터를 수신하고, 그 데이터를 디코딩하여 영상들(I_L, I, I_R)을 만드는 수신 수단(308)과,

- 도 1a와 관련하여 기술된 바와 같은 영상 처리 장치(100)와,

- 예를 들어 시간 다중화에 의해, 출력 영상들(I^* _L, I^* _R)을 실질적으로 개별적으로 디스플레이하도록 설계된 스테레오스코픽 디스플레이 디바이스(306)를 포함한다.

그 결과로,

- 제 1 출력 영상(I^* _L)과 제 2 출력 영상(I^* _R)을 좌측 눈과 우측 눈에서 실질적으로 별개로 인식하는 제 1 관찰자(302)의 경우 스테레오스코픽 영상이 되고,

- 제 1 출력 영상(I^* _L)과 제 2 출력 영상(I^* _R)을 양 눈에서 실질적으로 모두 인식하는 제 2 관찰자(304)의 경우 모노스코픽(monoscopic) 영상이 되게 된다.

스테레오스코픽 영상들을 디스플레이하기 위한 많은 디스플레이 기술들이 공지되어 있다. 시간 병렬 기술을 사용하면, 2개의 출력 영상들은 하나 또는 2개의 디스플레이들에 동시에 표시된다. 예를 들어, 2개의 출력 영상들은 보색들로 필터링될 수 있으며, 한 디스플레이 상에서 혼합될 수 있다. 관찰자는 투사 필터들에 필적하는 필터들을 갖는 안경을 착용한다. 또 다른 예로서, 2개의 디스플레이들은 대응하는 편광된 안경을 통해 보여지는 2개의 상이하게 편광된 화상들을 표시하는데 사용될 수 있다. 시간 다중화 기술에서, 좌측 및 우측 영상들은 한 디스플레이 상에서 교번적으로 디스플레이된다. 일례로서, 한 영상은 짝수의 주사선들에 기록되고, 다른 영상은 홀수의 주사선들에 기록된다. 셔터 시스템은 좌측 눈 영상이 디스플레이될 때 우측 눈은 보이지 않도록 하는데 사용된다. 셔터 시스템은 관찰자가 착용한 안경에 장착될 수 있다. 대안적으로, 조절 가능한 편광기를 갖는 셔터는 디스플레이 앞에 놓이며 관찰자는 편광된 안경을 갖는 헤드 마웃트(head-mounted) 디바이스를 착용한다.

상기에 언급된 실시예들이 본 발명을 한정한다기 보다는 오히려 예시하며, 당업자는 첨부된 청구항들의 범위에서 벗어나지 않고 대안적인 실시예들을 설계할 수 있을 것임을 유념해야 한다. 청구항들에서, 괄호 사이에 놓인 임의의 참조 기호들은 청구항을 한정하려고 기재되어진 것은 아니다. 단어 '포함하는(comprising)'은 청구항에 리스트되지 않은 소자들이나 단계들의 존재를 배제하는 것은 아니다. 소자 앞에 쓰여진 단수 표현(단어 "a"나 "an")은 이러한 소자가 복수 개 존재하는 것을 배제하는 것은 아니다. 본 발명은 몇몇 별개의 소자들을 포함하는 하드웨어에 의해, 그리고 적절하게 프로그램된 컴퓨터에 의해 구현될 수 있다. 몇몇 수단을 열거하는 장치 청구항들에서, 이 수단 중 몇 개는 동일한 아이템의 하드웨어에 의해 구현될 수 있다.

Claims

스테레오스코픽(stereoscopic) 디스플레이 디바이스(306)상에 디스플레이될 제 1 출력 영상(I^* _L)과 제 2 출력 영상(I^* _R)을 복수의 입력 영상들(I_R, I, I_L)에 기초하여 발생하는 영상 처리 유닛으로서, 상기 제 1 출력 영상과 상기 제 2 출력 영상은,

-상기 제 1 출력 영상(I^* _L)과 상기 제 2 출력 영상(I^* _R)을 좌측 눈과 우측 눈에서 실질적으로 별개로 인식하는 제 1 관찰자의 경우 스테레오스코픽 영상이 되고,

- 상기 제 1 출력 영상(I^* _L)과 상기 제 2 출력 영상(I^* _R)을 양 눈에서 실질적으로 모두 인식하는 제 2 관찰자의 경우 모노스코픽 영상이 되는, 상기 영상 처리 유닛에 있어서,

- 상기 입력 영상들 중 제 1 입력 영상에 기초하여 오프셋 영상(△I)을 계산하도록 설계된 오프셋 계산기(102)와,

- 상기 입력 영상들 중 제 2 입력 영상(I)과 상기 오프셋 영상(△I)을 가산함으로써 상기 제 1 출력 영상(I^* _L)을 계산하도록 설계된 가산 유닛(104)과,

- 상기 입력 영상들 중 상기 제 2 입력 영상(I)에서 상기 오프셋 영상(△I)을 감산함으로써 상기 제 2 출력 영상(I^* _R)을 계산하도록 설계된 감산 유닛(106)을 포함하는 것을 특징으로 하는, 영상 처리 유닛(100).
제 1 항에 있어서,

상기 오프셋 계산기(102)는 상기 입력 영상들 중 상기 제 1 입력 영상(I_L)에서 상기 입력 영상들 중 제 3 입력 영상(I_R)을 감산하고 실질적으로 2와 동일한 상수로 나눔으로써 상기 오프셋 영상(△I)을 계산하도록 설계되는 것을 특징으로 하는, 영상 처리 유닛(100).
제 1 항에 있어서,

상기 오프셋 계산기(102)는 상기 입력 영상들 중 상기 제 1 입력 영상(I_L)에서 상기 입력 영상들 중 상기 제 2 입력 영상(I)을 감산함으로써 오프셋 영상(△I)을 계산하도록 설계되는 것을 특징으로 하는, 영상 처리 유닛(101).
제 1 항에 있어서,

상기 오프셋 계산기(102)는 상기 입력 영상들 중 상기 제 1 입력 영상(I)을 미분함으로써 상기 오프셋 영상(△I)을 계산하도록 설계되는 것을 특징으로 하는, 영상 처리 유닛(103).
제 1 항에 있어서,

포착된 영상(I) 및 깊이 지도(D)에 기초하여 상기 입력 영상들을 렌더하도록 설계된 렌더(render) 유닛(202)을 더 포함하는 것을 특징으로 하는, 영상 처리 유닛(105).
제 5 항에 있어서,

상기 깊이 지도(D)는 깊이 카메라(216)에 의해 제공되는 것을 특징으로 하는, 영상 처리 유닛(105).
제 5 항에 있어서,

포착된 영상(I)에 기초하여 상기 깊이 지도(D)를 발생시키도록 설계된 깊이 추정 유닛(204)을 더 포함하는 것을 특징으로 하는, 영상 처리 유닛(107).
스테레오스코픽(stereoscopic) 디스플레이 디바이스(306)상에 디스플레이될 제 1 출력 영상(I^* _L)과 제 2 출력 영상(I^* _R)을 복수의 입력 영상들(I_R, I, I_L)에 기초하여 발생하는 방법으로서, 상기 제 1 출력 영상과 상기 제 2 출력 영상은,

-상기 제 1 출력 영상(I^* _L)과 상기 제 2 출력 영상(I^* _R)을 좌측 눈과 우측 눈에서 실질적으로 별개로 인식하는 제 1 관찰자의 경우 스테레오스코픽 영상이 되고,

- 상기 제 1 출력 영상(I^* _L)과 상기 제 2 출력 영상(I^* _R)을 양 눈에서 실질적으로 모두 인식하는 제 2 관찰자의 경우 모노스코픽 영상이 되는, 상기 방법에 있어서,

- 상기 입력 영상들 중 제 1 입력 영상에 기초하여 오프셋 영상(△I)을 계산하는 단계와,

- 상기 입력 영상들 중 제 2 입력 영상(I)과 상기 오프셋 영상(△I)을 가산함으로써 상기 제 1 출력 영상(I^* _L)을 계산하는 단계와,

- 상기 입력 영상들 중 상기 제 2 입력 영상(I)에서 상기 오프셋 영상(△I)을 감산함으로써 상기 제 2 출력 영상(I^* _R)을 계산하는 단계를 포함하는 것을 특징으로 하는, 방법.
제 8 항에 있어서,

상기 오프셋 영상(△I)은 상기 입력 영상들 중 상기 제 1 입력 영상(I_L)에서 상기 입력 영상들 중 상기 제 2 입력 영상(I)을 감산함으로써 계산되는 것을 특징으로 하는, 방법.
- 스테레오스코픽(stereoscopic) 디스플레이 디바이스(306)상에 디스플레이될 제 1 출력 영상(I^* _L)과 제 2 출력 영상(I^* _R)을 복수의 입력 영상들(I_R, I, I_L)에 기초하여 발생하는 영상 처리 유닛(100)으로서, 상기 제 1 출력 영상과 상기 제 2 출력 영상은,

- 상기 제 1 출력 영상(I^* _L)과 상기 제 2 출력 영상(I^* _R)을 좌측 눈과 우측 눈에서 실질적으로 별개로 인식하는 제 1 관찰자의 경우 스테레오스코픽 영상이 되고,

- 상기 제 1 출력 영상(I^* _L)과 상기 제 2 출력 영상(I^* _R)을 양 눈에서 실질적으로 모두 인식하는 제 2 관찰자의 경우 모노스코픽 영상이 되는, 상기 영상 처리 유닛과,

스테레오스코픽 디스플레이 디바이스(306)를 포함하는, 영상 디스플레이 장치(300)에 있어서,

상기 영상 처리 유닛(100)은,

- 상기 입력 영상들 중 제 1 입력 영상에 기초하여 오프셋 영상(△I)을 계산하도록 설계된 오프셋 계산기(102)와,

- 상기 입력 영상들 중 제 2 입력 영상(I)과 상기 오프셋 영상(△I)을 가산함으로써 상기 제 1 출력 영상(I^* _L)을 계산하도록 설계된 가산 유닛(104)과,

- 상기 입력 영상들 중 상기 제 2 입력 영상(I)에서 상기 오프셋 영상(△I)을 감산함으로써 상기 제 2 출력 영상(I^* _R)을 계산하도록 설계된 감산 유닛(106)을 포함하는 것을 특징으로 하는, 영상 디스플레이 장치(300).