KR20130061679A - 디스패리티 값 표시 - Google Patents

Abstract

특정 구현은 입체 비디오와, 상기 입체 비디오에 대응하며 실제 디스패리티 값을 표시하지 않는 샘플을 포함하는 디스패리티 맵을 수신한다. 이 특정 구현은 상기 샘플에 대응하는 디스패리티 정보를 결정하며, 상기 디스패리티 정보에 기초하여 상기 입체 비디오를 처리한다. 다른 구현은 입체 비디오를 수신하고, 상기 입체 비디오에 대응하는 디스패리티 정보를 처리한다. 또 다른 구현은 실제 디스패리티 값을 표시하지 않는 샘플을 포함하는 디스패리티 맵을 생성한다.

Description

디스패리티 값 표시{DISPARITY VALUE INDICATIONS}

관련 출원의 상호 인용

본 출원은 미국 임시출원 61/319,973(출원일: 2010년 4월 1일, 발명의 명칭: "Disparity Value Indications")의 우선권을 주장하며, 이 임시출원의 전체 내용은 본 명세서에 참조에 의해 포함된다.

<기술 분야>

3D에 관련된 구현이 기술된다. 다양한 특정 구현은 비디오 콘텐츠에 대한 디스패리티 맵에 관련된다.

입체 비디오는 좌측 비디오 영상과 우측 비디오 영상을 포함하는 2개의 비디오 영상을 제공한다. 이들 2개의 비디오 영상에는 깊이 및/또는 디스패리티 정보가 이용될 수 있다. 깊이 및/또는 디스패리티 정보는 이 2개의 비디오 영상에 대한 여러 가지 처리 동작에 이용될 수 있다.

일반적인 양상에 따라서, 입체 비디오와, 상기 입체 비디오에 대응하며 실제 디스패리티 값을 표시하지 않는 샘플을 포함하는 디스패리티 맵이 수신된다. 상기 샘플에 따라 디스패리티 정보가 결정된다. 상기 입체 비디오는 상기 디스패리티 정보에 기초하여 처리된다.

다른 일반적인 양상에 따라서, 입체 비디오와, 상기 입체 비디오에 대응하며 실제 디스패리티 값을 표시하지 않는 샘플을 포함하는 고밀도 디스패리티 맵이 수신된다. 상기 샘플에 따라, 상기 샘플에 대응해야 하는 실제 디스패리티 값이 소정값보다 작거나 큰 지를 표시하는 디스패리티 정보가 결정된다. 오버레이 정보 배치, 3D 효과 조정, 경보 발생 및 새로운 뷰 합성 중 적어도 한 가지를 수행하기 위해 상기 디스패리티 정보에 기초하여 상기 입체 비디오가 처리된다.

다른 일반적인 양상에 따라서, 입체 비디오가 수신된다. 상기 입체 비디오에 대응하는 디스패리티 정보가 처리된다. 실제 디스패리티 값을 표시하지 않는 샘플을 포함하는, 상기 입체 비디오에 대한 디스패리티 맵이 생성된다.

첨부도면과 하기의 상세한 설명에서는 하나 이상의 구현에 대한 세부 사항이 기술된다. 이러한 구현은 특정 방식으로 기재되어 있다 하더라도, 다른 여러 가지 방식으로 구성 또는 구체화될 수 있다. 예컨대, 구현은 방법으로서 수행되거나, 예컨대 동작 세트를 수행하도록 구성된 장치 또는 동작 세트를 수행하기 위한 명령어를 저장하는 장치와 같은 장치로서 구체화되거나, 또는 신호로서 구체화될 수 있다. 다른 양상과 특징들은 첨부도면을 참조한 하기의 상세한 설명과 청구범위로부터 분명하게 드러날 것이다.

도 1은 병렬 배치된 카메라에 대한 실제 깊이값을 보여주는 도면.
도 2는 디스패리티 값을 보여주는 도면.
도 3은 겉보기 깊이와 디스패리티 간의 관계를 보여주는 도면.
도 4는 수렴 카메라를 도시한 도면.
도 5는 3D 효과를 조정하는 구현을 도시한 블록도.
도 6은 수렴 카메라와 이 수렴 카메라로부터의 입체 영상쌍을 보여주는 도면.
도 7은 디스패리티 값이 서로 다른 대상체를 가진 화상을 보여주는 도면.
도 8은 음영 영역에서 정확한 디스패리티 값을 알지 못하는 입체 영상쌍을 보여주는 도면.
도 9는 본 발명의 실시예에 따른, 디스패리티 맵 생성의 예를 보여주는 흐름도면.
도 10은 본 발명의 실시예에 따른, 디스패리티 값 또는 다른 디스패리티 정보를 얻기 위해 디스패리티 맵을 처리하는 예를 보여주는 흐름도.
도 11은 하나 이상의 구현에 이용될 수 있는 영상 처리 시스템의 예를 보여주는 블록도.
도 12는 하나 이상의 구현에 이용될 수 있는 영상 처리 시스템의 다른 예를 보여주는 블록도.

본 발명의 몇 가지 특징에 대한 사전 검토로서, 적어도 하나의 구현은 디스패리티 맵에서 소정의 샘플을 이용하여 디스패리티 값 또는 기타 다른 디스패리티 정보를 표시한다. 정확한 디스패리티 값이 알려지고 규정된 범위 내에 있다면, 샘플은 그 디스패리티 값을 특정한다. 그렇지 않으면, 샘플은 디스패리티 값이 미리 정해진 값 또는 산출값보다 크거나 작다는 것을 표시할 수 있다. 미리 정해진 값은 규정된 범위의 상한이나 하한, 인접 위치에서의 디스패리티 값, 특정값, 또는 특정 위치에서의 디스패리티 값일 수 있다. 산출값은 다른 위치들에서의 하나 이상의 디스패리티 값에 기초하여 산출될 수 있다. 샘플은 현 위치에서 디스패리티 값에 대한 정보가 이용될 수 없음을 표시할 수도 있다.

상기 사전 검토로 돌아가면, 도 1은 비디오 영상에서 깊이 개념을 예시적으로 도시한 것이다. 도 1은 센서(107)를 구비한 우측 카메라(105)와 센서(112)를 구비한 좌측 카메라(110)를 보여준다. 양 카메라(105, 110)는 대상체(115)의 영상을 포착하고 있다. 설명 목적상, 대상체(115)는 물리적 크로스(cross)이며, 그 우측에는 임의의 디테일(detail)(116)이 위치해 있다(도 2 참조). 우측 카메라(105)는 포착각(120)을 갖고 있고, 좌측 카메라(110)는 포착각(125)을 갖고 있다. 이 2개의 포착각(120, 125)은 3D 입체 영역(130)에서 중첩한다.

대상체(115)는 3D 입체 영역(130)에 있으므로, 대상체(115)는 양 카메라(105, 110)에 보여지며, 따라서 대상체(115)는 깊이를 갖는 것으로 인식될 수 있다. 대상체(115)는 실제 깊이(135)를 갖고 있다. 실제 깊이(135)는 일반적으로 대상체(115)에서부터 카메라(105, 110)까지의 거리라고 한다. 더 구체적으로는, 실제 깊이(135)는 대상체(115)에서부터, 양 카메라(105, 110)의 입사 동공면에 의해 정해진 면인 입체 카메라 베이스라인(140)까지의 거리라고 할 수 있다. 카메라의 입사 동공면은 통상적으로 줌 렌즈 내부에 있으며, 따라서 통상적으로는 물리적으로 접근할 수 없다.

카메라(105, 110)는 초점 거리(145)도 갖는 것으로 도시되어 있다. 초점 거리(145)는 출사 동공면에서부터 센서(107, 112)까지의 거리이다. 설명 목적상, 입사 동공면과 출사 동공면은 일치하는 것으로 도시되어 있으나, 대부분의 경우에 이들은 약간 떨어져 있다. 그 외에도, 카메라(105, 110)는 소정의 베이스라인 길이(150)를 갖는 것으로 도시되어 있다. 베이스라인 길이(150)는 카메라(105, 110)의 입사 동공들의 중심들 간의 거리이며, 따라서, 입체 카메라 베이스라인(140)에서 측정된다.

대상체(115)는 카메라(105, 110) 각각에 의해 센서(107, 112) 각각 상에의 실상(real image)으로서 촬상된다. 이들 실상은 센서(107) 상의 디테일(116)의 실상(117)과 센서(112) 상의 디테일(116)의 실상(118)을 포함한다. 도 1에 도시된 바와 같이, 이들 실상은 본 기술분야에 알려진 바와 같이 플립핑된다(flipped).

깊이는 디스패리티와 밀접한 관계가 있다. 도 2는 카메라(110)로부터 포착된 좌측 영상(205)과 카메라(105)로부터 포착된 우측 영상(210)을 보여준다. 양 영상(205, 210)은 디테일(116)을 가진 대상체(115)의 표현을 포함한다. 영상(210)은 대상체(115)의 대상체 영상(217)을 포함하며, 영상(205)은 대상체(115)의 대상체 영상(218)을 포함한다. 디테일(116)의 맨 오른쪽 지점은 좌측 영상(205)에서 대상체 영상(218) 중의 화소(220)에 포착되고, 우측 영상(210)에서 대상체 영상(217) 중의 화소(225)에 포착된다. 화소(220)의 위치와 화소(225)의 위치 간의 수평적 차가 디스패리티(230)이다. 대상체 영상(217, 218)은 디테일(116)의 영상이 양 영상(205, 210)에서 동일한 수직적 위치를 갖도록 수직적으로 등록되는 것으로 가정한다. 디스패리티(230)는 좌측과 우측 영상(205, 210)이 각각 관찰자의 좌안과 우안에 의해 보일 때에 대상체(215)에 대한 깊이감을 준다.

도 3은 디스패리티와 인식된 깊이 간의 관계를 보여준다. 3명의 관찰자(305, 307, 309)가 각자의 스크린(310, 320, 330) 상의 대상체에 대한 입체 영상 쌍을 보고 있는 것으로 도시되어 있다.

제1 관찰자(305)는 대상체의 좌측 뷰(315)와, 양의 디스패리티를 가진 대상체의 우측 뷰(317)를 본다. 양의 디스패리티는 스크린(310) 상에서 대상체의 좌측 뷰(315)가 대상체의 우측 뷰(317)의 좌측에 있다는 사실을 나타낸다. 양의 디스패리티가 있으면 인식된 또는 가상의 대상체(319)가 스크린(310)의 면 뒤에 나타나게 된다.

제2 관찰자(307)는 대상체의 좌측 뷰(325)와, 제로 디스패리티를 가진 대상체의 우측 뷰(327)를 본다. 제로 디스패리티는 스크린(320) 상에서 대상체의 좌측 뷰(325)가 대상체의 우측 뷰(327)와 동일한 수평적 위치에 있다는 사실을 나타낸다. 제로 디스패리티가 있으면 인식된 또는 가상의 대상체(329)가 스크린(320)과 동일한 깊이에 나타나게 된다.

제3 관찰자(309)는 대상체의 좌측 뷰(335)와, 음의 디스패리티를 가진 대상체의 우측 뷰(337)를 본다. 음의 디스패리티는 스크린(330) 상에서 대상체의 좌측 뷰(335)가 대상체의 우측 뷰(337)의 우측에 있다는 사실을 나타낸다. 음의 디스패리티가 있으면 인식된 또는 가상의 대상체(339)가 스크린(330)의 면 앞에 나타나게 된다. 도 2에서, 우측 영상 중의 화소(225)는 좌측 영상 중의 화소(220)의 왼쪽에 있어 디스패리티(230)에 음의 부호를 부여한다는 것에 유의한다. 따라서, 대상체 영상(217, 218)은 (대상체(339)가 스크린(330)보다 더 가까이 보이게 됨에 따라) 대상체가 스크린보다 더 가까이 있는 모양을 보여줄 것이다.

이 시점에서, 디스패리티와 깊이가 본 명세서에서 문맥상 달리 표시되거나 요구되지 않는 한 구현 시에 서로 바꾸어서 사용될 수 있다는 점에 주목할 만하다. 수학식 1을 이용하면 디스패리티가 장면 깊이에 역비례한다는 것을 알 수 있다.

(1)

여기서, "D"는 깊이(도 1에서 135)이고, "b"는 2개의 입체 영상 카메라 간의 베이스라인 길이(도 1에서 150)이고, "f"는 각 카메라의 초점 거리(도 1에서 145)이고, "d"는 2개의 대응하는 특징점들에 대한 디스패리티(도 2에서 230)이다.

상기 수학식 1은 초점 거리가 같은 병치 카메라에 대해 유효하다. 다른 상황에 대해서 더 복잡한 공식이 정의될 수 있지만, 대부분의 경우에 수학식 1은 근사화로서 이용될 수 있다. 그러나, 그 외에도, 하기 수학식 2는 수렴 카메라에 대해 유효하다.

(2)

여기서, d_∞은 무한대에 있는 대상체에 대한 디스패리티 값이다. d_∞은 수렴각과 초점 거리에 따라 다르며, 화소수가 아니라 (예컨대) 미터 단위로 표현된다. 초점 거리는 도 1 및 초점 거리(145)에 관련하여 이미 설명되었다. 도 4는 수렴각을 보여준다.

도 4는 도 1의 병렬 구성이 아닌 수렴 구성에서 배치된 카메라(105)와 카메라(110)를 포함한다. 수렴각(410)은 수렴하는 카메라(105, 110)의 초점선을 보여준다.

디스패리티 맵은 비디오 영상에 디스패리티 정보를 부여하는데 이용된다. 디스패리티 맵은 일반적으로 관련 비디오 영상 중의 화소에 대응하는 기하학적 형태를 가진 디스패리티 값 세트를 말한다.

고밀도 디스패리티 맵은 일반적으로 관련 비디오 영상의 해상도와 동일한 공간적 및 시간적 해상도를 가진 디스패리티 맵을 말한다. 시간적 해상도는 예컨대 프레임 레이트를 말하며, 예컨대, 50Hz 또는 60Hz일 수 있다. 그러므로, 고밀도 디스패리티 맵은 일반적으로 화소 위치당 하나의 디스패리티 샘플을 가질 것이다. 고밀도 디스패리티 맵의 기하학적 형태는 통상적으로 대응 비디오 영상의 기하학적 형태와 같을 것이고, 예컨대, 다음과 같은 하소 단위의 가로 크기와 세로 크기를 가진 직사각형일 것이다.

(i) 1920x1080(또는 1920x1200)

(ii) 1440x1080(또는 1440x900)

(iii) 1280x720(또는 1280x1024, 1280x960, 1280x900, 1280x800)

(iv) 960x640(또는 960x600, 960x576, 960x540)

(v) 2048x1536(또는 2048x1152)

(vi) 4096x3072(또는 4096x3112, 4096x2304, 4096x2400, 4096x2160, 4096x768), 또는

(vii) 8192x4302(또는 8192x8192, 8192x4096, 7680x4320)

고밀도 디스패리티 맵의 해상도는 관련 영상의 해상도와 거의 같지만, 다를 수 있다. 일례에서, 영상 경계에서 디스패리티 정보를 얻기 어려운 경우에, 경계 화소에서 디스패리티를 포함하지 않도록 선택할 수 있으며, 디스패리티 맵은 관련 영상보다 작다.

다운 샘플링된 디스패리티 맵은 일반적으로 고유 비디오 해상도보다 작은(예컨대, 4로 분할된) 해상도를 가진 디스패리티 맵을 말한다. 다운 샘플링된 디스패리티 맵은 예컨대 화소 블록당 하나의 디스패리티 값을 가질 것이다.

저밀도 디스패리티 맵은 일반적으로 대응 비디오 영상에서 쉽게 추적될 수 있는 것으로 셍각되는 한정된 화소수(예컨대, 1000개)에 대응하는 디스패리티 세트를 말한다. 선택되는 한정된 화소수는 일반적으로 그 내용 자체에 따라 다를 것이다. 영상에 백만 또는 2백만개 이상의 화소(1280x720 또는 1920x1080)가 있는 경우가 자주 있다. 화소 서브세트 선택은 일반적으로 특징점을 검출할 수 있는 트랙커 툴(tracker tool)에 의해 자동적으로 또는 반자동적으로 행해진다. 트랙커 툴은 쉽게 입수될 수 있다. 특징점은 예컨대 다른 영상에서 쉽게 추적될 수 있는 화상 내의 에지점 또는 코너점일 수 있다. 대상체의 높은 콘트라스트 에지를 나타내는 특징이 일반적으로 화소 서브세트에 바람직한 것이다.

디스패리티 맵, 더 일반적으로는 디스패리티 정보는 다양한 처리 동작에 이용될 수 있다. 그와 같은 동작은 예컨대 고객 장치에 대한 3D 효과를 조정하고, 지능적 서브타이틀 배치, 시각적 효과 및 그래픽 삽입을 제공하는 시점 내삽(view interpolation)(렌더링)을 포함한다.

일 특정 실시예에서, 그래픽은 영상의 배경에 삽입된다. 일례에서, 3D 프리젠테이션은 전경(foreground) 중에 있는 스포츠 캐스터와 축구 선수 간의 입체 비디오 인터뷰를 포함할 수 있다. 배경은 스타디움 뷰를 포함한다. 이 예에서, 디스패리티 맵은, 해당 디스패리티 값이 미리 정해진 값보다 작은(즉, 더 가까운) 경우에 입체 비디오 인터뷰로부터 화소를 선택하는데 이용된다. 반대로, 디스패리티 값이 미리 정해진 값보다 큰(즉, 더 먼) 경우에는 그래픽으로부터 화소가 선택된다. 이에 의해서, 예컨대 감독은 실제 스타디움 배경 앞에서가 아니라 그래픽 영상 앞에서 그 인터뷰 참석자들을 볼 수가 있다. 다른 변형에서, 배경은 예컨대 선수의 가장 최근의 골 장면을 다시 보는 중에 경기장과 같은 다른 환경으로 대체된다.

일 구현에서, 3D 효과는 사용자 선호에 따라서 부드럽게 된다(감소된다). 3D 효과를 감소(디스패리티의 절대값을 감소)시키기 위해서, 디스패리티와 비디오 영상을 이용하여 새로운 뷰가 내삽(interpolation)된다. 예컨대, 이 새로운 뷰는 기존의 좌측 뷰와 우측 뷰 사이의 위치에 배치되고, 이 새로운 뷰는 좌측 뷰와 우측 뷰 중 하나를 대체한다. 따라서, 이 새로운 입체 영상 쌍은 감소된 디스패리티를 갖고, 그러므로, 감소된 3D 효과를 갖는다. 다른 구현에서, 다소 덜 사용되는 것이기는 하나, 영상의 겉보기 깊이를 과장하는 외삽(extrapolation)이 수행될 수 있다. 도 5는 3D 효과 조정을 수행하는 영상 처리 시스템을 도시한 것이다. 이 시스템은 입력부(510)에서 입체 비디오와 디스패리티 맵을 수신한다. 블록(520)에서는 이 입체 비디오와 디스패리티 맵에 기초하여 뷰 내삽/외삽을 통해 새로운 뷰가 생성된다. 각 개인은 3D 효과의 강도에 대해 서로 다른 공차/선호도를 갖고 있을 수 있다. 즉, 어떤 개인은 강한 3D 효과를 좋아할 수 있는 반면에, 다른 개인은 가벼운 3D 효과를 선호할 수 있다. 그와 같은 3D 공차/선호도는 사용자 인터페이스(550)에 의해 수신되고, 그에 따라서 깊이를 조정하는 블록(530)으로 전달된다. 그런 다음에, 조정된 입체 비디오는 디스플레이(540)에 출력된다.

다른 구현에서, 디스패리티 맵은 관측자의 불편을 줄이거나 피하기 위해 입체 비디오 내에 서브타이틀을 지능적으로 배치하는데 이용된다. 예컨대, 서브타이틀은 일반적으로 이 서브타이틀이 가리고 있는 대상체 앞에 있는 인식된 깊이를 가져야 한다. 그러나, 인식된 깊이는 일반적으로 목적하는 영역에 비견될 수 있고 목적하는 영역 내에 있는 대상체 앞에서 너무 멀리 떨어져 있지 않은 깊이를 가져야 한다.

많은 3D 처리 동작에 있어서는, 예컨대 디스패리티 맵을 이용하여 사용자 제어가능 3D 효과를 가능하게 하는 경우에는 다운샘플링된 디스패리티 맵이나 저밀도 디스패리티 맵보다는 고밀도 디스패리티 맵이 더 선호된다. 그와 같은 동작에서는, 저밀도 또는 다운샘플링된 디스패리티 맵을 이용하는 것은 합성된 뷰의 품질을 저하시킬 수 있기 때문에, 양호한 결과를 얻기 위해서 화소당 디스패리티 정보가 필요하다.

디스패리티 값은 여러 가지 형식으로 표현될 수 있다. 몇 가지 구현은 하기의 형식을 이용하여 저장 또는 전송을 위한 디스패리티 값을 표현한다.

- 부호가 있는 정수: 2의 보수

● 음의 디스패리티 값은 스크린 앞에 있는 깊이를 나타낸다.

● 제로는 스크린면 내의 대상체에 대한 디스패리티 값에 대해 사용된다.

- 1/8 화소 유닛

- 디스패리티 값을 표현하는 16 비트

● 통상적인 디스패리티 범위는 +80과 -150 화소 사이에서 변한다. 이는 일반적으로 1920 또는 2048 화소 수평 해상도의 40인치 디스플레이에는 충분하다.

● 1/8 화소 정밀도에 대해서는, 그 범위는 +640과 -1200 유닛 사이에 있으며, 이는 그 부호에 대해 11 비트+1 비트=12 비트로 표현될 수 있다.

● (1920 또는 2048 화소폭 디스플레이의 수평 해상도보다 약 4배의 해상도를 가질 수 있는) 8K 디스플레이에 대해서도 동일한 3D 효과를 유지하기 위해서는 통상적으로 디스패리티를 코딩하는 2개의 추가 비트가 필요하다: 12+2=14 비트.

● 이는 장래 이용을 위한 2 비트를 제공한다.

더욱이, 상기 형식을 이용하는 여러 가지 구현은 고밀도 디스패리티 맵에 대비한다. 따라서, 그와 같은 구현을 위해 고밀도 디스패리티 맵을 완성하기 위해서, 해당 비디오 영상 내의 화소 위치마다 상기 16 비트 형식이 제공된다.

전술한 바와 같이, 통상적인 디스패리티 범위는 +80과 -150 화소 사이에서 변한다. 양안 거리(즉, 양눈 간의 거리)가 65mm라고 가정하면, 양안 거리는 1920x1080의 공간 해상도를 가진 40인치 디스플레이에 대해서는 약 143 화소에서 측정된다. 양의 디스패리티 한계는, +80은 양안 거리의 약 절반이므로 관측자가 스크린 앞에 있을 때는 스크린 뒤에 어느 정도 멀리 떨어진 원거리 깊이(far-depth)에 대응한다. 음의 디스패리티 한계는 이것이 양안 거리와 대략 같기 때문에 관측자와 스크린 간의 대략 중간 거리의 근거리 깊이(near-depth)에 대응한다. 이 범위는 일반적으로 40인치 디스플레이에는 충분하다. 그러나, 디스패리티는 입체 비디오가 잘못 촬영되거나 3D 특수 효과를 포함하고 있는 경우에는 통상적으로 충분한 한계를 초과할 수 있다.

도 6은 수렴 카메라(620, 630)로 장면(610)을 촬영하는 경우에 양의 오버플로우(positive overflow)의 예(예컨대, 디스패리티 값이 +80 화소보다 큼)를 보여준다. 장면(610)은 전경에서 "X"로 표시된 대상체와 배경 내의 숫자 1-9를 포함한다. 대상체 "X"는 좌측 영상(640)에서 "6"과 "7" 사이에 배경을 갖고서 좌측 카메라(620)에 의해 포착되며, 우측 영상(650)에서 "3"과 "4" 사이에서 우측 카메라(630)에 의해 포착된다. 사용자(660)가 "4"에 초점을 맞추려고 결정하면, 사용자의 우안은 (우측 영상(650)에서 숫자 "4"와 함께 도시된 바와 같이) 우측으로 약간 시프트할 것이고, 사용자의 좌안은 (좌측 영상(640)에서 숫자 "4"와 함께 도시된 바와 같이) 좌측으로 약간 시프트할 것이다. 그 결과, 양눈은 평행한 것을 넘어 발산하게 된다. 즉, 배경 숫자 "4"의 디스패리티는 사용자(660)의 양안 거리와 양의 디스패리티 한계보다 크고, 그 정확한 디스패리티 값은 전술한 디스패리티 맵 형식에 의해서는 특정될 수 없다. 즉, 디스패리키값은 그 형식의 표현을 "오버플로우"하며, 더욱이, 이 오버플로우는 양의 방향에 있다. 즉, 진짜 디스패리티 값은 그 표현에 의해 허용된 최대 양의 디스패리티보다 크다.

도 7은 음의 오버플로우의 예(예컨대, 디스패리티 값이 -150 화소보다 작음)를 보여준다. 도 7은 대상체(710, 720, 730, 740)를 포함하는 화상을 보여준다. 화상 하단에는 -195 화소의 디스패리티를 가진 대상체(710)가 있으며, 이 대상체(710)가 관측자쪽으로 튀어 나와 있는 것을 나타내고 있다. 대상체(720)는 스크린 레벨에 있으며 실질적으로 제로의 디스패리티를 갖고 있는 반면에, 대상체(730, 740)는 각각 +10과 -10의 디스패리티를 갖고 있으며, 이 둘은 전술한 형식으로부터 +80 내지 -150 화소의 범위 내에 있다. 이 화상에서, 대상체(710)는 음의 디스패리티 한계를 초과하는 -195 화소의 디스패리티를 갖고 있다. 도 6에 도시된 예와 마찬가지로, 전술한 디스패리티 맵 표현을 위한 형식으로는 대상체(710)의 정확한 디스패리티 값이 특정될 수 없다.

+80 내지 -150 화소의 범위는 상기 예에서 디스패리티가 규정된 디스패리티 범위를 초과할 수 있음을 예시하는데 이용된 것에 유의한다. 그러나, 이 범위의 종단값이나 이 범위 자체의 크기는 여러 가지 디스패리티 맵 형식에서 다를 수 있다. 일례에서, 테마 파크에서의 프리젠테이션은 더 극적인 효과를 위해 더 심한 음의 디스패리티(즉, 대상체가 스크린으로부터 중간보다 더 가까와 지는 것)를 필요로 할 수 있다. 다른 예에서, 전문 장치가 고객 장치보다 더 넓은 범위의 디스패리티를 지원할 수 있다.

당업자라면 입체 비디오와 기타 다른 입력(예컨대, 이전의 또는 이후의 영상 쌍과의 상관)으로부터 정확한 디스패리티 값이 결정될 수 있다는 것을 잘 알고 있다. 즉, 실제 디스패리티 값은 충분히 높은 신뢰도로 결정될 수 있다. 그러나, 신뢰도가 매우 낮고 정확한 디스패리티 값을 실제로는 "모를" 수 있다. 예컨대, 스크린의 에지에서 또는 폐색(occlusion)에 의해 그늘진 영역에서는 정확한 디스패리티 값을 알 수 없다. 폐색에 의해 디스패리티를 알 수 없는 경우에는, 정확한 디스패리티 값은 몰라도 디스패리티에 대한 한계는 도출될 수 있다. 평행한 좌측 및 우측 카메라를 보여주는 도 8은 그와 같은 예를 제공한다.

도 8은 장면(810)이 각각 평행한 좌측 카메라(820)와 우측 카메라(825)로 촬영될 때에 폐색이 일어나는 예를 포함한다. 장면(810)은 전경에서 "X"로 표시된 대상체와 배경에서 숫자 1-9를 포함한다. 좌측 카메라(820)는 좌측 영상(830)에 있는 장면(810)을 포착하고, 우측 카메라(825)는 우측 영상(835)에 있는 장면(810)을 포착한다. 영상(830, 835) 내의 "X" 주위의 음영 영역은 다른 카메라가 볼 수 없는 장면(810) 부분을 보여준다. 예컨대, 좌측 영상(830)은, "X"가 우측 카메라(825)로부터의 그 영상 부분을 막고 있기 때문에, 좌측 카메라(820)는 볼 수 있으나 우측 카메라(825)는 볼 수 없는 음영 영역을 보여준다. 따라서, 그 음영 부분에서는 디스패리티가 정확하게 산출될 수 없다.

플롯(850, 860)은 수평선(840)을 따른 좌측 영상(830)에 대한 디스패리티 정보의 2가지 표현을 보여준다. 디스패리티 값(841)은 배경이 중심선(840)을 따라 보여질 때마다 배경(즉, 숫자 1-9)의 디스패리티에 대응한다. 이 예에서, 디스패리티 값(841)은 상기 예시적인 형식이 허용하는 최대 양의 디스패리티 값보다 작다. 디스패리티 값(842)은 중심선(840)을 따른 "X"의 디스패리티에 대응하는데, 이는 "X"가 전경 속에 있기 때문에 디스패리티 값(841)보다 더 마이너스(negative)(즉, 덜 플러스(positive))이다.

그러나, 좌측 영상(830)에서 음영 "X"로 나타낸 폐색으로 인해, 그리고 우측 영상(835)에는 상관(correlate)이 없기 때문에, 그 영역에서의 실제 디스패리티 값은 확정될 수 없고, 따라서, 플롯(850)에서는, 상기 예시적인 형식에서 표현될 수 있는 양의 극한값에서부터 음의 극한값에 이르는 임의의 값이 있을 가능성과 추가적으로 양의 또는 음의 오버플로우의 가능성을 나타내는 미지의 값(851)이 나타나 있다.

그러나, 음영 부분에 대한 디스패리티에 대한 더 많은 정보를 제공하기 위해 디스패리티 제약(constraint)이 도출될 수 있다. 예컨대, 우측 카메라(825)의 시야각(viewing angle)을 고려하면, 영상(830) 내의 특정 폐색 지점에서의 디스패리티는 비록 그 정확한 값은 모르지만, 폐색 영역의 좌측과 우측에서의 기지의 디스패리티들 간의 직선 내삽보다는 클(배경 내로 더 들어갈) 것임을 알 수 있다. 이는, 만일 디스패리티가 직선 내삽보다 작다면(즉, 더 가깝다면), 그 위치가 관측자쪽으로 튀어 나와 카메라(825)에게 보이게 되었을 것이기 때문이다. 따라서, 플롯(860)에서는 디스패리티 값(861)에 대한 제약이 나타나 있고, 이는 양의 극한값(그리고 추가적으로 양의 오버플로우)에서부터 디스패리티 값(842) 이상인 디스패리티 값까지의 임의의 값이 있을 가능성을 나타낸다. 디스패리티 값(861)은 폐색 영역의 최좌측 에지에서의 디스패리티 값(841)과 같고 또 최우측에서의 디스패리티 값(842)과 같은 선형 증가값 이상이어야 한다. 추가적으로, 어떤 상황에서는, (예컨대, "X"가 가는(skinny)(미도시) 경우에) 디스패리티의 양의 단부(positive end)에 대한 유사한 경계가 존재할 수 있다. 즉, 폐색 영역에서의 미지의 디스패리티 값(861)은 너무 큰 디스패리티는 가질 수 없고, 그렇지 않으면, 이 값은 우측 카메라가 "X"의 타측에서 볼 수 있는 배경쪽으로 멀리 들어갈 수 있다.

따라서, 정확한 디스패리티 값을 모르는 경우라도 디스패리티가 특정 값들 사이에 있거나 특정값보다 크다는(또는 작다는) 표시를 제공할 수 있다. 그와 같은 디스패리티 정보는 서브타이틀 배치 시에 이용될 수 있다. 예컨대, 서브타이틀이 장면(810)의 중심에 3D로 배치될 필요가 있다면, 플롯(850)을 고려해 볼때, "미지"의 디스패리티 값(851)이 서브타이틀에 관입하여(interpenetrate) 불량한 프리젠테이션을 만들 수가 있기 때문에, 폐색 영역을 피하기 위해 서브타이틀을 어딘가 다른 곳에 배치해야 할 것이다. 그러나, 디스패리티 값이 미지라도 디스패리티 값(861)처럼 제약되어 있다면, 서브타이틀은 프리젠테이션이 불량하게 될 염려없이 디스패리티(842)에(또는 이 보다 약간 작은 디스패리티에, 즉 좀 더 앞쪽으로) 안전하게 배치될 수 있다. 따라서, 미지의 디스패리티 표현(851)은 불필요하게 서브타이틀 배치를 방해하나(서브타이틀을 이곳에 배치하지 못하나), 미지이지만 제약된 디스패리티 표현(861)은 더욱 효과적으로 이용될 수 있다.

플롯(850, 860)에서 수직축은 디스패리티 범위, 예컨대, +80 내지 -150 화소 범위이거나, 디스패리티 맵 형식에 의해 특정된 양의 디스패리티 한계와 음의 디스패리티 한계 사이에 있거나, 또는 "+"와 "-" 부호를 가진 다른 값들 사이에 있다는 것에 유의한다.

+80 내지 -150 화소의 디스패리티 범위와 도 6 내지 8을 예로 들어 설명하면, 이 범위가 디스패리티 맵 형식에 대해 고정되어 있을 때에는 디스패리티를 정확하게 알지 못하거나 이것이 규정 범위 내에 있지 않은 경우가 있을 수 있다. 이러한 경우에는, 정확한 디스패리티 값이 특정될 수 없다 하더라도 디스패리티 맵에 디스패리티 정보를 제공하는 것이 유용하다. 그와 같은 구현에서는 디스패리티 맵의 특정 위치에서의 디스패리티 샘플은 단순히 실제 디스패리티 값이 "미지"라는 것을 표시할 수 있다. 전술한 바와 같이, 예컨대, 그와 같은 정보는, 서브타이틀이 그 영상 내의 다른 무엇인가를 방해할 수 있기 때문에, 그 서브타이틀을 그 곳에 삽입하는 것을 피하도록 하는데 이용될 수 있다.

그러나, 다른 구현은 단순히 "미지" 디스패리티를 표시하기 보다는 더 큰 조밀도(granularities)와 더 많은 정보를 제공할 수 있다. 어떤 조건에서는 실제 디스패리티 값 또는 디스패리티에 대한 제약을 알 수 있으므로, 다른 표시를 이용하여 추가 정보를 제공할 수 있다. 이러한 표시는 예컨대 특정 디스패리티 값을 특정할 때에 이용될 수 없는 미리 정해진 값들을 이용하여 제공될 수 있다. 그러면, 프로세서는 그 미리 정해진 값들을 각자의 대응 정보에 상관시킴으로써 실제 디스패리티를 표시하지 않는 샘플에 관한 정보를 결정할 수 있다.

다른 가능한 표시는 예컨대 다음과 같은 것을 포함한다.

(i) (예컨대 양의 패리티 한계보다 큰) 양의 오버플로우;

(ii) (예컨대 음의 패리티 한계보다 작은) 음의 오버플로우;

(iii) 다른 위치(에컨대 화소 위치)에서의 디스패리티 값보다 작거나 큰 것;

- 좌측에 대한 위치에서의 디스패리티 값보다 작은 것;

- 우측에 대한 위치에서의 디스패리티 값보다 작은 것;

- 좌측에 대한 위치에서의 디스패리티 값보다 큰 것;

- 우측에 대한 위치에서의 디스패리티 값보다 큰 것;

(iv) 특정 산출 디스패리티 값보다 작거나 큰 것;

- 2개의 다른 기지의 디스패리티 값 간의 내삽인 디스패리티 값보다 작은 것;

- 2개의 다른 기지의 디스패리티 값 간의 내삽인 디스패리티 값보다 큰 것;

(v) 2개의 디스패리티 값 사이에 있는 것(이 디스패리티 값 중 하나 이상은 예컨대, 특정 위치에 대한 것이거나, 산출되거나 아니면 이미 알고 있거나 결정된 특정값일 수 있음).

예컨대 상기 열거된 것들과 같은 다른 표시는 다양한 응용에 이용될 수 있다. 그와 같은 응용은 예컨대 오버레이(overlay) 정보 배치, 3D 효과 조정, 새로운 뷰 합성 및 경보(warning) 발생을 포함한다.

오버레이 정보 배치

"미지" 디스패리티가 실제로 배경 중에 있다면("양의 오버플로우"), 영상의 그 부분 상에 서브타이틀을 배치하는 것은 일반적으로 허용될 것이다. 그러나, "미지" 디스패리티가 실제로 전경 중에 있다면("음의 오버플로우"), 영상의 그 부분에 서브타이틀을 배치하는 것은 관측자에게는 일반적으로 불편할 것이다. 예컨대 "양의 오버플로우"와 같은 이러한 다른 표시에 의해서, 설계자는 더 많은 정보를 이용하여 서브타이틀에 대한 적당한 위치는 물론 영상에 중첩되는 또는 사용자에게 보이는 다른 특징들을 결정할 수 있다. 그와 같은 다른 특징들은 메뉴 선택, 볼륨 레벨 및 기타 다른 제어 또는 시스템 구성 디스플레이, 사용자에게 정보를 표시하는 부가적인 창 또는 영역 등을 포함할 수 있다.

3D 효과 조정

어떤 사용자는 도 5에 도시된 바와 같이 3D 효과를 향상 또는 감소시키는 것을 선호할 수 있다. 예컨대, 사용자가 3D 효과에 민감하다면, 그 사용자는 대상체가 사용자쪽으로 거리의 25% 또는 50% 이상 스크린으로부터 뛰쳐 나와 보이는 것을 원치 않을 수 있다. 이에 따라서, 디스플레이 또는 셋톱 박스는 사용자 선호도와 디스패리티 값에 기초하여 3D 효과를 감쇄시킬 수 있다. 그러나, "미지" 디스패리티 값은 3D 효과의 저감을 모호하게 만드는 반면에, 제약된 디스패리티 값은 이를 덜 모호하게 한다. 그에 반해서, "음의 오버플로우"의 이용은 대상체가 사용자측에서 튀어 나오고, 따라서, 사용자는 3D 효과가 저감되도록 디스패리티를 변경할 것을 선호하는 더 극단적인 경우를 나타낼 것이다.

새로운 뷰 합성

도 8의 예로 나타낸 바와 같이, 좌측 또는 우측 영상이 전경 대상체에 의해 가려지기 때문에 전경 대상체 가까운 위치에 대한 디스패리티는 대개는 확정될 수가 없다. 이러한 폐색에 의해 디스패리티 추정 절차는 좌측 및 우측 영상 모두에서 대응 위치를 찾을 수 없다. 이는 새로운 뷰를 렌더링(합성)하는 것을 더 어렵게 만든다. 그러나, 그와 같은 위치에 대해서는, 실제 디스패리티는 모를 수 있어도 대개는 그 디스패리티에 대한 이용가능한 정보량은 많이 있다. 디스패리티에 대한 제약과 같은 부가 정보는 뷰 합성에 대한 더 많은 디스패리티 단서(cue)를 제공한다.

경보 발생

극한 디스패리티 값은 불편한 3D 효과를 만들어낼 수 있다. 디스패리티에 단지 "미지"라는 라벨이 붙어 있다면, 이 디스패리티가 불편한 3D 효과를 만들어낼 지 아닐지는 (예컨대 스테레오그래퍼(stereographer)와 같은) 제작후 작업자에 분명치 않다. 더 구체적인 표시를 이용하면 스테레오그래퍼에게, 예컨대 스테레오그래퍼가 원한다면 3D 효과를 조정할 수 있도록 해주는 경보 형태로 유용한 정보를 제공할 수 있다. 도 6은 사용자가 서로에 대해 기울어진 카메라들로 촬영한 클로우즈 업 전경 대상체를 보고 있는 예를 보여준다. 사용자는 배경 대상체를 보기로 결정할 수 있으며, 그에 따라 사용자의 눈은 발산하게 될 것이다. 이러한 발산은 사용자에는 불편할 수 있으며, 스테레오그래퍼는 경보를 받는다면 디스패리티를 변경하기로 결정할 수 있다. "양의 오버플로우"의 표시는 그와 같은 경보를 스테레오그래퍼에게 제공할 수 있다. 추가로, 경보는 "양의 오버플로우"의 발생과 그리고 입체 영상쌍이 수렴 카메라에 의해 포착되었다는 사실을 전제로 할 수 있다.

도 9는 일 실시예에 따른 디스패리티 맵 생성 방법을 예시한 것이다. 이 방법에서 디스패리티 맵의 각 위치에서의 디스패리티 정보가 고려된다. 전술한 바와 같이, 고려될 디스패리티 정보는 정확한 디스패리티 값에 한정되는 것이 아니다. 본 발명의 원리에 따라서, 디스패리티 값에 대한 제약은 디스패리티 맵에서 이용되고 표시된다. 즉, 고려될 디스패리티 정보는 디스패리티에 대한 모든 이용가능한 정보, 예컨대, 정확한 디스패리티 값과, 도 8에서 설명된 디스패리티 값에 대한 제약을 포함한다. 더욱이, 정확한 디스패리티 값을 알고는 있지만 이 값이 너무 커거나 작아서 규정된 디스패리티 값 범위를 벗어나는 경우에는, 본 발명의 디스패리티 맵 형식은 그와 같은 정보도 포착하고, 그에 따른 표시를 디스패리티 맵에 제공한다. 이 표시는 특정 디스패리티 값을 특정할 때 달리 이용되지 않을 미리 정해진 값을 이용하여 제공된다. 즉, 정확한 디스패리티 값을 알고 있고 또 이 값이 특정 위치에서 규정된 범위 내에 있는 경우에는, 샘플값은 이 디스패리티 값으로 설정된다. 그렇지 않으면, 샘플값은 이용가능한 디스패리티 정보에 따라 설정된다. 디스패리티 맵은 모등 위치에 대한 샘플값이 설정될 때에 생성된다.

도 9를 참조로 설명하면, 디스패리티 값 또는 다른 디스패리티 정보에 기초하여 디스패리티 맵을 생성하는 예시적인 방법은 도면부호 900으로 총괄적으로 표시되어 있다. 방법(900)은 제어를 기능 블록(907)으로 넘기는 시작 블록(905)을 포함한다. 블록(907)은 입체 비디오를 수신한다. 루프 제한 블록(910)은 변수 i=1, ..., 위치 #를 이용하여 디스패리티 맵 내의 각 위치에 대해 루프를 시작한다. i번째 위치에 대한 디스패리티 정보는 기능 블록(915)에서 구해진다. 이 디스패리티 정보는 입력으로서 제공되거나, 입체 비디오로부터 결정될 수 있다. 블록(920)은 디스패리티 값(D)이 알려진 것인 지를 체크한다. 디스패리티 값이 알려진 것이라면, 블록(930)은 이 디스패리티 값이 음의 한계(T_l)보다 작은 지를 체크한다. D가 T_l보다 작으면, 기능 블록(935)에서 변수 S는 "음의 오버플로우"를 표시하는 S_no로 설정된다. D가 T_l보다 작지 않다면, 블록(940)은 D를 양의 한계 T_h와 비교한다. D가 T_h보다 크다면, 기능 블록(945)에서 S는 "양의 오버플로우"를 표시하는 S_po로 설정된다. D가 T_h보다 크지 않다면(즉, D가 범위 내에 있다면), 기능 블록(950)에서 S는 디스패리티 값(D)으로 설정된다.

정확한 디스패리티 값이 특정되지 않으면, 블록(925)은 이 디스패리티에 대한 다른 정보가 이용가능한 지를 체크한다. 이용가능한 다른 정보가 없다면, 기능 블록(993)에서 S는 "미지"를 표시하는 S_u로 설정된다.

다른 디스패리티 정보가 있다면, 블록(955)은 인접 위치(좌측 및 우측)에 대한 디스패리티 정보가 이용가능한 지를 체크한다. 인접 위치의 디스패리티 정보가 이용가능하다면, 블록(960)은 D가 그 좌측(D_l) 또는 우측(D_r)에 대한 디스패리티 값보다 큰 지를 체크한다. D가 D_l(D_r)보다 크면, S는 기능 블록(970)에서 좌측(우측)에 대한 위치에서의 디스패리티 값보다 큰 디스패리티 값을 표시하는 S_gl(S_gr)로 설정된다. D가 D_l(D_r)보다 크지 않으면, S는 기능 블록(965)에서 좌측(우측)에 대한 위치에서의 디스패리티 값보다 크지 않은 디스패리티 값을 표시하는 S_ll(S_lr)로 설정된다. 인접 위치에 대한 정보가 이용될 수 없으면, 블록(975)은 산출값(D_c)에 대한 디스패리티 정보가 이용가능한 지를 체크한다. 이 산출값은 예컨대 2개의 다른 기지의 디스패리티 값 간의 내삽일 수 있다. 산출값(D_c)에 대한 정보가 이용가능하다면, 블록(980)은 D가 D_c보다 큰 지를 체크한다. D가 D_c보다 크다면, 기능 블록(986)에서 S는 산출값보다 큰 디스패리티 값을 표시하는 S_gc로 설정된다. D가 D_c보다 크지 않다면, 기능 블록(983)에서 S는 산출값보다 작은 디스패리티 값을 표시하는 S_lc로 설정된다. D_c에 대한 이용가능한 정보가 없다면, 기능 블록(989)에서 S는 상기 블록들에 포함되지 않은 정보를 표시하는 S_ni로 설정된다.

변수 S가 여러 가지 상황에 대해 구해진 후에는, 기능 블록(996)에서 샘플값은 디스패리티 맵에서 i번째 위치에서 S로 설정된다. 블록(997)은 루프를 닫는다. 블록(998)은 디스패리티 맵을 출력하고 제어를 종료 블록(999으로 넘긴다.

대안으로서, 여러 가지 구현에서 도 9보다 더 적거나 많은 디스패리티 정보가 고려될 수 있다. 예컨대, 어떤 방법은 디스패리티 한계만을 표시할 수 있다. 다른 예에서, 방법은 디스패리티 값이 특정값보다 또는 특정 위치에서의 디스패리티 값보다 작거나 큰 지를 더 고려할 수 있다. 또 다른 예에서, 방법은 입체 비디오가 평행 카메라로 포착되는 지 아니면 수렴 카메라로 포착되는 지를 더 고려할 수 있다. 당업자라면 본 발명의 교시에 따라서 디스플레이 정보를 표시하는 다른 여러 가지 방법을 용이하게 생각해 낼 수 잇을 것이다.

전술한 바와 같이, 통상적인 디스패리티 범위는 +80과 -150 화소 사이에 있을 수 있다. 즉, T_l=-150 화소이고, T_h=+80 화소이다. 디스패리티 값이 아닌 다른 디스패리티 정보를 표시하기 위해서는 +80과 -150 화소 밖에 있는 값이 이용된다. 예컨대, 표 1에 요약되어 있는 바와 같이, S_no=81, S_po=82, S_u=83, S_gl=84, S_gr=85, S_ll=86, S_lr=87, S_gc=88, S_lc=89 및 S_ni=90이다. 이 표현은 0 내지 230의 범위를 주도록 샘플값을 150 화소만큼 오프셋시켜서, T_l=0, T_h=230이 되고, 표시를 위해서는 231 내지 240이 남게 되도록 할 수 있다. 당업자라면 예컨대 다른 값이나 스케일링을 가지고 오프셋함으로써 다른 표현을 생각해 낼 수 있을 것이다.

디스패리티 한계들이 서로 다른 경우에는, 그 차이를 반영하기 위해 T_l과 T_h에 대해서 다른 값이 이용되어야 하고, 그에 따라서, 다른 디스패리티 정보를 표시하는 값들이 설정되어야 한다.

도 10은 디스패리티 값 또는 다른 디스패리티 정보를 결정하기 위해 도 9에 따라서 생성된 디스패리티 맵을 분석하는 방법을 예시한 것이다. 이 방법에서, 디스패리티 맵의 각 위치에서의 샘플을 분석하여 디스패리티 값 또는 다른 디스패리티 정보를 출력한다. 즉, 현 위치에서의 샘플값이 디스패리티 범위 내에 있다면, 이 샘플값은 디스패리티 값으로 취하고, 그렇지 않으면, 샘플값을 미리 정해진 조건과 비교하여 디스패리티 정보를 제공한다.

도 10을 참조로 설명하면, 디스패리티를 분석하는 예시적인 방법은 도면부호 1000으로 총괄적으로 표시되어 있다. 방법(1000)은 제어를 기능 블록(1007)으로 넘기는 시작 블록(1005)을 포함한다. 블록(1007)은 입체 비디오와 그 대응 디스패리티 맵을 수신한다. 루프 제한 블록(1010)은 변수 i=1, ..., 위치 #를 이용하여 디스패리티 맵 내의 각 위치에 대해 루프를 시작한다. 기능 블록(1015)에서 i번째 위치에 있는 샘플이 판독된다. 블록(1020)은 샘플값(S)이 T_l과 T_h의 범위 내에 있는 지를 체크한다. S가 이 범위 내에 있으면, 기능 블록(1025)에서 디스패리티 값은 S로 설정된다. S가 이 범위 내에 있지 않으면, 블록(1055)은 S가 S_po 또는 S_no인 지를 체크한다. S가 S_po 또는 S_no이면, 기능 블록(1030)에서 디스패리티 정보는 "양의 오버플로우" 또는 "음의 오버플로우"로 표시된다. 즉, 샘플에 대응되어야 하는 실제 디스패리티 값은 양의 디스패리티 한계("양의 오버플로우")보다 크거나 음의 디스패리티 한계("음의 오버플로우")보다 작다. S가 S_po 또는 S_no가 아니면, 기능 블록(1060)은 S가 S_ll 또는 S_lr인 지를 체크한다. S가 S_ll 또는 S_lr이면, 기능 블록(1035)에서 디스패리티 값은 좌측 또는 우측에 대한 위치에서의 디스패리티 값보다 작은 것으로 표시된다. S가 S_ll 또는 S_lr이 아니면, 블록(1065)은 S가 S_gl 또는 S_gr인 지를 체크한다. S가 S_gl 또는 S_gr이면, 기능 블록(1040)에서 디스패리티 값은 좌측 또는 우측에 대한 위치에서의 디스패리티 값보다 큰 것으로 표시된다. S가 S_gl 또는 S_gr이 아니면, 블록(1070)은 S가 S_gc 또는 S_lc인 지를 체크한다. S가 S_gc 또는 S_lc이면, 기능 블록(1045)에서 디스패리티 값은 산출값보다 크거나 작은 것으로 표시된다. 산출값은 디스패리티 맵 생성 단계에서 이용된 것과 같은 산출 방식을 이용하여 산출된다. S가 S_gc 또는 S_lc가 아니면, 기능 블록(1075)은 S가 S_ni인 지를 체크한다. S가 S_ni이면, 디스패리티 정보는 상기 블록들에 포함되지 않은 정보를 갖는 것으로 표시된다. 블록(1050)에서 표시된 정보의 의미는 디스패리티 맵 생성(도 9에서 989) 시의 의미와 동일해야 한다. S가 S_ni가 아니면, 디스패리티 값은 미지인 것으로 표시된다. i번째 위치에서의 샘플이 분석되고 나면 i번째 위치에 대한 디스패리티 값 또는 다른 디스패리티 정보가 결정된다. 블록(1090)은 루프를 닫는다. 블록(1095)은 결정된 디스패리티 값 또는 다른 디스패리티 정보에 기초하여 입체 비디오를 처리하고 제어를 종료 블록(1099)으로 넘긴다.

디스패리티 맵 분석은 보통은 디스패리티 맵 생성과 상호 의존적임에 유의한다. 예컨대, 디스패리티 맵 생성과 분석 중에는 동일한 디스패리티 한계가 이용되어야 하며 다른 디스패리티 정보에 대한 표시는 동일한 의미를 가져야 한다. 오프셋팅이나 스케일링과 같은 동작을 이용하여 디스패리티 맵을 생성하는 경우에는 분석 중에 추가적인 역단계가 이용되어야 한다. 전술한 바와 같이, 디스패리티 맵을 생성하는데는 여러 가지 가능한 구현이 있으며, 따라서, 디스패리티 맵을 분석하는 대응 구현도 여러 가지가 있다.

이제 도 11을 참조로 설명하면, 전술한 특징과 원리가 적용될 수 있는 비디오 송신 시스템 또는 장치(1100)가 도시되어 있다. 비디오 송신 시스템 또는 장치(1100)는 예컨대 위성, 케이블, 전화선 또는 지상파 방송과 같은 다양한 매체를 이용하여 신호를 송신하는, 예컨대 헤드엔드(head-end) 또는 송신 시스템일 수 있다. 비디오 송신 시스템 또는 장치(1100)는 또한, 또는 대안적으로, 예컨대 저장을 위한 신호를 제공할 수도 있다. 송신은 인터넷이나 다른 네트워크를 통해 이루어질 수 있다. 비디오 송신 시스템 또는 장치(1100)는 예컨대 깊이 및/또는 디스패리티 값을 포함한 깊이 표시자와 같은 비디오 콘텐츠와 다른 콘텐츠를 생성하고 전달할 수 있다. 도 11의 블록들은 비디오 송신 시스템 또는 장치의 블록도를 제공하는 것에 추가하여 비디오 송신 처리의 흐름도도 제공하는 것임을 명확히 해야 한다.

비디오 송신 시스템 또는 장치(1100)는 프로세서(1101)로부터 입력 입체 비디오와 디스패리티 맵을 수신한다. 일 실시예에서, 프로세서(1101)는 디스패리티 정보를 처리하여 도 9에서 설명된 방법이나 기타 다른 변형에 따라서 디스패리티 맵을 생성한다. 프로세서(1101)는 예컨대 입력 영상의 해상도, 디스패리티 한계, 고려되는 디스패리티 정보 유형을 표시하는 메타데이터를 비디오 송신 시스템 또는 장치(1100)에 제공할 수도 있다.

비디오 송신 시스템 또는 장치(1100)는 인코더(1102)와, 인코딩된 신호를 송신할 수 있는 송신기(1104)를 포함한다. 인코더(1102)는 프로세서(1101)로부터 비디오 정보를 수신한다. 비디오 정보는 예컨대 비디오 영상 및/또는 디스패리티(또는 깊이) 영상을 포함할 수 있다. 인코더(1102)는 비디오 및/또는 디스패리티 정에 기초하여 인코딩된 신호를 생성한다. 인코더(1102)는 예컨대 AVC 인코더일 수 있다. AVC 인코더는 비디오 정보와 디스패리티 정보 양쪽에 적용될 수 있다. AVC는 기존의 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) 파트 10 AVC(Advanced Video Coding) 표준/ITU-T(International Telecommunication Union, Telecommunication Sector) H.264 권고(이하, "AVC 표준", "H.264 표준", 또는 간단히 "AVC" 또는 "H.264"와 같은 "H.264/MPEG-4 AVC 표준" 또는 그 변형)를 말한다. 입체 비디오와 디스패리티 맵이 모두 인코딩되면, 이들은 동일한 또는 서로 다른 인코딩 구성 하에서 동일한 인코더를 이용할 수 있으며, 또는 서로 다른 인코더를, 예컨대, 입체 비디오에 대해서는 AVC 인코더를, 디스패리티 맵에 대해서는 무손실 데이터 압축기를 이용할 수 있다.

인코더(1102)는 예컨대 각종 정보를 수신하여 저장 또는 송신에 맞는 구조화된 포맷으로 조립하는 어셈블리 유닛을 포함한 서브모듈을 포함할 수 있다. 각종 정보는 예컨대 코딩된 또는 코딩되지 않은 비디오, 코딩된 또는 코딩되지 않은 디스패리티(또는 깊이)값, 및, 예컨대 동작 벡터, 코딩 모드 표시자 및 신택스 요소와 같은 코딩된 또는 코딩되지 않은 요소를 포함할 수 있다. 일부 구현에서, 인코더(1102)는 프로세서(1101)를 포함하며, 따라서 프로세서(1101)의 동작을 수행한다.

송신기(1104)는 인코더(1102)로부터 상기 인코딩된 신호를 수신하여 이를 하나 이상의 출력 신호로서 송신한다. 송신기(1104)는 예컨대 인코딩된 화상 및/또는 이에 관련된 정보를 나타내는 하나 이상의 비트스트림을 가진 프로그램 신호를 송신하도록 구성될 수 있다. 통상적인 송신기는 예컨대 에러 정정 코딩을 제공하는 것, 데이터를 신호 내에 인터리빙하는 것, 신호에서 에너지를 랜덤화(randomizing)하는 것, 및 변조기(1106)를 이용하여 신호를 하나 이상의 반송파로 변조하는 것 중 한 가지 이상과 같은 기능을 수행한다. 송신기(1104)는 안테나(미도시)를 포함하거나, 이와 인터페이싱할 수 있다. 더욱이, 송신기(1104)의 구현은 변조기(1106)로 한정될 수 있다.

또한, 비디오 송신 시스템 또는 장치(1100)는 저장 유닛(1108)에 통신가능하게 연결된다. 일 구현에서, 저장 유닛(1108)은 인코더(1102)에 연결되어, 인코더(1102)로부터의 인코딩된 비트스트림을 저장한다. 다른 구현에서, 저장 유닛(1108)은 송신기(1104)에 연결되어, 송신기(1104)로부터의 비트스트림을 저장한다. 송신기(1104)로부터의 비트스트림은 예컨대 송신기(1104)에 의해 더 처리되었던 하나 이상의 인코딩된 비트스트림을 포함할 수 있다. 다른 구현에서, 저장 유닛(1108)은 표준 DVD, 블루레이 디스크, 하드 드라이브 및 기타 다른 저장 장치 중 한 가지 이상이다.

이제 도 12를 참조로 설명하면, 전술한 특징과 원리가 적용될 수 있는 비디오 수신 시스템 또는 장치(1200)가 도시되어 있다. 비디오 수신 시스템 또는 장치(1200)는 예컨대 저장 장치, 위성, 케이블, 전화선 또는 지상파 방송과 같은 다양한 매체를 이용하여 신호를 수신하도록 구성될 수 있다. 신호는 인터넷 또는 기타 다른 네트워크를 통해 수신될 수 있다. 도 12의 블록들은 비디오 수신 시스템 또는 장치의 블록도를 제공하는 것 이외에도 비디오 수신 처리의 흐름도도 제공하는 것이다.

비디오 수신 시스템 또는 장치(1200)는 인코딩된 비디오를 수신하여 예컨대 표시(예컨대 사용자에게의 표시)를 위한 디코딩된 비디오 신호를 제공하여 처리 또는 저장하는, 예컨대 셀폰, 컴퓨터, 셋톱 박스, 텔레비전, 또는 기타 장치일 수 있다. 따라서, 비디오 수신 시스템 또는 장치(1200)는 그 출력을 예컨대 텔레비전 스크린, 컴퓨터 모니터, (저장, 처리 또는 표시용) 컴퓨터, 또는 기타 여러 가지 저장, 처리 또는 표시 장치에 제공할 수 있다.

비디오 수신 시스템 또는 장치(1200)는 비디오 정보를 수신하여 처리할 수 있으며, 비디오 정보는 예컨대 비디오 영상 및/또는 디스패리티(또는 깊이) 영상을 포함할 수 있다. 비디오 수신 시스템 또는 장치(1200)는 예컨대 본원의 구현에서서 설명된 신호와 같은 인코딩된 신호를 수신하는 수신기(1202)를 포함한다. 수신기(1202)는 예컨대 입체 비디오 및/또는 디스패리티 영상 중 하나 이상을 제공하는 신호, 또는 도 11의 비디오 송신 시스템(1100)으로부터 출력된 신호를 수신할 수 있다.

수신기(1202)는 예컨대 인코딩된 화상을 나타내는 복수의 비트스트림을 가진 프로그램 신호를 수신하도록 구성될 수 있다. 통상적인 수신기는 예컨대 변조 및 인코딩된 데이터 신호를 수신하는 것, 복조기(1204)를 이용하여 하나 이상의 반송파로부터 데이터 신호를 복조하는 것, 신호에서 에너지를 디랜덤화(de-randomizing) 하는 것, 신호에서 데이터를 디인터리빙하는 것, 및 신호를 에러 정정 디코딩하는 것 중 한 가지 이상과 같은 기능을 수행한다. 수신기(1202)는 안테나(미도시)를 포함하거나, 이와 인터페이싱할 수 있다. 수신기(1202)의 구현은 복조기(1204)로 한정될 수 있다.

비디오 수신 시스템 또는 장치(1200)는 디코더(1206)를 포함한다. 수신기(1202)는 수신된 신호를 디코더(1206)에 제공한다. 수신기(1202)에 의해 디코더(1206)에 제공된 신호는 하나 이상의 인코딩된 비트스트림을 포함할 수 있다. 디코더(1206)는 예컨대 비디오 정보를 포함하는 디코딩된 비디오 신호와 같은 디코딩된 신호를 출력한다. 디코더(1206)는 예컨대 AVC 디코더일 수 있다.

비디오 수신 시스템 또는 장치(1200)는 저장 유닛(1207)에 통신가능하게 연결된다. 일 구현에서, 저장 유닛(1207)은 수신기(1202)에 연결되고, 수신기(1202)는 저장 유닛(1207)으로부터 비트스트림에 액세스한다. 다른 구현에서, 저장 유닛(1207)은 디코더(1206)에 연결되고, 디코더(1206)는 저장 유닛(1207)으로부터 비트스트림에 액세스한다. 다른 구현에서, 저장 유닛(1207)으로부터 액세스된 비트스트림은 하나 이상의 인코딩된 비트스트림을 포함한다. 다른 구현에서, 저장 유닛(1207)은 표준 DVD, 블루레이 디스크, 하드 드라이브 및 기타 다른 저장 장치 중 한 가지 이상이다.

일 구현에서, 디코더(1206)로부터의 출력 비디오는 프로세서(1208)에 제공된다. 일 구현에서, 프로세서(1208)는 예컨대 도 10에서 설명된 것과 같은 디스패리티 맵 분석을 수행하도록 구성된 프로세서이다. 일부 구현에서, 디코더(1206)는 프로세서(1208)를 포함하며, 따라서 프로세서(1208)의 동작을 수행한다. 다른 구현에서, 프로세서(1208)는 예컨대 셋톱 박스나 텔레비전과 같은 다운스트림 장치의 부품이다.

실제 디스패리티 값이 특정될 수 없는 경우에도 적어도 일 구현은 디스패리티에 대한 정보를 표시함에 유의한다. 예컨대, 시스템은 소정값, 예컨대 양의 디스패리티 한계, 음의 디스패리티 한계, 인접 위치 또는 특정 위치에서의 디스패리티 값 또는 산출값보다 크거나 작은 디스패리티를 표시한다. 추가적인 구현은 더 많은 디스패리티 정보, 따라서 후속 처리를 위한 더 많은 단서를 제공할 수 있다.

디스패리티는 예컨대 동작 벡터를 산출하는 것과 유사한 방식으로 산출될 수 있다. 대안으로서, 디스패리티는 공지되고 전술한 바와 같이 깊이값으로부터 산출될 수 있다.

이상과 같이 특정 특징과 양상을 가진 하나 이상의 구현을 제공한다. 특히, 디스패리티 맵에 관한 몇 가지 구현을 제공한다. 디스패리티 맵은 예컨대 고객 장치에 대한 비교적 복잡한 3D 효과 조정과 제작후의 비교적 간단한 서브타이틀 배치와 같은 여러 가지 응용을 가능하게 할 수 있다. 그러나, 이들 구현의 변형과 추가적인 응용도 본 발명의 범위 내에서 생각해 낼 수 있으며, 설명된 구현의 특징과 양상은 다른 구현을 위해 구성될 수도 있다.

본 명세서에서 설명된 구현과 특징들 중 몇 가지는 AVC 표준, 및/또는 MVC 확장(Annex H)을 가진 AVC, 및/또는 SVC 확장(Annex G)을 가진 AVC와 관련하여 이용될 수 있다. 추가적으로, 이러한 구현과 특징은 (기존 또는 미래의) 다른 표준과 관련하여, 또는 표준이 아닌 상황에서도 이용될 수 있다.

본 명세서에서 본 발명의 "일 실시예"나 "소정 실시예" 또는 "일 구현"이나 "소정 구현"이라는 말과 그 변형은 그 실시예와 관련하여 설명된 특정 형상, 구조, 특성 등이 본 발명의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서 본 명세서의 여러 곳에서 나타내는 "일 실시예에서"나 "소정 실시예에서" 또는 "일 구현에서"나 "소정 구현에서"라는 구절과 그 변형은 반드시 같은 실시예를 말하는 것은 아니다.

추가적으로, 본 출원 또는 그 청구범위는 각종 정보를 "결정하는 것"이라고 말할 수 있다. 이러한 정보 결정은 예컨대 정보를 추정하는 것, 정보를 산출하는 것, 정보를 예측하는 것 또는 메모리로부터 정보를 검색하는 것 중 한 가지 이상을 포함할 수 있다.

예컨대 "A/B", "A 및/또는 B" 및 "A와 B 중 적어도 어느 하나"의 경우에서 "/", "및/또는" 및 "적어도 어느 하나"를 사용하는 것은 첫번째 옵션 (A)만, 두번째 옵션 (B)만, 양 옵션 (A 및 B)를 선택하는 것을 포함하는 것임을 알아야 한다. 추가 예로서, "A, B 및/또는 C" 및 "A, B 및 C 중 적어도 어느 하나" 및 "A, B 또는 C 중 적어도 어느 하나"의 경우에 이러한 구절은 첫번째 옵션 (A)만, 두번째 옵션 (B)만, 세번째 옵션 (C)만, 첫번째 옵션 (A)와 두번째 옵션 (B)만, 첫번째 옵션 (A)와 세번째 옵션 (C)만, 두번째 옵션 (B)와 세번째 옵션 (C)만, 세가지 옵션 모두(A, B 및 C)를 선택하는 것을 포함하는 것이다. 이것은 당업자라면 쉽게 알 수 있는 바와 같이 더 많은 옵션에 대해서도 확장될 수 있다.

추가적으로, 인코더(예컨대, 인코더(1102)), 디코더(예컨대, 디코더(1206)), 디코더로부터의 출력을 처리하는 포스트 프로세서(예컨대, 프로세서(1208)), 또는 인코더에 입력을 제공하는 프리 프로세서(예컨대, 프로세서(1101)) 중 하나 이상에서 많은 구현이 구현될 수 있다. 더욱이, 본 발명에 따라 다른 구현도 생각해 낼 수 있다.

여기서 설명되는 구현은 예컨대 방법 또는 프로세스, 장치 또는 소프트웨어 프로그램, 데이터 스트림, 또는 신호로서 구현될 수 있다. 단일 형태의 구현과 관련하여 설명되더라도(예컨대 방법만으로 설명되더라도), 설명된 특징의 구현은 다른 형태(예컨대 장치나 프로그램)로도 구현될 수 있다. 장치는 예컨대 적당한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수 있다. 방법은 예컨대 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래머블 로직 장치를 포함하는 일반적으로 처리 장치를 말하는 프로세서와 같은 장치에서 구현될 수 있다. 처리 장치도 예컨대 컴퓨터, 셀폰, 휴대형/개인 정보 단말("PDA"), 기타 최종 수요자 간의 정보 통신을 가능하게 하는 다른 장치와 같은 통신 장치를 포함한다.

여기서 설명된 각종 프로세스와 특징의 구현은 특히 예컨대 데이터 인코딩, 데이터 디코딩, 뷰 생성, 깊이 또는 디스패리티 처리, 및 기타 다른 영상과 그 관련 깊이 및/또는 디스패리티 맵의 처리와 연관된 장비 또는 애플리케이션과 같은 여러 가지 장비나 애플리케이션에서 구체화될 수 있다. 그와 같은 장비의 예로는 인코더, 디코더, 디코더로부터의 출력을 처리하는 포스트 프로세서, 인코더에 입력을 제공하는 프리 프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱 컴퓨터, 개인용 컴퓨터, 셀폰, PDA, 기타 다른 통신 장치가 있다. 명백히 장비는 모바일일 수 있으며 차량에 설치될 수도 있다.

그 외에도, 방법은 프로세서에 의해 수행되는 명령어로 구현될 수 있으며, 그와 같은 명령어(및/또는 구현에 의해 생성된 데이터 값)는 예컨대 집적 회로, 소프트웨어 캐리어, 또는 예컨대 하드 디스크, 컴팩 디스켓(CD), (예컨대, DVD(Digital Versatile Disc 또는 Digital Video Disc)와 같은) 광 디스크, RAM(Random Access Memory) 또는 ROM(Read-Only Memory)과 같은 프로세서 판독 매체에 저장될 수 있다. 명령어는 프로세서 판독 매체에 유형적으로 구체화되는 애플리케이션 프로그램을 구성할 수 있다. 명령어는 예컨대 하드웨어, 펌웨어, 소프트웨어 또는 그 조합일 수 있다. 명령어는 예컨대 운영 체제, 독립적인 애플리케이션 또는 이 둘의 조합에서 찾을 수 있다. 그러므로, 프로세서는 예컨대 프로세스를 실행하도록 구성된 장치와 프로세스를 실행하는 명령어들 가진 프로세서 판독 매체(저장 장치와 같은 것)를 포함하는 장치 양자로서 특징지워질 수 있다. 더욱이 프로세서 판독 매체는 명령어 이외에도 또는 명령어 대신에 구현에 의해 생성된 데이터 값을 저장할 수 있다.

당업자라면 잘 알겠지만, 구현은 예컨대 저장 또는 전송될 수 있는 정보를 갖도록 포맷팅된 신호를 생성할 수도 있다. 이러한 정보는 예컨대 방법을 실행하기 위한 명령어, 또는 전술한 구현들 중 하나에 의해 생성된 데이터를 포함할 수 있다. 예컨대 신호는 설명된 실시예의 구문을 쓰거나 읽기 위한 규칙을 데이터로서 전달하거나 설명된 실시예에 의해 기록된 실제 구문값을 데이터로서 전달하도록 포맷될 수 있다. 그와 같은 신호는 예컨대 (예컨대 스펙트럼의 무선 주파수 부분을 이용하는) 전자기파로서 또는 기저대역 신호로서 포맷팅될 수 있다. 이러한 포맷팅은 예컨대 데이터 스트림 인코딩과, 인코딩된 데이터 스트림을 이용한 반송파 변조를 포함할 수 있다. 신호가 갖고 있는 정보는 예컨대 아날로그 또는 디지털 정보일 수 있다. 이 신호는 공지의 다양한 유선 또는 무선 링크를 통해 전송될 수 있다. 이 신호는 프로세서 판독 매체에 저장될 수 있다.

많은 구현에 대해서 설명하였다. 그럼에도 불구하고 여러 가지 변형이 가능함을 알아야 한다. 예컨대 여러 가지 구현의 구성요소들은 조합, 보충, 변형 또는 제거되어 다른 구현을 만들어 낼 수 있다. 그 외에도, 당업자라면 다른 구조와 프로세스가 개시된 구조와 프로세스를 대체할 수 있으며 이렇게 해서 만들어진 구현은 적어도 실질적으로 동일한 방식(들)으로 적어도 실질적으로 동일한 기능(들)을 수행하여 개시된 구현들과 적어도 실질적으로 동일한 결과(들)를 얻을 것이라는 것을 잘 알 것이다. 따라서, 이들 및 다른 구현은 본 출원에 따라 생각해 낼 수 있을 것이다.

Claims (21)

1. 입체 비디오와, 상기 입체 비디오에 대응하며 실제 디스패리티 값을 표시하지 않는 샘플을 포함하는 디스패리티 맵을 수신하는 단계(1007);
   상기 샘플에 따라 디스패리티 정보를 결정하는 단계(1030, 1035, 1040, 1045, 1050, 1080); 및
   상기 디스패리티 정보에 기초하여 상기 입체 비디오를 처리하는 단계(1095)
   를 포함하는 방법.
2. 제1항에 있어서,
   상기 디스패리티 맵은 고밀도 디스패리티 맵(dense disparity map)이고, 상기 결정된 디스패리티 정보는 상기 샘플과 연관된 화소에 관련되는 방법.
3. 제1항에 있어서,
   상기 디스패리티 정보는 상기 샘플과 연관된 화소 그룹에 관련되는 방법.
4. 제1항에 있어서,
   상기 샘플은 상기 디스패리티 정보를 제공하는 하나 이상의 대안들로부터 선택되는 방법.
5. 제4항에 있어서,
   상기 샘플은 상기 샘플에 대응해야 하는 실제 디스패리티 값이 소정값보다 작은지 또는 큰지를 표시하는 방법.
6. 제5항에 있어서,
   상기 소정값은 미리 정해진 값 또는 산출값인 방법.
7. 제6항에 있어서,
   상기 산출값은 다른 위치들에서의 하나 이상의 디스패리티 값들에 기초하여 산출되는 방법.
8. 제7항에 있어서,
   상기 산출값은 다른 위치들에서의 2개의 디스패리티 값들의 내삽(interpolation)에 기초하여 산출되는 방법.
9. 제1항에 있어서,
   상기 결정하는 단계는 상기 디스패리티 정보를 제공하기 위해 상기 샘플을 복수의 미리 정해진 디스패리티 조건들의 각각과 상관시키는 단계를 포함하는 방법.
10. 제1항에 있어서,
    상기 처리하는 단계는 오버레이 정보 배치, 3D 효과들의 조정, 경보들의 발생 및 새로운 뷰(view)들의 합성 중 하나를 포함하는 방법.
11. 제1항에 있어서,
    3D 효과들의 강화를 위해 사용자 인터페이스로부터 사용자 선호도를 수신하는 단계를 더 포함하고, 상기 처리하는 단계는 상기 사용자 선호도에 따라서 상기 입체 비디오를 처리하는 단계를 포함하는 방법.
12. 입체 비디오와, 상기 입체 비디오에 대응하며 실제 디스패리티 값을 표시하지 않는 샘플을 포함하는 고밀도 디스패리티 맵을 수신하는 단계(1007);
    상기 샘플에 따라, 상기 샘플에 대응해야 하는 실제 디스패리티 값이 소정값보다 작은지 또는 큰지를 표시하는 디스패리티 정보를 결정하는 단계(1030, 1035, 1040, 1045); 및
    오버레이 정보 배치, 3D 효과들의 조정, 경보들의 발생 및 새로운 뷰들의 합성 중 적어도 하나를 수행하기 위해 상기 디스패리티 정보에 기초하여 상기 입체 비디오를 처리하는 단계(1095)
    를 포함하는 방법.
13. 입체 비디오를 수신하는 단계(907);
    상기 입체 비디오에 대응하는 디스패리티 정보를 처리하는 단계(935, 945, 950, 993, 965, 970, 983, 986, 989); 및
    실제 디스패리티 값을 표시하지 않는 샘플을 포함하는, 상기 입체 비디오에 대한 디스패리티 맵을 생성하는 단계(996, 998)
    를 포함하는 방법.
14. 제13항에 있어서,
    상기 디스패리티 맵은 고밀도 디스패리티 맵인 방법.
15. 제13항에 있어서,
    상기 샘플은 상기 디스패리티 정보를 제공하는 하나 이상의 대안들로부터 선택되는 방법.
16. 제15항에 있어서,
    상기 샘플은 소정값보다 작거나 큰 실제 디스패리티 값을 표시하는 방법.
17. 입체 비디오와, 상기 입체 비디오에 대응하며 실제 디스패리티 값을 표시하지 않는 샘플을 포함하는 디스패리티 맵을 수신하는 입력부; 및
    상기 샘플에 따라 디스패리티 정보를 결정하고 상기 디스패리티 정보에 기초하여 상기 입체 비디오를 처리하는 프로세서
    를 포함하는 장치.
18. 입체 비디오와, 상기 입체 비디오에 대응하며 실제 디스패리티 값을 표시하지 않는 샘플을 포함하는 고밀도 디스패리티 맵을 수신하는 입력부; 및
    상기 샘플에 따라 디스패리티 정보를 결정하고 상기 디스패리티 정보에 기초하여 상기 입체 비디오를 처리하여, 오버레이 정보 배치, 3D 효과들의 조정, 경보들의 발생 및 새로운 뷰들의 합성 중 적어도 하나를 수행하는 프로세서 - 상기 정보는 상기 샘플에 대응해야 하는 실제 디스패리티 값이 소정값보다 작은지 또는 큰지를 표시함 -
    를 포함하는 장치.
19. 입체 비디오와, 상기 입체 비디오에 대응하며 실제 디스패리티 값을 표시하지 않는 샘플을 포함하는 디스패리티 맵을 수신하기 위한 수단; 및
    상기 샘플에 따라 디스패리티 정보를 결정하고 상기 디스패리티 정보에 기초하여 상기 입체 비디오를 처리하기 위한 수단
    을 포함하는 장치.
20. 하나 이상의 프로세서들로 하여금,
    입체 비디오와, 상기 입체 비디오에 대응하며 실제 디스패리티 값을 표시하지 않는 샘플을 포함하는 고밀도 디스패리티 맵을 수신하는 단계; 및
    상기 샘플에 따라 디스패리티 정보를 결정하고 상기 디스패리티 정보에 기초하여 상기 입체 비디오를 처리하는 단계
    를 총괄하여 수행하게 하는 명령어들이 저장된 프로세서 판독가능한 매체.
21. 입체 비디오를 수신하는 입력부;
    상기 입체 비디오에 대응하는 디스패리티 정보를 처리하는 프로세서; 및
    실제 디스패리티 값을 표시하지 않는 샘플을 포함하는, 상기 입체 비디오에 대한 디스패리티 맵을 생성하는 출력부
    를 포함하는 장치.

Images