KR20120093243A

KR20120093243A - ３ｄ 비디오에서 추가 뷰들을 생성하기 위한 뷰포인트들을 선택하는 방법

Info

Publication number: KR20120093243A
Application number: KR1020127011133A
Authority: KR
Inventors: 후네비크 레이니르 베르나르두스 마리아 클레인; 윌헬머스 헨드리쿠스 알폰수스 브룰스; 패트릭 루크 이. 판데발레
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2009-10-02
Filing date: 2010-09-21
Publication date: 2012-08-22
Also published as: RU2551789C2; KR101727094B1; JP5859441B2; EP2483750A1; CN102549507B; BR112012007115A2; WO2011039679A1; EP2483750B1; CN102549507A; US9167226B2; RU2012117572A; JP2013507026A; US20120188341A1

Abstract

비디오 데이터 신호(15)를 인코딩하는 방법이 제공되며, 이 방법은 제 1 뷰포인트로부터 보이는 장면(100)의 적어도 제 1 이미지를 제공하는 단계(21), 렌더링 뷰포인트로부터 보이는 장면(100)의 적어도 하나의 렌더링된 이미지의 생성을 가능하게 하기 위한 렌더링 정보를 제공하는 단계(22), 제 1 뷰포인트에 대한 렌더링 뷰포인트의 양호한 배향(preferred orientation)을 규정하는 양호한 방향 표시자를 제공하는 단계(23), 및 제 1 이미지, 렌더링 정보 및 양호한 방향 표시자를 표현하는 인코딩된 데이터를 포함하는 비디오 데이터 신호(15)를 생성하는 단계(24)를 포함한다.

Description

３Ｄ 비디오에서 추가 뷰들을 생성하기 위한 뷰포인트들을 선택하는 방법{SELECTING VIEWPOINTS FOR GENERATING ADDITIONAL VIEWS IN 3D VIDEO}

본 발명은, 제 1 뷰포인트로부터 보이는 장면의 적어도 제 1 이미지를 제공하는 단계, 렌더링 뷰포인트로부터 보이는 장면의 적어도 하나의 렌더링된 이미지의 생성을 가능하게 하기 위한 렌더링 정보를 제공하는 단계, 및 제 1 이미지 및 렌더링 정보를 표현하는 인코딩된 데이터를 포함하는 비디오 데이터 신호를 생성하는 단계를 포함하는 비디오 데이터 신호를 인코딩하는 방법에 관한 것이다.

본 발명은 또한, 비디오 데이터 신호를 디코딩하는 방법, 인코더, 디코더, 비디오 데이터 신호 및 디지털 데이터 캐리어를 인코딩 또는 디코딩하기 위한 컴퓨터 프로그램 제품들에 관한 것이다.

3차원(3D) 비디오의 신종 분야에서, 3차원을 비디오 데이터 신호로 인코딩하기 위한 다양한 방법들이 존재한다. 일반적으로, 이것은 뷰어의 눈에 시청되는 장면의 상이한 뷰들을 제공함으로써 행해진다. 3D 비디오를 표현하기 위한 인기있는 방식은 하나 이상의 2차원(2D) 이미지들에 3차원의 정보를 제공하는 심도 표현(depth representation)을 더한 것을 이용하는 것이다. 이 방식은 또한 2D 이미지들이, 3D 비디오 신호에 포함되는 2D 이미지들과는 상이한 뷰포인트들 및 시야각들을 가지고 생성되도록 허용한다. 이러한 방식은 추가 뷰들이 비교적 낮은 복잡도로 생성되도록 허용하는 단계 및 효율적인 데이터 표현을 제공하는 단계를 포함하고, 그에 의해 예를 들면 3D 비디오 신호들에 대한 저장 및 통신 리소스 요건들을 감소시키는 다수의 이점들을 제공한다. 바람직하게, 비디오 데이터는 이용 가능한 뷰포인트들로부터 보이는 것이 아니라, 약간 상이한 뷰포인트로부터 보이게 되는 데이터로 연장된다. 이 데이터는 오클루젼(occlusion) 또는 배경 데이터라고 칭해진다. 실제로, 오클루젼 데이터는 상이한 뷰포인트들에서 다수의 카메라들로 장면을 캡처함으로써 획득되는 멀티뷰 데이터로부터 생성된다.

새롭게 생성된 뷰들에서의 디-오클루딩된 오브젝트들을 재구성하기 위한 데이터의 가용성이 프레임마다 상이할 수 있거나 심지어 프레임 내에서도 상이할 수 있다는 점이 상술된 방식들의 문제이다. 결과적으로, 상이한 뷰포인트들에 대해 생성된 이미지들의 품질이 가변할 수 있다.

본 발명의 목적은 개시부에 기술된 비디오 데이터 신호를 인코딩하는 방법을 제공하는 것이고, 이 방법은 상이한 뷰포인트들을 가지고 더 높은 품질의 이미지들을 생성하는 것을 가능하게 한다.

본 발명의 제 1 양태에 따라, 이 목적은, 제 1 뷰포인트로부터 보이는 장면의 적어도 제 1 이미지를 제공하는 단계, 렌더링 뷰포인트로부터 보이는 장면의 적어도 하나의 렌더링된 이미지의 생성을 가능하게 하기 위한 렌더링 정보를 제공하는 단계, 제 1 뷰포인트에 대한 렌더링 뷰포인트의 양호한 배향(preferred orientation)을 규정하는 양호한 방향 표시자를 제공하는 단계, 및 제 1 이미지, 렌더링 정보 및 양호한 방향 표시자를 표현하는 인코딩된 데이터를 포함하는 비디오 데이터 신호를 생성하는 단계를 포함하는, 비디오 데이터 신호를 인코딩하는 방법을 제공함으로써 달성된다.

상기에 설명된 바와 같이, 상이한 뷰잉 포인트들로부터 생성되는 이미지들의 품질은 디-오클루딩된 오브젝트들의 재구성에 필요한 데이터의 가용성에 관련된다. 데이터가 뷰포인트를 좌측으로 이동하는데 이용가능할 뿐 뷰 포인트를 우측으로 이동하는데는 이용 가능하지 않은 상황을 고려한다. 결과적으로, 뷰포인트를 좌측으로 이동하는 것은 뷰포인트를 우측으로 이동하는 것과는 상이한 품질을 가진 생성 이미지를 유발할 수 있다.

품질의 유사한 차이는 불충분한 디-오클루젼 정보 또는 오클루젼 없는 정보가 디-오클루딩된 영역들에 채우기에 이용 가능할 때 발생할 수 있다. 이러한 경우, 디-오클루딩된 영역들은 소위 홀-채움 알고리즘들(hole-filling algorithms)을 이용하여 채워질 수 있다. 일반적으로, 이러한 알고리즘들은 디-오클루딩된 영역의 직접적인 주변에서 정보를 보간한다. 결과적으로, 뷰포인트를 좌측으로 이동하는 것은 뷰포인트를 우측으로 이동하는 것과는 상이한 품질을 가진 생성 이미지를 유발할 수 있다.

이러한 품질 차이들은 요구된 데이터의 가용성에 의할 뿐만 아니라 뷰포인트를 이동할 때 디-오클루딩되는 표면적의 크기 및 속성에 의해서도 영향을 받는다. 결과적으로, 3D 비디오 또는 이미지의 품질은 새롭게 선택된 뷰포인트에 따라 가변할 수 있다. 이것은, 예를 들면, 이미 이용 가능한 제 1 이미지의 뷰포인트를 좌측 또는 우측에서 새로운 뷰가 생성되는지가 중요할 수 있다.

본 발명에 따라, 솔루션은 양호한 방향 표시자를 생성하고 비디오 신호에 이를 포함하는 것이다. 양호한 방향 표시자는 비디오 신호에 이미 포함된 이미지의 오리지널 뷰포인트에 대해 추가 뷰를 위해 렌더링 뷰포인트의 양호한 배향을 규정한다. 비디오 신호가 디코딩될 때, 양호한 방향 표시자는 렌더링 뷰포인트를 선택하고 선택된 뷰포인트로부터 장면의 렌더링된 이미지를 생성하기 위해 이용될 수 있다.

비디오 데이터 신호는 모든 프레임, 프레임들의 모든 그룹, 모든 장면 또는 심지어 전체 비디오 시퀀스에 대해서도 양호한 방향 표시자를 포함할 수 있다. 더 거친 입도(coarser granularity)에 기초하기보다는 프레임마다 기초하여 이러한 정보를 인코딩하는 것은 랜덤 액세스를 가능하게 한다; 예를 들면, 트릭 플레이를 지원하기 위해. 흔히 양호한 렌더링 표시자가 다양한 프레임들에 대해 일정하고 인코딩된 비디오 신호의 크기가 통상적으로 적절함에 따라, 이중 표시자들의 양은 프레임의 그룹에 기초하여 정보를 대신 인코딩함으로써 감소될 수 있다. 훨씬 더 효율적인 인코딩은 양호하게 렌더링의 양호한 방향이 장면 전반에 걸쳐 동일하게 유지될 때 장면마다 기초하여 양호한 방향을 인코딩하는 것이고, 그에 의해 장면 내에서의 연속성을 보장한다.

선택적으로, 인코딩된 신호의 크기가 덜 중요할 때, 표시자들이 서로에 따라 설정되는 한, 정보는 프레임, 프레임의 그룹 및 비슷한 장면 레벨에 대해 인코딩될 수 있다.

렌더링 뷰포인트의 선택의 변경들이 렌더링에서 컨텐트의 지각된 연속성에 영향을 미칠 수 있으므로, 양호한 방향 표시자가 여러 프레임들에 대해 일정하게 유지되는 것이 바람직하다. 그것은 예를 들면, 프레임들의 그룹 전반에 걸쳐 또는 대안적으로 장면 전반에 걸쳐 일정하게 유지될 수 있다. 양호한 방향 표시자가 여러 프레임들에 대해 일정하게 유지될 때에도, 또한 랜덤 액세스를 용이하게 하는 것을 필수로 하는 것보다 작은 입도에 대해 일정한 양호한 방향 표시자를 인코딩하는 것이 유리할 수 있음을 유념한다.

양호한 배향은 좌측, 우측, 상측, 하측 또는 이들 방향들의 임의의 조합일 수 있다. 배향 외에도, 양호한 거리 또는 양호한 최대 거리가 양호한 방향 표시와 함께 제공될 수 있다. 제 1 이미지에서 오클루딩된 오브젝트들 및/또는 오브젝트들의 심도값들에 관한 충분한 정보가 이용 가능한 경우, 오리지널 뷰포인트로부터 멀리 떨어질 수 있는 뷰포인트들로부터 다수의 고품질의 추가 뷰들을 생성하는 것이 가능할 수 있다.

렌더링 정보는 예를 들면, 제 1 이미지에서 전경 오브젝트들에 의해 오클루딩되는 배경 오브젝트들을 표현하는 오클루젼 데이터, 제 1 이미지에서의 오브젝트들의 심도값들을 제공하는 심도 맵 또는 이들 오브젝트들에 대한 투명도 데이터를 포함할 수 있다.

양호한 방향 표시자는 어떤 가능한 렌더링 뷰포인트에서 최상의 렌더링 정보가 이용 가능한지를 표시한다. 적층된 심도 이미지들의 렌더링에 관한 더 많은 정보에 대해, 예를 들면 국제 출원 제WO2007/063477호를 참조하며, 이것은 본 명세서에 참조로서 포함된다. 적층된 심도 이미지들을 렌더링할 때 디-오클루딩된 영역들을 채우는데 이용하기 위한 홀 채움 알고리즘들에 관한 더 많은 정보에 대해, 예를 들면 제WO2007/099465호를 참조하며, 이것은 본 명세서에 참조로서 포함된다.

본 발명의 다른 양태에 따라, 비디오 데이터 신호를 디코딩하는 방법이 제공되며, 비디오 데이터 신호는 제 1 뷰포인트로부터 보이는 장면의 제 1 이미지, 렌더링 뷰포인트로부터 보이는 장면의 적어도 하나의 렌더링된 이미지의 생성을 가능하게 하기 위한 렌더링 정보, 및 제 1 뷰포인트에 대한 렌더링 뷰포인트의 양호한 배향을 규정하는 양호한 방향 표시자를 표현하는 인코딩된 데이터를 포함한다. 디코딩 방법은 비디오 데이터 신호를 수신하는 단계, 양호한 방향 표시자에 의존하여, 렌더링 뷰포인트를 선택하는 단계, 및 선택된 렌더링 뷰포인트에서 보이는 장면의 렌더링된 이미지를 생성하는 단계를 포함한다.

본 발명의 이들 및 다른 양태들은 이후 기술되는 실시예들로부터 및 이들을 참조하여 명확해질 것이다.

본 발명에 의하면, 상이한 뷰포인트들을 가지고 더 높은 품질의 이미지들을 생성할 수 있다.

도 1은 본 발명에 따른 비디오 데이터를 인코딩하기 위한 시스템의 블록도.
도 2는 본 발명에 따른 인코딩 방법의 흐름도.
도 3은 본 발명에 따른 비디오 데이터를 디코딩하기 위한 시스템의 블록도.
도 4는 본 발명에 따른 디코딩 방법의 흐름도.

도 1은 본 발명에 따른 비디오 데이터를 인코딩하기 위한 시스템의 블록도를 도시한다. 시스템은 2개의 디지털 비디오 카메라들(11, 12)과 인코더(10)를 포함한다. 제 1 카메라(11) 및 제 2 카메라(12)는 약간 상이한 위치에서 및 따라서 또한 약간 상이한 각도에서 동일한 장면(100)을 기록한다. 두 비디오 카메라들(11, 12)로부터 기록된 디지털 비디오 신호들은 인코더(10)에 전송된다. 인코더는 예를 들면 전용 인코딩 박스, 컴퓨터에서의 비디오 카드, 또는 범용 마이크로프로세서에 의해 실행될 소프트웨어 구현 기능의 부분일 수 있다. 대안적으로, 비디오 카메라(11, 12)는 아날로그 비디오 카메라들이고, 아날로그 비디오 신호들은 이들이 인코더(10)에 대한 입력으로서 제공되기 전에 디지털 비디오 신호들로 변환된다. 비디오 카메라들이 인코더(10)에 결합되는 경우, 인코딩은 장면(100)의 기록 중에 발생할 수 있다. 또한, 먼저 장면(100)을 기록하고 나중에 기록된 비디오 데이터를 인코더(10)에 제공하는 것도 또한 가능하다.

인코더(10)는 비디오 카메라들(11, 12)로부터 디지털 비디오 데이터를 직접 또는 간접적으로 수신하고, 두 디지털 비디오 신호들을 하나의 3D 비디오 신호(15)로 조합한다. 두 비디오 카메라들(11, 12)이 하나의 3D 비디오 카메라로 조합될 수 있음을 유념한다. 또한, 2개보다 많은 뷰포인트들로부터 장면(100)을 캡처하기 위해 2개보다 많은 비디오 카메라들을 이용하는 것도 가능하다.

도 2는 본 발명에 따른 인코딩 방법의 흐름도를 도시한다. 이 인코딩 방법은 도 1의 시스템의 인코더(10)에 의해 수행될 수 있다. 인코딩 방법은 카메라들(11, 12)로부터 기록된 디지털 비디오 데이터를 이용하고 본 발명에 따라 비디오 데이터 신호(15)를 제공한다. 베이스 이미지 제공 단계(21)에서, 장면의 적어도 제 1 이미지가 비디오 데이터 신호(15)에 포함하기 위해 제공된다. 이 베이스 이미지는 2개의 카메라들(11, 12) 중 하나로부터 나오는 표준 2D 비디오 데이터일 수 있다. 인코더(10)는 또한 2개의 베이스 이미지들을 이용할 수 있다; 제 1 카메라(11)로부터의 베이스 이미지 및 제 2 카메라(12)로부터의 베이스 이미지. 베이스 이미지들로부터, 기록된 비디오의 각각의 프레임에서 모든 픽셀들의 컬러값들이 도출될 수 있다. 베이스 이미지들은 특정 뷰포인트에서 보이는 특정 시간 순간의 장면을 표현한다. 다음에서, 이 특정 뷰포인트는 베이스 뷰포인트라고 칭해질 것이다.

3D 인에이블링 단계(22)에서, 비디오 카메라들(11, 12)로부터 들어오는 비디오 데이터는 베이스 이미지에 정보를 추가하기 위해 이용된다. 이 추가된 정보는 디코더가 상이한 뷰포인트로부터의 동일한 장면의 렌더링 이미지를 생성할 수 있게 해야 한다. 다음에서, 이 추가된 정보는 렌더링 정보라고 칭해진다. 렌더링 정보는 예를 들면, 베이스 이미지에서 오브젝트들의 심도 정보 또는 투명도 값들을 포함할 수 있다. 렌더링 정보는 또한 베이스 이미지에서 보이는 오브젝트들에 의해 베이스 뷰포인트로부터 보이는 것이 차단되는 오브젝트들을 기술할 수 있다. 인코더는 기록된 정규 비디오 데이터로부터 이 렌더링 정보를 도출하기 위한 알려진, 바람직하게는 표준화된 방법들을 이용한다.

방향 표시 단계(23)에서, 인코더(10)는 또한 렌더링 정보에 양호한 방향 표시자를 추가한다. 양호한 방향 표시자는 베이스 뷰포인트에 대한 추가 뷰에 대해 렌더링 뷰포인트의 양호한 배향을 규정한다. 나중에 비디오 신호가 디코딩될 때, 양호한 방향 표시자는, 렌더링 뷰포인트를 선택하고 선택된 뷰포인트로부터 장면(100)의 렌더링된 이미지를 생성하기 위해 이용될 수 있다. 상술된 바와 같이, 3D 비디오 또는 이미지의 품질은 새롭게 선택된 뷰포인트에 따라 가변할 수 있다. 이것은, 예를 들면, 이미 이용 가능한 제 1 이미지의 뷰포인트의 좌측에 또는 우측에 새로운 뷰가 생성되는지가 중요하다. 렌더링 정보에 추가되는 양호한 방향 표시자는 예를 들면 좌측 또는 우측 방향을 표시하는 단일 비트일 수 있다. 더욱 개선된 양호한 방향 표시자는 또한 베이스 뷰포인트에 대한 새로운 뷰포인트의 상측 또는 하측 방향 및/또는 양호한 또는 최대 거리를 표시할 수 있다.

대안적으로, 양호한 방향 표시자는 제 1 뷰포인트에 대한 다수의 렌더링 뷰포인트들의 양호한 배향 및/또는 거리를 제공할 수 있다. 예를 들면, 제 1 뷰포인트의 동일측에서 2개의 렌더링 뷰포인트들 또는 각측에서 하나를 생성하는 것이 바람직할 수 있다. 제 1 뷰포인트에 대한 렌더링 뷰포인트(들)의 양호한 위치(들)는 2개의 포인트들 사이의 거리에 의존할 수 있다. 예를 들면, 두 뷰포인트들이 서로 가까울 때 제 1 뷰포인트의 좌측에서의 뷰포인트로부터 이미지를 렌더링하는 것이 더 양호할 수 있고; 제 1 뷰포인트의 좌측에 대한 두 뷰포인트들 사이의 더 큰 거리들에 대해 렌더링 뷰포인트를 생성하기가 더욱 적합할 수 있다.

특정 방향이 더욱 유리한 것에 대한 판단은 자동으로 결정될 수 있다; 예를 들면, 이미지, 심도 및 오클루젼 표현을 이용하여 적층된 심도 이미지로서 스테레오 쌍을 인코딩할 때, 적층된 심도 이미지의 이미지로서 좌측 또는 우측 이미지를 이용하고, 이에 기초하여 다른 이미지를 재구성하는 것이 가능하다. 후속적으로, 두 대안들에 대한 차이 매트릭이 계산될 수 있고, 양호한 인코딩 및 방향이 그에 기초하여 결정될 수 있다.

바람직하게, 차이들은 인간의 시각적 지각 시스템의 모델에 기초하여 가중된다. 대안적으로, 특히 전문적인 설정 내에서 양호한 방향은 사용자-상호작용에 기초하여 선택될 수 있다.

신호 생성 단계(24)에서, 이전 단계들(21, 22, 23)에서 제공된 정보는 본 발명에 따라 비디오 데이터 신호(15)를 생성하기 위해 이용된다. 비디오 데이터 신호(15)는 적어도 제 1 이미지, 렌더링 정보 및 양호한 방향 표시자를 표현한다. 양호한 방향 표시자는 각각의 프레임에 대해, 프레임들의 그룹에 대해, 또는 전체 장면, 또는 전체 비디오에 대해 제공될 수 있다. 장면 동안 렌더링 뷰포인트의 위치를 변경하는 것은 지각된 3D 이미지 품질에 악영향을 미칠 수 있지만, 한편, 상이한 방향들에 대한 렌더링 정보의 가용성이 상당히 변경되는 경우에는 필수적일 수 있다.

도 3은 본 발명에 따른 비디오 데이터를 디코딩하기 위한 시스템의 블록도를 도시한다. 시스템은 비디오 데이터 신호(15)를 수신하고 비디오 데이터 신호(15)를 디스플레이(31)에 의해 디스플레이되기 적합한 디스플레이 신호로 변환하기 위한 디코더(30)를 포함한다. 비디오 데이터 신호(15)는 예를 들면 케이블 또는 위성 전송을 통해 브로드캐스팅된 신호의 일부로서 디코더(30)에 도달할 수 있다. 비디오 데이터 신호(15)는 또한, 예를 들면 인터넷을 통한 또는 주문형 비디오 서비스를 통한 요청시 제공될 수 있다. 대안적으로, 비디오 데이터 신호(15)는 DVD 또는 블루-레이 디스크와 같이 디지털 데이터 캐리어 상에 제공된다.

디스플레이(31)는 도 1의 시스템의 인코더(10)에 의해 캡처 및 인코딩된 장면(100)의 3D 표시를 제공할 수 있다. 디스플레이(31)는 디코더(30)를 포함할 수 있거나 또는 디코더(30)에 결합될 수 있다. 예를 들면, 디코더(30)는 하나 이상의 정규 텔레비전 또는 컴퓨터 디스플레이들에 결합되는 3D 비디오 수신기의 일부일 수 있다. 바람직하게, 디스플레이는 뷰어의 상이한 눈들에 상이한 뷰들을 제공할 수 있는 전용 3D 디스플레이(31)이다.

도 4는 도 3의 디코더(30)에 의해 수행될 수 있는 디코딩 방법의 흐름도를 도시한다. 비디오 데이터 수신 단계(41)에서, 인코더(10)에 의해 인코딩된 비디오 데이터 신호(15)는 디코더(30)의 입력에서 수신된다. 수신된 비디오 데이터 신호(15)는 장면(100)의 적어도 제 1 이미지, 렌더링 정보 및 양호한 방향 표시자를 표현하는 인코딩된 데이터를 포함한다.

또한 뷰포인트 선택 단계(42)에서, 양호한 방향 표시자는 각각의 추가 뷰에 대한 적어도 하나의 추가 뷰포인트를 선택하기 위해 이용된다. 추가 뷰 렌더링 단계(43)에서, 선택된 뷰포인트 또는 뷰포인트들로부터의 하나 이상의 추가 뷰들이 생성된다. 디스플레이 단계(44)에서, 상이한 뷰포인트들로부터의 2개 이상의 뷰들은 그 후에 3D의 장면(100)을 보여주기 위한 디스플레이(31)에 제공될 수 있다.

본 발명은 또한 본 발명을 실행하도록 적응된 컴퓨터 프로그램들, 특히 캐리어 상의 또는 내의 컴퓨터 프로그램들로 확장될 수 있음을 알 것이다. 프로그램은 부분적으로 컴파일된 형태, 또는 본 발명에 따른 방법의 구현에 이용하기에 적합한 임의의 다른 형태와 같이, 소스 코드, 오브젝트 코드, 코드 중간 소스 및 오브젝트 코드의 형태일 수 있다. 이러한 프로그램은 많은 상이한 아키텍처 설계들을 가질 수 있음을 또한 알 것이다. 예를 들면, 본 발명에 따른 방법 또는 시스템의 기능을 구현하는 프로그램 코드가 하나 이상의 서브루틴들로 세분될 수 있다. 이들 서브루틴들 사이에 기능을 분배하기 위한 많은 상이한 방식들은 통상의 기술자에게 명백할 것이다. 서브루틴들은 자체-포함된 프로그램을 형성하기 위해 하나의 실행 가능한 파일로 함께 저장될 수 있다. 이러한 실행 가능한 파일은 컴퓨터 실행 가능한 명령들, 예를 들면 처리기 명령들 및/또는 해석기 명령들(예를 들면, 자바 해석기 명령들)을 포함할 수 있다. 대안적으로, 서브루틴들의 하나 이상 또는 전부는 적어도 하나의 외부 라이브러리 파일에 저장될 수 있고 예를 들면 실행-시간에 정적으로 또는 동적으로 주 프로그램과 링크될 수 있다. 주 프로그램은 서브루틴들 중 적어도 하나에 대한 적어도 하나의 호출을 포함한다. 또한, 서브루틴들은 서로에 대한 함수 호출들을 포함할 수 있다. 컴퓨터 프로그램 제품에 관한 실시예는 기재된 방법들 중 적어도 하나의 처리 단계들의 각각에 대응하는 컴퓨터 실행 가능한 명령들을 포함한다. 이들 명령들은 서브루틴들로 세분될 수 있고 및/또는 정적 또는 동적으로 링크될 수 있는 하나 이상의 파일들에 저장될 수 있다. 컴퓨터 프로그램 제품에 관한 다른 실시예는 기재된 시스템들 및/또는 제품들 중 적어도 하나의 수단의 각각에 대응하는 컴퓨터 실행 가능한 명령들을 포함한다. 이들 명령들은 서브루틴들로 세분될 수 있고 및/또는 정적 또는 동적으로 링크될 수 있는 하나 이상의 파일들에 저장될 수 있다.

컴퓨터 프로그램의 캐리어는 프로그램을 실행할 수 있는 엔티티 또는 디바이스일 수 있다. 예를 들면, 캐리어는, 예를 들면 CD ROM 또는 반도체 ROM인 ROM 또는 예를 들면 플로피 디스크 또는 하드 디스크인 자기 기록 매체와 같은 저장 매체를 포함할 수 있다. 또한, 캐리어는, 전기 또는 광 케이블을 통해 또는 무선 또는 다른 수단에 의해 전달될 수 있는 전기 또는 광 신호와 같은 전송 가능한 캐리어일 수 있다. 프로그램이 이러한 신호로 구현될 때, 캐리어는 이러한 케이블 또는 다른 디바이스나 수단에 의해 구성될 수 있다. 대안적으로, 캐리어는 프로그램이 임베딩된 집적 회로일 수 있고, 집적 회로는 관련 방법을 수행하도록, 또는 관련 방법의 수행에 이용하도록 구성된다.

상술된 실시예들은 본 발명을 제한하기보다는 예시하기 위한 것이고, 본 기술분야의 통상의 기술자는 첨부된 특허청구범위의 범위를 벗어나지 않고 많은 대안적인 실시예들을 설계할 수 있을 것임을 유념한다. 특허청구범위에서, 괄호 속에 있는 임의의 참조 부호들은 특허청구범위를 제한하는 것으로 해석되어서는 안된다. 동사 "포함한다(comprise)" 및 그 파생어들은 특허청구범위에 기재된 요소들 또는 단계들 이외의 요소들 또는 단계들의 존재를 배제하지 않는다. 요소 앞의 부정관사는 이러한 요소의 복수의 존재를 배제하지 않는다. 본 발명은 여러 개별 요소들을 포함하는 하드웨어에 의해, 적합하게 프로그래밍된 컴퓨터에 의해 구현될 수 있다. 여러 수단을 나열하는 장치 청구항에서, 이들 수단들 중 여러 개는 하나 및 동일 항목의 하드웨어로 구현될 수 있다. 특정 방법들이 상이한 종속 청구항들에 상호 인용된 사실만으로 이들 방법들의 조합이 유리하게 이용될 수 없다는 것을 나타내지 않는다.

10; 인코더 11, 12: 디지털 비디오 카메라
30 : 디코더

Claims

비디오 데이터 신호(15)를 인코딩하는 방법에 있어서:
제 1 뷰포인트로부터 보이는 장면(100)의 적어도 제 1 이미지를 제공하는 단계(21),
렌더링 뷰포인트로부터 보이는 장면(100)의 적어도 하나의 렌더링된 이미지의 생성을 가능하게 하기 위한 렌더링 정보를 제공하는 단계(22),
상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 양호한 배향(preferred orientation)을 규정하는 양호한 방향 표시자를 제공하는 단계(23), 및
상기 제 1 이미지, 상기 렌더링 정보 및 상기 양호한 방향 표시자를 표현하는 인코딩된 데이터를 포함하는 상기 비디오 데이터 신호(15)를 생성하는 단계(24)를 포함하는, 비디오 데이터 신호(15)를 인코딩하는 방법.
제 1 항에 있어서,
상기 양호한 방향 표시자는 상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 상기 양호한 배향이 상기 제 1 뷰포인트의 좌측 또는 우측인지를 규정하기 위한 단일 비트를 포함하는, 비디오 데이터 신호(15)를 인코딩하는 방법.
제 1 항에 있어서,
상기 양호한 방향 표시자는:
양호한 방향 표시자가 모든 프레임에 대해 인코딩되는 옵션;
양호한 방향 표시자가 모든 프레임들의 그룹에 대해 인코딩되는 옵션;
양호한 방향 표시자가 모든 장면에 대해 인코딩되는 옵션 중 적어도 하나를 이용하여 상기 비디오 데이터 신호(15)로 인코딩되는, 비디오 데이터 신호(15)를 인코딩하는 방법.
제 3 항에 있어서,
상기 양호한 방향 표시자의 값은:
프레임들의 그룹, 및
장면 중 하나에 대해 일정한, 비디오 데이터 신호(15)를 인코딩하는 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 양호한 배향은 상기 제 1 뷰포인트와 상기 렌더링 뷰포인트 사이의 거리에 의존하는, 비디오 데이터 신호(15)를 인코딩하는 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 렌더링 정보는 상기 제 1 이미지에서 픽셀들에 대한 심도 표시값들(depth indication values)을 포함하는, 비디오 데이터 신호(15)를 인코딩하는 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 렌더링 정보는 상기 제 1 이미지에서의 픽셀들에 대한 알파값들을 포함하고, 상기 알파값들은 상기 각각의 픽셀들의 투명도를 나타내는, 비디오 데이터 신호(15)를 인코딩하는 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 렌더링 정보는 상기 제 1 뷰포인트로부터 오클루딩되는 데이터를 표현하는 오클루젼 데이터(occlusion data)를 포함하는, 비디오 데이터 신호(15)를 인코딩하는 방법.
비디오 데이터 신호(15)를 디코딩하는 방법으로서, 상기 비디오 데이터 신호(15)는 제 1 뷰포인트로부터 보이는 장면(100)의 제 1 이미지, 렌더링 뷰포인트로부터 보이는 장면(100)의 적어도 하나의 렌더링된 이미지의 생성을 가능하게 하기 위한 렌더링 정보, 및 상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 양호한 배향을 규정하는 양호한 방향 표시자를 표현하는 인코딩된 데이터를 포함하는, 상기 비디오 데이터 신호(15)를 디코딩하는 방법에 있어서:
상기 비디오 데이터 신호를 수신하는 단계(41),
상기 양호한 방향 표시자에 의존하여, 상기 렌더링 뷰포인트를 선택하는 단계(42), 및
상기 선택된 렌더링 뷰포인트에서 보이는 상기 장면(100)의 상기 렌더링된 이미지를 생성하는 단계(43)를 포함하는, 비디오 데이터 신호(15)를 디코딩하는 방법.
비디오 데이터 신호(15)를 인코딩하기 위한 인코더(10)에 있어서:
제 1 뷰포인트로부터 보이는 장면(100)의 적어도 제 1 이미지, 렌더링 뷰포인트로부터 보이는 장면(100)의 렌더링된 이미지의 생성을 가능하게 하기 위한 렌더링 정보, 및 상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 양호한 배향을 규정하는 양호한 방향 표시자를 제공하기 위한 제공 수단,
상기 제 1 이미지, 상기 렌더링 정보 및 상기 양호한 방향 표시자를 표현하는 인코딩된 데이터를 포함하는 상기 비디오 데이터 신호(15)를 생성하기 위한 수단, 및
상기 비디오 데이터 신호(15)를 제공하기 위한 출력을 포함하는, 비디오 데이터 신호(15)를 인코딩하기 위한 인코더(10).
비디오 데이터 신호(15)를 디코딩하기 위한 디코더(30)에 있어서:
비디오 데이터 신호(15)를 수신하기 위한 입력으로서, 상기 비디오 데이터 신호(15)는 제 1 뷰포인트로부터 보이는 장면(100)의 제 1 이미지, 렌더링 뷰포인트로부터 보이는 장면(100)의 렌더링된 이미지의 생성을 가능하게 하기 위한 렌더링 정보, 및 상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 양호한 배향을 규정하는 양호한 방향 표시자를 표현하는 인코딩된 데이터를 포함하는, 상기 입력,
상기 양호한 방향 표시자에 의존하여, 상기 렌더링 뷰포인트를 선택하기 위한 수단,
상기 선택된 렌더링 뷰포인트에서 보이는 상기 장면(100)의 상기 렌더링된 이미지를 생성하기 위한 수단, 및
상기 렌더링된 이미지를 제공하기 위한 출력을 포함하는, 비디오 데이터 신호(15)를 디코딩하기 위한 디코더(30).
비디오 데이터 신호를 인코딩하기 위한 컴퓨터 프로그램 제품으로서, 프로그램이 처리기로 하여금 제 1 항에 청구된 방법을 수행하게 하도록 동작하는, 컴퓨터 프로그램 제품.
비디오 데이터 신호를 디코딩하기 위한 컴퓨터 프로그램 제품으로서, 프로그램이 처리기로 하여금 제 9 항에 청구된 방법을 수행하게 하도록 동작하는, 컴퓨터 프로그램 제품.
인코딩된 데이터를 포함하는 비디오 데이터 신호(15)에 있어서,
상기 인코딩된 데이터는:
제 1 뷰포인트로부터 보이는 장면(100)의 적어도 제 1 이미지,
렌더링 뷰포인트로부터 보이는 장면(100)의 렌더링된 이미지의 생성을 가능하게 하기 위한 렌더링 정보, 및
상기 제 1 뷰포인트에 대한 상기 렌더링 뷰포인트의 양호한 배향을 규정하는 양호한 방향 표시자를 표현하는, 비디오 데이터 신호(15).
제 14 항에 청구된 비디오 데이터 신호(15)가 인코딩된, 디지털 데이터 캐리어.