KR101714776B1

KR101714776B1 - 3ｄ 트릭플레이용 엔트리 포인트들

Info

Publication number: KR101714776B1
Application number: KR1020117030238A
Authority: KR
Inventors: 필립 에스. 뉴튼; 프란체스코 스칼로리
Original assignee: 코닌클리케 필립스 엔.브이.
Priority date: 2009-05-18
Filing date: 2010-05-12
Publication date: 2017-03-09
Also published as: CA2762385A1; US20100289875A1; TW201105109A; HUE040291T2; CA2762385C; MX2011012221A; US9007434B2; BRPI1007695A2; CN102428706A; JP5829604B2; RU2011151601A; CN102428706B; RU2552137C2; US20120063742A1; AU2010250871A1; PL2433429T3; TWI517643B; BRPI1007695A8; EP2433429A1; BRPI1007695B1

Abstract

3D 비디오 데이터용 엔트리 포인트들의 제공이 설명된다. 엔트리 포인트 유닛(18)은 인입 3D 비디오 데이터 스트림에서 엔트리 포인트들을 정의하고 정의된 엔트리 포인트들의 위치를 제공하는 엔트리 포인트 어드레스들을 저장함으로써 엔트리 포인트 테이블을 생성한다. 비디오 데이터 스트림은 3D 비디오 데이터의 하나의 스트림을 인코딩하는 다수의 서브-스트림들을 포함하고, 3D 비디오 데이터의 2D 버전을 독립적으로 인코딩하는 적어도 하나의 2D 서브-스트림 및 3D 비디오 데이터의 일부를 의존적으로 인코딩하는 적어도 하나의 보조 서브-스트림을 포함한다. 엔트리 포인트들은 2D 서브-스트림의 비인접 프래그먼트들을 검색하고 디코딩하며, 보조 서브-스트림의 대응하는 프래그먼트들을 검색하고 의존적으로 디코딩함으로써 3D 비디오 데이터의 3D 트릭플레이를 가능하게 하는 2D 서브-스트림에서의 메인 엔트리 포인트들 및 보조 서브-스트림에서의 보조 엔트리 포인트들을 포함한다.

Description

3Ｄ 트릭플레이용 엔트리 포인트들{ENTRY POINTS FOR 3D TRICKPLAY}

본 발명은 비디오 데이터 스트림에 대한 엔트리 포인트들을 제공하는 방법에 관한 것으로, 이 방법은,

- 트릭플레이를 가능하게 하는 엔트리 포인트 테이블을 생성하는 단계;

- 엔트리 포인트들이 서로로부터 시간상으로 이격되어 정의되는 비디오 데이터 스트림에서 엔트리 포인트들을 정의하는 단계; 및

- 정의된 엔트리 포인트들의 위치를 제공하는 엔트리 포인트 어드레스들을 저장함으로써 엔트리 포인트에 정의된 엔트리 포인트들을 저장하는 단계를 포함한다.

본 발명은 또한 엔트리 포인트들을 제공하는 디바이스, 비디오 데이터를 재생하는 디바이스, 신호, 렌더링하는 방법 및 컴퓨터 프로그램 제품에 관한 것이다.

본 발명은 트릭플레이 모드에서 3D 비디오 데이터를 렌더링하는, 즉, 3D 디스플레이 디바이스상에서 순방향 또는 역방향으로 증가된 속도로 3D 비디오를 재생하는 분야에 관한 것이다.

2D 비디오 데이터를 렌더링하는 디바이스들, 예를 들어, 디지털 비디오 신호들을 제공하는 DVD 플레이어들 또는 셋탑 박스들과 같은 비디오 플레이어들이 알려져 있다. 소스 디바이스는 TV 세트 또는 모니터와 같은 디스플레이 디바이스에 커플링된다. 이미지 데이터는 적합한 인터페이스, 바람직하게는, HDMI와 같은 고속 디지털 인터페이스를 통해 소스 디바이스로부터 전송된다. 현재, 3차원(3D) 이미지 데이터를 소싱하는 3D 인핸스드 디바이스들이 제안되고 있다.

3D 영화들 또는 TV 프로그램들과 같은 3D 콘텐츠에 대해, 트릭플레이를 가능하게 하는 추가의 제어 데이터가 이미지 데이터, 예를 들어, 증가된 속도로 렌더링될 수 있는 프레임들의 후속 위치들에 대한 포인터들의 리스트와 결합하여 제공될 수도 있다. 트릭플레이는 다양한 속도들에서, 고속 순방향 또는 고속 역방향, 또는 저속 모션과 같은 원래의 속도와는 상이한 속도에서의 3D 비디오 콘텐츠의 임의의 렌더링 모드이다.

문헌 US 2006/0117357 은 트릭플레이 모드들에서 2D 비디오 데이터를 렌더링하는 시스템을 설명한다. 디지털 비디오 신호는 다양한 트릭 모드 재생 속도들에서 재생된다. 디지털 비디오 스트림의 비디오 프레임들과 관련된 프레임 인덱스들은 모니터링되고, GOP(Group-of-Picture) 사이즈가 프레임 인덱스들로부터 결정된다. 하나 이상의 트릭 모드 플레이 속도 파라미터들은 결정된 GOP 사이즈에 기초하여 계산된다. 비디오 프레임들의 프리젠테이션은 계산된 트릭 모드 플레이 속도 파라미터들에 기초하여 제어된다. 일 실시예에서, 트릭 모드 플레이 속도 파라미터들은 프레임 스킵 카운트 및 프레임 반복 카운트를 포함한다.

3D 콘텐츠에 대해, 트릭플레이가 또한 개발되어야 한다. 3D 콘텐츠의 일 예가 2차원 이미지 및 관련 깊이 맵이다. 3D 콘텐츠의 다른 예가 복수의 2차원 이미지, 예를 들어, 우안 이미지 및 좌안 이미지을 갖는 널리 알려진 입체 콘텐츠이다. 3D 콘텐츠의 또 다른 예가 다중 시점 디스플레이상에 디스플레이될 복수의 우안 이미지들 및 좌안 이미지들을 갖는 입체 콘텐츠이다.

3D 비디오를 이용한 트릭플레이의 문제점은, 디코더가 (평활한 트릭플레이를 위해) 단시간에 많은 프레임들을 디코딩해야 할 때 비디오 디코더에 대한 부담이 증가한다는 것이다. 입체 비디오로, 디코더는 2개 이상의 스트림들을 디코딩해야 하고, 이것은 2D와 비교하여 부담을 증가시킨다. 또한, 다중 시점 비디오가 의존형 서브-스트림 다중 시점 코딩을 사용하여 인코딩되는 경우에, 추가 스트림들의 디코딩은 기본 시점 스트림에 의존하게 된다.

2D 트릭플레이를 제공하기 위해, 블루-레이(Blu-ray) 디스크 표준이 모든 기초 비디오 스트림에 대한 엔트리 포인트 테이블(EP-맵)을 특정한다. 비디오는 널리 공지된 MPEG 표준들에서 정의된 바와 같이 다양한 타입들의 프레임들에서 인코딩된다. 테이블은 디코딩이 시작할 수도 있는 포인트들의 스트림에서의 위치를 리스트한다. 일반적으로, 엔트리 포인트들은 MPEG 1 프레임 경계들에 있다. 테이블은 서로에 또한 의존하는 여러 비디오 스트림들이 동시에 디코딩될 수도 있다는 사실을 고려하지 않고, 하나의 스트림에 대한 엔트리 포인트들만을 리스트한다.

본 발명의 목적은 3D 트릭플레이용 시스템을 더욱 편리한 방식으로 제공하는 것이다.

이러한 목적을 위해, 본 발명의 제 1 양태에 따르면, 서두에 기재한 바와 같은 방법에서, 비디오 데이터 스트림은 3D 비디오 데이터의 하나의 스트림을 나타내는 다수의 서브-스트림들을 포함하고, 3D 비디오 데이터의 독립적으로 인코딩된 2D 버전을 포함하는 적어도 하나의 2D 서브-스트림 및 3D 비디오 데이터의 의존적으로 인코딩된 일부를 포함하는 적어도 하나의 보조 서브-스트림을 포함하고; 엔트리 포인트들을 정의하는 단계는, 메인 엔트리 포인트들 및 보조 엔트리 포인트들의 검색에 기초하여 2D-서브-스트림의 비인접 프래그먼트들을 검색하고 디코딩하며, 보조 서브-스트림의 대응하는 프래그먼트들을 검색하고 의존적으로 디코딩함으로써 3D 비디오 데이터의 3D 트릭플레이를 가능하게 하는 2D 서브-스트림에서의 메인 엔트리 포인트들 및 보조 서브-스트림에서의 보조 엔트리 포인트들을 정의함으로써 엔트리 포인트 테이블을 3D 비디오 데이터와 연관시키는 단계를 포함한다.

이러한 목적을 위해, 본 발명의 제 2 양태에 따르면, 비디오 데이터 스트림에 대한 엔트리 포인트들을 제공하는 디바이스는, 비디오 데이터 스트림에서 엔트리 포인트들을 정의함으로써 엔트리 포인트 테이블을 생성하는 수단으로서, 엔트리 포인트들은 트릭플레이를 가능하게 하기 위해 서로로부터 시간상으로 이격되어 정의되는, 상기 생성 수단, 및 정의된 엔트리 포인트들의 위치를 제공하는 엔트리 포인트 어드레스들을 저장함으로써 정의된 엔트리 포인트들을 엔트리 포인트 테이블에 저장하는 수단을 포함하고, 비디오 데이터 스트림은 다수의 서브 스트림들을 포함하고, 다수의 서브 스트림들은 3D 비디오 데이터의 하나의 스트림을 나타내고 3D 비디오 데이터의 독립적으로 인코딩된 2D 버전을 포함하는 적어도 하나의 2D 서브-스트림 및 3D 비디오 데이터의 의존적으로 인코딩된 일부를 포함하는 적어도 하나의 보조 서브-스트림을 포함하고, 엔트리 포인트 테이블을 생성하는 수단은 메인 엔트리 포인트들 및 보조 엔트리 포인트들의 검색에 기초하여 2D-서브-스트림의 비인접 프래그먼트들을 검색하고 디코딩하며, 보조 서브-스트림의 대응하는 프래그먼트들을 검색하고 의존적으로 디코딩함으로써 3D 비디오 데이터의 3D 트릭플레이를 가능하게 하는 2D 서브-스트림에서의 메인 엔트리 포인트들 및 보조 서브-스트림에서의 보조 엔트리 포인트들을 정의함으로써 엔트리 포인트 테이블을 3D 비디오 데이터와 연관시키도록 구성된다.

이러한 목적을 위해, 상기 정의된 바와 같은 엔트리 포인트 테이블 및 비디오 데이터 스트림을 수신하는 수단을 포함하고, 여기서, 비디오 데이터 스트림은 3D 비디오 데이터의 하나의 스트림을 나타내는 다수의 서브-스트림들을 포함하고, 3D 비디오 데이터의 독립적으로 인코딩된 2D 버전을 포함하는 적어도 하나의 2D 서브-스트림 및 3D 비디오 데이터의 의존적으로 인코딩된 일부를 포함하는 적어도 하나의 보조 서브-스트림을 포함하고; 이 디바이스는 2D 서브-스트림에서 메인 엔트리 포인트들 및 보조 서브-스트림에서 보조 엔트리 포인트들의 검색에 기초하여 2D 서브-스트림의 비인접 프래그먼트들을 검색하고 디코딩하며, 보조 서브-스트림의 대응하는 프래그먼트들을 검색하고 의존적으로 디코딩함으로써 3D 비디오 데이터를 재생함으로써 3D 비디오 데이터의 3D 트릭플레이를 위한 수단을 포함한다.

이러한 목적을 위해, 본 발명의 다른 양태에 따르면, 비디오 데이터를 전달하는 신호는 서로로부터 시간상으로 이격되어 정의된 엔트리 포인트들을 갖는 비디오 데이터 스트림, 및 정의된 엔트리 포인트들의 위치를 제공하는 저장된 엔트리 포인트 어드레스에 의해 정의된 엔트리 포인트들을 포함하는 상기 정의된 바와 같은 엔트리 포인트 테이블을 포함하고, 비디오 데이터 스트림은 3D 비디오 데이터의 하나의 스트림을 나타내는 다수의 서브-스트림들을 포함하고, 3D 비디오 데이터의 독립적으로 인코딩된 2D 버전을 포함하는 적어도 하나의 2D 서브-스트림 및 3D 비디오 데이터의 의존적으로 인코딩된 일부를 포함하는 적어도 하나의 보조 서브-스트림을 포함하고; 엔트리 포인트 테이블은 3D 비디오 데이터에 연관되고 메인 엔트리 포인트들 및 보조 엔트리 포인트들의 검색에 기초하여 2D 서브-스트림의 비인접 프래그먼트들을 검색하고 디코딩하며, 보조 서브-스트림의 대응하는 프래그먼트들을 검색하고 의존적으로 디코딩함으로써 3D 비디오 데이터의 3D 트릭플레이를 가능하게 하는 2D 서브-스트림에서의 메인 엔트리 포인트들 및 보조 서브-스트림에서의 보조 엔트리 포인트들을 포함한다.

이러한 목적을 위해, 본 발명의 다른 양태에 따르면, 상기 정의된 바와 같은 신호에 기초하여 비디오 데이터를 렌더링하는 방법은 상기 정의된 바와 같은 비디오 데이터 스트림 및 엔트리 포인트 테이블을 수신하는 단계를 포함하고, 여기서, 비디오 데이터 스트림은 3D 비디오 데이터의 하나의 스트림을 나타내는 다수의 서브-스트림들을 포함하고, 3D 비디오 데이터의 독립적으로 인코딩된 2D 버전을 포함하는 적어도 하나의 2D 서브-스트림 및 3D 비디오 데이터의 의존적으로 인코딩된 일부를 포함하는 적어도 하나의 보조 서브-스트림을 포함하고; 이 방법은 2D 서브-스트림에서의 메인 엔트리 포인트들 및 보조 서브-스트림에서의 보조 엔트리 포인트들의 검색에 기초하여, 2D 서브-스트림의 비인접 프래그먼트들을 검색하고 디코딩하며, 보조 서브-스트림의 대응하는 프래그먼트들을 검색하고 의존적으로 디코딩함으로써 3D 비디오 데이터를 재생함으로써 3D 비디오 데이터의 3D 트릭플레이를 렌더링하는 단계를 포함한다.

이 방안은, 다중의 서브스트림 인코딩된 3D 비디오 데이터, 예를 들어, 블루-레이 디스크용 다중 시점 인코딩된 비디오의 트릭플레이에는 이제, 확장된 엔트리 포인트 테이블이 제공된다는 효과를 갖는다. 종래의 엔트리 포인트 테이블은 비디오 스트림에서 특정한 순간에 대한 단일 엔트리 포인트를 제공한다. 본 발명에 따른 엔트리 포인트 테이블은 대응하는 보조 비디오 스트림에 또한 직접 액세스하는 메인 엔트리 포인트를 갖는 특정한 순간에 대한 적어도 하나의 다른 엔트리 포인트를 제공한다. 예를 들어, 이것은 엔트리 포인트 테이블의 정의를 변경함으로써 달성되어서, 기본 시점 비디오 스트림에 관한 EP 맵은, 스스로 디코딩될 수 없는 관련된 보조 스트림들에 대한 엔트리 포인트들을 또한 포함한다. 트릭플레이 모드에서 재생될 3D 비디오의 특정한 프래그먼트의 디코딩시에, 메인 스트림 및 보조 스트림의 필요한 데이터는 직접 액세스될 수 있다. 바람직하게는, 뷰어(viewer)는 모든 서브-스트림들이 분실 레퍼런스들로 인해 적절하게 디코딩되지 않거나 이용가능하지 않을 때 깊이 지각의 효과들을 방해하는 경험하지 않아야 할 것이다.

본 발명은 또한 다음의 인식에 기초한다. 종래 기술의 2D 트릭플레이 시스템은 3D 트릭플레이에 대한 문제점들을 인지하지 못한다. 특히, 단일 비디오 스트림에 대해, 엔트리 포인트들의 단일 세트가 제공된다. 그러나, 독립적으로 디코딩가능한 메인 서브스트림에 부가하여, 하나 이상의 보조 서브-스트림들이 3D 비디오 신호에 존재한다. 본 발명자들은 정상 재생 속도에서, 메인 스트림에 의존하여 오직 디코딩가능한 이러한 서브-스트림들을 확인하였다. 따라서, 통상적으로, 이러한 보조 스트림들은 임의의 디코딩불가능한 스트림에서의 엔트리 포인트들이 어떠한 장점도 없는 것으로 나타나기 때문에 엔트리 포인트들을 갖지 않는다. 그럼에도 불구하고, 본 발명자들은 디코딩불가능한 보조 스트림에 엔트리 포인트를 추가하였다. 메인 및 보조 엔트리 포인트 어드레스들 양자를 단지 제공함으로써, 스트림들 양자는 트릭플레이를 위한 비인접 프래그먼트들에서, 이러한 프래그먼트에 대해, 보조 스트림의 대응하는 프래그먼트가 강화된 엔트리 포인트 테이블에 따라 바로 검색될 수 있기 때문에, 편리하게 디코딩될 수 있다.

시스템의 실시예에서, 비디오 데이터 스트림은 다중 시점 3D 비디오 데이터를 포함하고, 이 다중 시점은 적어도 하나의 좌측 시점 및 하나의 우측 시점을 포함한다. 다중 시점 3D 비디오는 좌안 및 우안에 대한 다중의 개별 시점들을 제공한다. 3D 장면의 다중 시점들은 큰 중복을 갖고, 일반적으로 예를 들어, 참조 [1] 또는 [2]에 설명된 바와 같이 의존적으로 인코딩된다. 강화된 엔트리 포인트 테이블은 이러한 다중 시점 3D 비디오 스트림들에 대한 트릭플레이를 알맞게 제공한다.

시스템의 실시예에서, 비디오 데이터 스트림은 다중의 보조 서브-스트림들을 포함하고, 엔트리 포인트들은 트릭플레이 동안 3D 비디오 데이터의 축소 버전을 렌더링하는 상기 다중의 보조 서브-스트림들의 선택된 서브세트에 대한 보조 엔트리 포인트만을 포함한다. 바람직하게는, 엔트리 포인트 테이블의 사이즈는 제한되어 유지된다. 이 실시예는 또한, 트릭플레이 동안, 렌더링된 3D 비디오의 다소의 열화가 수용가능하다는 것에 기초한다. 예를 들어, 다중 시점 3D 비디오의 시점들의 수는 서브-스트림들 마다 디코딩하지 않음으로써 감소될 수 있거나, 투명 데이터가 구성된 3D 비디오 포맷에서 무시될 수도 있다.

본 발명에 따른 방법, 3D 디바이스들 및 신호의 다른 바람직한 실시예들이 첨부한 청구범위에 제공되고, 이 개시물은 참조로 여기에 포함된다.

본 발명은 3D 트릭플레이용 시스템을 더욱 편리한 방식으로 제공한다.

도 1은 3-D 비디오 생성 시스템을 도시하는 도면.
도 2는 다중 시점 디스플레이를 도시하는 도면.
도 3은 렌티큘러 렌즈들을 통한 우안 및 좌안 시점을 도시하는 도면.
도 4는 플레이리스트의 기본 구조를 도시하는 도면.
도 5는 3차원(3D) 비디오 데이터를 디스플레이하는 시스템을 도시하는 도면.
도 6은 엔트리 포인트 테이블 표시자 테이블을 도시하는 도면.
도 7은 강화된 엔트리 포인트 테이블 표시자 테이블을 도시하는 도면.
도 8은 강화된 스트림 타입 테이블을 도시하는 도면.
도 9는 2개의 서브-스트림들을 갖는 3D 비디오 스트림을 도시하는 도면.
도 10은 엔트리 포인트 맵의 정의를 도시하는 도면.
도 11은 결합된 메인 스트림과 서브-스트림에 대한 엔트리 포인트 테이블을 도시하는 도면.

본 발명의 이들 및 다른 양태들은 아래의 설명에서 예로서 설명된 실시예들을 참조하고 첨부한 도면들을 참조하여 명백할 것이고 더 설명될 것이다.

도면들에서, 이미 설명한 엘리먼트들에 대응하는 엘리먼트들은 동일한 참조 부호들을 갖는다.

도 1은 3-D 비디오 생성 시스템을 도시한다. 3-D 비디오 생성 시스템은 한 쌍의 카메라들, 우측 카메라(11) 및 좌측 카메라(12), 저장매체(14)상에 저장될 비디오 신호(15)를 생성하는 3D 비디오 프로세서(13)를 포함한다. 우측 카메라 및 좌측 카메라는 각각 종래의 카메라일 수도 있다. 깊이 스캐너가 예를 들어, 다양한 방향들로 스티어링될 수 있는 레이저 빔, 및 레이저 빔의 반사를 검출하는 센서를 포함하는 좌측 카메라와 관련될 수도 있다. 깊이 정보는 또한 카메라 정보로부터의 계산에 의해 생성될 수도 있다. 카메라들의 쌍은 장면의 3-D 비디오의 캡처에 관하여 장면(10)을 향한다. 장면(10)은 예를 들어, 사람, 나무, 집, 및 하늘의 태양과 같은 다양한 객체들을 포함한다. 각 객체는 카메라들의 쌍에 관하여 소정의 거리를 갖고, 이것은 장면을 관찰하는 가상의 관찰자로서 간주될 수도 있다.

3D 비디오 프로세서는 예를 들어, 후술되는 3D 비디오 프로세서의 동작을 정의하는 명령들의 세트가 로딩된 프로그램 메모리 및 명령-실행 디바이스를 포함할 수 있다. 저장매체(14)는 예를 들어, 하드 디스크, 기록가능한 광학 디스크, 판독 전용 타입 광학 디스크들을 제조하는 마스터링 시스템 또는 고체-상태 메모리의 형태일 수도 있다.

3D 비디오 생성 시스템은 기본적으로 아래와 같이 동작한다. 카메라들의 쌍은 영상 쌍들의 시퀀스에 의해 형성되는 장면의 기본 3-D 비디오를 제공한다. 영상 쌍은 우측 영상 및 좌측 영상을 포함한다. 우측 카메라에 의해 캡처되는 우측 영상은 인간 관찰자의 우안용으로 의도된다. 좌측 카메라에 의해 캡처되는 좌측 영상은 인간 관찰자의 좌안용으로 의도된다.

우측 카메라 및 좌측 카메라는 서로에 관하여 특정한 위치적 관계를 갖는다. 이러한 위치적 관계는 예를 들어, 스크린 사이즈 및 시거리에 관하여 통상의 렌더링 컨텍스트에 의해 정의될 수도 있다. 예를 들어, 상관되는 우측 영상들의 시퀀스 및 좌측 영상들의 시퀀스를 포함하는 기본 3-D 비디오는 12미터의 통상의 스크린 사이즈 및 18미터의 통상의 시거리를 갖는 영화관에서의 디스플레이용으로 의도될 수 있다. 다중 시점 3D 비디오 데이터 스트림은 카메라 및/또는 깊이 정보로부터 생성될 수도 있다. 다중 시점 3D 비디오는 좌안 및 우안에 대해 다중의 개별 시점들을 제공한다. 3D 장면의 다중의 시점들은 큰 중복을 갖고, 예를 들어, 참조 [1] 또는 [2]에 설명된 바와 같이, 일반적으로 의존적으로 인코딩된다.

상이한 3D 포맷이 2D 이미지에서의 객체들의 깊이에 관한 정보를 전달하는 2D 이미지 및 추가의 깊이 이미지, 소위 깊이 맵을 사용하는 2개의 뷰들에 기초한다. 이미지+깊이라고 칭하는 포맷은, 이것이 소위 "깊이" 또는 디스패리티 맵과 2D 이미지의 결합이라는 점에서 상이하다. 이것은 그레이 스케일 이미지여서, 픽셀의 그레이 스케일 값은 관련된 2D 이미지에서의 대응하는 픽셀에 대한 디스패리티량(또는 깊이 맵의 경우에서 깊이)을 나타낸다. 디스플레이 디바이스는 2D 이미지를 입력으로서 취하는 추가의 시점들을 계산하기 위해 디스패리티, 깊이 또는 시차 맵을 사용한다. 이것은 다양한 방식들로 행해질 수도 있고, 가장 단순한 형태에서, 이것은 픽셀들에 관련된 디스패리티 값에 의존하여 좌측 또는 우측으로 픽셀들을 시프트하는 문제이다. 참조 [3]은 이 기술의 우수한 개요를 제공한다.

도 1에 도시된 시스템에서, 3D 비디오 프로세서(13)는 인입 3D 비디오 데이터를 프로세싱하는 엔트리 포인트 유닛(18)을 갖고, 3D 트릭플레이 모드용의 엔트리 포인트 테이블을 생성한다. 엔트리 포인트 유닛은 비디오 데이터 스트림에서 엔트리 포인트들을 정의하기 위해 배열된다. 엔트리 포인트들은 엔트리 포인트 테이블에 저장된다. 엔트리 포인트들은 서로부터 시간상으로 이격된 비디오 데이터 스트림에서 정의된다. 이어서, 정의된 엔트리 포인트들은 예를 들어, 그 정의된 엔트리 포인트들의 위치를 제공하는 엔트리 포인트 어드레스들을 저장함으로써 엔트리 포인트 테이블에 저장된다. 3D 비디오 데이터 스트림 포맷들에서, 비디오 데이터 스트림은 일반적으로 3D 비디오 데이터의 하나의 스트림을 다수 인코딩하는 다수의 서브-스트림들을 포함하고, 3D 비디오 데이터의 2D 버전을 독립적으로 인코딩하는 적어도 하나의 2D 서브-스트림 및 3D 비디오 데이터의 일부를 의존적으로 인코딩하는 적어도 하나의 보조 서브-스트림을 포함한다. 예를 들어, 그 일부는 (독립적으로 인코딩된 좌측 시점 스트림에 의존하는) 우측 시점, 또는 깊이 맵일 수도 있다. 이러한 3D 비디오 스트림에 대해, 3D 비디오 데이터의 3D 트릭플레이를 가능하게 하는 2D 서브-스트림에서의 메인 엔트리 포인트들 및 보조 서브-스트림에서의 보조 엔트리 포인트들을 포함하도록 엔트리 포인트들이 생성된다.

렌더링 동안, 메인(2D) 서브-스트림의 선택된 프래그먼트들은 메인 엔트리 포인트들에 기초하여 검색되고, 2D 서브-스트림의 비인접 프래그먼트들로서 디코딩된다. 그 후에, 2D 서브스트림의 선택된 일부들에 대응하는 보조 의존형 서브-스트림의 일부들은 보조 엔트리 포인트들에 기초하여 검색되고, 보조 서브-스트림의 프래그먼트들로서 의존적으로 디코딩된다.

도 2는 좌안 및 우안에 대해 상이한 시점을 생성하기 위해 LCD 스크린의 전면에서 렌티큘러 렌즈들(22)을 사용하는 다중 시점 디스플레이(21)를 도시한다. 약간 상이한 각도로부터 2개의 이미지들 샷(shot)을 인터리빙하는 것은 3D 지각을 생성한다. 이러한 효과는 양안 디스패리티(binocular disparity)에 기초하고, 좌안 및 우안은 일반적으로는 약간 상이한 각도로부터 객체를 본다. 이들은 원근조절(accommodation) 및 수렴(convergence)을 통해 함께 양안단시되고(fused), 이것은 뇌에 대해 강력한 깊이 단서(depth cue)로서 작용한다.

도 3은 렌티큘러 렌즈들(30)을 통한 우안 및 좌안 시점을 도시한다. 우안(32)은 오직 픽셀(33)의 좌측 부분만을 보고, 좌안(31)은 우측 부분을 본다. 픽셀 부분들을 서브-픽셀들(34)이라 칭한다. 원근조절과 수렴을 통한 인간 뷰어에서의 이미지의 우측 및 좌측 부분의 양안단시는 단일 스테레오스코픽 이미지를 제공함으로써 깊이 단서를 생성한다. 다중의 좌측 및 우측 시점들은 다중의 서브-픽셀들에서의 각 픽셀을 세분함으로써 생성될 수 있다.

예를 들어, 단지 2개의 인터리빙된 이미지들만이 도시되어 있는 도 3과는 대조적으로, 실제 디스플레이는 도 2에 개략적으로 표시된 바와 같이, 이미지에 대한 더 넓은 범위의 시점 및 윤곽을 제공하는 9개의 인터리빙된 이미지들을 사용할 수도 있다. 이러한 타입의 디스플레이를 구동하기 위해, 다중의 시점들을 생성하기 위해 프로세싱되는 이미지 플러스 깊이 기반 비디오, 또는 다중 시점 인코딩된 비디오를 요구한다. 이러한 목적을 위해, 블루-레이 디스크 표준이 이러한 3D 비디오 스트림들에 대한 지원을 포함하도록 연장될 수도 있다. 그 후, 플레이어는 양안에 대한 시점들을 개별적으로 분리하기 위해 셔터안경을 사용하고 시점들을 교호하는 디스플레이와 같은 다른 타입의 스테레오 3D 디스플레이들뿐만 아니라, 오토스테레오스코픽 디스플레이들을 구동할 수도 있거나, 장래에는 홀로그래픽 디스플레이들을 포함할 수도 있다.

렌티큘러 스크린에 대한 대안이 LCD에서 픽셀들로부터 광을 분리하기 위해 LCD의 뒷면 및 백라이트의 전면에서 시차 배리어(parallax barrier)를 사용하는 배리어 디스플레이이다. 배리어는, 스크린의 전면의 설정 위치로부터, 좌안이 우안과는 다른 픽셀들을 보도록 하는 것이다. 배리어는 또한, 디스플레이의 로우(row)에서의 픽셀들이 좌안 및 우안에 의해 교호로 가시적이도록 LCD와 인간 뷰어 사이에 있을 수도 있다.

3D 비디오의 트릭플레이로의 실험들로부터, "3D 깊이" 효과의 품질은 트릭플레이 동안 저하한다는 것이 발견되었다. 뇌가 눈들에 의해 수신된 2개의 이미지들을 "3D" 심상(mental image)으로 양안단시하기 위해, 스테레오스코픽 비디오가 인간의 광학계(원근조절 및 수렴)에 통상의 2D 비디오보다 크고 긴 노력을 요구한다는 것이 가능한 설명이다. 초당 나타나는 프레임들의 수가 트릭플레이 동안 현저하게 증가할 때, 인간의 광학계는 더 높은 프레임 레이트로 완벽하게 따라잡을 수 없는 것을 나타낸다.

스테레오 3D 비디오가 갖는 트릭플레이의 다른 문제점은, 디코더가 (평활한 트릭플레이를 위해) 단시간에 더 많은 프레임들을 디코딩해야 할 때 비디오 디코더에 대한 부담이 증가한다는 것이다. 스테레오스코픽 비디오로, 디코더는 2개 이상의 스트림들을 디코딩해야 하고, 이것은 2D에 비하여 문제점을 증가시킨다. 추가로, 다중 시점 비디오가 MPEG에 의해 정의된 바와 같이 스케일러블 다중 시점 코딩을 사용하여 인코딩되는 경우에, 추가의 스트림들의 디코딩은 기본 시점 스트림에 의존하게 되고, 따라서, 트릭플레이가 플레이어에서 행해질 수 있는 방식이 변화해야 한다. 독립적으로 디코딩될 수 없는 이러한 스트림들을 본 명세서에서 보조 서브-스트림들이라 칭한다. 이러한 스트림들은 대응하는 메인 스트림에 기초하여 의존적으로 디코딩될 것이다.

아래의 설명에서, 엔트리 포인트 테이블의 예가 블루-레이 디스크 시스템을 참조하여 논의된다. 엔트리 포인트 테이블이 메인 및 보조 비디오 스트림들에 기초하여 임의의 3D 비디오 시스템에 적용될 수 있고, 블루-레이 디스크 시스템의 상세가 본 발명을 구현하는데 요구되지 않는다는 것에 유의한다. 블루-레이 디스크 표준은 모든 기초 비디오 스트림에 대한 (엔트리 포인트 맵 : EP-맵을 포함하는) 엔트리 포인트 테이블을 특정한다. 엔트리 포인트 테이블은 디코딩이 시작할 수도 있는 포인트들의 스트림에서의 위치를 리스트하는 테이블을 정의한다. 일반적으로, 이들은 MPEG 1 프레임 경계들에 있다. 이러한 테이블은, 서로에 또한 의존하는 여러 비디오 스트림들이 동시에 디코딩될 수도 있다는 사실을 고려하지 않고, 하나의 스트림에 대한 엔트리 포인트들만을 리스트한다.

일종의 슬라이드쇼 효과를 생성하기 위해 프레임들을 스킵할 때 트릭플레이 동안의 깊이 지각이 개선된다는 것이 발견되었다. 따라서, 원래의 3D 비디오 스트림의 개별 비인접 프래그먼트들은 시퀀스로 디스플레이된다. 놀랍게도, 스킵되는 프레임이 많을수록, 인지된 깊이가 더 양호해진다. 이것은, 디코더가 모든 프레임들을 더 빠르게 디코딩하는, 평활 트릭플레이가 더 양호한 것으로 인지되는 통상의 2D 비디오와 다소 대조적이다. 이것은, (원근조절 및 수렴을 통해) 눈으로부터의 2개의 이미지들을 하나의 스테레오스코픽 이미지로 양안단시하여 "3D" 심상을 생성하기 위해 광학 시스템에 대해 시간이 걸린다는 사실을 고려함으로써 설명될 수 있다. 통상의 생활에서, 깊이 지각이 다수의 요인들에 의존하고 양안 디스패리티(입체시(stereopsis))가 뷰어에게 근접한 객체들에 대해 오직 유효하기 때문에, 이것은 문제가 아니다. 빠르게 이동하는 객체들에 대해, 모션 시차는 폐색(occlusion)보다 큰 역할을 한다. 그러나, 3D 디스플레이에서, 3D 효과가 양안 시차에 주로 의존하여서 빠르게 이동하는 객체들에 대해, 깊이 지각이 감소되기 때문에 이것은 문제점이다.

트릭플레이에 대한 상기 문제점을 해결하기 위해, 상술한 바와 같이, 각각의 트릭플레이 모드에서 재생될 선택된 프래그먼트들의 시퀀스에 대한 엔트리 포인트들을 정의하는 것이 필요하다.

일 실시예에서, 블루-레이 디스크의 엔트리 포인트 테이블은 추가로 정의된 엔트리 포인트들을 수용하도록 확장된다. 이제, 이러한 테이블은 비디오에 대한 엔트리 포인트들을 리스트하고, 비디오에서의 시간-위치들과 디스크상의 파일에서의 위치들 사이에 링크를 제공한다. 2D 비디오 스트림에 대한 엔트리에 부가하여, 테이블이 이제 스케일러블 비디오 코딩을 사용하여 인코딩되고 디코딩을 위해 주 비디오 스트림에 의존하는 제 2 보조 비디오 스트림에 대한 엔트리 포인트들을 또한 리스트한다. 이러한 제 2 엔트리는 제 1 스트림에서의 모든 엔트리로부터 제 2 스트림에서의 대응하는 엔트리 포인트까지의 연관을 확립한다. 방금 언급한 것은 I 또는 P 프레임을 포함할 수도 있고, 여기서, P 프레임은 주 스트림으로부터의 I 프레임을 차례로 참조할 수도 있다. 이러한 방식은, 직접 프리젠테이션 시간 스탬프(PTS) 값들을 사용할 때 취해진다. 제 2 스트림에 대한 개별 EP 맵은, 보조 스트림이 의존적으로만 디코딩가능하기 때문에 독립적으로 작용하지 않을 수도 있고, 예를 들어, 동일한 PTS 시간에서 P 또는 B 프레임들만을 포함할 수도 있다는 것에 유의한다. 이와 같이, 보조 스트림은 독립적으로 디코딩될 때 유효 스트림이 아니다. 예를 들어, 블루-레이 디스크에서의 다중 시점 인코딩된 비디오에 대해, 엔트리 포인트 테이블은 확장될 수도 있고, 블루-레이 플레이어가 EP 맵을 사용하는 방식은 메인 엔트리 포인트들 및 보조 엔트리 포인트들 양자를 검색하도록 적응된다. 기본 시점 비디오 스트림에 관한 EP 맵이 스스로 디코딩될 수 없는 관련된 보조 스트림들에 대한 엔트리 포인트들을 또한 포함하도록 사양이 강화된다.

참조들 [1] 및 [2]는 공통으로 코딩된 비디오 스트림들 및 관련된 전송 포맷 배후의 원리들을 설명한다. 예를 들어, 인코딩 이전에, 3D 시점들은 인터리빙되고, 그 후, 계층적 B 프레임들을 사용하여 코딩된다. 전송 이전에, 비트스트림은 프라이머리 스트림 및 보조 스트림으로 스플릿된다. 이것은 백워드 호환성을 위해 행해져서, 2D 디코더는 프라이머리 스트림을 디코딩하고 사용할 수 있으며, 보조 스트림을 무시할 수 있다. 변경된 디코더에서, 프라이머리 및 보조 스트림은 다시 인터리빙되고 디코딩된다. 이것은 블루-레이 디스크상에서 트릭플레이에 대한 문제점을 생성하여, 프라이머리 및 보조 스트림은 디스크상에 개별적으로 저장된다. 이것을 해결하기 위해, EP 맵이 확장되어, 플레이어가 스킵한 비디오의 섹션의 디스플레이를 위해 프라이머리 및 보조 스트림의 어느 클립, 즉, 스트림들의 일부가 인터리빙되고 디코딩되어야 하는지를 플레이어가 알아야한다는 것이 요구된다. 제안된 바와 같은 강화된 엔트리 포인트 테이블에 의해, 이러한 문제점은 해결된다.

도 4는 플레이리스트의 기본 구조를 도시한다. 이 예는 EP 맵(41)(제어 정보(CPI)에서의 엔트리 포인트 테이블)이 이러한 구조에서 취하는 BD 및 역할에 기초한다. 특정한 PTS 값에 대해, EP-맵은 논리 어드레스, 예를 들어, MPEG 인코딩된 기초 스트림인 클립 AV 스트림 파일에서의 대응하는 소스 패킷 수를 제공한다. 이 구조는 도 6 내지 도 11을 참조하여 더 설명된다.

도 5는 3차원(3D) 비디오 데이터를 디스플레이하는 시스템을 도시한다. 3D 소스 디바이스(50), 예를 들어, 디스크 플레이어는 3D 디스플레이 신호(56)를 전송하는 3D 디스플레이 디바이스(53)에 커플링된다. 3D 소스 디바이스는 이미지 정보를 수신하는 입력 유닛(51)을 갖는다. 예를 들어, 입력 유닛 디바이스는 DVD 또는 블루레이 디스크와 같은 광학 기록 캐리어(54)로부터 다양한 타입의 이미지 정보를 검색하는 광학 디스크 유닛(58)을 포함할 수도 있다. 다르게는, 입력 유닛은 네트워크(55), 예를 들어, 인터넷 또는 브로드캐스트 네트워크에 커플링하는 네트워크 인터페이스 유닛(59)을 포함할 수도 있고, 이러한 디바이스를 일반적으로 셋-탑 박스라 칭한다. 이미지 데이터는 원격 매체 서버(57)로부터 검색된다. 소스 디바이스는 또한 디스플레이 신호들을 직접 제공하는 매체 서버, 또는 위성 수신기일 수도 있고, 즉, 디스플레이 유닛에 직접적으로 커플링되도록 3D 디스플레이 신호를 출력하는 임의의 적합한 디바이스일 수도 있다.

3D 디스플레이 디바이스(53)는 3D 이미지 데이터의 디스플레이용이다. 이 디바이스는 소스 디바이스(10)로부터 전송된 3D 이미지 데이터를 포함하는 3D 디스플레이 신호(56)를 수신하는 입력 인터페이스 유닛을 갖는다. 이 디바이스는 프로세싱된 이미지 데이터, 예를 들어, 듀얼 또는 렌티큘러 LCD를 갖는다. 디스플레이 디바이스(53)는 3D 디스플레이라 칭하는 임의의 타입의 입체 디스플레이일 수도 있고, 화살표(44)에 의해 표시된 디스플레이 깊이 범위를 갖는다.

3D 소스 디바이스(50)는 출력 인터페이스 유닛(12)을 통해 디스플레이 디바이스로 전송될 3D 디스플레이 신호(56)를 생성하는 이미지 정보를 프로세싱하는 입력 유닛(51)에 커플링된 이미지 프로세싱 유닛(52)을 갖는다. 프로세싱 유닛(52)은 디스플레이 디바이스(13)상에 디스플레이를 위해 3D 디스플레이 신호(56)에 포함된 이미지 데이터를 생성하기 위해 배열된다. 소스 디바이스에는 콘트라스트 또는 컬러 파라미터와 같은 이미지 데이터의 디스플레이 엘리먼트를 제어하는 사용자 제어 엘리먼트가 제공된다. 이와 같은 사용자 제어 엘리먼트들은 널리 알려져 있고, 통상의 재생 및 기록 기능들과 같은 3D 소스 디바이스의 다양한 기능들을 제어하기 위해 다양한 버튼들 및/또는 커서 제어 기능들을 갖고, 예를 들어, 직접 버튼들을 통해, 또는 그래픽 사용자 인터페이스 및/또는 메뉴들을 통해 트릭플레이 모드들을 선택하는 원격 제어 유닛을 포함할 수도 있다.

소스 디바이스(50)는 트릭플레이 모드에서 3D 비디오 데이터를 프로세싱하는 트릭플레이 프로세싱 유닛(48)을 갖는다. 3D 비디오 데이터는 엔트리 포인트 테이블에 따라, 2D 서브-스트림의 비인접 프래그먼트들을 검색하고 디코딩하며, 보조 서브-스트림의 대응하는 프래그먼트들을 검색하고 의존적으로 디코딩함으로써 트릭플레이 동안 재생된다. 2D 서브-스트림은 각각의 프래그먼트에 대해 독립적으로 디코딩되고, 3D 정보는 보조 엔트리 포인트에 기초하여 비디오 데이터 스트림으로부터 검색될 때 보조 스트림의 대응하는 프래그먼트에 기초하여 추가된다.

도 5는 3D 이미지 데이터의 캐리어로서 기록 캐리어(54)를 더 도시한다. 기록 캐리어는 디스크-형상이고, 트랙 및 중심 홀(central hole)을 갖는다. 일련의 물리적으로 검출가능한 마크들로 구성된 트랙은 정보 층상에 실질적으로 평행 트랙들을 구성하는 나선 또는 동심 패턴의 턴들에 따라 배열된다. 기록 캐리어는 광학적으로 판독가능하고, 광학 디스크, 예를 들어, CD, DVD 또는 BD(블루-레이 디스크)라 칭한다. 이 정보는 트랙을 따라 광학적으로 검출가능한 마크들, 예를 들어, 피트들 및 랜드들에 의해 정보 층상에 표현된다. 트랙 구조는 또한, 일반적으로 정보 블록들이라 칭하는 정보의 단위들의 위치를 표시하기 위해, 포지션 정보, 예를 들어, 헤더들 및 어드레스들을 포함한다. 기록 캐리어(54)는 예를 들어, DVD 또는 BD 포맷과 같은 소정의 기록 포맷에서 MPEG2 또는 MPEG4 인코딩 시스템에 따라 인코딩된 디지털적으로 인코딩된 3D 비디오 데이터를 표현하는 정보를 반송한다.

블루-레이 디스크 사양에 기초하여 EP-맵 테이블의 신택스의 관련 부분이 후술된다. EP-맵 테이블의 상부에 리스트된 메인 스트림에 대한 디코딩을 위해 의존하는 관련 스트림들의 엔트리들을 또한 포함할 수도 있도록 이러한 테이블을 확장하는 것을 제안한다.

실제로, 이것은, 다른 스트림과 함께 코딩되는 모든 보조 스트림에 대해, 디코딩되는데 의존하는 스트림과 동일한 테이블에 EP_map이 존재한다는 것을 의미한다. 리버스, 즉, 보조 스트림에 대한 추가의 테이블이 또한 가능하고, 2D 디코딩과의 백워드 호환성의 경우에 더욱 효율적이다. 이러한 경우에서, 보조 스트림들을 포함하는 클립들에 대한 EP-맵이 존재한다. 이러한 EP-맵에서, 보조 스트림에서의 엔트리 포인트가 디코딩하는데 의존하는 기본 시점 스트림의 부분에 대한 엔트리 포인트 위치들이 또한 존재한다. 다중 시점 인코딩된 비디오의 재생의 경우에서, 플레이어는 그 후, 보조 스트림의 EP-맵을 로딩할 필요만 있고, 그 후 보조 스트림의 액세스 포인트에서 프레임을 디코딩할 수 있도록 디코딩되어야 하는 기본 시점 스트림에 대한 액세스 포인트들을 갖는다.

상세하게는, 다중의 스트림 인코딩된 3D 비디오 스트림에 대한 파일 위치에 대한 엔트리 포인트들의 매핑을 포함하는 새로운 EP_map이 제안된다. 블루-레이 디스크 사양은 현재, 아래에 나타낸 바와 같은 사양에서 테이블에 표시되는 오직 하나의 타입의 EP_map만을 정의한다.

도 6은 엔트리 포인트 테이블 표시자 테이블을 도시한다. 이 테이블은 기존의 EP 맵 타입들을 도시한다. EP 맵 타입을 표시하는 표시자 값들은 기록 포맷, 예를 들어, 블루-레이 디스크를 설명하는 표준에서 정의될 수도 있다. 입체 3D 비디오에 대해 "EP_map_MVC" 또는 EP_map_ST와 같이 다소 유사한 명칭으로 칭하는 이러한 테이블에서의 다중 시점 코딩된(MVC) 3D 비디오에 대한 새로운 타입을 추가하는 것이 제안된다. 이러한 EP_MVC_map_type은 값 2에 의해 표시될 수도 있다.

도 7은 강화된 엔트리 포인트 테이블 표시자 테이블을 도시한다. 이 테이블은 기존의 EP 맵 타입들을 도시하고, 이러한 테이블에서의 MVC 3D 비디오에 대한 제안된 새로운 타입을 "EP_map_MVC"라 칭한다. 실시예에서, 각각의 EP 맵 타입은 3D 비디오 데이터 스트림을 생성할 때 EP 맵 데이터 구조에 포함되고, 재생 디바이스로 전송된다. 재생 디바이스는 이제, 새로운 EP 맵 테이블 타입을 쉽게 검출할 수 있고, 트릭플레이 동작을 각각의 EP 맵에 적응시킬 수 있다.

도 8은 강화된 스트림 타입 테이블을 도시한다. 도 6 및 도 7에 대해 다르게는, 새로운 EP-map은 EP_map에서 참조된 스트림의 타입에 대해 새로운 값(테이블에서 8)으로 테이블에 도시된 바와 같이 EP_스트림_타입을 사용하여 이제 표시된다. 실시예에서, 3D 비디오 데이터 스트림을 생성할 때, 각각의 EP 스트림 타입은 sD 비디오 스트림 데이터 구조에 포함되고, 재생 디바이스로 전송된다. 재생 디바이스는 이제, 새로운 EP 스트림 타입을 쉽게 검출할 수 있고 스트림으로부터 강화된 엔트리 포인트 테이블을 검색할 수 있고, 트릭플레이 동작을 강화된 엔트리 포인트 테이블에 적응시킬 수 있다.

도 9는 2개의 서브-스트림들을 갖는 3D 비디오 스트림을 도시한다. 이 도면은 계층적 B-영상들을 사용하는 2개의 스트림들의 섹션의 MVD 인코딩의 예를 도시한다. L로 마크된 상위 시퀀스는 독립적으로 디코딩가능한 2D 서브-스트림이고, R로 마크된 하위 시퀀스는 제 1 스트림으로부터 데이터를 요구하기 때문에 의존적으로 디코딩가능하다. 제 1 I 영상으로부터의 데이터가 하위 서브스트림의 제 1 P 영상을 인코딩하는데 사용된다는 것을 화살표가 표시한다.

도 9에 도시된 바와 같은 예에서, L 및 R 스트림 양자에 3개의 엔트리 포인트들이 존재한다. L 스트림에서, I, B(T2) 및 B(T4) 영상이 존재하고, R 스트림에서, P, B(T2) 및 B(T4) 영상이 존재한다. 중간의 B-영상들은 비기준 프레임들이고 엔트리-포인트로서 기능하지 않을 수 있다. 실제로, 엔트리 포인트들 사이의 거리가 실질적으로 크다는 것에 유의한다.

이제, 사용자가 위치(T2)로 점프하기를 원하는 경우에 무엇이 발생하는지 연구함으로써 계속한다. 디코딩이 T2에서 시작하면, 디코더는 L 스트림 및 R 스트림에 대해 T0에서 I 영상에 대한 액세스 또한 가져야 하고, L 스트림으로부터의 I-영상 및 R 스트림으로부터의 P-영상에 대한 액세스를 가져야 한다. 따라서, L 스트림에서의 I-영상의 위치 및 R 스트림에서의 P-영상의 위치를 요구한다. 따라서, P-영상의 위치에 대한 시간 벡터 및 L 프레임의 I-영상에 대한 공간 벡터를 요구한다.

디스크상에서, L 및 R 스트림 각각은, 디스크상의 상이한 섹션들에서 인터리빙될 수도 있거나 하나의 스트림에 포함될 수도 있다. 따라서, L 및 R 스트림 양자로부터의 하나의 엔트리 포인트 정보에 대해 상술한 바와 같이 요구되기 때문에, 파일에서의 위치 및 디스크상의 위치 양자가 하나의 엔트리 포인트에 대해 필요할 수도 있다. 따라서, 서브-스트림 L에서의 메인 엔트리 포인트 및 의존적으로 디코딩가능한 서브스트림 R에서의 보조 엔트리 포인트가 제공된다.

따라서, 상세하게는, 각 엔트리 포인트가 벡터라 또한 칭하는 2개의 어드레스들을 포함하도록 MVC 인코딩된 비디오에 대한 EP 맵을 확장하는 것을 제안한다. 하나의 시간 벡터가 PTS를 나타내고, 하나의 공간 벡터가 엔트리 포인트에 대한 레퍼런스 프레임으로 기능하는 프레임들의 패킷 수를 나타낸다.

도 10은 EP_map 신택스라 또한 칭하는 엔트리 포인트 맵의 정의를 도시한다. 테이블은 MVC 인코딩된 비디오와 사용하기 위해 확장된 현재의 EP-맵의 예를 도시한다. 맵은 각각의 서브-스트림들에 대한 서브-테이블들을 포함한다. 테이블은 예를 들어, 기록 캐리어상의 제어 정보에서 3D 비디오와 함께 블루-레이 디스크 포맷의 이러한 제어 정보(CPI)(41)에 포함되는 엔트리 포인트 테이블의 데이터 구조를 정의한다는 것에 유의한다.

도 11은 하나의 스트림 PID에 대해 EP_map이라 또한 칭하는 결합된 메인 스트림 및 서브-스트림에 대한 엔트리 포인트 테이블을 도시한다. 이러한 실시예에서, 도 10에 도시된 바와 같이 추가되는 특정한 MVC 섹션은 없지만, 테이블은 추가의 엔트리들로 확장되어, 각 엔트리 포인트는 의존형 데이터 스트림들에서의 PTS 값들 및 패킷 수들의 리스트를 또한 표시한다.

다중 시점 인코딩된 3D 비디오에 대한 재생 시스템의 실시예에서, 트릭플레이는 아래와 같이 배열된다. 3D 비디오 스트림은 다중의 보조 서브-스트림들을 갖고, 엔트리 포인트들은 상기 다중의 보조 서브-스트림들의 선택된 서브세트들에 대해서만 보조 엔트리 포인트들을 포함한다. 트릭플레이 동안, 3D 비디오 데이터의 감소된 버전이 엔트리 포인트들을 갖는 서브-스트림들을 단지 디코딩함으로써 렌더링된다. 바람직하게는, 엔트리 포인트 테이블의 사이즈는 제한되어 유지된다.

대안으로, 디코더는 디코더에 대한 부담을 감소시키기 위해 트릭플레이를 수행할 때 시점들의 수를 자동으로 감소시킨다. 시점들의 수는 속도를 증가시키는 단계들에서 동적으로 감소될 수도 있다(예를 들어, 9-7-5-3-2). 감소된 시점들의 수에 대한 각각의 엔트리 포인트들은 엔트리 포인트 테이블로부터 검색될 수도 있다. 대안으로, 감소된 시점들의 수는 표준 속도 재생 동안 상기 다수의 시점들을 생성하는 프로세싱 유닛에서 트릭플레이 동안 생성될 수도 있다.

본 발명이 프로그램가능한 컴포넌트들을 사용하여 하드웨어 및/또는 소프트웨어에서 구현될 수도 있다는 것에 유의한다. 본 발명을 구현하는 방법은 도 1 을 참조하여 설명된 3D 비디오 데이터의 프로세싱에 대응하는 프로세싱 단계들을 갖는다. 본 발명이 주로, 광학 기록 캐리어들 또는 인터넷을 사용하는 실시예들에 의해 설명되었지만, 본 발명은 3D 개인 컴퓨터[PC] 디스플레이 인터페이스, 또는 무선 3D 디스플레이 디바이스에 커플링된 3D 미디어 센터와 같은, 임의의 이미지 인터페이싱 환경에 또한 적합하다.

본 명세서에서, 단어 '포함하는'은 리스트된 것들 이외의 다른 엘리먼트들 또는 단계들의 존재를 배제하지 않고, 엘리먼트에 선행하는 단어 'a' 또는 'an'은 복수의 이러한 엘리먼트의 존재를 배제하지 않고, 임의의 참조 부호들이 청구항의 범위를 제한하지 않고, 본 발명이 하드웨어 및 소프트웨어 양자에 의해 구현될 수도 있으며, 여러 '수단' 및 '유닛'이 하드웨어 또는 소프트웨어의 동일한 아이템에 의해 표현될 수도 있고, 프로세서가 가능하면 하드웨어 엘리먼트와 협동하여 하나 이상의 유닛들의 기능을 충족시킬 수 있다는 것에 유의한다. 또한, 본 발명은 실시예들에 제한되지 않으며, 신규한 특징 마다 또는 상술한 특징들의 조합에 있다.

참조[1] : "A novel Milti-View Video Coding Scheme Based on H.264; by GuopingLi, Yun He; ICICS-PCM 2003, 15-18 december 2003, Singapore, IEEE 0-7893-8185-8/03/$17.00"

참조[2]: "Efficient Prediction Structures for Multi-View Video Coding; by Philipp Merkle et al; IEEE 2007"

참조[3]: "Depth image based rendering, compression and transmission for a new approach on 3D TV" by Christoph Fehn (see http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdf)

10 : 장면 11 : 우측 카메라
12 : 좌측 카메라 13 : 3D 비디오 프로세서
14 : 저장 메체 15 : 비디오 신호

Claims

비디오 데이터 스트림에 대한 엔트리 포인트들을 제공하는 방법에 있어서,
엔트리 포인트 테이블을 생성하는 단계;
상기 비디오 데이터 스트림에서 엔트리 포인트들을 정의하는 단계로서, 상기 엔트리 포인트들은 트릭플레이를 가능하게 하기 위해 서로로부터 시간상으로 이격되어 정의되는, 상기 엔트리 포인트들을 정의하는 단계; 및
상기 정의된 엔트리 포인트들의 위치를 제공하는 엔트리 포인트 어드레스들을 저장함으로써 상기 엔트리 포인트 테이블에 상기 정의된 엔트리 포인트들을 저장하는 단계를 포함하고,
상기 비디오 데이터 스트림은 3D 비디오 데이터의 하나의 스트림을 나타내는 다수의 서브-스트림들을 포함하고, 상기 3D 비디오 데이터의 독립적으로 인코딩된 2D 버전을 포함하는 적어도 하나의 2D 서브-스트림 및 상기 3D 비디오 데이터의 의존적으로 인코딩된 일부를 포함하는 적어도 하나의 보조 서브-스트림을 포함하고,
상기 방법은 기록 캐리어 상에 상기 2D 서브-스트림 및 상기 보조 서브-스트림을 개별적으로 저장하는 단계를 포함하고,
상기 엔트리 포인트들을 정의하는 단계는, 메인 엔트리 포인트들 및 보조 엔트리 포인트들의 검색에 기초하여 상기 2D 서브-스트림의 비인접 프래그먼트들을 검색하고 디코딩하며 상기 보조 서브-스트림의 대응하는 프래그먼트들을 검색하고 의존적으로 디코딩함으로써 상기 3D 비디오 데이터의 3D 트릭플레이를 가능하게 하는 상기 2D 서브-스트림에서의 상기 메인 엔트리 포인트들 및 상기 보조 서브-스트림에서의 상기 보조 엔트리 포인트들을 정의하는 것에 의해 상기 3D 비디오 데이터와 상기 엔트리 포인트 테이블을 연관시키는 단계를 포함하는, 비디오 데이터 스트림에 대한 엔트리 포인트들을 제공하는 방법.
제 1 항에 있어서,
상기 엔트리 포인트 테이블을 연관시키는 단계는 동일한 프리젠테이션 시간 스탬프(PTS) 값들을 사용하여 각각의 메인 엔트리 포인트들로부터 대응하는 보조 엔트리 포인트들로의 연관을 확립하는 단계를 포함하는, 비디오 데이터 스트림에 대한 엔트리 포인트들을 제공하는 방법.
제 1 항 또는 제 2 항에 있어서,
상기 엔트리 포인트 테이블을 연관시키는 단계는 상기 보조 서브-스트림에 대해 개별적인 엔트리 포인트 맵에서 상기 보조 엔트리 포인트들을 제공하는 단계를 포함하는, 비디오 데이터 스트림에 대한 엔트리 포인트들을 제공하는 방법.
제 1 항에 있어서,
상기 비디오 데이터 스트림은 다중 시점(multi-view) 3D 비디오 데이터 포함하고, 상기 다중 시점은 적어도 하나의 좌측 시점 및 하나의 우측 시점을 포함하고,
상기 적어도 하나의 보조 서브-스트림은,
깊이 정보 데이터 스트림;
투명 정보 데이터 스트림; 및
폐색 정보 데이터 스트림
중 적어도 하나를 포함하고,
상기 비디오 데이터 스트림은 다중의 보조 서브-스트림들을 포함하고, 상기 엔트리 포인트들은 트릭플레이 동안 상기 3D 비디오 데이터의 감소된 버전을 렌더링하는 상기 다중의 보조 서브-스트림들의 선택된 서브세트에 대해서만 보조 엔트리 포인트들을 포함하는, 비디오 데이터 스트림에 대한 엔트리 포인트들을 제공하는 방법.
제 1 항에 있어서,
상기 2D 서브-스트림과 관련된 제 1 엔트리 포인트 서브-테이블을 생성하는 단계,
상기 보조 서브-스트림과 관련된 제 2 엔트리 포인트 서브-테이블을 생성하는 단계, 및
상기 제 1 엔트리 포인트 서브-테이블 및 상기 제 2 엔트리 포인트 서브-테이블에 의해 상기 3D 비디오 데이터와 관련된 상기 엔트리 포인트 테이블을 형성하는 단계를 포함하는, 비디오 데이터 스트림에 대한 엔트리 포인트들을 제공하는 방법.
제 1 항에 있어서,
각 엔트리 포인트에 대해, 메인 엔트리 포인트에 대한 적어도 제 1 엔트리 포인트 및 대응하는 보조 엔트리 포인트 어드레스에 대한 적어도 제 2 엔트리 포인트 어드레스를 포함하는 다중의 엔트리 포인트 어드레스들의 세트를 정의하는 단계를 포함하는, 비디오 데이터 스트림에 대한 엔트리 포인트들을 제공하는 방법.
제 1 항에 있어서,
상기 방법은 상기 데이터 스트림 및 그에 저장된 상기 엔트리 포인트 테이블을 갖는 상기 기록 캐리어를 제공하는 단계를 포함하는, 비디오 데이터 스트림에 대한 엔트리 포인트들을 제공하는 방법.
비디오 데이터 스트림에 대한 엔트리 포인트들을 제공하는 디바이스에 있어서,
엔트리 포인트들이 트릭플레이를 가능하게 하기 위해 서로로부터 시간상으로 이격되어 정의되는, 상기 비디오 데이터 스트림에서 상기 엔트리 포인트들을 정의하고,
상기 정의된 엔트리 포인트들의 위치를 제공하는 엔트리 포인트 어드레스들을 저장함으로써 엔트리 포인트 테이블에 상기 정의된 엔트리 포인트들을 저장함으로써 상기 엔트리 포인트 테이블을 생성하는 수단(18)을 포함하고,
상기 비디오 데이터 스트림은 3D 비디오 데이터의 하나의 스트림을 나타내는 다수의 서브-스트림들을 포함하고, 상기 3D 비디오 데이터의 독립적으로 인코딩된 2D 버전을 포함하는 적어도 하나의 2D 서브-스트림 및 상기 3D 비디오 데이터의 의존적으로 인코딩된 일부를 포함하는 적어도 하나의 보조 서브-스트림을 포함하고,
상기 디바이스는 기록 캐리어 상에 상기 2D 서브-스트림 및 상기 보조 서브-스트림을 개별적으로 저장하기 위해 배치되고,
상기 엔트리 포인트 테이블을 생성하는 수단(18)은, 메인 엔트리 포인트들 및 보조 엔트리 포인트들의 검색에 기초하여 상기 2D 서브-스트림의 비인접 프래그먼트들을 검색하고 디코딩하며, 상기 보조 서브-스트림의 대응하는 프래그먼트들을 검색하고 의존적으로 디코딩함으로써 상기 3D 비디오 데이터의 3D 트릭플레이를 가능하게 하는 상기 2D 서브-스트림에서의 상기 메인 엔트리 포인트들 및 상기 보조 서브-스트림에서의 상기 보조 엔트리 포인트들을 정의함으로써 상기 3D 비디오 데이터와 상기 엔트리 포인트 테이블을 연관시키도록 구성되는, 비디오 데이터 스트림에 대한 엔트리 포인트들을 제공하는 디바이스.
제 8 항에 있어서,
상기 디바이스는 상기 기록 캐리어 상에 상기 비디오 데이터 스트림 및 상기 엔트리 포인트 테이블을 저장하는 기록 수단을 포함하는, 비디오 데이터 스트림에 대한 엔트리 포인트들을 제공하는 디바이스.
비디오 데이터를 재생하는 디바이스에 있어서,
제 1 항 또는 제 2 항에서 정의된 엔트리 포인트 테이블 및 비디오 데이터 스트림을 수신하는 수단(58, 59)을 포함하고,
상기 비디오 데이터 스트림은 3D 비디오 데이터의 하나의 스트림을 나타내는 다수의 서브-스트림들을 포함하고, 상기 3D 비디오 데이터의 독립적으로 인코딩된 2D 버전을 포함하는 적어도 하나의 2D 서브-스트림 및 상기 3D 비디오 데이터의 의존적으로 인코딩된 일부를 포함하는 적어도 하나의 보조 서브-스트림을 포함하고,
상기 디바이스는 기록 캐리어로부터 개별적으로 상기 2D 서브-스트림 및 상기 보조 서브-스트림을 검색하기 위해 배치되고,
상기 디바이스는, 2D 서브-스트림에서의 메인 엔트리 포인트들 및 보조 서브-스트림에서의 보조 엔트리 포인트들의 검색에 기초하여, 상기 2D 서브-스트림의 비인접 프래그먼트들을 검색하고 디코딩하며, 상기 보조 서브-스트림의 대응하는 프래그먼트들을 검색하고 의존적으로 디코딩함으로써, 상기 3D 비디오 데이터를 재생함으로써 상기 3D 비디오 데이터의 3D 트릭플레이를 위한 수단(48)을 포함하는, 비디오 데이터를 재생하는 디바이스.
제 10 항에 있어서,
상기 3D 트릭 플레이를 위한 수단(48)은 동일한 프레젠테이션 시간 스탬프(PTS) 값들을 사용하여 보조 엔트리 포인트들에 대응하는 각각의 메인 엔트리 포인트들에 대해 검색하도록 구성되는, 비디오 데이터를 재생하는 디바이스.
제 10 항에 있어서,
상기 3D 트릭 플레이를 위한 수단(48)은 상기 보조 서브-스트림에 대해 개별적인 엔트리 포인트 맵으로부터 상기 보조 엔트리 포인트들을 검색하도록 구성되는, 비디오 데이터를 재생하는 디바이스.
제 10 항에 있어서,
상기 3D 트릭 플레이를 위한 수단(48)은,
상기 2D 서브-스트림과 연관된 제 1 엔트리 포인트 서브-테이블로부터 상기 메인 엔트리 포인트들, 및
상기 보조 서브-스트림과 연관된 제 2 엔트리 포인트 서브-테이블로부터 상기 보조 엔트리 포인트들을 검색하도록 구성되는, 비디오 데이터를 재생하는 디바이스.
제 10 항에 있어서,
상기 디바이스는 상기 기록 캐리어로부터 상기 비디오 데이터 스트림 및 상기 엔트리 포인트 테이블을 판독하는 판독 수단(58)을 포함하는, 비디오 데이터를 재생하는 디바이스.
비디오 데이터를 전달하는 신호(15)가 기록된 저장매체에 있어서,
서로로부터 시간상으로 이격되어 정의된 엔트리 포인트들을 갖는 비디오 데이터 스트림, 및
상기 정의된 엔트리 포인트들의 위치를 제공하는 엔트리 포인트 어드레스들을 저장함으로써 상기 정의된 엔트리 포인트들을 포함하는 제 1 항 또는 제 2 항에 정의된 엔트리 포인트 테이블을 포함하고,
상기 비디오 데이터 스트림은 3D 비디오 데이터의 하나의 스트림을 나타내는 다수의 서브-스트림들을 포함하고, 상기 3D 비디오 데이터의 독립적으로 인코딩된 2D 버전을 포함하는 적어도 하나의 2D 서브-스트림 및 상기 3D 비디오 데이터의 의존적으로 인코딩된 일부를 포함하는 적어도 하나의 보조 서브-스트림을 포함하고,
상기 2D 서브-스트림 및 상기 보조 서브-스트림은 상기 저장매체에 개별적으로 저장되고,
상기 엔트리 포인트 테이블은 상기 3D 비디오 데이터와 연관되고 메인 엔트리 포인트들 및 보조 엔트리 포인트들의 검색에 기초하여 상기 2D 서브-스트림의 비인접 프래그먼트들을 검색하고 디코딩하며, 상기 보조 서브-스트림의 대응하는 프래그먼트들을 검색하고 의존적으로 디코딩함으로써 상기 3D 비디오 데이터의 3D 트릭플레이를 가능하게 하는 상기 2D 서브-스트림에서의 상기 메인 엔트리 포인트들 및 상기 보조 서브-스트림에서의 상기 보조 엔트리 포인트들을 포함하는, 저장매체.
제 15 항에 있어서,
상기 엔트리 포인트 테이블은 동일한 프레젠테이션 시간 스탬프(PTS) 값들을 사용하여 모든 메인 엔트리 포인트로부터 대응하는 보조 엔트리 포인트로의 연관을 포함하는, 저장매체.
제 15 항에 있어서,
상기 신호는 상기 보조 서브-스트림에 대해 개별적인 엔트리 포인트 맵에서 상기 보조 엔트리 포인트들을 포함하는, 저장매체.
제 15 항에 있어서,
상기 2D 서브-스트림과 연관된 제 1 엔트리 포인트 서브-테이블에서 상기 메인 엔트리 포인트들, 및
상기 보조 서브-스트림과 연관된 제 2 엔트리 포인트 서브-테이블에서 상기 보조 엔트리 포인트들을 포함하는, 저장매체.
삭제
제 15 항에 있어서,
상기 저장매체는 광학적으로 검출가능한 마크들을 갖는 트랙을 갖는 광학적으로 판독가능한 타입의 기록 캐리어(54)이고, 상기 마크들의 광학적으로 검출가능한 특성들은 상기 신호를 나타내는, 저장매체.
제 15 항에 따른 신호에 기초하여 비디오 데이터를 렌더링하는 방법에 있어서,
제 15 항에 정의된 신호를 수신하는 단계를 포함하고,
상기 비디오 데이터 스트림은 3D 비디오 데이터의 하나의 스트림을 나타내는 다수의 서브-스트림들을 포함하고, 상기 3D 비디오 데이터의 독립적으로 인코딩된 2D 버전을 포함하는 적어도 하나의 2D 서브-스트림 및 상기 3D 비디오 데이터의 의존적으로 인코딩된 일부를 포함하는 적어도 하나의 보조 서브-스트림을 포함하고,
상기 방법은 상기 저장매체로부터 상기 2D 서브-스트림 및 상기 보조 서브-스트림을 개별적으로 검색하는 단계 및 엔트리 포인트들은 상기 2D 서브-스트림에서의 메인 엔트리 포인트들 및 상기 보조 서브-스트림에서의 보조 엔트리 포인트들에 기초하여 상기 2D 서브-스트림의 비인접 프래그먼트들을 검색하고 디코딩하며, 상기 보조 서브-스트림의 대응하는 프래그먼트들을 검색하고 의존적으로 디코딩함으로써, 상기 3D 비디오 데이터를 재생함으로써 상기 3D 비디오 데이터의 3D 트릭플레이를 렌더링하는 단계를 포함하는, 비디오 데이터를 렌더링하는 방법.
제 21 항에 있어서,
상기 3D 트릭플레이를 렌더링하는 단계는 동일한 프레젠테이션 시간 스탬프(PTS) 값들을 사용하여 각각의 메인 엔트리 값들에 대하여 대응하는 보조 엔트리 포인트들을 검색하는 단계를 포함하는, 비디오 데이터를 렌더링하는 방법.
제 21 항에 있어서,
상기 3D 트릭플레이를 렌더링하는 단계는 상기 보조 서브-스트림에 대해 개별적인 엔트리 포인트 맵으로부터 상기 보조 엔트리 포인트들을 검색하는 단계를 포함하는, 비디오 데이터를 렌더링하는 방법.
제 21 항에 있어서,
상기 2D 서브-스트림과 연관된 제 1 엔트리 포인트 서브-테이블로부터의 상기 메인 엔트리 포인트들, 및
상기 보조 서브-스트림과 연관된 제 2 엔트리 포인트 서브-테이블에서 상기 보조 엔트리 포인트들을 검색하는 단계를 포함하는, 비디오 데이터를 렌더링하는 방법.
프로세서에 로딩될 때, 상기 프로세서로 하여금, 제 1 항 또는 제 2 항에 따른 방법을 실행하게 하는 명령들의 세트를 포함하는 컴퓨터 프로그램이 기록된, 컴퓨터 판독가능한 기록매체.