KR20130050302A

KR20130050302A - 입체영상-호환 비디오 스트림을 생성하고 재구성하기 위한 방법, 및 관련 코딩 및 디코딩 디바이스들

Info

Publication number: KR20130050302A
Application number: KR1020127029342A
Authority: KR
Inventors: 지오반니 발로카; 파올로 다마토
Original assignee: 시스벨 테크놀로지 에스.알.엘.
Priority date: 2010-04-12
Filing date: 2011-04-07
Publication date: 2013-05-15
Also published as: US9386293B2; KR101889459B1; PE20130819A1; MX2012011847A; UA109782C2; RU2605368C2; CN102972030B; AU2011241841B2; CL2012002849A1; SG184396A1; CN102972030A; EP2559257B1; SG10201502810SA; AU2011241841A1; IL222274A0; TWI527433B; BR112012025502B1; JP6040932B2; CA2795115A1; NZ602870A

Abstract

본 발명은, 용기 프레임들(C)-상기 용기 프레임들(C)은 우측 영상(R)과 좌측 영상(L)을 포함한다-을 포함하는 디지털 입체영상 비디오 스트림(101)을 생성하기 위한 방법에 관한 것으로, 상기 디지털 입체영상 비디오 스트림(101)을 코딩할 때, 상기 두 개의 영상들(L, R) 중 하나만을 포함하는 용기 프레임(C)의 영역을 식별하도록 적응된 적어도 하나의 메타데이터(M)가 입력된다.

Description

입체영상-호환 비디오 스트림을 생성하고 재구성하기 위한 방법, 및 관련 코딩 및 디코딩 디바이스들{METHOD FOR GENERATING AND REBUILDING A STEREOSCOPIC-COMPATIBLE VIDEO STREAM AND RELATED CODING AND DECODING DEVICES}

본 발명은 디지털 입체영상 비디오 스트림, 즉 시각화 디바이스에서 적절하게 처리될 때, 시청자에 의해 3-차원으로 지각되는 영상들의 시퀀스들을 생성하기 위한 방법에 관한 것이다.

이러한 방법은 또한 종래의(비-입체영상의) 디코더와 텔레비전 세트를 구비한 사용자가 상기 영상들을 2D로 디스플레이하는 것을 허용한다.

본 발명은 또한 입체영상 비디오 스트림을 디지털 포맷으로 코딩하고 디코딩하기 위한 코딩 디바이스 및 디코딩 디바이스에 관한 것이다.

최근에, 영화 제작 분야는 새로운 디지털 기술들에 의해 사용가능하게 된 새로운 제작 도구들의 자극 하에 입체영상 3D 콘텐츠의 제작에 많은 관심을 기울여 왔고, 이러한 제작에 거대한 자원들을 쏟아오고 있다.

3D에서의 관심은 이제 가정의 사용, 즉 텔레비전 세트 상에 영상들을 디스플레이하는 것으로 확장되고 있다. 예컨대, 일부 유료-TV 운영자들은 3D 프로그램들을 곧 방송할 것이다.

입체영상 비디오 콘텐츠를 제공하는 것에 대한 가장 흔한 접근법은 각각 우측 눈과 좌측 눈을 위해 의도되고, 이후 인간의 뇌에 의해 3차원 물체로 재조립되는 두 개의 독립적인 비디오 스트림들을 디스플레이하는 것을 수반한다.

가정의 사용을 위한 입체영상 콘텐츠는 일반적으로 고-품위 비디오 콘텐츠이고, 대량 메모리 매체(DVD 또는 블루-레이 디스크들, 광-자기 또는 고체상태 매체, 등) 상에서 또는 (유선 또는 무선) 방송 채널들을 통해, 또는 통신 네트워크(IP)를 통해 배포될 수 있다.

그러나, 기존의 구조들을 갖는 제작 환경에 있어서, 두 개의 상이한 관찰점들로부터 한 장면을 촬영한 입체영상 비디오 카메라들에 의해 생성된 두 개의 스트림들을 별도로 전달하고 취급하는 것은 불가능할 수 있다.

더욱이, 최종 사용자에 도달하는 배포 네트워크들은 너무 커서 단일 서비스를 제공하기 위해 두 개의 독립적인 고-품위 스트림들을 사용하는 것은 경제적이지 못하다. 결과적으로, 콘텐트의 전달 및 결실을 위해 요구되는 비트-레이트를 줄이기 위하여, 제작 프로세스 도중에 다수의 초처들이 취해져야만 한다.

2-차원 및 3-차원의 영상들에서 세부사항들의 지각에서의 차이점들에 대해 수행된 연구들의 결과들이, 심지어 입체영상 콘텐츠의 해상도가 2-차원 콘텐츠의 것과 비교하여 낮아질 때에도, 사용자에 의해 지각되는 품질은 여전히 받아들일 수 있게 유지되는 것을 나타내는 것으로 보이기 때문에, 입체영상의 뷰를 구성하는 두 개의 영상들을 단일 프레임으로 패킹하기(packing) 위한 상이한 기술들이 개발되어 왔다.

예컨대, 단일 고-품위 프레임 C(1980×1080 픽셀들)의 경우, 좌측 및 우측 채널들(이후로 L 및 R로 언급함)을 구성하는 두 개의 영상들이 고-품위 프레임의 절반의 해상도와 동일한 수평 해상도로 획득되고, 이 후 도 1a에 도시된 바와 같이 단일 프레임으로 나란히(사이드 바이 사이드(Side by Side) 포맷) 배열된다.

이러한 방식으로, 두 개의 독립적인 비디오 채널들을 운반하기 위해 단일 고-품위 스트림을 사용하는 것이 가능하고; 디코딩 시에, 두 개의 절반-프레임들은 분리되어, 적합한 보간 기술들을 적용함으로써 다시 16/9 포맷을 초래하게 된다.

마찬가지로, 수직 해상도를 절반으로 나누고 수평 해상도는 변화되지 않은채 남겨놓고, 그 후 도 1b에 도시된 바와 같이 두 개의 프레임들(L 및 R)을 하나를 다른 하나 위에 배열하는(탑-바텀(top-bottom) 포맷) 것을 수반하는 대안적인 프로세스가 사용될 수 있다.

복합 프레임들로 구성되는 입체영상 비디오 스트림은 그 후, 이를 방송 네트워크, IP 네트워크 또는 대량 메모리 매체 상에 배포하기 전에, 이의 운송 비트-레이트를 줄이기 위하여 압축된다.

고-품위 비디오를 배포하기 위하여 현재 주로 사용되는 압축 기술은 H.264/AVC 표준에 의해 규정된 기술이다.

시장에서 현재 취득 가능한 고-품위 텔레비전 세트들에는 1080p 포맷까지의 포맷 디코딩을 지원하는 H.264/AVC 디코더들이 장착되어 있다.

다양한 서비스 공급자들(특히 공공 서비스 방송자들)의 주의가 집중되는 가장 중요한 요건들 중 하나는 입체영상 신호들의 역호환성이다.

사실상, 이미 고-품위 디코더를 소유한 사용자들이 방송 서비스들을 즐기는 것을 허용하기 위하여, 3D 프로그램들이 또한 2D 프로그램들로서 디스플레이될 수 있는 것이 바람직하다. 마찬가지로, DVD, 블루-레이 디스크 3D 또는 인터넷 사이트상의 3D 콘텐트가 2D 및 3D 텔레비전 세트들과 모니터들 모두에 의해 디스플레이될 수 있는 것이 바람직하다.

이러한 결과는 다음의 두 가지 방식으로: 즉, 한 프로그램의 2D 및 3D 버전들을 모두 동시에 방송함으로써, 또는 입체영상 스트림을 코딩하기 위하여 적절한 기술을 채택함으로써 달성될 수 있다.

물론, 제 1 선택사항은 대역폭을 낭비하는 것을 수반하고, 대역폭의 낭비는 서비스 공급자들이 오히려 회피하려는 것이다.

제 2 선택사항에 대해, 역호환성의 입체영상 스트림들을 생성하기 위한 수 가지 기술들이 관련 기술분야에서 알려져 있다.

이들 기술들 중 하나는 예컨대 US 특허 출원들 US2002/0048395 및 US2004/0101043에 기술된, 소위 말하는 "깊이 맵들"의 응용에 관한 것이다.

실제로 신호는, 깊이 맵들을 전달하는 보완 흑색 및 백색 비디오의 형태로 2-차원 컬러 비디오와 관련된다. 적합한 디코더는 수신된 데이터로부터 시작하여 입체영상 비디오를 재구성할 수 있다. 그러나, 이러한 기술은 동일한 프로그램의 상술한 2D 및 3D 송신의 바로 동일한 문제점들을 겪는다: 실제, 2개의 비디오 신호들은 병렬로 전달되어야만 하여, 높은 운송 비트-레이트를 초래한다.

다른 역-호환성 입체영상 스트림 코딩 기술은 에컨대 "멀티뷰"로 언급되는 것이다.

입체영상 비디오 스트림을 구성하는 우측 및 좌측 영상들의 쌍들이 높은 정도의 유사성을 특징으로 하기 때문에, 2차원 스트림들을 코딩할 때 사용된 공간-시간 여분의 압축 기술들은 이 경우에도 역시 사용될 수 있다. 실제, 촬영점들 사이의 기하학적 거리(즉, 양 눈 사이의 거리)로 인한 특정 옵셋이 감산되면, 우측 영상과 좌측 영상 사이의 차이점들은 작다.

MPEG2 표준은 멀티 뷰 프로파일(Multi View Profile : MVP)로 불리는 보완 규격을 통해 확장되었고; 마찬가지로 후속 H.264/AVC 표준은 멀티 뷰 코딩(MVC) 규격을 포함함으로써 확장되었다.

이들 두 규격들의 공통의 특성은 크기조정 가능한 비디오 코딩의 사용이다: 입체영상 비디오 스트림은 기본 층(2D 기본 스트림) + 강화 층으로 압축되고, 강화 층은 제 2 뷰를 운송한다. 코팅된 스트림의 구문은 2D 비디오가 또한, 구-세대의 디코더들이 MPEG2 또는 H.264/AVC 표준들을 따르는 한, 이들 디코더들에 의해 디코딩될 수 있는 것을 보장한다.

그러나, 입체영상 스트림을 상술한 포맷들로 코딩하기 위하여 필요한 비트-레이트는 이를 방송 환경에서 사용되도록 허용하기에는 여전히 너무 높다.

그러므로 본 발명의 목적은 2D 스트림에 대해 요구되는 동일한 대역폭을 사용함으로써 방송자들에 의해 배포될 수 있는 역-호환성의 디지털 입체영상 비디오 스트림을 생성하고 재구성하기 위한 방법을 제공하는 것이다.

본 발명의 추가 목적은 복합 프레임들의 사용에 기초하고, 우측 및 좌측 영상들이 상기 복합 영상들로 어떻게 패킹되는지에 상관없이 항상 적용될 수 있는 역-호환성의 디지털 입체영상 비디오 스트림을 생성하고 재구성하기 위한 방법을 제공하는 것이다.

본 발명의 이들 및 다른 목적들은, 본 설명의 통합 부분으로서 의도되는 첨부된 청구항들에서 설명된 특징들을 통합하는 입체영상 비디오 스트림을 생성하고 재구성하기 위한 방법을 통해 달성된다.

본 발명은 또한 입체영상 비디오 스트림을 코딩하고 디코딩하기 위한 코딩 디바이스와 디코딩 디바이스, 및 입체영상 비디오 스트림을 기술한다.

본 발명의 기초에서의 기본 개념은, 비디오 스트림의 디코딩의 결과가 2D 디코더와 3D 디코더 모두에 의해 사용 가능하게 되도록, 패킹 기술에 따라 패킹된 복수의 프레임들을 포함하는 비디오 스트림을 생성하고 재구성하는 방법을 제공하는 것이다.

바람직한 실시예에 있어서, 본 발명에 따른 방법은, 비디오 스트림이 H.264/AVC 규격을 따르는 2D 디코더에 의해 (상기 디코더가 임의의 수정들을 필요로 하지 않고) 디코딩될 수 있고, 고-품위 디스플레이 상에 디스플레이될 수 있는 방식으로, 비디오 스트림이 사전 배열되는 것을 허용한다.

다른 한 편으로, 입체영상 디스플레이에 접속된 적절한 디코더는 입체영상 스트림이 3D로 보여질 수 있도록 허용할 것이다.

입체영상 비디오 스트림의 역 호환성은, 코딩 단계 도중에 입체영상 비디오 스트림 내에 이미 존재하는 메타데이터의 상이한 사용에 의해 가능해진다.

이러한 메타데이터는, 입체영상 비디오 스트림의 우측 또는 촤측 영상인지 관계없이, 하나의 영상을 포함하는 복합 프레임의 한 영역을 한정한다.

2D 디코더에 대해, 상기 메타데이터는, 프레임을 디코딩한 후 디코딩된 복합 영상의 오직 한 영역, 즉 입체영상 비디오 스트림의 우측 또는 촤측 영상인지 관계없이, 오로지 하나의 영상을 포함하는 영역을 출력해야만 하는 것을 디코더에 지령하는 한 편의 정보를 포함한다.

따라서, 방송자는 오로지 하나의 입체영상 스트림을 송신해야만 하고, 하나의 입체영상 스트림은 그 후 디코더가 입체영상 비디오 스트림들을 디코딩하는 것이 가능한지에 상관없이, 디코더에 의해 적절하게 처리된다: 동일한 비디오 스트림은 이를 처리하는 디코더의 특성들에 의존하여 2D 또는 3D 포맷으로 재생될 수 있다.

본 발명의 추가 목적들 및 장점들은, 비제한적인 예시를 통해 제공되는 본 발명의 수 개의 실시예들의 다음의 설명으로부터 더욱 자명해질 것이다.

상기 실시예들은 첨부된 도면들을 참조하여 설명될 것이다.

- 도 1a, 도 1b 및 도 1c는 각각 입체영상 비디오 스트림의 복합 프레임을 사이드-바이-사이드 포맷, 탑-바텀 포맷 및 대안적인 포맷으로 도시하고;
- 도 2는 본 발명에 따라 입체영상 비디오 스트림을 생성하기 위한 디바이스의 블록도를 도시하고;
- 도 3a, 도 3b 및 도 3c는 크로핑(cropping) 직사각형이 점선으로 강조되는 도 1a, 도 1b 및 도 1c의 복합 프레임들을 도시하고;
- 도 4a와 도 4b는, 디바이스가 오로지 2D 영상들을 디스플레이하는 것을 허용하는 경우와 디바이스가 또한 3D 영상들을 디스플레이하는 것을 허용하는 경우, 각각 디지털 비디오 스트림으로서 수신된 텔레비전 영상들의 결실을 위한 디바이스의 블록도들을 도시한다.

이제 도 2를 참조하면, 본 발명에 따라 입체영상 비디오 스트림(101)을 생성하기 위한 디바이스(100)의 블록도가 도시된다.

디바이스(100)는, 각각 좌측 눈(L)과 우측 눈(R)을 위해 의도된, 영상들의 두 개의 시쿼스들(102 및 103), 예컨대 두 개의 비디오 스트림들을 수신한다.

디바이스(100)은 두 개의 영상 시퀀스들(102 및 103)의 두 개의 영상들을 다중화하는 것을 허용한다. 디바이스(100)는 이러한 목적을 위해 입력 영상들의 픽셀들을 단일 복합 영상(C)에 입력할 수 있는 어셈블러 모듈(105)를 포함한다.

다음의 설명에서 영상을 복합 프레임 또는 용기 프레임(C)으로 입력하는 것에 대한 참조가 이루어질 때, 이러한 입력은 소스 영상과 동일한 픽셀들을 포함하는 복합 프레임(C)의 한 영역을 (하드웨어 및/또는 소프트웨어 수단을 사용함으로써) 생성하는 절차를 실행하는 것을 의미한다는 것으로 이해된다. 복합 영상이 도 1a 및 도 1b에 도시된 유형이라면, 복제 단계에서 픽셀들의 수는 수평으로 또는 수직으로 절반으로 나누는 것일 필요하다. 그러므로, 복합 프레임(C)에 입력된 두 개의 좌측(L) 및 우측(R) 영상들은 변형될 것이고, 절반의 수평 또는 수직 해상도를 가질 것이다.

도 1c의 대안적인 포맷인 입체영상 비디오 스트림의 복합 프레임에 있어서, 입력 영상들이 개선된 품질을 갖지만 실제로 고 품위을 갖지는 않는 영상들을 송신하기 위해 사용되는 포맷들 중 하나인 1280×720 픽셀들의 크기(소위 말하는 720p 포맷)를 갖는다면, 두 영상들을 포함하기 위해 적합한 복합 프레임은 1920×1080 픽셀들의 크기를 갖는 프레임, 즉 1080p 비디오 스트림의 프레임(1920×1080 픽셀들을 갖는 순차 포맷)일 것이다.

시험 하의 경우에 있어서, 두 개의 우측(R)과 좌측(L) 영상들이 변형되거나 및/또는 언더샘플링되지 않고 복합 프레임(C)에 입력될 수 있다는 장점이 존재하지만, 지불되어야 하는 대가는 두 개의 영상들 중 하나가 도 1c의 예에서 도시된 바와 같이 적어도 3개의 부분들로 분할되어야만 한다는 것이다.

도 1c의 대안적인 포맷에서 제 1 영상은 용기 프레임의 임의의 지점에 (용기 프레임이 상이한 영역들로 분할되는 것을 필요로 하지 않는 한) 입력될 수 있고; 제 2 영상의 프레임의 분리와 그 용기 프레임 내에 삽입은 많은 상이한 기술들에 따라 달성될 수 있고, 이의 특징들은 본 발명의 목적에 관련되지 않음을 주목해야 한다.

하여튼, 좌측(L)과 우측(R) 영상들이 용기 프레임(C)에 배열되는 방식은 본 발명에 따른 방법의 구현에 영향을 미치지 않을 것이다.

용기 프레임들(C)의 시퀀스(101)로 이루어지는 입체영상 비디오 스트림을 코딩할 때, 입체영상 비디오 스트림(101)을 수신하는 2D 디코더가 디코딩 프로세스 이후 출력해야 할 복합 프레임(C)의 그 영역에 관한 한 편의 정보를 포함하는 적어도 하나의 메타데이터(M)가 입력된다.

메타데이터(M)는 좌측 눈을 위한 영상(L) 또는 우측 눈을 위한 영상(R)을 포함하는 복합 프레임(C)의 영역을, 상기 영상이 도 1c의 예에서의 우측 영상과 같이 다양한 부분들로 분해되지 않았다면, 식별하도록 적응될 수 있다.

만약 입체영상 비디오 스트림(101)이 H.264/AVC 표준에 따라 코딩된다면, 메타데이터(M)는 03-2009의 ITU T H.264 문서의 섹션 7.3.2.1.1 "Sequence parameter set data syntax"에서 바로 그 표준 "Advanced video coding for generic audiovisual services"에 의해 이미 제공된 "크롭핑 직사각형"에 관한 메타데이터를 유리하게 대체할 수 있다.

이러한 메타데이터는 H.264/AVC 코딩이 영상을 16×16 픽셀 매크로블록들로 분해하는 것을 제공하지만, 1080이 16에 의해 나누어질 수 있는 수가 아니라는 사실로 인해 원래 도입되었다. 그러므로, 엔코더에 의해 사용된 내부 단일-프레임 표현 포맷은 실제 프레임 포맷과 일치하지 않을 수 있다(1920×1080 프레임들에 대해, H.264/AVC 엔코더는 1920×1088 픽셀들에 대한 표현을 사용하고, 따라서 8개 빈 라인들을 부가한다). 그러나, "크로핑 직사각형"을 기술하고 H.264/AVC 표준에 포함된 메타데이터로서, 이의 기능은 디코딩된 프레임 중 어느 부분이 재생을 위해 출력되어야 하는지에 대해 디코더에 지시하는 기능인, 메타데이터는 절대적으로 일반 방식으로 디스플레이될 직사각형 프레임 부분을 한정하는 것을 허용한다.

실제, 이는 디스플레이될 부분을 한정하는 크로핑 직사각형의 수평 및 수직 면들의 프레임 에지들로부터, 픽셀들의 수로 표현되는 거리를 한정한다.

일반적으로, 영상 크로핑 직사각형은 또한 다른 전체적으로 등가의 방식들로 한정될 수 있다; 예컨대, 직사각형의 한 정점의 위치 또는 직사각형의 면들의 크기들, 또는 두 개의 대향 정점들의 좌표들을 나타낼 수 있다.

이미 표준화된 "크로핑 직사각형"의 메타데이터(M)를 상이하게 사용하고, 따라서 동일한 구문을 사용함으로써, H.264/AVC 규격에 따르는 디코더에 복합 프레임(C)의 임의의 영역의 재생을 지정하는 것이 가능하게 된다.

이제 도 3a, 도 3b 및 도 3c를 참조하면, 점선 라인들을 통해 크로핑 직사각형에 의해 한정되는 일부 가능한 영역들이 도시되고, 이에 관한 정보는 본 발명에 따라 적어도 하나의 메타데이터(M) 내에 포함되어야 한다.

예컨대, 사이드-바이-사이드 포맷의 도 3a의 용기 프레임(C) 내에서, 그리고 대안적인 포맷의 도 3c의 용기 프레임(C) 내에서, 크로핑 직사각형에 의해 덮인 영역은 용기 프레임(C)의 좌측 영상(L)에 의해 점유된 영역과 일치한다.

추가 예로서, 탑-바텀 포맷의 도 3b의 용기 프레임(C) 내에서, 크로핑 직사각형에 의해 덮인 영역은 용기 프레임(C)이 우측 영상(R)에 의해 점유된 영역과 일치한다.

일단 코딩 단계가 완료되면, 입체영상 스트림은 통신 채널을 통해 송신될 수 있거나, 및/또는 적절한 매체(예, CD, DVD, 블루-레이, 대량 메모리, 등)에 기록될 수 있다.

도 4a는 디코더(1100)와 디스플레이 또는 시각화 디바이스(1110)로 구성되는, 2D 콘텐츠를 시청하기 위한 정상 시스템을 도시한다. 디코더(1100)는 두 개의 우측(R) 및 좌측(L) 영상들 중 하나를 시각화 디바이스(1110)(예, 텔레비전 세트)에 사용가능하게 만들고, 이에 의해 사용자가 3D 콘텐츠를 2D로 시청하는 것을 허용한다. 디코더(1100)는 텔레비전 세트와 분리된 셋톱 박스가 될 수 있거나, 또는 텔레비전 세트 자체에 내장될 수 있다.

유사한 고려사항들이, 2D 영상을 획득하기 위해 용기 프레임을 판독하고 이를 처리하는 플레이어(예, DVD 플레이어)에 적용된다.

다시 도 4a를 참조하면, 수신기 시스템은 복합 프레임들(C)을 포함하는 입체영상 비디오 스트림(1103)을 (케이블 또는 안테나를 통해) 수신한다. 디코더(1100)는 디스플레이 또는 시각화 디바이스(1110) 상에 스트림을 디스플레이하기 위하여 프레임들(C)의 어느 부분이 사용되어야만 하는지를 나타내는 메타데이터(M)를 판독한다. 후속적으로, 디코더는 메타데이터(M)에 의해 지정된 복합 프레임(C)의 부분 내에 포함된 영상을 추출하고, 이를 디스플레이(1110)에 보낸다.

디코더(1100)에 의해 출력된 영상의 포맷이 디스플레이(1110)에 의해 본래 지원되는 포맷들 중에 포함되지 않는 경우도 발생할 수 있다. 예컨대, 사이드-바이-사이드 포맷의 1080p 프레임의 경우, 디코딩 시에 수신기(1100)는 수평 크기가 고-품위 프레임의 수평 크기의 절반이 될 프레임을 출력할 것이다: 최종 프레임 영역은 따라서 960×1080 픽셀들이 될 것이고, 그 포맷은 8/9이 될 것이다.

이것은 디스플레이에 의해 원래 지원되는 영상 포맷이 아니지만, 이것은 모든 현대의 디스플레이들에 포함된 디바이스에 의해 수행될 수 있는 적절한 보간 단계를 통해 다시 1920×1080 포맷으로 변환될 수 있다. 이러한 디바이스는 소위 말하는 스케일러이고, 이의 기능은 수신된 포맷을 사용자에 의해 요구되는 포맷으로 적응시키는 것이다(사실상, 모든 최근 텔레비전 세트들의 리모콘들은 4/3, 16/9, 14/9 및 자동 포맷들 중에서 선택하기 위한 버튼을 포함하여, 영상은 원래의 포맷 이외의 포맷으로 시청될 수 있다).

만약 복합 프레임이 도 1c에 도시된 유형이라면, 2D 호환 영상의 포맷은 720p 유형일 것이다: 720p 유형은 모든 HDTV 또는 HD Ready 텔레비전 세트들에 의해 처리될 수 있는 표준 포맷이다. 스케일러는 풀 스크린을 담당하기 위하여 호환 영상들 확장시키는 것이 확실히 가능할 것이다.

다수의 텔레비전 세트들 상에서 수행되는 시험들은, 심지어 도 1a 또는 도 1b에 도시된 것들과 같은 복합 프레임들이 사용될 때에도, 스케일러가 호환 영상들을, 즉 이들을 다시 풀-스크린의 16/9 포맷으로 변환시킴으로써, 정확하게 디스플레이할 수 있음을 보여준다.

그러나, 입체영상 비디오를 3D 모드로 시청하는 것은, 입체영상 비디오 스트림에 포함된 특정 시그널링을 인식하도록 적응되고, 크로핑 직사각형를 적용하지 않고 비디오를 디코딩할 수 있는 수단을 장착한 새로운 세대의 디코더를 사용함으로써 오로지 가능할 것이다.

이러한 결과는 수 가지 방식으로 달성될 수 있다. 예컨대, 크로핑 직사각형이 2D 디코더들/텔레비전 세트들에 대해서만 유효한 것을 지정하기 위하여 추가적인 메타데이터(N)가 추가될 수 있다.

따라서, 기존의 2D 제품들은 갱신되지 않아도 되고, 이들은 펌웨어/하드웨어 변경들을 전혀 필요로 하지도 않을 것이다.

본 발명의 바람직한 실시예에 있어서, 원래의 크로핑 직사각형이 사용되어야 하는지의 여부를 지정하는 메타데이터(N)는 단순히 3D 또는 2D 송신인지의 여부를 지정하는 메타데이터일 수 있다.

이러한 메타데이터(N)의 송신은 예커대 적어도 하나의 SI(Service Information) 테이블에서 또는 H.264 SEI(Supplemental Enhancement Information) 메시지들에서 발생할 수 있다. 대안으로서, 복합 프레임의 하나 또는 초과의 행들이 3D-지정 메타데이터의 송신에 전용될 수 있다.

도 4b는 3D 콘텐츠를 디스플레이하기 위해 적합한 수신기 시스템을 도시한다. 이러한 시스템은 독립적인 장치들일 수 있거나, 또는 다양한 방식들로 함께 조립될 수 있는 세 개의 부분들로 이루어진다. 상기 부분들은 디코더(1100'), 디-패커(de-packer; 1105) 및 디스플레이(1110')이다.

도 4a와의 비교로부터, 추가적인 구성요소 즉, 디-패커(1105)가 요구된다는 것은 자명하다. 디코더(1100')는 복합 프레임들(C)의 시퀀스를 완전히, 즉 크로핑 직사각형 정보를 무시하면서, 출력한다: 이것은 따라서 비-표준 디코더인데, 왜냐하면 종래 기술의 표준 디코더들은 프레임을 디코딩한 이 후 크로핑 직사각형 내에 포함되는 그 영상 부분을 오로지 출력하기 때문이다. 디-패커(1105)는 복합 프레임들(C)로부터 영상들(L 및 R)을 추출하고, 이들을 디스플레이(1110') 자체에 의해 요구되는 모드들로 디스플레이(1110')에 출력한다.

이렇게 하기 위하여, 디-패커(1105)는 복합 프레임이 어떻게 구성되었는지를 알아야만 한다. 단일 포맷과는 대조적으로 다양한 포맷들을 처리하기에 적합한 디-패커(1105)는 따라서 이러한 모드들을 지정하는 메타데이터(P)를 판독해야만 한다.

상기 메타데이터(P)는 SI 테이블들 또는 SEI 메시지들에, 또는 복합 프레임의 한 행에 입력될 수 있다. 첫 번째 경우에, 디코더(1100')가 상기 메타데이터를 판독하고 이를 예컨대 HDMI 인터페이스를 통해 디-패커(1105)에 보내는 것이 필요하다: 상기 인터페이스의 규격은 바로 이러한 목적을 위해 최근에 갱신되었음이 주목되어야 한다. 두 번째 경우에, 디-패커(1105)가 복합 프레임에서 직접 메타데이터(P)를 발견할 것이기 때문에, 상황은 더 단순하다.

본 발명의 특징들과 본 발명의 장점들은 위의 설명으로부터 명확하다.

본 발명의 제 1 장점은, 2D 디코더에 의해서도 또한 디코딩될 수 있는 3D 프로그램을 방송하길 원하는 방송자가 두 개의 동시 비디오 스트림들을 송신해야할 필요가 없고, 따라서 비디오 스트림을 운반하는데 적은 대역폭을 사용하는 점이다.

본 발명의 제 2 장점은, 우측 및 좌측 영상들을 전달하는 프레임들이 어떻게 용기 프레임에 패킹되는 지에 관계없이 본 방법이 항상 적용될 수 있다는 점이다.

입체영상 비디오 스트림을 생성하고 재구성하기 위한 방법 및 관련 생성 및 재구성 디바이스들은 본 발명의 개념의 새로운 사상으로부터 벗어나지 않고도 많은 가능한 변형들을 겪을 수 있고; 본 발명의 실제 구현에서 도시된 세부 사항들은 상이한 형태를 가질 수 있거나, 또는 기술적으로 다른 등가의 요소들로 대체될 수 있음은 자명하다.

예컨대, 위의 설명에서 특히 H.264/AVC 표준에 대한 참조가 이루어졌지만, 코딩이 다른 표준들에 따라 실행될 때에도, 상기 표준이 H.264/AVC 표준의 크로핑 직사각형을 한정하기 위해 사용된 것과 유사한 메타데이터를 사용한다면, 본 방법은 역시 적용 가능함은 자명하다.

예컨대, 본 설명에서 1080p 포맷의 복합 프레임들에 대한 특별한 참조가 이루어졌다 할지라도, 본 발명이 복합 프레임의 크기, 및 프레임을 구성하는 영상들의 크기에 의존하지 않음은 자명하다: 그러므로 본 발명은 또한 복합 프레임이 720p 크기를 갖거나, 매우 높은 해상도 유형(소위 말하는 2k 및 4k 포맷, 즉 대략 2000 또는 4000 라인들을 갖는)인 경우에도 적용가능하다.

그러므로, 본 발명이 입체영상 비디오 스트림을 생성하고 재구성하기 위한 방법 및 관련 디바이스들에 국한되지 않고, 첨부된 청구항들에 명확하게 규정된 본 발명의 개념으로부터 벗어나지 않고 등가의 부분들 및 요소들의 많은 변형들, 개선들 또는 대체들을 겪을 수 있음이 쉽게 이해될 수 있을 것이다.

100 : 입체영상 비디오 스트림을 생성하는 디바이스
101 : 입체영상 비디오 스트림 102,103 : 영상 시퀀스
105 : 어셈블러 모듈 1100,1100' : 디코더
1103 : 입체영상 비디오 스트림 1105 : 디-패커
1110,1100' : 디스플레이

Claims

용기 프레임들(C)을 포함하는 디지털 입체영상 비디오 스트림(101)을 생성하기 위한 방법으로서,
상기 용기 프레임들(C)은 우측 영상(R)과 좌측 영상(L)을 포함하며,
상기 디지털 입체영상 비디오 스트림(101)을 코딩할 때, 상기 두 개의 영상들(L, R) 중 하나만을 포함하는 용기 프레임(C)의 영역을 식별하도록 적응된 적어도 하나의 메타데이터(M)가 입력되는, 디지털 입체영상 비디오 스트림을 생성하기 위한 방법.
제 1항에 있어서,
상기 디지털 입체영상 비디오 스트림은 크로핑 직사각형(cropping rectangle)을 포함하는 표준에 따라 코딩되고, 상기 적어도 하나의 메타데이터(M)는 상기 크로핑 직사각형을 한정하고, 상기 표준과 동일한 구문(syntax)을 사용하는 동안 상기 용기 프레임(C) 내에 포함된 두 개의 영상들(L, R) 중 하나만을 참조하는, 디지털 입체영상 비디오 스트림을 생성하기 위한 방법.
제 2항에 있어서,
상기 표준은 H.264/AVC 표준인, 디지털 입체영상 비디오 스트림을 생성하기 위한 방법.
제 1항 내지 제 3항 중 어느 한 항에 있어서,
상기 용기 프레임(C)의 상기 적어도 하나의 영역의 크기들(dimensions)은, 상기 영역의 폭/높이 비율에 대한 어떠한 변화들로 요구하지 않고 디스플레이될 수 있는 크기들인, 디지털 입체영상 비디오 스트림을 생성하기 위한 방법.
제 1항 내지 제 3항 중 어느 한 항에 있어서,
상기 용기 프레임(C)의 상기 적어도 하나의 영역은, 16/9 포맷의 풀 스크린에 디스플레이될 수 있도록, 보간되고 포맷-변환되는, 디지털 입체영상 비디오 스트림을 생성하기 위한 방법.
제 1항 내지 제 5항 중 어느 한 항에 있어서,
적어도 하나의 추가적인 메타데이터(N)가 상기 디지털 입체영상 비디오 스트림에 입력되어, 상기 적어도 하나의 메타데이터(M)가 무시되어야 한다는 것을 입체영상 디코더에 나타내는, 디지털 입체영상 비디오 스트림을 생성하기 위한 방법.
제 6항에 있어서,
상기 추가적인 메타데이터(N)는 상기 H.264/AVC 표준에 따라 코딩된 상기 디지털 입체영상 비디오 스트림에 관한 적어도 하나의 SI 테이블 또는 SEI 메시지들에 보내지는, 디지털 입체영상 비디오 스트림을 생성하기 위한 방법.
제 6항 또는 제 7항에 있어서,
상기 적어도 하나의 추가적인 메타데이터(N)는 프로그램이 2D 또는 3D인지를 나타내는 메타데이터인, 디지털 입체영상 비디오 스트림을 생성하기 위한 방법.
용기 프레임들(C)을 포함하는 디지털 입체영상 비디오 스트림(101)을 코딩하기 위한 디바이스(100)로서,
상기 용기 프레임들(C)은 우측 영상(R) 및 좌측 영상(L)에 관한 정보를 포함하며, 상기 디바이스(100)는, 제 1항 내지 제 8항 중 어느 한 항에 따른 방법을 구현하도록 적응된 수단을 포함하는, 디지털 입체영상 비디오 스트림을 코딩하기 위한 디바이스.
용기 프레임들(C)을 포함하는 디지털 입체영상 비디오 스트림으로부터 시작하여 적어도 하나의 2D-호환 영상을 재구성하는 방법으로서,
상기 용기 프레임들(C)은 우측 영상(R)과 좌측 영상(L)에 관한 정보를 포함하며,
상기 디지털 입체영상 비디오 스트림(101)을 디코딩할 때, 상기 두 개의 영상들(L, R) 중 오직 하나를 포함하는 용기 프레임(C)의 영역을 식별하도록 적응되는 적어도 하나의 메타데이터(M)가 추출되는, 적어도 하나의 2D-호환 영상을 재구성하는 방법.
제 10항에 있어서,
상기 디지털 입체영상 비디오 스트림은 크로핑 직사각형을 포함하는 표준에 따라 디코딩되고, 상기 적어도 하나의 메타데이터(M)는 상기 크로핑 직사각형을 한정하고, 상기 표준과 동일한 구문을 사용하는 동안 상기 용기 프레임(C)에 포함된 상기 두 개의 영상들(L, R) 중 오직 하나를 참조하는, 적어도 하나의 2D-호환 영상을 재구성하는 방법.
제 11항에 있어서,
상기 표준은 H.264/AVC 표준인, 적어도 하나의 2D-호환 영상을 재구성하는 방법.
제 10항 내지 제 12항 중 어느 한 항에 있어서,
상기 용기 프레임(C)의 상기 적어도 하나의 영역의 크기들은, 상기 영역의 폭/높이 비율에 대한 어떠한 변화들도 요구하지 않고 디스플레이될 수 있는 크기들인, 적어도 하나의 2D-호환 영상을 재구성하는 방법.
제 10항 내지 제 12항 중 어느 한 항에 있어서,
상기 용기 프레임(C)의 상기 적어도 하나의 영역은 16/9 포맷의 풀 스크린에 디스플레이될 수 있도록 보간되고 포맷-변환되는, 적어도 하나의 2D-호환 영상을 재구성하는 방법.
용기 프레임들(C)을 포함하는 입체영상 비디오 스트림으로부터 시작하여 적어도 하나의 2D-호환 영상을 재구성하도록 적응된 디코더로서,
상기 용기 프레임들(C)은 우측 영상(R)과 좌측 영상(L)에 관한 정보를 포함하며, 상기 디코더는, 제 10항 내지 제 14항 중 어느 한 항에 따른 방법을 구현하기 위한 수단을 포함하는, 디코더.
디지털 입체영상 비디오 스트림을 디코딩하고 용기 프레임(C)의 두 개의 우측(R) 및 좌측(L) 영상들을 추출하는 방법으로서,
디코더(1100')는 상기 비디오 스트림이 입체영상인지 아닌지를 나타내는 적어도 하나의 메타데이터(N)를 판독하고,
상기 비디오 스트림이 입체영상이면,
- 적어도 하나의 추가적인 메타데이터(M)에 포함되고 크로핑 직사각형을 한정하는 정보는 무시되고,
- 용기 프레임들(C)의 시퀀스는 완전하게 생성되고,
- 상기 용기 프레임들(C)의 시퀀스는 디-패커(de-packer)(1105)로 보내지고, 상기 디-패커는 입체영상 디스플레이(1110')에 의해 요구되는 것처럼 상기 두 개의 우측(R) 및 좌측(L) 영상들을 생성하는, 디지털 입체영상 비디오 스트림을 디코딩하고 두 개의 영상들을 추출하는 방법.
제 16항에 있어서,
상기 디코더(1100')는 상기 좌측(L) 및 우측(R) 영상들이 어떻게 패킹되었는지를 나타내는 추가적인 메타데이터(P)를, 특히 상기 입체영상 비디오 스트림에 속한 SI 필드 및/또는 SEI 메시지의 콘텐츠들을, 상기 디-패커(1105)에 보내는, 디지털 입체영상 비디오 스트림을 디코딩하고 두 개의 영상들을 추출하는 방법.
제 16항에 있어서,
상기 디-패커(1105)는, 용기 프레임에 포함되고 상기 좌측(L) 및 우측(R) 영상들이 어떻게 패킹되었는지를 나타내는 추가적인 메타데이터(P)를 판독하는, 디지털 입체영상 비디오 스트림을 디코딩하고 두 개의 영상들을 추출하는 방법.
제 17항 또는 제 18항에 있어서,
상기 추가적인 메타데이터(P)는 상기 복합 프레임(C)의 각 영역을 위한 크로핑 직사각형을 포함하는, 디지털 입체영상 비디오 스트림을 디코딩하고 두 개의 영상들을 추출하는 방법.
제 16항에 있어서,
상기 메타데이터(N)가 상기 비디오 스트림이 입체영상이 아닌 것을 나타내면, 상기 디코더(1100')는 상기 크로핑 직사각형을 한정하는 상기 적어도 하나의 추가적인 메타데이터(M) 내에 포함된 정보를 판독하고, 상기 크로핑 직사각형에 의해 한정된 영상을 디스플레이(1110)에 보내는, 디지털 입체영상 비디오 스트림을 디코딩하고 두 개의 영상들을 추출하는 방법.
디지털 입체영상 비디오 스트림을 디코딩하고 용기 프레임(C)의 두 개의 우측(R) 및 좌측(L) 영상들을 추출하도록 적응된 디코더로서,
제 16항 내지 제 19항 중 하나 이상의 항들에 따른 방법을 구현하기 위한 수단을 포함하는, 디코더.
디지털 입체영상 비디오 스트림을 디코딩하고 용기 프레임(C)의 하나의 영상을 추출하도록 적응된 디코더로서,
제 20항에 따른 방법을 구현하기 위한 수단을 포함하는, 디코더.
디-패커(1105)로서,
제 16항 내지 제 19항 중 하나 이상의 항들에 따른 입체영상 디스플레이에 의해 요구되는 것처럼 입체영상 비디오 스트림의 우측 및 좌측 영상들을 생성하도록 적응되는, 디-패커.
입체영상 비디오 스트림(1101)으로서,
제 1항 내지 제 8항 중 어느 한 항에 따른 적어도 하나의 용기 프레임(C)과 적어도 하나의 메타데이터(M, N)를 포함하는, 입체영상 비디오 스트림.