KR20110113186A

KR20110113186A - 비디오 인터페이스를 통해 송신하고 ３ｄ 비디오 및 ３ｄ 오버레이들을 합성하기 위한 방법 및 시스템

Info

Publication number: KR20110113186A
Application number: KR1020117019099A
Authority: KR
Inventors: 필립 에스. 뉴턴; 마르크 예. 엠. 퀴르페르스; 데니스 데. 에르. 예. 볼리오
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2009-01-20
Filing date: 2010-01-13
Publication date: 2011-10-14
Also published as: CN102292994A; WO2010084436A1; JP2012516069A; TW201105105A; EP2389665A1; US20110293240A1

Abstract

합성 및 디스플레이를 위해 3차원(3D) 이미지 데이터를 전달하는 시스템이 개시된다. 정보 스트림은 비디오 정보 및 오버레이 정보를 포함하고, 비디오 정보는 적어도 2D 비디오 스트림 및 비디오 정보를 3D로 렌더링할 수 있게 하는 3D 비디오 정보를 포함하고, 오버레이 정보는 적어도 2D 오버레이 스트림 및 오버레이 정보를 3D로 렌더링할 수 있게 하는 3D 오버레이 정보를 포함한다. 본 발명에 따른 시스템에서, 비디오 플레인의 합성은 재생 디바이스 대신에 디스플레이 디바이스에서 발생한다. 시스템은 비디오 인터페이스를 통해 프레임들의 시퀀스를 전송하도록 구성된 재생 디바이스로서, 프레임들의 시퀀스는 유닛들을 포함하고, 각각의 유닛은 합성되어 3D 이미지로서 디스플레이 되도록 의도된 압축해제된 비디오 정보 및 압축해제된 오버레이 정보에 대응하는, 상기 재생 디바이스; 및 비디오 인터페이스를 통해 프레임들의 시퀀스를 수신하고, 유닛들로부터 3D 비디오 정보 및 3D 오버레이 정보를 추출하고, 유닛들을 3D 프레임들로 합성하고, 3D 프레임들을 디스플레이하도록 구성된 디스플레이 디바이스를 포함한다.

Description

비디오 인터페이스를 통해 송신하고 ３Ｄ 비디오 및 ３Ｄ 오버레이들을 합성하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR TRANSMITTING OVER A VIDEO INTERFACE AND FOR COMPOSITING 3D VIDEO AND 3D OVERLAYS}

본 발명은 비디오 정보 및 오버레이 정보를 포함하는 정보 스트림을 합성 및 디스플레이하는 방법에 관한 것으로서, 비디오 정보는 적어도 2D 비디오 스트림 및 비디오 정보를 3D로 렌더링할 수 있게 하는 3D 비디오 정보를 포함하고, 오버레이 정보는 적어도 2D 오버레이 스트림 및 오버레이 정보를 3D로 렌더링할 수 있게 하는 3D 오버레이 정보를 포함하고, 송신된 비디오 정보 및 오버레이 정보는 3D 비디오로서 합성 및 디스플레이된다.

본 발명은 또한 비디오 정보 및 오버레이 정보를 포함하는 정보 스트림을 합성 및 디스플레이하기 위한 시스템에 관한 것으로서, 비디오 정보는 적어도 2D 비디오 스트림 및 비디오 정보를 3D로 렌더링할 수 있게 하는 3D 비디오 정보를 포함하고, 오버레이 정보는 적어도 2D 오버레이 스트림 및 오버레이 정보를 3D로 렌더링할 수 있게 하는 3D 오버레이 정보를 포함하고, 송신된 비디오 정보 및 오버레이 정보는 3D 비디오로서 합성 및 디스플레이된다.

본 발명은 또한 재생 디바이스 및 디스플레이 디바이스에 관한 것으로서, 각각은 상술된 시스템에서 이용되기에 적합하다.

본 발명은 또한 3D 디스플레이 디바이스 상의 디스플레이를 위해 고속 디지털 인터페이스, 예를 들면 HDMI를 통해, 3차원 이미지 데이터, 예를 들면, 3D 비디오를 전송하는 분야에 관한 것이다.

종래 비디오 플레이어들은 비디오 및/또는 그래픽스의 다중 레이어들의 합성이 용이하다. 예를 들면, 블루-레이 디스크 플랫폼(Blu-ray Disc platform)에서, 1차 비디오(primary video)의 상단에 플레이되는 2차 비디오가 존재할 수 있다(예를 들면, 연출자 코멘트들). 1차 비디오 상단에 자막들 및/또는 메뉴들과 같은 그래픽스들이 존재할 수 있다. 이러한 상이한 레이어들은 모두 독립적으로 디코딩/드로운(drawn)되고, 특정 포인트에서는 단일 출력 프레임으로 합성된다.

이러한 처리는 2D 디스플레이의 경우에 구현하기가 비교적 간단하고; 다른 레이어 앞에 있는 레이어의 모든 불-투명 픽셀은 그 뒤에 있는 레이어의 픽셀을 가리게 된다. 이러한 처리는 장면의 상-하 뷰인 도 3에 도시된다. Z-축의 방향이 301로 도시된다. 장면의 비디오 레이어(302)는 완전 녹색이고, 그래픽스 레이어(303) 상에 드로운된 청색 오브젝트가 존재한다(나머지는 투명하다). 합성 단계(305) 후에, 그래픽스 레이어가 비디오 레이어의 전면으로 옴에 따라 청색 오브젝트가 그린 비디오 레이어 상에 드로운된다. 출력(304)으로서 합성된 레이어가 된다.

장면을 2D로 디스플레이할 때에는 단지 1개의 뷰포인트만이 존재하기 때문에, 처리는 구현하기에 비교적 간단하다. 그러나, 장면이 3D에서 디스플레이될 때에는, 다중 뷰포인트들이 존재한다(각각의 눈에 대해 적어도 하나의 뷰포인트, 다중-뷰 디스플레이들을 이용할 때에는 더욱 많은 뷰포인트들도 가능함). 그래픽스 레이어가 비디오 레이어의 전면에 있기 때문에 문제가 되며, 비디오 레이어의 다른 부분들은 상이한 뷰포인트들로부터 가시적이다. 이러한 문제점은 도 4에 도시된다.

3D 합성은 2D 합성과 근본적으로 상이함을 유의한다. 2D 합성에서, 예를 들면, US2008/0158250에 도시되어 있는 바와 같이, 다중 2D 플레인들(예를 들면, 메인 비디오, 그래픽스, 상호작용 플레인)은 각각의 플레인에 대한 깊이를 연관시킴으로써 합성된다. 그러나, 2D 합성에서의 깊이 파라미터는 3 차원 디스플레이를 위한 적합한 최종 이미지 없이, 단지 상이한 플레인들로부터의 픽셀들이 합성되는 차수, 즉, 어느 플레인이 상부에 드로운되어야 하는지를 결정한다. 이러한 2D 합성은 항상 픽셀 단위로 이루어진다.

반면에, 3D 플레인들을 합성할 때, 합성은 국부적이지 않다(non-local). 각각의 플레인으로부터의 오브젝트들이 3차원일 때, 낮은 플레인으로부터의 오브젝트가 높은 플레인을 통해 돌출되거나, 높은 플레인으로부터의 오브젝트들이 낮은 플레인의 아래로 떨어지는 것이 가능하다. 더욱이, 뷰 측면에서, 오브젝트 뒤를 볼 수 있게 되어, 뷰에서 픽셀이 전면 플레인으로부터의 오브젝트에 대응할 수 있고, 반면에 다른 뷰에서는 동등한 픽셀이 낮은 플레인으로부터의 오브젝트에 대응할 수 있다.

도 4는 2개의 레이어들로 구성되는 장면의 상단-하단(top-down) 뷰가 다시 도시된다. Z-축의 방향이 401로 도시된다. 비디오 레이어(402)가 완전 녹색이고, 비디오 레이어의 전면에 있는 그래픽스 레이어(403)는 그 위에서 청색 오브젝트를 갖는다(그 나머지는 투명함). 2개의 가능한 뷰포인트들은 404 및 405로 규정된다. 화상에 의해 도시되는 바와 같이, 하나의 뷰포인트(404)로부터의, 비디오 레이어의 상이한 부분들(406)이 다른 뷰포인트(405)로부터의 부분들(407)보다 가시적이다. 이는 두 개의 뷰들을 렌더링하는 디바이스가 양측 레이어들로부터의 모든 정보를 액세스해야함을 의미한다(그렇지 않으면, 디바이스는 뷰들 중 적어도 하나를 렌더링하기 위해 정보를 분실하게 된다).

종래에는, 3D 비디오의 재생을 위한 시스템은 3d 플레이어를 포함하고, 이는 다양한 레이어를 위한 압축된 비디오 스트림을 디코딩하고, 다양한 레이어들을 합성하고, HDMI 또는 VESA와 같은 비디오 인터페이스를 통해 압축해제된 비디오를 디스플레이, 일반적으로 3D TV(스테레오 또는 오토스테레오스코픽)로 전송하는 것을 담당한다. 디스플레이 디바이스가 뷰들을 렌더링하고, 이는 2개의 뷰들의 완벽한 렌더링을 실행하기 위해서는 정보를 분실할 것이라는 것을 의미한다(이는 2개 이상의 뷰들을 렌더링할때에도 문제가 된다는 것을 내제한다).

본 발명의 목적은 뷰들의 렌더링이 개선되도록 비디오 정보 및 오버레이 정보를 포함하는 정보 스트림을 합성하는 방법을 제공하는 것이다.

본 발명의 목적은 청구항 제 1 항에 따른 방법에 의해 해결된다. 본 발명의 따른 방법에 있어서, 비디오 정보는 적어도 2D 비디오 스트림 및 비디오 정보를 3D로 렌더링할 수 있게 하는 3D 비디오 정보를 포함하고, 오버레이 정보는 적어도 2D 오버레이 스트림 및 오버레이 정보를 3D로 렌더링할 수 있게 하는 3D 오버레이 정보를 포함하고, 방법은 압축된 비디오 정보 및 압축된 오버레이 정보를 포함하는 압축된 스트림을 저장 매체로부터 수신 및 판독하는 단계; 비디오 정보 및 오버레이 정보를 압축해제하는 단계; 비디오 인터페이스를 통해 프레임들의 시퀀스를 전송하는 단계로서, 프레임들의 시퀀스는 유닛들을 포함하고, 각각의 유닛은 합성되어 3D 이미지로서 디스플레이 되도록 의도된 압축해제된 비디오 정보 및 압축해제된 오버레이 정보에 대응하는, 상기 프레임들의 시퀀스를 전송하는 단계; 비디오 인터페이스를 통해 프레임들의 시퀀스를 수신하고, 유닛들로부터 3D 비디오 정보 및 3D 오버레이 정보를 추출하는 단계; 및 유닛들을 3D 프레임들로 합성하고, 3D 프레임들을 디스플레이하는 단계를 포함한다. 본 발명에 따른 방법은 디코딩 및 합성이 플레이어 디바이스에 의해 이루어지고 렌더링이 디스플레이 디바이스에 의해 이루어지는 종래의 방식을 분리한다. 이는 뷰포인트들 중 하나를 렌더링하는 동안 정보가 분실되는 문제를 해결하기 위해, 비디오 레이어로부터의 모든 가시적 정보 및 그래픽스 레이어들로부터의 모든 가시적 정보는 렌더링이 이루어지는 위치에서 이용가능해야 한다는 이해에 기초한다.

더욱이, 오토스테레오스코픽 디스플레이에서, 서브-픽셀들의 포맷 및 레이아웃은 디스플레이 유형마다 상이하고, 렌티큘러 렌즈들과 패널의 서브-픽셀들 사이의 정렬 또한 디스플레이마다 다소 상이하다. 그러므로, 렌티큘러 렌즈들을 갖는 렌더링된 뷰들의 서브-픽셀들의 정렬의 정확도가 디스플레이 자체에서 획득될 수 있는 것보다 정확도가 떨어진다는 점에서, 렌더링이 플레이어 대신에 멀티뷰 디스플레이에서 이루어지는 것이 유리하다. 부가적으로, 렌더링이 디스플레이에서 이루어진다면, 이는 디스플레이가 뷰잉 조건들, 이용자의 깊이의 양에 대한 선호도, 디스플레이의 크기(중요함, 최종 이용자에 의해 인지되는 깊이의 양은 디스플레이 크기에 의존함), 디스플레이에 대한 뷰어의 거리에 대해 렌더링을 조절하게 한다. 이들 파라미터들은 통상적으로 재생 디바이스에서 이용가능하지 않다. 바람직하게, 비디오 레이어로부터의 모든 정보 및 그래픽스 레이어들로부터의 모든 정보는 별개의 컴포넌트들로서 디스플레이로 전송되어야만 한다. 이러한 방식으로, 뷰들 중 하나를 렌더링할 때, 비디오 레이어로부터의 정보 분실이 없으며, 다중 뷰들로부터의 고품질 렌더링이 이루어질 수 있다.

본 발명의 실시예에서, 3D 비디오 정보는 2D 비디오 프레임들에 관한 깊이, 오클루전(occlusion) 및 투명도 정보를 포함하고, 3D 오버레이 정보는 2D 오버레이 프레임들에 관한 깊이, 오클루전 및 투명도 정보를 포함한다.

본 발명의 다른 실시예에서, 오버레이 정보는 비디오 프레임들로 합성될 2개의 그래픽스 플레인들을 포함한다. 유리하게는, 더욱 많은 레이어들이 디스플레이로 전송될 수 있다(백그라운드, 1차 비디오, 2차 비디오, 프리젠테이션 그래픽스, 상호작용 그래픽스). 블루-레이 디스크 플랫폼에서, 서로를 가리는(occluding) 다중 레이어들을 갖는 것이 가능하다. 예를 들면, 상호작용 그래픽스 레이어는 프리젠테이션 그래픽스 레이어의 일부를 가릴 수 있고, 다음으로 비디오 레이어의 일부를 가릴 수 있다. 상이한 뷰잉 포인트들로부터, 각각의 레이어의 상이한 부분들이 가시적일 수 있다(동일한 방식으로, 이는 2개의 레이어들만으로도 작용한다). 그러므로, 렌더링의 품질은 둘 이상의 레이어들을 디스플레이로 전송함으로써 임의의 상황들에서 개선될 수 있다.

본 발명의 다른 실시예에서, 적어도 하나의 그래픽 플레인을 위한 오버레이 정보는, 2D 비디오 프레임들이 전송되는 프레임 주파수보다 낮은 프레임 주파수로 전송된다. 각각의 3D 프레임을 합성하기 위해 필요한 모든 정보를 전송하는 것은 인터페이스에 부담이 될 수 있다. 본 실시예는, 대부분의 오버레이 플레인이 고속 이동 오브젝트를 포함하지 않지만, 대부분은 메뉴들 및 자막들과 같은 정적인 오브젝트들을 포함하고, 따라서, 이들이 품질의 큰 감소 없이, 보다 낮은 프레임 주파수로 송신될 수 있다는 이해에 기초한다.

본 발명의 다른 실시예에서, 적어도 하나의 그래픽 플레인을 위한 오버레이 정보의 픽셀 크기는 2D 비디오 정보의 픽셀 크기와 상이하다. 이는, 일부 플레인들이 정보의 큰 손실없이 스케일 다운될 수 있고, 따라서, 품질의 큰 감소 없이 인터페이스에 대한 부담이 감소될 수 있다는 이해에 기초한다. 더욱 상세한 실시예에서, 2D 오버레이 정보의 픽셀 크기는 (깊이 또는 투명도와 같은) 3D 오버레이 정보의 픽셀 크기와 상이하다. 이는 또한 품질의 큰 감소 없이 인터페이스에 대한 부담을 감소시킨다.

본 발명은 또한 비디오 정보 및 오버레이 정보의 합성 및 디스플레이를 위한 시스템(3)에 관한 것으로, 비디오 정보는 적어도 2D 비디오 스트림 및 비디오 정보를 3D로 렌더링할 수 있게 하는 3D 비디오 정보를 포함하고, 오버레이 정보는 적어도 2D 오버레이 스트림 및 오버레이 정보를 3D로 렌더링할 수 있게 하는 3D 오버레이 정보를 포함하고, 시스템은 압축된 비디오 정보 및 압축된 오버레이 정보를 포함하는 압축된 스트림을 저장 매체로부터 수신 및 판독하고; 비디오 정보 및 오버레이 정보를 압축해제하고; 비디오 인터페이스를 통해 프레임들의 시퀀스를 전송하기 위한 재생 디바이스로서, 프레임들의 시퀀스는 유닛들을 포함하고, 각각의 유닛은 압축해제된 비디오 정보에 대응하는, 상기 재생 디바이스; 및 비디오 인터페이스를 통해 프레임들의 시퀀스를 수신하고, 유닛들로부터 3D 비디오 정보 및 3D 오버레이 정보를 추출하고, 유닛들을 3D 프레임들로 합성하고, 3D 프레임들을 디스플레이하기 위한 디스플레이 디바이스를 포함한다.

본 발명의 특징들 및 이점들은 다음의 도면들을 참조하여 더 설명될 것이다.

도 1은 본 발명이 실시되는 3D 비디오 정보의 재생을 위한 시스템(1)을 개략적으로 도시하는 도면.
도 2는 알려진 그래픽 처리 유닛을 개략적으로 도시하는 도면.
도 3은 2개의 레이어들로 이루어지는 장면(scene)의 합성의 상면도.
도 4는 규정된 2개의 뷰포인트들을 갖는, 2개의 레이어들로 이루어지는 장면의 상면도.
도 5는 모노 (2D) 상황을 위해 합성된 비디오 및 그래픽스 플레인들을 도시하는 도면.
도 6은 스테레오 3D를 위한 플레인들을 도시하는 도면.
도 7은 이미지 + 깊이 3D를 위한 플레인들을 도시하는 도면.
도 8은 이미지 + 깊이 3D를 위한 플레인들을 도시하는 도면.
도 9는 본 발명의 실시예에 따른, 비디오 인터페이스를 통해 전송될 프레임들의 유닛들을 개략적으로 도시하는 도면.
도 10은 본 발명의 실시예에 따른, 비디오 인터페이스를 통해 전송될 프레임들의 유닛들의 상세들을 개략적으로 도시하는 도면.
도 11은 본 발명의 실시예에 따른, 비디오 인터페이스를 통한 프레임들의 시간 출력을 개략적으로 도시하는 도면.
도 12는 본 발명의 실시예에 따른 처리 유닛 및 출력 스테이지를 개략적으로 도시하는 도면.
도 13은 본 발명의 실시예에 따른 처리 유닛 및 출력 스테이지를 개략적으로 도시하는 도면.
도 14는 본 발명의 실시예에 따른, 비디오 인터페이스를 통한 프레임들의 시간 출력을 개략적으로 도시하는 도면.
도 15는 본 발명의 실시예에 따른, 비디오 인터페이스를 통한 프레임들의 시간 출력을 개략적으로 도시하는 도면.
도 16은 본 발명의 실시예에 따른 처리 유닛 및 출력 스테이지를 개략적으로 도시하는 도면.

본 발명이 실시되는, 3D 비디오 정보의 재생 및 디스플레이를 위한 시스템(1)이 도 1에 도시된다. 시스템은 인터페이스(12)를 통해 통신하는 플레이어 디바이스(10) 및 디스플레이 디바이스(11)를 포함한다. 플레이어 디바이스(10)는 디스플레이될 코딩된 비디오 정보 스트림의 수신 및 이전 처리를 담당하는 프론트 엔드 유닛(12), 및 출력부(14)에 공급될 비디오 스트림의 디코딩, 처리 및 생성을 위한 처리 유닛(13)을 포함한다. 디스플레이 디바이스는 수신으로부터 3D 뷰들을 렌더링하기 위한 렌더링 유닛을 포함한다.

코딩된 비디오 정보 스트림과 관련하여, 예를 들면, 이는 스테레오스코픽(stereoscopic)으로 알려진 포맷하에 있을 수 있고, 좌측 및 우측(L+R) 이미지들이 인코딩된다. 대안적으로, 코딩된 비디오 정보 스트림은 2D 화상 및 부가적인 화상(L+D), 2005년 Wiley에 의한 Oliver Sheer - "3D 비디오 통신(3D Video Communication)", 페이지 29-34에 기재된 바와 같은 이른바 깊이 맵을 포함할 수 있다. 깊이 맵은 2D 이미지에서의 오브젝트들의 깊이에 관한 정보를 전달한다. 깊이 맵에서의 그레이 스케일 값들은 2D 이미지에서의 연관된 픽셀의 깊이를 나타낸다. 스테레오 디스플레이는, 깊이 맵으로부터의 깊이 값을 이용하고 필요한 픽셀 변환을 계산함으로써 스테레오를 위해 필요한 부가적인 뷰를 계산할 수 있다. 2D 비디오 + 깊이 맵은 오클루전(occlusion) 및 투명도 정보(DOT)를 부가함으로써 확장될 수 있다. 바람직한 실시예에서, 본 명세서에 참조로서 포함된 EP 08305420.5(대리인 관리번호 PH010082)에 기재된 바와 같이, 오클루전 및 투명도를 부가한 스테레오 정보 및 깊이 맵을 포함하는 플렉서블 데이터 포맷이 이용된다.

디스플레이 디바이스(11)와 관련하여, 이는 좌측 및 우측 눈에 각각 디스플레이되는 이미지들을 제어하기 위해 제어가능 안경을 이용할 수 있게 하는 디스플레이 디바이스일 수 있거나 바람직한 실시예에서, 이른바 오토스테레오스코픽 디스플레이들이 이용된다. 2D 및 3D 디스플레이들 사이에서 스위치할 수 있는 다수의 오토-스테레오스코픽 디바이스들이 알려져 있고, 그 중 하나는 US 6,069,650에 기재되어 있다. 디스플레이 디바이스는 능동적으로 스위치가능한 액정 렌티큘러 렌즈(Liquid Crystal lenticular lens)를 포함하는 LCD 디스플레이를 포함한다. 오토-스테레오스코픽 디스플레이들에서 렌더링 유닛(16) 내부의 처리는, 인터페이스(12)를 통해 플레이어 디바이스(10)로부터 수신된 디코딩된 비디오 정보를 다중 뷰들로 변환하고, 이들을 디스플레이 패널(17)의 서브-픽셀들로 맵핑한다.

플레이어 디바이스(10)와 관련하여, 이는, 다양한 유형들의 이미지 정보를 DVD 또는 블루레이 디스크와 같은 광 기록 캐리어로부터 검색하기 위한 광 디스크 유닛을 포함함으로써, 광 디스크로부터 비디오 스트림을 판독하도록 구성될 수 있다. 대안적으로, 입력 유닛은 네트워크, 예를 들면, 인터넷 또는 브로드캐스트 네트워크에 대한 접속을 위해 네트워크 인터페이스 유닛을 포함할 수 있다. 이미지 데이터는 원격 매체 서버로부터 검색될 수 있다. 대안적으로, 입력 유닛은 고체 메모리(solid state memory)와 같은 다른 유형들의 저장 매체에 대한 인터페이스를 포함할 수 있다.

블루-레이(Blu-Ray™) 플레이어의 알려진 예는 소니사(Sony Corporation)에 의해 판매되는 플레이스테이션 3(PlayStation™ 3)가 있다.

BD 시스템들의 경우에 있어서, 보다 상세히는 비디오 플레인들의 합성을 포함하는 BD 시스템들은 블루-레이 디스크 협회(Blu-Ray Disc association) (http://www.bluraydisc.com)에 의해 공개된, 공개적으로 이용가능한 기술 백서들 "일반적인 블루-레이 디스크 포맷, 2004년 8월(Blu-ray Disc Format General August 2004)" 및 "BD-ROM을 위한 블루-레이 디스크 1.C 물리적 포맷 상세들, 2005년 11월(Blu-ray Disc 1.C Physical Format Specifications for BD-ROM November, 2005)"에서 확인할 수 있다.

다음으로, BD 애플리케이션 포맷의 상세들을 참조할 때, 특히 미국 특허 출원 번호 제 2006-0110111호(대리인 관리번호 NL021359) 및 블루-레이 디스크 협회에 의해 공개된 바와 같은 백서 "BD-ROM을 위한 블루-레이 디스크 포맷 2.B 오디오 비주얼 애플리케이션 포맷 상세, 2005년 3월(Blu-ray Disc Format 2.B Audio Visual Application Format Specifications for BD-ROM, March 2005)"에 개시된 바와 같은 애플리케이션 포맷들을 참조한다.

BD 시스템들은 또한 네트워크 접속성을 갖는 완전히 프로그래밍가능한 애플리케이션 환경을 제공하고, 그에 따라 콘텐트 공급자가 상호작용 콘텐트를 생성할 수 있게 한다. 이 모드는 Java™() 3 플랫폼에 기초하고 "BD-J"로서 알려져 있다. BD-J는, ETSI TS 101 812와 같이 공개적으로 이용가능한, 디지털 비디오 브로드캐스팅(DVB)-멀티미디어 홈 플랫폼(MHP) 상세 1.0(Digital Video Broadcasting(DVB)-Multimedia Home Platform(MHP) Specification 1.0)의 서브셋을 규정한다.

도 2는 알려진 2D 비디오 플레이어, 즉 블루-레이 플레이어의 그래픽스 처리 유닛(처리 유닛(13)의 일부)을 도시한다. 그래픽스 처리 유닛은 2개의 판독 버퍼들(1304 및 1305), 2개의 프리로딩 버퍼들(preloading buffers; 1302 및 1303), 및 2개의 스위치들(1306 및 1307)을 갖는다. 제 2 판독 버퍼(1305)는, 메인 MPEG 스트림이 디코딩되는 동안일지라도 Out-of-Mux 오디오 스트림을 디코더에 공급할 수 있게 한다. 프리로딩 버퍼들은 텍스트 자막들, 상호작용 그래픽스, 및 사운드 효과들(버튼 선택 또는 활성화에서 나타남)을 캐시한다. 프리로딩 버퍼(1303)는 영화 재생이 시작되기 전에 데이터를 저장하고, 메인 MPEG 스트림이 디코딩되는 동안일지라도 프리젠테이션을 위한 데이터를 공급한다.

데이터 입력부와 버퍼들 사이의 스위치(1301)는 판독 버퍼들 또는 프리로딩 버퍼들 중 어느 하나로부터 패킷 데이터를 수신하기 위해 적절한 버퍼를 선택한다. 메인 영화 프리젠테이션이 시작하기 전에, 유효 사운드 데이터(존재한다면), 텍스트 자막 데이터(존재한다면), 및 상호작용 그래픽스(프리로딩된 상호작용 그래픽스가 존재한다면)가 프리로딩되고, 스위치를 통해 각각의 버퍼에 각각 송신된다. 메인 MPEG 스트림은 1차 판독 버퍼(1304)로 전송되고, Out-of-Mux 스트림은 스위치(1301)에 의해 2차 판독 버퍼(1305)로 전송된다. 메인 비디오 플레인(1310) 및 프리젠테이션(1309) 및 그래픽스 플레인(1308)은 대응하는 디코더들에 의해 공급되고, 3개의 플레인들은 오버레이어(1311)에 의해 오버레이되어 출력된다.

본 발명에 따르면, 디스플레이 디바이스에서 합성 스테이지(18)를 도입하고, 그에 따라 플레이어 디바이스의 처리 유닛(13) 및 출력부(14)를 적응시킴으로써, 비디오 플레인의 합성은 재생 디바이스 대신에 디스플레이 디바이스에서 발생한다. 본 발명의 상세한 실시예들은 도 3 내지 도 15를 참조하여 기술될 것이다.

본 발명에 따르면 렌더링은 디스플레이 디바이스에서 이루어지고, 따라서 다중 레이어들로부터의 모든 정보들은 디스플레이로 전송되어야 한다. 그때에만, 특정 픽셀들을 추정하지 않고 렌더링이 임의의 뷰포인트로부터 이루어질 수 있다.

렌더링 디바이스(디스플레이)와 개별적으로 다중 레이어들을 송신하는 다수의 방식들이 존재한다. 24fps의 프레임 레이트를 갖는 1920x1080 해상도의 비디오를 가정하면, 렌더링 디바이스로 전송된 비디오의 해상도를 증가시킬 한 가지 방식이 있다. 예를 들면, 3840x1080 또는 1920x2160의 해상도로 증가시키는 것은 비디오 레이어 및 그래픽스 레이어를 렌더링 디바이스에 개별적으로 전송하는 것을 허용하고, 이 예에서, 이는 각각 사이드-바이-사이드(side-by-side) 및 상단-하단(top-bottom)일 것이다. HDMI 및 디스플레이 포트는 이를 허용하기 위한 충분한 대역폭을 갖는다. 다른 옵션은 프레임 레이트를 증가시키는 것이다. 예를 들면, 비디오가 48 또는 60 fps로 디스플레이로 전송될 때, 2개의 상이한 레이어들이 인터리빙된 시간으로 렌더링 디바이스로 전송될 수 있다(특정 순간에 비디오 레이어로부터의 데이터만을 포함하는 프레임이 디스플레이로 전송되고, 다른 순간에 그래픽스 레이어로부터의 데이터만을 포함하는 프레임이 디스플레이로 전송된다). 렌더링 디바이스는 수신하는 데이터를 어떻게 해석할지를 알아야 한다. 이를 위해, (예를 들면, I2C를 이용함으로써) 제어 신호가 디스플레이로 전송될 수 있다.

도 3은 2개의 레이어들로 이루어지는 장면(scene)의 합성의 상면도를 도시하고, 번호들은 다음을 나타낸다.

301: Z-축의 방향

302: 비디오 레이어

303: 그래픽스 레이어

304: 합성된 레이어(출력)

305: 합성 액션.

도 4는 규정된 2개의 뷰포인트들을 갖는, 2개의 레이어들로 이루어지는 장면의 상면도를 도시하고, 번호들은 다음을 나타낸다.

401: Z-축의 방향

402: 비디오 레이어

403: 그래픽스 레이어

404: 뷰포인트 1(즉, 좌측 눈)

405: 뷰포인트 2(즉, 우측 눈)

406: 뷰포인트 1로부터 필요한 백그라운드 레이어의 부분들

407: 뷰포인트 2로부터 필요한 백그라운드 레이어의 부분들.

플레이어들은 자막들, 상호작용 또는 자바 생성 그래픽스를 위한 하나 이상의 그래픽스 플레인, 예를 들면, 개별 플레인들(또는 레이어들)을 가질 수 있다. 이는 도 5에서 도시된다. 도 5는 출력을 합성하는 플레인들의 현재 상태를 도시한다. 아이템들 501, 502, 및 503에 의해 지시되는 입력 플레인들은 505에 도시된 바와 같은 출력을 생성하기 위해 504에서 결합된다.

도 5는 모노(2D) 상황을 위해 합성된 BD 비디오 및 그래픽스 플레인들을 도시하고, 번호들은 다음을 나타낸다.

501: 비디오 플레인

502: 프리젠테이션 (자막들) 그래픽스 플레인

503: 자바 또는 상호작용 그래픽스 플레인

504: 믹싱 및 합성 스테이지

505: 출력

본 발명에 따르면, 3D에 유리하게, 플레인들은 또한 스테레오 및/또는 이미지 + 깊이 그래픽스를 포함하도록 확장된다. 스테레오의 경우는 도 6에 도시되고, 이미지 + 깊이의 경우는 도 7에 도시된다.

도 6은 스테레오 3D를 위한 BD 플레인들을 도시하고, 번호들은 다음을 나타낸다.

601: 좌측 비디오 플레인

602: 좌측 프리젠테이션 (자막들) 그래픽스 플레인

603: 좌측 자바 또는 상호작용 그래픽스 플레인

604: 좌측 믹싱 및 합성 스테이지

605: 좌측 출력

606: 우측 비디오 플레인

607: 우측 프리젠테이션 (자막들) 그래픽스 플레인

608: 우측 자바 또는 상호작용 그래픽스 플레인

609: 우측 믹싱 및 합성 스테이지

610: 우측 출력

611: 스테레오 출력

도 7은 이미지 + 깊이 3D를 위한 BD 플레인들을 도시하고, 번호들은 다음을 나타낸다.

701: 비디오 플레인

702: 프리젠테이션 (자막들) 그래픽스 플레인

703: 자바 또는 상호작용 그래픽스 플레인

704: 믹싱 및 합성 스테이지

705: 출력

706: 깊이 비디오 플레인

707: 깊이 프리젠테이션 (자막들) 그래픽스 플레인

708: 깊이 자바 또는 상호작용 그래픽스 플레인

709: 깊이 믹싱 및 합성 스테이지

710: 깊이 출력

711: 이미지 + 깊이 출력

종래 기술에서, 플레인들은 결합되어 다음으로 하나의 컴포넌트 또는 프레임으로서 디스플레이로 전송된다. 본 발명에 따르면 플레인들은 플레이어에서 결합되지 않고 개별 컴포넌트들로서 디스플레이로 전송된다. 디스플레이에서, 각각의 컴포넌트에 대한 뷰들이 렌더링되고, 다음으로 개별 컴포넌트들에 대한 대응하는 뷰들이 합성된다. 다음으로 출력이 3D 멀티뷰 디스플레이 상에 표시된다. 이는 품질의 어떠한 손실 없이 최상의 결과들을 제공한다. 이는 도 8에 도시된다. 번호 801 내지 806은 비디오 인터페이스를 통해 전송되는 개별 컴포넌트들을 나타내고, 이들은 807로 진입한다. 807에서 각각의 컴포넌트는 연관된 "깊이" 파라미터 컴포넌트를 이용하여 다중 뷰들로 렌더링된다. 다음으로 모든 비디오, 자막들, 자바 그래픽스 컴포넌트들을 위한 이들 다중 뷰들이 811에서 합성된다. 811의 출력은 812에 도시되고, 다음으로 이는 멀티뷰 디스플레이 상에 표시된다.

도 8은 이미지 + 깊이 3D를 위한 비디오 플레인들을 도시하고, 번호들은 다음을 나타낸다.

801: 비디오 컴포넌트

802: 비디오 깊이 파라미터 컴포넌트

803: 프리젠테이션 (자막들) 그래픽스 (PG) 컴포넌트

804: 프리젠테이션 (자막들) 깊이 파라미터 컴포넌트

805: 자바 또는 상호작용 그래픽스 컴포넌트

806: 자바 또는 상호작용 그래픽스 깊이 컴포넌트

807: 다중 뷰들을 위한 비디오, PG(자막들) 및 자바 또는 상호작용 그래픽스를 렌더링하는 렌더링 스테이지

808: 다중 비디오 뷰들

809: 다중 프리젠테이션 그래픽스 (자막들) 뷰들

810: 다중 자바 또는 상호작용 그래픽스 뷰들

811: 합성 스테이지

812: 디스플레이 상에 표시되는 다중 뷰들.

본 발명의 바람직한 실시예가 도 9 내지 도 11을 참조하여 기술될 것이다. 본 발명에 따르면, 수신된 압축 스트림은 스테레오스코픽 및 오토스테레오스코픽 디스플레이 양측 모두에 대한 합성 및 렌더링을 허용하는 3D 정보를 포함, 즉, 압축 스트림은 2D + 깊이 정보에 기초하는 렌더링을 허용하는 좌측 및 우측 비디오 프레임, 깊이(D), 투명도(T) 및 오클루전(O) 정보를 포함한다.

압축 스트림들로서의 스테레오 및 DOT 양측의 존재는, 합성이 콘텐트 저자(author)에 의해 계속 제어되는 동안 디스플레이의 유형 및 크기에 따라 디스플레이에 의해 최적화되는 합성 및 렌더링을 허용한다.

바람직한 실시예에 따르면, 다음의 컴포넌트들이 디스플레이 인터페이스를 통해 송신된다.

- (PG 및 IG/BD-J와 믹싱되지 않은) 디코딩된 비디오 데이터

- 프리젠테이션 그래픽스(PG) 데이터

- 상호작용 그래픽스(IG) 또는 BD-자바 생성(BD-J) 그래픽스 데이터

- 디코딩된 비디오 DOT

- 프리젠테이션 그래픽스(PG) DOT

- 상호작용 그래픽스(IG) 또는 BD-자바 생성(BD-J) 그래픽스.

도 9 및 도 10은 본 발명의 실시예에 따른 비디오 인터페이스를 통해 전송될 프레임들의 유닛들을 개략적으로 도시한다.

출력 스테이지가 인터페이스(바람직하게 HDMI)를 통해 송신하고 6개의 프레임들의 유닛들이 송신된다.

프레임 1: 도 9의 도면 상부에 도시된 바와 같이, 좌측(L) 비디오 및 DOT 비디오의 YUV 컴포넌트들이, 하나의 24 Hz RGB 출력 프레임, 컴포넌트들로 결합된다. YUV는 일반적으로 비디오 처리 분야에서 표준 밝기(Y) 및 채도(UV) 컴포넌트들을 지시한다.

프레임 2: 도 9의 도면 하부에 도시된 바와 같이, 우측(R) 비디오는 변경되지 않고 바람직하게 24 Hz로 전송된다.

프레임 3: PC 컬러(PG-C)는 RGB 컴포넌트들로서 변경되지 않고 바람직하게 24 Hz로 전송된다.

프레임 4: 도 10의 도면 상부에 도시된 바와 같이, PG-컬러의 투명도는 개별 그래픽스 DOT 출력 플레인으로 복사되고, 깊이, 960x540 오클루전 및 다양한 플레인들을 위한 오클루전 깊이(OD) 컴포넌트들과 함께 결합된다.

프레임 5: BD-J/IG 컬러(C)는 변경되지 않고 바람직하게 24 Hz로 전송된다.

프레임 6: 도 10의 도면 하부에 도시된 바와 같이, BD-J/IG 컬러의 투명도는 개별 그래픽스 DOT 출력 플레인으로 복사되고, 깊이, 960x540 오클루전 및 오클루전 깊이(OD) 컴포넌트들과 함께 결합된다.

도 11은 본 발명의 실시예에 따른, 비디오 인터페이스를 통한 프레임들의 시간 출력을 개략적으로 도시한다. 여기에서, 컴포넌트들은 24 Hz로 전송되고, 컴포넌트들은 디스플레이에 대해 144 Hz의 인터페이스 주파수로 HDMI 인터페이스를 통해 시간에 따라 인터리빙된다.

바람직한 실시예의 이점들은 다음과 같다.

■ 풀 해상도 플렉서블 3D 스테레오 + DOT 포맷 및 3D HDMI 출력은 다양한 3D 디스플레이들(스테레오 및 오토스테레오스코픽)을 위한 향상된 3D 비디오(디스플레이 크기 의존도를 위한 가변 베이스라인) 및 향상된 3D 그래픽스 (적은 그래픽스 제한들, 3D TV OSD) 가능성들을 허용한다.

■ 플레이어 하드웨어에 대한 최소 비용으로도, 품질, 저작 유연성(authoring flexibility)에 대한 타협이 없음. 합성 및 렌더링이 3D 디스플레이 내에서 이루어진다.

■ 4k2k 포맷들을 위한 필요한 더욱 높은 비디오 인터페이스 속도가 HDMI에서 규정되고, 이는 듀얼-링크 HDMI에서 이미 구현될 수 있다. 듀얼 링크 HDMI는 또한 30 Hz 등과 같은 더욱 높은 프레임 레이트들을 지원한다.

도 12는 본 발명의 바람직한 실시예에 따른 처리 유닛(13) 및 출력 스테이지(14)를 개략적으로 도시한다. 처리 유닛은 본 발명의 각각의 플레인에 대해 비디오 및 DOT를 개별적으로 처리하도록 구성된다. 각각의 플레인의 출력들은 플레인 선택 유닛에 의해 적합한 시간에 선택되고, 인터페이스를 통해 전송될 관련 프레임의 생성을 담당하는 출력 스테이지로 전송된다.

디스플레이 디바이스의 HDMI 인터페이스 입력부는, 도 9 내지 도 12와 관련하여 상술된 바와 같은 프레임들의 유닛들을 수신하고, 이들을 분리하여, 비디오 플레인들의 합성을 처리하는 합성 스테이지(18)에 정보를 전송하도록 구성된다. 합성 스테이지의 출력은 렌더링된 뷰들의 생성하기 위한 렌더링 유닛로 전송된다.

바람직한 실시예에 따른 시스템이 최상의 3D 품질을 제공하지만, 이러한 시스템은 상당히 고비용일 수 있다는 것을 인정할 것이다. 따라서, 본 발명의 제 2 실시예는 종래의 시스템들보다 더욱 높은 렌더링 품질을 제공하면서 보다 저비용의 시스템을 달성한다.

도 13은 본 발명의 제 2 실시예에 따른 처리 유닛 및 출력 스테이지를 개략적으로 도시한다. 기본 아이디어는 자바 그래픽스의 두 개의 시간 기간들을 12Hz의 하나의 출력 프레임 기간으로 결합하고, 이를 24Hz의 비디오(L)와 24Hz의 결합된 비디오 DOT 및 PG 플레인으로 인터리빙하는 것이다. 출력을 60Hz의 1920x1080으로 토탈링한다. 도 15는 본 발명의 본 실시예에 따른, 비디오 인터페이스를 통한 프레임들의 시간 출력을 개략적으로 도시한다.

본 발명의 본 실시예에 따른 디스플레이 디바이스의 HDMI 인터페이스 입력부는 도 13 및 도 15와 관련하여 상술된 바와 같이 프레임들의 유닛들을 수신하고, 이들을 분리하여, 비디오 플레인들의 합성을 처리하는 합성 스테이지(18)에 정보를 전송하도록 구성된다. 합성 스테이지의 출력은 렌더링된 뷰들을 생성하기 위해 렌더링 유닛로 전송된다.

대안적으로, PG 또는 BD-J 플레인들 중 어느 하나가 플레이어 디바이스에 의해 선택되어 인터페이스를 통해 전송되도록, 단일 플레인에 관한 정보를 전송하기 위해 선택할 수 있는 것은 특정 유닛이다. 도 14는 본 발명의 본 실시예에 따른, 비디오 인터페이스를 통한 프레임들의 시간 출력을 개략적으로 도시하고, 도 16은 본 발명의 본 실시예에 따른 처리 유닛 및 출력 스테이지를 개략적으로 도시한다.

본 발명의 본 실시예에 따른 디스플레이 디바이스의 HDMI 인터페이스 입력부는 도 14 및 도 16과 관련하여 상술된 바와 같이 프레임들의 유닛들을 수신하고, 이들을 분리하여, 비디오 플레인들의 합성을 처리하는 합성 스테이지(18)에 정보를 전송하도록 구성된다. 합성 스테이지의 출력은 렌더링된 뷰들을 생성하기 위해 렌더링 유닛로 전송된다.

본 발명의 다른 실시예에 따르면, 재생 디바이스는 디스플레이 디바이스에 그의 인터페이스 및 합성 능력들에 관하여 질의할 수 있고, 이는 상술된 세 개의 실시예들 중 하나에 따를 수 있다. 이러한 경우에, 재생 디바이스는 그의 출력을 적용하여, 디스플레이 디바이스가 송신된 스트림을 처리할 수 있도록 한다.

대안적으로, 모든 뷰들을 렌더링하는 것은 플레이어/셋톱박스에서 실행될 수 있고, 본 발명에서 설명한 바와 같이 비디오 레이어 및 그래픽스 레이어들 양측으로부터의 모든 정보가 이용가능하다. 플레이어/셋톱박스에서의 렌더링시에, 모든 레이어들로부터의 모든 정보들이 이용가능하여, 장면이 오클루딩 오브젝트들의 다중 레이어들(즉, 비디오 레이어 및 그 상부의 2개의 그래픽스 레이어들)로 구성될 때에도, 여전히 고품질의 렌더링이 그 장면의 다중 뷰포인트들에 대해 이루어질 수 있다. 그러나, 이 선택사항은 플레이어가 상이한 디스플레이들을 위한 렌더링 알고리즘들을 포함하는 것을 필요로 하고, 그러므로, 바람직한 실시예는 다중 레이어들로부터의 정보를 디스플레이로 전송하고 (종종, 디스플레이-특정) 렌더링이 디스플레이에서 실행되도록 한다.

대안적으로, 비디오 기본 스트림들은 대역폭을 절약하기 위해 인코딩되어 디스플레이로 전송될 수 있다. 이의 이점은 더욱 많은 정보가 디스플레이로 전송될 수 있다는 것이다. 블루-레이와 같은 애플리케이션 포맷들이 저장 또는 송신을 위해 압축된 비디오 기본 스트림들을 이미 이용하기 때문에, 비디오 품질은 영향을 받지 않는다. 비디오 디코딩은 디스플레이 내부에서 실행되고, 소스는 비디오 기본 스트림들을 통한 통과 지점으로서 기능한다. 디지털 TV 디코더들 및 네트워크 접속성의 구축으로 인해, 종래 TV들은 이미 비디오 스트림들을 디코딩할 수 있다.

본 발명은 다음과 같이 요약될 수 있다: 합성 및 디스플레이를 위해 3차원(3D) 이미지 데이터를 전달하는 시스템이 개시된다. 정보 스트림은 비디오 정보 및 오버레이 정보를 포함하고, 비디오 정보는 적어도 2D 비디오 스트림 및 비디오 정보를 3D로 렌더링할 수 있게 하는 3D 비디오 정보를 포함하고, 오버레이 정보는 적어도 2D 오버레이 스트림 및 오버레이 정보를 3D로 렌더링할 수 있게 하는 3D 오버레이 정보를 포함한다. 본 발명에 따른 시스템에서, 비디오 플레인의 합성은 재생 디바이스 대신에 디스플레이 디바이스에서 발생한다. 시스템은 비디오 인터페이스를 통해 프레임들의 시퀀스를 전송하도록 구성된 재생 디바이스로서, 프레임들의 시퀀스는 유닛들을 포함하고, 각각의 유닛은 합성되어 3D 이미지로서 디스플레이 되도록 의도된 압축해제된 비디오 정보 및 압축해제된 오버레이 정보에 대응하는, 상기 재생 디바이스; 및 비디오 인터페이스를 통해 프레임들의 시퀀스를 수신하고, 유닛들로부터 3D 비디오 정보 및 3D 오버레이 정보를 추출하고, 유닛들을 3D 프레임들로 합성하고, 3D 프레임들을 디스플레이하도록 구성된 디스플레이 디바이스를 포함한다.

상술된 실시예들은 본 발명을 제한하기보다는 설명을 위한 것임을 유의한다. 당업자는 첨부된 청구항들의 범위로부터 벗어남이 없이 많은 대안적인 실시예들을 설계할 수 있을 것이다. 청구항들에서, 괄호들 사이에 위치하는 어떠한 참조 부호들도 청구범위를 제한하는 것으로 이해되어서는 안 된다. 동사들 "포함하다(comprise 및 include)" 및 그들의 활용형들의 이용은 청구범위에 기술된 것 이외의 소자들 또는 단계들의 존재를 배제하지 않는다. 소자 앞의 부정관사("a" 또는 "an)는 복수의 그러한 소자들의 존재를 배제하지 않는다. 본 발명은 여러 개별 소자들을 포함하는 하드웨어와 적절히 프로그래밍된 컴퓨터에 의해 구현될 수 있다. 컴퓨터 프로그램은 광 저장 매체와 같은 또는 하드웨어 부분들과 함께 제공되는 적절한 매체 상에 저장/분배되지만, 또한 인터넷 또는 유선 또는 무선 통신 시스템들을 통해 분배되는 다른 형태들에 분배될 수도 있다. 시스템/디바이스/장치 청구항에서, 열거된 여러 수단, 이들 수단의 일부는 하드웨어 또는 소프트웨어의 하나 또는 동일한 아이템에 의해 구현될 수 있다. 임의의 측정들이 서로 상이한 종속 청구항들에 개시되었다는 단순한 사항은 유리하게 하기 위해 이들 측정들의 조합이 이용될 없다는 것을 나타내는 것은 아니다.

1: 시스템 10: 플레이어 디바이스
11: 디스플레이 디바이스 12: 프론트 엔드 유닛
13: 처리 유닛 14: 출력부
16: 렌더링 유닛 17: 디스플레이 패널

Claims

비디오 정보 및 오버레이 정보(overlay information)를 포함하는 정보 스트림을 합성 및 디스플레이하는 방법으로서,
상기 비디오 정보는 적어도 2D 비디오 스트림 및 상기 비디오 정보를 3D로 렌더링할 수 있게 하는 3D 비디오 정보를 포함하고,
상기 오버레이 정보는 적어도 2D 오버레이 스트림 및 상기 오버레이 정보를 3D로 렌더링할 수 있게 하는 3D 오버레이 정보를 포함하는, 상기 정보 스트림을 합성 및 디스플레이 방법에 있어서:
- 압축된 비디오 정보 및 압축된 오버레이 정보를 포함하는 압축된 스트림을 저장 매체로부터 수신 및 판독하는 단계;
- 상기 비디오 정보 및 상기 오버레이 정보를 압축해제하는 단계;
- 상기 비디오 인터페이스를 통해 프레임들의 시퀀스를 전송하는 단계로서, 상기 프레임들의 시퀀스는 유닛들을 포함하고, 각각의 유닛은 합성되어 3D 이미지로서 디스플레이 되도록 의도된 압축해제된 비디오 정보 및 압축해제된 오버레이 정보에 대응하는, 상기 프레임들의 시퀀스를 전송하는 단계;
- 상기 비디오 인터페이스를 통해 상기 프레임들의 시퀀스를 수신하고, 상기 유닛들로부터 상기 3D 비디오 정보 및 상기 3D 오버레이 정보를 추출하는 단계; 및
- 상기 유닛들을 3D 프레임들로 합성하고, 상기 3D 프레임들을 디스플레이하는 단계를 포함하는, 정보 스트림을 합성 및 디스플레이하는 방법.
제 1 항에 있어서,
상기 3D 비디오 정보는 2D 비디오 프레임들에 관한 깊이, 오클루전(occlusion) 및 투명도 정보를 포함하고, 상기 3D 오버레이 정보는 2D 오버레이 프레임들에 관한 깊이, 오클루전 및 투명도 정보를 포함하는, 정보 스트림을 합성 및 디스플레이하는 방법.
제 2 항에 있어서,
상기 오버레이 정보는 상기 비디오 프레임들로 합성될 2개의 그래픽스 플레인들을 포함하는, 정보 스트림을 합성 및 디스플레이하는 방법.
제 2 항 또는 제 3 항에 있어서,
적어도 하나의 그래픽 플레인을 위한 오버레이 정보는 상기 2D 비디오 프레임들이 전송되는 프레임 주파수보다 낮은 프레임 주파수로 전송되는, 정보 스트림을 합성 및 디스플레이하는 방법.
제 2 항 내지 제 4 항 중 어느 한 항에 있어서,
적어도 하나의 그래픽 플레인을 위한 상기 오버레이 정보의 픽셀 크기는 상기 2D 비디오 정보의 픽셀 크기와 상이한, 정보 스트림을 합성 및 디스플레이하는 방법.
제 1 항 또는 제 2 항에 있어서,
3D 비디오 정보는 스테레오 정보를 포함하는, 정보 스트림을 합성 및 디스플레이하는 방법.
비디오 정보 및 오버레이 정보를 포함하는 정보 스트림을 합성 및 디스플레이 하기 위한 시스템으로서,
상기 비디오 정보는 적어도 2D 비디오 스트림 및 상기 비디오 정보를 3D로 렌더링할 수 있게 하는 3D 비디오 정보를 포함하고,
상기 오버레이 정보는 적어도 2D 오버레이 스트림 및 상기 오버레이 정보를 3D로 렌더링할 수 있게 하는 3D 오버레이 정보를 포함하는, 상기 정보 스트림을 합성 및 디스플레이 하기 위한 시스템에 있어서:
- 압축된 비디오 정보 및 압축된 오버레이 정보를 포함하는 압축된 스트림을 저장 매체로부터 수신 및 판독하고;
- 상기 비디오 정보 및 상기 오버레이 정보를 압축해제하고;
- 상기 비디오 인터페이스를 통해 프레임들의 시퀀스를 전송하기 위한 재생 디바이스(playback device)로서, 상기 프레임들의 시퀀스는 유닛들을 포함하고, 각각의 유닛은 합성되어 3D 이미지로서 디스플레이 되도록 의도된 압축해제된 비디오 정보 및 압축해제된 오버레이 정보에 대응하는, 상기 재생 디바이스; 및
- 상기 비디오 인터페이스를 통해 상기 프레임들의 시퀀스를 수신하고, 상기 유닛들로부터 상기 3D 비디오 정보 및 상기 3D 오버레이 정보를 추출하고,
- 상기 유닛들을 3D 프레임들로 합성하고, 상기 3D 프레임들을 디스플레이하기 위한 디스플레이 디바이스를 포함하는, 정보 스트림을 합성 및 디스플레이 하기 위한 시스템.
제 7 항에 있어서,
상기 3D 비디오 정보는 2D 비디오 프레임들에 관한 깊이, 오클루전 및 투명도 정보를 포함하고, 상기 3D 오버레이 정보는 2D 오버레이 프레임들에 관한 깊이, 오클루전 및 투명도 정보를 포함하는, 정보 스트림을 합성 및 디스플레이 하기 위한 시스템.
제 8 항에 있어서,
상기 오버레이 정보는 상기 비디오 프레임들로 합성될 2개의 그래픽스 플레인들을 포함하는, 정보 스트림을 합성 및 디스플레이 하기 위한 시스템.
제 8 항 또는 제 9 항에 있어서,
적어도 하나의 그래픽 플레인을 위한 오버레이 정보는 상기 2D 비디오 프레임들이 전송되는 프레임 주파수보다 낮은 프레임 주파수로 전송되는, 정보 스트림을 합성 및 디스플레이 하기 위한 시스템.
제 8 항 내지 제 10 항 중 어느 한 항에 있어서,
적어도 하나의 그래픽 플레인을 위한 상기 오버레이 정보의 픽셀 크기는 상기 2D 비디오 정보의 픽셀 크기와 상이한, 정보 스트림을 합성 및 디스플레이 하기 위한 시스템.
제 8 항 내지 제 10 항 중 어느 한 항에 있어서,
3D 비디오 정보는 스테레오 정보를 포함하는, 합성 및 디스플레이 시스템.
제 8 항 내지 제 12 항 중 어느 한 항에 있어서,
상기 프레임들은 HDMI 인터페이스를 통해 전송되는 RGB 프레임들인, 정보 스트림을 합성 및 디스플레이 하기 위한 시스템.
제 8 항 내지 제 13 항 중 어느 한 항에 따른 시스템에서의 이용에 적합한, 재생 디바이스.
제 8 항 내지 제 13 항 중 어느 한 항에 따른 시스템에서의 이용에 적합한, 디스플레이 디바이스.