KR101749893B1 - 다목적 ３―ｄ 화상 포맷 - Google Patents

다목적 ３―ｄ 화상 포맷 Download PDF

Info

Publication number
KR101749893B1
KR101749893B1 KR1020117004033A KR20117004033A KR101749893B1 KR 101749893 B1 KR101749893 B1 KR 101749893B1 KR 1020117004033 A KR1020117004033 A KR 1020117004033A KR 20117004033 A KR20117004033 A KR 20117004033A KR 101749893 B1 KR101749893 B1 KR 101749893B1
Authority
KR
South Korea
Prior art keywords
image
picture
rendering
depth map
depth
Prior art date
Application number
KR1020117004033A
Other languages
English (en)
Other versions
KR20110045013A (ko
Inventor
빌헬뮈스 하. 아. 브륄스
레이니르 베. 엠. 클레인 후네비크
헤라르뒤스 베. 테. 판 데르 헤이덴
필립 에스. 뉴턴
Original Assignee
코닌클리케 필립스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=41066194&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101749893(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 코닌클리케 필립스 엔.브이. filed Critical 코닌클리케 필립스 엔.브이.
Publication of KR20110045013A publication Critical patent/KR20110045013A/ko
Application granted granted Critical
Publication of KR101749893B1 publication Critical patent/KR101749893B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Abstract

3-D 화상이 다음과 같이 제공된다. 시청자의 한쪽 눈을 위해 의도되는 제 1 화상(LP), 및 시청자의 다른 쪽 눈을 위해 의도되는 제 2 회상(RP)을 포함하는 한 쌍의 화상들(LP, RP)이 제공된다. 또한, 제 1 화상(LP)에 특별히 전용된 깊이 맵(DM)이 제공된다. 깊이 맵(DM)은 깊이 표시 값들을 포함한다. 깊이 표시 값은 제 1 화상(LP)의 특정 부분과 관련되고 제 1 화상의 그 부분에 의해 적어도 부분적으로 표시된 오브젝트와 시청자 사이의 거리를 나타낸다. 이러한 3-D 화상은 매우 다양한 디스플레이 디바이스들 상에서의 만족스러운 3-D 시각 렌더링을 가능하게 한다. 바람직하게, 3-D 화상에는 각각의 렌더링 콘텍스트들에 대한 각각의 파라미터들을 명시하는 렌더링 가이던스 데이터(GD)가 보충한다. 이들 각각의 파라미터들은 바람직하게는 제 1 화상(LP) 및 깊이 맵(DM)으로부터, 시프트된 뷰포인트 화상을 생성하는 것과 관련된다.

Description

다목적 ３―Ｄ 화상 포맷{VERSATILE 3-D PICTURE FORMAT}
본 발명의 일 양태는 하나의 화상이 시청자의 한쪽 눈을 위해 의도되고 다른 화상이 시청자의 다른 쪽 눈을 위해 의도되는 것인 한 쌍의 이미지들을 포함하는 3-D 화상을 제공하는 방법에 관한 것이다. 3-D 화상은 예를 들면, 비디오를 구성하기 위해 유사한 포맷을 갖는 3-D 화상들의 시퀀스의 일부를 형성할 수 있다. 본 발명의 다른 양태들은 3-D 화상 제공 시스템, 3-D 화상을 전달하는 신호, 3-D 화상을 렌더링(rendering)하는 방법, 3-D 화상 렌더링 시스템, 및 프로그래밍가능한 프로세서를 위한 컴퓨터 프로그램 제품과 관련된다.
시각적 3-D 렌더링은 각각 시청자의 왼쪽 눈과 오른쪽 눈을 위해 의도된 왼쪽 화상 및 오른쪽 화상인 한 쌍의 화상들을 포함하는 신호에 기초하여 얻어질 수 있다. 비디오의 경우에, 신호는 일련의 이러한 화상 쌍들을 포함할 것이다. 그 안에 포함된 왼쪽 및 오른쪽 화상들은 시청자가 안경을 쓸 필요가 있을 수도 있는 스테레오스코픽 디스플레이 디바이스(stereoscopic display device) 상에 직접 렌더링될 수 있다. 왼쪽-눈의 안경은 렌더링된 왼쪽 화상을 왼쪽 눈으로 통과시킨다. 오른쪽-눈의 안경은 렌더링된 오른쪽 화상을 오른쪽 눈으로 통과시킨다. 예를 들면, 디스플레이 디바이스는 렌더링된 왼쪽 화상들과 렌더링된 오른쪽 화상들을 교대로 디스플레이할 수 있다. 그 경우에, 왼쪽-눈의 안경은 렌더링된 왼쪽 화상이 디스플레이될 때 투명하게 되고 그렇지 않을 때는 불투명하다. 마찬가지로, 오른쪽-눈의 안경은 렌더링된 오른쪽 화상이 디스플레이될 때 투명하게 되고 그렇지 않을 때는 불투명하다.
이전 단락에서 기술된 바와 같이, 한 쌍의 화상들, 또는 3-D 비디오를 구성하는 일련의 화상 쌍들을 포함하는 신호는 일반적으로 예를 들면, 화면 크기 및 시청 거리에 관하여 특정 렌더링 콘텍스트에 대해 생성된다. 특정 렌더링 콘텍스트는 예를 들면, 12미터 폭의 화면을 갖는 영화관일 수도 있으며, 여기서 시청자들은 일반적으로 화면으로부터 18미터의 거리에 앉아 있다. 렌더링 콘텍스트가 신호가 생성된 렌더링 콘텍스트(rendering context)와 상이한 경우에, 3-D 비디오는 상이하게 보여질 것이다. 예를 들면, 영화관을 위해 생성된 3-D 비디오가 가정용 비디오 세트 상에서 렌더링될 때, 시청자는 영화관에서와는 다른 시각적 감명을 경험할 것이다. 깊이 효과들은 일반적으로 보다 작을 것이며, 또한, 영화관의 화면 뒤쪽 멀리 나타나는 오브젝트(object)가 가정용 비디오 세트의 화면의 거의 앞쪽에서 나타난다는 점에서 분명한 깊이 시프트이 있을 수 있다.
가정에서와 같은 개인적 환경에서 3-D 비디오를 시청하는 이용자는 고작 이용자가 즐거움을 느끼는 렌더링을 얻기 위해 깊이 효과들을 조정하기를 원할 수 있다. 원칙적으로, 3-D 비디오에 포함된 이미지들의 각 쌍에 기초하는 보간법(interpolation) 또는 보외법(extrapolation)에 의해 이를 달성하는 것이 가능하다. 실제로, 왼쪽 화상 및 오른쪽 화상은 특히, 수평 변위의 면에서, 이들 화상들간의 차이들을 나타내는 소위 불일치 맵(disparity map)을 얻기 위해 비교된다. 깊이 효과 조정들은 새로운 쌍의 이미지들을 생성하기 위해 이용되는 수정된 불일치 맵의 형태로 표현될 수 있다. 이러한 보간법 또는 보외법의 처리는 비교적 복잡하고, 따라서 비교적 비용이 많이 든다. 또한, 이러한 처리는 시청자의 즐거움을 줄일 수도 있는 인지가능한 아티팩트들(artifacts)을 도입할 수 있다.
공개된 미국 특허 출원 제 2005/0190180 호는 이용자 또는 이용자들의 집단에 따라서 주어진 스테레오스코픽 디스플레이에 대해 장면 콘텐트를 커스터마이징(customizing)하기 위한 방법을 기술하고 있다. 이용자에 관한 커스터마이제이션 정보가 얻어진다. 한 쌍의 주어진 스테레오 이미지들에 대한 장면 불일치 맵이 또한 얻어진다. 이용자에 대한 목표 불일치 범위가 결정된다. 주어진 스테레오스코픽 디스플레이의 이용자의 퓨징 능력(user's fusing capability)과 관련되는 커스터마이징된 불일치 맵이 생성된다. 스테레오 이미지들은 후속 디스플레이를 위해 렌더링되거나 재-렌더링된다.
매우 다양한 디스플레이 디바이스들 상에서 만족스러운 렌더링을 가능하게 하는 다목적 3-D 비디오 신호의 필요성이 존재한다. 상세한 설명에 이어지는 독립 청구항들은 이러한 필요성을 보다 잘 처리하는 본 발명의 다양한 양태들을 규정한다. 종속 청구항들은 본 발명을 유리하게 실시하기 위한 부가적인 특징들을 규정한다.
본 발명의 양태에 따르면, 3-D 화상은 다음과 같이 제공된다. 시청자의 한쪽 눈을 위해 의도되는 제 1 화상 및 시청자의 다른 쪽 눈을 위해 의도되는 제 2 화상을 포함하는 한 쌍의 화상들이 제공된다. 또한, 제 1 화상에 특별히 전용된 깊이 맵이 제공된다. 깊이 맵은 깊이 표시 값들을 포함한다. 깊이 표시 값은 제 1 화상의 특정 부분과 관련되고, 제 1 화상의 그 부분에 의해 적어도 부분적으로 표시되는 오브젝트와 시청자 사이의 거리를 나타낸다.
일반적으로, 화상들의 쌍은 상이한 뷰포인트들로부터의 장면을 나타낸다. 렌더링 종단에서, 시프트된 뷰포인트 화상이 제 1 화상 및 깊이 맵으로부터 생성될 수 있다. 시프트된 뷰포인트 화상은 제 1 화상의 뷰포인트과는 다른 뷰포인트로부터의 장면을 나타낸다. 시프트된 뷰포인트 화상 및 제 2 화상은 이와 같이 제 1 화상 및 제 2 화상을 디스플레이함으로써 얻어지는 것과는 다른 시각적 3-D 렌더링을 가능하게 하는 새로운 화상 쌍을 공동으로 구성한다. 뷰포인트의 면에서, 제 1 화상과 관련된 시프트된 뷰포인트 화상의 시프트의 량을 조정함으로써 적절한 렌더링이 이루어질 수 있다. 시프트의 량은 일반적으로 렌더링 콘텍스트에 의존적일 수도 있으며, 더 큰 화면 또는 더 작은 화면은 적절한 시프트의 량에 의해 조절될 수 있다. 중요하게, 시프트된 뷰포인트 화상은 제 1 화상 및 제 1 화상에 특별히 전용되는 깊이 맵으로부터 비교적 정확하면서도 간단한 방식으로 생성될 수 있다. 따라서, 비용 면에서 효율적인 방식으로 매우 다양한 디스플레이 디바이스들 상에서 만족스러운 시각적 3-D 렌더링이 이루어질 수 있다.
본 발명에 따라 제공되는 3-D 화상 또는 그 시퀀스는 또한 자동-스테레오스코픽 디스플레이 디바이스들에 의한 렌더링에 특히 적합하다는 것을 유념해야 한다. 이러한 렌더링은 일반적으로 다수의 시프트된 뷰포인트 화상들을 생성하는 것을 수반하고, 이러한 뷰포인트 화상들 각각은 특정 뷰포인트과 관계된 장면을 나타낸다. 이들 다수의 시프트된 뷰포인트 화상들은 제 1 화상 및 제 1 화상에 특별히 전용되는 깊이 맵으로부터 비교적 간단한 방식으로 생성될 수 있다. 제 2 화상은 실제로 자동-스테레오스코픽 렌더링의 목적 때문에 무시될 수 있다. 따라서, 깊이 맵은 실제로 두 가지 목적들 즉, 특정 렌더링 콘텍스트에 적응시키기 위한 첫 번째 목적, 및 자동-스테레오스코픽 디스플레이에 의한 렌더링의 경우에 다수의 시프트된 뷰포인트 화상들을 생성하기 위한 두 번째 목적을 위해 이용될 수 있다.
본 발명에 따라 제공되는 3-D 화상 또는 그 시퀀스는 일반적으로 한 쌍의 화상들만을 포함하는 기본 3-D 화상과 비교되는 적당량의 부가 데이터를 포함할 것이다. 이것은 깊이 맵이 일반적으로 장면의 시각 표시를 구성하는 화상과 비교되는 적당량의 데이터를 포함할 것이기 때문이다. 깊이 맵은 깊이 맵이 속하는 화상보다 낮은 해상도를 가질 수 있다. 또한, 깊이 맵은 화소 또는 화소들의 클러스터에 대해 단일 값을 포함하는 것만을 필요로 하는 반면, 화상은 일반적으로 화소에 대해 여러 가지 값들 즉, 휘도 값 및 2개의 색차 값들을 포함한다. 따라서 예를 들면, 기본 3-D 비디오를 저장하기에 충분한 용량을 제공하는 DVD 디스크와 같은 저장 매체는 또한 본 발명에 따라 제공되는 3-D 비디오를 저장하기에 충분한 용량을 제공할 것이다. 유사하게, 기본 3-D 비디오의 송신을 가능하게 하는 송신 채널은 일반적으로 본 발명에 따라 제공되는 3-D 비디오의 송신을 또한 가능하게 할 것이다. 따라서, 상술된 이점들은 저장 용량이나 대역폭, 또는 양쪽 모두의 면에서 비교적 작은 투자만으로 달성될 수 있다.
본 발명의 실시예는 유리하게 개별적인 종속 청구항들과 대응하는 별개의 문단들에 기술되는 다음의 부가적인 특징들 중 하나 이상을 포함한다.
바람직하게, 렌더링 가이던스 데이터(rendering guidance data)는 각각의 렌더링 콘텍스트들에 대한 각각의 파라미터들을 명시한다. 각각의 파라미터들은 제 1 화상 및 제 1 화상에 특별히 전용되는 깊이 맵으로부터, 시프트된 뷰포인트 화상을 생성하는 것과 관련된다.
렌더링 가이던스 데이터는 바람직하게 제 1 스테레오 모드를 위한 파라미터들의 세트 및 제 2 스테레오 모드를 위한 한 세트의 파라미터들을 포함한다. 제 1 스테레오 모드에서, 제 1 화상 및 깊이 맵으로부터 생성되는 시프트된 뷰포인트 화상은 렌더링된 제 1 화상을 구성하고, 제 2 화상은 렌더링된 제 2 화상을 구성한다. 제 2 스테레오 모드에서, 제 1 화상은 렌더링된 제 1 화상을 구성하고, 제 1 화상 및 깊이 맵으로부터 생성되는 시프트된 뷰포인트 화상은 렌더링된 제 2 화상을 구성한다.
상술된 파라미터들의 각각의 세트들에는 바람직하게, 제 1 스테레오 모드가 적용되어야 하는 제 1 스테레오 강도 범위, 및 제 2 스테레오 모드가 적용되어야 하는 제 2 스테레오 강도 범위의 규정이 제공된다.
렌더링 가이던스 데이터는 각각의 깊이 표시 값들에 대한 각각의 최대 시차(parallax) 시프트 값들을 규정할 수 있다.
렌더링 가이던스 데이터는 각각의 화면 크기들에 대한 각각의 시차 오프셋 값들을 규정할 수 있다.
렌더링 가이던스 데이터는 깊이 맵 정확도의 표시를 포함할 수 있다.
바람직하게, 제 1 화상에 특별히 전용되는 배경 화상이 제공된다.
또한, 바람직하게 제 1 화상에 특별히 전용되는 알파-맵이 제공된다. 알파-맵은 왼쪽 화상, 깊이 맵 및 배경 화상으로부터 생성될 수 있는 시프트된 뷰포인트 화상에서의 점진적 전이들(gradual transitions)을 규정한다.
본 발명은 또한, 제 1 화상, 제 2 화상 및 깊이 맵이 신호의 전송을 위한 미리 결정된 대역폭에 동조된 해상도로 제공되고, 이미지 및 깊이 성분들에 기초한 렌더링에 이용하기 위한 추가 데이터를 제공하는 여분의 프레임들이 인코딩되는 청구항 제 1 항에 청구된 것과 같은 방법으로 구체화된다.
근본적인 발상은 제 1 화상, 제 2 화상 및 깊이 맵이 원래의 해상도로 제 1 및 제 2 화상을 전송하기 위한 이용가능한 대역폭에 동조된 해상도로 제공될 수 있다는 것이다. 이미지 및 깊이 성분들에 기초한 렌더링에 이용하기 위한 추가 데이터를 제공하기 위해서 여분의 프레임들이 차례로 제공된다.
본 발명은 또한, 제 1 화상, 제 2 화상 및 깊이 맵이 신호의 전송을 위한 미리 결정된 대역폭에 동조된 해상도로 제공되고, 이미지 및 깊이 성분들에 기초한 렌더링에 이용하기 위한 추가 데이터를 제공하는 여분의 프레임들이 인코딩되는 3-D 화상 제공 시스템으로 구체화된다.
본 발명은 또한, 시청자의 한쪽 눈을 위해 의도되는 제 1 화상(LP) 및 시청자의 다른 쪽 눈을 위해 의도되는 제 2 화상(RP)을 포함하는 한 쌍의 화상들, 및 제 1 화상(LP)에 특별히 전용된 깊이 맵(DM)을 포함하고, 깊이 맵은 깊이 표시 값들을 포함하고, 깊이 표시 값은 제 1 화상의 특정 부분과 관련되고 제 1 화상의 그 부분에 의해 적어도 부분적으로 표시되는 오브젝트와 시청자 사이의 거리를 나타내고, 제 1 화상, 제 2 화상 및 깊이 맵은 신호의 전송을 위한 미리 결정된 대역폭에 동조된 해상도로 제공되고, 이미지 및 깊이 성분들에 기초한 렌더링에 이용하기 위한 추가 데이터를 제공하는 여분의 프레임들이 인코딩되는 3-D 화상을 전달하는 신호로 구체화된다.
본 발명은 또한 청구항 제 19 항에 따른 신호를 포함하는 저장 매체로 구체화된다.
상세한 설명은 도면들을 참조하여, 상기 개괄된 발명 및 부가적인 특징들을 기술한다.
도 1은 3-D 비디오 생성 시스템을 도시하는 블록도.
도 2는 3-D 비디오 생성 시스템이 제공하는 다목적 3-D 비디오 신호를 도시하는 개념도.
도 3은 다목적 3-D 비디오 신호에 의해 가능한 제 1 스테레오 모드를 도시하는 개념도.
도 4는 다목적 3-D 비디오 신호에 의해 가능한 제 2 스테레오 모드를 도시하는 개념도.
도 5는 보충된 다목적 3-D 비디오 신호를 도시하는 개념도.
도 6은 보충된 다목적 3-D 비디오 신호에 포함될 수도 있는 렌더링 가이던스 데이터의 예를 도시하는 데이터 도면.
도 7은 보충된 다목적 3-D 비디오 신호에 포함될 수도 있는 렌더링 가이던스 데이터의 또 다른 예를 도시하는 데이터 도면.
도 8은 보충된 다목적 3-D 비디오 신호에 포함될 수도 있는 렌더링 가이던스 데이터의 또 다른 예를 도시하는 데이터 도면.
도 9는 보충된 다목적 3-D 비디오 신호를 제공할 수 있는 3-D 비디오 보충 시스템을 도시하는 블록도.
도 10은 3-D 비디오 신호 보충 시스템이 실행할 수도 있는 일련의 단계들을 도시하는 흐름도.
도 11은 다목적 3-D 비디오 신호에 기초한 스테레오스코픽 렌더링을 가능하게 하는 비디오 렌더링 시스템을 도시하는 블록도.
도 12는 자동-스테레오스코픽 디스플레이 디바이스를 포함하는 대안적인 비디오 렌더링 시스템을 도시하는 블록도.
도 13은 30㎐ 프로그레시브 또는 60㎐ 인터레이스의 모노스코픽(monoscopic) 비디오를 위한 BD 플레이어들에 대한 개요를 도시하는 도면.
도 14는 L'R'D' 신호가 모노스코프 1080p 24㎐ 모노 신호에 필요한 것과 대략 동일한 비트-레이트를 갖는 AVC/H264 또는 MVC를 이용하여 어떻게 효과적으로 코딩될 수 있는지에 관한 예를 도시하는 도면.
도 15는 3D 블루-레이(Blu-ray) 애플리케이션들에 대한 다양한 모드들 및 옵션들을 도시하는 도면.
도 16은 L R D(2:2:1 프레임 레이트 비율)의 (AVC/H264에 의한) 비트-레이트 및 메모리 효율적인 공동 코딩의 예를 도시하는 도면.
도 17은 깊이 및 투명도 성분들이 12㎐로 인코딩되고 깊이 및 투명도가 상이한 위상들과 관련되는 코딩 예를 도시하는 도면.
도 18은 12㎐ 및 24㎐ 깊이 성분들이 혼합된 코딩 예를 도시하는 도면.
도 19는 LRDD' 모드에서의 프레임 인터리빙(frame interleaving)과 압축, 및 D와 D'프레임들의 각각의 콘텐트들을 도시하는 도면.
도 20은 깊이 및 투명도를 위한 빈 공간(room)을 생성하기 위한 다양한 서브샘플링 방법들을 도시하는 도면.
도 1은 3-D 비디오 생성 시스템(GSY)을 도시한다. 3-D 비디오 생성 시스템(GSY)은 한 쌍의 카메라들인 오른쪽 카메라(RCAM) 및 왼쪽 카메라(LCAM), 기록 프로세서(RPR), 및 저장 매체(STM)를 포함한다. 깊이 스캐너(DS)는 왼쪽 카메라(LCAM)와 연관된다. 한 쌍의 카메라들(RCAM, LCAM)은 장면(SCN)의 3-D 비디오를 촬상하기 위해 장면(SCN) 쪽으로 향해 있다. 장면(SCN)은 예를 들면, 사람, 나무, 집, 및 하늘의 태양과 같은 다양한 오브젝트들을 포함한다. 각 오브젝트는 장면(SCN)을 보고 있는 가상의 관찰자로서 간주될 수도 있는 한 쌍의 카메라들에 대해 주어진 거리를 갖는다.
오른쪽 카메라(RCAM) 및 왼쪽 카메라(LCAM)는 각각 전통적인 카메라일 수 있다. 기록 프로세서(RPR)는 예를 들면, 명령-실행 디바이스, 및 이하 기술될 기록 프로세서(RPR)의 동작들을 규정하는 한 세트의 명령들이 로딩되어 있는 프로그램 메모리를 포함할 수 있다. 저장 매체(STM)는 예를 들면, 하드디스크, 기록 가능한 광학 디스크, 또는 고체-상태 메모리의 형태일 수 있다. 깊이 스캐너(DS)는 예를 들면, 여러 방향들로 조향될 수 있는 레이저 빔, 및 레이저 빔의 반사들을 검출하는 센서를 포함할 수 있다. 또 다른 예로서, 깊이 스캐너(DS)는 레이더 촬상 모듈을 포함할 수 있다. 또 다른 예로서, 깊이 스캐너는 깊이 맵들을 오프-라인으로 생성하는 인간의 형태일 수조차도 있다.
3-D 비디오 생성 시스템(GSY)은 기본적으로 다음과 같이 동작한다. 한 쌍의 카메라들(RCAM, LCAM)은 화상 쌍들의 시퀀스로 형성되는 장면(SCN)의 기본 3-D 비디오를 제공한다. 화상 쌍은 오른쪽 화상 및 왼쪽 화상을 포함한다. 오른쪽 카메라(RCAM)에 의해 촬상되는 오른쪽 화상은 인간 관찰자의 오른쪽 눈을 위해 의도된 것이다. 왼쪽 카메라(LCAM)에 의해 촬상되는 왼쪽 화상은 인간 관찰자의 왼쪽 눈을 위해 의도된 것이다.
오른쪽 카메라(RCAM) 및 왼쪽 카메라(LCAM)는 서로에 대하여 특정 위치 관계를 갖는다. 이 위치 관계는 예를 들면, 화면 크기 및 시청 거리에 관하여 일반적인 렌더링 콘텍스트에 의해 규정될 수 있다. 예를 들면, 상호 관계를 갖는 오른쪽 화상들의 시퀀스 및 왼쪽 화상들의 시퀀스를 포함하는 기본 3-D 비디오는 일반적인 12미터 화면 크기 및 일반적인 18미터 시청 거리를 갖는 영화관에서의 디스플레이를 위한 것일 수 있다.
왼쪽 카메라(LCAM)가 왼쪽 화상을 촬상하는 동안, 깊이 스캐너(DS)는 왼쪽 화상에 대한 일련의 깊이 측정들을 실행한다. 깊이 측정은 관련된 왼쪽 화상의 특정 부분에 대한 깊이 표시 값을 제공한다. 이러한 특정 부분은 단일 화소 또는 블록을 구성할 수도 있는 화소들의 클러스터를 포함할 수 있다. 예를 들면, 왼쪽 화상은 실질적으로 여러 개의 픽셀들의 블록들로 분할될 수도 있고, 이에 의해 깊이 스캐너(DS)는 각각의 픽셀들의 블록들에 대한 각각의 깊이 표시 값들을 제공한다. 장면(SCN) 내의 사람을 부분적으로 나타내는 픽셀들의 블록에 있어서, 깊이 스캐너(DS)는 장면(SCN) 내의 사람과 가상 관찰자 사이의 거리를 나타내는 깊이 표시 값을 제공할 수 있다.
따라서, 기록 프로세서(RPR)는 깊이 스캐너(DS)가 이 왼쪽 화상을 위해 제공하는 각각의 깊이 표시 값들을 포함하는 왼쪽 화상에 대한 깊이 맵을 생성할 수 있다. 이러한 깊이 맵은 2-D에서 3-D로 추가의 차원을 부가하는 왼쪽 화상의 확장으로서 간주될 수 있다. 즉, 깊이 맵은 휘도 값 및 관련 화소에 대한 한 쌍의 색차 값들을 포함하는 깊이 표시 값을 왼쪽 화상의 화소에 부가한다. 깊이 맵은 특별히 왼쪽 화상에 전용되며, 깊이 표시 값은 왼쪽 화상의 적어도 하나의 화소와 연관되지만, 깊이 표시 값을 오른쪽 화상의 임의의 화소와 연관시키는 것은 가능하지 않을 수 있다. 깊이 맵은 왼쪽 화상보다 낮은 해상도를 가질 수 있다. 그 경우에, 인접 화소들은 화소들의 클러스터에 적용하는 동일한 깊이 표시 값을 공유한다.
깊이 표시 값들은 많은 상이한 형태들로 제공될 수 있다는 것을 유념해야 한다. 예를 들면, 깊이 표시 값은 일반적인 화면 폭, 일반적인 시청 거리 및 일반적인 눈 거리에 대하여 규정되는 시차 값의 형태일 수 있다. 이러한 시차 값은 거리 값으로 전환될 수 있다.
기록 프로세서(RPR)는 또한 왼쪽 화상에 대한 배경 화상을 생성할 수 있다. 배경 화상은 전경 위치를 갖는 다른 오브젝트들에 의해 왼쪽 화상에서 가려지는 오브젝트들 또는 그 일부들을 나타낸다. 즉, 배경 화상은 전경 위치를 갖는 왼쪽 화상에서 오브젝트 뒤에 무엇이 있는지에 관한 정보를 제공한다. 이 정보는 깊이 맵에 기초하여 왼쪽 이미지의 3-D 표시를 생성할 때 유리하게 이용될 수 있다. 도 1을 참조하면, 집은 배경 위치를 갖지만, 사람은 전경 위치를 가지므로, 왼쪽 화상에서의 집의 일부를 가릴 수 있다. 따라서, 배경 화상은 왼쪽 화상에서는 사람에 의해 가려지는 집의 일부를 적어도 부분적으로 포함할 수 있다. 배경 화상은 또한 특별히 전용되는 깊이 맵을 포함할 수 있다는 것을 유념해야 한다. 달리 말하면, 배경 화상은 깊이 정보 뿐만 아니라, 텍스처 정보를 포함할 수도 있으며, 이는 가려진 오브젝트들의 3-D 표시를 제공한다. 기록 프로세서(RPR)는 예를 들면, 오른쪽 화상에 포함된 정보에 기초하여 왼쪽 화상에 대한 배경 화상을 생성할 수 있다.
기록 프로세서(RPR)는 또한 특별히 왼쪽 화상에 전용되는 알파-맵을 생성할 수 있다. 알파-맵은 유리하게 왼쪽 화상, 깊이 맵 및 배경 화상으로부터 생성되는 시프트된 뷰포인트 화상에서의 점진적 전이들을 제공하기 위해 이용될 수 있다. 이것은 감지된 화질에 기여한다. 알파-맵은 왼쪽 화상으로부터의 기여도 및 시프트된 뷰포인트 화상의 특정 부분에 대한 배경 화상으로부터의 기여도를 결정할 수도 있는 한 세트의 총 가중 계수들로서 간주될 수 있다. 이러한 알파-맵은 부드러운 전이들을 가능하게 하는 상이한 화상 부분들에 대한 상이한 융합 파라미터들을 규정할 수 있다.
기록 프로세서(RPR)는 오른쪽 카메라(RCAM) 및 왼쪽 카메라(LCAM)가 제공하는 요소들을 기본 3-D 비디오에 부가함으로써 다목적 3-D 비디오 신호(VS)를 생성한다. 이들 요소들은 깊이 맵들을 포함하고, 선택적으로는 이하 기술되는 바와 같이 생성될 수도 있는 배경 화상들 및 알파-맵들을 포함한다. 저장 매체(STM)는 다목적 3-D 비디오 신호(VS)를 저장한다. 다목적 3-D 비디오 신호(VS)에는 광범위한 디스플레이들 상에서의 만족스러운 3-D 렌더링에 기여하는 추가적인 처리가 행해질 수 있다. 이것은 이하 보다 상세히 기술될 것이다.
도 2는 다목적 3-D 비디오 신호(VS)를 도시한다. 다목적 3-D 비디오 신호(VS)는 다목적 3-D 화상들의 시퀀스(..., VPn -1, VPn, VPn 1, VPn- 2, ...)를 포함한다. 다목적 3-D 화상은 주어진 순간에 도 1에 도시된 장면(SCN)의 3-D 표시를 구성한다. 도 2는 임의의 다목적 3-D 화상(VPn)의 세부 사항들을 도시한다. 다목적 3-D 화상(VPn)은 공동으로 기본 3-D 화상을 구성하는 오른쪽 화상(RP) 및 왼쪽 화상(LP)을 포함한다. 오른쪽 화상(RP)은 인간 관찰자의 오른쪽 눈을 위해 의도된 장면(SCN)의 종합적 표시를 제공하지만, 왼쪽 화상(LP)은 인간 관찰자의 왼쪽 눈을 위해 의도된 장면의 종합적 표시를 제공한다.
다목적 3-D 화상은 또한 깊이 맵(DM)을 포함하고, 바람직하게는 배경 화상(BG) 및 도 2에는 도시되지 않은 알파-맵을 포함한다. 깊이 맵(DM)은 상술된 바와 같이 특별히 왼쪽 화상(LP)에 전용된다. 깊이 맵(DM)은 그레이 스케일 값이 왼쪽 이미지에서의 특정 화소, 또는 화소들의 특정 클러스터에 관한 깊이 표시 값에 대응하는 그레이 스케일 이미지로서 간주될 수 있다. 비교적 낮은 깊이 표시 값은 비교적 근접한 오브젝트를 나타내는 밝은 톤에 대응할 수도 있는 반면에, 비교적 높은 깊이 표시 값은 비교적 멀리 있는 오브젝트를 나타내는 어두운 톤에 대응할 수도 있으며, 또는 그 반대도 마찬가지이다. 배경 화상(BG)은 또한 바람직하게는 왼쪽 화상(LP)에 특별히 전용된다. 실제로, 배경 화상(BG)은 부분적으로 또는 전체적으로 가려지는 오브젝트들이 배경 화상(BG)에 표시된다는 점에서 왼쪽 화상(LP)의 확장을 구성한다. 존재한다면, 알파-맵은 또한 왼쪽 화상(LP)에 특별히 전용된다.
따라서, 다목적 3-D 비디오 신호(VS)는 상기 언급된 기본 3-D 비디오에 대응하는 기본 3-D 화상들의 시퀀스를 포함한다. 또한, 다목적 3-D 비디오 신호(VS)는 수반하는 깊이 맵들의 시퀀스를 포함하고, 바람직하게는 수반하는 배경 화상들의 시퀀스 및 수반하는 알파-맵들의 시퀀스를 포함한다. 상기 설명된 바와 같이, 이들 부가적인 요소들은 기본 3-D 비디오에 포함된 왼쪽 화상들에 특별히 전용된다.
다목적 3-D 비디오 신호(VS)에 포함되는 기본 3-D 비디오는 스테레오스코픽 디스플레이 디바이스 상에 디스플레이될 수 있어 왼쪽 화상들 및 오른쪽 화상들이 각각 시청자의 왼쪽 눈 및 오른쪽 눈에 인가된다. 스테레오스코픽 디스플레이는 주어진 화면 크기를 갖고, 시청자는 스테레오스코픽 디스플레이 디바이스로부터 주어진 거리에 있다. 이것은 주어진 렌더링 콘텍스트를 규정한다.
실제 렌더링 콘텍스트는 기본 3-D 비디오가 의도된 일반적인 렌더링 콘텍스트와 유사할 수 있다. 그 경우에, 장면(SCN)의 만족스러운 3-D 표시가 얻어진다. 예를 들면, 상기 언급된 바와 같이, 기본 3-D 비디오가 일반적인 12미터 화면 크기 및 일반적인 18미터 시청 거리를 갖는 영화관에서의 디스플레이를 위한 것이라고 가정하자. 기본 3-D 비디오가 이러한 영화관에서 렌더링되는 경우에, 장면의 만족스러운 3-D 표시가 얻어진다.
그러나, 실제 렌더링 콘텍스트가 기본 3-D 비디오를 위한 일반적인 렌더링 콘텍스트와 상이한 경우에, 이것은 장면(SCN)의 3-D 표시가 덜 만족스러운 결과를 가져올 수 있다. 이것은 예를 들면, 기본 3-D 비디오가 상술된 바와 같이 영화관에서의 디스플레이를 위한 것인 반면에, 기본 3-D 비디오가 1미터의 화면 크기 및 2½미터의 일반적인 시청 거리를 갖는 가정용 비디오 세트 상에서 렌더링되는 경우일 수 있다. 이것은 시청자가 영화관에서 보다 작은 정도의 깊이를 경험할 것이라는 점에서 깊이 효과가 감소되는 결과를 가져올 수 있다. 더욱이, 이것은 영화관에서 화면 뒤쪽으로 멀리 나타나는 오브젝트가 가정용 세트의 화면의 거의 앞쪽에서 나타난다는 점에서, 시청자 쪽으로의 깊이 시프트의 결과를 가져올 수 있다. 간단히 말해서, 영화관을 위한 3-D 비디오가 가정에서 시청될 때, 3-D 비디오는 영화관에서와는 완전히 다르게 보여질 것이다.
렌더링 콘텍스트가 렌더링 콘텍스트와는 다른 경우에 약간의 정정의 형식을 제공하는 것이 가능하다. 보간법 또는 보외법에 의한 촬상된 화상 쌍에 기초하여 새로운 화상 쌍이 생성될 수 있다. 그러나, 이러한 정정은 비교적 복잡하고, 따라서, 복잡한 하드웨어나 소프트웨어 또는 양쪽 모두를 수반하여 비용이 많이 든다. 더욱이, 이러한 정정은 어느 것을 적용하든, 보간법 에러들 또는 보외법 에러들에 의해 야기된 인지가능한 아티팩트들을 도입할 수 있다.
도 2에 도시된 다목적 3-D 비디오 신호(VS)는 매우 다양한 콘텍스트들에서의 만족스러운 3-D 표시를 가능하게 한다. 상술된 예에 관하여, 영화관을 위한 3-D 비디오는 가정에서 유사하게 보여질 수 있다. 이것은 촬상된 화상 쌍에서 하나의 화상(이 경우에는 왼쪽 화상(LP))에 특별히 전용되는 깊이 맵(DM)의 부가로 인해 달성된다.
깊이 맵(DM)은 비교적 간단하고 정교한 방식으로 왼쪽 화상(LP)에 기초하여 새로운 화상을 생성하는 것을 가능하게 한다. 이 새로운 화상은 왼쪽 화상(LP)의 것과는 조금 상이한 뷰포인트로부터의 장면(SCN)을 표시한다. 뷰포인트는 왼쪽 화상(LP)의 뷰포인트의 오른쪽으로 조금 또는 왼쪽으로 조금 시프트될 수 있다. 따라서, 새로운 화상은 이하 시프트된 뷰포인트 화상으로서 언급될 것이다. 원칙적으로, 시프트된 뷰포인트 화상은 오른쪽 화상(RP)의 뷰포인트과 동일한 뷰포인트로부터의 장면(SCN)을 표시할 수 있다. 이러한 특정 경우에, 시프트된 뷰포인트 화상은 오른쪽 화상(RP)과 이상적으로 부합되어야 한다.
도 3 및 도 4는 도 2에 도시된 다목적 3-D 비디오 신호(VS)에 의해 가능한 2개의 상이한 스테레오 모드들을 도시한다. 이들 스테레오 모드들은 각각 스테레오 모드 A 및 스테레오 모드 B로서 언급될 것이다. 각 스테레오 모드에서, 다목적 3-D 화상에 기초하여 디스플레이 디바이스 상에 디스플레이하기 위한 렌더링된 화상들의 쌍이 제공된다. 렌더링된 화상들의 쌍은 각각 시청자의 왼쪽 눈 및 오른쪽 눈에 인가되는 렌더링된 왼쪽 화상(LR) 및 렌더링된 오른쪽 화상(RR)을 포함한다. 도 3 및 도 4는 각각 화면 시차를 나타내는 수평 축을 포함한다. 화면 시차는 뷰포인트의 변경에 기인하는 디스플레이 상에서의 위치 시프트이다. 따라서, 상기 규정된 바와 같은 시프트된 뷰포인트 화상에서의 오브젝트는 왼쪽 화상(LP)에서의 동일한 오브젝트에 대해 시프트될 수 있다.
도 3은 스테레오 모드 A를 도시한다. 이 스테레오 모드에서, 다목적 3-D 화상에 포함된 오른쪽 화상(RP)은 렌더링된 오른쪽 화상(RR)을 구성한다. 즉, 렌더링된 오른쪽 화상(RR)은 오른쪽 화상(RP)의 단순한 사본이다. 상기 언급된 바와 같이, 왼쪽 화상(LP) 및 깊이 맵(DM)에 기초하여 생성되는 시프트된 뷰포인트 화상은 렌더링된 왼쪽 화상(LR)을 구성한다.
도 3은 2개의 상이한 시프트된 뷰포인트 화상들 즉, 왼쪽-시프트된 뷰포인트 화상(LP+S) 및 오른쪽-시프트된 뷰포인트 화상(LP-S)을 도시한다. 왼쪽-시프트된 뷰포인트 화상(LP+S)은 왼쪽 화상(LP)의 뷰포인트에 대해 왼쪽에 있는 뷰포인트로부터의 장면(SCN)을 표시한다. 이 시프트된 뷰포인트 화상은 왼쪽 화상(LP)에 대해 양의 시차 시프트(P+2)을 갖는다. 오른쪽-시프트된 뷰포인트 화상(LP-S)은 왼쪽 화상(LP)의 뷰포인트에 대해 오른쪽에 있는 뷰포인트로부터의 장면(SCN)을 표시한다. 이 시프트된 뷰포인트 화상은 왼쪽 화상(LP)에 대해 음의 시차 시프트(P-2)을 갖는다. 도 3은 또한 왼쪽 화상(LP)이 렌더링된 왼쪽 화상(LR)을 구성하는 특정 경우를 도시하고 있으며, 후자는 첫 번째 것의 단순한 사본이다.
왼쪽-시프트된 뷰포인트 화상(LP+S)이 렌더링된 왼쪽 화상(LR)을 구성하는 경우에, 시청자는 왼쪽 화상(LP)이 렌더링된 왼쪽 화상(LR)을 구성할 때보다 더 큰 깊이 효과를 경험한다. 스테레오 강도가 증가한다. 반대로, 오른쪽-시프트된 뷰포인트 화상(LP-S)이 렌더링된 왼쪽 화상(LR)을 구성하는 경우에, 시청자는 왼쪽 화상(LP)이 렌더링된 왼쪽 화상(LR)을 구성할 때보다 작은 깊이 효과를 경험한다. 스테레오 강도가 감소한다. 명백하게, 왼쪽-시프트는 스테레오 강도를 증가시키지만, 오른쪽-시프트는 스테레오 강도를 감소시킨다.
스테레오 강도는 시차의 면에서 평가될 수 있다. 예를 들면, 표준 스테레오 강도는 왼쪽 화상(LP)이 렌더링된 왼쪽 화상(LR)을 구성할 때 얻어지는 도 3에 나타낸 시차(P8)에 대응할 수 있다. 최대 스테레오 강도는 왼쪽-시프트된 뷰포인트 화상(LP+S)이 렌더링된 왼쪽 화상(LR)을 구성할 때 얻어지는 도 3에 나타낸 시차(P10)에 대응할 수 있다. 시차(P10)는 양의 시차 시프트(P+2)이 적용되는 시차(P8)에 대응한다. 중간 스테레오 강도는 오른쪽-시프트된 뷰포인트 화상(LP-S)이 렌더링된 오른쪽 화상(RR)을 구성할 때 얻어지는 도 3에 나타낸 시차(P6)에 대응할 수 있다. 시차(P6)는 음의 시차 시프트(P-2)이 적용되는 시차(P8)에 대응한다.
도 4는 스테레오 모드 B를 도시한다. 이 스테레오 모드에서, 다목적 3-D 화상에 포함된 왼쪽 화상(LP)은 렌더링된 왼쪽 화상(LR)을 구성한다. 즉, 렌더링된 왼쪽 화상(LR)은 왼쪽 화상(LP)의 단순한 사본이다. 상술된 바와 같이, 왼쪽 화상(LP) 및 깊이 맵(DM)에 기초하여 생성되는 오른쪽-시프트된 뷰포인트 화상(LP-S)은 렌더링된 오른쪽 화상(RR)을 구성한다. 오른쪽-시프트된 뷰포인트 화상(LP-S)은 왼쪽 화상(LP)에 대해 음의 시차 시프트(P-4)을 갖는다. 스테레오 강도는 전적으로 이 음의 시차 시프트에 의해 결정된다. 오른쪽 화상(RP)은 스테레오 모드 B에서 임의의 특정 역할을 실행할 필요가 없다. 즉, 오른쪽 화상(RP)은 실제로 스테레오 모드 B에서 무시될 수 있다.
스테레오 모드 A는 바람직하게 최대 스테레오 강도 및 중간 스테레오 강도 사이에 포함되는 스테레오 강도 범위에서 이용된다. 표준 스테레오 강도는 이 범위에 포함된다. 스테레오 모드 B는 바람직하게 중간 스테레오 강도 및 최소 스테레오 강도 사이에 포함되는 스테레오 강도 범위에서 이용된다. 즉, 스테레오 모드 B는 비교적 작은 깊이 효과를 원할 때 이용될 수 있다. 최소 스테레오 강도는 어떠한 깊이 효과도 없는 것 즉, 완전한 2차원 표시에 대응할 수 있다. 이러한 극단의 경우에, 시차는 0과 같으며, 렌더링된 왼쪽 화상(LR) 및 렌더링된 오른쪽 화상(RR)은 동일하다.
따라서, 시프트된 뷰포인트 화상을 생성하고, 각각 스테레오 모드 A가 적용되는지 스테레오 모드 B가 적용되는지에 의존하여 오른쪽 화상(RP) 또는 왼쪽 화상(LP)을 시프트된 뷰포인트 화상과 조합함으로써, 원하는 스테레오 강도가 얻어질 수 있다. 시프트된 뷰포인트 화상은 왼쪽 화상(LP) 및 미리 규정된 일반적인 규칙에 따라 그와 연관되는 깊이 맵(DM)에 기초하여 생성될 수 있다. 이 미리 규정된 일반적인 규칙은 기하학적 관계들에 기초할 수도 있고, 모든 상이한 뷰포인트들에 대해 적용할 수 있다. 이러한 방식에서, 왼쪽 화상(LP)의 화소는 이를 테면, 3개의 인자들 즉, 원하는 스테레오 강도, 상기 설명된 바와 같이 화소에 대해 깊이 맵(DM)이 제공하는 깊이 표시 값, 및 미리 규정된 일반 공식에 의해 배타적으로 결정되는 양만큼 시프트된다. 이와 같이 시프트된 화소는 시프트된 뷰포인트 화상의 화소를 구성한다.
그러나, 시프트된 뷰포인트 화상이 예를 들면, 화면 크기와 같은 하나 이상의 렌더링 파라미터들을 고려하는 콘텍스트-종속적 방식으로 생성되는 경우에, 보다 유리한 렌더링 결과들이 얻어질 수 있다. 또한, 저자 또는 다른 사람은 주어진 3-D 비디오가 주어진 렌더링 콘텍스트에서 어떻게 보여져야 하는지를 규정하는 것을 원할 수 있다. 즉, 저자는 물리적 오브젝트들 간의 기하학적 관계들에 기초한 3-D 렌더링에 반드시 대응할 필요가 없는 바람직한 3-D 렌더링을 표현할 수 있다. 3-D 렌더링은 예술적 선호도들을 수반할 수 있다.
도 5는 이전 단락에서 언급된 포인트들을 다루는 보충된 다목적 3-D 비디오 신호(SVS)를 도시한다. 보충된 다목적 3-D 비디오 신호(SVS)는 다목적 3-D 화상들의 시퀀스(..., VPn-1, VPn, VPn1, VPn-2, ...)를 동반하는 렌더링 가이던스 데이터(GD)를포함한다. 따라서, 보충된 다목적 3-D 비디오 신호(SVS)는 도 2에 도시된 다목적 3-D 비디오 신호(VS)에 렌더링 가이던스 데이터(GD)를 부가함으로써 얻어질 수 있다.
렌더링 가이던스 데이터(GD)는 왼쪽 화상 및 이 왼쪽 화상에 특별히 전용된 깊이 맵에 기초한 시프트된 뷰포인트 화상의 생성과 관련되는 파라미터들을 포함한다. 렌더링 가이던스 데이터(GD)는 예를 들면, 시프트된 뷰포인트 화상을 생성하는 디폴트 방법을 규정하는 미리 규정된 일반적인 규칙으로부터의 하나 이상의 편차들(deviations)을 명시할 수 있다. 예를 들면, 디폴트 방법과는 상이한 편차들이 상이한 스테레오 강도들에 대해 명시될 수 있다. 유사하게, 상이한 화면 크기들에 대해 상이한 편차들이 명시될 수 있다. 더욱이, 편차는 관심있는 전체 3-D 비디오에 반드시 적용될 필요는 없다. 각각의 편차들은 관심있는 3-D 비디오에서의 각각의 장면들에 대해 또는 각각의 3-D 화상들에 대해서도 명시될 수 있다. 따라서, 렌더링 가이던스 데이터(GD)는 바람직하게, 세그먼트가 장면(SCN)을 구성할 수도 있는 3-D 화상들의 특정 시퀀스와 관련되도록 하는 여러 세그먼트들로 구조화된다. 세그먼트는 또한 특정 3-D 화상과 관련될 수 있다.
도 6은 렌더링 가이던스 데이터(GD)의 일부를 형성할 수도 있는 한 세트의 파라미터의 예를 도시한다. 한 세트의 파라미터는 각각 정수 값 즉, 10, 6, 및 5로 나타낸 특정 스테레오 강도와 관련되는 3개의 열들을 포함하는 표의 형태로 표시되며, 10은 최대 스테레오 강도를 나타낸다. 각 열은 스테레오 강도 및 그 스테레오 강도에 이용되는 스테레오 방법을 나타내는 음영으로 채워진 항목을 갖는다.
표는 도 3에 도시된 스테레오 모드 A가 10과 6 사이에 포함되는 스테레오 강도들에 대해 이용되어야 함을 나타낸다. 표는 또한 도 3에 도시된 스테레오 모드 B가 5와 0 사이에 포함되는 스테레오 강도들에 대해 이용되어야 함을 나타낸다. 표는 또한 각각의 깊이 표시 값들을 나타내는 각각의 라인들을 추가로 포함한다. 각각의 깊이 표시 값들은 음영으로 채워진 표의 가장 왼쪽 열에 열거되어 있다.
표는 3개의 상기 언급된 스테레오 강도들(10, 6, 5) 각각에 대하여, 각각의 깊이 표시 값들(DV)에 대한 각각의 최대 시차 시프트들(Pmax)을 명시한다. 화소 유닛들로 표현될 수도 있는 각각의 최대 시차 시프트들(Pmax)은 관련된 열의 백색 영역에 열거되어 있다. 최대 시차 시프트는 시프트된 뷰포인트 화상에서의 화소와 시프트된 뷰포인트 화상이 생성되는 왼쪽 화상에서의 대응하는 화소 사이의 최대 변위를 규정한다. 따라서, 도 6에 도시된 표는 기능적으로는 시프트된 뷰포인트 화상 생성기에서 제한 모듈로서 간주될 수 있다.
표에 명시된 최대 시차 시프트들(Pmax)은 부자연스러운 것으로서 인지될 수 있는 효과들이나 눈의 피로를 야기하는 효과들 또는 그 양쪽 모두를 방지할 수 있다. 상기 설명된 바와 같이, 시프트된 뷰포인트 화상을 생성하는 것은 연관된 왼쪽 화상의 화소들을 시프트하는 것을 수반한다. 일반적으로 시프트의 량은 깊이 표시 값 및 스테레오 강도에 의존한다. 비교적 큰 시프트는 부자연스러운 영향들을 초래하거나 눈의 피로를 야기하거나 다른 부정적인 영향들을 생성할 수 있다. 도 6에 도시된 표에 명시된 최대 시차 시프트들(Pmax)은 시프트의 량이 허용가능한 한계들 내에 있도록 하는 것을 보장함으로써 그러한 부정적인 영향들을 방지할 수 있도록 한다.
10과 6 사이의 및 5와 0 사이의 스테레오 강도들에 대한 적절한 최대 시차 시프트들(Pmax)은 예를 들면, 보간법에 의해 얻어질 수 있다. 이를 위해서, 표는 도 6에서의 10 및 6과 같은 스테레오 모드 A에서의 2개의 상이한 스테레오 강도들, 및 5와 같은 스테레오 모드 B에서의 단일 스테레오 강도에 대한 각각의 최대 시차 시프트들(Pmax)을 명시하는 것으로 충분하다. 스테레오 강도 0에 대한 모든 최대 시차 시프트들(Pmax)은 일반적으로 0과 같은 것으로 고려될 수도 있기 때문에, 스테레오 모드 B에서의 2개의 상이한 스테레오 강도들에 대한 최대 시차 시프트들(Pmax)을 명시할 필요는 없다. 스테레오 강도 0은 모노 렌더링 즉, 어떠한 깊이 효과들도 없는 완전한 2차원 표시에 대응한다.
도 7은 렌더링 가이던스 데이터(GD)의 일부를 형성할 수도 있는 한 세트의 파라미터의 또 다른 예를 도시한다. 한 세트의 파라미터는 각각 정수 값 즉, 10, 8, 6, 5, 3 및 1로서 나타낸 특정 스테레오 강도(STS)와 관련되는 여러 개의 열들을 포함하는 표의 형태로 표시되어 있다. 각 열은 스테레오 강도(STS)를 나타내는 음영으로 채워진 항목을 갖는다. 표는 또한, 음영으로 채워진 표의 제일 왼쪽 열에 표시되어 있는 여러 가지의 상이한 화면 크기들(SZ, 30, 40, 및 50)을 나타내는 여러 개의 라인들을 포함한다.
표는 3개의 상기 언급된 스테레오 강도들(10, 8, 6, 5, 3, 및 1) 각각에 대하여, 여러 상이한 화면 크기들에 대한 각각의 시차 오프셋들(Poff)을 명시한다. 화소 유닛들에서 표시될 수도 있는 각각의 시차 오프셋들(Poff)은 관련된 열의 백색 영역에 열거되어 있다. 시차 오프셋은 시프트된 뷰포인트 화상이 생성되는 왼쪽 화상에서의 각각의 대응하는 화소들에 대한 시프트된 뷰포인트 화상에서의 각각의 화소들에 대한 부가적인 변위를 규정한다. 즉, 시차 오프셋은 시프트된 뷰포인트 화상들을 생성하기 위한 일반적인 미리 규정된 규칙을 적용함으로써 주어진 화소에 대해 얻어지는 특정 시프트에 부가될 전체 시프트를 규정한다. 도 7에 도시된 표는 기능적으로는 시프트된 뷰포인트 화상 생성기에서 출력 오프셋 모듈로서 간주될 수 있다.
시차 오프셋은 관심있는 3-D 비디오가 의도되었던 화면의 크기보다 작은 크기를 갖는 화면 상에 관심있는 3-D 비디오가 렌더링될 때 생성할 수 있는 시청자 쪽으로의 깊이 시프트를 보상할 수 있다. 예를 들면, 영화관의 화면 뒤쪽에서 멀리 나타나는 오브젝트는 상기 언급된 바와 같이, 가정용 세트의 화면의 거의 앞쪽에서 나타날 수 있다. 도 7에 도시된 표에 명시된 시차 오프셋들(Poff)은 적절한 정정을 제공한다. 도 7에 도시된 표에 있는 것과는 다른 화면 크기들 및 스테레오 강도들에 대한 적당한 시차 오프셋들은 예를 들면, 보간법에 의해 얻어질 수 있다.
도 8은 렌더링 가이던스 데이터(GD)의 일부를 형성할 수도 있는 한 세트의 파라미터의 또 다른 예를 도시한다. 한 세트의 파라미터는 열 제목을 나타내는 음영으로 채워진 항목을 각각 갖는 3개의 열들을 포함하는 표의 형태로 표현되어 있다. STS라는 제목의 열은 각각의 스테레오 강도들을 명시한다. Poff라는 제목의 다른 열은 각각의 시차 오프셋들(Poff)을 명시한다. 표는 또한, 표의 제일 왼쪽 열에 표시되어 있는 여러 상이한 화면 크기들(SZ, 3O, 40 및 50인치)을 나타내는 여러 개의 라인들을 포함한다.
표는 여러 상이한 화면 크기들에 대한 스테레오 강도(STS) 및 시차 오프셋(Poff)의 바람직한 조합(OPT)을 명시한다. 스테레오 강도(STS)는 도 6 및 도 7에 도시된 표들에서와 같이 정수 값으로 표시되어 있다. 시차 오프셋(Poff)은 화소 유닛들로 또는 다른 유닛들로 표현될 수 있다. 각 바람직한 조합은 관심있는 3-D 비디오를 위해 의도되는 일반적인 화면 크기와는 다를 수도 있는 관련된 화면 크기에 대해 만족스러운 렌더링을 제공한다. 저자는 만족스러운 렌더링을 규정할 수 있다. 즉, 저자는 도 8에 도시된 표에 의해, 관심있는 3-D 비디오가 무엇이든 관심있는 화면 크기를 갖는 디스플레이 상에 렌더링되는 것처럼 표현할 수 있다. 도 8에 도시된 표에 있는 것과는 다른 화면 크기들에 대한 바람직한 조합은 예를 들면, 보간법에 의해 얻어질 수 있다.
렌더링 가이던스 데이터(GD)는 또한 깊이 맵 정확도 및 깊이 맵 해상도의 표시를 명시적으로 또는 암시적으로 포함할 수 있다. 비교적 부정확한 깊이 맵(DM)은 바람직하게 시프트된 뷰포인트 화상을 생성할 때 비교적 정확한 깊이 맵과는 다르게 적용된다. 예를 들면, 비교적 부정확한 깊이 맵에 기초하여 시프트된 뷰포인트 화상이 생성될 때에는 왜곡들이 도입될 가능성이 비교적 크다. 그러한 경우에, 임의의 왜곡들이 비교적 약하다는 것을 보장하기 위해, 화소들은 비교적 작은 양만큼만 시프트되어야 한다. 따라서, 깊이 맵 정확도 및 깊이 맵 해상도의 표시는 3-D 렌더링 처리에 있어 유리하게 이용될 수 있다. 이러한 표시는 또한, 이를 테면, 최대 시차 시프트들(Pmax)을 명시하는 도 7에 도시된 표와 같은 표에 삽입될 수 있다.
깊이 맵은 예를 들면, 깊이 표시 값들이 2차원 화상에 존재하는 정보에 기초하여서만 추정되는 경우에는 비교적 부정확할 수 있다. 기계나 사람, 또는 이 양쪽 모두의 조합은 예를 들면, 관련된 화상에서의 오브젝트들에 관한 선험적 지식에 기초하여, 특히, 그들 각각의 일반적인 크기들에 대하여 그러한 추정 깊이 맵을 생성할 수 있다. 일반적으로 비교적 크기는 크지만 화상에서 비교적 작은 것으로 나타나는 오브젝트는 아마도 멀리 떨어져 있다. 이러한 추정 기술들에 의해 화상에 깊이를 부가하는 것은 흑백 화상에 색을 부가하는 것과 비교될 수 있다. 깊이 표시 값은 예를 들면, 거리 치수 또는 스테레오스코픽 화상 쌍의 분석에 기초하여 정확한 깊이 맵 생성 기술이 이용되어 얻어지는 값에 충분히 근사할 수도 있거나 그렇지 않을 수 있다.
도 9는 렌더링 가이던스 데이터(GD)를 생성할 수 있는 3-D 비디오 보충 시스템(XSY)을 도시한다. 3-D 비디오 보충 시스템(XSY)은 또한 보충된 다목적 3-D 비디오 신호(SVS)를 얻기 위해 렌더링 가이던스 데이터(GD)를 다목적 3-D 비디오 신호(VS)에 부가할 수 있다. 3-D 비디오 보충 시스템(XSY)은 렌더링 가이던스 프로세서(RGP), 디스플레이 디바이스(DPL), 및 오퍼레이터 인터페이스(OIF)를 포함한다. 3-D 비디오 보충 시스템(XSY)은 또한, 도 1에 도시된 바와 같이, 다목적 3-D 비디오 신호(VS)가 저장되는 저장 매체(STM)를 포함한다.
렌더링 가이던스 프로세서(RGP)는 예를 들면, 명령-실행 디바이스 및 프로그램 메모리를 포함할 수 있다. 디스플레이 디바이스(DPL)는 바람직하게, 디스플레이 디바이스(DPL)가 예를 들면, 화면 크기에 있어서 상이할 수도 있는 다양한 종류들의 디스플레이 디바이스들을 에뮬레이트(emulate)할 수 있다는 점에서 다목적이다. 대안적으로, 도 5에 도시된 3-D 비디오 보충 시스템(XSY)과 공동으로 다양한 상이한 종류들의 디스플레이 디바이스들이 이용될 수 있다. 오퍼레이터 인터페이스(OIF)는 예를 들면, 키보드, 터치 패널, 마우스나 트랙볼, 여러 개의 손잡이들, 또는 그들의 임의의 조합을 포함할 수 있다.
도 10은 렌더링 가이던스 프로세서(RGP)가 렌더링 가이던스 데이터(GD)를 생성하기 위해 실행할 수도 있는 일련의 단계들(S1 내지 S7)의 예를 도시한다. 도 10은 렌더링 가이던스 프로세서가 도 10을 참조하여 이하 기술되는 다양한 열 동작들을 실행할 수 있도록 하기 위해서, 상술된 프로그램 메모리에 로딩될 수도 있는 한 세트의 명령들의 흐름도 표현으로서 간주될 수 있다.
단계(S1)에서, 렌더링 가이던스 프로세서(RGP)는 시스템 오퍼레이터로 하여금 다목적 3-D 비디오 신호(VS)의 특정 부분을 선택하도록 하며(SEL_VS), 필요하다면, 시스템 오퍼레이터는 다목적 3-D 비디오 신호(VS)를 전부 선택할 수 있다. 선택되는 특정 부분은 도 1에 도시된 장면(SCN)과 같은 특정 장면에 대응할 수 있다. 상술된 바와 같이, 하나의 장면에 대해 최적인 것으로서 간주될 수 있은 3-D 렌더링은 또 다른 장면에 대해서는 최적이 아닐 수 있다. 따라서, 장면마다 3-D 렌더링을 평가하고 조정하는 것이 유리할 수 있다.
단계(S2)에서, 렌더링 가이던스 프로세서(RGP)는 또한 시스템 오퍼레이터로 하여금 깊이 맵 정확도 및 깊이 맵 해상도를 나타내는 데이터를 명시하도록 할 수 있다(DM_PRC=?). 대안적으로, 렌더링 가이던스 프로세서(RGP)는 또한 깊이 맵 정확도 및 깊이 맵 해상도를 자동으로 검출하기 위한 검출 모듈을 포함할 수 있다. 상기 설명된 바와 같이, 깊이 맵 정확도 및 깊이 맵 해상도의 표시는 3-D 렌더링 처리시 유리하게 이용될 수 있다. 이러한 표시는 또한 렌더링 가이던스 데이터(GD)를 생성하기 위해 고려될 수 있다. 예를 들면, 도 6에 도시된 최대 시차 시프트들(Pmax)은 깊이 맵 정확도가 비교적 낮거나 깊이 맵 해상도가 비교적 낮거나 그 양쪽 모두인 경우에 더 낮은 값들로 설정될 수 있다.
단계(S3)에서, 렌더링 가이던스 프로세서(RGP)는 시스템 오퍼레이터로 하여금 렌더링 콘텍스트를 명시하도록 한다(RND_CXT=?). 렌더링 콘텍스트는 예를 들면, 화면 크기, 일반적인 시청자 거리 뿐만 아니라, 다른 렌더링 관련 파라미터들에 관하여 나타낼 수 있다. 화면 크기는 도 10에 도시된 디스플레이 디바이스(DPL)의 화면 크기에 대응할 수도 있거나 디스플레이 디바이스(DPL)가 상기 언급된 것과 같이 에뮬레이트될 수도 있는 또 다른 화면 크기에 대응할 수 있다.
단계(S4)에서, 렌더링 가이던스 프로세서(RGP)는 시스템 오퍼레이터로 하여금 스테레오 강도, 및 선택적으로는 스테레오 모드를 명시하도록 한다(STS=?). 스테레오 강도는 0과 10 사이의 범위에 있는 정수 값의 형태일 수 있다. 정수 값 0은 어떠한 깊이 효과들도 없다는 것을 의미하는 완전한 2차원 표시에 대응할 수 있다. 정수 값 10은 가장 높은 정도의 깊이 인상을 제공하는 최대 스테레오 강도에 대응할 수 있다. 정수 값 8은 예를 들면, 장면의 충실한 3차원 재생과 연관되는 디폴트 정도의 깊이 인상을 제공하는 표준 스테레오 강도에 대응할 수 있다. 시스템 오퍼레이터는 상기 기술된 스테레오 모드들(A 및 B) 중에서 선택할 수 있다. 스테레오 모드는 스테레오 강도의 함수로서 미리 규정될 수 있다. 그 경우에, 렌더링 가이던스 프로세서(RGP)는 시스템 오퍼레이터로 하여금 스테레오 강도만을 명시하도록 한다.
단계(S5)에서, 렌더링 가이던스 프로세서(RGP)는 시스템 오퍼레이터로 하여금 잠재적으로 렌더링 가이던스 데이터(GD)의 일부를 형성할 수도 있는 하나 이상의 파라미터들의 세트들을 명시하도록 한다(SEL_PAR). 한 세트의 파라미터들은 메뉴에서 선택될 수도 있거나, 통상의 방식으로 명시될 수 있다. 명시된 파라미터들의 세트들은 다목적 3-D 비디오 신호(VS)에 존재하는 왼쪽 화상 및 이 왼쪽 화상에 전용된 깊이 맵에 기초한 시프트된 뷰포인트 화상의 생성과 관련된다. 파라미터들은 일반적으로 도 6 내지 도 8에 도시된 바와 같이 시차와 관련되며, 깊이 인상을 수정할 수 있다. 관련된 장면에서의 특정 오브젝트는 파라미터들의 세트들이 다목적 3-D 비디오 신호(VS)의 렌더링을 고려할 때 가깝거나 더 멀게 나타날 수 있다.
단계(S6)에서, 렌더링 가이던스 프로세서(RGP)는 디스플레이 디바이스(DPL)로 하여금, 시스템 오퍼레이터가 규정한 렌더링 콘텍스트 및 스테레오 강도에 따라 시스템 오퍼레이터가 선택한 다목적 3-D 비디오의 일부를 디스플레이하도록 한다(DPL_VS_SEL). 즉, 관련된 부분에서의 각 다목적 3-D 화상에 대하여, 렌더링 가이던스 프로세서(RGP)는 각각 스테레오 모드가 A인지 B인지에 의존하여, 도 3 또는 도 4에 도시된 바와 같이, 렌더링된 왼쪽 화상(LR) 및 렌더링된 오른쪽 화상(RR)을 생성한다. 그렇게 하여, 렌더링 프로세서는 시스템 오퍼레이터가 명시한 파라미터들의 세트들을 고려한다. 이것은 다목적 3-D 비디오의 관련된 부분의 특정 렌더링을 이룬다. 시스템 오퍼레이터는 이렇게 하여 이 특정 렌더링이 만족스러운지 그렇지 않은지를 평가할 수 있다.
단계(S7)에서, 렌더링 프로세서는 렌더링이 실행되었는지에 따라서, 파라미터들의 세트들이 렌더링 가이던스 데이터(GD)에 포함되어야 하는지 그렇지 않은지의 여부를 결정한다(PAR→GD?). 렌더링 가이던스 프로세서(RGP)는 많은 상이한 방식들로 그렇게 행할 수 있다. 예를 들면, 기본적인 방식에서, 렌더링 가이던스 프로세서(RGP)는 시스템 오퍼레이터로 하여금 렌더링이 만족스러운지 그렇지 않은지의 여부를 나타내도록 한다. 시스템 오퍼레이터가 렌더링이 만족스러운 것으로 나타내는 경우에, 렌더링 프로세서는 렌더링 가이던스 데이터(GD)에 관련된 파라미터들의 세트들을 포함할 수 있다. 더욱이, 렌더링 프로세서는 후속하여, 또 다른 렌더링 콘텍스트에 대한 적절한 파라미터들의 세트들을 결정할 목적으로, 단계(S3) 및 그에 후속하는 단계들을 실행할 수 있다.
보다 복잡한 방식에서, 렌더링 가이던스 프로세서(RGP)는 시스템 오퍼레이터에게 관련된 특정 렌더링에 대한 만족도를 명시할 것을 요청할 수 있다. 만족도는 점수의 형태일 수 있다. 이러한 방식에서, 렌더링 가이던스 프로세서(RGP)는 매번 상이한 파라미터들의 세트들에 대해서 단계(S5) 내지 단계(S7)를 여러 번 실행할 수 있다. 그에 따라, 파라미터들의 각각의 상이한 세트들에 대해 각각의 점수들이 얻어진다. 관심있는 파라미터들의 모든 세트들이 점수를 제공한 경우에, 렌더링 가이던스 프로세서(RGP)는 어느 것을 적용하든, 최고 점수를 갖는 한 세트의 파라미터들 또는 파라미터들의 세트들을 선택할 수 있다. 이들 선택된 한 세트의 파라미터들은 렌더링 가이던스 데이터(GD)에 포함될 수 있다. 렌더링 프로세서는 후속하여, 또 다른 렌더링 콘테스트에 대하여 적절한 파라미터 세트들을 결정할 목적으로, 단계(S3) 및 그에 후속하는 단계들을 실행할 수 있다.
따라서, 렌더링 가이던스 프로세서(RGP)는 도 10에 도시된 일련의 단계들(S1 내지 S7)을 실행함으로써 도 6 내지 도 8에 도시된 파라미터들의 세트들 중 임의 세트 또는 그들의 임의의 조합을 결정할 수 있다. 렌더링 가이던스 프로세서(RGP)는 특정 작업들 또는 결정들을 시스템 오퍼레이터로부터 인계받을 수 있다. 즉, 단지 예로서 주어지는 도 10을 참조한 상기 기술에서보다 더 높은 정도로 자동화가 이루어질 수 있다. 더욱이, 시스템 오퍼레이터에 의해 행해지는 하나 이상의 결정들은 대신에 일반적인 시청자들을 나타내는 패널에 의해 행해질 수 있다. 이러한 경우에, 렌더링 가이던스 프로세서(RGP)에는 예를 들면, 대부분의 패널 구성원들이 관련된 렌더링을 만족스러워 하는지 그렇지 않은지의 여부를 결정하는 과반수 투표 모듈이 제공될 수도 있거나, 평균을 결정하거나 패널 구성원들에 의해 주어지는 평균 점수 모듈이 제공될 수 있다.
도 5에 도시된 보충된 다목적 3-D 비디오 신호(SVS)가 상기 기술된 것과 같이 얻어지거나, 그렇지 않으면, 보충된 다목적 3-D 비디오 신호(SVS)는 최종 이용자들에게 분배되고 팔리거나, 허가될 수 있다. 그렇게 하기 위한 많은 상이한 방법들이 있다. 예를 들면, 보충된 다목적 3-D 비디오 신호(SVS)는 무선이나 유선 또는 그 둘의 조합일 수도 있는 네트워크에 의해 브로드캐스트될 수 있다. 또 다른 예로서, 보충된 다목적 3-D 비디오 신호(SVS)는 최종 이용자들이 보충된 다목적 3-D 비디오 신호(SVS)를 다운로딩할 수도 있는 서버에 업로딩될 수 있다. 또 다른 예로서, 보충된 다목적 3-D 비디오 신호(SVS)가 기록되는 다수의 저장 매체가 생산될 수 있다. 상술된 예들 중 임의의 예에서, 보충된 다목적 3-D 비디오 신호(SVS)는 바람직하게 데이터 압축 및 에러 복원을 목적으로 인코딩된다.
도 11은 최종 이용자의 가정에 설치될 수도 있는 비디오 렌더링 시스템(RSY)을 도시한다. 비디오 렌더링 시스템(RSY)은 시청자가 안경을 쓸 필요가 있을 수도 있는 스테레오스코픽 유형의 디스플레이 디바이스(DPL)를 포함한다. 왼쪽-눈의 안경은 렌더링된 왼쪽 화상(LR), 보다 정확히 말하면 그 시퀀스를 왼쪽 눈으로 통과시킨다. 오른쪽-눈의 안경은 렌더링된 오른쪽 화상(RR), 보다 정확히 말하면 그 시퀀스를 오른쪽 눈으로 통과시킨다. 이를 위해서, 디스플레이 디바이스(DPL)는 렌더링된 왼쪽 화상들과 렌더링된 오른쪽 화상들을 교대로 디스플레이할 수 있다. 왼쪽-눈의 안경은 렌더링된 왼쪽 화상(LR)이 디스플레이될 때에는 투명하게 되고, 그렇지 않을 때는 불투명하다. 마찬가지로, 오른쪽-눈의 안경은 렌더링된 오른쪽 화상(RR)이 디스플레이될 때에는 투명하게 되고, 그렇지 않을 때는 불투명하다. 또 다른 예로서, 디스플레이 디바이스(DPL)는 주어진 분극을 갖는 렌더링된 왼쪽 화상들 및 반대 분극을 갖는 렌더링된 오른쪽 화상들을 디스플레이할 수 있다. 왼쪽-눈의 안경 및 오른쪽-눈의 안경은 대응하는 반대의 분극들을 가질 수 있다.
비디오 렌더링 시스템(RSY)은 또한 여러 가지의 기능적 엔티티들 즉, 저장 매체 플레이어(PLY), 디코더(DEC), 역다중화기(DMX), 시프트된 뷰포인트 화상 생성기(SHG), 선택기(SEL), 제어기(CTRL) 및 이용자 인터페이스(UIF)를 포함한다. 상술된 모든 기능적 엔티티들은 예를 들면, 가정용 영화 디바이스의 일부를 형성할 수 있다. 디코더(DEC), 역다중화기(DMX), 시프트된 뷰포인트 화상 생성기(SHG), 및 선택기(SEL)는 명령-실행 디바이스 및 프로그램 메모리에 의해 구현될 수 있다. 이러한 구현에서, 프로그램 메모리에 로딩되는 한 세트의 명령들은 명령-실행 디바이스로 하여금 하나 이상의 기능적 엔티티들에 대응하는 동작들을 실행하도록 할 수도 있으며, 이는 이하 더 상세히 설명될 것이다. 제어기(CTRL) 및 이용자 인터페이스(UIF)는 또한 적어도 부분적으로는 이러한 방식으로 구현될 수도 있으며, 게다가 상술된 기능적 엔티티들과 동일한 명령-실행 디바이스를 공유할 수 있다.
비디오 렌더링 시스템(RSY)은 기본적으로 다음과 같이 동작한다. 저장 매체 플레이어(PLY)는 도 5에 도시된 보충된 다목적 3-D 비디오 신호(SVS)의 코딩된 버전(CV)을 포함하는 저장 매체를 판독한다. 디코더(DEC)는 이 코딩된 버전(CV)을 수신하고, 이에 응답하여, 보충된 다목적 3-D 비디오 신호(SVS)를 제공한다. 역다중화기(DMX)는 실질적으로 이 신호에 포함된 여러 가지의 성분들을 추출하고 분리한다. 렌더링 가이던스 데이터(GD)는 제어기(CTRL)가 수신하는 이러한 하나의 성분이다. 시프트된 뷰포인트 화상 생성기(SHG)는 다목적 3-D 화상에 포함된 여러 가지의 다른 성분들 즉, 왼쪽 화상(LP), 깊이 맵(DM) 및 배경 화상(BG)을 수신한다. 시프트된 뷰포인트 화상 생성기(SHG)는 또한 다목적 3-D 화상에 포함될 수도 있는 알파-맵을 수신할 수 있다. 오른쪽 화상(RP)은 선택기(SEL)에 직접 인가된다.
제어기(CTRL)는 비디오 렌더링 시스템(RSY)에 미리 저장되어 있을 수도 있는 렌더링 가이던스 데이터(GD) 및 렌더링 콘텍스트 데이터에 기초하여, 시프트된 뷰포인트 생성 파라미터들(GP) 및 선택기 제어 신호(SC)의 세트를 결정한다. 렌더링 콘텍스트 데이터는 예를 들면, 디스플레이 디바이스(DPL)의 화면 크기 및 일반적인 시청 거리에 관하여 렌더링 콘텍스트를 규정한다. 제어기(CTRL)는 또한, 만약 있다면, 시프트된 뷰포인트 생성 파라미터들의 세트를 결정할 목적으로, 원하는 스테레오 강도(STD)를 고려할 수 있다. 시청자는 이용자 인터페이스(UIF)에 의해 원하는 스테레오 강도(STD)를 규정할 수 있다. 시청자가 어떠한 원하는 스테레오 강도(STD)도 규정하지 않은 경우에, 제어기(CTRL)는 디폴트 스테레오 강도에 기초하여 동작할 수 있다. 한 세트의 시프트된 뷰포인트 생성 파라미터들(GP)은 예를 들면, 도 10에 도시된 비디오 렌더링 시스템(RSY)에 적용하는 렌더링 콘텍스트를 고려하여 도 6 내지 도 8에 도시된 표들 중 임의의 것에 기초하여 확립된 파라미터들을 포함할 수 있다.
시프트된 뷰포인트 화상 생성기(SHG)는 한 세트의 시프트된 뷰포인트 생성 파라미터들(GP)에 따라 왼쪽 화상(LP), 깊이 맵(DM) 및 배경 화상(BG)에 기초하여, 시프트된 뷰포인트 화상(LP+/-S)을 생성한다. 왼쪽 화상(LP)에 전용된 이러한 맵이 이용가능하다면, 시프트된 뷰포인트 화상 생성기(SHG)는 유리하게는 알파-맵을 이용하도록 할 수 있다. 시프트된 뷰포인트 화상 생성기(SHG)는 도 3 및 도 4에 각각 도시되어 있는 스테레오 모드 A 또는 스테레오 모드 B 중 하나에서 동작한다. 시프트된 뷰포인트 생성 파라미터들(GP)은 도 3 및 도 4에 도시되어 있는 바와 같이 오른쪽 또는 왼쪽 중 어느 한 쪽일 수도 있는 시프트의 정도를 규정한다.
선택기 제어 신호(SC)는 적용하는 스테레오 모드를 나타낸다. 스테레오 모드 A를 적용하는 경우에, 선택기 제어 신호(SC)는 선택기(SEL)로 하여금 렌더링된 왼쪽 화상(LR)을 구성하기 위해 시프트된 뷰포인트 화상(LP+/-S)을 선택하도록 한다. 선택기(SEL)는 그 경우에 렌더링된 오른쪽 화상(RR)을 구성하기 위해 오른쪽 화상(RP)을 선택한다. 반대로, 스테레오 모드 B를 적용하는 경우에, 선택기 제어 신호(SC)는 선택기(SEL)로 하여금 렌더링된 오른쪽 화상(RR)을 구성하기 위해 시프트된 뷰포인트 화상(LP+/-S)을 선택하도록 한다. 선택기(SEL)는 그 경우에 렌더링된 왼쪽 화상(LR)을 구성하기 위해 왼쪽 화상(LP)을 선택한다. 어떠한 경우에도, 디스플레이 디바이스(DPL)는 렌더링된 왼쪽 화상(LR) 및 렌더링된 오른쪽 화상(RR)에 기초하여 3-D 렌더링을 제공한다.
도 12는 대안적인 비디오 렌더링 시스템(ARSY), 더 정확히 말하면 그 일부를 도시한다. 대안적인 비디오 렌더링 시스템(ARSY)은 시청자가 안경을 쓸 필요가 없는 자동-스테레오스코픽 유형의 디스플레이 디바이스(ADPL)를 포함한다. 이러한 디스플레이 디바이스는 일반적으로 한 세트의 상이한 시야들(MVS)을 디스플레이하며, 각 시야는 이를 테면 특정 방향으로 향하여 있다. 따라서, 디스플레이 디바이스(ADPL)는 왼쪽 눈 및 오른쪽 눈에 대해 상이한 시야들을 투영하며, 이는 시청자로 하여금 깊이 효과를 경험하도록 한다.
대안적인 비디오 렌더링 시스템(ARSY)은 도 11에 도시된 시프트된 뷰포인트 화상 생성기(SHG)와 동일한 성분들 즉, 왼쪽 화상(LP), 깊이 맵(DM), 및 배경 화상(BG)을 수신하는 멀티뷰 생성기(multiview generator)(MVG)를 포함한다. 이들 성분들은 또한 도 11에 도시되어 있는 저장 매체 플레이어(PLY), 디코더(DEC), 및 역다중화기(DMX)와 유사한 기능적 엔티티들에 의해 제공될 수 있다. 멀티뷰 생성기(MVG)는 또한 왼쪽 화상(LP)에 특별히 전용되는 알파-맵을 수신할 수 있다.
멀티뷰 생성기(MVG)는 자동-스테레오스코픽 유형 디스플레이 디바이스(DPL) 상에 디스플레이되는 한 세트의 상이한 시야들(MVS)을 생성한다. 실제로, 멀티뷰 생성기(MVG)는 각각 도 11에 도시된 시프트된 뷰포인트 화상 생성기(SHG)와 유사할 수도 있는 다수의 시프트된 뷰포인트 화상 생성기들로서 간주될 수 있다. 이들 각각의 뷰포인트 화상 생성기들은 서로 상이한 각각의 뷰포인트들로부터의 장면을 나타내는 각각의 시프트된 뷰포인트 화상들을 생성한다. 즉, 도 3 및 도 4와 유사한 도면에서, 각각의 시프트된 뷰포인트 화상은 수평 축 상에 특정 위치를 갖는다. 멀티뷰 생성기(MVG)는 왼쪽 화상(LP)과 연관되는 오른쪽 화상(RP)을 이용할 필요가 없다는 것을 유념해야 한다. 즉, 보충된 다목적 3-D 비디오 신호(SVS)에 존재하는 오른쪽 화상들은 3-D 렌더링을 위해서 이용될 필요가 없다.
상기에는 스테레오의 이점들 및 소위 이미지+깊이 포맷들을 결합하는 3D 포맷이 기술되어 있다. 이하의 실시예들은 이러한 스테레오+깊이 포맷들이 기존의 및 향후의 블루-레이 플레이어들과 함께 이용하기 위해 실제로 어떻게 구현될 수 있는지에 대해 기술한다. 기본적인 발상은 이하 또한 "D"라고 언급되고 2:2:1 LRD 프레임 레이트 비율에서 스테레오 및 깊이 양쪽 모두를 포함하는 3차원 비디오 신호로 포매팅하는 깊이 성분 (및 선택적으로는 폐색 데이터와 같은 추가의 정보)의 공간적 및 시간적 서브샘플링을 이용하는 것이다.
본 발명의 특정 유리한 실시예는 원래의 스테레오 신호의 대역폭 요건들 내에서 적합한 스테레오 플러스 깊이 신호를 생성하기 위해서, 비디오 신호의 저 해상도 표시를 이용하도록 하는 것을 목표로 한다. 기본적인 발상은 1920*1080@24㎐ 스테레오 (LR) 플러스 깊이 (D) 신호를 인코딩하기 위해서 일반적인 1280*720@60㎐ 비디오 스트림을 이용하게 하는 것이다.
또한, 2:1을 이용하게 함으로써, 다수의 시간 인스턴스들 예를 들면, Dt =1 및 Dt =2의 (깊이 성분들 또는 투명도 성분들과 같은) 특정 다양한 성분들을 포함할 수 있는 2:2:1 인터리빙 여분 프레임 삽입들이 실현될 수 있다.
앞서 제안된 것과 같은 LRD 포맷은 일반적으로 더 많은 (디코딩) 리소스들을 필요로 하여, 현재에는 블루-레이 플레이어들에서 이용가능하다. 또한, 이러한 블루-레이 플레이어들은 스테레오 신호들 및 깊이 신호들에 대한 부가적인 인터페이스 포트들이 부족하다.
또한, 현재 이용되고 있는 체커보드(checkerboard) 스테레오 패턴은 일반적인 자동-스테레오스코픽 디스플레이들의 이용을 가능하게 하지 않기 때문에 몇몇 문제점들을 가지고 있으며, 3D 지각은 화면 크기에 크게 의존한다.
또한, 체커보드 패턴의 특징 때문에, 비트-레이트 요건들이 비교적 높다(1080p, 24㎐의 모노스코픽 비디오에 필요한 비트-레이트에 비해 필요한 비트-레이트는 적어도 2배이다).
L'R'D' 프레임들을 갖는 1280*720p 시간 인터리빙된 포맷을 이용함으로써 디코딩 리소스 및 인터페이스 문제 모두를 극복하는 것이 제안되어 있으며, L', R', D'는 다음과 같다.
- L' = 공간적 서브샘플링된 왼쪽 이미지(1920*1080 → 1280*720)
- R' = 공간적 서브샘플링된 오른쪽 이미지(1920*1080 → 1280*720)
- D' = 공간적 깊이.
일반적으로, 강제적인 것은 아니지만, D'는 시간적 및 공간적 깊이, 폐색 텍스처, 폐색 깊이 및 투명도 정보를 포함한다. D'는 인자 2로 시간적으로 서브샘플링되고, 이것은 L'+R'+D'=24+24+12㎐=60㎐를 의미한다.
일반적으로, 블루-레이 플레이어는 MPEG을 이용하여 인코딩된 720p 이미지 스트림과 같은 비디오 신호를 디코딩할 수 있다. 또한, 720p 이미지 신호는 HDMI/CEA와 같은 공지된 인터페이스들에 대한 지원된 비디오 포맷이다. 제안된 공간적 및 시간적 서브샘플링 및 L, R 및 D의 하나의 1280*720@60㎐ L'R'D' 스트림들로의 인터리빙은 모든 기존 BD 플레이어 상에서 본 발명을 구현하는 것을 가능하게 한다.
도 13은 기존 모노스코픽 BD 플레이어 디코딩을 위한 요건들 뿐만 아니라, Mpixels/sec의 인터페이스(IF) 처리량을 예시한다. 상기 L'R'D' 인코딩을 지원하기 위해서 기존 플레이어들에 대해 어떠한 특별한 수정할 필요가 없다. 도 13에서, D 프레임들은 깊이 정보(D), 투명도 정보(T), 배경 텍스처(BG) 및 배경 깊이(BD)를 포함하는 것을 유념해야 한다. 남아있는 유일한 쟁점은 동기화 문제의 해결이다.
동기화 문제는 스트림이 도 14에 도시된 것과 같이 인코딩되는 경우에 해결될 수 있다. 여기서는 바람직하게 L, R 및 D 프레임들이 L, R, D, L, R 프레임들의 반복되는 시퀀스가 되도록 인터리빙되는 것이 도시되어 있다. 또한, 도 14는 이미지들을 인코딩하는 바람직한 방식을 보여준다. HDMI 표준은 인터페이스 상에 존재하는 이미지가 원래의 인코딩된 프레임이고, 구체적으로 말하면 I, P 및 B 표시기들이 존재하는 소위 인포프레임들에 나타내기 위한 옵션을 갖는다. 또한, 모니터 또는 디스플레이에 대한 L'R'D' 인코딩의 시그널링은 인터페이스 상의 신호가 보통의 모노스코픽 720p 신호가 아니라 본 발명에 따른 3D-720p 신호임을 나타낼 필요가 있다. 이것은 HDMI/CEA에서 표준화될 필요가 있을 수도 있지만, 이와 같이 인터페이스 명세는 그러한 것을 나타내기 위한 충분한 빈 공간을 제공한다.
상기 L'R'D' 신호는 보통의 720p 60㎐ 모노스코픽 신호의 모든 속성들을 갖기 때문에, 블루-레이 플레이어들에 의해 디코딩될 수 있고 또한 HDMI 출력 인터페이스에 출력될 수 있다.
상술된 바와 같이, D' 성분의 콘텐트는 일반적으로 깊이로 제한되는 것이 아니라, 배경 텍스처(BG), 투명도(T) 및 부가적인 메타데이터 정보 또한 포함할 수 있다. 메타데이터는 3D 감지 질을 개선하기 위한 부가적인 이미지 정보일 수 있지만, 또한 콘텐트 관련 정보(예를 들면, 시그널링 등)이다.
일반적인 성분들은 D((전경) 깊이), BG(배경 텍스처), BD(배경 깊이) 및 T(투명도 맵)이다. 원칙적으로, 제안된 포맷에 있어서, 이들 성분들은 24㎐ 대신 12㎐에서 이용가능하다. 그들은 공지된 또는 새로운 업샘플링 알고리즘들(upsampling algorithms)에 의해 시간적으로 업샘플링될 수 있다. 그러나, 몇몇 애플리케이션들에 대해서 업샘플링은 필요하지 않다. 예를 들면, 비디오의 맨 위에 그래픽들(부제목들, OSD 등)을 합성할 때, 그래픽들이 정확한 위치에서 즉, 깊이에 대해 정확한 위치에서 합성될 수 있도록 이용가능한 깊이 정보를 갖는 것이 유용하다.
상기와 같은 것은 도 17에 도시된 바와 같이 깊이(D) 및 투명도(T)에 대해 상이한(즉, 교대의) 위상들을 가짐으로써 구현될 수 있다. 도면은 깊이 정보(D1) 및 투명도 정보(T2)를 포함하는 1280x720 프레임을 도시한다. 1280x720 프레임의 성분 D1은 시간 인스턴스 T=1/24sec에서의 1920x1080 프레임으로부터의 D1 성분에 기초한다. 1280x720 프레임의 성분 T2는 시간 T=2/24sec에서의 추가의 1920*1080 프레임으로부터의 T2 성분에 기초한다.
상이한 시간-인스턴스들로부터 이용가능한 D1 및 T2를 갖는 것의 이점은 인접한 시간-인스터스들로부터의 투명도를 이용하게 함으로써 깊이의 개선된 시간적 재구성을 가능하게 하는 것으로, 도 17에 도시되어 있다.
D-프레임에서의 모든 성분들이 동등하게 중요하지는 않다는 것을 유념해야 한다. 이것은 성분(항상 또는 동적으로 몇몇 플레그들에 의해 마크되고 의존적인 콘텐트)을 건너뛰도록 하기 위해 빈 공간을 남겨두며, 전체 24㎐에서의 또 다른 성분에 대한 빈 공간을 남겨둔다. 이 개념은 도 18에 도시되어 있으며, 여기서, T=1/24 및 T=2/24로부터의 투명도 정보는 단일 1280x720 프레임 내에서 결합된다.
따라서, 도 17은 모든 성분들이 시간적으로 서브샘플링되는 예를 나타내고, 도 18은 T(투명도)가 공간적으로만 서브샘플링되고 시간적으로는(T1, T2) 서브샘플링되지 않는 해결책을 나타낸다.
새로운 3D BD
또한, 3D 블루-레이 플레이어/명세가 새롭게 규정되는 것에 있어서, 본 발명에 따른 포맷의 LRD 종류가 관련되도록 할 수 있다. 향후의 BD-플레이어 시스템들의 처리량은 호환성 및 비용의 이유들로 인해 약 2*1080p@30(또는 2*1080i@60㎐)일 것이다. 상기 LRD 원리가 적용될 때 즉, 부가 정보가 부가될 때, 부가적인 11% 이상의 처리량이 요구된다. 이것은 2*1080p@30㎐에 가깝다. 11% 보다 높은 값으로 최대 처리량을 증가시키는 것은 이점들에 따라, 향후 시스템들에 대해서 수용가능하게 될 수 있다.
장래 3D 블루-레이 플레이어들에 있어서, 퀄리티는 매우 중요하다. 특히 공간적 서브샘플링에서의 실험들이 예시된다. 즉, 깊이 및 투명도 성분들 모두의 2:1의 인자에 의한 수평 및 수직 서브샘플링은 퀄리티를 너무 많이 낮출 수 있다(도 21에 도시됨). 이러한 상황을 개선하기 위한 한 가지 선택은 도 21에 도시된 바와 같이 대각 필터링에 기초한 소위 퀸컹스(quinqunx) 서브샘플링을 적용하는 것이다. 예를 들면, 1920*1080 화소들은 먼저 1920*540으로 수직으로 서브샘플링될 수 있고, 이어서 대각 필터링되고 퀸컹스 서브샘플링되고, 이 이후에 960*540(퀸컹스) 샘플들이 된다. 그러나, 이들 샘플들은 수평 방향으로 전체 1920 해상도로 유지된다.
또 다른 방식은 깊이 및 투명도에 대해서 수직 방향으로만 서브샘플링을 하는 것이다. 도 19는 L, R, D, L, R, D, D' 프레임들의 반복 시퀀스를 이용하여 어떻게 구현될 수 있는지를 도시한다. 맨 아래에는 D-프레임들의 콘텐트 즉, 후속하는 D, D 및 D' 프레임들이 표시된다. 도면에서 화살표들은 프레임들의 인코딩시 이용된 예측의 방향을 나타낸다.
D-프레임들 내에서, 깊이(D1, D2, D3) 및 투명도(T1, T2)는 1920*540 화소들의 해상도에서 교대로 제공된다. 한편, 배경 텍스처(BG) 및 배경 깊이(BD)가 960*540 화소들에서 제공된다.
이 특정 인코딩 방식에서, D 프레임들 및 D' 프레임들은 상이한 콘텐트들 및 레이트들을 갖는다는 것을 유념해야 한다. 프레임의 D' 종류는 L 및 D의 프레임 레이트의 절반에서 제공된다. D' 프레임은 깊이 및 투명도(여기서는 D2 및 T2)의 누락된 시간 인스턴스들을 할당하기 위해 이용될 수 있다. 성분들(의 일부)은 또한 퀸컹스(부록 1 참조) 서브샘플링될 수 있다는 것을 유념해야 한다.
이어서, D' 프레임들은 연속하여 LRD-LRDD'-LRD-LRDD'을 인코딩함으로써 도 19에 도시된 GOP(화상들의 그룹) 코딩 구조에서 나타낸 바와 같이 LRD 정보에 의해 LRD 스트림에 인터리빙된다.
도 19는 또한 어떻게 LRDD' 모드에서 깊이 정보(D) 및 깊이 정보(D')가 D3을 예측하기 위해 D1을 이용하고 D2를 예측하기 위해 D1 및 D3 양쪽 모두를 이용하여 효율적으로 압축될 수 있는지를 도시한다.
도 15는 3D 블루-레이 시스템들과 함께 이용하기 위해 비디오를 인코딩하기 위한 옵션들 중 일부를 나타낸다. 도 15로부터 알 수 있는 바와 같이, 본 발명은 영화 풀 HD를 위한 및 스포츠 HD를 위한 LRD(스테레오+깊이)의 인코딩 모두를 가능하게 한다.
마지막으로, 도 20은 상술된 LRDD' 모드에 대한 D-프레임들이 인터리빙되는 옵션 1에서의 본 발명의 실시예를 도시한다. 도 20은 또한 4개의 시간 인스턴스들로부터의 정보가 결합되는 옵션 2에서의 본 발명의 실시예를 도시하고, 반면에, 이전 옵션은 단지 2개의 시간 인스턴스들로부터의 정보를 결합한다. 이 후자의 실시예에서, 비디오 신호의 Y, U 및 V 성분들은 예를 들면, D2-프레임 내에서, U-성분이 T=1에 대한 배경 깊이를 전달하는 반면에 V-성분이 T=2에 대한 배경 깊이를 전달하는 것과 같이 상이한 정보를 전달하기 위해 이용된다. 개별적인 성분들 Y, U 및 V는 각각의 D-프레임들에 대해 서술된다.
이 제 2 옵션의 각각의 D-프레임들의 콘텐트들(D1, D2, D3, D4, D5, D6)은 이하 인터리빙 예를 서술한다.
이 실시예에서, 4개의 시간 인스턴스들에 대한 배경 텍스처(BG11, BG12, BG13, BG14)는 (4개의 시간 인스턴스들에 대해) 하나의 프레임으로 패킹되고, 그 결과로서, D 프레임들이 보다 효율적으로 이용될 수 있다. 이 실시예는 사실상, 깊이 성분이 일반적으로 UV 성분들에 의해 제공되는 것과 유사한 크기라는 사실을 이용한다. 이것은 더욱이 2D 또는 T 중 하나가 12㎐에 대해 풀 1920*1080 해상도가 되는 것을 가능하게 하며, 여기서, 다른 시간 인스턴스들은 1920*540에 있다. 도 20에서 알 수 있는 바와 같이, 일부 여분의 빈 공간이 남겨질 수 있다.
결론
도면들을 참조하여 상술된 상세한 설명은 단지 청구항들에 규정되는 본 발명의 예시 및 부가적인 특징들이다. 본 발명은 많은 상이한 방식들로 구현될 수 있다. 이를 예시하기 위해서, 몇몇 대안들이 간략히 제시된다.
본 발명은 유리하게는 3-D 시각 표시들과 관련된 많은 유형들의 제품들 또는 방법들에 적용될 수 있다. 3-D 비디오는 단지 예이다. 본 발명은 마찬가지로 3-D 정지 화상들 즉, 3-D 사진들에 적용될 수 있다.
본 발명에 따라 3-D 비디오 화상을 제공하는 많은 방법들이 있다. 도 1은 한 쌍의 카메라들(RCAM, LCAM)을 포함하는 구현을 예시한다. 이 예에서, 한 쌍의 카메라들은 실제 화상들을 촬상한다. 또 다른 구현에서 예를 들면, 적합하게 프로그래밍된 프로세서에 의해 가상 화상 쌍들이 생성될 수 있다. 깊이 맵은 깊이 스캐너 또는 유사한 측정 디바이스에 의해 반드시 얻어져야 할 필요는 없다. 깊이 맵은 상세한 설명에서 상술된 바와 같이 추정치들에 기초하여 확립될 수 있다. 중요한 것은 깊이 맵이 3-D 시각 표시를 구성하는 그러한 화상들의 쌍에서 하나의 화상에 특별히 전용된다는 것이다.
깊이 맵은 상세한 설명에서 상술된 바와 같이, 왼쪽 화상 또는 오른쪽 화상 중 하나에 특별히 전용될 수 있다. 즉, 도 2에 도시된 다목적 3-D 비디오 신호(VS)의 상이한 버전에서, 깊이 맵(DM)은 오른쪽 화상(RP)에 특별히 전용될 수 있다. 이러한 변형에서, 시프트된 뷰포인트 화상은 오른쪽 화상(RP) 및 이 화상에 특별히 전용된 깊이 맵(DM)으로부터 생성된다. 배경 화상(BG)은 또한 오른쪽 화상(RP)에 전용될 것이다. 배경 화상(BG)은 예를 들면, 데이터 감소 또는 대역폭 감소의 목적을 위해 생략될 수 있다.
렌더링 가이던스 데이터를 제공하는 많은 상이한 방식들이 있다. 상술된 상세한 설명은 도 10을 참조하는 예를 제공한다. 이 예에서, 일련의 단계들이 실행되고, 이 중 일부는 시스템 오퍼레이터와의 상호작용을 수반한다. 이들 상호작용들 중 하나 이상은 실질적으로 자동화된 결정으로 대체될 수 있다. 또한, 완전히 자동화된 방식으로 렌더링 가이던스 데이터를 생성하는 것 또한 가능하다. 또한, 도 10에 도시된 일련의 단계들은 반드시 이들이 도시된 순서대로 실행되어야 할 필요는 없다는 것을 유념해야 한다. 또한, 여러 단계들이 한 단계로 결합될 수도 있거나, 단계는 생략될 수 있다.
용어 "화상(picture)"은 넓은 의미에서 이해되어야 한다. 이 용어는 예를 들면, 이미지, 프레임 또는 필드와 같은, 시각적 렌더링을 가능하게 하는 임의의 엔티티를 포함한다.
개괄적으로 말해서, 하드웨어나 소프트웨어, 또는 양쪽 모두의 결합에 의해 기능 엔티티들을 구현하는 많은 방식들이 있다. 이 점에 있어서, 도면들은 매우 개략적이다. 도면이 상이한 기능 엔티티들을 상이한 블록들로서 나타낸다고 하더라도, 이것은 단일 엔티티가 여러 가지의 기능들을 실행하거나, 여러 개의 엔티티들이 단일 기능을 실행하는 구현들을 배제하는 것을 의미하지는 않는다. 예를 들면, 도 11을 참조하면, 디코더(DEC), 복조기(DMX), 시프트된 뷰포인트 화상 생성기(SHG), 선택기(SEL), 및 제어기(CTRL)는 적절히 프로그래밍된 프로세서 또는 모든 이들 기능 엔티티들을 포함하는 집적 회로 형태의 전용 프로세서로 구현될 수 있다.
프로그래밍가능한 회로가 본 발명에 따라 동작할 수 있도록 하는 소프트웨어인 한 세트의 명령들을 저장하고 분배하는 많은 방식들이 있다. 예를 들면, 소프트웨어는 광학 디스크 또는 메모리 회로와 같은, 적합한 매체에 저장될 수 있다. 소프트웨어가 저장된 매체는 개개의 제품으로서 또는 소프트웨어를 실행할 수도 있는 또 다른 제품과 함께 공급될 수 있다. 이러한 매체는 또한 소프트웨어가 실행될 수 있도록 하는 제품의 일부일 수 있다. 또한, 소프트웨어는 무선, 유선 또는 혼합된 것일 수도 있는 통신 네트워크들을 통해 분배될 수 있다. 예를 들면, 소프트웨어는 인터넷을 통해 분배될 수 있다. 소프트웨어는 서버에 의해 다운로딩할 수 있도록 만들어질 수 있다. 다운로딩는 비용을 지불할 수 있다.
본원에서 상술된 설명들은 본 발명을 제한하기 보다는 예시를 위해 도면들을 참조하여 상세한 설명을 설명하는 것이다. 첨부된 청구항들의 범위 내에 있는 많은 대안들이 있다. 청구항에서의 임의의 참조 부호는 청구항을 제한하는 것으로 이해되어서는 안된다. 단어 "포함하는(comprising)"는 청구항에 기술된 것 이외의 다른 요소들 또는 단계들의 존재를 배제하지 않는다. 요소 또는 단계의 앞에 오는 단어 "하나의(a 또는 an)"는 복수의 이러한 요소들 또는 단계들의 존재를 배제하지 않는다. 각각의 종속 청구항들이 각각의 부가적인 특징들을 규정하는 것은 종속 청구항들의 조합에 대응하는 부가적인 특징들의 조합을 배제하지 않는다.
RCAM: 오른쪽 카메라 LCAM: 왼쪽 카메라
DS: 깊이 스캐너
VS: 다목적 3-D 비디오 신호 RP: 오른쪽 화상
LP: 왼쪽 화상 DM: 깊이 맵
BG: 배경 화상 LR: 렌더링된 왼쪽 화상
RR: 렌더링된 오른쪽 화상 STM: 저장 매체
RPR: 기록 프로세서
[부록 1]
Figure 112011012641864-pct00001

Claims (20)

  1. 신호 내 전달되는 3-D 화상을 제공하는 방법에 있어서:
    - 상기 신호 내 포함을 위한 한 쌍의 화상들(LP, RP)이 제공되는 화상 제공 단계로서, 상기 한 쌍의 화상들(LP, RP)은 시청자의 한 쪽 눈을 위해 의도되는 제 1 화상(LP), 및 상기 시청자의 다른 쪽 눈을 위해 의도되는 제 2 화상(RP)을 포함하는, 상기 화상 제공 단계;
    - 상기 신호 내 포함을 위한 상기 제 1 화상에 특별히 전용된 깊이 맵(DM)이 제공되는 깊이 맵 제공 단계로서, 상기 깊이 맵은 깊이 표시 값들을 포함하고, 깊이 표시 값은 상기 제 1 화상의 특정 부분과 관련되고 상기 제 1 화상의 상기 부분에 의해 적어도 부분적으로 표시된 오브젝트(object)와 상기 시청자 사이의 거리를 나타내는, 상기 깊이 맵 제공 단계; 및
    - 상기 신호 내 포함을 위한 렌더링 가이던스 데이터(rendering guidance data)(GD)가 제공되는 렌더링 가이던스 데이터 제공 단계로서, 상기 렌더링 가이던스 데이터는 각각의 렌더링 콘텍스트들(rendering contexts)에 대한 각각의 파라미터들을 명시하고, 상기 각각의 파라미터들은 상기 제 1 화상(LP) 및 상기 제 1 화상에 특별히 전용되는 깊이 맵(DM)으로부터 시프트된 뷰포인트 화상(shifted viewpoint picture)(LP+/-S)을 생성하는 것과 관련되는, 상기 렌더링 가이던스 데이터 제공 단계를 포함하고, 상기 렌더링 가이던스 데이터(GD)는 각각의 깊이 표시 값들 (DV)을 위한 각각의 최대 시차 시프트 값(Pmax)를 정의하고, 상기 렌더링 가이던스 데이터(GD)는 깊이 맵 정확도 및 깊이 맵 해상도 중 적어도 하나에 기초하여 최대 시차 시프트 값들 (Pmax)을 정의하는, 3-D 화상 제공 방법.
  2. 제 1 항에 있어서,
    상기 렌더링 가이던스 데이터 제공 단계는:
    - 상기 제 1 화상(LP) 및 상기 깊이 맵(DM)으로부터 생성되는 시프트된 뷰포인트 화상(LP+/-S)이 렌더링된 제 1 화상(LR)을 구성하고, 상기 제 2 화상(RP)이 렌더링된 제 2 화상(RR)을 구성하는 제 1 스테레오 모드(A)에 대한 한 세트의 파라미터들이 규정되고;
    - 상기 제 1 화상(LP)이 렌더링된 제 1 화상(LR)을 구성하고, 상기 제 1 화상(LP) 및 상기 깊이 맵(DM)으로부터 생성되는 시프트된 뷰포인트 화상(LP+/-S)이 렌더링된 제 2 화상(RR)을 구성하는 제 2 스테레오 모드(B)에 대한 한 세트의 파라미터들이 규정되는 서브-단계를 포함하는, 3-D 화상 제공 방법.
  3. 제 2 항에 있어서,
    상기 렌더링 가이던스 데이터 제공 단계는 상기 파라미터들의 각각의 세트들(Pmax)에는 상기 제 1 스테레오 모드(A)가 적용되어야 하는 제 1 스테레오 강도 범위(10 내지 6), 및 상기 제 2 스테레오 모드(B)가 적용되어야 하는 제 2 스테레오 강도 범위(5 내지 0)의 규정이 제공되는 서브-단계를 포함하는, 3-D 화상 제공 방법.
  4. 삭제
  5. 제 1 항에 있어서,
    상기 렌더링 가이던스 데이터(GD)는 각각의 화면 크기들(SZ)에 대한 각각의 시차 오프셋 값들(Poff)을 규정하는, 3-D 화상 제공 방법.
  6. 제 1 항에 있어서,
    상기 렌더링 가이던스 데이터(GD)는 깊이 맵 정확도의 표시를 포함하는, 3-D 화상 제공 방법.
  7. 제 1 항에 있어서,
    - 상기 제 1 화상(LP)에 특별히 전용되는 배경 화상(BG)이 제공되는 배경 화상 제공 단계를 포함하는, 3-D 화상 제공 방법.
  8. 제 7 항에 있어서,
    - 상기 제 1 화상(LP)에 특별히 전용되는 알파-맵이 제공되는 알파-맵 제공 단계로서, 상기 알파-맵은 상기 제 1 화상, 상기 깊이 맵(DM) 및 상기 배경 화상(BG)으로부터 생성될 수 있는 시프트된 뷰포인트 화상에서의 점진적 전이들(gradual transitions)을 규정하는, 상기 알파-맵 제공 단계를 포함하는, 3-D 화상 제공 방법.
  9. 신호 내 전달되는 3-D 화상을 제공하기 위한 3-D 화상 제공 시스템에 있어서:
    - 상기 신호 내 포함되는 한 쌍의 화상들(LP, RP)을 제공하기 위한 화상-제공 장치(LCAM, RCAM)로서, 상기 한 쌍의 화상들(LP, RP)은 시청자의 한 쪽 눈을 위해 의도되는 제 1 화상(LP), 및 상기 시청자의 다른 쪽 눈을 위해 의도되는 제 2 화상(RP)을 포함하는, 상기 화상-제공 장치(LCAM, RCAM);
    - 상기 신호 내 포함되는 상기 제 1 화상(LP)에 특별히 전용되는 깊이 맵(DM)을 제공하기 위한 깊이 맵 제공자(DS, RPR)로서, 상기 깊이 맵은 깊이 표시 값들을 포함하고, 깊이 표시 값은 상기 제 1 화상의 특정 부분과 관련되고 상기 제 1 화상의 상기 부분에 의해 적어도 부분적으로 표시된 오브젝트와 상기 시청자 사이의 거리를 나타내는, 상기 깊이 맵 제공자(DS, RPR); 및
    - 상기 신호 내 포함되는 렌더링 가이던스 데이터(GD)를 제공하기 위한 수단으로서, 상기 렌더링 가이던스 데이터는 각각의 렌더링 콘텍스트들에 대한 각각의 파라미터들을 명시하고, 상기 각각의 파라미터들은 상기 제 1 화상(LP) 및 상기 제 1 화상에 특별히 전용되는 깊이 맵(DM)으로부터 시프트된 뷰포인트 화상(LP+/-S)을 생성하는 것과 관련되는, 상기 렌더링 가이던스 데이터(GD) 제공 수단을 포함하고, 상기 렌더링 가이던스 데이터(GD)는 각각의 깊이 표시 값들 (DV)을 위한 각각의 최대 시차 시프트 값(Pmax)를 정의하고, 상기 렌더링 가이던스 데이터(GD)는 깊이 맵 정확도 및 깊이 맵 해상도 중 적어도 하나에 기초하여 최대 시차 시프트 값들 (Pmax)을 정의하는, 3-D 화상 제공 시스템.
  10. 삭제
  11. 3-D 화상을 전달하는 신호를 포함하는 컴퓨터 판독가능한 기록 매체에 있어서,
    상기 신호는,
    - 시청자의 한 쪽 눈을 위해 의도되는 제 1 화상(LP), 및 상기 시청자의 다른 쪽 눈을 위해 의도되는 제 2 화상(RP)을 포함하는, 한 쌍의 화상들;
    - 상기 제 1 화상(LP)에 특별히 전용된 깊이 맵(DM)으로서, 상기 깊이 맵은 깊이 표시 값들을 포함하고, 깊이 표시 값은 상기 제 1 화상의 특정 부분과 관련되고 상기 제 1 화상의 상기 부분에 의해 적어도 부분적으로 표시된 오브젝트와 상기 시청자 사이의 거리를 나타내는, 상기 깊이 맵(DM); 및
    - 렌더링 가이던스 데이터(GD)로서, 각각의 렌더링 콘텍스트들에 대한 각각의 파라미터들을 명시하고, 상기 각각의 파라미터들은 상기 제 1 화상(LP) 및 상기 제 1 화상에 특별히 전용되는 깊이 맵(DM)으로부터 시프트된 뷰포인트 화상(LP+/-S)을 생성하는 것과 관련되는, 상기 렌더링 가이던스 데이터(GD)를 포함하고, 상기 렌더링 가이던스 데이터(GD)는 각각의 깊이 표시 값들 (DV)을 위한 각각의 최대 시차 시프트 값(Pmax)를 정의하고, 상기 렌더링 가이던스 데이터(GD)는 깊이 맵 정확도 및 깊이 맵 해상도 중 적어도 하나에 기초하여 최대 시차 시프트 값들 (Pmax)을 정의하는, 컴퓨터 판독가능한 기록 매체.
  12. 제 11 항에 따른 상기 신호에 기초하여 3-D 화상을 렌더링하는 방법에 있어서:
    - 상기 시차 시프트 값들을 결정하기 위한 상기 렌더링 가이던스 데이터(GD)를 사용하는 동안, 상기 제 1 화상에 특별히 전용되는 상기 제 1 화상(LP) 및 상기 깊이 맵(DM)으로부터 시프트된 뷰포인트 화상(LP+/-S)이 생성되는 시프트된 뷰포인트 화상 생성 단계; 및
    - 2개의 스테레오 모드들 중 적어도 하나에 따라 상기 3-D 화상을 렌더링하기 위한 렌더링 단계를 포함하고,
    상기 2개의 스테레오 모드들은:
    - 상기 시프트된 뷰포인트 화상(LP+/-S)이 렌더링된 제 1 화상(LR)을 구성하고, 상기 신호에 포함된 상기 제 2 화상(RP)이 렌더링된 제 2 화상(RR)을 구성하는 제 1 스테레오 모드(A); 및
    - 상기 신호에 포함된 상기 제 1 화상(LP)이 상기 렌더링된 제 1 화상(LR)을 구성하고, 상기 시프트된 뷰포인트 화상(LP+/-S)이 상기 렌더링된 제 2 화상(RR)을 구성하는 제 2 스테레오 모드(B)인, 3-D 화상 렌더링 방법.
  13. 제 11 항에 따른 상기 신호에 기초하여 3-D 화상을 렌더링하기 위한 3-D 화상 렌더링 시스템에 있어서:
    - 상기 시차 시프트 값들을 결정하기 위한 상기 렌더링 가이던스 데이터(GD)를 사용하는 동안, 상기 제 1 화상(LP)에 특별히 전용된 상기 제 1 화상(LP) 및 상기 깊이 맵(DM)으로부터 시프트된 뷰포인트 화상(LP+/-S)을 생성하기 위한 시프트된 뷰포인트 생성기(SHG); 및
    - 2개의 스테레오 모드들 중 적어도 하나에 따라 상기 3-D 화상을 렌더링하기 위한 렌더링 수단을 포함하고,
    상기 2개의 스테레오 모드들은:
    - 상기 시프트된 뷰포인트 화상(LP+/-S)이 렌더링된 제 1 화상(LR)을 구성하고 상기 신호에 포함된 상기 제 2 화상(RP)이 렌더링된 제 2 화상(RR)을 구성하는 제 1 스테레오 모드(A); 및
    - 상기 신호에 포함된 상기 제 1 화상(LP)이 상기 렌더링된 제 1 화상(LR)을 구성하고, 상기 시프트된 뷰포인트 화상(LP+/-S)이 상기 렌더링된 제 2 화상(RR)을 구성하는 제 2 스테레오 모드(B)인, 3-D 화상 렌더링 시스템.
  14. 프로그래밍가능한 프로세서에 로딩될 때, 상기 프로그래밍가능한 프로세서로 하여금 제 1 항 내지 제 3 항, 제 5 항 내지 제 8 항 및 제 12 항 중 어느 한 항에 청구된 방법을 실행하도록 하는 한 세트의 명령들을 포함하는, 컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 기록 매체.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020117004033A 2008-07-24 2009-07-22 다목적 ３―ｄ 화상 포맷 KR101749893B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP08305420 2008-07-24
EP08305420.5 2008-07-24
EP08169821 2008-11-24
EP08169821.9 2008-11-24
PCT/IB2009/053180 WO2010010521A2 (en) 2008-07-24 2009-07-22 Versatile 3-d picture format

Publications (2)

Publication Number Publication Date
KR20110045013A KR20110045013A (ko) 2011-05-03
KR101749893B1 true KR101749893B1 (ko) 2017-06-22

Family

ID=41066194

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117004033A KR101749893B1 (ko) 2008-07-24 2009-07-22 다목적 ３―ｄ 화상 포맷

Country Status (10)

Country Link
US (2) US9432651B2 (ko)
EP (2) EP3101894B1 (ko)
JP (1) JP5567562B2 (ko)
KR (1) KR101749893B1 (ko)
CN (2) CN102106152A (ko)
BR (1) BRPI0911016B1 (ko)
MY (1) MY155378A (ko)
RU (1) RU2519057C2 (ko)
TW (1) TWI573434B (ko)
WO (1) WO2010010521A2 (ko)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9942558B2 (en) 2009-05-01 2018-04-10 Thomson Licensing Inter-layer dependency information for 3DV
TW201119353A (en) 2009-06-24 2011-06-01 Dolby Lab Licensing Corp Perceptual depth placement for 3D objects
KR20110005205A (ko) * 2009-07-09 2011-01-17 삼성전자주식회사 디스플레이 장치의 화면 사이즈를 이용한 신호 처리 방법 및 장치
US10021377B2 (en) * 2009-07-27 2018-07-10 Koninklijke Philips N.V. Combining 3D video and auxiliary data that is provided when not reveived
US9426441B2 (en) 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
US8830300B2 (en) * 2010-03-11 2014-09-09 Dolby Laboratories Licensing Corporation Multiscalar stereo video format conversion
US20110304618A1 (en) * 2010-06-14 2011-12-15 Qualcomm Incorporated Calculating disparity for three-dimensional images
IT1401367B1 (it) * 2010-07-28 2013-07-18 Sisvel Technology Srl Metodo per combinare immagini riferentesi ad un contenuto tridimensionale.
US9571811B2 (en) 2010-07-28 2017-02-14 S.I.Sv.El. Societa' Italiana Per Lo Sviluppo Dell'elettronica S.P.A. Method and device for multiplexing and demultiplexing composite images relating to a three-dimensional content
KR20130095275A (ko) 2010-08-09 2013-08-27 코닌클리케 필립스 일렉트로닉스 엔.브이. 인코더, 디코더, 비트-스트림, 다중-뷰 신호의 두 개의 뷰들에 대응하는 이미지 쌍을 인코딩하는 방법, 및 디코딩하는 방법
US9485492B2 (en) 2010-09-14 2016-11-01 Thomson Licensing Llc Compression methods and apparatus for occlusion data
CN103202019A (zh) * 2010-11-22 2013-07-10 索尼公司 编码装置和编码方法、以及解码装置和解码方法
EP2647209B1 (en) * 2010-12-03 2017-11-01 Koninklijke Philips N.V. Transferring of 3d image data
JP4908624B1 (ja) * 2010-12-14 2012-04-04 株式会社東芝 立体映像信号処理装置及び方法
US20120162412A1 (en) * 2010-12-22 2012-06-28 Electronics And Telecommunications Research Institute Image matting apparatus using multiple cameras and method of generating alpha maps
WO2012145191A1 (en) 2011-04-15 2012-10-26 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3d images independent of display size and viewing distance
US20120274626A1 (en) * 2011-04-29 2012-11-01 Himax Media Solutions, Inc. Stereoscopic Image Generating Apparatus and Method
CN103095978A (zh) * 2011-11-03 2013-05-08 华晶科技股份有限公司 产生背景模糊的影像处理方法及其影像撷取装置
KR20130094905A (ko) * 2012-02-17 2013-08-27 삼성전자주식회사 디스플레이장치 및 그 입체감 조정방법
CN111182311A (zh) * 2012-04-25 2020-05-19 浙江大学 三维视频序列辅助信息的解码方法、编码方法及装置
TWI630815B (zh) * 2012-06-14 2018-07-21 杜比實驗室特許公司 用於立體及自動立體顯示器之深度圖傳遞格式
JP2014016383A (ja) * 2012-07-05 2014-01-30 Toshiba Corp 画像処理装置および画像表示装置
WO2014013695A1 (ja) 2012-07-19 2014-01-23 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
GB2499694B8 (en) 2012-11-09 2017-06-07 Sony Computer Entertainment Europe Ltd System and method of image reconstruction
RU2013102854A (ru) 2013-01-30 2014-08-10 ЭлЭсАй Корпорейшн Способ и устройство для повышения кадровой частоты потока изображений с использованием, по меньшей мере, одного потока изображений с более высокой кадровой частотой
RU2015147002A (ru) * 2013-04-05 2017-05-12 Конинклейке Филипс Н.В. Перенастройка сигнала трехмерного изображения
RU2556451C2 (ru) * 2013-06-06 2015-07-10 Общество с ограниченной ответственностью "Триаксес Вижн" СПОСОБ КОМПОНОВКИ ФОРМАТА ЦИФРОВОГО СТЕРЕОСКОПИЧЕСКОГО ВИДЕОПОТОКА 3DD Tile Format
TWI503788B (zh) * 2013-10-02 2015-10-11 Jar Ferr Yang 還原尺寸重調景深圖框爲原始景深圖框的方法、裝置及系統
TWI603290B (zh) * 2013-10-02 2017-10-21 國立成功大學 重調原始景深圖框的尺寸爲尺寸重調景深圖框的方法、裝置及系統
RU2661331C2 (ru) * 2014-10-08 2018-07-13 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство кодирования изображений с эффектом глубины при кодировании видео
KR102305998B1 (ko) * 2014-12-08 2021-09-28 엘지이노텍 주식회사 영상 처리 장치
US11218682B2 (en) * 2015-01-21 2022-01-04 Nevermind Capital Llc Methods and apparatus for processing and or encoding images with negative parallax
US20160253839A1 (en) 2015-03-01 2016-09-01 Nextvr Inc. Methods and apparatus for making environmental measurements and/or using such measurements in 3d image rendering
US10368059B2 (en) * 2015-10-02 2019-07-30 Atheer, Inc. Method and apparatus for individualized three dimensional display calibration
CN105913499A (zh) * 2016-04-12 2016-08-31 郭栋 一种立体转制合成的方法及系统
EP3249929A1 (en) * 2016-05-25 2017-11-29 Thomson Licensing Method and network equipment for establishing a manifest
KR102434497B1 (ko) 2017-02-03 2022-08-18 워너 브로스. 엔터테인먼트 인크. 가상 현실에서 확장 비디오의 렌더링
US10671881B2 (en) 2017-04-11 2020-06-02 Microsoft Technology Licensing, Llc Image processing system with discriminative control
RU2691884C1 (ru) * 2018-01-16 2019-06-18 Общество с ограниченной ответственностью "Авиаинформатика" Телевизионное устройство для формирования стереоскопического изображения
EP3745704B1 (en) * 2018-01-25 2024-03-06 Sony Semiconductor Solutions Corporation Image processing device, output information control method, and program
US11348252B1 (en) * 2018-07-12 2022-05-31 Nevermind Capital Llc Method and apparatus for supporting augmented and/or virtual reality playback using tracked objects
CN111540003A (zh) * 2020-04-27 2020-08-14 浙江光珀智能科技有限公司 一种深度图像的生成方法及装置
US11190748B1 (en) * 2020-11-20 2021-11-30 Rockwell Collins, Inc. Dynamic parallax correction for visual sensor fusion

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007057497A1 (en) * 2005-11-17 2007-05-24 Nokia Corporation Method and devices for generating, transferring and processing three-dimensional image data
WO2007113725A2 (en) * 2006-03-31 2007-10-11 Koninklijke Philips Electronics N.V. Efficient encoding of multiple views
JP2008141666A (ja) * 2006-12-05 2008-06-19 Fujifilm Corp 立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8626527D0 (en) 1986-11-06 1986-12-10 British Broadcasting Corp 3d video transmission
US5737012A (en) * 1994-12-01 1998-04-07 Olympus Optical Co., Ltd. Head mounted image display apparatus and image forming apparatus related thereto
US5617334A (en) * 1995-07-21 1997-04-01 The Trustees Of Columbia University In The City Of New York Multi-viewpoint digital video coder/decoder and method
JPH0946729A (ja) * 1995-08-01 1997-02-14 Olympus Optical Co Ltd 立体撮像装置
JP4159606B2 (ja) * 1996-05-24 2008-10-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 動き推定
US6137912A (en) * 1998-08-19 2000-10-24 Physical Optics Corporation Method of multichannel data compression
EP1297486A4 (en) * 2000-06-15 2006-09-27 Automotive Systems Lab OCCUPANCY SENSOR
AU2001290838A1 (en) 2000-09-14 2002-04-08 Orasee Corp. Method for automated two-dimensional and three-dimensional conversion
US7085409B2 (en) 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US20020080143A1 (en) * 2000-11-08 2002-06-27 Morgan David L. Rendering non-interactive three-dimensional content
KR20020086937A (ko) 2001-01-26 2002-11-20 코닌클리케 필립스 일렉트로닉스 엔.브이. 시공간 필터 유닛 및 이러한 시공간 필터 유닛을 포함하는영상 디스플레이 장치
JP3957620B2 (ja) 2001-11-27 2007-08-15 三星電子株式会社 深さイメージ基盤３次元客体を表現するための装置及び方法
EP2357837A3 (en) * 2002-03-27 2012-02-22 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
US8369607B2 (en) 2002-03-27 2013-02-05 Sanyo Electric Co., Ltd. Method and apparatus for processing three-dimensional images
US20030198290A1 (en) * 2002-04-19 2003-10-23 Dynamic Digital Depth Pty.Ltd. Image encoding system
JP2004153808A (ja) * 2002-10-10 2004-05-27 Fuji Photo Optical Co Ltd 立体電子映像装置
EP1408703A3 (en) 2002-10-10 2004-10-13 Fuji Photo Optical Co., Ltd. Electronic stereoscopic imaging system
JP3971691B2 (ja) * 2002-10-31 2007-09-05 日本電信電話株式会社 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体
WO2004049734A1 (ja) 2002-11-28 2004-06-10 Seijiro Tomita 立体映像信号生成回路及び立体映像表示装置
WO2004056133A1 (ja) * 2002-12-16 2004-07-01 Sanyo Electric Co., Ltd. 立体映像生成装置及び立体映像配信方法
JP4188968B2 (ja) * 2003-01-20 2008-12-03 三洋電機株式会社 立体視用映像提供方法及び立体映像表示装置
US20050041736A1 (en) * 2003-05-07 2005-02-24 Bernie Butler-Smith Stereoscopic television signal processing method, transmission system and viewer enhancements
US8094927B2 (en) 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
KR101187550B1 (ko) 2004-02-27 2012-10-04 티디비전 코포레이션 에스.에이. 데 씨.브이. 입체적 3ｄ-비디오 이미지 디지털 코딩 시스템 및 방법
JP2005295004A (ja) * 2004-03-31 2005-10-20 Sanyo Electric Co Ltd 立体画像処理方法および立体画像処理装置
KR100585966B1 (ko) 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
KR100707206B1 (ko) 2005-04-11 2007-04-13 삼성전자주식회사 3차원 객체의 깊이영상 기반 표현 방법 및 이를 이용한모델링 및 렌더링 방법 및 장치
RU2322771C2 (ru) * 2005-04-25 2008-04-20 Святослав Иванович АРСЕНИЧ Стереопроекционная система
US20070122029A1 (en) 2005-07-06 2007-05-31 Cedar Crest Partners, Inc. System and method for capturing visual data and non-visual data for multi-dimensional image display
JP5431726B2 (ja) * 2005-06-23 2014-03-05 コーニンクレッカ フィリップス エヌ ヴェ 画像および関連データの組み合わされた交換
WO2007011147A1 (en) * 2005-07-18 2007-01-25 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
KR100667810B1 (ko) * 2005-08-31 2007-01-11 삼성전자주식회사 ３ｄ 영상의 깊이감 조정 장치 및 방법
RU2306678C1 (ru) * 2006-02-07 2007-09-20 Василий Александрович ЕЖОВ Автостереоскопический дисплей с квазинепрерывным спектром ракурсов
US20070247477A1 (en) * 2006-04-21 2007-10-25 Lowry Gregory N Method and apparatus for processing, displaying and viewing stereoscopic 3D images
JP4468341B2 (ja) * 2006-09-28 2010-05-26 株式会社東芝 三次元画像表示方法および三次元画像表示装置
JP4751801B2 (ja) * 2006-10-17 2011-08-17 シャープ株式会社 立体画像検索装置
US8335403B2 (en) 2006-11-27 2012-12-18 Nec Laboratories America, Inc. Soft edge smoothness prior and application on alpha channel super resolution
WO2009011492A1 (en) * 2007-07-13 2009-01-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image
MY162861A (en) 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
KR101518531B1 (ko) * 2008-05-12 2015-05-07 톰슨 라이센싱 스테레오스코픽 모션 픽쳐들의 잠재적인 아이스트레인을 측정하기 위한 시스템 및 방법
WO2010043773A1 (en) * 2008-10-17 2010-04-22 Nokia Corporation Sharing of motion vector in 3d video coding
EP2197217A1 (en) 2008-12-15 2010-06-16 Koninklijke Philips Electronics N.V. Image based 3D video format

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007057497A1 (en) * 2005-11-17 2007-05-24 Nokia Corporation Method and devices for generating, transferring and processing three-dimensional image data
WO2007113725A2 (en) * 2006-03-31 2007-10-11 Koninklijke Philips Electronics N.V. Efficient encoding of multiple views
JP2008141666A (ja) * 2006-12-05 2008-06-19 Fujifilm Corp 立体視画像作成装置、立体視画像出力装置及び立体視画像作成方法

Also Published As

Publication number Publication date
BRPI0911016A2 (pt) 2016-06-07
EP2308241A2 (en) 2011-04-13
MY155378A (en) 2015-10-15
WO2010010521A2 (en) 2010-01-28
US9432651B2 (en) 2016-08-30
CN106101682A (zh) 2016-11-09
EP3101894A1 (en) 2016-12-07
CN106101682B (zh) 2019-02-22
KR20110045013A (ko) 2011-05-03
US20160344995A1 (en) 2016-11-24
WO2010010521A3 (en) 2010-03-18
US10567728B2 (en) 2020-02-18
TWI573434B (zh) 2017-03-01
JP5567562B2 (ja) 2014-08-06
RU2519057C2 (ru) 2014-06-10
TW201010409A (en) 2010-03-01
EP2308241B1 (en) 2017-04-12
CN102106152A (zh) 2011-06-22
EP3101894B1 (en) 2021-06-23
US20110122131A1 (en) 2011-05-26
JP2011529287A (ja) 2011-12-01
RU2011106470A (ru) 2012-08-27
BRPI0911016B1 (pt) 2021-01-05

Similar Documents

Publication Publication Date Title
KR101749893B1 (ko) 다목적 ３―ｄ 화상 포맷
US11310486B2 (en) Method and apparatus for combining 3D image and graphical data
JP5553310B2 (ja) 立体的なレンダリングのための画像エンコード方法
RU2554465C2 (ru) Комбинирование 3d видео и вспомогательных данных
US9357231B2 (en) Video encoding device, video encoding method, video reproducing device, video reproducing method, video recording medium, and video data stream
CN102292995B (zh) 3d图像数据的传输
US20110298795A1 (en) Transferring of 3d viewer metadata
BRPI0911014B1 (pt) Método de criação de um sinal de imagem tridimensional para renderização em um display, dispositivo para criação de um sinal de imagem tridimensional para renderização em um display, método de processamento de um sinal de imagem tridimensional e dispositivo para processamento de um sinal de imagem tridimensional
KR20140041489A (ko) 스테레오스코픽 이미지의 동시적인 스테레오스코픽 및 모노스코픽 디스플레이를 가능하게 하기 위한 스테레오스코픽 이미지의 자동 컨버전

Legal Events

Date Code Title Description
AMND Amendment
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant