TW201349842A - 深度輔助資料 - Google Patents

深度輔助資料 Download PDF

Info

Publication number
TW201349842A
TW201349842A TW102112228A TW102112228A TW201349842A TW 201349842 A TW201349842 A TW 201349842A TW 102112228 A TW102112228 A TW 102112228A TW 102112228 A TW102112228 A TW 102112228A TW 201349842 A TW201349842 A TW 201349842A
Authority
TW
Taiwan
Prior art keywords
depth
depth map
video signal
data
video
Prior art date
Application number
TW102112228A
Other languages
English (en)
Other versions
TWI586143B (zh
Inventor
Wilhelmus Hendrikus Alfonsus Bruls
Philip Steven Newton
Joop Cornelis Talstra
Haan Wiebe De
Original Assignee
Koninkl Philips Electronics Nv
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninkl Philips Electronics Nv filed Critical Koninkl Philips Electronics Nv
Publication of TW201349842A publication Critical patent/TW201349842A/zh
Application granted granted Critical
Publication of TWI586143B publication Critical patent/TWI586143B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本發明描述一種用於3D資料朝向各種類型之3D顯示器之傳輸之混合傳輸/自動轉換3D格式及方案。在解碼器(20)中，一立體轉深度(stereo-to-depth)轉換器(24)產生一深度圖。在3D視訊信號中，在時間上(部分深度在時間上)及/或空間上(部分深度在圖框內)兩者稀疏傳輸稱作深度輔助資料(DH-bitstr)之額外深度資訊。一深度切換器(25)基於用於指示何時使用該等部分深度或何時必須本端自動產生該等深度之一明確或隱含機制而選擇該等部分深度。有利地，藉由該深度輔助資料減小歸因於該立體轉深度轉換器之干擾深度誤差。

Description

深度輔助資料
本發明係關於一種用於提供用於傳送至一3D目標裝置之一三維[3D]視訊信號之3D源裝置。3D視訊信號包括表示一3D顯示器上之一左眼視圖之第一視訊資訊，及表示該3D顯示器上之一右眼視圖之第二視訊資訊。3D目標裝置包括：用於接收3D視訊信號之接收器；及一立體轉深度轉換器，該立體轉深度轉換器用於基於第一及第二視訊資訊產生一第一產生深度圖。3D源裝置包括用於產生3D視訊信號且將3D視訊信號傳送至3D目標裝置之一輸出單元。
本發明進一步係關於一種提供用於傳送至一3D目標裝置之一3D視訊信號之方法。
本發明係關於在一源裝置(例如，一廣播裝置、網際網路網站伺服器、編輯系統、藍光光碟之製造商等)產生且傳送一3D視訊信號至需要一深度圖以用於轉譯多個視圖之一3D目標裝置(例如，一藍光光碟播放器、3D電視機、3D顯示器、行動計算裝置等)之領域。
文獻「Working Draft on MVC extensions for inclusion of depth maps - ISO/IEC/JTC1/SC29/WG11/N12351, December 2011 by Teruhiko Suzuki, Miska M. Hannuksela, Ying Chen」係用於添加3D視訊技術至MPEG編碼視訊傳送信號之ITU-T Rec.H.264 | ISO/IEC 14496-10之新修正之一建議書(進一步稱作ISO建議書)。該ISO建議書描述視聽物件 之編碼，特定言之該ISO標準部分10：先進視訊編碼(Advanced Video Coding)之修正，其有關納入視訊格式之深度圖之多視圖編碼(MVC)延伸版本。根據納入深度圖之修正MVC延伸版本，指定視訊編碼允許表示具有相關多個增補視圖之多個視圖(亦即，深度圖視圖)之位元流之建構。類似於多視圖視訊編碼，表示多個增補視圖之位元流亦可含有符合提出之規範之進一步子位元流。
根據ISO建議書，可將深度圖添加至一3D視訊資料流，該3D視訊資料流具有表示一3D顯示器上之一左眼視圖之第一視訊資訊及表示3D顯示器上之一右眼視圖之第二視訊資訊。(例如)針對一自動立體顯示器，在解碼器側之一深度圖能夠在左及右視圖之外產生進一步視圖。
ISO建議書要求視訊材料具有深度圖，而這需要額外資料傳輸容量。此外，存在許多不具有深度圖資料之現存3D視訊材料。針對此材料，目標裝置可具有用於基於第一及第二視訊資訊產生一產生深度圖之一立體轉深度轉換器。
本發明之一目標為提供一種用於提供及傳送深度資訊之系統，該系統更靈活用於增強3D視訊轉譯。
針對此目的，根據本發明之一第一態樣，如在開頭段落中所描述的源裝置經配置以提供關於視訊資訊之一源深度圖，且該3D源裝置包括：一源立體轉深度轉換器，該源立體轉深度轉換器用於基於第一及第二視訊資訊產生一第二產生深度圖；及一源深度處理器，該源深度處理器經配置以僅當源深度圖與第二產生深度圖之間之一差異超出一預定臨限值時提供深度輔助資料，該深度輔助資料表示源深度圖，且輸出單元經配置以於3D視訊信號中包含深度輔助資料。
3D視訊信號包括深度輔助資料。
3D目標裝置包括一深度處理器，該深度處理器用於當3D視訊信號中無可用之深度輔助資料時基於第一產生深度圖而產生一目標深度圖，且當3D視訊信號中有可用之深度輔助資料時基於深度輔助資料而產生一目標深度圖。
這些做法具有以下效應：使目標裝置能夠自表示左及右視圖之第一及第二視訊資訊基於一本端產生深度圖產生一目標深度圖，及當可用時或在可用之處，應用深度輔助資料以增強該本端產生深度圖。有利地，當本端產生深度圖與源深度圖具有一實質差異時僅傳送深度輔助資料。因此，減小藉由錯誤產生深度圖引起之視覺干擾誤差。
本發明亦基於以下認識。發明者已看出，當基於一左及右視圖時，本端深度圖產生通常提供一非常合宜結果。然而，在一些時刻或位置可出現干擾誤差。藉由在源處預測此等誤差之出現，且僅針對此等時刻或週期添加該輔助資料，從而限制必須傳送之額外深度資料量。此外，藉由基於源深度圖傳送輔助資料，且在目標側選擇該輔助資料而非使用錯誤本端產生深度資料，從而達成多個視圖之基於深度轉譯之一顯著改良。
可選擇地，在3D源裝置中，輸出單元經配置以在時間之一校正週期內該差異超出該臨限值時，僅針對該校正週期於3D視訊信號中包含深度輔助資料。效應在於僅針對其中出現實質深度誤差之週期(其實際上小於時間之10%)傳輸輔助資料。有利地，減小待傳送之資料量。
可選擇地，在3D源裝置中，輸出單元經配置以在小於3D顯示器之一校正區域中該差異超出該臨限值時，僅針對該校正區域於3D視訊信號中包含深度輔助資料。其效應在於，僅針對其中出現實質深度誤差之位置(其實際上小於其中出現此類誤差之圖框之50%)傳輸輔助資料。有利地，減小待傳送之資料量。
可選擇地，在3D源裝置中，深度處理器經配置以針對校正區域產生深度輔助資料，使得該校正區域與3D視訊信號中至少一巨集區塊對準，該巨集區塊表示壓縮視訊資料之一預定區塊，對準巨集區塊之校正區域包括在源深度圖與第二產生深度圖之間之差異未超出預定臨限值時用於位置之進一步深度資料。其效應在於，將藉由尋常編碼處理器有效率地編碼校正區域，因為編碼在巨集區塊中經組織。反之，編碼僅含有錯誤深度值之校正之一任意形狀將需要許多編碼工作量，且將導致一低壓縮速率。此一校正區域亦含有其中第二產生深度圖及源深度圖之深度值小且低於臨限值之像素。進一步深度圖可基於第二產生深度圖以避免在對準巨集區塊之校正區域之外邊緣之深度跳躍。有利地，使得進一步深度校正值等於產生值將在解碼器側避免跨巨集區塊之深度差異變得清晰可見。
可選擇地，在3D源裝置中，輸出單元經配置以於3D視訊信號中包含發信號輔助資料，發信號輔助資料指示深度輔助資料之可用性。有利地，使解碼器能夠容易基於發信號輔助資料偵測深度輔助資料之存在或缺少。發信號輔助資料可(例如)包括以下之至少一者：- 指示深度輔助資料之存在之一旗標信號；- 指示用於一對應位置之深度輔助資料之缺少之一深度圖中之一預定義無深度值；- 指示一資料結構中深度輔助資料之量之輔助長度資料；- 指示其中可用深度輔助資料之視圖之一數目及/或類型之視圖指示符資料；- 指示用於深度輔助資料之一資料結構之輔助類型資料；- 指示深度輔助資料之一解析度之輔助解析度資料；- 指示深度輔助資料之一位置之輔助位置資料。
有利地，此等發信號輔助資料指示深度輔助資料之存在及/或 量。
可選擇地，在3D源裝置中，輸出單元經配置以於3D視訊信號中包含對應於3D顯示器上之一顯示區域之一深度圖，該深度圖包括用於校正區域及/或校正週期之深度輔助資料，及作為發信號輔助資料之一預定義無深度值，該預定義無深度值指示用於其他區域及/或週期之一對應位置之深度輔助資料之缺少。深度圖可包含於信號中以用於具有任一深度輔助資料(亦即，隱含指示存在深度輔助資料之深度圖之存在)之圖框。或者，深度圖可經包含用於全部圖框。發明者已提及，當前壓縮方案非常有效壓縮遍及大部分或甚至整個顯示表面具有一單個值之深度圖(特定言之，當指示輔助資料之本端缺少之無深度值被選定為0或255時)。有利地，當深度值自該無深度值偏差時，在解碼器側僅使用任何校正值自動處理深度圖。
可選擇地，深度圖包括以下之至少一者：對應於左視圖之深度圖；對應於右視圖之深度圖；對應於一中心視圖之深度圖；具有低於第一視訊資訊或第二視訊資訊之一解析度之深度圖。有利地，藉由根據該準則提供一或多個深度圖，解碼器可使用如所需之一適當深度圖。
隨附技術方案中給出根據本發明之裝置及方法之進一步較佳實施例，該等隨附技術方案之揭示藉由引用的方式併入本文中。
20‧‧‧3D解碼器
21‧‧‧輸入解多工器(DEMUX)
22‧‧‧第一解碼器(DEC)
23‧‧‧第二解碼器(DEC)
24‧‧‧用戶類型立體轉深度轉換器(CE-S2D)
25‧‧‧深度切換器(DEPTH-SW)
30‧‧‧3D編碼器
32‧‧‧深度切換器單元
33‧‧‧第一編碼器(ENC)
34‧‧‧第二編碼器(ENC)
35‧‧‧輸出多工器(MUX)
40‧‧‧3D源裝置
41‧‧‧三維[3D]視訊信號
42‧‧‧源深度處理器
43‧‧‧輸入3D視訊資料
45‧‧‧網路
46‧‧‧輸出單元
47‧‧‧輸入單元
48‧‧‧源立體轉深度轉換器
50‧‧‧3D目標裝置
51‧‧‧輸入單元/接收單元
52‧‧‧目標深度處理器/視訊處理器
53‧‧‧立體轉深度轉換器
54‧‧‧記錄載體
55‧‧‧輸出介面單元/輸出單元
56‧‧‧3D顯示信號
58‧‧‧光碟單元/讀取單元/接收單元
59‧‧‧網路介面單元/接收單元
60‧‧‧3D顯示裝置
61‧‧‧輸入介面單元/輸入單元
62‧‧‧視圖處理器/處理單元/視訊處理器
63‧‧‧3D顯示器
400‧‧‧深度處理器
401‧‧‧視圖扭曲單元
402‧‧‧交錯單元
403‧‧‧自動立體顯示器(ASD)
404‧‧‧深度後處理器(Z-PP)
405‧‧‧視圖
406‧‧‧顯示器輸入介面
501‧‧‧深度處理器
502‧‧‧顯示器輸入介面
503‧‧‧雙視圖立體顯示器(STD)
BL‧‧‧基線參數
BS1‧‧‧經編碼視訊資料
BS2‧‧‧經編碼深度輔助資料
BS3‧‧‧基礎信號3D/3D視訊信號
DH-bitstr‧‧‧深度輔助資料
Full_L‧‧‧全左視圖
HDMI IF‧‧‧經延伸以傳送視圖資訊IF之HDMI標準
L‧‧‧左圖框/左視圖
LD-man‧‧‧源深度圖
LD1‧‧‧左深度圖/目標產生深度圖
LD2‧‧‧左輔助深度圖/深度輔助資料
LD3‧‧‧深度輸出/目標深度圖
LD4‧‧‧左深度圖/源產生深度圖/深度輔助資料
LD5‧‧‧深度輔助資料
LR-bitstr‧‧‧左及右視圖
new_L‧‧‧增強型視圖/新視圖
new_R‧‧‧增強型視圖/新視圖
R‧‧‧右圖框/右視圖
RD-man‧‧‧源深度圖
RD1‧‧‧右深度圖/目標產生深度圖
RD2‧‧‧右輔助深度圖/深度輔助資料
RD3‧‧‧深度輸出
RD4‧‧‧右深度圖/源產生深度圖/深度輔助資料
RD5‧‧‧深度輔助資料
RGBD HDMI‧‧‧經延伸以傳送RGB及深度之HDMI標準
t1‧‧‧開始時間
t2‧‧‧開始時間
t3‧‧‧開始時間
t6‧‧‧開始時間
參考憑藉以下描述中之實例描述之實施例及隨附圖式將明白且進一步說明本發明之此等及其他態樣，其中圖1展示用於處理3D視訊資料及顯示3D視訊資料之一系統，圖2展示使用深度輔助資料之一3D解碼器，圖3展示提供深度輔助資料之一3D編碼器，圖4展示一自動立體顯示裝置及產生多個視圖， 圖5展示一雙視圖立體顯示裝置及產生增強型視圖，且圖6展示一3D視訊信號中深度輔助資料之存在。
該等圖係單純概略的，且並未按比例繪製。在該等圖中，對應於已描述之元件之元件可具有相同元件符號。
注意，本發明可用於任一類型之3D影像資料(靜態圖片或動態視訊)。假定3D影像資料可用作電子、數位編碼資料。本發明係關於此影像資料及在數位域中操控該影像資料。
存在其中可根據一所謂3D視訊格式格式化及傳送3D視訊信號之許多不同方式。一些格式基於使用一2D通道以亦攜載立體資訊。在3D視訊信號中，藉由一二維像素陣列中之影像值表示影像。例如，可交錯或可並列及上下放置左及右視圖。亦可傳送一深度圖，且或許傳送進一步3D資料(如，遮蔽或透明度資料)。在文本中，亦將一視差圖視為一類型之深度圖。深度圖亦在對應於影像之一二維陣列中具有深度值，然而該深度圖可具有一不同解析度。可根據已知之壓縮方法(例如MPEG)壓縮3D視訊資料。任一3D視訊系統(諸如網際網路或藍光光碟(BD))可受益於提出之增強。
3D顯示器可係一相對小單元(例如，一行動電話)、需要快門眼鏡之一大立體顯示器(STD)、任一立體顯示器(STD)、考量一可變基線之一進階型STD、基於頭部追蹤將L及R視圖的目標定在觀看者之眼之一主動STD或一自動立體多視圖顯示器(ASD)等。
傳統地，傳輸驅動各種類型之3D顯示器所需之全部分量，其通常需要一個以上視圖(攝影信號)及其對應深度之壓縮及傳輸(例如，如2011年3月在瑞士日內瓦之MPEG文獻N12306「Call for Proposals on 3D Video Coding Technology」中所論述)。此系統之問題在於：深度信號(產生需要技術且昂貴)之可用性；針對可變基線驅動ASD及進階 型STD之有限初始內容可用性；及傳輸深度信號所需之額外位元速率。解碼器本身之自動轉換(自立體自動導出深度)請見例如2011年11月在瑞士日內瓦之MPEG文獻M22668「Description of 3D Video Coding Technology Proposal by Disney Research Zurich and Fraunhofer HHI」。然而，無法保證整體品質且品質將被限制於特定「需要技術的」場景中(例如，場景之5%)。作為用於立體視訊解碼器之後之自動轉換之一替代，亦可將一立體轉深度轉換器放置於其中可施加更高處理能力之編碼器側。然而，此並未減小待傳送之資料量且仍遭受其中合成深度圖不可靠之一些需要技術的場景。
圖1展示用於處理3D視訊資料及顯示3D視訊資料之一系統。一第一3D視訊裝置(稱作3D源裝置40)提供且傳送一3D視訊信號41至一進一步3D影像處理裝置(稱作3D目標裝置50)，該3D目標裝置50經耦合至一3D顯示裝置60以傳送一3D顯示信號56。視訊信號可(例如)係一3D電視廣播信號，諸如，使用½ HD圖框相容、多視圖編碼(MVC)或圖框相容全解析度(例如，由Dolby提出之FCFR)之一標準立體傳輸。 基於一圖框相容基礎層，Dolby開發一增強層以重建全解析度3D影像。已向MPEG提出此技術用於標準化且此技術僅需要位元速率之一~10%增加。如下文所說明，藉由深度輔助資料增強傳統3D視訊信號。
圖1進一步展示作為3D視訊信號之一載體之一記錄載體54。記錄載體呈圓盤狀且具有一軌道及一中心孔。根據在一或多層資訊層上組成實質上平行軌道之圈之一螺旋或同心圖案配置由實際上可偵測標記之一圖案組成之軌道。記錄載體可係光學可讀，稱作一光碟(例如，DVD或BD(藍光光碟))。在資訊層上藉由沿著軌道之光學可偵測標記(例如，凹洞(pit)及平面(land))體現資訊。軌道結構亦包括用於指示資訊單元位置(通常稱作資訊區塊)之位置資訊(例如，標頭及位址)。記 錄載體54以一預定義記錄格式(如，DVD或BD格式)攜載表示(例如)根據MPEG2或MPEG4編碼系統編碼之數位編碼3D影像資料(如，視訊)之資訊。
3D源裝置具有一源深度處理器42，該源深度處理器42用於處理經由一輸入單元47接收之3D視訊資料。可自一儲存系統、一錄製攝影室、3D攝影機等取得輸入3D視訊資料43。源系統處理經提供用於3D影像資料之一深度圖，該深度圖可起初存在於系統之輸入，或如下文所描述，可藉由一高品質處理系統自動產生(例如，自一立體(L+R)視訊信號之左/右圖框或自2D視訊產生)，且可能進一步經處理或校正以提供精確表示對應於隨附2D影像資料或左/右圖框之深度值之一源深度圖。
源深度處理器42產生包括3D視訊資料之3D視訊信號41。3D視訊信號具有表示一3D顯示器上之一左眼視圖之第一視訊資訊，及表示一3D顯示器上之一右眼視圖之第二視訊資訊。源裝置可經配置以自視訊處理器經由一輸出單元46傳送3D視訊信號且傳送至一進一步3D視訊裝置，或提供一3D視訊信號用於(例如)經由一錄製載體散佈。3D視訊信號係基於處理輸入3D視訊資料43，例如藉由根據一預定義格式編碼及格式化3D視訊資料。
3D源裝置具有用於基於第一及第二視訊資訊產生一源產生深度圖之一源立體轉深度轉換器48，及用於提供深度輔助資料之一源深度處理器42。
在操作中，用於產生一深度圖之一立體轉深度轉換器接收一立體3D信號(亦稱作左-右視訊信號)，該立體3D信號具有表示針對一觀看者之各個眼顯示以產生一3D效應之一左視圖及一右視圖之左圖框L及右圖框R之一時間順序。單元藉由左視圖及右視圖之視差估計而產生一產生深度圖，且進一步可基於該左視圖及/或該右視圖提供一2D 影像。視差估計可基於用以比較L與R圖框之運動估計演算法。取決於一物件之L及R視圖之間之大差異之方向，在顯示器螢幕前或後將該等差異轉換成深度值。產生器單元之輸出為產生深度圖。隨後，在偵測深度誤差之情況下(亦即，僅當源深度圖與產生深度圖之間之一差異超出一預定臨限值時)產生深度輔助資料。例如，一預定深度差異可組成該臨限值。亦可取決於影響深度誤差之可見性之進一步影像性質(例如，本端影像強度或對比或紋理)構成該臨限值。如下，亦可藉由偵測產生深度圖之一品質位準而判定該臨限值。產生深度圖係用以扭曲具有對應於一給定不同視圖之定向之一視圖。例如，一R’視圖係基於原始L影像資料及產生深度圖。隨後，在R’視圖與原始R視圖之間(例如)藉由熟知PSNR函數(峰值信號雜訊比)計算一差異。PSNR係一信號之最大可能功率與影響其表示之保真度之損壞雜訊之功率之間之比。因為許多信號具有一非常廣動態範圍，所以通常根據對數分貝標度表達PSNR。現可使用PSNR作為產生深度圖之品質之一量測。 此情況中之信號係原始資料R，且雜訊係藉由基於產生深度圖扭曲R’而引進之誤差。此外，亦可基於進一步可見性準則，或藉由一編輯器基於產生深度圖編輯或檢視結果，及控制其中需要藉由深度輔助資料加強3D視訊之部分及/或週期而判定臨限值。
深度輔助資料表示源深度圖，例如，在該深度誤差之位置之源深度圖之深度值。或者，一深度差異或一深度校正因子可包含於深度輔助資料中以指示目標裝置如何到達源深度圖之深度值。輸出單元46經配置以於3D視訊信號中包含深度輔助資料。具有深度處理器42、立體轉深度轉換器48及輸出單元46之功能之一處理器單元可稱作一3D編碼器。
3D源可係一伺服器、一廣播裝置、一記錄裝置或用於製造光學記錄載體(如，藍光光碟)之一編輯及/或生產系統。藍光光碟提供一互 動式平台以散佈內容創作者之視訊。可自藍光光碟聯盟之網站(例如http：//www.blu-raydisc.com/Assets/Downloadablefile/2b_bdrom_audiovi sualapplication_0305-12955-15269.pdf)取得關於藍光光碟格式資訊之視聽應用格式文件。光學記錄載體之生產程序進一步包括以下步驟：依軌道提供標記之一實體圖案，其中圖案體現包含深度輔助資料之3D視訊信號；及隨後根據該圖案塑形記錄載體之材料以在至少一儲存層上提供標記之軌道。
3D目標裝置50具有用於接收3D視訊信號41之一輸入單元51。例如，該裝置可包含經耦合至輸入單元以自一光學記錄載體54(如，DVD或藍光光碟)擷取3D視訊資訊之一光碟單元58。或者(或額外地)，該裝置可包含用於耦合至一網路45(例如，網際網路或廣播網路)之一網路介面單元59，此裝置為一機上盒或一行動計算裝置(如，行動電話或平板電腦)。可自一遠端網站或媒體伺服器(例如，3D源裝置40)擷取3D視訊信號。3D影像處理裝置可係將一影像輸入信號轉換至具有所需深度資訊之一影像輸出信號之一轉換器。此一轉換器可用以針對一具體類型之3D顯示器轉換不同輸入3D視訊信號，例如，適用於一特定類型或供應商之自動立體顯示器之一視訊信號之標準3D內容。在實踐中，該裝置可係一3D光碟播放器或一衛星接收器或機上盒，或任一類型之媒體播放器。
3D目標裝置具有一深度處理器52，該深度處理器52經耦合至輸入單元51以處理3D資訊以產生經由一輸出介面單元55傳送至顯示裝置之一3D顯示信號56，例如，根據HDMI標準(見「High Definition Multimedia Interface；Specification Version 1.4a of March 4,2010」)之一顯示信號，該HDMI標準之3D部分在http：//hdmi.org/manufacturer/specification.aspx可用於公開下載。
3D目標裝置具有用於基於第一及第二視訊資訊產生一目標產生深度圖之一立體轉深度轉換器53。該立體轉深度轉換器之操作等效於上文所描述之源裝置中之立體轉深度轉換器。當兩個轉換器相等時，將出現可經由深度輔助資料校正之相同深度誤差。若進一步改良目標立體轉深度轉換器(亦即，至少與源立體轉深度轉換器一樣執行良好)，則最終目標深度圖將有益於其中無可用輔助資料之情況。具有目標深度處理器52、立體轉深度轉換器53及輸出單元55之功能之一單元可稱作一3D解碼器。
目標深度處理器52經配置以產生包含於3D顯示信號56中之影像資料以在顯示裝置60上顯示。該深度處理器經配置以當3D視訊信號中無可用之深度輔助資料時基於目標產生深度圖而產生一目標深度圖，且當3D視訊信號中有可用之深度輔助資料時基於深度輔助資料而產生一目標深度圖。例如，一深度切換器可藉由深度輔助資料(在可用之情況下)所提供之深度值替換目標產生深度圖之深度值。下文進一步說明深度輔助資料之處理。
3D顯示裝置60係用於顯示3D影像資料。該裝置具有用於接收包含3D視訊資料及自3D目標裝置50傳送之目標深度圖之3D顯示信號56之輸入介面單元61。該裝置具有用於取決於目標深度圖基於第一及第二視訊資訊之3D視訊資料而產生多個視圖之一視圖處理器62，及用於顯示3D視訊資料之多個視圖之一3D顯示器63。在處理單元62中處理傳送之3D視訊資料以在3D顯示器63(例如，一多視圖LCD)上顯示。 顯示裝置60可係任一類型之立體顯示器，亦稱作3D顯示器。
3D顯示裝置60中之視訊處理器62經配置以處理3D視訊資料以產生用於轉譯多個視圖之顯示控制信號。該等視圖係使用目標深度圖自3D影像資料產生。或者，一3D播放器裝置中之視訊處理器52可經配置以執行該深度圖處理。可運用3D影像信號將針對指定3D顯示器產 生之多個視圖傳送朝向該3D顯示器。
在又一實施例中，將目標裝置與顯示裝置組合成一單個裝置。可藉由一單個視訊處理器單元執行深度處理器52及處理單元62之功能與輸出單元55及輸入單元61之剩餘功能。
圖2展示使用深度輔助資料之一3D解碼器。示意性地展示具有用於標記BS3(基礎信號3D)之一3D視訊信號之一輸入之一3D解碼器20。 一輸入解多工器21(DEMUX)自左及右視圖(LR-bitstr)及深度輔助資料(DH-bitstr)擷取位元流。一第一解碼器22(DEC)解碼左及右視圖以輸出L及R，該等L及R亦耦合至產生一左深度圖LD1及一右深度圖RD1(稱作目標產生深度圖)之一用戶類型立體轉深度轉換器(CE-S2D)24。一第二解碼器23解碼DH-bitstr且提供其中可用深度輔助資料之一左輔助深度圖LD2及一右輔助深度圖RD2。一深度切換器DEPTH-SW 25(例如)基於指示深度輔助資料之存在之一旗標選擇目標產生深度圖(LD1/RD1)或左輔助深度圖LD2及右輔助深度圖RD2。
3D解碼器可係在用戶側之一機上盒(STB)之部分，其根據深度輔助系統(BS3)接收位元流，該位元流經解多工化成2流：具有L及R視圖之一視訊流，及具有接著兩者被發送至各自解碼器(例如，MVC/H264)之深度輔助(DH)資料之一深度流。導出一本端旗標且將其用以在經解碼之DH深度(LD2/RD2)與本端產生(藉由CE-S2D產生)深度值(LD1/RD1)之間切換。接著取決於顯示器之類型，將3D解碼器之最終輸出(LD3/RD3)傳送至如運用圖4或圖5論述之一視圖扭曲區塊。
圖3展示提供深度輔助資料之一3D編碼器。示意性地展示具有用於接收一3D視訊信號之一輸入(L、R)之一3D編碼器30。一立體轉深度轉換器(例如，一高品質專業類型HQ-S2D)31產生一左深度圖LD4及一右深度圖RD4(稱作源產生深度圖)。一進一步輸入接收可離線提供(例如，手動編輯或改良)或運用輸入3D視訊信號可用之一源深度圖(標記 LD-man、RD-man)。一深度切換器單元32接收源產生深度圖LD4、RD4與源深度圖LD-man及RD-man兩者，且判定源深度圖與產生深度圖之間之差異是否超出一預定臨限值。若如此，則深度切換器產生深度輔助資料LD5、RD5。深度切換器可選擇深度圖之一者。該選擇亦可基於指示此差異之一外部信號(標記旗標)，可藉由輸出多工器35(MUX)將該外部信號包含於輸出信號中作為輔助發信號資料。該多工器亦自一第一編碼器33接收經編碼視訊資料(BS1)且自一第二編碼器34接收經編碼深度輔助資料(BS2)，且產生標記BS3之3D視訊信號。
在3D編碼器中，輸出單元可經配置以當時間之一校正區域內該差異超出該臨限值時，僅針對該校正區域於3D視訊信號中包含深度輔助資料。此外，輸出單元可經配置以當小於3D顯示器之一校正區域中該差異超出該臨限值時，僅針對該校正區域於3D視訊信號中包含深度輔助資料。例如，提供深度輔助資料之一深度圖為(i)全圖框、(ii)部分存在或(iii)不存在。深度圖亦可存在於僅特定圖框或GOP中。 再者，一全圖框深度圖可經包含，但具有經指派之一特定亮度值(如，0x00 or 0xFF)以意謂「無深度輔助資訊」。可以一回溯相容方式編碼此一深度圖。亦可將在使用者資料或一些其他流中傳輸之深度輔助資料及其等圖框位置儲存於一表或其他資料結構中。
編碼器具有以下效應。在時間上(部分深度在時間上)或空間上(部分深度在圖框內)兩個部分傳輸稱作深度輔助資料之深度資訊。包含有用於指示何時使用此等部分深度或何時必須本端自動產生該等深度之一明確或隱含機制。一明確機制可係經由將旗標插入位元流中，且隱含機制可係經由深度輔助資料之缺少因而指示必須產生本端深度之慣例。
在一實施例中，在一深度圖中，可將未傳輸DH深度之意義指派 給一特定深度位準LEV(例如，黑色位準0或白色位準255)。在深度值之位置處實際上存在此無深度值，其具有(例如)保持視訊與深度同步之一些實踐優點。
再者，此發信號允許深度輔助資料之「空間」指示，因而不僅部分時間而且部分空間，亦即，僅部分在一圖框內。例如，深度誤差可存在於一特定鏡頭之一圖框內之本端產生深度圖之一些部分中。在該情況中，深度輔助資料將被設定於無深度位準LEV，除其中本端產生深度不充分之像素之外。
其中可出現深度誤差之一實例為內容中(亦在鏡頭邊界上方)恆定存在之標誌。通常，視差至深度之映射對於各鏡頭將係不同的，而標誌之視差通常為恆定。本端產生深度可係錯誤的，使得標誌之深度在鏡頭上方隨時間變化。歸因於ASD之特性，此甚至亦可導致一稍微變化模糊效應，人眼對該變化模糊效應非常敏感。然而，僅針對對應於標誌之該等深度像素可用(亦即，在一非LEV值)之深度輔助資料能夠將標誌深度設定至一固定及適當位準。因此，克服此等品質問題。為非LEV之深度圖值將被解譯為一旗標，且針對該等像素，深度輸出(LD3/RD3)將自本端產生深度LD1/RD1切換至深度輔助資料LD2/RD2。
已知(且固定)將標準可用立體信號轉換成一或兩個對應深度信號之立體轉深度轉換器模組S2D(CE-S2D或HQ-S2D)之行為。有利地，具體將一具體立體轉深度轉換器選定為一標準3D格式之部分。因此，接著可使解碼器側之立體轉深度轉換器等於編碼器側之立體轉深度轉換器。此允許S2D模組之編碼器側在解碼器(CE-S2D)中之品質控制。若結果表明(例如)針對一給定鏡頭(新場景或「拍攝鏡頭」之開始)，在一ASD上轉譯之後之品質將不足(通常僅將偶爾發生之某事物，假定鏡頭之5%)，則僅針對該等鏡頭產生及傳輸深度輔助資料。 此不僅確保整體品質，而且限制產生內容之成本，同時節省傳輸之位元。
注意，可在每一3D視訊傳送步驟(例如，在一攝影室或編輯與進一步編碼現增強型深度圖之一廣播裝置之間)應用深度輔助資料原理以傳輸至一用戶。亦可關於連續傳送執行深度輔助資料系統，例如，可藉由基於一進一步改良源深度圖包含第二深度輔助資料而在一初始版本上產生一進一步改良版本。此根據3D顯示器上之可達成品質、深度資訊之傳輸所需之位元速率或產生3D內容之成本而給出大的靈活性。
在一實施例中，深度輔助資料可採用以下形式。3D視訊信號包含對應於3D顯示器上之一顯示區域之一深度圖。該深度圖具有用於校正區域及/或校正週期之深度輔助資料。此外，一預定義無深度值指示用於其他區域及/或週期之一對應位置之深度輔助資料之缺少。
在一實施例中，深度圖可包含對應於左視圖之深度資料、對應於右視圖之深度資料及/或對應於一中心視圖之深度資料之至少一者。再者，深度資料可具有低於第一視訊資訊或第二視訊資訊之一解析度。
深度處理器可經配置以針對校正區域產生深度輔助資料，使得該校正區域與3D視訊信號中之至少一巨集區塊對準。該等巨集區塊表示例如一MPEG編碼視訊信號中之壓縮視訊資料之一預定區塊。
對準巨集區塊之校正區域可包含當源深度圖與第二產生深度圖之間之差異未超出預定臨限值時用於位置之進一步深度資料。此一校正區域亦含有其中第二產生深度圖及源深度圖之深度值小且低於臨限值之像素。進一步深度資料可基於第二產生深度圖以避免在對準巨集區塊之校正區域之外邊緣之深度跳躍。使進一步深度校正值等於產生值將在解碼器側避免跨巨集區塊之深度差異變得清晰可見。
在一實施例中，3D視訊信號含有發信號輔助資料。發信號輔助資料指示深度輔助資料之可用性。發信號輔助資料可採用以下之至少一種形式。一旗標信號可指示深度輔助資料之存在。一深度圖中之一預定義無深度值可指示用於一對應位置之深度輔助資料之缺少。輔助長度資料可指示一資料結構中深度輔助資料之量。視圖指示符資料可指示其中可用深度輔助資料之視圖之一數目及/或類型。輔助類型資料可指示用於深度輔助資料之一資料結構或資料格式。輔助解析度資料可指示深度輔助資料之一解析度。輔助位置資料可指示深度輔助資料之一位置。
注意，深度輔助資料旨在協助/校正可在轉譯之後之輸出中引起誤差之自動產生深度圖之該等區域。可藉由一單個亮度值指示深度圖之未用區域。吾人將此值稱作為NoDH。
可針對深度輔助資料傳送之其他發信號參數(一或多個，包含各種組合)為：
1. 深度資料解譯，
a. Zfar、znear(最接近及最遠深度值)，
b. znear_sign(指示如何解譯znear值，0為正，1為負)
c. znear_exponent(以延伸至深度值之一較大保真度)
d. num_of_views(其中存在深度資訊之視圖之數目)
2. 具體處理發信號以幫助轉譯自深度輔助資料取得最佳結果。發信號將由符合用於一定義表中之發信號之一數目組成
a. 用於DH資料中之定標之類型，用於定標、雙線性、雙三次等之演算法之種類
b. 深度資訊中之邊緣之類型。此將由指示幫助轉譯器自深度輔助資料取得最大結果之邊緣之一特定類型之一表組成。例如，尖銳、模糊、柔和等
c. 用以產生深度輔助資料之演算法。轉譯系統將能夠解譯此值，且自此推斷如何轉譯深度輔助資料。
手動、聚焦深度、透視深度、運動深度、諸方法之一組合等
除上文所列出之表登錄值之外，還有以下額外實值：
d. 用於深度資料中之物件之邊界之膨脹之量，自0至128
e. 不含有深度輔助資料之深度影像資料中之亮度值。
NoDH為介於0與255之間之一值。為最小化邊緣處之位元速率，此必須為以對應於深度視訊流之巨集區塊大小(例如)8x8或16x16對準之區塊。
較佳傳輸深度資料解譯(1)及用於轉譯之具體處理發信號(2)二者，使得其等含有於視訊信號、視訊基本流中。針對深度資料解譯之傳輸，已提出對此定義稱作深度範圍更新之一新NAL單元類型。
關於當解譯深度輔助資料時亦需要使用之具體處理發信號資料，吾人提出在形成攜載深度輔助資料之視訊流之部分之NAL單元中攜載發信號。針對此等NAL單元，可運用吾人定義為Rendering_Depth_Helper資料之一表延伸depth_range_update NAL單元。或者，因為亦在視訊基本流中攜載此等NAL單元，所以可在一SEI訊息中攜載下文之表。
下文為展示具有如所指示資料之一NAL單元之部分之一實例之一表。
在一實施例中，3D視訊信號經格式化以包含一編碼視訊資料流，且經配置以根據一預定義標準(例如，BD標準)傳送解碼資訊。根據該標準，將3D視訊信號中之發信號輔助資料作為解碼資訊包含於一使用者資料訊息、一發信號基本流資訊[SEI]訊息、一登錄點表、或一基於XML描述之至少一者中。
圖4展示一自動立體顯示裝置及產生多個視圖。一自動立體顯示器(ASD)403接收藉由一深度處理器400產生之多個視圖。深度處理器具有用於自一全左視圖L及目標深度圖LD3產生一組視圖405(如圖之下部分所展示)之一視圖扭曲單元401。顯示器輸入介面406可根據經延伸以傳送RGB及深度之HDMI標準(RGBD HDMI)，且包含基於深度輔助資料HD之全左視圖L及目標深度圖LD3。經由一交錯單元402將如所產生之視圖傳送至顯示器403。可藉由一深度後處理器Z-PP 404進一步處理目標深度圖。
圖5展示一雙視圖立體顯示裝置及產生增強型視圖。一雙視圖立體顯示器(STD)503接收藉由一深度處理器501產生之兩個增強型視圖(new_L、new_R)。深度處理器具有用於自原始全左視圖L及全R視圖及目標深度圖產生增強型視圖之一視圖扭曲功能，如圖之下部分所展示。顯示器輸入介面502可根據經延伸以傳送視圖資訊IF之HDMI標準 (HDMI IF)。在顯示期間，相對於指示基線(BL)之一參數BL扭曲新視圖。3D視訊材料之基線起初為L與R攝影機位置(經校正用於光學器件、縮放因子等)之間之有效距離。當顯示材料時，將藉由顯示器組態(諸如，尺寸、解析度、觀看距離或觀看者偏好設定)有效轉譯基線。為在顯示期間改變基線，可藉由扭曲新視圖(稱作new_L及new_R)偏移L及R視圖之位置，從而形成可大於(>100%)或小於(<100%)原始基線之一新基線距離。相對於在BL=100%之原始全L及R視圖向外或向內偏移新視圖。第三實例(0%<BL<50%)具有基於一單個視圖(Full_L)扭曲之兩個新視圖。接近於全視圖扭曲新視圖避免扭曲假影。藉由所展示之三個實例，扭曲之新視圖與原始視圖之間之距離小於25%，同時實現0%<BL<150%之一控制範圍。
圖6展示一3D視訊信號中深度輔助資料之存在。在圖中，一向上箭頭指示一視訊節目中之一新鏡頭之開始時間(t1、t2等)。在t3及t6之鏡頭開始期間產生深度輔助資料LD4及RD4，如藉由升高之旗標信號所指示。該圖圖解說明在時間之一校正週期內該差異超出一臨限值時(亦即，在一本端產生深度圖中深度誤差明顯清晰可見之情況下)僅針對該校正週期於3D視訊信號中包含深度輔助資料。
儘管已主要藉由使用用戶類型目標裝置之實施例說明本發明，然本發明亦適用於任一3D視訊系統。總結而言，提出一種用於3D資料朝向各種類型之3D顯示器之傳輸之混合傳輸/自動轉換3D格式及方案。在時間上(部分深度在時間上)及/或空間上(部分深度在圖框內)兩個部分傳輸深度資訊(「深度」)。存在用於指示何時使用此等部分深度或何時必須本端自動產生該等深度之一明確或隱含機制。可在用戶側及/或播放裝置側應用混合原理，其根據3D顯示器上可達成品質、深度資訊之傳輸所需之位元速率或產生3D內容之成本給出大的靈活性。
注意，可使用程式化組件以硬體及/或軟體實施本發明。用於實施本發明之一方法具有對應於針對如參考圖1描述之系統定義之功能之步驟。
應瞭解，為明確起見，上文描述已參考不同功能單元及處理器描述本發明之實施例。然而，應明白，在未偏離本發明之情況下，可使用不同功能單元或處理器之間功能性之任一適合分散。例如，經圖解說明為藉由個別單元、處理器或控制器執行之功能性可藉由相同處理器或控制器執行。因此，提及具體功能單元時應僅被視為提及適用於提供所描述功能性之構件而非指示一嚴格邏輯或實體結構或組織。可以任何適合形式(包含硬體、軟體、韌體或此等之任一組合)實施本發明。
注意，在此文獻中，字詞「包括」並不排除除該等列出之元件或步驟之外的其他元件或步驟，且在一元件前出現之字詞「一」或「一個」並不排除複數個此等元件之存在，任何元件符號並未限制申請專利範圍之範疇，可藉助於硬體及軟體兩者實施本發明，且可藉由硬體或軟體之相同品項表示若干「構件」或「單元」，且一處理器可協同硬體元件滿足一或多個單元之功能。此外，本發明並非限制於實施例，且本發明在於上文所描述或相互不同申請專利範圍附屬項中所敘述之每個新穎特徵或特徵之組合。
20‧‧‧3D解碼器
21‧‧‧輸入解多工器(DEMUX)
22‧‧‧第一解碼器(DEC)
23‧‧‧第二解碼器(DEC)
24‧‧‧立體轉深度轉換器(CE-S2D)
25‧‧‧深度切換器(DEPTH-SW)
BS3‧‧‧基礎信號3D
DH-bitstr‧‧‧深度輔助資料
L‧‧‧左視圖
LD1‧‧‧左深度圖/目標產生深度圖
LD2‧‧‧左輔助深度圖/深度輔助資料
LD3‧‧‧深度輸出
LR-bitstr‧‧‧左及右視圖
R‧‧‧右視圖
RD1‧‧‧右深度圖/目標產生深度圖
RD2‧‧‧右輔助深度圖/深度輔助資料
RD3‧‧‧深度輸出

Claims (17)

  1. 一種用於提供用於傳送至一3D目標裝置(50)之一三維[3D]視訊信號(41)之3D源裝置(40)，該3D視訊信號包括：表示一3D顯示器上之一左眼視圖之第一視訊資訊，表示該3D顯示器上之一右眼視圖之第二視訊資訊，該3D目標裝置包括：用於接收該3D視訊信號之接收器(51、58、59)，一立體轉深度轉換器(53)，其用於基於該第一視訊資訊及該第二視訊資訊產生一第一產生深度圖，該3D源裝置包括：一輸出單元(46)，其用於產生該3D視訊信號且將該3D視訊信號傳送至該3D目標裝置，其中該3D源裝置經配置用於提供關於該視訊資訊之一源深度圖，且該3D源裝置包括一源立體轉深度轉換器(48)，其用於基於該第一視訊資訊及該第二視訊資訊產生一第二產生深度圖，及一源深度處理器(42)，其經配置以僅在該源深度圖與該第二產生深度圖之間之一差異超出一預定臨限值時提供深度輔助資料，該深度輔助資料表示該源深度圖，且該輸出單元經配置以於該3D視訊信號中包含該深度輔助資料，且該3D目標裝置包括一深度處理器(52)，該深度處理器(52)用於 當該3D視訊信號中無可用之深度輔助資料時基於該第一產生深度圖而產生一目標深度圖，且當該3D視訊信號中有可用之深度輔助資料時基於該深度輔助資料而產生一目標深度圖。
  2. 如請求項1之3D源裝置，其中該輸出單元經配置以在時間之一校正週期內該差異超出該臨限值時，僅針對該校正週期於該3D視訊信號中包含該深度輔助資料。
  3. 如請求項1之3D源裝置，其中該輸出單元經配置以在小於該3D顯示器之一校正區域中該差異超出該臨限值時，僅針對該校正區域於該3D視訊信號中包含該深度輔助資料。
  4. 如請求項3之3D源裝置，其中該深度處理器經配置以針對該校正區域產生該深度輔助資料，使得將該校正區域與該3D視訊信號中之至少一巨集區塊對準，該巨集區塊表示壓縮之視訊資料之一預定區塊，該對準巨集區塊之校正區域包括當該源深度圖與該第二產生深度圖之間之該差異未超出該預定臨限值時用於位置之進一步深度資料。
  5. 如請求項4之3D源裝置，其中該進一步深度資料係基於該第二產生深度圖，以避免在該對準巨集區塊之校正區域之外邊界之深度跳躍。
  6. 如請求項1、2、3或4中之3D源裝置，其中該輸出單元經配置以於該3D視訊信號中包含發信號輔助資料，該發信號輔助資料指示該深度輔助資料之可用性。
  7. 如請求項6之3D源裝置，其中該發信號輔助資料包括以下之至少一者：指示該深度輔助資料之存在之一旗標信號；指示一對應位置之深度輔助資料之缺少之一深度圖中之一預 定義無深度值；指示一資料結構中深度輔助資料之量之輔助長度資料；指示其中可用該深度輔助資料之視圖之一數目及/或類型之視圖指示符資料；指示用於該深度輔助資料之一資料結構之輔助類型資料；指示該深度輔助資料之一解析度之輔助解析度資料；指示該深度輔助資料之一位置之輔助位置資料。
  8. 如請求項6之3D源裝置，其中該輸出單元經配置以於該3D視訊信號中包含對應於該3D顯示器上之一顯示區域之一深度圖，該深度圖包括用於該校正區域及/或該校正週期之該深度輔助資料，及作為該發信號輔助資料之一預定義無深度值，該預定義無深度值指示用於其他區域及/或週期之一對應位置之深度輔助資料之該缺少。
  9. 如請求項8之3D源裝置，其中該深度圖包括以下之至少一者：對應於該左視圖之深度資料；對應於該右視圖之深度資料；對應於一中心視圖之深度資料；具有低於該第一視訊資訊或該第二視訊資訊之一解析度之深度資料。
  10. 一種用於自一3D源裝置接收一三維[3D]視訊信號之3D目標裝置(50)，該3D視訊信號包括：表示一3D顯示器上之一左眼視圖之第一視訊資訊，表示該3D顯示器上之一右眼視圖之第二視訊資訊，該3D目標裝置包括：用於接收該3D視訊信號之接收器， 一立體轉深度轉換器，其用於基於該第一視訊資訊及該第二視訊資訊產生一第一產生深度圖，其中該3D源裝置經配置用於提供關於該視訊資訊之一源深度圖，且該3D源裝置包括一源立體轉深度轉換器，其用於基於該第一視訊資訊及該第二視訊資訊產生一第二產生深度圖，及一源深度處理器，其經配置以僅在該源深度圖與該第二產生深度圖之間之一差異超出一預定臨限值時提供深度輔助資料，該深度輔助資料表示該源深度圖，且該輸出單元經配置以於該3D視訊信號中包含該深度輔助資料，且該3D目標裝置包括一深度處理器，該深度處理器用於當該3D視訊信號中無可用之深度輔助資料時基於該第一產生深度圖而產生一目標深度圖，且當該3D視訊信號中有可用之深度輔助資料時基於該深度輔助資料而產生一目標深度圖。
  11. 如請求項10之目標裝置，其中該接收器包括用於讀取用於接收該3D視訊信號之一記錄載體之一讀取單元(58)。
  12. 如請求項10之目標裝置，其中該裝置包括一視圖處理器，其用於取決於該目標深度圖基於該第一視訊資訊及該第二視訊資訊之3D視訊資料而產生多個視圖；用於顯示該3D視訊資料之該多個視圖之一3D顯示器(63)。
  13. 一種提供用於傳送至一3D目標裝置之一三維[3D]視訊信號之方法， 該3D視訊信號包括：表示一3D顯示器上之一左眼視圖之第一視訊資訊，表示該3D顯示器上之一右眼視圖之第二視訊資訊，該3D目標裝置包括：用於接收該3D視訊信號之接收器，一立體轉深度轉換器，其用於基於該第一視訊資訊及該第二視訊資訊產生一第一產生深度圖，該方法包括產生該3D視訊信號，且將該3D視訊信號傳送至該3D目標裝置，其中該方法包括提供關於該視訊資訊之一源深度圖，基於該第一視訊資訊及該第二視訊資訊產生一第二產生深度圖，及僅當該源深度圖與該第二產生深度圖之間之一差異超出一預定臨限值時提供深度輔助資料，該深度輔助資料表示該源深度圖，且於該3D視訊信號中包含該深度輔助資料，且該3D目標裝置包括一深度處理器，該深度處理器用於當該3D視訊信號中無可用之深度輔助資料時基於該第一產生深度圖而產生一目標深度圖，且當該3D視訊信號中有可用之深度輔助資料時基於該深度輔助資料而產生一目標深度圖。
  14. 如請求項13之方法，其中該方法包括製造一記錄載體之步驟，該記錄載體具有表示該3D視訊信號之標記之一軌道。
  15. 一種用於自一3D源裝置將3D視訊資料傳送至一3D目標裝置之三 維[3D]視訊信號，該3D視訊信號包括：表示一3D顯示器上之一左眼視圖之第一視訊資訊，表示該3D顯示器上之一右眼視圖之第二視訊資訊，該3D目標裝置包括：用於接收該3D視訊信號之接收器，一立體轉深度轉換器，其用於基於該第一視訊資訊及該第二視訊資訊產生一第一產生深度圖，該3D源裝置包括：一輸出單元，其用於產生該3D視訊信號且將該3D視訊信號傳送至該3D目標裝置，其中該3D源裝置經配置用於提供關於該視訊資訊之一源深度圖，且該3D源裝置包括一源立體轉深度轉換器，其用於基於該第一視訊資訊及該第二視訊資訊產生一第二產生深度圖，及一源深度處理器，其經配置以僅當該源深度圖與該第二產生深度圖之間之一差異超出一預定臨限值時提供深度輔助資料，該深度輔助資料表示該源深度圖，且該3D視訊信號包括該深度輔助資料，且該3D目標裝置包括一深度處理器，該深度處理器用於當該3D視訊信號中無可用之深度輔助資料時基於該第一產生深度圖而產生一目標深度圖，且當該3D視訊信號中有可用之深度輔助資料時基於該深度輔助資料而產生一目標深度圖。
  16. 一種記錄載體(54)，其包括如請求項15之三維[3D]視訊信號。
  17. 一種用於提供用於傳送至一3D目標裝置之一三維[3D]視訊信號之電腦程式產品，其中可操作程式以引起一處理器執行如請求項13之方法之各個步驟。
TW102112228A 2012-04-05 2013-04-03 用於提供用於傳送至三維[3d]目標裝置之3d視訊信號之3d源裝置、方法及記錄載體以及用於自3d源裝置接收3d視訊信號之3d目標裝置 TWI586143B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201261620660P 2012-04-05 2012-04-05

Publications (2)

Publication Number Publication Date
TW201349842A true TW201349842A (zh) 2013-12-01
TWI586143B TWI586143B (zh) 2017-06-01

Family

ID=48576468

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102112228A TWI586143B (zh) 2012-04-05 2013-04-03 用於提供用於傳送至三維[3d]目標裝置之3d視訊信號之3d源裝置、方法及記錄載體以及用於自3d源裝置接收3d視訊信號之3d目標裝置

Country Status (10)

Country Link
US (1) US9584794B2 (zh)
EP (1) EP2834982B1 (zh)
JP (1) JP6242380B2 (zh)
KR (1) KR102086124B1 (zh)
CN (1) CN104205821B (zh)
BR (1) BR112014024410B1 (zh)
ES (1) ES2645639T3 (zh)
RU (1) RU2632426C2 (zh)
TW (1) TWI586143B (zh)
WO (1) WO2013150491A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013153523A2 (en) * 2012-04-13 2013-10-17 Koninklijke Philips N.V. Depth signaling data
RU2639686C2 (ru) * 2012-07-20 2017-12-21 Конинклейке Филипс Н.В. Метаданные для фильтрации глубины
CN106791776B (zh) * 2016-11-30 2019-04-30 努比亚技术有限公司 一种实现视频播放的方法和装置
CN106791764A (zh) * 2016-11-30 2017-05-31 努比亚技术有限公司 一种实现视频编解码的方法和装置
EP3509308A1 (en) * 2018-01-05 2019-07-10 Koninklijke Philips N.V. Apparatus and method for generating an image data bitstream
CN108449529B (zh) 2018-02-07 2020-12-18 深圳奥比中光科技有限公司 深度计算处理器及移动终端
KR102503743B1 (ko) 2018-04-11 2023-02-28 삼성전자주식회사 이미지 처리 장치 및 방법
US20230107179A1 (en) * 2020-03-31 2023-04-06 Sony Group Corporation Information processing apparatus and method, as well as program

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001266862A1 (en) * 2000-06-12 2001-12-24 Vrex, Inc. Electronic stereoscopic media delivery system
NZ505513A (en) * 2000-06-30 2002-05-31 Marc Dawson Anaglyphic 3-D colour imaging with selective colour filtering
KR100585966B1 (ko) * 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
CN101536534B (zh) * 2006-10-30 2011-07-06 皇家飞利浦电子股份有限公司 视频深度图对准
CN101453662B (zh) * 2007-12-03 2012-04-04 华为技术有限公司 立体视频通信终端、系统及方法
EP3007440A1 (en) * 2007-12-20 2016-04-13 Koninklijke Philips N.V. Image encoding method for stereoscopic rendering
EP2184713A1 (en) * 2008-11-04 2010-05-12 Koninklijke Philips Electronics N.V. Method and device for generating a depth map
KR101574068B1 (ko) * 2008-12-26 2015-12-03 삼성전자주식회사 영상 처리 방법 및 장치
KR20120053006A (ko) * 2009-07-24 2012-05-24 디지맥 코포레이션 개선된 오디오／비디오 방법들 및 시스템들
CN102474638B (zh) * 2009-07-27 2015-07-01 皇家飞利浦电子股份有限公司 组合3d视频与辅助数据
RU2423018C2 (ru) * 2009-08-04 2011-06-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ и система для преобразования стереоконтента
KR101699920B1 (ko) * 2009-10-07 2017-01-25 삼성전자주식회사 깊이 조절 방법 및 장치
WO2012004709A1 (en) 2010-07-06 2012-01-12 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
US20120050491A1 (en) * 2010-08-27 2012-03-01 Nambi Seshadri Method and system for adjusting audio based on captured depth information

Also Published As

Publication number Publication date
RU2014144269A (ru) 2016-05-27
JP2015515820A (ja) 2015-05-28
JP6242380B2 (ja) 2017-12-06
US20150085070A1 (en) 2015-03-26
CN104205821B (zh) 2017-03-29
EP2834982A1 (en) 2015-02-11
EP2834982B1 (en) 2017-08-09
ES2645639T3 (es) 2017-12-07
KR20150004823A (ko) 2015-01-13
BR112014024410A2 (zh) 2017-06-20
US9584794B2 (en) 2017-02-28
CN104205821A (zh) 2014-12-10
RU2632426C2 (ru) 2017-10-04
BR112014024410B1 (pt) 2023-02-28
TWI586143B (zh) 2017-06-01
WO2013150491A1 (en) 2013-10-10
KR102086124B1 (ko) 2020-04-16

Similar Documents

Publication Publication Date Title
TWI586143B (zh) 用於提供用於傳送至三維[3d]目標裝置之3d視訊信號之3d源裝置、方法及記錄載體以及用於自3d源裝置接收3d視訊信號之3d目標裝置
US9716873B2 (en) Image processing device and image processing method
RU2554465C2 (ru) Комбинирование 3d видео и вспомогательных данных
US20110304618A1 (en) Calculating disparity for three-dimensional images
US9654759B2 (en) Metadata for depth filtering
TW201503662A (zh) 用於多視點裸視立體顯示器的深度地圖遞送格式
RU2632404C2 (ru) Данные сигнализации глубины
US20140072271A1 (en) Recording apparatus, recording method, reproduction apparatus, reproduction method, program, and recording reproduction apparatus
US20130194383A1 (en) Image transmission device and method, and image reproduction device and method
Zhao et al. An overview of 3D-TV system using depth-image-based rendering
US20140078255A1 (en) Reproduction device, reproduction method, and program