TWI517664B - 三維影像資料之傳輸 - Google Patents

三維影像資料之傳輸 Download PDF

Info

Publication number
TWI517664B
TWI517664B TW099101244A TW99101244A TWI517664B TW I517664 B TWI517664 B TW I517664B TW 099101244 A TW099101244 A TW 099101244A TW 99101244 A TW99101244 A TW 99101244A TW I517664 B TWI517664 B TW I517664B
Authority
TW
Taiwan
Prior art keywords
frame
video
information
data
display
Prior art date
Application number
TW099101244A
Other languages
English (en)
Other versions
TW201103311A (en
Inventor
喬漢 卡里尼斯 泰斯特拉
德 海哲登 格拉達斯 威海慕斯 席歐朵魯斯 凡
飛利浦 史蒂芬 紐頓
Original Assignee
皇家飛利浦電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 皇家飛利浦電子股份有限公司 filed Critical 皇家飛利浦電子股份有限公司
Publication of TW201103311A publication Critical patent/TW201103311A/zh
Application granted granted Critical
Publication of TWI517664B publication Critical patent/TWI517664B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Systems (AREA)

Description

三維影像資料之傳輸
本發明係關於一種傳輸一3D顯示信號之方法，其用於將三維[3D]影像資料傳輸至一3D顯示裝置，該3D顯示信號包括根據一3D視訊傳輸格式組成該3D影像資料之一序列的訊框。
該序列訊框包括單元，各個單元相對應於包括待被複合及顯示為3D影像之視訊資訊之訊框。
本發明另外係關於該上述的3D來源裝置、該3D顯示信號及該3D顯示裝置。
本發明係關於經由例如HDMI之一高速數位介面傳輸例如3D視訊之三維影像資料以用於顯示在一3D顯示裝置上之該領域。
用於為2D視訊資料提供來源的裝置係已知的，舉例而言，諸如DVD播放器之視訊播放器或提供數位視訊信號之機上盒。該來源裝置將被耦合於諸如一電視機或顯示幕之一顯示裝置。影像資料經由一合適的介面(較佳地諸如HDMI之一高速數位介面)而從該來源裝置被傳輸。目前，用於為三維(3D)影像資料提供來源的3D提高裝置正在被宣導。同樣地，用於顯示3D影像資料之裝置正在被宣導。為了將該等3D視訊信號從該來源裝置傳輸至該顯示裝置，新的高資料率數位介面標準正在被發展，例如基於現有的HDMI標準及與之相容。傳輸2D數位影像信號至該顯示裝置通常含有藉由訊框發送該視訊像素資料訊框，其中訊框將被依次顯示。此等訊框可代表一漸進的視訊信號之視訊訊框(滿訊框)或可代表一交錯的視訊信號之視訊訊框(其基於該熟知的列交錯，一個訊框提供該等奇數列及該另一個訊框提供該等偶數列，該等列將被依次顯示)。
美國第4,979,033號文件描述具有一交錯格式之傳統視訊信號之一實例。該傳統信號包含水平及垂直同步信號，用於在一傳統的電視上顯示該等奇偶訊框之該等列及訊框。一立體視訊系統及方法被宣導，其允許具有一使用光閘眼鏡之顯示器之立體視訊之同步。該等奇偶訊框被用於傳輸一立體視訊信號之各個左右影像。該被宣導之3D顯示裝置包括一傳統的包封偵測器以偵測該等傳統的奇/偶訊框但是代之以產生顯示信號用於左右LCD顯示裝置。特別地，發生於該垂直消隱間隔期間的均衡脈衝(其不同以用於該傳統交錯類比視訊信號中的奇偶訊框)被計數以識別該各個左或右域。該系統使用此資料以同步化一對光閘眼鏡使得該光閘眼鏡與該立體視訊同步交替地打開及關閉。
存在許多可將立體影像格式化之不同的方式，其被稱為一3D影像格式。某些格式係基於利用一2D通道以同樣運載該立體資訊。舉例而言，該左及右視圖可被交錯或可被並列及在上及在下放置。此等方法犧牲解析度以運載該立體資訊。另一個選擇係犧牲色彩，此途徑被稱為互補色立體。
用於傳輸3D資訊至一顯示器的新格式正在被發展。隨著在MPEG中被標準化，MVD要求傳輸{視訊+深度}用於M視圖以允許一需被傳輸至該顯示器之大的視圖圓錐體圖形覆蓋(例如，在BED播放器或STB中的功能表或字幕)。
本發明之一目的係提供一更彈性的及更可靠的系統用於傳輸3D視訊信號至一顯示裝置。
為了此目的，根據本發明之一第一態樣，在該開篇段落中被描述之該方法中，該3D視訊格式包括：一視訊資料週期，在此期間有效視訊之像素被傳輸，及一資料島週期，在此期間音訊及輔助資料利用一連串的封包而被傳輸，該等封包包含一資訊訊框封包，及輸出該3D顯示信號；及，於一3D顯示裝置，其接收該3D顯示信號及處理3D顯示信號以用於產生顯示控制信號用於在一3D顯示器上呈現該3D影像資料，該序列訊框包括單元，該單元為從一垂直同步信號至下一個垂直同步信號之一週期，各個單元相對應於根據一多工架構而被配置之訊框之一數目，訊框之該數目包括待被複合及顯示為3D影像之視訊資訊；在該單元中的各個訊框具有一資料結構用於代表一序列的數位影像像素資料，及各個訊框類型代表一部分的3D資料結構，及其中該方法包括，於該3D來源裝置，使3D傳輸資訊包含於一額外的資料訊框封包中，該3D傳輸資訊至少包括關於該多工架構之資訊，該多工架構包含待被組合入在該3D顯示信號中的一單一3D影像中之一單元中的視訊訊框之數目，該多工架構係選自至少包括訊框交替多工之多工架構之群組，該訊框交替指示被依次配置入該視訊資料週期中的訊框之該數目；及該產生該顯示控制信號根據該3D傳輸資訊而被執行。
為了此目的，根據本發明之一第二態樣，如該開篇段落中所描述該3D來源裝置用於傳輸3D影像資料至一3D顯示裝置，該3D來源裝置包括：產生構件，其用於處理源影像資料以產生一3D顯示信號，該3D顯示信號包括一序列的訊框，該等訊框根據一3D視訊傳輸格式而組成該3D影像資料，該3D視訊格式包括一視訊資料週期，在此期間有效視訊之像素被傳輸，及一資料島週期，在此期間音訊及輔助資料利用一連串的封包而被傳輸，該等封包包含一資訊訊框封包，及輸出介面構件，其用於輸出該3D顯示信號，各個訊框具有一資料結構用於代表一序列的數位影像像素資料，及各個訊框類型代表一部分的3D資料結構，該序列訊框包括單元，該單元為從一垂直同步信號至下一個垂直同步信號之一週期，各個單元相對應於根據一多工架構而被配置之訊框之一數目，訊框之該數目包括待被複合及顯示為3D影像之視訊資訊；其中該輸出介面構件經調適以在一額外的資料訊框封包中傳送3D傳輸資訊，該3D傳輸資訊至少包括關於該多工架構之資訊，該多工架構包含待被組合入在該3D顯示信號中的一單一3D影像中之一單元中的視訊訊框之數目，該多工架構係選自至少包括訊框交替多工之多工架構之群組，該訊框交替指示被依次配置入該視訊資料週期中的訊框之該數目；用於在該顯示裝置根據該3D傳輸資訊產生顯示控制信號。
為了此目的，根據本發明之一另外的態樣，如該開篇段落所描述之該3D顯示裝置資料包括：一3D顯示器，其用於顯示3D影像資料，輸入介面構件，其用於接收3D顯示信號，該3D顯示信號包括根據一3D視訊傳輸格式而組成該3D影像資料之訊框，該3D視訊格式包括一視訊資料週期，在此期間有效視訊之像素被傳送，及一資料島週期，在此期間音訊及輔助資料利用一連串的封包而被傳送，該等封包包含一資訊訊框封包，及處理構件，其用於產生顯示控制信號以用於在該3D顯示器上呈現該3D影像資料，各個訊框具有一資料結構用於代表一序列的數位影像像素資料，及各個訊框類型代表一部分的3D資料結構，及該序列訊框包括單元，該單元為從一垂直同步信號至下一個垂直同步信號之一週期，各個單元相對應於根據一多工架構而被配置之訊框之一數目，訊框之該數目包括待被複合及顯示為3D影像之視訊資訊；其中在一額外的資訊訊框封包中的3D傳輸資訊至少包括關於該多工架構之資訊，該多工架構包含待被組合入在該3D顯示信號中的一單一3D影像中之一單元中的視訊訊框之數目，該多工架構係選自至少包括訊框交替多工之多工架構之群組，該訊框交替指示被依次配置入該視訊資料週期中的訊框之該數目；及該等處理構件被配置用於根據該3D傳輸資訊而產生該顯示控制信號。
本發明亦係基於下列認知。不同於2D視訊資訊，存在許多用於格式化3D視訊資料之可能性，舉例而言，立體的影像+深度(其可能包含閉塞及透明度)、多視圖。此外，預想的係在顯示之前，多個3D視訊資料層可透過一用於複合之介面傳送。依據該來源裝置之該可用資料之該格式及藉由該顯示器接收之該3D視訊格式，衆多選擇導致許多視訊格式選擇。此等格式之大部分之特徵為大量資訊，其在一複合結構中需被傳送用於待被顯示之各個3D影像。根據本發明，當該資料被發送入單元中及關於該等單元之資訊可得於該3D顯示信號時，由於更多的資料被包含於一單元中，故該傳送系統在操縱各種3D資料格式中係更彈性的。現代高速介面允許以一高於該等3D影像之該實際頻率之頻率來發送訊框，其通常為該電影工業所使用之24Hz。藉由利用訊框之單元，用於各個3D影像之以一彈性格式之更大量的資料可透過該介面發送。
在一實施例中，多工架構之該群組另外包括域交替多工之至少一個；列交替多工；並列訊框多工，該並列訊框多工指示被並列配置在該視訊資料週期中的訊框之數目；2D及深度訊框多工；2D、深度、圖形及圖形深度訊框多工。
大體上，該3D視訊資料傳送之特徵為3個參數：
-　像素重複率
-　在一單一3D影像之訊框之一單元中的訊框的數目
-　格式：該等通道之多工方式
在本發明之一較佳實施例中，遍及此等參數之資訊被包含在該3D傳輸資訊中。用於最大彈性，根據本發明，此等應被傳送入三個獨立域中。
在本發明之一實施例中，HDMI被用作介面，且該3D傳輸資訊係透過其以AVI資訊訊框及/或HDMI商家特定資訊訊框之形式發送。在允許最大彈性之最佳實施例中，該3D傳輸資訊係以一獨立的資訊訊框發送。根據本發明之該等方法、3D裝置及信號之另外的較佳實施例在該附屬申請專利範圍中被給出，其揭示內容以引用的方式被併入本文中。
本發明之此等及其他態樣將參照在下列描述中之實例所描述之該等實施例及參照該等附圖而為明顯的及被另外說明，其中：在該等圖中，元件(其相對應於已被描述之元件)具有該等相同的參照數字。
圖1顯示用於傳輸諸如視訊、圖形或其他視覺資訊之三維(3D)影像資料之一系統。一3D來源裝置10被耦合於一3D顯示裝置13以用於傳輸一3D顯示信號56。該3D來源裝置具有一用於接收影像資訊之輸入單元51。舉例而言，該輸入單元裝置可包含一光碟單元58，其用於從諸如一DVD或BluRay磁碟之一光學記錄載體54上擷取各種類型之影像資訊。替代地，該輸入單元可包含一網路介面單元59以用於耦合於例如該網際網路或一廣播網路之一網路55，此裝置通常被稱作一機上盒。影像資料可擷取自一遠端媒體伺服器57。該來源裝置亦可為一衛星接收器，或一直接提供該等顯示信號之媒體伺服器，亦即，輸出一3D顯示信號以被直接耦合於一顯示裝置之任一合適的裝置。
該3D來源裝置具有一處理單元52，其被耦合於該輸入單元51以用於處理該影像資訊，從而用於產生經由一輸出介面單元12而被傳輸至該顯示裝置之一3D顯示信號56。該處理單元52被配置用於產生該影像資料，其被包含於該3D顯示信號56中以用於顯示在該顯示裝置13上。該來源裝置具有使用者控制元件15，其用於控制該影像資料之顯示參數，諸如對比度或色彩參數。該使用者控制元件亦係熟知的，及可包含一遙控單元，其具有各種按鈕及/或遊標控制功能以控制該3D來源裝置之該等各種功能(諸如回放及錄製功能)，及用於設置該等顯示參數(例如經由一圖形使用者介面及/或功能表)。
該來源裝置具有一傳送同步單元11以用於提供至少一個在該3D顯示信號中的訊框類型同步指示符，此指示符被包含於在該輸出介面單元12中的該3D顯示信號中，該輸出介面單元12被另外配置以用於將具有該影像資料及該訊框類型同步指示符之該3D顯示信號從該來源裝置傳輸至該顯示裝置，如同該3D顯示信號56。該3D顯示信號包括一序列的訊框，該等訊框以訊框群組被組織起來，由此根據一3D視訊傳輸格式而組成該3D影像資料，在此格式中，該等訊框包括至少二個不同的訊框類型。各個訊框具有一資料結構以用於代表一序列的數位影像像素資料，其通常根據一預先決定的解析度作為許多像素之一序列的水平列而被配置。各個訊框類型代表一部分的3D資料結構。舉例而言，在該3D視訊傳輸格式之該等訊框類型中的該等3D部分的資料結構可為左右影像，或一2D影像及額外的深度，及/或諸如前述的閉塞或透明度資訊之另外的3D資料。請注意，該訊框類型亦可為以上訊框類型之子訊框之一組合所指示之一組合訊框類型，例如定位於一單一完全解析度訊框之具有一較低解析度之4個子訊框。同樣地，許多多視圖影像可被編碼入訊框之該視訊串流中以被同時顯示。
該來源裝置經調適以包含3D傳輸資訊，其至少包括關於在待被組合入在該3D顯示信號中的一單一3D影像中之一單元中的視訊訊框之數目之資訊。此可藉由將該相對應的官能性添加入該同步單元11中而被完成。
該3D顯示裝置13係用於顯示3D影像資料。該裝置具有一輸入介面單元14以用於接收該3D顯示信號56，其包含在訊框中的該3D影像資料及傳輸自該來源裝置10之該訊框類型同步指示符。各個訊框具有一資料結構用於代表一序列的數位影像像素資料，及各個訊框類型代表一部分的3D資料結構。該顯示裝置具有另外的使用者控制元件16，其用於設置該顯示器之顯示參數，諸如對比度、色彩或深度參數。該傳輸影像資料根據來自該等使用者控制元件之該等設置指令而在處理單元18中被處理並產生顯示控制信號用於基於該等不同的訊框類型在該3D顯示器上呈現該3D影像資料。該裝置具有接收該等顯示控制信號之一3D顯示器17以用於顯示該已處理的影像資料，例如一雙重LCD。該顯示裝置13係一立體顯示器，亦被稱為3D顯示器，其具有藉由箭頭44而被指示之一顯示深度範圍。3D影像資料之該顯示依靠該等不同的訊框而被執行，各個訊框提供一各自的部分3D影像資料結構。
該顯示裝置另外包含耦合於該處理單元18之一偵測單元19，其用於自該3D顯示信號擷取該訊框類型同步指示符及用於在該已接收的3D顯示信號中偵測該等不同的訊框類型。該處理單元18被配置用於產生該等顯示控制信號，其係基於由該各自的3D視訊格式之該部分的3D資料結構所界定的該等各種類型之影像資料，例如一2D影像及一深度訊框。如該等各自的訊框類型同步指示符所指示，該等各自的訊框按時間被識別及同步化。
該顯示裝置經調適以偵測該3D傳輸資訊，其至少包括在待被組合入在該3D顯示信號中的一單一3D影像中之一單元中的視訊訊框之數目之資訊；及使用該3D傳輸資訊以用於根據該3D傳輸資訊產生該等顯示控制信號。此可被完成，例如藉由調適該偵測單元19以偵測該3D傳輸資訊及根據該3D傳輸資訊藉由調適該處理構件(18)以產生該等顯示控制信號；該等訊框類型同步指示符允許偵測該等必須被組合以被同時顯示之訊框，及亦指示該訊框類型以便該各自的部分3D資料可被擷取及處理。該3D顯示信號可透過諸如該熟知的HDMI介面之一合適的高速數位視訊介面而被傳輸(例如，參見2006年11月10日之「高清晰度多媒體介面規範版本1.3a」)。
圖1另外顯示作為該3D影像資料之一載體之該記錄載體54。該記錄載體係圓盤狀的及具有一軌道與一中心孔。由一連串實際可偵測的標記組成的該軌道係根據在一資訊層上組成實質平行軌道之捲繞圈之一螺旋或同心圖案而被配置。該記錄載體可為光學可讀的，其被稱為一光碟，例如一CD、DVD或BD(藍光光碟)。該資訊藉由沿該軌道之該光學可偵測標記(例如凹洞與平面)而被呈現於該資訊層。該軌道結構亦包括例如標頭與定址之位置資訊以用於指示資訊之單元之該位置，其通常被稱為資訊方塊。該記錄載體54承載代表數位編碼影像資料之資訊(諸如視訊)，舉例而言，其根據該MPEG2或MPEG4編碼系統而被編碼入諸如該DVD或BD格式之一預先確定錄製格式中。
請注意，一播放器可支援播放各種格式，但是不能對該等視訊格式進行代碼轉換，且一顯示裝置能夠播放一有限組之視訊格式。此意味著存在一普通的分配器，其分配可被播放之內容。請注意，依據該磁碟或該內容，該格式可在回放/操作期間發生改變。格式之即時同步需進行，且格式之即時轉換係藉由該訊框類型同步指示符而被提供。
下列段落提供三維顯示器與人對深度之感知之一概述。3D顯示器不同於2D顯示器，此意為它們可提供一更生動的深度感知。此可被完成係由於它們提供更多的深度線索，然而2D顯示器僅能顯示單眼深度線索與基於運動之線索。
單眼(或靜態)深度線索可利用一單一眼睛而獲得自一靜態影像。畫家通常使用單眼線索以在他們的繪畫中創造一深度感覺。此等線索包含相對大小、相對於該水平之高度、閉塞、透視、紋理梯度、及光/影。動眼線索係來源於一觀察者之雙眼之該等肌肉之張力的深度線索。該等眼睛具有用於旋轉該等眼睛以及用於拉伸該眼晶體之肌肉。該眼晶體之該拉伸及放鬆被稱作調節且當集中在一影像時被完成。該等晶狀體肌肉之拉伸或放鬆之數量提供關於一目標係多遠或多近之一線索。該等眼睛之旋轉被完成使得雙眼同時集中於該相同目標，其被稱作會聚。最終，動作視差產生下列效應：接近一觀察者之目標看起來比遠處的目標移動更快。
雙目視差係一深度線索，其來源於我們的雙眼看見一稍有不同的影像之事實。單眼深度線索能夠且已經被用於任一2D視覺顯示器類型。為了在一顯示器上重新創造雙目視差，要求該顯示器可分割該視圖以用於左及右眼使得各眼在該顯示器上看見一稍有不同的影像。可重新創造雙目視差之顯示器係被吾人稱作3D或立體顯示器之專用顯示器。該等3D顯示器能夠沿一實際可被人眼感知的深度維數來顯示影像，在此文件中其被稱作具有顯示深度範圍之一3D顯示器。因此，3D顯示器提供一不同的視圖至該左及右眼。
可提供二個不同視圖的3D顯示器早已存在。此等之大部分係基於利用眼鏡以分離該左及右眼視圖。現在藉由顯示技術之該進步，新的顯示器已進入市場，其可提供一立體視圖而不利用眼鏡。此等顯示器被稱作自動立體顯示器。
一第一途徑係基於LCD顯示器，其允許該使用者看見立體視訊而不利用眼鏡。此等係基於該雙凸透鏡狀螢幕及該等隔板顯示器之二個技術之任一個。藉由該雙凸顯示器，該LCD可被一層雙凸透鏡覆蓋。此等晶狀體繞射來自該顯示器之光使得該左及右眼接收來自不同像素的光。此允許二個不同的影像被顯示，一個用於該左眼視圖及一個用於該右眼視圖。
該雙凸透鏡狀螢幕之一替換物係該隔板顯示器，其在該LCD之後及在該背光之前使用一視差隔板以分離來自該LCD之像素之該光。該隔板係如此以致從該螢幕前之一設定位置，該左眼睛看見與該右眼不同的像素。該隔板亦可在該LCD與該人類觀察者之間以便該顯示器之一列像素為該左及右眼交替可見的。關於該隔板顯示器之一問題係亮度及解析度之損失以及一非常窄的觀察角。此使得與諸如具有9個視圖及多視圖區之該雙凸透鏡狀螢幕相比，該隔板顯示器作為一臥室電視之吸引力更少。
一另外的途徑仍然係基於利用光閘眼鏡，其結合可以一高更新率(例如，120Hz)顯示訊框之高解析度光束器。該高更新率係必要的，此乃因為藉由該光閘眼鏡法，該左及右眼視圖交替地被顯示。對於該戴眼鏡的觀察者可於60Hz觀察到立體視訊。該光閘眼鏡法允許用於一高品質視訊及高深度。
該自動立體顯示器及該光閘眼鏡法二者皆遭受調節-會聚失諧。此限制了可利用此等裝置而舒適地觀察之深度之該數量及該時間。存在其他的顯示技術，諸如全息及體積顯示器，其不遭受此問題。請注意，本發明可被用於具有一深度範圍之3D顯示器之任一類型。
用於該3D顯示器之影像資料被假定為可作為電子的、通常為數位的資料而被利用。本發明係關於此影像資料及在該數位域中操縱該影像資料。當從一源被傳輸時，該影像資料已經含有3D資訊，例如藉由利用雙重照相機，或一專門的預處理系統可被歸入以從2D影像(再)創造該3D資訊。影像資料可為靜態的，諸如幻燈片，或可包含運動視訊，諸如電影。通常被稱為圖形資料之其他的影像資料可作為儲存目標而被利用或如一應用所要求而被即時產生。舉例而言，諸如功能表、導引項或正文及幫助注解之使用者控制資訊可被添加到其他的影像資料中。
存在許多可將立體影像格式化之不同的方式，其被稱為一3D影像格式。某些格式係利用一2D通道以同時運載該立體資訊。舉例而言，該左及右視圖可被交錯或可為並列及在上及在下放置。此等方法犧牲解析度以運載該立體資訊。另一個選擇係犧牲色彩，此途徑被稱為互補色立體。互補色立體使用光譜多工，其係基於以互補色顯示二個獨立的、重疊的影像。藉由利用具有彩色濾光片之眼鏡，當該濾光片在眼睛前方時各個眼睛僅看見該相同色彩之該影像。因此，舉例而言，該右眼僅看見該紅色影像及該左眼僅看見該綠色影像。
一不同的3D格式係基於利用一2D影像及一額外深度影像之二個視圖、一所謂的深度映射，其傳達關於在該2D影像中的目標之該深度之資訊。被稱為影像+深度之該格式係不同的在於：它係具有一所謂的「深度」或不均衡映射之一2D影像之一組合。此係一灰階影像，藉以一像素之該灰階值指示在該相關的2D影像中用於該相對應的像素之不均衡之量。假定該2D影像被輸入，該顯示裝置使用該不均衡、深度或視差映射以計算該等額外視圖。此可以各種方式完成，該最簡單的形式係根據與此等像素相關的不均衡值將像素轉移至該左或右。Christoph Fen之題為「用於3D電視之一新途徑之基於呈現、壓縮及傳送之深度影像」之該論文給出該技術之一極佳的概述(參見http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdf)。
圖2顯示3D影像資料之一實例。該影像資料之該左部分係一2D影像21，其通常為彩色的，及該影像資料之該右部分係一深度映射22。該2D影像資訊可被呈現為任一合適的影像格式。該深度映射資訊可為具有用於各個像素之一深度值之一額外資料串流，與該2D影像相比其解析度可能減小。在該深度映射中，灰階值指示在該2D影像中的該相關像素之該深度。白色指示接近該觀察者，及黑色指示遠離該觀察者之一大的深度。一3D顯示器藉由利用來自該深度映射之該深度值及藉由計算必要的像素變換以計算需用於立體之該額外視圖。可利用推估或孔填充技術來解決閉塞。額外的訊框可被包含於該資料串流，例如，被進一步添加到該影像及深度映射格式中，其諸如一閉塞映射、一視差映射及/或用於在一背景前移動之透明目標的一透明度映射。
當該視訊從諸如一Blu-ray磁碟播放器之一播放器被發送至一立體顯示器時，添加立體至視訊亦會影響該視訊之該格式。在該2D情況中，僅一2D視訊串流被發送(對圖像資料進行解碼)。由於現在一第二串流必須被發送，其含有該第二視圖(用於立體)或一深度映射，此(2D視訊串流)會隨立體視訊而增加。此可使於該電介面之該必要的位元率加倍。一不同的途徑係犧牲解析度及格式化該串流使得該第二視圖或該深度映射被交錯或與該2D視訊並列放置。
圖2顯示2D資料之一實例及一深度映射。該等深度顯示參數被發送至該顯示器以允許該顯示器正確地解譯該深度資訊。包含在視訊中之額外資訊的實例被描述於該ISO標準23002-3「輔助視訊及增補資訊之表現」中(例如，參見2007年7月之ISO/IEC JTC1/SC29/WG11 N8259)。依據輔助串流之該類型，該額外影像資料由4或2參數之任一個組成。該訊框類型同步指示符可包括一3D視訊格式指示符，其在該3D顯示信號之一隨後段中指示該各個3D視訊傳輸格式。此允許指示或改變該3D視訊傳輸格式，或重設該傳輸序列或設置或重設另外的同步參數。
在一實施例中，該訊框類型同步指示符包含一訊框序列指示符，其指示至少一個訊框類型之一頻率。請注意，某些訊框類型允許不具有該被感知3D影像之大量耗損之一較低傳送頻率，例如該閉塞資料。此外，該等不同的訊框類型之一順序可作為一序列待被重複之不同的訊框類型而被指示。
在一實施例中，該訊框類型同步指示符及該3D傳輸資訊包含一訊框序號。獨立的訊框亦可具有該訊框序號。例如，當組成一單一3D影像的所有訊框已被發送且該等以下的訊框屬於一下一個3D影像時，該序號被規則地增加。因此，對於每一同步週期該數目係不同的，或僅可改變用於一大段。因此，當一跳變被執行時，具有該相同各個序號之該組訊框必須在該影像顯示可被恢復之前被傳輸。該顯示裝置將偵測該偏離訊框序號及將僅組合訊框之一整套。此防止在至一新定位之一跳變之後訊框之一錯誤的組合被使用。
當添加圖形於視訊時，另外的分離資料串流可被用於與該顯示裝置中的該等額外層重疊。此層資料被包含於不同的訊框類型中，如以下詳細論述其藉由添加各個訊框類型同步指示符於該3D顯示信號中而被分別地標記。該3D視訊傳輸格式現在包括一主視訊與至少一個經由各個訊框類型而被傳輸之額外的視訊層及該訊框類型同步指示符包括一主訊框類型指示符及一額外層訊框類型指示符之至少一個。舉例而言，該額外的視訊層可為字幕或諸如一功能表之其他的圖形資訊或任一其他的螢幕顯示資料(OSD)。
用於訊框之該等單元之一可能格式將參考圖4至7而被描述。此格式亦已被描述於歐洲申請案第09150947.1號(申請者檔案號碼PH 012841))，其優先權被主張及其以引用的方式被嵌入本文中。
該接收之壓縮串流包括3D資訊，其允許複合及呈現於立體及自動立體顯示器，亦即該壓縮串流包括一左及一右視訊訊框、及深度(D)、透明度(T)及閉塞(O)資訊用於允許基於2D+深度資訊之呈現。在下文中，深度(D)、透明度(T)及閉塞(O)資訊將被簡稱為DOT。
作為壓縮串流之立體及DOT之二者之存在允許複合及呈現，其依據顯示之該類型及大小而被該顯示器最優化，同時複合仍由該內容創造者控制。
該等下列成分透過該顯示介面而被傳送：
-　解碼視訊資料(未與PG及IG/BD-J混合)
-　代表圖形(PG)資料
-　互動式圖形(IG)或BD-Java生成(BD-J)圖形資料
-　解碼視訊DOT
-　代表圖形(PG)DOT
-　互動式圖形(IG)或BD-Java生成(BD-J)圖形
圖4及5示意性地顯示將透過該視訊介面而被發送之訊框之單元。
該輸出級透過該介面(較佳地HDMI)發送6訊框之單元，其如下被組織：
訊框1：該左(L)視訊及DOT視訊之該等YUV成分被組合成一個24Hz RGB輸出訊框，該等成分如圖9之該頂圖所繪示。通常在該視訊處理域中，YUV指定該等標準亮度(Y)及色度(UV)成分。
訊框2：該右(R)視訊被未修改地發送出，其如圖9之該底圖所繪示較佳地於24Hz。
訊框3：該PC色彩(PG-C)較佳地於24Hz作為RGB成分被未修改地發送出。
訊框4：如圖10之頂圖所繪示，該PG色彩之該透明度被拷貝入一分離圖形DOT輸出平面且與該深度及該等960×540閉塞及閉塞深度(OD)成分結合以用於各種平面。
訊框5：該BD-J/IG色彩(C)較佳地於24Hz被未修改地發送出。
訊框6：如圖10之底圖所繪示，該BD-J/IG色彩之該透明度被拷貝入一分離圖形DOT輸出平面且與該深度及該等960×560閉塞及閉塞深度(OD)成分結合。
圖6示意性地顯示根據本發明之該較佳實施例的透過該視訊介面之訊框之該時間輸出。在本文中，該等成分係以24Hz時間交錯成分的形態以介面頻率144Hz透過HDMI介面發送至顯示器。
該3D視訊格式之優點：
-　該完全解析度彈性3D立體+DOT格式及3D HDMI輸出允許提高的3D視訊(可變的基線用於顯示大小相依性)及提高的3D圖形(更少的圖形限制，3D電視OSD)之可能性用於各種3D顯示器(立體及自動-立體)。
-　不對品質進行折衷，創造播放器硬體之彈性及使其具有最小的成本。複合及呈現在該3D顯示器中被完成。
-　該必要的更高視訊介面速度正在HDMI中被界定以用於4k2k格式且已經可藉由雙重鏈路HDMI而被實現。雙重鏈路HDMI亦支援更高的訊框速率，諸如30Hz等。
該3D傳輸資訊指示符可包括用於該額外的視訊層之層信號參數。該等參數可指示至少一個：
-　額外層之類型及/或格式；
-　該額外層之顯示器相對於該主視訊之顯示器之位置；
-　該額外層之顯示器之大小；
-　該額外層之出現、消失及或持續之時間；
-　額外的3D顯示設置或3D顯示參數。
另外的詳細實例在下文被論述。
圖3顯示回放裝置及顯示裝置之組合。該播放器10讀取該顯示器13之該性能及調整該視訊之該等格式及定時參數以空間地以及暫時地發送該顯示器可操縱之該最高解析度視訊。實際上一稱為EDID之標準被使用。擴展顯示識別資料(EDID)係一資料結構，其由一顯示裝置提供以向例如一圖形卡之一影像源描述其性能。它使一現代個人電腦能夠知道哪種顯示幕被連接。EDID係藉由視訊電子標準協會(VESA)公佈之一標準而被界定。其進一步指代經由http://www.vesa.org/可得之2008年1月11日之VESA顯示埠標準版1、修訂版1a。
該EDID包含製造商名稱、產品類型、磷光體或過濾類型、由該顯示器支援之定時、顯示器大小、亮度資料及(僅用於數位顯示器)像素映射資料。用於將該EDID從該顯示器傳送到該圖形卡之該通道通常係該所謂的I2C匯流排。EDID及I2C之該組合被稱作該顯示資料通道版本2，或DDC2。該2將其與使用一不同的連續格式之VESA之原DDC區別開來。該EDID通常被儲存於一記憶體裝置之該顯示幕中，該記憶體裝置被稱為一連續的PROM(可程式化唯讀記憶體)或EEPROM(電子可擦除PROM)，其可與該I2C匯流排相容。
該回放裝置透過該DDC2通道發送一E-EDID請求至該顯示器。該顯示器以發送該E-EDID資訊來回應。該播放器確定該最佳格式及透過該視訊通道開始傳送。在較老類型之顯示器中，該顯示器連續地在該DDC通道中發送該E-EDID資訊。無請求被發送。為了進一步界定在該介面上使用之該視訊格式，一另外的組織(消費者電子協會；CEA)對E-EDID界定某些額外的限制及擴展以使其更適合於連同顯示器之電視類型而被使用。除特定的E-EDID要求之外，該HDMI標準(參照以上)支援識別編碼及相關的定時資訊以用於許多不同的視訊格式。舉例而言，該CEA 861-D標準在該介面標準HDMI中被採用。HDMI界定該實體鏈路及其支援該CEA 861-D及VESA E-EDID標準以操縱該較高階傳訊。該VESA E-EDID標準允許該顯示器指示其是否及以何格式支援立體視訊傳送。應當注意，關於該顯示器之該性能之此資訊向後傳播至該來源裝置。該已知的VESA標準不界定在該顯示器中控制3D處理之任何向前的3D資訊。
在一實施例中，在該3D顯示信號中的該3D傳輸資訊被非同步傳輸，例如作為在一資料串流中的一獨立封包，其同時識別該各個與其相關的訊框。該封包可包含另外的資料用於與該視訊精確同步之訊框，及可在一適當的時間被嵌入連續視訊訊框之間的該等消隱間隔中。在一實際的實施例中，3D傳輸資訊被嵌入在該等HDMI資料島內的封包中。
以下係包含輔助視訊資訊(AVI)中的該3D傳輸資訊之一實例，其在一音訊視訊資料(AV)串流中的HDMI中被界定。該AVI作為一資訊訊框在該AV串流中從該來源裝置被運載到一數位電視(DTV)顯示幕。如果該來源裝置支援該輔助視訊資訊(AVI)之傳送且如果它決定該DTV顯示幕能夠接收此資訊，那麼它將在每VSYNC週期發送該AVI至該DTV顯示幕一次。該資料適用於視訊資料之該下一個滿訊框。
在下列段落中，HMDI傳訊之一簡短的描述將被呈現。在HDMI中，具有一HDMI輸出之一裝置被稱為一源，同時具有一HDMI輸入之一裝置被稱為集槽。一資訊訊框係在CEA-861-D中被界定之一資料結構，其被設計以運載關於該等音訊或視訊串流或該來源裝置之各種輔助資料項及橫越HDMI從源被運載到集槽。一視訊域係從一個VSYNC活性邊緣至該下一個VSYNC活性邊緣之該週期。一視訊格式被實質界定使得當其被接收於該顯示幕時，該顯示幕具有充足的資訊以向該使用者恰當地顯示該視訊。各個格式之該界定包含一視訊格式定時、該圖像縱橫比、及一比色空間。視訊格式定時該波形與一視訊格式相關。請注意，一特定的視訊格式定時可與超過一個的視訊格式(例如，720X480p＠4:3及720X480p＠16:9)相關。
HDMI包含三個獨立的通信通道：TMDS、DDC、及該可選的CEC。TMDS被用於運載所有的音訊與視訊資料以及輔助資料，其包括描述該等有效音訊與視訊串流之AVI及音訊資訊訊框。該DDC通道被一HDMI源使用以藉由讀取該E-EDID資料結構來確定該集槽之該等性能及特徵。
期望HDMI源讀取該集槽之E-EDID及僅傳遞由該集槽支援之該等音訊與視訊格式。此外，期望HDMI集槽偵測資訊訊框及適當地處理該被接收的音訊與視訊資料。
該CEC通道被選擇性地用於更高階使用者功能，諸如自動建立任務或通常與紅外線遙控用法相關的任務。
一HDMI鏈路在視訊資料週期、資料島週期、及控制週期之三個模式之一個中操作。在該視訊資料週期期間，一有效視訊列之該等有效像素被傳送。在該資料島週期期間，音訊及輔助資料利用一連串的封包而被傳送。當沒有視訊、音訊、或輔助資料需被傳送時，該控制週期被使用。一控制週期需在任意二個非控制週期的週期之間。
表1闡釋在一HDMI資料島中的封包類型：
由該等發明者鑑定，本資訊訊框封包、AVI資訊訊框等並不適合於操縱3D視訊資料之傳送。
大體上，3D視訊資料之該傳送之特徵為3個參數：
-　VIC(像素重複率)，其來自該HDMI規格(例如1920x1080p＠60Hz)中的表8.7
-　在一單一3D影像之訊框之一單元中的訊框之數目
N=1用於單視場
N=2用於立體及視訊+深度
N=3用於視訊+深度+圖形
N=4用於MVD ＠ M=2等
N=6用於參照圖4至6而被界定之該單元
-　格式：該等通道之多工之方式
-　訊框交替
-　域交替
-　列交替
-　並列
-　檢測板等。
圖8顯示用於一3D+DOT格式(＠1920像素)之水平及垂直消隱及傳訊。該圖顯示訊框交替多工之一多工架構。在該實例中，由Vactive/5指示之5訊框組成該3D+DOT格式之該3D影像，此等訊框被依次配置在由Vfreq指示的該3D信號之該等垂直同步脈衝VSYNC之間的該單元中。該等垂直同步脈衝指示該視訊資料週期Vactive，其在該垂直消隱Vblank之後開始，在此週期中該等訊框被依序配置。同樣地，該等水平消隱脈衝HSYNC指示該列週期Hactive，其在該水平消隱Hblank之後開始。因此該訊框交替多工架構指示被依序配置在該視訊資料週期中的訊框之數目。
圖9顯示用於一3D+DOT格式(720像素被發送為1920漸進＠30Hz)之水平與垂直消隱及傳訊。該圖顯示並列訊框交替多工之一多工架構。在該實例中，由Hactive/5指示之5訊框組成該3D+DOT格式之該3D影像，此等訊框被並列配置在由Vfreq指示的該3D信號之該等垂直同步脈衝VSYNC之間的該單元中。該等垂直同步脈衝指示該視訊資料週期Vactive，其在該垂直消隱Vblank之後開始，在此週期中該等訊框被並列配置。同樣地，該等水平消隱脈衝HSYNC指示該列週期Hactive，其在該水平消隱Hblank之後開始。因此該並列訊框多工架構指示被依次配置在該視訊資料週期中的訊框之該數目。
用於最大彈性，根據本發明，該多工架構之該等以上參數應被傳送入三個獨立域中。
在本發明之一實施例中，此等係以AVI資訊訊框及/或HDMI商家特定資訊訊框發送。
在下文中，在HDMI介面情況下的詳細實施例將被呈現：表2描述根據本發明之一較佳實施例的該資訊訊框封包之該相關的位元組。
於其中，HDMI_VIC0...HDMI_VIC7描述該視訊格式識別編碼。當傳送在此段中被界定之任一視訊格式時，一HDMI源將把該HDMI_VIC域設置於該視訊編碼以用於此格式。
於其中，HDMI_3D_FMT0...HDMI_3D_FMT描述3D格式代碼。當傳送在此段中被界定之任一視訊格式時，一HDMI源將把該HDMI_3D_格式域設置於該視訊編碼以用於此格式。
根據本發明，藉由HDMI_VIC數目而被識別之額外的視訊定時格式值被界定用於3D(立體)傳送。
該等下列視訊格式被用於3D傳送。用於觀眾之各個眼睛的該左及右圖像可利用此段之該視訊格式界定而被獨一地區別，以便不需要任何其他額外的資訊封包。表3顯示在該相關的EDID及資訊訊框中被描述的HDMI_VIC之值。
根據本發明，3D通道之HDMI專有多工之該格式係藉由HDMI_3D_FMT數目而被識別，其一實例在表4中被界定。
用於3D(立體)傳送：該等下列視訊格式被用於3D傳送。在一3D傳送之該等通道中的該資訊之該多工的該格式可利用此段之該3D格式界定而被獨一地區別，以便不需要任何其他額外的資訊封包。表4顯示在該EDID及相關的資訊訊框中被描述的HDMI_3D_格式之值。
根據本發明，一播放器裝置能夠將3D元資料從源向集槽(在其他中間)發送：
-　內容格式
-　即時2D/3D傳訊
-　同步
-　推薦視場
-　字幕資訊
根據本發明，額外的3D內容元資料可被包含於正在被傳送之該3D視訊資料中，該元資料正在被較佳地調整至該SMPTE 3D主控器格式。
某些選項被列出；該元資料可被包含於下列之一個中：
-　3D資訊訊框類型(CEA)，
-　AVI資訊訊框，
-　商家特定資訊訊框(VSIF)、CEC。
在該下列段中，用於發送立體資訊或該等單元包括二個訊框之該情況的特定實施例將被引入。
建議在AVI資訊訊框中使用該黑條(black bar)資訊以容納該訊框類型同步指示符，例如用於左右傳訊及額外的資訊以用於在該顯示器中的3D視訊之適當的呈現。該AVI資訊訊框係一資料方塊，至少每二個域其被發送。由於此原因，其為該僅有的可在一訊框基礎上傳送傳訊之資訊訊框，如果其被用於該立體視訊信號之同步，那麼該訊框基礎係必需的。與依靠相關傳訊或依靠商家特定資訊訊框之其他解決架構相比，此解決架構之該優點係其與當前用於HDMI之晶片組相容及其提供用於傳訊之訊框精確同步與充分空間(8位元組)。
在一替代實施例中，建議使用在HDMI中被界定之該等前導碼位元以發信號通知該隨後的視訊資料係一左或一右視訊訊框。HDMI章節5.2.1.1界定該前導碼立即優先於各個視訊資料週期或資料島週期。此係八個相同的控制字元之一序列，其指示該即將來臨的資料週期係一視訊資料週期或係一資料島。CTL0、CTL1、CTL2、及CTL3之該等值指示隨後的資料週期之該類型。該等剩餘控制信號、HSYNC及VSYNC可在此序列期間發生改變。該前導碼目前係4位元，CTL0、CTL1、CLT3及CTL4。此時僅1000及1010可作為值而被使用。舉例而言，該等值1100或1001現在可被界定以指示該視訊資料含有一左或一右視訊訊框之任一個，或者含有該影像及/或深度資訊之替代地訊框。同樣地，該等前導碼位元僅可指示一3D訊框類型或一序列之一第一3D訊框，同時訊框類型之該另外的區別可根據一訊框類型同步序列藉由一另外的資料訊框而被界定。同樣地，該HSYNC及VSYNC傳訊可經調適於傳達該訊框類型同步之至少一部分，例如不論一訊框為左或一右視訊訊框。該HSYNC被配置於一左訊框之視訊資料之前且該VSYNC被配置於視訊資訊之一右訊框之前。相同的原理可被應用於諸如2D影像及深度資訊之其他的訊框類型。
圖10顯示連同一訊框類型同步指示符延伸之一AVI資訊訊框之一表格。該AVI資訊訊框由該CEA而界定且被HDMI及其他視訊傳輸標準採用以提供關於色彩及色度取樣、過度掃描及掃描不足及縱橫比等之訊框傳訊。額外的資訊已經被添加如下，以具體化該訊框類型同步指示符。
資料位元組1之最後位元、F17及資料位元組4之最後位元、F47被保留在該標準AVI資訊訊框中。在該訊框類型同步指示符之一實施例中，此等被用於指示在黑條資訊中的立體傳訊之存在。該黑條資訊通常被包含在資料位元組6至13中。位元組14至27通常被保留在HDMI中因此可能無法被當前硬體正確地傳送。因此此等域被用於提供較不重要的OSD位置資訊。該表格之語法如下。如果F17被設置(=1)，那麼直到13之資料位元組含有3D參數資訊。預設情況係當F17未被設置時(=0)，其意味著不存在3D參數資訊。
資料位元組12直到19指示OSD/字幕重疊之位置。該額外層可小於主視訊層，且係基於位元組12至19之位置資料而被放置。此使得該3D顯示器能夠在藉由該訊框類型同步指示符而被指示之該螢幕之該區域上執行特定的呈現。該訊框類型同步指示符可進一步包含同步定時資訊用於指示該字幕/OSD資訊必須出現及/或消失之時間，例如於在圖10中被稱為呈現參數之該資料位元組20至27中。
圖11顯示3D視訊格式之一表格。在該左行之該等值各指示一具有各自不同的訊框類型之特定的視訊格式。該被選值被包含在該訊框同步指示符中，例如在圖10之該表格中的資料位元組7。資料位元組7描述該源(播放器)正在傳送之該立體視訊格式。圖11之該表格列出某些可能值。值0指示該相關訊框為2D，當在一3D主題期間傳送2D視訊之片段時其係有用的。該顯示裝置(3D電視)可使其內部影像處理適於3D視訊格式之此改變，諸如在訊框連續格式的情況下切斷暫時的升頻轉換。
圖12顯示一訊框同步信號。該同步信號可被包含在該訊框同步指示符中，例如在圖10中的資料位元組8。資料位元組8運載立體同步信號，同時圖12顯示該同步信號之該格式。該同步信號與該視訊格式一起指示該視訊訊框之內容。
在圖10中的資料位元組9及10之值取決於其視訊格式。舉例而言，對於(自動)立體視訊，它們指示該視訊內容之最大及最小視差。替代地，它們可指示「深度」資訊之偏移量及定標因素。在較高位元精度要求(亦即10位元深度)的情況下，額外的暫存器可被用於儲存該等較低的位元。
圖13顯示用於額外視訊層之值。可藉由允許將用於諸如字幕或功能表(螢幕顯示資料OSD)之額外層的訊框分別包含於該3D視訊信號中而擴展該視訊格式。在圖4中，資料位元組11可指示字幕或OSD重疊之存在。圖13顯示用於指示該等額外層之若干視訊格式參數值。在圖10中的該等剩餘位元組20至27可被用於提供特定的參數，以指示用於定標深度之資訊及與3D顯示器有關的閉塞資訊。
請注意，本發明可利用可程式化組件在硬體及/或軟體中被執行。一種用於執行本發明之方法具有該等處理步驟，其相對應於參照圖1而被說明之3D影像資料之該傳輸。雖然本發明係主要藉由利用光學記錄載體或網際網路之實施例而被說明，本發明亦適用於任一諸如一3D個人電腦「PC」顯示介面之影像介面環境，或耦合於一無線3D顯示裝置之3D媒體中心PC。
本發明可被概括如下：本發明揭示一種用於傳輸三維(3D)影像資料之系統。一3D來源裝置經由諸如HDMI之一高速數位介面提供用於一顯示器之3D顯示信號。該3D顯示信號包括一序列訊框，其根據一3D視訊傳輸格式組成該3D影像資料。該序列訊框包括若干單元，各個單元相對應於包括待被複合及顯示為3D影像之視訊資訊之訊框。各個訊框具有一資料結構用於代表一序列的數位影像像素資料，及代表一部分的3D資料結構。該3D來源裝置包含3D傳輸資訊，其至少包括關於在待被組合入在該3D顯示信號中的一單一3D影像中之一單元中的該等視訊訊框之資訊。該顯示器偵測該3D傳輸資訊，及根據該3D傳輸資訊而產生該等顯示控制信號。該3D傳輸資訊較佳地進一步包括關於用於將訊框複合入該3D顯示信號之該多工架構之資訊，及最佳地包括關於用於訊框之一像素大小及一頻率之資訊。
請注意，在此文件中該單詞「包括」不排除存在此等已被列出之外的其他元件或步驟及在一元件之前的該單詞「一(a)」或「一(an)」不排除存在複數個此等元件，任何參照標記不限制申請專利範圍之該範圍，本發明可借助於硬體及軟體之二者而被執行，且某些「構件」或「單元」可藉由相同項之硬體或軟體而被表現，及一處理器可實現一個或多個單元之該功能，其可能與硬體元件合作。此外，本發明不限於該等實施例，及在於每個新穎的特徵或上述特徵之組合。
10．．．3D來源裝置
11．．．傳送同步單元
12．．．輸出介面單元
13．．．3D顯示裝置
14．．．輸入介面單元
15．．．使用者控制元件
16．．．使用者控制元件
17．．．3D顯示器
18．．．處理單元
19．．．偵測單元
21．．．2D影像
22．．．深度映射
44．．．箭頭
51．．．輸入單元
52．．．處理單元
54．．．光學記錄載體
55．．．網路
56．．．3D顯示信號
57．．．遠程媒體伺服器
58．．．光碟單元
59．．．網路介面單元
圖1顯示用於傳輸三維(3D)影像資料之一系統；
圖2顯示3D影像資料之一實例；
圖3顯示回放裝置及顯示裝置之組合；
圖4示意性地顯示用於一相對應於2D+立體+DOT之3D影像資料之待透過該視訊介面而被發送之訊框之可能單元；
圖5示意性地顯示用於一相對應於2D+立體+DOT之3D影像資料之待透過該視訊介面而被發送之訊框之可能單元之更多細節；
圖6示意性地顯示用於一相對應於2D+立體+DOT之3D影像資料之透過該視訊介面之訊框之該時間輸出；
圖7示意性地顯示用於一立體信號之訊框配置之可能單元；
圖8顯示用於一3D+DOT格式(＠ 1920像素)之水平及垂直消隱及傳訊；
圖9顯示用於一3D+DOT格式(720像素被發送為1920漸進＠ 30Hz)之水平及垂直消隱及傳訊；
圖10顯示用於立體3D影像資料之連同一訊框類型同步指示符延伸之一AVI-資訊訊框之一表格；
圖11顯示3D視訊格式之一表格；
圖12顯示一訊框同步信號，及
圖13顯示用於額外視訊層之值。
10．．．3D來源裝置
11．．．傳送同步單元
12．．．輸出介面單元
13．．．3D顯示裝置
14．．．輸入介面單元
15．．．使用者控制元件
16．．．使用者控制元件
17．．．3D顯示器
18．．．處理單元
19．．．偵測單元
44．．．箭頭
51．．．輸入單元
52．．．處理單元
54．．．光學記錄載體
55．．．網路
56．．．3D顯示信號
57．．．遠程媒體伺服器
58．．．光碟單元
59．．．網路介面單元

Claims (13)

  1. 一種傳輸三維[3D]影像資料之方法，該方法包括，在一3D來源裝置處，處理源影像資料以產生一3D顯示信號，該3D顯示信號包括根據一3D視訊傳輸格式而組成該3D影像資料之一序列的訊框；該3D視訊格式包括一視訊資料週期，在此週期期間有效視訊之諸像素被傳輸；及一資料島(data island)週期，在此週期期間音訊及輔助資料利用一連串的封包而被傳輸，該等封包包含一資訊訊框封包，及輸出該3D顯示信號；及，在一3D顯示裝置處，接收該3D顯示信號，及處理3D顯示信號以產生若干顯示控制信號用於在一3D顯示器上呈現該3D影像資料，該序列訊框包括若干單元，該單元為從一垂直同步信號至下一個垂直同步信號之一週期，各個單元相對應於根據一多工架構而被配置之若干訊框，該等訊框包括待被複合及顯示為一單一3D影像之視訊資訊；在該單元中的各個訊框具有一資料結構用於代表一序列的數位影像像素資料，且各個訊框為一3D資料結構的一部分，且其中該方法包括，在該3D來源裝置處，將3D傳輸資訊包含於一額外的資料訊框封包中，該3D傳輸資訊包括至少關於該多工架構之資訊，該多工架構包含待被組合入在該3D顯示信號中的一單一3D影像中之 一單元中的視訊訊框數目(number)，該多工架構係選擇自包括至少訊框交替多工之多工架構之群組，該訊框交替指示被依次配置入該視訊資料週期中的該等訊框數目；及該產生該等顯示控制信號係根據該3D傳輸資訊而執行。
  2. 如請求項1之方法，其中在關於該多工架構之該資訊中，多工架構之該群組另外包括下列中至少一者：域交替多工；列交替多工；並列(side by side)訊框多工，該並列訊框多工指示被並列配置在該視訊資料週期中的該等訊框數目；2D及深度訊框多工；2D、深度、圖形及圖形深度訊框多工。
  3. 如請求項1之方法，其中該3D傳輸資訊包含關於用於諸訊框之一像素大小及一頻率之資訊。
  4. 如請求項3之方法，其中該視訊傳輸格式係高清晰度多媒體介面(HDMI)。
  5. 如請求項4之方法，其中該3D傳輸資訊係包含在該輔助視訊資訊(AVI)資訊訊框(InfoFrame)中。
  6. 如請求項4之方法，其中該3D傳輸資訊係包含在一商家特定資訊訊框中。
  7. 一種用於傳輸三維[3D]影像資料至一3D顯示裝置之3D來源裝置，該裝置包括： 產生構件(52)，其用於處理源影像資料以產生一3D顯示信號(56)，該3D顯示信號包括根據一3D視訊傳輸格式而組成該3D影像資料之一序列的訊框；該3D視訊格式包括一視訊資料週期，在此週期期間有效視訊之諸像素被傳輸；及一資料島週期，在此週期期間音訊及輔助資料利用一連串的封包而被傳輸，該等封包包含一資訊訊框封包，及輸出介面構件(12)，其用於輸出該3D顯示信號，各個訊框具有一資料結構用於代表一序列的數位影像像素資料，及各個訊框為一3D資料結構的一部分，該序列訊框包括若干單元，該單元為從一垂直同步信號至下一個垂直同步信號之一週期，各個單元相對應於根據一多工架構而被配置之若干訊框，該等訊框包括待被複合及顯示為一單一3D影像之視訊資訊；其中該輸出介面構件經調適以在一額外的資料訊框封包中傳送3D傳輸資訊，該3D傳輸資訊包括至少關於該多工架構之資訊，該多工架構包含待被組合入在該3D顯示信號中的一單一3D影像中之一單元中的視訊訊框數目，該多工架構係選擇自至少包括訊框交替多工之多工架構之群組，該訊框交替指示被依次配置入該視訊資料週期中的該等訊框數目；用於在該顯示裝置處根據該3D傳輸資訊產生若干顯示控制信號。
  8. 如請求項7之3D來源裝置，其中該輸出介面構件經調適 以藉由若干多工架構之該群組提供關於該多工架構之進一步的資訊，該等多工架構之該群組另外包括下列中至少一者：域交替多工；列交替多工；並列訊框多工，該並列訊框多工指示被並列配置在該視訊資料週期中的該等訊框數目；2D及深度訊框多工；2D、深度、圖形及圖形深度訊框多工。
  9. 一種3D顯示裝置，其包括：一3D顯示器(17)，其用於顯示3D影像資料，輸入介面構件(14)，其用於接收一3D顯示信號，該3D顯示信號包括根據一3D視訊傳輸格式而組成該3D影像資料之若干訊框；該3D視訊格式包括一視訊資料週期，在此週期期間有效視訊之諸像素被傳送；及一資料島週期，在此週期期間音訊及輔助資料利用一連串的封包而被傳送，該等封包包含一資訊訊框封包，及處理構件(18)，其用於產生若干顯示控制信號以用於在該3D顯示器上呈現該3D影像資料，各個訊框具有一資料結構用於代表一序列的數位影像像素資料，及各個訊框為一3D資料結構的一部分，及該序列訊框包括若干單元，該單元為從一垂直同步信號至下一個垂直同步信號之一週期，各個單元相對應於根據一多工架構而被配置之若干訊框，該等訊框包括待 被複合及顯示為一單一3D影像之視訊資訊；其中在一額外的資訊訊框封包中的3D傳輸資訊包括至少關於該多工架構之資訊，該多工架構包含待被組合入在該3D顯示信號中的一單一3D影像中之一單元中的視訊訊框數目，該多工架構係選自包括至少訊框交替多工之多工架構之群組，該訊框交替指示被依次配置入該視訊資料週期中的該等訊框數目；及該處理構件(18)被配置用於根據該3D傳輸資訊而產生該等顯示控制信號。
  10. 如請求項9之3D顯示裝置，其中該處理構件(18)被配置用於藉由若干多工架構之該群組根據關於該多工架構之進一步的資訊來產生該等顯示控制信號，該等多工架構之該群組進一步包括下列中至少一者：域交替多工；列交替多工；並列訊框多工，該並列訊框多工指示被並列配置在該視訊資料週期中的該等訊框數目；2D及深度訊框多工；2D、深度、圖形及圖形深度訊框多工。
  11. 如請求項10之3D顯示裝置，其中該視訊傳輸格式係HDMI。
  12. 如請求項11之3D顯示裝置，其中該3D傳輸資訊係包含在該AVI資訊訊框中。
  13. 如請求項11之3D顯示裝置，其中該3D傳輸資訊係包含在一商家特定資訊訊框中。
TW099101244A 2009-01-20 2010-01-18 三維影像資料之傳輸 TWI517664B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP09150947 2009-01-20
EP09150939 2009-01-20
EP09151461 2009-01-27

Publications (2)

Publication Number Publication Date
TW201103311A TW201103311A (en) 2011-01-16
TWI517664B true TWI517664B (zh) 2016-01-11

Family

ID=41822413

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099101244A TWI517664B (zh) 2009-01-20 2010-01-18 三維影像資料之傳輸

Country Status (12)

Country Link
US (1) US20120069154A1 (zh)
EP (1) EP2389765B1 (zh)
KR (1) KR101634569B1 (zh)
CN (1) CN102292996B (zh)
AU (1) AU2010207508B2 (zh)
BR (1) BRPI1005134B1 (zh)
CA (1) CA2749896C (zh)
ES (1) ES2563728T3 (zh)
MX (1) MX2011007645A (zh)
RU (1) RU2538333C2 (zh)
TW (1) TWI517664B (zh)
WO (1) WO2010084439A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101972962B1 (ko) * 2009-02-19 2019-04-26 톰슨 라이센싱 3ｄ 비디오 포맷
DE102010009291A1 (de) * 2010-02-25 2011-08-25 Expert Treuhand GmbH, 20459 Verfahren und Vorrichtung für ein anatomie-adaptiertes pseudoholographisches Display
US9571811B2 (en) * 2010-07-28 2017-02-14 S.I.Sv.El. Societa' Italiana Per Lo Sviluppo Dell'elettronica S.P.A. Method and device for multiplexing and demultiplexing composite images relating to a three-dimensional content
IT1401367B1 (it) 2010-07-28 2013-07-18 Sisvel Technology Srl Metodo per combinare immagini riferentesi ad un contenuto tridimensionale.
US9258541B2 (en) * 2010-08-17 2016-02-09 Lg Electronics Inc. Apparatus and method for receiving digital broadcasting signal
US20120050462A1 (en) * 2010-08-25 2012-03-01 Zhibing Liu 3d display control through aux channel in video display devices
KR20120020627A (ko) * 2010-08-30 2012-03-08 삼성전자주식회사 3ｄ 영상 포맷을 이용한 영상 처리 장치 및 방법
KR20120027897A (ko) * 2010-09-14 2012-03-22 삼성전자주식회사 3ｄ 디스플레이 엔진, 상기 3ｄ 디스플레이 엔진의 동작 방법, 및 상기 3ｄ 디스플레이 엔진을 포함하는 3ｄ 디스플레이 시스템
CN103703771B (zh) * 2011-07-25 2017-05-10 索尼公司 用于生成3d立体视图的着色方法
US20130044192A1 (en) * 2011-08-17 2013-02-21 Google Inc. Converting 3d video into 2d video based on identification of format type of 3d video and providing either 2d or 3d video based on identification of display device type
TWI486053B (zh) * 2011-09-27 2015-05-21 Realtek Semiconductor Corp 立體影像傳輸方法及立體影像傳輸電路
KR101697385B1 (ko) * 2012-04-05 2017-02-01 한국전자통신연구원 채널 적응형 계층적 방송 장치 및 방법
CN102903320B (zh) 2012-08-17 2015-02-18 深圳市华星光电技术有限公司 4k2k分辨率放大方法及应用该方法的4k2k分辨率放大系统
US9413985B2 (en) * 2012-09-12 2016-08-09 Lattice Semiconductor Corporation Combining video and audio streams utilizing pixel repetition bandwidth
CN103024288B (zh) * 2012-12-26 2017-12-29 新奥特（北京）视频技术有限公司 一种3d文件时间矫正的方法和装置
KR102019495B1 (ko) * 2013-01-31 2019-09-06 삼성전자주식회사 싱크 장치, 소스 장치, 기능 블록 제어 시스템, 싱크 장치 제어 방법, 소스 장치 제어 방법 및 기능 블록 제어 방법
US20150042771A1 (en) * 2013-08-07 2015-02-12 United Video Properties, Inc. Methods and systems for presenting supplemental content in media assets
US10244223B2 (en) 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
WO2016021809A1 (ko) * 2014-08-08 2016-02-11 엘지전자 주식회사 디스플레이 적응적 영상 재생을 위한 비디오 데이터 처리 방법 및 장치
EP3286916A1 (en) 2015-04-23 2018-02-28 Ostendo Technologies, Inc. Methods and apparatus for full parallax light field display systems
KR20170140187A (ko) 2015-04-23 2017-12-20 오스텐도 테크놀로지스 인코포레이티드 깊이 정보를 이용한 완전 시차 압축 광 필드 합성을 위한 방법
US10448030B2 (en) 2015-11-16 2019-10-15 Ostendo Technologies, Inc. Content adaptive light field compression
KR102512479B1 (ko) * 2015-11-27 2023-03-21 엘지디스플레이 주식회사 홀로그램 디스플레이
KR20170075349A (ko) * 2015-12-23 2017-07-03 한국전자통신연구원 멀티 뷰를 가진 다중영상 송수신 장치 및 다중영상 다중화 방법
US10453431B2 (en) 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
US11202050B2 (en) * 2016-10-14 2021-12-14 Lg Electronics Inc. Data processing method and device for adaptive image playing
CN109803134A (zh) * 2017-11-16 2019-05-24 科通环宇（北京）科技有限公司 一种基于hdmi系统的视频图像传输方法及数据帧结构
CN107895312A (zh) * 2017-12-08 2018-04-10 快创科技（大连）有限公司 一种基于ar技术的网上购物体验系统
TWI723683B (zh) * 2019-12-17 2021-04-01 瑞昱半導體股份有限公司 視訊介面轉換裝置及方法
EP3840368B1 (en) * 2019-12-18 2022-01-26 Axis AB Method of injecting additional data
CN111836037A (zh) * 2020-07-13 2020-10-27 紫旸升光电科技(苏州)有限公司 一种微型显示器3d自动调适影像显示系统及方法
TWI812887B (zh) * 2020-10-07 2023-08-21 瑞昱半導體股份有限公司 偵測電路和喚醒方法
CN114666415B (zh) * 2022-05-16 2022-09-09 宏晶微电子科技股份有限公司 数据传输方法、显示设备及控制设备
CN116886845B (zh) * 2023-09-04 2023-12-15 湖北芯擎科技有限公司 自适应的参数更新方法、装置、计算机设备及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4979033A (en) 1988-09-27 1990-12-18 Stephens Berton H Stereoscopic video system and method with field synchronization and intensity control
US5818419A (en) * 1995-10-31 1998-10-06 Fujitsu Limited Display device and method for driving the same
US6704042B2 (en) * 1998-12-10 2004-03-09 Canon Kabushiki Kaisha Video processing apparatus, control method therefor, and storage medium
US6407736B1 (en) * 1999-06-18 2002-06-18 Interval Research Corporation Deferred scanline conversion architecture
JP2002095018A (ja) * 2000-09-12 2002-03-29 Canon Inc 画像表示制御装置及び画像表示システム、並びに画像データの表示方法
TW580826B (en) * 2001-01-12 2004-03-21 Vrex Inc Method and apparatus for stereoscopic display using digital light processing
US7088398B1 (en) * 2001-12-24 2006-08-08 Silicon Image, Inc. Method and apparatus for regenerating a clock for auxiliary data transmitted over a serial link with video data
KR100556826B1 (ko) * 2003-04-17 2006-03-10 한국전자통신연구원 Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
US8879823B2 (en) * 2005-06-23 2014-11-04 Koninklijke Philips N.V. Combined exchange of image and related data
US8189034B2 (en) * 2005-06-23 2012-05-29 Koninklijke Philips Electronics N.V. Combined exchange of image and related depth data
JP2007065067A (ja) * 2005-08-29 2007-03-15 Seijiro Tomita 立体映像表示装置
RU2298297C1 (ru) * 2005-10-03 2007-04-27 Борис Иванович Волков Система стереотелевидения
JP4179387B2 (ja) * 2006-05-16 2008-11-12 ソニー株式会社 伝送方法、伝送システム、送信方法、送信装置、受信方法及び受信装置
KR100905723B1 (ko) * 2006-12-08 2009-07-01 한국전자통신연구원 비실시간 기반의 디지털 실감방송 송수신 시스템 및 그방법
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
WO2009075495A1 (en) * 2007-12-10 2009-06-18 Samsung Electronics Co., Ltd. System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
RU2516499C2 (ru) * 2007-12-18 2014-05-20 Конинклейке Филипс Электроникс Н.В. Передача данных стереоскопического изображения через интерфейс устройства отображения
KR101488199B1 (ko) * 2008-03-12 2015-01-30 삼성전자주식회사 영상 처리 방법, 영상 재생 방법, 그 장치 및 기록매체
KR101472332B1 (ko) * 2008-04-15 2014-12-15 삼성전자주식회사 3차원 디지털 컨텐츠의 제공 방법, 수신 방법 및 그 장치
JP5338166B2 (ja) * 2008-07-16 2013-11-13 ソニー株式会社 送信装置、立体画像データ送信方法、受信装置および立体画像データ受信方法

Also Published As

Publication number Publication date
CA2749896C (en) 2019-02-19
CA2749896A1 (en) 2010-07-29
TW201103311A (en) 2011-01-16
WO2010084439A1 (en) 2010-07-29
EP2389765B1 (en) 2016-01-13
KR20110114673A (ko) 2011-10-19
EP2389765A1 (en) 2011-11-30
BRPI1005134B1 (pt) 2021-07-20
MX2011007645A (es) 2011-09-06
KR101634569B1 (ko) 2016-06-29
CN102292996B (zh) 2014-09-17
RU2538333C2 (ru) 2015-01-10
RU2011134872A (ru) 2013-02-27
ES2563728T3 (es) 2016-03-16
AU2010207508A1 (en) 2011-09-08
CN102292996A (zh) 2011-12-21
US20120069154A1 (en) 2012-03-22
BRPI1005134A2 (pt) 2020-01-28
AU2010207508B2 (en) 2016-03-03

Similar Documents

Publication Publication Date Title
TWI517664B (zh) 三維影像資料之傳輸
US20190215508A1 (en) Transferring of 3d image data
US20110298795A1 (en) Transferring of 3d viewer metadata
US20110293240A1 (en) Method and system for transmitting over a video interface and for compositing 3d video and 3d overlays
US11381800B2 (en) Transferring of three-dimensional image data
JP6085626B2 (ja) ３ｄ画像データの転送