TWI542191B - 一種於一三維[3d]來源裝置提供一個3d視訊信號以傳送至一3d目的地裝置之方法、用於該方法之3d來源裝置、用於接收一個3d視訊信號之3d目的地裝置、記錄載體、及電腦程式產品 - Google Patents

一種於一三維[3d]來源裝置提供一個3d視訊信號以傳送至一3d目的地裝置之方法、用於該方法之3d來源裝置、用於接收一個3d視訊信號之3d目的地裝置、記錄載體、及電腦程式產品 Download PDF

Info

Publication number
TWI542191B
TWI542191B TW099124591A TW99124591A TWI542191B TW I542191 B TWI542191 B TW I542191B TW 099124591 A TW099124591 A TW 099124591A TW 99124591 A TW99124591 A TW 99124591A TW I542191 B TWI542191 B TW I542191B
Authority
TW
Taiwan
Prior art keywords
depth
video
data
auxiliary
metadata
Prior art date
Application number
TW099124591A
Other languages
English (en)
Other versions
TW201130292A (en
Inventor
飛利浦 史蒂芬 紐頓
丹尼斯 丹尼爾 羅伯特 喬瑟夫 玻利歐
馬克 約瑟夫 瑪麗亞 庫娃斯
德 海哲登 格拉達斯 威海慕斯 席歐朵魯斯 凡
威爾漢墨斯 翰瑞克斯 愛爾方薩斯 布魯爾斯
漢恩 威博 迪
喬漢 卡里尼斯 泰斯特拉
Original Assignee
皇家飛利浦電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP09166465A external-priority patent/EP2282550A1/en
Application filed by 皇家飛利浦電子股份有限公司 filed Critical 皇家飛利浦電子股份有限公司
Publication of TW201130292A publication Critical patent/TW201130292A/zh
Application granted granted Critical
Publication of TWI542191B publication Critical patent/TWI542191B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

一種於一三維[3D]來源裝置提供一個3D視訊信號以傳送至一3D目的地裝置之方法、用於該方法之3D來源裝置、用於接收一個3D視訊信號之3D目的地裝置、記錄載體、及電腦程式產品
本發明係關於一種提供一個三維[3D]視訊信號以傳送至一3D目的地裝置之方法，該方法包含決定指示發生於3D視訊資料中之深度的深度元資料，該深度元資料包括指示最接近一使用者之視訊資料之深度的一近值。
本發明進一步係關於一種3D來源裝置、一種3D目的地裝置、一種信號、一種記錄載體及一種電腦程式產品。
本發明係關於在一3D顯示裝置上呈現與輔助資料(諸如字幕、標誌或其他3D影像資料)組合之3D視訊資料的領域。
吾人已知用於產生2D視訊資料之裝置，例如視訊伺服器、廣播台或編輯裝置。目前正提出用於提供三維(3D)影像資料之3D增強裝置。類似地，正提出用於呈現顯示3D視訊資料的目的地裝置，諸如用於光碟(例如藍光光碟；BD)之播放器或呈現接收之數位視訊信號之視訊轉換器。目的地裝置係耦接至諸如一電視機或監測器之一顯示裝置。視訊資料係經由一適當介面，較佳經由諸如HDMI之一高速數位介面而自來源裝置傳送。3D顯示器亦可與該目的地裝置整合，例如具有一接收區段及一3D顯示器之一電視機(TV)。
對於3D內容(諸如3D電影或電視廣播)，額外輔助資料可與影像資料(例如字幕、一標誌、一遊戲得分、用於金融新聞或其他公告或新聞之一電報紙帶)組合而顯示。
文件WO 2008/115222描述用於組合文字與三維內容之一系統。該系統以相同於最近深度值之程度將文字插入於3D內容中。3D內容之一實例係一個二維影像及一相關聯之深度圖。在此案例中，所插入文字的深度值經調整以匹配給定深度圖之最近深度值。3D內容之另一實例係複數個二維影像及相關聯之深度圖。在此案例中，所插入文字之深度值經連續調整以匹配一給定深度圖之最近深度值。3D內容之一進一步實例係具有一右眼視圖及一左眼視圖之立體內容。在此案例中，在左眼視圖及右眼視圖之一者中的文字經移位以匹配立體影像中之最近像差值。3D內容之另一實例係具有複數個右眼視圖及左眼視圖之立體內容。在此案例中，在左眼視圖或右眼視圖中的文字經連續移位以匹配立體影像中之最近深度值。結果，該系統產生與3D內容組合之文字，其中該文字並不阻礙3D內容中之3D效果且當由一觀看者觀看時並不引起視覺疲勞。
文件WO 2008/115222描述：輔助圖形資料係待顯示於影像資料的最近部分前面。當輔助資料需要在具有有限處理資源之一目的地裝置中與3D視訊資料組合時，發生一問題。從一3D視訊串流導出最近深度值需要處理深度資訊。特別是對於例如包括一左視圖及右視圖之一多視圖3D視訊串流，偵測最近深度或偵測對應於該最近深度之像差值需要大量處理。
本發明之一目的係提供一種用於以一更方便之方式組合輔助資料及3D視訊內容的系統。
為此，根據本發明之一第一態樣，如在開頭段落中描述之方法包括：
-產生包含3D視訊資料之3D視訊信號，及
-將深度元資料包括於該3D視訊信號中
用於致使3D目的地裝置能夠：
-擷取該深度元資料，
-提供輔助資料，及
-以相依於所擷取之元資料的一輔助深度定位該輔助資料以顯示與該3D視訊資料組合之該輔助資料。
為此，根據本發明之一第二態樣，用於提供一個三維[3D]視訊信號以傳送至一3D目的地裝置之3D來源裝置包含用於以下之處理構件：
-決定指示發生於3D視訊資料中之深度的深度元資料，該深度元資料包括指示最接近一使用者之視訊資料之深度的一近值，
-產生包含該3D視訊資料之3D視訊信號，及
-將該深度元資料包括於該3D視訊信號中
用於致使該3D目的地裝置能夠：
-擷取該深度元資料，
-提供輔助資料，及
-以相依於所擷取之元資料的一輔助深度定位該輔助資料以顯示與該3D視訊資料組合之該輔助資料。
為此，根據本發明之一進一步態樣，用於接收三維[3D]視訊信號之該3D目的地裝置包含：接收構件，其用於接收包含該3D視訊資料及包含指示發生於該3D視訊資料中之深度的深度元資料之該3D視訊信號，該深度元資料包括指示最接近一使用者之視訊資料之深度的一近值；及用於以下之處理構件：
-從該3D視訊信號擷取該深度元資料，
-提供輔助資料，及
-以相依於所擷取之元資料的一輔助深度定位該輔助資料以顯示與該3D視訊資料組合之該輔助資料。
為此，根據本發明之一進一步態樣，用於將3D視訊資料傳送至一3D目的地裝置的一個三維[3D]視訊信號包含：該3D視訊資料及指示發生於該3D視訊資料中之深度的深度元資料，該深度元資料包括指示最接近一使用者之視訊資料之深度的一近值，用於致使該3D目的地裝置能夠：
-擷取該深度元資料，
-提供輔助資料，及
-以相依於所擷取之元資料的一輔助深度定位該輔助資料以顯示與該3D視訊資料組合之該輔助資料。
該等措施具有在來源處決定發生於該3D視訊資料中之深度值的效果，例如計算一左/右3D格式之左及右視圖的像差值，或處理來自一2D+深度串流之深度資料，或由任何其他3D影像格式導出此等深度值。隨後將深度元資料包括於該3D視訊信號中。有利地，在該目的地裝置中，任何輔助資料係可與該3D視訊資料組合並且基於該深度元資料而定位於深度方向上，使得可避免因該最近視訊資料而使輔助資料模糊及/或避免該輔助資料之邊界處的干擾效果。應注意，當輔助資料係定位為比一較近物件更遠但仍將顯示時，發生此等干擾效果。特定言之，在來源裝置處不需要獲得輔助資料，但是在目的地裝置處動態地提供該輔助資料，該目的地裝置藉由以適當深度定位該輔助資料而產生一經組合3D視訊信號，而無需用於導出深度元資料的大量處理資源。
本發明亦係基於下列認識。先前技術文件描述在一3D視訊來源系統下將文字定位於影像中最近元素之前的一深度處。然而，在來源處可能無法獲得輔助資料。基於先前技術將輔助資料定位於目的地裝置中將需要大量處理。此外，為了顯示諸如選單之動態輔助資料或諸如遊戲角色之經產生的輔助圖形物件，可基於深度元資料(例如，具有並不靠近觀看者之一近值的一時段)選擇3D視訊資料之一適當部分。此定位確實使文字或物件較不靠近觀看者。最終，系統容許3D視訊之作者設定深度元資料及實現在呈現裝置處所添加之任何輔助資料的定位。
在一實施例中，該深度元資料包含指示發生於離使用者最遠之3D視訊資料中之深度的一遠值，用於致使該3D目的地裝置能夠設定比近值更加遠離該使用者的輔助深度，及對該3D視訊資料往遠離該使用者之方向施加一移位以使該最近視訊資料移位至比該輔助深度更加遠離該使用者的一深度，該移位係基於該遠值而最大化。效果是，藉由憑藉基於該遠值在深度方向上的一移位而使輸入三維視訊信號向後移位(遠離觀看者)來調適三維視訊信號。因此，容許一深度範圍隨意用於在經移位三維視訊之前的深度方向上定位該輔助資料。
在一實施例中，該近值為一像差值。效果是，該目的地裝置知道該最近視訊資料之像差值且藉由使用該像差值可容易地將輔助資料定位於視訊之前。在該目的地裝置之一實施例中，當該輔助資料為二維[2D]資料且該近值為一像差值時，處理構件經配置用於藉由基於該像差值對2D輔助資料施加至少一水平移位而產生至少一左輔助影像及一右輔助影像。有利的是像差值可直接用於藉由使一左視圖移位而產生一右視圖，或將視圖往左及往右移位像差之50%而產生一左視圖及右視圖。
在一實施例中，該3D視訊信號包含經配置用於根據一預定義標準傳達解碼資訊之一經編碼視訊資料串流，且上述將該深度元資料包括於該3D視訊信號中包含：將該深度元資料包括於下列之至少一者中：- 一使用者資料訊息；- 一發信號基本串流資訊[SEI]訊息；- 一進入點表格；- 一基於XML之描述。
效果是，藉由根據該預定義標準延伸控制訊息或參數而包括額外深度元資料。有利地，增強的經編碼視訊串流係與既有預定義標準相容，同時有效地傳送深度元資料。
在隨附申請專利範圍中給出根據本發明之方法、3D裝置及信號的進一步較佳實施例，其等之揭示內容以引用方式併入本文中。
將進一步參考下列描述中經由實例所述之實施例及參考附圖來瞭解及闡明本發明之此等及其他態樣。
在圖中，對應於已描述之元件的元件具有相同的參考數字。
應注意，本發明可使用於具有一深度範圍之任何類型3D顯示器。假定用於3D顯示器之視訊資料係可用作電子(通常為數位)資料。本發明係關於此類影像資料且在數位域內操縱該影像資料。
有許多不同的方式可格式化及傳送3D影像，稱為一3D視訊格式。一些格式係基於使用一2D通道以便亦攜載立體資訊。例如，左視圖及右視圖可經交錯，或可並列放置及上下放置。此等方法犧牲解析度以攜載立體資訊。另一選項係犧牲色彩，此方法係稱為互補色立體。互補色立體使用頻譜多工，其係基於以互補色彩顯示兩個分離的經覆疊影像。藉由使用具有彩色濾光器之眼鏡，每個眼睛僅看見具有與該眼睛前面之濾光器相同之色彩的影像。因此例如右眼僅看見紅色影像且左眼僅看見綠色影像。
一不同的3D格式係基於使用一2D影像及一額外深度影像的兩個視圖，該額外深度影像係一所謂的深度圖，其傳達該2D影像中之物件深度的有關資訊。稱為影像+深度的格式之不同之處在於其係一2D影像與一所謂之「深度」或像差圖的一組合。此係一灰階影像，藉此一像素之灰階值指示相關聯之2D影像中對應像素的像差(或在一深度圖中為深度)之量。顯示裝置使用像差、深度或視差圖以計算採用該2D影像作為輸入的額外視圖。此可以多種方式實現，就最簡單形式而言，其係取決於與像素相關聯之像差值而使該等像素往左或往右移位的問題。Christoph Fehn撰寫的名為「Depth image based rendering,compression and transmission for a new approach on 3D TV」的文章提供該技術的一最佳概述(參見http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdf)。
圖1繪示定義像差之若干一般性概念及參數。圖1展示位於雙箭頭E之邊緣處由眼睛距離E間隔開的兩個視點。由一虛線表示的一螢幕S係位於一觀看距離Z處，其用於顯示三維資訊。此一螢幕實際上可為例如一時間或頻譜循序顯示器，其交替地向配戴適當眼鏡之觀察者的一眼睛提供各自視點的適當影像資訊。在此，螢幕S係放置於零像差處，且W指示螢幕之寬度。N(近)表示螢幕S前面的最大感知深度。同樣，F(遠)表示螢幕S後面的最大感知深度。
線dN表示位於該螢幕S前面之N處之一物件的感知像差，像差值dN在此為負，其亦稱為交叉型像差且可表達為：
dN=N E/(Z-N)　[1]
線dF表示位於該螢幕S後面之F處之一物件的感知像差，像差值dF在此為正，其亦稱為非交叉型像差且可表達為：
dF=F E/(Z+F)　[2]
實際上，最大像差應小於眼睛距離E以容許舒適地觀看。實際上，最大像差較佳係設定為小於平均眼睛距離E的一值，以容許人們之間之眼睛距離的變動。
應注意，最大正螢幕視差(即，對應於最大正像差之像素的數量)取決於螢幕寬度W及螢幕S之解析度。
圖2A繪示三維輸入信號之像差分佈圖205。該分佈圖205係基於該輸入三維信號而決定，即基於該三維輸入信號之整個空間區域而決定。或者可對該三維輸入信號之整個空間區域的代表性樣本編譯一像差分佈圖。
在圖2A中，沿著d軸之最近像差值係點C，其具有一負像差。沿著d軸之最遠像差值係具有一正像差的點B。基於該分佈圖205，在根據本發明之一方法中使用的遠像差估計對應於點B。
分佈圖205指示在像差範圍內存在可用之餘裕空間215以使該輸入三維信號之像差範圍遠離觀看者而移位，即，使該分佈圖往右移動。
考慮一覆疊圖需要被放置在各別視圖之一特定空間區域內的情形。圖2A亦展示在相關空間區域內該輸入三維信號的一像差分佈圖。對於該空間區域之該三維輸入信號的分佈圖係由粗虛線205'指示。基於該分佈圖205'，指示此空間區域之最小像差值的近像差估計對應於點A。應注意，由於此特定空間區域並不包含較小(即，較負)像差值，故在該空間區域中尚存在大量餘裕空間210以用於放置一覆疊圖。
應注意，用於放置一覆疊圖之空間區域通常係由一輪廓界定的一區塊或片段，且因而其明顯不同於如上文所述之用於決定整個視圖之一像差估計的樣本點。
雖然在該空間區域中尚存在大量餘裕空間用於放置一覆疊圖，但是可藉由使該輸入三維視訊信號之像差範圍遠離觀看者移位一像差移位DS而產生甚至更多餘裕空間，其中DS<E-B。雖然並非絕對有必要，但是建議保留一邊限(E-B)-DS(如圖2B中由邊限215'所指示)以適應多種使用者之間之不同眼睛距離。結果，本發明在該像差範圍中提供一額外增益以用於放置該覆疊圖。
分佈圖220指示該覆疊圖之像差分佈圖，由於該覆疊圖整個被放置在此空間區域內，故此分佈圖亦為整個影像之上之該覆疊圖之分佈圖。由於像差移位，故現在可將諸如字幕之覆疊圖資訊放置在零像差平面處或其附近，此改良覆疊圖觀看舒適度。
如上所指示，可基於以該輸入三維視訊信號提供之像差分佈圖資訊決定遠及近像差估計。或者，可使用熟習此項技術者所知的演算法從該輸入三維視訊信號導出該遠及近像差估計。此一演算法之一實例係於Konrad等人在IS&T/SPIE Symposium on Electronic Imaging Stereoscopic Displays and Virtual Reality Syst.,Jan. 23-28,2000,San Jose,CA,USA中之「Dense disparity estimation from feature correspondences」中提出。
圖3繪示由本發明提出之移位像差之程序。在左手側展示來自一立體輸入視訊信號之一影像對LV1及RV1。該等影像展示分別在影像LV1及RV1中放置在零像差處之一灰色方塊310及310'及放置在負像差處之在該方塊前面之一白色圓盤305及305'。
如可從在灰色方塊310及310'之邊緣處之細垂直虛線看出，因為矩形被放置在左影像及右影像中之相同位置，故該矩形具有零像差。
圓盤305及305'具有一負螢幕視差，即在該右影像RV1中，該圓盤305'係在該左影像LV1中之該圓盤305之位置之左側。結果，其係顯現在顯示器前面。
為了向後移位場景，我們將RV1移位至右側以獲得RV1'。比較RV1'與LV1，現在我們可看出，圓盤305'具有零像差且矩形具有正像差。
為了使經移位影像擬合一立體顯示器，該經移位影像RV1'在右手側被剪裁且在左手側被延伸一相等量以到達RV1"。繼而LV1及RV1"可一起顯現為一新立體對，其中該場景相較於原始LV1-RV1對已經往後面移位。結果，該對LV1-RV1"比該對LV1-RV1具有更多餘裕空間用於放置一覆疊圖。
應注意，雖然在上述實例中僅移位該等視圖中之一者，但是亦可將左影像LV1及右影像RV1兩者均移位一相對相等量，其中經組合量對應於RV1'之移位。結果，兩個經移位影像均必須延伸，但是延伸區域為圖3中剪裁及延伸之區域大小的一半。結果，由延伸所致的偽影可更均勻地擴展。
當移位多視圖內容(例如，三個視圖)時，可保留中央影像且分別移位且延伸左影像及右影像。熟習此項技術者將清楚，移位像差範圍之上述方式隨後可被延伸至進一步多視圖影像及該等影像之任意適當移位量，導致該等影像之間相同的相對移位量。
當調適該輸入三維視訊信號時，若干個選項是可用的，例如，一第一選項是僅使用剪裁。考慮一立體視訊信號，在該情況下可將該視訊信號中之左影像及右影像兩者均剪裁一相等量。若影像縱橫比不成問題，則經剪裁視圖不需要延伸且可照其原樣使用。如此做的優點是，由於不需要延伸，故不引入任何延伸偽影。一第二選項是使用如上所述之剪裁及延伸。考慮一立體視訊信號，在該情況下可將該視訊信號中之左影像及右影像兩者均剪裁一相等量且隨後延伸各自視圖，如圖3中所示。使用延伸的優點是可保留該輸入三維視訊信號之縱橫比。應注意，上文列出之選項非屬窮舉。
圖4展現根據本發明之用於處理包含多個視圖之一輸入三維視訊信號之一方法400的一流程圖。該方法包含用於決定405指示該輸入三維視訊信號之最大像差值之一遠像差估計及指示該輸入三維視訊信號內之一空間區域之最小像差值之一近像差估計之一步驟。如上所指示，該等各自像差估計係可基於元資料，或替代地可基於該輸入三維視訊信號之影像內容而決定。
該方法進一步包含如下之一步驟：藉由基於該遠像差估計憑藉一像差移位向後移位該輸入三維視訊信號而調適410該三維視訊信號，及基於該近像差估計及該像差移位在經移位三維視訊信號之空間區域內產生415一覆疊圖。
該方法較佳進一步包含將該覆疊圖覆疊420於該經移位三維視訊信號上之一步驟。
如上所指示，調適該輸入三維視訊信號之該步驟可包含剪裁425各自視圖且使用填補像素延伸430該等各自視圖以便獲得一經改變像差範圍之一步驟。
在一立體信號的情況下，一個或較佳地兩個視圖被剪裁且隨後被延伸。對於一N個視圖的多視圖影像(其中N為偶數)，N-1個或較佳地N個視圖係如上所述般被剪裁且延伸。
圖5A展現根據本發明之用於處理包含多個視圖之一輸入三維視訊信號之一系統500。該系統500包含一像差決定器505，其用於決定指示該輸入三維視訊信號之最大像差值之一遠像差估計及指示該輸入三維視訊信號內之一空間區域之最小像差值之一近像差估計。如上所指示，該像差決定器505可實施為一像差估計器。該系統進一步包含一像差移位器510，其經配置用於藉由基於該遠像差估計憑藉一像差移位向後移位該三維視訊信號而調適該三維視訊信號。該系統500進一步包含一覆疊圖產生器515，其經配置以基於該近像差估計及該像差移位而在經移位三維視訊信號之一覆疊圖安全區域內產生一覆疊圖。
該系統500較佳亦包含一視訊混合器520，其經配置以將該覆疊圖覆疊於該經移位三維視訊信號之上。如圖5A中所示之該系統500可實施在一個人電腦上或實施在用於離線處理內容之其他計算平台上。或者，其可實施在例如可播放藍光光碟之裝置或視訊轉換器或三維電視機中。
圖5B展示根據本發明之一進一步系統500，其中該系統被分成一分析裝置502及一合成裝置503，組合之兩個裝置實施圖5A中所展現之系統500中所見的功能性。
應注意，可例如藉由使用如上所述該輸入三維視訊信號之粗粒度像差分析或替代地藉由使用該輸入三維視訊信號中所提供之元資料而決定遠像差估計及近像差估計。
在一實施例中，每圖框或每圖框群組隨視訊供應字幕之深度及/或視差作為元資料。電影製作人或後期製作人員可藉由一編輯工具產生此等元資料。字幕的該深度及/或視差係用於將該等字幕定位於背景視訊前面的對應深度或視差處。
現在詳細闡述將深度元資料提供於一3D視訊信號中。應注意，深度元資料係該3D視訊信號中描述深度資訊之一性質的任何資料。對於此處所述之系統，至少一近值係包括於該深度元資料中，該近值指示最接近一使用者之視訊資料(即當適當地顯示於一3D顯示器上時，最靠近觀看者之3D視訊中的元素)的深度。上述近像差估計，及字幕之該深度及/或視差係近值之實例。
圖6展示用於顯示三維(3D)影像資料(諸如視訊、圖形或其他視覺資訊)的一系統。一3D來源裝置40將一3D視訊信號41傳送至一目的地裝置50，該目的地裝置50係耦接至一3D顯示裝置60以用於傳送一3D顯示信號56。該3D目的地裝置具有用於接收該3D視訊信號的一輸入單元51。例如，該裝置可包括耦接至該輸入單元以用於從一光學記錄載體54(諸如一DVD或藍光光碟)擷取3D視訊資訊的一光碟單元58。或者，該裝置可包括耦接至一網路45(例如網際網路或一廣播網路)的一網路介面單元59，通常稱此類目的地裝置為一視訊轉換器。該3D視訊信號可擷取自一遠端媒體伺服器，例如來源裝置40。該目的地裝置亦可為一衛星接收器或一媒體播放器。
該3D來源裝置具有用於決定指示發生於3D視訊資料30中之深度的深度元資料之一處理單元42。該3D視訊資料可自儲存器、自3D相機之儲存器等等獲得。該深度元資料包括指示最接近一使用者之視訊資料(即當適當地顯示於一3D顯示器上時，最靠近觀看者之3D視訊中的元素)的深度之一近值。決定諸如像差值之深度元資料，以及該近值的實例已在上文針對多視圖資料予以討論(例如，指示在該輸入三維視訊信號內之一空間區域之最小像差值的近像差估計(A))。處理單元產生包含3D視訊資料的3D視訊信號，並且將深度元資料包括於該3D視訊信號中。
該3D來源裝置可為一伺服器、一廣播台、一記錄裝置或用於製造諸如藍光光碟之記錄載體的一編輯及/或製作系統。藍光光碟為內容創作者支援一互動式平台。其支援兩層圖形覆疊及兩組可程式化環境以供作者從中選擇。對於3D立體視訊，存在許多格式。主要格式係立體及影像加深度格式。再者在此等格式中，有許多可行方式可將內容格式化為適合於與新的及既有的3D顯示器及分佈格式搭配使用。此對於如何延伸藍光光碟標準之圖形系統以使得其等適合於與3D視訊之一特定格式組合使用亦有影響。關於藍光光碟格式之更多資訊可從藍光光碟聯盟網站的關於視聽應用格式之一文章獲得。http://www.blu-raydisc.com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269.pdf。因此，可包括輔助資料以在不同呈現階段添加。製作程序進一步包含以下步驟：導出訊軌中體現包含深度元資料之3D視訊信號的標記實體圖案；且隨後塑形記錄載體之材料以將標記之訊軌提供於至少一儲存層上。
該3D目的地裝置具有耦接至該輸入單元51的一處理單元52，該處理單元52係用於處理3D資訊以產生待經由一輸出介面單元55而傳送至顯示裝置的一3D顯示信號56，例如，根據HDMI標準的一顯示信號，參見http://hdmi.org/manufacturer/specification.aspx中獲得的「High Definition Multimedia Interface;Specification Version 1.3a of Nov 10 2006」。處理單元52經配置用於產生顯示於該顯示裝置60上之3D顯示信號56中所包括的影像資料。
該目的地裝置具有用於提供將在3D顯示器上與3D視訊資料組合之輔助資料的一輔助處理單元53。輔助資料可為待在本端(即在目的地裝置中)與3D視訊內容組合之任何額外圖形影像資料，諸如字幕、一廣播台之一標誌、一選單或系統訊息、錯誤碼、新聞簡訊、電報紙帶、一進一步3D串流(諸如評論)等等。在下文中，字幕通常用作指示每一類型的輔助資料。
3D顯示裝置60係用於顯示3D影像資料。該裝置具有一輸入介面單元61，其用於接收從該目的地裝置50所傳送之包括3D視訊資料及輔助資料的3D顯示信號56。所傳送之3D視訊資料係在處理單元62中予以處理以顯示於一3D顯示器63(例如一雙重或柱狀透鏡LCD)上。顯示裝置60可為任何類型立體顯示器(亦稱為3D顯示器)且其具有由箭頭64指示之一顯示深度範圍。
或者，在該顯示裝置之一實施例中執行用於提供及定位輔助資料之處理。3D視訊資料及選用輔助資料係經由顯示信號56傳送。輔助資料(例如一選單)亦可本端地產生於顯示裝置中。現在處理單元62執行在3D顯示器上組合輔助資料及3D視訊資料之功能。處理構件62可經配置以用於如下文對於目的地裝置中之處理構件52、53所描述之對應功能。在一進一步實施例中，目的地裝置及顯示裝置係整合於一單一裝置中，其中一單一組處理構件執行該等功能。
圖6進一步展示作為3D視訊信號之一載體的記錄載體54。記錄載體係呈圓盤狀且其具有一訊軌及一中央孔。由一系列實體上可偵測之標記構成之訊軌係根據構成一資訊層上之大體上平行訊軌之一螺旋或同心圈圖案而配置。記錄載體可為光學上可讀，稱為一光碟(例如一CD、DVD或BD(藍光光碟))。資訊係藉由沿著訊軌之光學可偵測標記(例如訊坑(pit)及軌面(land))而表示於資訊層上。訊軌結構亦包含位置資訊(例如標頭及位址)以用於指示通常稱為資訊區塊之資訊單元的位置。記錄載體54以一預定義記錄格式(諸如DVD或BD格式)攜載表示諸如視訊之經數位編碼影像資料(例如根據MPEG2或MPEG4編碼系統編碼)的資訊。
目的地裝置中之處理構件52、53經配置用於執行下列功能。3D視訊信號係由接收構件51、58、59接收。該3D視訊信號包含3D視訊資料及指示發生於該3D視訊資料中之深度的深度元資料，該深度元資料包括如上所述之指示最接近一使用者之視訊資料之深度的一近值。處理構件52、53經配置用於從該3D視訊信號擷取該深度元資料，提供輔助資料，及以相依於所擷取之元資料的一輔助深度定位該輔助資料以顯示與該3D視訊資料組合之該輔助資料，使得避免因該最近視訊資料而使該輔助資料模糊。
將3D圖形覆疊於3D視訊上的一問題係關於如何將圖形覆疊圖定位於3D空間中而無需知道播放裝置中立體3D視訊在背景中之Z範圍。對於立體格式之立體3D視訊通常為此情況。可解決此問題的方式在很大程度上取決於所使用之3D視訊格式及取決於經組合之視訊及圖形係如何發送至一3D顯示裝置。
使用元資料以合成3D影像可基於包括幾何型態、照明等等之一完整3D模型以容許適當地合成立體影像。此方法提供一機制以在後期製作階段中在一編輯環境下合成3D影像。然而，一完整3D模型的問題是，由於為影像中之每個像素提供3D資訊，故此需要大量資料。當在一消費性裝置(諸如一藍光光碟或一視訊轉換器)中處理即時產生且必須合成於立體視訊上之立體影像時，此一方法不太可行。
現在提議為3D視訊資料提供深度元資料，該等深度元資料係動態輔助資料之背景，使得例如即時產生之圖形可合成於此視訊背景上。
在一實施例中，對於每一圖框或圖像群組(GOP)，添加深度元資料至3D視訊信號。此深度元資料可包括一單一位元組資料，藉此，該值指示立體視訊背景之左視圖與右視圖之間的最近像差。或者，此深度元資料值可指示任何圖形覆疊圖之像差，使得若播放器合成即時產生之圖形，則應以元資料中所指示的像差定位圖形。
所提議之深度元資料可由每圖框或每GOP一位元組而組成。若對每個圖框添加一位元組，則對於一部兩小時的立體電影，此需要173 KB的資料，此係合理的。每圖像群組之使用量可將此減少至(對於1秒Gop長度)7,2KB的資料。由於有限的大小，該深度元資料可經延伸以包括進一步3D相關欄位。
待解決之一進一步問題係如何以使得該深度元資料可以一相容方式包括且容許播放器實際能夠將其用於即時合成的一方式來包括分佈格式之深度元資料。現在描述包括元資料的若干方式。
目的地裝置將配備一所謂的「Z」合成器(Z-compositor)，該「Z」合成器可將立體圖形覆疊於立體視訊上。例如，該「Z」合成器係包括於該處理單元52中。該「Z」合成器解譯該深度元資料且由此決定視訊上的輔助資料在3D空間中之定位。
在一實施例中，該「Z」合成器係在先前技術中所提及之一基於完整3D模型「Z」合成器的一簡化版本。該版本並不需要視訊及圖形兩者的一完整幾何模型，而僅使用指示立體視訊之深度或像差範圍的一位元組，並且將此用於輔助資料的覆疊。
至於儲存該元資料，在一實施例中，視訊背景的深度元資料係根據一預定義標準傳輸格式(諸如MPEG4)而包括於一使用者資料訊息中(例如，一H.264編碼串流之一發信號基本串流資訊[SEI]訊息)。該方法具有的優點是，其與相關於H.264/AVC編碼標準(參見例如ITU-T H.264及ISO/IEC MPEG-4 AVC，即ISO/IEC 14496-10標準)之所有系統相容。新編碼器/解碼器可實施新SEI訊息，而既有編碼器/解碼器會簡單忽視該等SEI訊息。
圖7展示一專用使用者資料SEI訊息中的深度元資料。一3D視訊串流71係經示意性指示。該串流中的一個元素係發信號以向解碼器指示該串流的參數，所謂的發信號基本串流資訊[SEI]訊息72。更明確言之，深度元資料73係可儲存於一使用者資料容器中。該深度元資料可包括深度值、像差值或深度資訊的任何其他表示。
圖8展示一3D視訊信號中之深度元資料的一資料結構。圖中所示之表格定義視訊串流中各自控制資料封包的語法，特定言之一GOP_structure_map()。該資料結構定義深度元資料81之欄位，即：定義遠值的Video_max_disparity，及定義近值的Video_min_disparity；參見圖1，亦用於定義像差值。注意，視訊最小像差欄位指示在3D空間中朝著觀看者的最近物件且該視訊最小像差欄位可用於決定在何處覆疊任何圖形(諸如字幕)，而視訊最大像差指示視訊中離觀看者最遠之一物件的像差。應注意，公共領域中的一些文件將最大像差值定義為表示最近物件；對於此類定義，像差值的符號應予以保留。不論該定義為何，在螢幕深度處，像差為零。
圖9展示一記錄載體上之一3D視訊信號中之深度元資料的一資料結構。對於諸如藍光光碟之一記錄載體上的視訊資料，可提供一進入點圖，其指示進入點，該等進入點容許呈現在進入點處開始之視訊。該進入點圖資料結構可藉由添加深度元資料而延伸，該深度元資料定義在進入點處開始且例如生效至下一進入點為止之3D視訊資料之片段的深度值。特定對於藍光光碟標準而言，元資料係儲存於圖中所示之一EP_map中。該EP_map包含一表格，該表格保持至一串流中之所有有效解碼存取點的項目，即解碼可開始之點。
或者，該元資料係提供為一基於XML之描述，此描述係在一MPEG-2輸送串流之資料傳送帶中輸送。亦在此MPEG輸送串流中傳輸之一互動式TV應用程式可利用此基於XML之描述以決定如何將立體圖形合成於視訊上。或者，該元資料可提供為播放清單之一延伸。
在一進一步改良中，該元資料係經延伸以包括最小及最大像差範圍。此將容許視訊及圖形之多個平面的覆疊。
在意欲覆疊諸如字幕之文字的一進一步改良中，播放裝置將深度元資料之像差範圍的最大值儲存於一特定用途暫存器中。接著其使用最近值來決定以何深度(或像差)覆疊該等字幕。保留在此暫存器中的該值僅隨時間逐漸地改變。此確保該等字幕在深度上不會不斷地改變，因為此改變可引起觀眾的眼睛疲勞。
該深度元資料之一進一步延伸係在視訊圖框中定義若干區域並且將深度元資料值明確指派給該區域。在一實施例中，選擇一區域係按如下執行。將顯示區域細分為多個區域。對於每一區域執行偵測該深度元資料。例如，將圖框區域劃分為2個或更多個區域(例如為水平條帶)且對於每一區域將最小深度及最大深度添加至串流。此給圖形覆疊提供自由，因為現在圖形覆疊亦可取決於區域而定位。
區域深度元資料可為基於根據相依於該區域之一空間篩選函數而對多個區域之深度值進行空間上篩選。在一實例中，將顯示區域劃分為影像塊。在每一影像塊中，個別地計算最大深度。在該實例中，輔助資料可為在一特定深度處，即使在一不同區域中之另一物件的深度係明顯更靠近觀看者。此亦容許將字幕合成於與例如一快顯式選單不同的一區域及像差上。「Z」合成器及所儲存之資料的量經延伸以適應區域的移交。
在用於儲存元資料的一替代實施例中，每一GOP之SEI訊息包含用於輸出平面的一像差或偏移值清單以及一像差或偏移方向指示符。該像差或偏移值指示立體輸出之左輸出平面與右輸出平面之間的像素移位，且該方向指示符指示該像素移位是往左或者是往右。當在左輸出平面中位置x處之一對應像素被移位至右輸出平面中的x+n或x-n時，即為一像素移位。此偏移值清單可用於多種用途。一般而言，此等偏移值係用於將2D單一視圖圖形覆疊於一立體視訊背景之上。在此一情況中，該偏移值n係用於移位2D影像中之像素以建立一第二影像以用於覆疊於該立體視訊背景的第二視圖(「R」)上，而該2D影像係覆疊於該立體視訊背景之第一視圖(「L」)上。發明者已意識到，具有方向指示符之此一偏移值清單亦可用於表示該視訊背景之最大像差及/或最小像差。例如，具有指示往第二(「R」)平面中像素之左側移位的一平面偏移方向指示符之一平面偏移值=x指示video_max_disparity，且具有指示往第二(「R」)平面中像素之右側移位的一平面偏移方向指示符之一平面偏移值=y指示video_min_disparity。所提議的是，將額外發信號包括於列出可播放串流之表格中，在一展現期間播放裝置可從該等可播放串流中選擇。該額外發信號指示應使用清單中嵌入於相關串流之SEI訊息中的哪些嵌入偏移值以將立體影像之最大像差及/或最小像差用信號發送於輸出上。圖11展示該發信號之一實例。圖11
使用深度元資料的一系統需要建立該元資料並且分佈該資料，且最終需要一所謂的「Z」合成器來讀取該元資料並且將輔助資料合成於3D視訊上，例如，將立體圖形合成於立體視訊上。一像差估計器及元資料編碼器決定視訊內容中之一圖框的最小及/或最大像差，並且將此最小及/或最大像差編碼於分佈通道中。對於藍光光碟，此最小及/或最大像差可在EP圖中或在直接在編碼串流中之SEI訊息中，如上文所述。
EP圖通常係用在隨時點播(tickplay)期間，其容許播放器快速跳躍至串流中的右側位置以開始解碼下一圖框。我們使此表格延伸為具有深度元資料。圖9展示此表格的一簡化版本，該表格經延伸為具有攜載與存取點相關聯之任何元資料的一元資料欄位。
圖10a展示攜載深度元資料之元資料欄位的格式。有兩個欄位92，一個欄位包含存取點之最大深度範圍值，且另一選用欄位係用於攜載偏移。對於一正確的覆疊，圖形之深度應比depth_max值更近。
圖10b展示攜載像差資料之元資料欄位的格式。像差資料93係深度元資料的一替代版本，其提供最小及最大之像差範圍或值，此容許視訊之多個平面的覆疊。應用本發明的一系統需要用於產生元資料、散佈該資料之構件，以及在目的地端處需要一所謂的「Z」合成器來讀取該元資料並且將立體圖形合成於立體視訊上。
在目的地裝置處的視訊資料處理為如下。為了解碼，「Z」合成器決定圖形將覆疊的圖框。接著該「Z」合成器讀取該圖框之「深度」或像差元資料，或者若無法獲得該圖框之「深度」或像差元資料時，該「Z」合成器使用與最近I圖框(或進入點)相關聯的值。在下一步驟中，該「Z」合成器判定左圖形影像與右圖形影像之間之像差是否大於(即具有一更負的值)或等於視訊背景影像之像差。若立體圖形之像差大於或等於視訊元資料中所指示之值，則該Z合成器僅僅將該等左及右圖形影像合成於左及右視訊圖框上。若該像差較小，則輔助資料為更遠且該「Z」合成器藉由執行一線性移位而調整該等立體圖形影像之像差，以使該等圖形之像差匹配於深度元資料中所指示之值。
或者，當僅單一圖形為可用時，該「Z」合成器將該圖形合成於左視訊圖框上及將該圖形合成於右視訊圖框上，但是水平地往右移位。移位量取決於「深度」或像差元資料之值。注意，用於獲得期望之視差所需要的移位取決於一些參數，諸如觀眾至顯示器之觀看距離。當移位係作為像素之數量來計算時，必須知道觀眾之顯示器的寬度及解析度。此等參數亦可作為一選項包括於「深度」元資料中。在一實施例中，使用一標準或參考設定，其中例如該顯示器具有1米之一寬度，且觀眾坐在距該顯示器4米處。
在一實際實施例中，字幕係覆疊於3D內容上。主要內容作為立體(左/右)影像而存在；字幕亦作為影像而存在。該實施例亦可由一適當描述呈現該等字幕。該實施例使用下列步驟：
-　對於3D視訊之各自時段，從利用該3D視訊信號所傳送之元資料中擷取像差。在所關注之區域及/或時段內從該元資料擷取最近像差。可對最小像差之清單應用篩選，以決定一經篩選像差。
-　以該經篩選像差定位該輔助資料，例如使用左與右之間等於該經篩選像差的一像素位移將字幕融合於左影像與右影像上。
-　若預呈現字幕，則使用正規α融合。若該等字幕以文字格式存在，則其等將以子像素精確度呈現。
-　可應用一小偏移(通常為一個像素)以產生最前面物件與該等字幕之間之一小深度範圍。
應注意，上述方法能夠藉由選擇影像資料中任何深度值均不大於輔助深度值的一區域而選擇目標區域。此外，該選擇可包括選擇用於顯示該輔助資料的一時段，使得在該目標區域中，任何深度值均不大於輔助深度值。例如，該字幕之呈現可經延遲或移位以容許一更前面之物件消失。
在一實施例中，決定深度圖案包括：偵測視訊內容之多個圖框中的深度值，及根據一時間篩選函數對該等深度值進行時間上篩選。例如可考慮將顯示該字幕本身的一時段，或稍微更長的一時段以避免物件大體上鄰近於該字幕或比該字幕更前面出現。顯示該字幕的時段通常係指示於顯示信號中。
特定而言，決定該深度圖案可包括基於偵測視訊內容之多個圖框中的鏡頭邊界而設定用於時間篩選函數的一時間窗。此可按如下實施。
從該等左或右影像計算該等鏡頭邊界。藉由使用影像之色彩分佈圖偵測影像內容中的較大變化而找到鏡頭之開始影像。根據之前所偵測之鏡頭切變而對該等鏡頭偵測最小像差清單。對於每個鏡頭，接著利用一適當的時間窗函數(參見下文實例)對該最小像差清單進行篩選。一窗函數係在某一選定間隔之外為零值的一函數。例如，在該間隔內為恆定的且其他處為零之一函數係稱為一矩形窗，此描述該函數之圖形表示的形狀。該影像信號(資料)係與該窗函數相乘，且在該間隔之外乘積亦為零值。
對每個鏡頭進行篩選個別地確保僅來自該鏡頭內之值被使用。因此，若在所關注區域內之最前面物件的像差跳躍，則容許輔助圖形資料的深度值在鏡頭切變處跳躍，但是不容許在一鏡頭內跳躍。作為一替代方案，可對鏡頭之間之深度放置進行篩選，此容許鏡頭邊界處的平滑過渡。
為選擇該窗函數，該實施例使用一Hann窗函數，但是其他窗函數(例如一矩形窗函數)亦係適當的。Hann函數(其根據奧地利氣象學者Julius von Hann而命名)係一離散概率質量函數，由下式給出：
窗係以當前時間位置為中心，使得過去的值及未來的值均被納入考量。此具有平滑化該等值因此避免像差之急劇變化以及確保覆疊總是在3D內容之前面的效果。未來值可能是無法獲得的(例如對於即時廣播)，且開窗僅可基於過去值。或者，可將未來圖框之一部分首先儲存在一緩衝器中而同時在呈現時應用一小延遲。
應注意，包括遠值(即視訊之最小視差移位[PS]或最大像差)容許往後推視訊(以相同值減少PS或增加L+R之像差)以便為輔助資料騰出空間。將該遠值納入考量以避免過度往後推，即往後推不應導致像差值超過螢幕上之眼睛至眼睛距離(通常為6 cm)，即超越無限遠。藉由包括該遠值(例如最大像差)，此可由播放器予以防止。該播放器亦應知道螢幕大小以計算像素之對應移位。
在該目的地裝置之一實施例中，偵測最大值是否使得沒有空間來(充分地)向後移位視訊。接著處理暫時切換至一特定模式，在該特定模式中，主3D視訊係顯示為單聲道視訊，或切換至具有一經選擇深度的單聲道視訊，其具有一經移位左及右視圖使得該單聲道視訊出現在螢幕後面。串流中之一額外參數(例如對於3D視訊之一時段為一位元組)可指示適當之深度(或像差)以將該單聲道視訊放在一經選擇深度處，例如稍微在螢幕的後面，而輔助視訊係更近地顯示，例如在螢幕處。
應瞭解，為了明確起見，上文描述已參考不同功能單元及處理器描述本發明之實施例。然而應瞭解，在無損於本發明的情況下可使用不同功能單元或處理器之間之任何適當功能性散佈。例如，繪示為由分離單元、處理器或控制器執行的功能性可由相同處理器或控制器執行。因此，對特定功能單元之參考僅將視為對提供描述之功能性的適當構件之參考，而非指示一嚴格邏輯或實體結構或組織。
可以包括硬體、軟體、韌體或其等之任何組合的任何適當形式實施本發明。本發明可按需要至少部分實施為運行在一或多個資料處理器及/或數位信號處理器上之電腦軟體。可以任何適當方式實體地、功能性地及邏輯地實施本發明之一實施例之元件及組件。事實上，該功能性可實施在一單一單元中、複數個單元中或作為其他功能單元之一部分。因此，本發明可實施在一單一單元中或可實體地且功能性地散佈在不同單元與處理器之間。
雖然已經結合一些實施例描述本發明，但是並不意為限制於本文所闡述之特定形式。確切言之，本發明之範圍僅由隨附請求項限制。此外，雖然一特徵可能看起來係結合特定實施例而描述，但是熟習此項技術者應認識到，根據本發明可組合該等所述實施例之各種特徵。在請求項中，術語包含並不排除其他元件或步驟之存在。
此外，雖然個別列出，但是複數個構件、元件或方法步驟可由例如一單一單元或處理器實施。此外，雖然個別特徵可被包括在不同請求項中，但是其等可能被有利組合，且包括在不同請求項中並不暗示特徵之一組合是不可行及/或不利的。此外，在一類請求項中包括一特徵並不暗示限制於該類，而是指示在適當時該特徵同樣適用於其他類請求項。此外，在請求項中之特徵的順序並不暗示該等特徵必須以其運作之任何特定順序，且特定而言，在一方法請求項中之個別步驟之順序並不暗示該等步驟必須以該順序執行。確切而言，該等步驟可以任何適當順序執行。此外，單數參考並不排除複數。因此，對「一」、「一個」、「第一」、「第二」等等之參考並不排除複數個。請求項中之參考符號僅提供為一明確實例，不應視為以任何方式限制請求項之範圍。
30．．．3D視訊資料
40．．．3D來源裝置
41．．．3D視訊信號
42．．．處理單元
45．．．網路
50．．．目的地裝置
51．．．輸入單元
52．．．處理單元
53．．．輔助處理單元
54．．．光學記錄載體
55．．．輸出介面單元
56．．．3D顯示信號
58．．．光碟單元
59．．．網路介面單元
60．．．顯示裝置
61．．．輸入介面單元
62．．．處理單元
63．．．3D顯示器
64．．．指示顯示深度範圍之箭頭
71．．．3D視訊串流
72．．．發信號基本串流資訊[SEI]訊息
73．．．深度元資料
81．．．深度元資料
92．．．欄位
93．．．像差資料
205．．．像差分佈圖
205'．．．分佈圖
210．．．餘裕空間
215．．．餘裕空間
215'．．．邊限
220．．．分佈圖
305．．．白色圓盤
305'．．．白色圓盤
310．．．灰色方塊
310'．．．灰色方塊
500．．．系統
502．．．分析裝置
503．．．合成裝置
505．．．像差決定器
510．．．像差移位器
515．．．覆疊圖產生器
520．．．視訊混合器
LV1．．．左影像
RV1．．．右影像
RV1'．．．經移位影像
RV1"．．．影像
圖1繪示定義像差之若干一般性概念及參數；
圖2A繪示三維輸入信號之一像差分佈圖；
圖2B繪示三維輸入信號及三維覆疊圖的一進一步像差分佈圖；
圖3繪示根據本發明之一立體輸入對之一右視圖影像的調適；
圖4繪示根據本發明之一方法；
圖5A繪示根據本發明之一系統；
圖5B繪示根據本發明之一進一步系統；
圖6展示用於顯示3D影像資料之一系統；
圖7展示一專用使用者資料SEI訊息中的像差/深度元資料；
圖8展示一3D視訊信號中之深度元資料的一資料結構；
圖9展示一記錄載體上之一3D視訊信號中之深度元資料的一資料結構；
圖10a展示攜載深度元資料之元資料欄位的格式；及
圖10b展示攜載像差資料之元資料欄位的格式。
30．．．3D視訊資料
40．．．3D來源裝置
41．．．3D視訊信號
42．．．處理單元
45．．．網路
50．．．目的地裝置
51．．．輸入單元
52．．．處理單元
53．．．輔助處理單元
54．．．光學記錄載體
55．．．輸出介面單元
56．．．3D顯示信號
58．．．光碟單元
59．．．網路介面單元
60．．．顯示裝置
61．．．輸入介面單元
62．．．處理單元
63．．．3D顯示器
64．．．指示顯示深度範圍之箭頭

Claims (17)

  1. 一種於一三維[3D]來源裝置提供一個3D視訊信號以傳送至一3D目的地裝置之方法，該方法包含：決定指示發生於3D視訊資料中之深度的深度元資料(depth metadata)，該深度元資料包括一近值(near value)，該近值指示最接近一使用者之視訊資料的深度，產生包含該3D視訊資料之該3D視訊信號，及將該深度元資料包括於該3D視訊信號中用於致使該3D目的地裝置能夠：擷取該深度元資料，提供輔助資料，及以相依於該擷取之元資料的一輔助深度定位該輔助資料以顯示與該3D視訊資料組合之該輔助資料。
  2. 如請求項1之方法，其中該深度元資料包含一遠值(far value)，該遠值指示發生於離該使用者最遠之該3D視訊資料中的深度，用於致使該3D目的地裝置能夠：設定比該近值更加遠離該使用者的該輔助深度，及對該3D視訊資料往遠離該使用者之方向施加一移位以使該最近視訊資料移位至比該輔助深度更加遠離該使用者的一深度，該移位係基於該遠值而最大化。
  3. 如請求項2之方法，其中該移位係基於該3D視訊資料中之多個視圖之相鄰視圖之間之一預定最大像差值的一像 差移位(disparity shift)，該預定最大像差值係相依於下列數值中之至少一者：一經選擇眼睛距離值；一安全邊限(M)；一使用者定義之最大像差值。
  4. 如請求項1之方法，其中該近值係一像差值。
  5. 如請求項1之方法，其中該3D視訊信號包含經配置用於根據一預定義標準傳達解碼資訊之一經編碼視訊資料串流，且該將該深度元資料包括於該3D視訊信號中包含將該深度元資料包括於下列之至少一者中：一使用者資料訊息；一發信號基本串流資訊[SEI]訊息；一進入點表格；一基於XML之描述。
  6. 如請求項1之方法，其中該深度元資料包含指示發生於該3D視訊資料之一時段中之深度的資料，該時段係一圖像群組、一鏡頭及鏡頭群組之一者。
  7. 如請求項1之方法，其中該深度元資料包含指示發生於該3D視訊資料之至少一個空間區域中之深度的資料。
  8. 如請求項1之方法，其中該方法包含製造一記錄載體之步驟，該記錄載體具有表示該3D視訊信號的標記之一訊軌。
  9. 一種用於提供一個三維[3D]視訊信號(41)以傳送至一3D目的地裝置(50)之3D來源裝置(40)， 該來源裝置包含用於以下之處理構件(42)：決定指示發生於該3D視訊資料(30)中之深度的深度元資料，該深度元資料包括一近值，該近值指示最接近一使用者之視訊資料的深度，產生包含該3D視訊資料之該3D視訊信號，及將該深度元資料包括於該3D視訊信號中用於致使該3D目的地裝置能夠：擷取該深度元資料，提供輔助資料，及以相依於該擷取之元資料的一輔助深度定位該輔助資料以顯示與該3D視訊資料組合之該輔助資料。
  10. 一種用於接收一個三維[3D]視訊信號之3D目的地裝置(50)，該裝置包含：接收構件(51、58、59)，其用於接收包含該3D視訊資料及包含指示發生於該3D視訊資料中之深度的深度元資料之該3D視訊信號，該深度元資料包括一近值，該近值指示最接近一使用者之視訊資料的深度；及用於以下之處理構件(52、53)：從該3D視訊信號擷取該深度元資料，提供輔助資料，及以相依於該擷取之元資料的一輔助深度定位該輔助資料以顯示與該3D視訊資料組合之該輔助資料。
  11. 如請求項10之目的地裝置，其中該等接收構件包含用於讀取一記錄載體以接收該3D視訊信號之構件(58)。
  12. 如請求項10之目的地裝置，其中該裝置包含用於顯示與該3D視訊資料組合之該輔助資料的3D顯示構件(63)。
  13. 如請求項10之目的地裝置，其中該深度元資料包含一遠值，該遠值指示發生於離該使用者最遠之該3D視訊資料中的深度，且該等處理構件(52、53)經配置用於：設定比該近值更加遠離該使用者的該輔助深度，對該3D視訊資料往遠離該使用者之方向施加一移位以使該最近視訊資料移位至比該輔助深度更加遠離該使用者的一深度，該移位係基於該遠值而最大化。
  14. 如請求項13之裝置，其中該等處理構件(52、53)經配置用於：偵測該遠值並不容許一移位以適應該輔助深度，藉由將該3D視訊資料縮減為2D視訊以及基於相依於該近值之一像差值而對該2D視訊施加一水平移位而產生至少一左視圖及一右視圖。
  15. 如請求項10之裝置，其中該輔助資料係二維[2D]資料，且該近值係一像差值，且該等處理構件(52、53)經配置用於藉由基於該像差值對該2D輔助資料施加至少一水平移位而產生至少一左輔助影像及一右輔助影像。
  16. 一種記錄載體，其包含用於將三維[3D]視訊資料傳送至一3D目的地裝置的3D視訊信號，該3D視訊信號包含：該3D視訊資料及指示發生於該3D視訊資料中之深度的深度元資料，該深度元資料一近值且該近值包括指示最接近一使用者之視訊資料的深度，用於致使該3D目的地裝 置能夠：擷取該深度元資料，提供輔助資料，及以相依於該擷取之元資料的一輔助深度定位該輔助資料以顯示與該3D視訊資料組合之該輔助資料。
  17. 一種用於提供一個三維[3D]視訊信號以傳送至一3D目的地裝置的電腦程式產品，該程式操作以引起一處理器執行如請求項1至8中任一項之方法的各自步驟。
TW099124591A 2009-07-27 2010-07-26 一種於一三維[3d]來源裝置提供一個3d視訊信號以傳送至一3d目的地裝置之方法、用於該方法之3d來源裝置、用於接收一個3d視訊信號之3d目的地裝置、記錄載體、及電腦程式產品 TWI542191B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP09166465A EP2282550A1 (en) 2009-07-27 2009-07-27 Combining 3D video and auxiliary data
EP09179557 2009-12-17

Publications (2)

Publication Number Publication Date
TW201130292A TW201130292A (en) 2011-09-01
TWI542191B true TWI542191B (zh) 2016-07-11

Family

ID=42937817

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099124591A TWI542191B (zh) 2009-07-27 2010-07-26 一種於一三維[3d]來源裝置提供一個3d視訊信號以傳送至一3d目的地裝置之方法、用於該方法之3d來源裝置、用於接收一個3d視訊信號之3d目的地裝置、記錄載體、及電腦程式產品

Country Status (8)

Country Link
US (1) US10021377B2 (zh)
EP (1) EP2460360A1 (zh)
JP (2) JP5647242B2 (zh)
KR (1) KR101716636B1 (zh)
CN (1) CN102474638B (zh)
RU (1) RU2554465C2 (zh)
TW (1) TWI542191B (zh)
WO (1) WO2011013030A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI668670B (zh) * 2017-01-05 2019-08-11 鈺立微電子股份有限公司 深度圖產生裝置

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8284236B2 (en) 2009-02-19 2012-10-09 Sony Corporation Preventing interference between primary and secondary content in a stereoscopic display
EP2334089A1 (en) * 2009-12-04 2011-06-15 Alcatel Lucent A method and systems for obtaining an improved stereo image of an object
US9426441B2 (en) 2010-03-08 2016-08-23 Dolby Laboratories Licensing Corporation Methods for carrying and transmitting 3D z-norm attributes in digital TV closed captioning
EP2432232A1 (en) 2010-09-19 2012-03-21 LG Electronics, Inc. Method and apparatus for processing a broadcast signal for 3d (3-dimensional) broadcast service
US9049423B2 (en) * 2010-12-01 2015-06-02 Qualcomm Incorporated Zero disparity plane for feedback-based three-dimensional video
US20120139906A1 (en) * 2010-12-03 2012-06-07 Qualcomm Incorporated Hybrid reality for 3d human-machine interface
US9420258B1 (en) * 2011-02-07 2016-08-16 Google Inc. Streaming-time 3D metadata injection
JP5817135B2 (ja) * 2011-02-10 2015-11-18 株式会社セガゲームス ３次元画像処理装置、そのプログラム及びその記憶媒体
EP2495979A1 (en) * 2011-03-01 2012-09-05 Thomson Licensing Method, reproduction apparatus and system for display of stereoscopic 3D video information
US9578299B2 (en) 2011-03-14 2017-02-21 Qualcomm Incorporated Stereoscopic conversion for shader based graphics content
MX2013010423A (es) 2011-03-18 2013-10-03 Sony Corp Aparato de procesamiento de imagenes y metodo de procesamiento de imagenes.
US9519994B2 (en) 2011-04-15 2016-12-13 Dolby Laboratories Licensing Corporation Systems and methods for rendering 3D image independent of display size and viewing distance
BR112013026618A2 (pt) * 2011-04-20 2016-12-27 Koninkl Philips Nv dispositivo e método de processamento de dados de imagens tridimensionais para exibição em um visor 3d, dados de imagens 3d, meio de armazenagem e programa de computador
KR20120119173A (ko) * 2011-04-20 2012-10-30 삼성전자주식회사 3ｄ 영상처리장치 및 그 입체감 조정방법
US20120293636A1 (en) * 2011-05-19 2012-11-22 Comcast Cable Communications, Llc Automatic 3-Dimensional Z-Axis Settings
JP5914838B2 (ja) * 2011-05-23 2016-05-11 パナソニックＩｐマネジメント株式会社 画像表示装置
CN102217322B (zh) * 2011-05-27 2013-10-09 华为技术有限公司 媒体发送方法、媒体接收方法和客户端及系统
KR20140040151A (ko) * 2011-06-21 2014-04-02 엘지전자 주식회사 3D (3-dimensional) 방송 서비스를 위한 방송 신호 처리 방법 및 장치
US8817073B2 (en) * 2011-08-12 2014-08-26 Himax Technologies Limited System and method of processing 3D stereoscopic image
CA2842150A1 (en) 2011-08-31 2013-03-07 Sony Corporation Encoding device, encoding method, decoding device, and decoding method
US9390752B1 (en) * 2011-09-06 2016-07-12 Avid Technology, Inc. Multi-channel video editing
US9560334B2 (en) 2011-09-08 2017-01-31 Qualcomm Incorporated Methods and apparatus for improved cropping of a stereoscopic image pair
AU2011224051B2 (en) * 2011-09-14 2014-05-01 Canon Kabushiki Kaisha Determining a depth map from images of a scene
CN103843333B (zh) * 2011-09-29 2015-09-16 富士胶片株式会社 控制立体图像的显示的方法、控制立体图像显示的装置以及成像装置
RU2580439C2 (ru) * 2011-11-01 2016-04-10 Конинклейке Филипс Н.В. Основанное на значимости отображение диспаратности
EP2672713A4 (en) * 2012-01-13 2014-12-31 Sony Corp TRANSMISSION DEVICE, TRANSMISSION METHOD, RECEIVING DEVICE, AND RECEIVING METHOD
WO2013108531A1 (ja) * 2012-01-19 2013-07-25 ソニー株式会社 受信装置、受信方法および電子機器
CN103959769B (zh) * 2012-02-02 2016-12-14 太阳专利托管公司 用于使用视差信息的3d媒体数据产生、编码、解码和显示的方法和装置
BR112013026086A2 (pt) 2012-02-16 2020-08-11 Sony Corporation aparelho de transmissão, método de transmissão e aparelho de recepção
US20150030235A1 (en) * 2012-02-27 2015-01-29 Sony Corporation Image processing device, image processing method, and computer program
WO2013129158A1 (ja) 2012-03-01 2013-09-06 ソニー株式会社 送信装置、送信方法および受信装置
TWI586143B (zh) * 2012-04-05 2017-06-01 皇家飛利浦電子股份有限公司 用於提供用於傳送至三維[3d]目標裝置之3d視訊信號之3d源裝置、方法及記錄載體以及用於自3d源裝置接收3d視訊信號之3d目標裝置
EP2837183A2 (en) * 2012-04-13 2015-02-18 Koninklijke Philips N.V. Depth signaling data
JP2013239833A (ja) * 2012-05-14 2013-11-28 Sony Corp 画像処理装置、画像処理方法およびプログラム
TWI555400B (zh) * 2012-05-17 2016-10-21 晨星半導體股份有限公司 應用於顯示裝置的字幕控制方法與元件
US20130321572A1 (en) * 2012-05-31 2013-12-05 Cheng-Tsai Ho Method and apparatus for referring to disparity range setting to separate at least a portion of 3d image data from auxiliary graphical data in disparity domain
US9471864B2 (en) * 2012-06-22 2016-10-18 Microsoft Technology Licensing, Llc Encoding data in depth patterns
WO2014013405A1 (en) * 2012-07-20 2014-01-23 Koninklijke Philips N.V. Metadata for depth filtering
CN104662896B (zh) * 2012-09-06 2017-11-28 诺基亚技术有限公司 用于图像处理的装置和方法
US20140267617A1 (en) * 2013-03-15 2014-09-18 Scott A. Krig Adaptive depth sensing
EP2982107B1 (en) * 2013-04-05 2017-11-22 Koninklijke Philips N.V. Re-targeting a three-dimensional image signal
US20150365698A1 (en) * 2013-04-11 2015-12-17 Mediatek Inc. Method and Apparatus for Prediction Value Derivation in Intra Coding
WO2015123775A1 (en) * 2014-02-18 2015-08-27 Sulon Technologies Inc. Systems and methods for incorporating a real image stream in a virtual image stream
US9769498B2 (en) * 2014-03-28 2017-09-19 University-Industry Cooperation Group Of Kyung Hee University Method and apparatus for encoding of video using depth information
US10390047B2 (en) * 2015-01-09 2019-08-20 Sony Corporation Image processing apparatus and image processing method for controlling the granularity in trick play
GB2534921B (en) * 2015-02-06 2021-11-17 Sony Interactive Entertainment Inc Head-mountable display system
US20160277751A1 (en) * 2015-03-19 2016-09-22 Patrick J. Sweeney Packaging/mux and unpackaging/demux of geometric data together with video data
US10672137B2 (en) * 2015-08-19 2020-06-02 Ams Sensors Singapore Pte. Ltd. Generating a disparity map having reduced over-smoothing
US9865305B2 (en) 2015-08-21 2018-01-09 Samsung Electronics Co., Ltd. System and method for interactive 360-degree video creation
US9600938B1 (en) * 2015-11-24 2017-03-21 Eon Reality, Inc. 3D augmented reality with comfortable 3D viewing
GB2548346B (en) * 2016-03-11 2020-11-18 Sony Interactive Entertainment Europe Ltd Image processing method and apparatus
US11025882B2 (en) 2016-04-25 2021-06-01 HypeVR Live action volumetric video compression/decompression and playback
US20170316806A1 (en) * 2016-05-02 2017-11-02 Facebook, Inc. Systems and methods for presenting content
US20170374364A1 (en) * 2016-06-23 2017-12-28 Mediatek Inc. Method and Apparatus of Face Independent Coding Structure for VR Video
KR102498815B1 (ko) * 2016-07-21 2023-02-13 삼성전자주식회사 전자 장치 및 전자 장치의 비디오 편집 방법
US10616566B2 (en) * 2016-07-22 2020-04-07 Korea Institute Of Science And Technology 3D image display system and method
JP6990131B2 (ja) 2018-03-19 2022-01-12 日立Astemo株式会社 鋳造品の生産管理方法，多品種鋳造品の生産管理方法
EP3820147A4 (en) * 2018-07-06 2022-07-20 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
CN109561263A (zh) * 2018-11-23 2019-04-02 重庆爱奇艺智能科技有限公司 在vr设备的3d视频中实现3d字幕效果
EP3687166A1 (en) * 2019-01-23 2020-07-29 Ultra-D Coöperatief U.A. Interoperable 3d image content handling
US10728443B1 (en) 2019-03-27 2020-07-28 On Time Staffing Inc. Automatic camera angle switching to create combined audiovisual file
US10963841B2 (en) 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
US11297116B2 (en) * 2019-12-04 2022-04-05 Roblox Corporation Hybrid streaming
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
KR20220121574A (ko) * 2021-02-25 2022-09-01 삼성전자주식회사 Ar/vr 환경을 제공하는 전자 장치 및 그 운용 방법
US11727040B2 (en) 2021-08-06 2023-08-15 On Time Staffing, Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
US11423071B1 (en) 2021-08-31 2022-08-23 On Time Staffing, Inc. Candidate data ranking method using previously selected candidate data
US11907652B2 (en) 2022-06-02 2024-02-20 On Time Staffing, Inc. User interface and systems for document creation

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4520816A (en) * 1983-01-12 1985-06-04 Schachar Ronald A Method and apparatus for delivering laser energy for ophthalmic use
US4792829A (en) * 1986-04-03 1988-12-20 Firmani Alexander D Light-exposure control unit
JP3259272B2 (ja) * 1990-10-23 2002-02-25 ソニー株式会社 画像表示制御装置および方法
JP2846830B2 (ja) * 1994-11-22 1999-01-13 三洋電機株式会社 ２次元映像を３次元映像に変換する方法
US5532777A (en) * 1995-06-06 1996-07-02 Zanen; Pieter O. Single lens apparatus for three-dimensional imaging having focus-related convergence compensation
JPH099300A (ja) 1995-06-26 1997-01-10 Matsushita Electric Ind Co Ltd 立体表示装置
US6005607A (en) 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
JP2848291B2 (ja) * 1995-08-24 1999-01-20 松下電器産業株式会社 立体ｔｖ装置
US6163337A (en) * 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
GB9613039D0 (en) * 1996-06-21 1996-08-28 Philips Electronics Nv Image data compression for interactive applications
US5973722A (en) * 1996-09-16 1999-10-26 Sony Corporation Combined digital audio/video on demand and broadcast distribution system
JPH11113028A (ja) 1997-09-30 1999-04-23 Toshiba Corp ３次元映像表示装置
KR100560507B1 (ko) * 1997-12-05 2006-03-15 다이나믹 디지탈 텝스 리서치 피티와이 엘티디 개선된 영상 변환 및 부호화 기술
US6373485B2 (en) * 1998-02-17 2002-04-16 Sun Microsystems, Inc. Mitigating the effects of object approximations
US7139767B1 (en) * 1999-03-05 2006-11-21 Canon Kabushiki Kaisha Image processing apparatus and database
JP3619063B2 (ja) * 1999-07-08 2005-02-09 キヤノン株式会社 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体
JP2002041014A (ja) * 2000-05-19 2002-02-08 Sony Computer Entertainment Inc 表示制御プログラムが記憶された記憶媒体、エンタテインメント装置および表示制御プログラム
US20030169369A1 (en) * 2002-03-05 2003-09-11 Michael Kahn Consumer video captioning system
JP4362105B2 (ja) * 2002-07-16 2009-11-11 韓國電子通信研究院 ２次元および３次元立体ビデオ信号の適応変換装置およびその方法
AU2003263557A1 (en) * 2002-10-23 2004-05-13 Koninklijke Philips Electronics N.V. Method for post-processing a 3d digital video signal
US20080177994A1 (en) * 2003-01-12 2008-07-24 Yaron Mayer System and method for improving the efficiency, comfort, and/or reliability in Operating Systems, such as for example Windows
KR100547136B1 (ko) * 2003-08-05 2006-01-26 삼성전자주식회사 방송/예비 컨텐츠를 부호화/복호화하는 장치 및 방법
CA2541784A1 (en) * 2003-10-09 2005-04-21 Koninklijke Philips Electronics N.V. Optical disc having focus offset area
US7450120B1 (en) * 2003-12-19 2008-11-11 Nvidia Corporation Apparatus, system, and method for Z-culling
RU2339083C2 (ru) * 2003-12-19 2008-11-20 ТиДиВижн Корпорейшн Эс.Эй.ДЕ Си.Ви Система трехмерной видеоигры
JP3944188B2 (ja) 2004-05-21 2007-07-11 株式会社東芝 立体画像表示方法、立体画像撮像方法及び立体画像表示装置
US8418075B2 (en) * 2004-11-16 2013-04-09 Open Text Inc. Spatially driven content presentation in a cellular environment
PL1897056T3 (pl) * 2005-06-23 2017-01-31 Koninklijke Philips N.V. Połączona wymiana danych obrazu i powiązanych
BRPI0616745A2 (pt) * 2005-10-19 2011-06-28 Thomson Licensing codificação / decodificação de vìdeo com múltiplas visualizações usando codificação / decodificação de vìdeo escalonável
US20080007567A1 (en) * 2005-12-18 2008-01-10 Paul Clatworthy System and Method for Generating Advertising in 2D or 3D Frames and Scenes
US7916934B2 (en) * 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
US20070248260A1 (en) * 2006-04-20 2007-10-25 Nokia Corporation Supporting a 3D presentation
US8587638B2 (en) * 2006-09-25 2013-11-19 Nokia Corporation Supporting a 3D presentation
JP2010505174A (ja) * 2006-09-28 2010-02-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ メニューディスプレイ
US8631012B2 (en) * 2006-09-29 2014-01-14 A9.Com, Inc. Method and system for identifying and displaying images in response to search queries
US8711203B2 (en) * 2006-10-11 2014-04-29 Koninklijke Philips N.V. Creating three dimensional graphics data
WO2008053417A1 (en) 2006-10-30 2008-05-08 Koninklijke Philips Electronics N.V. Video depth map alignment
CA2680724C (en) 2007-03-16 2016-01-26 Thomson Licensing System and method for combining text with three-dimensional content
JP5138031B2 (ja) 2007-05-11 2013-02-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 深度関連情報を処理する方法、装置及びシステム
US8487957B1 (en) * 2007-05-29 2013-07-16 Google Inc. Displaying and navigating within photo placemarks in a geographic information system, and applications thereof
US8390674B2 (en) * 2007-10-10 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
WO2009051457A2 (en) * 2007-10-19 2009-04-23 Samsung Electronics Co., Ltd. Method of recording three-dimensional image data
US9640021B2 (en) * 2007-11-09 2017-05-02 Bally Gaming, Inc. Real three dimensional display for wagering game machine events
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
US8182870B1 (en) * 2008-05-29 2012-05-22 The United States Of America As Represented By The United States Department Of Energy Method for generating small and ultra small apertures, slits, nozzles and orifices
WO2009147581A1 (en) * 2008-06-02 2009-12-10 Koninklijke Philips Electronics N.V. Video signal with depth information
KR101539935B1 (ko) * 2008-06-24 2015-07-28 삼성전자주식회사 3차원 비디오 영상 처리 방법 및 장치
CA2729995C (en) * 2008-07-24 2015-12-22 Panasonic Corporation Playback device capable of stereoscopic playback, playback method, and program
KR101749893B1 (ko) * 2008-07-24 2017-06-22 코닌클리케 필립스 엔.브이. 다목적 ３―ｄ 화상 포맷
KR101315081B1 (ko) * 2008-07-25 2013-10-14 코닌클리케 필립스 일렉트로닉스 엔.브이. 서브타이틀들의 3ｄ 디스플레이 처리
US8335425B2 (en) * 2008-11-18 2012-12-18 Panasonic Corporation Playback apparatus, playback method, and program for performing stereoscopic playback
US9013551B2 (en) * 2008-12-01 2015-04-21 Imax Corporation Methods and systems for presenting three-dimensional motion pictures with content adaptive information
US8269821B2 (en) * 2009-01-27 2012-09-18 EchoStar Technologies, L.L.C. Systems and methods for providing closed captioning in three-dimensional imagery
US8284236B2 (en) * 2009-02-19 2012-10-09 Sony Corporation Preventing interference between primary and secondary content in a stereoscopic display
US8862987B2 (en) * 2009-03-31 2014-10-14 Intel Corporation Capture and display of digital images based on related metadata
JP5510700B2 (ja) * 2009-04-03 2014-06-04 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
US20100328428A1 (en) * 2009-06-26 2010-12-30 Booth Jr Lawrence A Optimized stereoscopic visualization

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI668670B (zh) * 2017-01-05 2019-08-11 鈺立微電子股份有限公司 深度圖產生裝置
US11652978B2 (en) 2017-01-05 2023-05-16 Eys3D Microelectronics, Co. Depth map generation device

Also Published As

Publication number Publication date
JP5647242B2 (ja) 2014-12-24
KR101716636B1 (ko) 2017-03-15
CN102474638A (zh) 2012-05-23
RU2012106868A (ru) 2013-09-10
CN102474638B (zh) 2015-07-01
US10021377B2 (en) 2018-07-10
JP2015092669A (ja) 2015-05-14
US20120120200A1 (en) 2012-05-17
WO2011013030A1 (en) 2011-02-03
TW201130292A (en) 2011-09-01
KR20120049292A (ko) 2012-05-16
JP2013500664A (ja) 2013-01-07
RU2554465C2 (ru) 2015-06-27
EP2460360A1 (en) 2012-06-06

Similar Documents

Publication Publication Date Title
TWI542191B (zh) 一種於一三維[3d]來源裝置提供一個3d視訊信號以傳送至一3d目的地裝置之方法、用於該方法之3d來源裝置、用於接收一個3d視訊信號之3d目的地裝置、記錄載體、及電腦程式產品
US10791317B2 (en) Switching between 3D video and 2D video
US11310486B2 (en) Method and apparatus for combining 3D image and graphical data
US9036006B2 (en) Method and system for processing an input three dimensional video signal
EP2282550A1 (en) Combining 3D video and auxiliary data
KR20150008408A (ko) 깊이 시그널링 데이터