TW201802772A - 雙模深度估測器 - Google Patents

Abstract

提供一種經組態用於視訊資料之即時深度估測之系統單晶片。該系統單晶片包括經組態以執行自單視域類型視訊資料進行單視域深度估測之一單視域深度估測器(200)，及經組態以執行自立體類型視訊資料進行立體深度估測之一立體深度估測器(210)。該系統單晶片可重新組態以在定義一選定深度估測模式之組態資料之基礎上執行該單視域深度估測或該立體深度估測。兩個深度估測器皆包括共用電路(120、150)，其等在硬體中具現化且可重新組態以因應各深度估測器中之電路之功能性之差異。

Description

雙模深度估測器

本發明係關於一種經組態用於即時深度估測之系統單晶片，其中系統單晶片包括複數個電路及用於實現對一共用記憶體之直接記憶體存取之一記憶體介面。

日益地，諸如電視、數位相框、平板電腦及智慧型電話之顯示裝置包括3D顯示器以在觀看此一裝置上之內容時向一使用者提供深度之一感知。出於該目的，此等3D顯示器可藉由其等自身或與由使用者穿戴之眼鏡一起在各眼睛中向使用者提供不同影像以便基於立體圖像法而向使用者提供深度之一感知。 在媒體分佈中，目前廣泛可用兩種類型之視訊內容： 1.立體視訊內容，其由一序列左及右影像對 (通常稱為「立體視訊」或「3D視訊」)組成 2.單視域視訊內容，其由一序列單一影像 (通常稱為「2D視訊」)組成 可能需要將任一類型之視訊資料轉換為所謂的影像+深度格式，其中深度資訊由一深度圖提供，該深度圖可包括深度值、像差值及/或視差移位值，其中全部該等值指示影像內之物件所具有之朝向攝影機之距離。已證實此一格式係有利地，(例如)實現內容產生之後之深度調整、使用兩個以上視圖定址自動立體多視圖顯示器等。 針對將單視域及立體視訊資料轉換為一影像+深度格式，可使用深度估測。然而，用於立體視訊資料之深度估測之類型不同於用於單視域視訊資料之深度估測之類型。即，在立體視訊內容之情況中，立體視覺可用作用於深度估測之一雙眼深度線索，而在單視域視訊內容之情況中，僅單視域深度線索可用，包含(但不限於)來自運動、高度、曲線透視、散焦模糊等之深度。因而，針對單視域及立體視訊資料需要不同深度估測。 然而，一旦轉換為影像+深度格式，任何後續處理便可相同，包含視圖呈現、深度調整等。

本發明之一目的係提供一種用於立體視訊資料及單視域視訊資料兩者之即時深度估測之資源有效系統單晶片。 本發明之一第一態樣提供一種經組態用於視訊資料之即時深度估測之系統單晶片，該系統單晶片包括： - 一單視域深度估測器，其經組態以執行自單視域類型視訊資料進行單視域深度估測； - 一立體深度估測器，其經組態以執行自立體類型視訊資料進行立體深度估測； - 一記憶體介面，其用於實現對一共用記憶體之直接記憶體存取； 其中該系統單晶片可重新組態以在定義選定深度估測模式之組態資料之基礎上執行該單視域深度估測或該立體深度估測，其中該單視域深度估測器及該立體深度估測器包括： - 一可重新組態之共用輸入處理電路，其在硬體中具現化且可由該組態資料重新組態以： - 藉由根據複數個縮減因數空間縮減輸入影像而針對該視訊資料之各輸入影像產生經縮減影像之一階層，其中該輸入處理電路可由該組態資料組態以選擇針對該立體深度估測與針對該單視域深度估測輸出經縮減影像之該階層之一不同子集以獲得使用情況特定之經縮減視訊資料，且 -將該使用情況特定之經縮減視訊資料儲存於該共用記憶體中； -各分開地，一深度估測器核心電路，其在硬體中具現化且經組態以： - 存取該視訊資料或該使用情況特定之經縮減視訊資料， - 自該經存取視訊資料估測深度資料，該深度資料具有低於該視訊資料之空間解析度之一空間解析度，且 - 將該深度資料儲存於該共用記憶體中； - 一可重新組態之共用深度升級電路，其在硬體中具現化且可由該組態資料重新組態以： - 存取該深度資料及該使用情況特定之經縮減視訊資料，且 - 在連續步驟中使用該使用情況特定之經縮減視訊資料升級該深度資料，其中該深度升級電路可由該組態資料組態以根據該選定深度估測模式針對該立體深度估測與針對該單視域深度估測使用不同連續步驟。 傳入視訊資料係立體或單視域且因此兩個深度估測使用情況(例如，自立體視訊資料之深度估測及自單視域視訊資料之深度估測)係互斥的。正常言之，針對立體視訊資料之一深度估測器及針對單視域視訊資料之一深度估測器之一實施方案將導致專屬(功能特定)電路，因此建立僅交替作用之分離電路。根據如主張之本發明，系統包括可重新組態之共用電路。術語「共用」電路係指由兩個深度估測器使用且僅可在硬體中具現化一次之一電路。 然而，該等共用電路可由定義選定深度估測模式之組態資料不同地組態以因應各深度估測器中之共用電路之功能性之差異。作為該等共用可重新組態之電路之一者，提供根據選定深度估測模式不同地空間縮減視訊資料之一輸入處理電路。特定言之，該輸入處理電路經配置以藉由根據複數個縮減因數縮減該輸入影像而產生經縮減影像之一階層。舉例而言，該輸入影像可經重複縮減至2倍。該輸入處理電路可在該組態資料之基礎上重新組態以針對包含前述單視域深度估測及立體深度估測之各不同使用情況，輸出經縮減影像之一不同子集。因此，該輸入處理電路在可針對單視域深度估測及立體深度估測(且特定言之，由深度估測中涉及之其他電路)所需之影像之解析度方面可適應不同要求。 此等電路之一個實例係在硬體中分開具現化之深度估測器核心電路。兩個深度估測器核心電路可使用經縮減視訊資料以估測深度，且可相對於經縮減視訊資料之解析度(且根據一選用態樣，亦相對於提供視訊資料之哪些分量)而具有不同要求。該輸入處理電路因此經配置以藉由將使用情況特定之經縮減視訊資料提供至該當前作用之深度估測器核心電路而適應此等不同輸入要求。 另一實例係深度升級電路，其經提供為一共用電路且因此可在硬體中具現化一次，且其根據選定深度估測模式不同地升級深度資料。特定言之，可在連續步驟中執行升級，其中該等連續步驟針對單視域深度估測及立體深度估測係不同的。針對此之一非限制性原因可係具有一不同空間解析度之深度資料取決於其是否由單視域深度估測器或立體深度估測器估測。類似於輸入處理電路，深度升級電路可由組態資料組態以適應此等不同按比例調整要求且因此僅需要在硬體中具現化一次。由於該升級可使用經縮減影像以升級深度資料(例如，使用影像適應性升級，且特定言之在各使用情況中使用經縮減影像之一不同子集)，故該使用情況特定之經縮減視訊資料用作如由該輸入處理電路針對該特定使用情況產生之輸入。 因而，存在該兩個深度估測器之間之大量硬體共用或硬體重用，從而導致用於單視域及立體深度估測之一資源有效之系統單晶片。 視情況，單視域深度估測器之深度估測器核心電路實施一聯合雙邊濾波器，該聯合雙邊濾波器在經應用至視訊資料或使用情況特定之經縮減視訊資料之一影像時，提供一深度圖作為輸出。已發現，聯合雙邊濾波器非常適用於自單視域視訊資料進行深度估測，此係因為其等可用於將一通用深度剖面調適至實際影像內容。由於此等雙邊濾波器可使用經縮減影像資料作為輸入且產生經縮減深度資料作為輸出，故存在與基於區塊匹配之立體深度估測器之實質功能重疊，其等亦可使用經縮減影像資料作為輸入且產生經縮減深度資料作為輸出。 視情況，立體深度估測器之深度估測器核心電路實施一區塊匹配器，該區塊匹配器在經應用至視訊資料或使用情況特定之經縮減視訊資料之一立體影像對時，提供一像差圖作為輸出。 在附屬技術方案中定義實施例。

圖1展示具有一外部共用記憶體010 (標記為「Ext. mem」)之一系統單晶片100 (在圖1中標記為且隨後亦稱為「SoC」)之一概述，其中SoC 100包括一即時轉換IP區塊110 (標記為且隨後亦稱為「RTC IP區塊」)。此處，術語「IP區塊」係指邏輯、晶胞或晶片佈局設計之一可重用單元之一實施方案，在電子設計之技術中亦稱為半導體智慧財產權核心。RTC IP區塊110經展示包括一輸入處理電路120 (標記為「INP」)、一區塊匹配電路130 (標記為「BM」)、一聯合雙邊濾波器電路140 (標記為「BF」)、一深度升級電路150 (標記為「DUP」)及一嵌入式CPU核心160 (標記為「IP CPU」)。 SoC 100經展示以下列方式與外部記憶體010介接040。包括複數個影像之視訊資料020由SoC 100之一信號輸入030 (標記為「Sign. In」)接收且經由資料通信042儲存於外部記憶體010中。信號輸入030可(但並非必須)執行輸入處理，諸如色彩空間轉換(例如，RGB至YUV)、色度子取樣、解多工為一平面格式(例如，用於儲存於外部記憶體010中之平面緩衝器中)等。接著經儲存影像由RTC IP區塊110經由資料通信044處理，其中RTC IP區塊110經組態以估測由影像之內容表示之深度，藉此產生至少深度資訊及可能儲存在外部記憶體010中之中間資料作為輸出。接著影像及深度資訊由SoC 100之一信號輸出050 (標記為Sign. Out)經由資料通信046讀出且編排為一輸出信號060。 RTC IP區塊110之處理可為如下：輸入處理電路120可空間縮減視訊資料以獲得經縮減視訊資料，且將經縮減視訊資料儲存於外部記憶體中。一深度估測器核心電路(其為區塊匹配電路130或聯合雙邊濾波器電路140且參考圖2進一步論述)可存取經縮減視訊資料；自經縮減視訊資料估測深度，藉此獲得具有低於視訊資料之空間解析度之一空間解析度之深度資料；且將深度資料儲存於外部記憶體中。深度升級電路150可存取深度資料及經縮減視訊資料，且使用經縮減視訊資料升級深度資料。 RTC IP區塊110可能可在兩個不同模式中重新組態，即一單視域(亦簡單稱為「2D」)深度估測模式及一立體(stereoscopic)(亦簡單稱為「立體(stereo)」)深度估測模式。因而，系統單晶片可能可重新組態以執行單視域深度估測或立體深度估測。圖2示意性繪示在RTC IP區塊110之各模式中涉及之電路，其分別藉由涵蓋表示各者各自深度估測器之電路之一虛線輪廓而指示單視域深度估測器200及立體深度估測器210。即，單視域深度估測器200包括輸入處理電路120、聯合雙邊濾波器電路140及深度升級電路150，而立體深度估測器210包括輸入處理電路120、方塊匹配電路130及深度升級電路150。 因此，提供用於自單視域類型視訊資料且自立體類型視訊資料估測深度之一單獨深度估測器核心電路，同時深度估測器200、210兩者共用輸入處理電路120及深度升級電路150。亦如圖2中繪示，用於單視域深度估測之深度估測器核心電路可係一聯合雙邊濾波器電路140，而用於立體深度估測之深度估測器核心電路可係一區塊匹配電路130。輸入處理電路120及深度升級電路150可能各可重新組態以處理單視域類型視訊資料或立體類型視訊資料，因而由單視域深度估測器及立體深度估測器共用。 已認知，兩個深度估測器用於互斥情況中，即視訊資料係單視域視訊資料或立體視訊資料。此認知被用作RTC IP區塊110之一基礎，其中存在RTC IP區塊110之兩個深度估測器之間之實質上大量硬體共用或硬體重用，從而導致適用於單視域視訊資料及立體視訊資料兩者之一成本有效之IP區塊。特定言之，藉由提供可重新組態之共用電路(其等可由組態資料重新組態)而獲得此重用。組態資料可包括定義用於各深度估測模式之各電路之功能性之參數。各共用電路可包括可參數化輸入、按比例調整器及輸出。因而，術語「可重新組態」可指根據組態資料之參數組態之輸入、按比例調整器及輸出。 應注意，可在指示一選定深度估測模式之組態資料之基礎上將RTC IP區塊110重新組態為2D模式或立體模式。特定言之，此組態資料可包括用於根據選定深度估測模式重新組態輸入處理電路120及深度升級電路150之組態資料分量，如將進一步參考圖3及圖4進一步描述。可將資料分量儲存於RTC IP區塊110之不同部分中，例如，不同暫存器或內部記憶體中；因此，組態資料可經分佈而非由(例如)一單一資料區塊構成。組態資料可源自不同源，包含(但不限於)終端使用者(選單)設置，或可自輸入信號020之性質自動導出。一非限制性實例係若輸入係HDMI，則一所謂的訊框包裝模式可在輸入處經偵測且用於選擇/啟動立體估測器。 將進一步參考圖19至圖22論述針對RTC IP區塊110之各深度估測器之操作之一排程之一實例。 圖3展示RTC IP區塊之輸入處理電路120之一特定實施例之更多細節。輸入處理電路120可經組態以空間縮減視訊資料以獲得經縮減視訊資料，且將經縮減視訊資料儲存於外部記憶體中。出於該目的，輸入處理電路120可包括硬體，該硬體可經組態以用於2D模式或立體模式中且用於Y及U/V分量(其等具有經縮減組態且因此具有經增多之區塊中硬體之重用)。此促成一成本有效且多功能的解決方案。 在立體模式之情況中，啟用全部輸出，此意謂經由DMA IN_{1 × 1} 區塊獲得之一輸入影像縮減到2×2、4×4及8×8倍，其中數字指示分別沿著水平及垂直維度之縮減。此處，一「2×2」區塊指示將輸入縮減到2×2之一按比例調整電路，且各自輸出由一DMA OUT區塊指示。在2D深度估測之情況中，停用8×8輸出，此係因為未使用此輸出。針對立體深度估測器，已發現，左側影像及右側影像有時經受色彩差異。輸入處理電路120可含有校正此等差異之特徵。具體言之，兩個影像之直方圖可由標記為「ACC HIST」之一電路累積。IP CPU (圖3中未展示)可接著組態一像素重新映射表以校正色彩差異，其可由標記為「PIX REMAP」之一電路應用至右側影像。應注意，左側影像較佳用作參考影像，此係因為其通常在一立體攝影機中用作觀景器。應進一步注意，可在2D模式中(即，當使用2D深度估測器時)停用直方圖累積及像素重新映射，意謂各自電路可能可組態以經使用或不取決於選定深度估測模式。 應進一步注意，輸入處理電路120可經組態以亦縮減視訊資料之U及V色彩分量。可假定，以一平面方式儲存此等分量，因此將各分量儲存於其自身緩衝器中。在一典型情況中，輸入信號可採用色度子取樣4:2:0，此意謂輸入U及V緩衝器已經預縮減至2×2 Y解析度。此2×2經縮減U或V緩衝器可由相同硬體區塊處理。在此情況中，按2×2之一輸入U或V緩衝器可縮減至4×4且經由DMA O2×2 (此處，首碼「O」代表「輸出」)輸出；縮減至8×8且經由DMA O4×4輸出；且縮減至16×16且經由DMA O8×8輸出。再者，通常針對立體模式停用O8×8輸出。針對2D模式，可針對色度分量停用O4×4輸出。 圖4展示RTC IP區塊之深度升級(DUP)電路150，其亦可在組態資料之基礎上重新組態，藉此實現其在2D模式及立體模式兩者中之使用。在一特定實例中，深度升級電路150可在其升級中採一技術用，其在2009年1月19日之Proc.SPIE 7257，Visual Communications and Image Processing 2009之Riemens等人之論文「Multistep joint bilateral depth upsampling 」中描述，即，一聯合雙邊濾波技術，其中增加取樣(即，升級)濾波器使用來自雙邊濾波器之所謂的「範圍術語」中之高解析度影像及低解析度影像兩者之樣品。增加取樣可在多個階段中執行，在各階段處將解析度改善至2×2倍。特定言之，深度升級電路可經組態用於一3步驟增加取樣(使用DUP2、DUP1及DUP0)或用於一2步驟增加取樣(僅使用DUP1及DUP0)。此3步驟增加取樣可涉及D4×4 DMA單元(此處，首碼「D」代表「深度」)及判定在含有D4×4資料之本地緩衝器中寫入之資料之源之一多工器。此外，為了輔助測試，展示表現類似於D4×4輸入之一選用D2×2輸入。如圖4中展示，DUP2及DUP1增加取樣步驟可經組態以使用U及V影像資料以便獲得影像邊緣之一經改良偵測。針對此等步驟，雙邊濾波器中之係數權重可由Y、U及V分量判定。U及V分量係選用的以容許服務品質：不提供此等影像緩衝器導致深度升級電路之一較低頻寬使用，但以雙邊濾波器之邊緣保護行為之品質之一減少為代價。應進一步注意，最後增加取樣步驟DUP0可僅使用Y分量。實務上，大多數信號資源已經由媒體分佈網路分佈，且因此通常經受4:2:0之一色度子取樣。在此等情況中，在全解析度色度信號中不存在有用資訊(即使在此一信號可用之情況下)。 應注意，針對兩個深度估測器之間之輸入資料之縮減及輸出深度資料之增加取樣兩者存在不同原因。 在立體深度估測器之情況中，區塊匹配器可在一特定區塊大小上操作。區塊大小之選擇通常係一重要演算設計參數：當使用非常小的大小時，區塊不夠獨有，且因此區塊匹配器難以辨識類似影像內容，而當使用非常大的區塊大小時，所得深度場具有一非常粗糙的結構。在使用(例如) 8×8像素之一區塊大小中發現一良好平衡。此導致各8×8區塊相對於輸入解析度之一像差向量，且因此亦在各8×8像素區塊處之一深度值。由於在輸出處期望在各像素處之一深度值(例如)用於視圖呈現，因此此需要自8×8格柵增加取樣至一1×1格柵。深度升級電路提供此增加取樣功能性。假使僅在輸入解析度上運行立體估測器，則不需要針對區塊匹配電路縮減視訊輸入影像。然而，應注意，深度升級電路可在連續2×2步驟中執行一逐步增加取樣。此等步驟之各者可獲益於使用按較低以及較高空間解析度兩者之影像資料。因此，可使用按8×8、按4×4且按2×2解析度之經縮減影像。此等經縮減影像可由輸入處理電路產生。假使立體深度估測器採用階層式區塊匹配，則針對「較高」階層式層級可需要經縮減輸入影像；因此在此情況中，可出於不同目的重用經縮減輸入影像。 在單視域深度估測器之情況中，發明者已意識到在低於輸入解析度之一解析度上運行雙邊濾波器電路係有利地。甚至在一快速雙邊濾波器實施方案之情況中，此減少系統之資源使用。發明者已認知，在4×4經縮減影像資料上之雙邊濾波提供足夠良好結果。此引起相較於輸入解析度，雙邊濾波器之輸出深度圖在一4×4經縮減格柵上。為了使雙邊濾波器在一4×4經縮減影像上操作，需要縮減輸入，且深度升級電路需要將4×4深度圖增加取樣至一1×1格柵。 圖5至圖18繪示如本說明書中描述之輸入處理電路及深度升級電路之後之各種設計考量。 圖5至圖7繪示使用一區塊匹配器BM之立體深度估測，BM提供一8×8深度圖作為輸出，其接著在一系列升級步驟中經升級至1×1解析度。此處且在以下圖中，「/V」表示一向量場。 圖5至圖7之不同在於其等展示立體深度估測之不同使用情況：圖5展示一使用情況A，其中採用階層式區塊匹配。圖6展示一第一服務品質(QoS)使用情況B，其中深度升級之階段1僅使用(左影像) Y分量而非如使用情況A中般亦使用(左影像) U及V分量，此減少輸出之品質但亦減少至DUP區塊中之頻寬使用且降低功率消耗。圖7展示另一QoS使用情況C。在此使用情況中，未使用階層式區塊估測，此減少至區塊匹配器中之頻寬且降低功率消耗。針對全部此等使用情況，展示資料流，其中RY、LY、LU及LV之視訊資料係針對各功能區塊分開獲得，且取決於事先縮減之區塊之要求。因而，圖5至圖7繪示在輸入資料方面之各功能區塊之要求。 圖8及圖9類似於圖5至圖7，但現在展示單視域深度估測器之兩個不同使用情況K、L。此處，使用應用至一深度模板(例如，一斜面)之一聯合雙邊濾波器，其使用4×4經縮減Y分量作為範圍術語。在多個階段中再次執行升級，其中圖8之使用情況K使用視訊資料之照度資料分量Y以及色度分量U、V以執行升級，而圖9之使用情況L僅使用照度資料分量Y，藉此減少至DUP區塊中之頻寬使用且降低功率消耗。 當相互比較各深度估測器之不同使用情況，以及比較立體使用情況與單視域使用情況時，可見在不同功能區塊之輸入要求之間存在顯著重疊。因此，發明者已設想輸入處理電路作為一硬體電路，其可僅需要在硬體中具現化一次，但其可適應全部此等使用情況。此外，發明者已亦設想深度升級處理電路作為一硬體電路DUP，其可適應全部此等使用情況。在圖10至圖12中展示使用情況A、B、C之結果，且在圖13中展示使用情況K之結果(歸因於使用情況L與圖13之類似性，已省略使用情況L之對應圖，僅省略至DUP電路之色度輸入)。 在此等圖之各者中，輸入處理電路經展示接收1×1視訊資料作為輸入，其係未按比例調整Y視訊資料，或在U、V之情況中歸因於4:2:0之格式化，已相對於Y縮減至2×2。輸入處理電路進一步經展示包括針對其8×8、4×4及2×2經縮減版本之可選擇輸出，以及一非縮減「1×1」輸出。此設計對應於參考圖3之先前描述之輸入處理電路之設計。為了有效處置不同資料分量之處理(例如，針對立體深度估測之LY、RY、LU、LV及針對單視域深度估測之Y、U、V)，輸入處理電路可在硬體中具現化一次但經組態以按時間循序處理各資料分量。因而，雖然展示四次(圖10至圖12)或3次(圖13)，但可使用硬體中之一單一具現化。當比較圖10至圖12與圖5至圖7且比較圖13與圖8時，可見歸因於輸入處理電路適應不同使用情況之可重新組態性，顯著減少輸入按比例調整器之數目。 圖14針對各使用情況概括輸入處理電路之組態，其指示針對哪一使用情況且針對各自使用情況內之各資料分量選擇哪些輸出。此處，「重新映射」係指基於直方圖之調整，稱為像素重新映射且先前參考圖3解釋。 圖15針對各使用情況概括深度升級電路之組態，其指示針對各使用情況使用哪些升級階段及U、V輸入。 圖16繪示為何除了容許立體影像使用重新映射特徵之一直方圖調整之外，輸入處理電路亦經設計以具有一1×1輸出，即，輸出視訊資料而無額外按比例調整。出於該目的，圖16展示針對圖5之使用情況A，若未按比例調整視訊資料將由各功能區塊直接自輸入緩衝器獲得(惟IRY分量除外，其由輸入處理電路經像素重新映射且因此一定需要自輸入處理電路之輸出獲得)，則如何執行緩衝。在此實例中，在共用記憶體中分配針對輸入資料分量IRY (輸入右Y)、ILY (輸入左Y)、ILU (輸入左U)及ILY (輸入左Y)之緩衝器。將通常(例如)藉由系統單晶片中之一微處理器或控制器自RTC IP區塊自身外部分配此等緩衝器。作為內部分配之緩衝器，在共用記憶體中分配針對LY8 (左Y，在此情況中係8×8縮減)、LY4、LY2、RY2、RY1、LU4、LU2、LV4及LV2之緩衝器。在圖16中以黑色(其具有白色文字)展示此等緩衝器。 吾人可在圖16中認知兩個不同緩衝器使用。一個使用係I/O緩衝器：在RTC IP區塊之外部使用影像資料寫入輸入緩衝器ILY、ILU、ILV及IRY (此操作在圖16中未展示)，且在RTC IP區塊中讀取資料；類似地，輸出緩衝器D1由RTC IP區塊寫入且在RTC IP區塊外部讀取(再次未展示)。其他使用涉及內部緩衝器，其等僅由RTC IP區塊組件內部寫入並且讀取。在一即時系統中，通常存在可用記憶體之一預分配集用場。緩衝器可自集用場獲取用於一特定目的且當不再於使用中時，其等可經傳回至集用場。此等緩衝器之各者通常需要恰當管理，即：系統可保持追蹤各緩衝器，使用其之位置及其仍在使用中之持續時間。一緩衝器在使用中之持續時間稱為緩衝器之壽命。鑑於設計分區，內部緩衝器通常由具有RTC IP區塊組件之工作及其使用情況(例如，QoS設置，如經解釋使用情況A、B、C)之詳細知識之一系統組件管理。然而，I/O緩衝器與RTC IP區塊之「外部」共用，且因此需要由具有關於系統中之整體視訊資料流之資訊之一較全域系統組件管理。 圖16中展示之案例之一缺點係(在此特定實例中之) ILY、ILU及ILV之輸入緩衝器不僅由用於縮減之輸入處理電路使用，而且在ILY之情況中，亦隨後由區塊匹配器使用，且在ILU及ILV之情況中，亦在階段0中由深度升級電路使用。此複雜化所關注設計分區及分離，此係因為輸入緩衝器可需要具有取決於RTC IP區塊組件針對其經組態之特定使用情況之一延長壽命，且因此壽命可需要在RTC IP區塊外部管理。 圖17繪示一使用情況A*，其中自輸入處理電路之1×1輸出獲得(若需要)未按比例調整視訊資料。出於該目的，在共用記憶體中分配單獨輸出緩衝器，在此實例中為針對LY1、LU1及LV1之緩衝器。功能區塊代替性地使用來自輸入處理電路之1×1輸出之經分配輸出緩衝器，而非使用輸入緩衝器ILY、ILU及ILV。以此方式，一旦輸入處理電路已處理全部資料分量，便不再需要輸入緩衝器，此係因為後續區塊匹配及深度升級僅依賴輸入處理電路之輸出緩衝器中之視訊資料。此促進所關注設計抽象化及分離，此係因為輸入緩衝器不再需要經分配達一延長週期。圖18針對使用情況A及A*之各者再次概括輸入處理電路之組態，其指示針對哪一使用情況且針對各自使用情況內之各資料分量選擇哪些輸出。 應瞭解，在使用情況A*中1×1緩衝器之額外資料複製操作在額外頻寬及功率消耗方面可添加系統成本。因此，在使用情況A與A*之間選擇之選項實現硬體資源使用(頻寬及功率消耗)及緩衝器管理之複雜性之間之一設計權衡。吾人可(例如)將此IP區塊整合在一主電源裝置中且選擇較不複雜的緩衝器管理。替代地，在一電池供電裝置中，吾人可準備在更複雜緩衝器管理中花費額外設計努力以節省功率消耗且此能延長電池壽命。 圖19展示用於立體視訊資料之即時轉換之操作之一基本排程300。此處且在以下排程中，水平軸對應於時間軸，其中標記為N及N+1之一特定輸入影像表示一後續輸入影像。RTC IP區塊在經組態以在立體模式中操作時，使用輸入處理、區塊匹配及深度升級硬體電路，如使用沿著時間排程之垂直軸之其等各自縮寫指示。針對深度估測，僅使用左側影像及右側影像之照度分量。在圖19中，輸入處理電路經展示連續處理輸入影像之分量，即，首先左影像之照度分量LY，接著右影像之照度分量RY，且接著左影像之色度分量LU、LV。分量之循序處理減少即時轉換之整體延時，如繼續參考圖19解釋。 輸入處理電路可除了縮減或簡單複製以釋放RTC IP區塊「外部」之輸入緩衝器之外，亦執行諸如照度匹配之功能(例如)以補償左側影像與右側影像之間之亮度之輕微差異，此係因為可存在左側攝影機感測器及右側攝影機感測器之光學器件或感測器靈敏度之細微差異。當輸入處理電路完成輸入影像之左側影像及右側影像兩者之照度分量之處理時，可啟動區塊匹配電路。區塊匹配電路可接著(例如)以一像差場或一深度圖之形式傳回深度資訊。 應注意，一般言之，深度估測提供深度資料，其包括指示物件所具有之朝向一攝影機、或觀看者或顯示器之距離之值。值可係深度值，其等可以一深度圖之形式配置，即，深度值之一影像式配置。替代地，深度估測可產生深度資料，其包括像差值或視差移位值。像差值及視差移位值具有與深度值之一近似逆關係，且因此指示物件所具有之朝向一攝影機、或觀看者或顯示器之距離但不直接對應於該等距離。已知用於全部上述類型之信號之間之轉換之裝置及方法。 可使用8×8像素區塊上之區塊匹配實行像差估測。此處，術語「區塊匹配」係指對左影像及右影像中之對應影像內容之逐區塊搜尋。應注意，區塊匹配本身自運動估測場已知，且可用於像差估測，此係因為左影像與右影像之間之位移類似於時間連續影像之間之運動。因此，一像差向量可用於影像中之各8×8像素區塊。向量之x分量可視為對於深度之一量測。深度升級電路可接著將8×8深度圖逐步改善為一4×4深度圖、一2×2深度圖且最終在像素格柵(即，1×1)處之一深度圖。在各步驟處，可使用較低及較高解析度影像資料。出於該目的，可由輸入處理電路(例如)藉由將輸入影像簡單地重複水平且垂直縮減到2倍而產生經縮減影像之一階層。 在圖19之排程中，可見一旦左影像及右影像之照度分量LY、RY已由輸入處理電路處理，區塊匹配電路便已經開始，即，無需等待色度分量LU及LV之輸入處理完成。因而，區塊匹配已經在已完全完成一影像對之輸入處理之前開始。當深度升級開始時(例如，在深度資訊之可用性之後)，色度分量亦可用且可用於深度圖之深度升級。因此，相較於其中輸入處理電路首先處理整個輸入影像資料(即，包含色度分量)且接著僅開始區塊匹配之案例，圖19之排程獲得一延時減少。 圖20展示用於立體視訊資料之即時轉換之操作之一更進階排程310。此處，IP-CPU經展示執行標記為「A」及「B」之某一中間處理。處理「A」僅取決於左輸入影像。此處理可涉及(例如)輸入序列之一分析，及根據分析之結果之後續處理之調適。舉例而言，處理「A」可涉及應用一畫面切割偵測器，其中後續處理步驟之參數設置取決於畫面切割偵測器之輸出。舉例而言，緊接在一畫面切割之後，可重新初始化像差場，因而可時間遞迴地使用一像差場，此在一畫面切割處係無意義的。可重新調整又其他時間遞迴濾波器。處理步驟「B」可涉及(例如)將區塊匹配電路之像差場轉換為一深度圖。此一轉換可取決於顯示器之可用深度範圍、像差場及/或啟發法中之經量測像差範圍。已發現，時間濾波有助於穩定深度圖。一般言之，進一步演算法創新可能在此區域中發生。因此，如由IP-CPU上之實施方案提供之一軟體實施方案之靈活性對於此一功能係有益地。作為一進一步實例，可將一空間-時間濾波應用至深度圖用於改良之穩定及品質。由於此處理按8×8區塊大小運行，因此資料之量對於一軟體實施方案係可接受的，此提供靈活性且容許後續演算法設計修改(例如，甚至在產品引入之後在支援現場韌體升級時)。 如同圖19之排程之情況，圖20之排程已由在色度資料分量之前經空間縮減之照度資料分量延時減少，且進一步處理(例如，藉由IP-CPU及區塊匹配電路)在所需輸入資料之可用性之後開始。因此，獲得優於其中輸入處理電路首先處理整個輸入影像資料(包含色度分量)且接著僅輸入影像資料之進一步處理將開始之案例的一延時減少。 圖21展示用於單視域視訊資料之即時轉換之操作之一基本排程320。在此實例中，2D深度估測器係基於一聯合雙邊濾波器之一實施方案。此一聯合雙邊濾波器可用於將一通用深度剖面調適至實際影像內容，如在US8447141 B2尤其參考圖1所描述。此外，在Paris等人之公開案「A fast approximation of the bilateral filter using a signal processing approach」，International Journal of Computer Vision 81.1 (2009)：24-52中描述此一濾波器之一快速實施方案。快速實施方案係資源有效，且因此在下文中經假定實施聯合雙邊濾波器(此後亦簡單地稱為「快速雙邊濾波器」)。 RTC IP區塊在經組態以在2D模式中操作時，可使用輸入處理、快速雙邊濾波器及深度升級硬體電路，如沿著時間排程之垂直軸所指示。已發現，在一經顯著縮減輸入信號上執行快速雙邊濾波器係有益地。因此，輸入處理電路可產生經水平且垂直縮減影像，其等縮減到(例如) 4倍。因此，來自BF電路之深度圖將被升級到4×4。此可由深度升級電路在兩個步驟中達成。即，深度升級電路可使用經縮減輸入影像以幫助在兩個步驟中將深度圖自4×4解析度改善至2×2且最終1×1像素解析度。可由輸入處理電路產生按4×4解析度及2×2解析度之經縮減影像。 快速雙邊濾波器可涉及三個主要處理步驟：一縮減(即，縮減取樣)步驟；一計算步驟，其包括一迴旋；及一升級(即，增加取樣)步驟，如在Paris等人之前述論文「A fast approximation of the bilateral filter using a signal processing approach」中，尤其在其之段落4 (其由段落4.1之方程式12a至12c及圖2概括)中描述。在後者之圖中，縮減取樣步驟可對應於演算法步驟3，計算步驟對應於演算法步驟4，且增加取樣步驟對應於演算法步驟5。縮減取樣可採取2D輸入資料(X,Y)且將其轉換為一三維空間(X,Y,I)，其中(X,Y)反映標準影像維度且(I)反映一強度維度。資料之此三維體積表示藉由縮減取樣體積格柵而實現資料之線性操作及實質減少。在所描述之SoC中，縮減步驟(在圖21及下文中標記為「down」)由FBF硬體電路執行。隨後，計算步驟(標記為「calc」)可(例如)由FBF硬體電路或在軟體中由IP-CPU執行。接著，三維體積至一2D深度圖表示之增加取樣(標記為「up」)可接著再次由FBF硬體電路執行。 此等處理步驟導致如圖21中展示之一排程。由於快速雙邊濾波器僅應用至照度分量Y，故其處理可在輸入處理電路已縮減照度分量Y之時刻已經開始。如先前論述，快速雙邊濾波器涉及三個步驟：使用FBF硬體電路之縮減取樣、由IP-CPU執行之非線性計算及再次使用FBF硬體電路之一增加取樣。最終，使用深度升級電路將深度圖增加取樣至輸入解析度，其中增加取樣亦使用輸入影像之色度分量(即，U及V)。 圖22展示用於單視域視訊資料之即時轉換之另一排程330，即一更進階實例。此處，在使用深度升級電路之深度增加取樣之前插入一額外最佳化步驟「opt」，其中使用IP-CPU執行額外最佳化步驟。此最佳化步驟可涉及深度圖濾波、深度範圍調適等。在此實例中，最佳化步驟僅取決於快速雙邊濾波器增加取樣之輸出，但其亦可使用輸入照度分量Y。如自排程可見，輸入色度分量U及V亦可用且可由IP-CPU使用。 將瞭解，一般言之，可與所述SoC(例如，在另一類型之SoC中)分開提供RTC IP區塊。舉例而言，代替所述SoC與一外部記憶體介接，此一記憶體可包含在包括RTC IP區塊之SoC中。另一實例係SoC可包括用於使用由RTC IP區塊產生之深度圖呈現視圖(例如，用於顯示於一多視圖3D顯示器上)之一呈現電路。 此外，可在以網路連線表及/或可合成RTL之形式定義RTL IP區塊之一電腦可讀媒體上提供資料。電腦可讀媒體及藉此儲存於其上之資料可係暫時性或非暫時性的。舉例而言，RTC IP區塊可經提供為一可合成核心(例如，以一硬體描述語言，諸如Verilog或VHDL)，或作為通用閘層級網路連線表，其提供實施為通用閘或程序特定標準晶胞之RTC IP區塊之邏輯功能之一布林代數表示。 將瞭解，一般言之，所述RTC IP區塊目標為提供RTC IP區塊之「內部世界」與SoC之「外部世界」之間之所關注之一抽象化及/或分離。出於該目的，可提供RTC IP區塊內部之電路之詳細控制，此係因為電路可能係高度可組態的。電路可接著由在IP-CPU上運行之一或多個信號分析功能組態，其可按較低解析度運行且因此具有有限計算複雜度。作為輸出，可產生組態資料以恰當設定電路之參數，藉此組態輸入處理電路、深度升級電路等。 將進一步瞭解，在根據本發明之SoC之至少一些實施例中，可在輸入信號之分量上按時間循序執行輸入處理(縮減)。首先，可處理照度分量以使此盡可能早地可用於後續處理。在照度分量之後，可處理色度分量。由於存在僅基於照度之中間處理，故此排程促進盡可能早地開始中間處理。在後續處理階段中，亦可使用經縮減色度分量。到完成中間處理時，輸入亦已完成經縮減色度分量。因此，可減少處理之總延時，且分量之循序處理促進相同硬體之重用。 應注意，在上文中，術語圖係指按列及行配置之資料。再者，形容詞深度應理解為指示一影像之部分距攝影機之深度。因此，深度圖可由深度值但亦由(例如)像差值或視差移位值構成。本質上，深度圖可因此構成一像差圖或一視差移位圖。此處，術語像差係指當使用使用者之一左眼或一右眼感知時一物件之位置之一差異。術語視差移位係指物件在兩個視圖之間之一位移以便向使用者提供該像差。像差及視差移位通常與距離或深度負相關。已知用於全部上述類型之圖及/或值之間之轉換之裝置及方法。 在以下條款中描述本發明之進一步實施例。 條款1.一種經組態用於視訊資料之延時減少之即時深度估測之系統單晶片，該系統單晶片包括複數個電路及用於實現對一共用記憶體之直接記憶體存取之一記憶體介面，該複數個電路包括： 一輸入處理電路，其經組態用於： - 空間縮減該視訊資料以獲得經縮減視訊資料，且 - 將該經縮減視訊資料儲存於該共用記憶體中； 一深度估測器電路，其經組態用於： - 存取該經縮減視訊資料， - 自該經縮減視訊資料估測深度，藉此獲得具有低於該視訊資料之空間解析度之一空間解析度之深度資料，且 - 將該深度資料儲存於該共用記憶體中； 一深度升級電路，其經組態以： - 存取該深度資料及該經縮減視訊資料，且 - 使用該經縮減視訊資料升級該深度資料； 且其中： 該深度估測器電路經組態用於自該經縮減視訊資料之一照度資料分量估測該深度； 該深度升級電路經組態用於使用該經縮減視訊資料之一色度資料分量升級該深度資料；且 該輸入處理電路經組態用於時間多工該視訊資料之該空間縮減，該時間多工包括針對該視訊資料之各輸入影像或立體輸入影像對，在空間縮減該色度資料分量之前空間縮減該照度資料分量。 條款2.根據條款1之系統單晶片，其中： 該系統單晶片進一步包括經組態用於分析該視訊資料之一影像處理電路，其中該影像處理電路經組態以在該視訊資料係包括一序列影像對之立體類型視訊資料時，分析一各自影像對之一第一影像以獲得用於在該深度估測中使用之分析資料；且 該輸入處理電路經組態用於在縮減該影像對之第二影像之前縮減該影像對之該第一影像。 舉例而言，該影像處理電路可由經程式化以執行該影像分析之嵌入式CPU核心表示。 條款3.根據條款2之系統單晶片，其中該影像處理電路經組態用於執行一畫面切割偵測。 條款4.根據條款2或3之系統單晶片，其中該各自影像對之該第一影像係左影像。 條款5.一種經組態用於視訊資料之即時深度估測之系統單晶片，該系統單晶片包括： - 一單視域深度估測器，其經組態以執行自單視域類型視訊資料進行單視域深度估測； - 一立體深度估測器，其經組態以執行自立體類型視訊資料進行立體深度估測； - 一記憶體介面，其用於實現對一共用記憶體之直接記憶體存取； 其中該系統單晶片可重新組態以在定義選定深度估測模式之組態資料之基礎上執行該單視域深度估測或該立體深度估測，其中該單視域深度估測器及該立體深度估測器包括： - 一可重新組態之共用輸入處理電路，其可由該組態資料重新組態以： - 根據該選定深度估測模式不同地空間縮減該視訊資料以獲得經縮減視訊資料，且 - 將該經縮減視訊資料儲存於該共用記憶體中； - 各分開地，一深度估測器核心電路，其經組態以： - 存取該視訊資料或該經縮減視訊資料； - 自該經存取視訊資料估測深度資料，該深度資料具有低於該視訊資料之空間解析度之一空間解析度，且 - 將該深度資料儲存於該共用記憶體中； - 一可重新組態之共用深度升級電路，其可由該組態資料重新組態以： - 存取該深度資料及該經縮減視訊資料，且 - 使用該經縮減視訊資料根據該選定深度估測模式不同地升級該深度資料。 應注意，上文提及之實施例繪示而非限制本發明，且熟習此項技術者將能夠設計許多替代實施例。 在申請專利範圍中，放置於括號之間之任何元件符號不應理解為限制申請專利範圍。動詞「包括」及其變化形式之使用不排除除了一請求項中陳述之元件或步驟之外之元件或步驟之存在。在一元件之前之冠詞「一(a/an)」不排除複數個此等元件之存在。本發明可由包括若干不同元件之硬體且藉由一適當程式化之電腦實施。在列舉若干構件之裝置請求項中，若干此等構件可由硬體之一個相同品項體現。某些措施在相互不同的附屬請求項中敘述，但僅就此事實，並不指示此等措施之一組合無法用來獲得好處。

010‧‧‧外部共用記憶體
020‧‧‧視訊資料
030‧‧‧信號輸入
040-046‧‧‧與外部共用記憶體之資料通信
050‧‧‧信號輸出
060‧‧‧輸出信號
100‧‧‧系統單晶片
110‧‧‧即時轉換IP區塊
120‧‧‧輸入處理電路
130‧‧‧區塊匹配電路
140‧‧‧聯合雙邊濾波器
150‧‧‧深度升級電路
160‧‧‧嵌入式CPU核心
200‧‧‧單視域深度估測器
210‧‧‧立體深度估測器
300‧‧‧用於立體視訊資料之即時轉換之基本排程
310‧‧‧用於立體視訊資料之即時轉換之進階排程
320‧‧‧用於單視域視訊之即時轉換之基本排程
330‧‧‧用於單視域視訊之即時轉換之進階排程

自下文描述之實施例應明白且參考下文描述之實施例將闡明本發明之此等及其他態樣。在圖式中， 圖1展示具有一(外部)共用記憶體之一系統單晶片之一概述，其中系統單晶片包括一即時轉換(RTC) IP區塊； 圖2繪示用於立體視訊資料或單視域視訊資料之深度估測之RTC IP區塊之一組態； 圖3展示RTC IP區塊之輸入處理電路； 圖4展示RTC IP區塊之深度升級(DUP)； 圖5至圖7繪示各種立體深度估測使用情況； 圖8及圖9繪示各種單視域深度估測使用情況； 圖10至圖13對應於圖5至圖8之使用情況，但現在使用如參考圖3描述之輸入處理電路描繪； 圖14及圖15提供與圖10至圖13之使用情況相關之概要； 圖16至圖18繪示視訊資料之緩衝器管理； 圖19展示用於立體視訊資料之即時轉換之一排程； 圖20展示用於立體視訊資料之即時轉換之另一排程； 圖21展示用於單視域視訊資料之即時轉換之一排程；及 圖22展示用於單視域視訊資料之即時轉換之另一排程。 應注意，在不同圖中具有相同元件符號之品項具有相同結構特徵及相同功能，或係相同信號。在已解釋此一品項之功能及/或結構之情況中，在詳細描述中不必重複其解釋。 元件符號清單 提供以下元件符號清單用於促進圖式之解譯且不應理解為限制發明申請專利範圍。

110‧‧‧即時轉換IP區塊

120‧‧‧輸入處理電路

130‧‧‧區塊匹配電路

140‧‧‧聯合雙邊濾波器

150‧‧‧深度升級電路

160‧‧‧嵌入式CPU核心

200‧‧‧單視域深度估測器

210‧‧‧立體深度估測器

Claims (10)

1. 一種經組態用於視訊資料之即時深度估測之系統單晶片(100)，該系統單晶片包括： 一單視域深度估測器(200)，其經組態以執行自單視域類型視訊資料進行單視域深度估測； 一立體深度估測器(210)，其經組態以執行自立體類型視訊資料進行立體深度估測； 一記憶體介面，其用於實現對一共用記憶體(010)之直接記憶體存取；其中該系統單晶片可重新組態以在定義選定深度估測模式之組態資料之基礎上執行該單視域深度估測或該立體深度估測，其中該單視域深度估測器及該立體深度估測器包括： 一可重新組態之共用輸入處理電路(120)，其在硬體中具現化且可由該組態資料重新組態以： 藉由根據複數個縮減因數空間縮減輸入影像而針對該視訊資料之各輸入影像產生經縮減影像之一階層，其中該輸入處理電路可由該組態資料組態以選擇針對該立體深度估測與針對該單視域深度估測輸出之經縮減影像之該階層之一不同子集以獲得使用情況特定之經縮減視訊資料，且 將該使用情況特定之經縮減視訊資料儲存於該共用記憶體中； 各分開地，一深度估測器核心電路(130、140)，其在硬體中具現化且經組態以： 存取該視訊資料或該使用情況特定之經縮減視訊資料， 自該經存取視訊資料估測深度資料，該深度資料具有低於該視訊資料之空間解析度之一空間解析度，且 將該深度資料儲存於該共用記憶體中； 一可重新組態之共用深度升級電路(150)，其在硬體中具現化且可由該組態資料重新組態以： 存取該深度資料及該使用情況特定之經縮減視訊資料，且 在連續步驟中使用該使用情況特定之經縮減視訊資料升級該深度資料，其中該深度升級電路可由該組態資料組態以根據該選定深度估測模式針對該立體深度估測與針對該單視域深度估測使用不同連續步驟。
2. 如請求項1之系統單晶片(100)，其中該單視域深度估測器之該深度估測器核心電路(140)實施一聯合雙邊濾波器，該聯合雙邊濾波器在經應用至該視訊資料或該使用情況特定之經縮減視訊資料之一影像時，提供一深度圖作為輸出。
3. 如請求項1或2之系統單晶片(100)，其中該立體深度估測器之該深度估測器核心電路(130)實施一區塊匹配器，該區塊匹配器在經應用至該視訊資料或該使用情況特定之經縮減視訊資料之一立體影像對時，提供一深度圖作為輸出。
4. 如請求項1或2之系統單晶片(100)，其中該輸入處理電路(120)可由該組態資料組態以除了針對各輸入影像產生經縮減影像之該階層之外，亦進一步輸出該輸入影像之一未按比例調整版本，且將來自原始視訊資料之該輸入影像之該未按比例調整版本作為單獨視訊資料儲存於該共用記憶體(010)中。
5. 如請求項4之系統單晶片(100)，其中各深度估測器核心電路(130、140)經組態以在使用該輸入影像之該未按比例調整版本估測該深度資料時，使用該單獨視訊資料而非該原始視訊資料。
6. 如請求項4之系統單晶片(100)，其中該輸入處理電路(120)可由該組態資料組態以： 針對單視域深度估測，產生該輸入影像之該未按比例調整版本作為該輸入影像之一直接副本；且 針對立體深度估測，產生該輸入影像之該未按比例調整版本作為該輸入影像之一直方圖調整版本。
7. 如請求項1或2之系統單晶片(100)，其經組態用於視訊資料之延時減少之即時深度估測，其中： 各深度估測器核心電路(130、140)經組態用於自該使用情況特定之經縮減視訊資料之一照度資料分量估測該深度資料； 該深度升級電路(150)經組態用於使用該使用情況特定之經縮減視訊資料之一色度資料分量升級該深度資料；且 該輸入處理電路(120)經組態用於時間多工該視訊資料之該空間縮減，該時間多工包括針對該視訊資料之各輸入影像或立體輸入影像對，在空間縮減該色度資料分量之前空間縮減該照度資料分量。
8. 如請求項7之系統單晶片(100)，其中該深度升級電路(150)經組態以使用一聯合雙邊濾波器升級該深度資料，其中自該使用情況特定之經縮減視訊資料之該色度資料分量導出該聯合雙邊濾波器之範圍性質。
9. 如請求項1或2之系統單晶片(100)，其中以下之至少一者：該空間縮減該視訊資料及該深度資料之該升級，係在2×2按比例調整之一個或若干重複步驟中執行。
10. 一種暫時性或非暫時性電腦可讀媒體，其包括一資料結構，該資料結構包括以網路連線表及/或可合成RTL之形式定義如在請求項1至9中任一項中定義之該等電路之一或多者之資料。