TWI583186B - 包括以深度爲基之視差向量校正的３ｄ視訊編碼 - Google Patents

包括以深度爲基之視差向量校正的３ｄ視訊編碼 Download PDF

Info

Publication number
TWI583186B
TWI583186B TW103146299A TW103146299A TWI583186B TW I583186 B TWI583186 B TW I583186B TW 103146299 A TW103146299 A TW 103146299A TW 103146299 A TW103146299 A TW 103146299A TW I583186 B TWI583186 B TW I583186B
Authority
TW
Taiwan
Prior art keywords
block
disparity vector
sub
disparity
corrected
Prior art date
Application number
TW103146299A
Other languages
English (en)
Other versions
TW201515448A (zh
Inventor
張文豪
邱義真
徐利同
韓愈
鄧子平
Original Assignee
英特爾股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 英特爾股份有限公司 filed Critical 英特爾股份有限公司
Publication of TW201515448A publication Critical patent/TW201515448A/zh
Application granted granted Critical
Publication of TWI583186B publication Critical patent/TWI583186B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

包括以深度為基之視差向量校正的3D視訊編碼
此處所述之實施例係關於包括以深度為基之視差向量校正的3D視訊編碼。
視訊加碼器壓縮視訊資訊，使得更多資訊可透過給定帶寬傳送。然後可能在將壓縮訊號傳輸至顯示器之前，傳輸至解碼或解壓縮該訊號的接收器。
3D視訊編碼(3DVC)係指目標指向服務各式各樣3D顯示的新視訊壓縮標準。3DVC係由ISO/IEC動畫專家群組(MPEG)所發展。目前，3DVC係基於最新的習知視訊編碼標準，高效視訊編碼(HEVC)建立，其計畫在2012年底定案。
加入深度的多視野視訊(MVD)觀念常用於代表3D視訊內容，其中典型地將許多視野及關聯深度圖編碼及多工入位元串流中。為了視野合成，也典型地將各視野的攝影機參數封裝入位元串流中。典型地將稱為基底視野或獨立視野的該等視野之一者與其他視野獨立地編碼。針對該等 相依視野，視訊及深度可從其他視野的圖像或相同視野中的先前編碼圖像預測。根據本特定申請案，可藉由忽略不需要的位元串流封包在解碼器側擷取次位元串流。
100‧‧‧3D視訊編碼系統
102‧‧‧傳送器
103‧‧‧3D視訊加碼器
104‧‧‧3D接收器
105‧‧‧3D視訊解碼器
106‧‧‧立體接收器
107‧‧‧立體視訊解碼器
108‧‧‧2D接收器
109‧‧‧2D視訊解碼器
110‧‧‧位元串流擷取器
112、113、116、117‧‧‧視訊圖像
114、115、118、119‧‧‧深度圖
120、121‧‧‧視野圖像
122‧‧‧獨立視野圖像
130‧‧‧中間視野合成
140‧‧‧N-視野顯示器
142‧‧‧立體顯示器
144‧‧‧2D顯示器
200、300‧‧‧3D視訊編碼處理
306‧‧‧邏輯模組
307‧‧‧PU解碼邏輯模組
308‧‧‧內預測邏輯模組
309‧‧‧動作補償邏輯模組
310‧‧‧視差補償邏輯模組
400‧‧‧預測單元
402‧‧‧主視差向量
410、411、412、413‧‧‧次區塊
415、416、417、418‧‧‧特徵深度值
420、421、422、423‧‧‧視差向量
502、620、704‧‧‧顯示器
504‧‧‧成像裝置(等)
506、610‧‧‧處理器
508‧‧‧記憶體儲存器
510‧‧‧校正邏輯模組
600‧‧‧系統
602‧‧‧平台
605‧‧‧晶片組
612‧‧‧記憶體
614‧‧‧儲存器
615‧‧‧圖形次系統
616‧‧‧應用程式
618‧‧‧無線電
622‧‧‧使用者介面
630‧‧‧內容服務裝置(等)
640‧‧‧內容傳遞裝置(等)
650‧‧‧導航控制器
660‧‧‧網路
700‧‧‧裝置
702‧‧‧外殼
706‧‧‧輸入/輸出(I/O)裝置
708‧‧‧天線
712‧‧‧導航特徵
描述於本文的素材在該等隨附圖式中係經由範例之方式而非限制的方式說明。為使說明簡化及明確，描繪於該等圖式中的元件不一定按比例繪製。例如，部分元件的尺寸可能為了清楚而相對於其他元件誇大。另外，在適當的情形下，參考標籤已於該等圖式之間重複，以指示對應或類似元件。在該等圖式中： 圖1係範例3D視訊編碼系統的說明圖；圖2係說明範例3D視訊編碼處理的流程圖；圖3係操作中之範例3D視訊編碼處理的說明圖；圖4係範例視差向量校正的說明圖；圖5係範例3D視訊編碼系統的說明圖；圖6係範例系統的說明圖；且圖7係全部依據本揭示發明的至少部分實作配置之範例系統的說明圖。
【發明內容及實施方式】
現在參考附圖描述一或多個實施例或實作。在討論具體組態及配置的同時，應理解其僅針對說明目的而完成。熟悉本相關技術的人士將認知可能使用其他組態及配置而 不脫離本描述的精神及範圍。也可能將本文描述的技術及/或配置使用在本文描述之系統及應用以外的各式各樣的其他系統及應用中對熟悉本相關技術的人士將係明顯的。
在下文描述陳述可能出現在，諸如，系統單晶片(SoC)架構之架構中的各種實作的同時，本文描述之技術及/或配置的實作並未受限於特定架構及/或計算系統，並可能針對相似目的藉由任何架構及/或計算系統實作。例如，使用多積體電路(IC)晶片及/或封裝的各種架構，及/或各種計算裝置及/或消費性電子(CE)裝置，諸如，機上盒、智慧型手機等，可能實作本文描述的技術及/或配置。另外，當下文描述可能陳述許多特定細節，諸如，邏輯實作、系統組件的種類及相互關係、邏輯分割/積體選擇等的同時，申請專利範圍內的標的事項可能無需此等具體細節而實踐。在其他實例中，部分素材，諸如，控制結構及全軟體指令序列，可能未詳細地顯示，以避免混淆本文揭示的素材。
本文揭示的素材可能以硬體、韌體、軟體、或彼等的任何組合實作。本文揭示的素材也可能實作為儲存在機器可讀取媒體上的指令，彼等可能藉由一或多個處理器讀取及執行。機器可讀取媒體可能包括用於以可由機器(例如，計算裝置)讀取之形式儲存或傳輸資訊的任何媒體及/或機制。例如，機器可讀取媒體可能包括唯讀記憶體(ROM)；隨機存取記憶體(RAM)；磁碟儲存媒體；光學儲存媒體；快閃記憶體裝置；電、光、聲、或其他形式的傳 播訊號(例如，載波、紅外線訊號、數位訊號等)、及其他。
引用於本說明書中的「一實作」、「實作」、「範例實作」等指示所描述的實作可能包括特定特性、結構、或特徵，但可能不係每個實作均需包括該特定特性、結構、或特徵。此外，此種片語不必然指相同的實作。另外，當特定特性、結構、或特徵關聯於實作描述時，無論是否明顯地於本文中描述，認為其係在熟悉本發明之人士的知識內，以影響與其他實作關聯之此種特性、結構、或特徵。
於下文描述包括用於包括以深度為基之視差向量校正的3D視訊編碼之操作的系統、設備、物品、及方法。
如上文所述，在部分情形中，習知視訊加碼演算法導致損失。亦即，在壓縮視訊資訊的進程中，可能損失部分資訊，導致圖像品質下降。理想上，將視訊品質改善至最大可能程度並將壓縮增加至最大可能程度。然而，此等二目的傾向於彼此矛盾。
如將更詳細地於下文描述的，用於3D視訊編碼的操作可能使用深度為基的視差向量校正技術。例如，可能將深度為基之視差向量校正技術用於3DVC。
用於編碼相依視野的一視野間編碼工具係視差補償預測(DCP)，可能將其作為替代項目加至動作補償預測(MCP)。MCP可能指使用相同視野之已編碼圖像的圖像間預測，而DCP可能指使用其他視野之已編碼圖像的圖像間預測。
可能在間預測預測單元(PU)之解碼(或加碼)處理中的補償之前，插入深度為基的視差向量校正模組。當PU受視差補償時，視差向量值可能藉由位元串流傳輸或使用某主視差向量預測設計導出。屬於該PU的所有像素可能使用相同的主視差向量值以從參考視野圖像產生預測像素。若施用深度為基的視差向量校正，視差向量值可能基於對應深度圖值針對PU中的不同區域改善。
圖1係全部依據本揭示發明的至少部分實作配置之範例3D視訊編碼系統100的說明圖。在說明實作中，3D視訊編碼系統100可能包括一或多種顯示器(例如N-視野顯示器140、立體顯示器142、或2D顯示器144等)、一或多個成像裝置(未圖示)、3D視訊加碼器103、3D視訊解碼器105、立體視訊解碼器107、2D視訊解碼器109、及/或位元串流擷取器110。
在部分範例中，3D視訊編碼系統100可能包括為了清楚而未顯示於圖1中的額外項目。例如，3D視訊編碼系統100可能包括處理器、射頻型(RF)收發器、及/或天線。另外，3D視訊編碼系統100可能包括為了清楚而未顯示於圖1中的額外項目，諸如，揚聲器、麥克風、加速度計、記憶體、路由器、網路介面邏輯等。
如本文所使用的，術語「編碼器」可能指加碼器及/或解碼器。相似地，如本文所使用的，術語「編碼」可能指經由加碼器加碼及/或經由解碼器解碼。例如，3D視訊加碼器103及3D視訊解碼器105二者可能係能3D編碼 之編碼器的範例。
在部分範例中，傳送器102可能接收來自多個成像裝置(未圖示)的多個視野。用於3D加碼器103的輸入訊號可能包括多個視野(例如，視訊圖像112及113)、關聯深度圖(例如，深度圖114及115)、及對應攝影機參數(未圖示)。然而，3D視訊編碼系統100也可不使用深度資料操作。使用3D視訊加碼器103將輸入成份訊號編碼入位元串流中，其中基底視野可能使用2D視訊加碼器編碼，例如，H264/AVC加碼器或高效視訊編碼(HEVC)加碼器。若使用3D視訊解碼器105藉由3D接收器104將來自位元串流擷取器110的位元串流解碼，可能以給定保真度重構視訊(例如，視訊圖像116及117)、深度資料(例如，深度圖118及119)、及/或攝影參數(未圖示)。
在其他範例中，若針對將3D視訊顯示在自動立體顯示器(例如，立體顯示器142)上藉由立體接收器106將來自位元串流擷取器110的位元串流解碼，可能使用重構視野及深度資料藉由深度圖像繪圖(DIBR)演算法產生額外的中間視野(例如，二視野圖像120及121)。若將3D視訊解碼器103連接至習知立體顯示器(例如，立體顯示器142)，如果一對立體視野未實際出現在來自位元串流擷取器110的位元串流中，中間視野合成130也可能產生此種對。
在其他範例中，若藉由2D接收器108解碼來自位元串流擷取器110的位元串流，也可使用已解碼視野之一者 (例如，獨立視野圖像122)或在任意虛擬攝影機位置的中間視野將單一視野顯示在習知2D顯示器上(例如，2D顯示器144)。
在操作時，3D視訊編碼系統100可能實作用於包括深度為基的視差向量校正之3D視訊編碼的操作。如將於下文更詳細地描述的，可能將此種深度為基的視差向量校正應用至視訊壓縮問題。在3D視訊壓縮編碼中，可能將多個視野及關聯深度圖編碼在位元串流中，以支援各種3D視訊應用。可能使用視野間預測技術移除不同視野間的冗餘，其中可能將視差補償為基的視野間預測作為替代項目加至動作補償預測。當估算視差並用於補償時，屬於不同深度等級的視訊內容典型地有不同行為。因此，此種深度為基的視差向量校正可能使用可能分割為次區塊的視差補償區塊，其中特徵深度值可能針對各次區塊導出。之後，可能藉由使用預界定深度模型修改各次區塊的視差向量。因此，此種深度為基的視差向量校正可能改善3D視訊編碼的編碼效率及彈性。
如將於下文更詳細地討論的，3D視訊編碼系統100可能用於實施相關於圖2及/或3於下文討論的部分或所有各種函數。
圖2係描繪依據本揭示發明之至少部分實作配置的範例3D視訊編碼處理200的流程圖。在本說明實作中，處理200可能包括如藉由一或多個區塊202、204、及/或206所說明的一或多個操作，函數、或行動。藉由非限制 性範例，處理200將參考圖1及/或5的範例3D視訊編碼系統100於本文描述。
將處理200使用為動作估算之內容察覺選擇性調整的電腦實作方法。處理200可能在區塊202「校正二或多個視差向量」開始，其中可能校正二或多個視差向量。例如，與預測單元關聯的二或多個視差向量可能基於至少部分深度圖校正。此種預測單元可能對應於與深度圖關聯之視訊圖像的一部分。
處理可能從操作202持續至操作204「實施視差補償圖像間預測」，其中可能實施視差補償圖像間預測。例如，基於至少部分該等經校正視差向量，可能在該預測單元上實施視差補償圖像間預測。
處理可能從操作204持續至操作206「編碼該預測單元的預測殘餘」，其中可能將預測單元的預測殘餘編碼。例如，基於至少部分該視差補償圖像間預測，可能編碼該預測單元。在部分範例中，預測單元的編碼包括3D解碼。在另一範例中，相依視野視訊圖像的解碼可能基於至少部分已編碼預測單元。
相關於處理200的部分額外及/或其他細節可能在關於圖3於下文更詳細地討論的一或多個實作範例中說明。
圖3係依據本揭示發明的至少部分實作配置之在操作中的範例3D視訊編碼系統100及3D視訊編碼處理300的說明圖。在本說明實作中，處理300可能包括如藉由一或多個行動312、314、316、318、320、322、323、 324、326、328、及/或330說明的一或多個操作、函數、或行動。藉由非限制性範例，處理300將參考圖1及/或5的範例3D視訊編碼系統100於本文描述。
在說明實作中，3D視訊編碼系統100可能包括邏輯模組306等，及/或彼等之組合。例如，邏輯模組306可能包括PU解碼邏輯模組307、內預測邏輯模組308、動作補償邏輯模組309、視差補償邏輯模組310等、及/或彼等的組合。雖然如圖3所示的3D視訊編碼系統100可能包括與特定模組關聯的一組特定區塊或行動，此等區塊或行動可能與此處說明的特定模組不同的模組關聯。
處理300可能在區塊312「開始解碼」開始，其中可能開始解碼。例如，可能解碼對應於與深度圖關聯的視訊圖像之一部分的預測單元。雖然處理300如所說明地相關於解碼，所描述的觀念及/或操作通常可能以相同或相似方式施用至編碼，包括在加碼時。
處理可能從操作312持續至操作314「PU在圖像間？」，其中可能產生相關於預測單元是否係圖像間預測或圖像內預測的決定。例如，此種決定可能經由PU解碼邏輯模組307產生。
在操作314決定預測單元係圖像內預測的情形中，處理可能從操作314持續至操作316「內預測」，其中可能實作圖像內預測設計。例如，圖像內預測設計可能經由內預測邏輯模組308產生。
處理可能從操作316持續至操作318「內重構」，其 中可能重構內預測單元。例如，內預測單元可能基於至少部分經由內預測邏輯模組308之內預測設計的輸出重構。
在操作314決定預測單元係圖像間預測的情形中，處理可能從操作314持續至操作320「PU視差補償」，其中可能經由PU解碼邏輯模組307產生相關於預測單元應係動作補償或視差補償的決定。
在操作320決定預測單元不應係視差補償的情形中，處理可能從操作320持續至可能實施動作補償圖像間預測的操作322「動作補償」，以及操作323「間重構」。例如，動作補償圖像間預測可能基於至少部分相同視野的已編碼圖像經由動作補償邏輯模組309在預測單元上實施。
在操作320決定預測單元應係視差補償的情形中，處理可能從操作320持續至操作324「深度為基的視差向量校正」，其中可能校正二或多個視差向量。例如，與預測單元關聯的二或多個視差向量可能基於至少部分深度圖經由視差補償邏輯模組310(或經由分離校正邏輯模組(未圖示))校正。此種預測單元可能對應於與深度圖關聯之視訊圖像的一部分。
處理可能從操作324持續至可能實施視差補償圖像間預測的操作326「視差補償」，以及操作328「間重構」。例如，基於至少部分該等經校正視差向量，可能在該預測單元上實施視差補償圖像間預測。例如，視差補償圖像間預測可能基於至少部分其他視野的已編碼圖像經由視差補償邏輯模組310在預測單元上實施。
處理可能從操作318、323、及/或328持續至操作330「結束解碼PU」，其中可能編碼預測單元。例如，基於至少部分該視差補償圖像間預測，可能編碼該預測單元。在部分範例中，預測單元的編碼包括3D解碼。在另一範例中，相依視野視訊圖像的解碼可能基於至少部分已編碼預測單元經由PU解碼邏輯模組307。
當範例操作200及300的實作如圖2及3所說明地可能包括所顯示的所有區塊以說明次序實行時，本揭示發明並未在此方面受限制，且在各種範例中，處理200及300的實作可能包括僅實行所顯示之區塊的子集及/或以與說明不同的次序實行。
此外，圖2及3的任何一或多個區塊可能響應於藉由一或多個電腦程式產品提供的指令而實行。此種程式產品可能包括提供指令的訊號承載媒體，當，例如，藉由處理器執行該等指令時，可能提供本文描述的功能。電腦程式產品可能以任何電腦可讀取媒體的形式提供。因此，例如，包括一或多個處理器核心(等)的處理器可能響應於藉由電腦可讀取媒體運送至處理器的指令實行顯示於圖2及3中的一或多個區塊。
如在本文描述之任何實作中所使用的，術語「模組」係指組態成提供本文描述之功能的軟體、韌體、及/或硬體的任何組合。可能將該軟體具現為套裝軟體、碼、及/或指令集或指令，且「硬體」，如在本文描述之任何實作中所使用的，可能包括，例如，單獨地或以任何組合地， 硬接電路、可程式化電路、狀態機電路、及/或儲存藉由可程式化電路執行之指令的韌體。可能將該等模組，共同地或獨立地，具現為形成較大系統之一部分的電路，例如，積體電路(IC)、及系統單晶片(SoC)等。
圖4係依據本揭示發明的至少部分實作之範例視差向量校正的說明圖。在說明實作中，可能在校正二或多個視差向量(例如，視差向量420、421、422及423)之前，將與主視差向量402關聯的預測單元400分割為二或多個次區塊(例如，次區塊410、411、412及413)。如本文所使用的，術語「主視差向量」可能指與視差向量校正前的目前預測單元400關聯的原始視差向量。
在部分範例中，將預測單元400至二或多個次區塊的分割參數化，使得可用的最精細分割等於每像素等級分割。例如，二或多個次區塊410、411、412及413各者可能小至單一像素。
在部分實作中，可能在第一種預測單元及與第一種不同的第二種預測單元之間產生區分，其中第一及第二種預測單元基於一或多個下列準則不同：切片等級準則、圖像等級準則、及視野等級準則等、及/或彼等的組合。此種切片等級準則可能基於至少部分不同切片間的變化(例如，正在編碼之目前視訊圖像的不同部分)用於在第一及第二種預測單元之間區分。此種圖像等級準則可能基於至少部分不同圖像間的變化(例如，二或多個視訊圖像間的不同，諸如，正在編碼之目前視訊圖像及參考視訊圖像之 間)用於在第一及第二種預測單元之間區分。此種視野等級準則可能基於至少部分不同視野間的變化(例如，與不同視訊圖像關聯的二或多個視野間的不同，諸如，與正在編碼之目前視訊圖像關聯的視野及與參考視訊圖像關聯的視野之間)用於在第一及第二種預測單元之間區分。例如，切片等級準則、圖像等級準則、及/或視野等級準則可能用於指示在第一種預測單元中之相對同質深度及第二種預測單元中的相對異質深度之間的區別。例如，可能將第一參數值設定成使得完全不分割同質深度預測單元，同時可能將第二參數值設定成使得將異質深度預測單元分割為多個部分。
在部分範例中，預測單元400可能使用用於第一種預測單元的第一參數值選擇性地分割，且預測單元400可能使用用於第二種預測單元之與第一參數值不同的第二參數值選擇性地分割。例如，可能將第一參數值設定成使得完全不分割第一種預測單元，同時可能將第二參數值設定成使得將第二種預測單元分割為多個部分。
在另一範例中，可能基於至少部分預測單元400的尺寸在第一種預測單元及與第一種預測單元不同的第二種預測單元之間產生區分。例如，可能將第一參數值設定成使得針對大預測單元400精細地分割第一種預測單元，同時將第二參數值設定成使得針對相對小預測單元400粗略地分割第二種預測單元。
在另一範例中，可能在校正二或多個視差向量420、 421、422及423之前，將預測單元400分割為二或多個次區塊410、411、412及413。二或多個視差向量420、421、422及423的校正可能包括基於至少部分選自下列特徵深度值的特徵深度值415、416、417、及418針對二或多個次區塊410、411、412及413的個別次區塊校正二或多個視差向量420、421、422及423的個別向量：與個別次區塊關聯的平均深度值、對應於與個別次區塊關聯之中央像素的深度值、對應於個別次區塊的中間深度值等、及/或彼等的組合。
在另一範例中，二或多個視差向量420、421、422及423的校正可能包括基於至少部分固定深度模式、縮放因子、偏移因子等、及/或彼等的組合，經由解碼器針對二或多個次區塊410、411、412及413的個別次區塊校正二或多個視差向量420、421、422及423的個別向量。例如，縮放因子或偏移因子可能等於固定值，其可能依標準界定且不在加碼及解碼期間改變。
在部分範例中，二或多個視差向量420、421、422及423的校正可能包括基於至少部分與個別次區塊關聯的特徵深度值415、416、417、及418，經由解碼器決定用於二或多個次區塊410、411、412及413之個別次區塊的縮放因子。偏移因子可能基於至少部分與個別次區塊關聯的特徵深度值415、416、417、及418，針對二或多個次區塊410、411、412及413的個別次區塊經由解碼器決定。 可能基於至少部分該縮放因子及偏移因子，針對二或多個次區塊410、411、412及413的個別次區塊，經由解碼器校正二或多個視差向量420、421、422及423的個別向量。
在另一範例中，二或多個視差向量420、421、422及423的校正可能包括經由解碼器從加碼器接收用於二或多個次區塊410、411、412及413之個別次區塊的縮放因子，該縮放因子先前已基於至少部分與個別次區塊關聯的特徵深度值415、416、417、及418藉由加碼器決定。用於二或多個次區塊410、411、412及413之個別次區塊的偏移因子可能經由解碼器從加碼器接收，該縮放因子先前已基於至少部分與個別次區塊關聯的特徵深度值415、416、417、及418藉由加碼器決定。可能基於至少部分該縮放因子及偏移因子，針對二或多個次區塊410、411、412及413的個別次區塊，經由解碼器校正二或多個視差向量420、421、422及423的個別向量。
在部分範例中，其中該縮放因子及該偏移因子可能基於至少部分成像裝置參數決定。例如，可能將攝影機參數導出深度模型施用至視差向量校正。例如，可能藉由使用與正在編碼之目前視訊圖像關聯的攝影機參數(例如，成像裝置位置資料及/或定向資料)導出相關於不同深度值的縮放因子及偏移因子。
在另一範例中，二或多個視差向量420、421、422及423的校正可能包括選擇性地校正與主要種類的預測單元 關聯之二或多個視差向量420、421、422及423，及僅校正與主要種類不同之次要種類的預測單元關聯之單一視差向量，其中主要及次要種類的預測單元基於一或多個下列準則不同：切片等級準則、圖像等級準則、及視野等級準則等、及/或彼等的組合。
在另一範例中，可能基於至少部分與預測單元400關聯的旗標，在主要種類的預測單元及與主要種類不同之次要種類的預測單元之間產生區分。該等二或多個視差向量420、421、422及423的校正可能包括選擇性地校正與該主要種類的預測單元關聯的該等二或多個視差向量420、421、422及423，並僅校正與第一種類不同之該次要種類的預測單元關聯的單一視差向量。
如將於下文更詳細地描述的，深度為基之視差向量校正主要使用三個步驟。首先，可能將預測單元400區塊分割為二或多個次區塊410、411、412及413。其次，可能導出用於個別次區塊410、411、412及413的特徵深度值415、416、417、及418。第三，可能使用深度為基之模型導出個別次區塊410、411、412及413、已校正視差向量420、421、422及423。二或多個視差向量420、421、422及423的校正可能包括基於至少部分與個別次區塊關聯的特徵深度值415、416、417、及418，決定用於二或多個次區塊410、411、412及413之個別次區塊的縮放因子。偏移因子可能基於至少部分與個別次區塊關聯的特徵深度值415、416、417、及418，針對二或多個次區塊 410、411、412及413的個別次區塊決定。
首先，可能將預測單元400區塊分割為二或多個次區塊410、411、412及413。例如，假設目前視差補償預測單元400具有N×M的尺寸。首先，可能將目前視差補償預測單元400分割為具有K×L之尺寸的數個不重疊次區塊410、411、412及413，其中K及L可能藉由稱為dv_calibrate_granularity的參數控制，如以下之方程式(1)中說明的。
K=N/dv_calibrate_granularity；L=M/dv_calibrate_granularity (1)
例如，若預測單元400的尺寸係16×16且參數dv_calibrate_granularity等於2，可能將此預測單元400分割為具有等於8×8之尺寸的四個次區塊。
其次，可能導出用於個別次區塊410、411、412及413的特徵深度值415、416、417、及418。例如，針對具有等於K×L之尺寸的各次區塊410、411、412及413，可從深度圖圖像發現其之具有等於K'×L'之尺寸的對應深度區塊。可能導出用於各次區塊410、411、412及413的特徵深度值415、416、417、及418，彼等可能係在次一步驟中用於深度為基之視差向量校正模型的輸入參數。例如，假設將第i個次區塊的特徵深度值415、416、417、及418標示為depthi。
可使用各式各樣的方式以導出特徵深度值415、416、417、及418，例如，K'×L'深度區塊的平均值、及K'×L'深度區塊的中間值等。此外，當用於目前圖像的深度 圖資料不可用時，也可使用估算深度資料以降低特徵深度值。
第三，可能使用深度為基之模型導出個別次區塊410、411、412及413、已校正視差向量420、421、422及423。例如，假設目前預測單元400的主視差向量402等於(dvx,dvy)，其中dvx及dvy分別係水平成份及垂直成份。可能將視差向量420、421、422及423校正為以下顯示的方程式(2)。
(dv xi ,dv yi )=DVCalibrate(dv x ,dv y ,depth i )(2)
其中DVCalibrate(．)指示視差向量校正函數，且(dvxi,dvyi)指示用於第i個次區塊的輸出視差向量值。
最終，可能藉由使用彼等的對應校正視差向量420、421、422及423，取代使用用於預測單元400中之所有像素的相同主視差向量402，補償目前預測單元400中的所有次區塊410、411、412及413。圖4顯示視差向量的校正範例，其中將預測單元400分割為四個次區塊以實施視差向量校正。例如，假設將第i個次區塊的特徵深度值415、416、417、及418標示為depthi(例如，對應於depth0、depth1、depth2、及depth3)。例如，可藉由以下的方程式(3)及(4)表示在上文中標示為DVCalibrate()的深度為基之視差向量校正邏輯模組。
dv xi =S x (depth i )+O x (depth i )；dv yi =S y (depth i )+O y (depth i ) (3)
其中Sx(．)及Sy(．)指示用於視差向量值的縮放因子，且Ox(．)及Oy(．)指示用於視差向量值的偏移因 子。例如，若將Sx(depthi)及Sy(depthi)固定為等於1，且
則意謂著若目前次區塊的特徵深度值少於或等於臨界TH，視差向量值可能增加1；若目前次區塊的特徵深度值大於TH，視差向量值可能減少1。
可使用各種方法設計Sx(．)、Sy(．)、Ox(．)、及/或Oy(．)的具體實作。例如，可將固定值(例如，固定深度模型)使用在加碼器及解碼器二者中、或可能藉由加碼器推斷的函數及值並藉由位元串流傳輸至解碼器、或函數及值可藉由使用先前編碼的資訊在解碼器自導出等、及/或彼等的組合。
圖5係全部依據本揭示發明的至少部分實作配置之範例3D視訊編碼系統100的說明圖。在說明實作中，3D視訊編碼系統100可能包括顯示器502、成像裝置(等)504、3D視訊加碼器103、3D視訊解碼器105、及/或邏輯模組306。邏輯模組306可能包括PU解碼邏輯模組307、內預測邏輯模組308、動作補償邏輯模組309、視差補償邏輯模組310、校正邏輯模組510等、及/或彼等的組合。
如所描繪的，顯示器502、3D視訊解碼器105、處理器506、及/或記憶體儲存器508可能能與另一者通訊及/或與邏輯模組306的部分通訊。相似地，成像裝置(等)504及3D視訊加碼器103可能能與另一者通訊及/或與邏輯模組306的部分通訊。因此，3D視訊解碼器105可能包括所有或部分的邏輯模組306，同時3D視訊加碼 器103可能包括相似的邏輯模組。雖然如圖5所示的3D視訊編碼系統100可能包括與特定模組關聯的一組特定區塊或行動，此等區塊或行動可能與此處說明的特定模組不同的模組關聯。
在部分範例中，可能將顯示裝置502組態成呈現視訊資料。處理器506可能通訊地耦合至顯示裝置502。記憶體儲存器508可能通訊地耦合至處理器506。校正邏輯模組510可能通訊地耦合至處理器506，並可能組態成基於至少部分深度圖校正與預測單元關聯的二或多個視差向量。該預測單元可能對應於與深度圖關聯之視訊圖像的一部分。視差補償邏輯模組310可能通訊地耦合至校正邏輯模組510並可能組態成基於至少部分該等經校正視差向量，在該預測單元上實施視差補償圖像間預測。編碼器(例如，3D視訊解碼器105或3D視訊加碼器103)可能通訊地耦合至視差補償邏輯模組310並可能組態成基於至少部分用於呈現在顯示裝置上的視差補償圖像間預測編碼預測單元。
在各種實施例中，校正邏輯模組510及/或視差補償邏輯模組310可能以硬體實作，同時可能以軟體實作PU解碼邏輯模組307、內預測邏輯模組308、及/或動作補償邏輯模組309。例如，在部分實施例中，校正邏輯模組510及/或視差補償邏輯模組310可能藉由特定應用積體電路(ASIC)邏輯實作，同時PU解碼邏輯模組307、內預測邏輯模組308、及/或動作補償邏輯模組309可能藉由邏 輯，諸如，處理器506，執行的軟體指令提供。然而，本揭示發明並未受限於此方面，且PU解碼邏輯模組307、內預測邏輯模組308、動作補償邏輯模組309、校正邏輯模組510、及/或視差補償邏輯模組310可能藉由硬體、韌體、及/或軟體的任何組合實作。此外，記憶體儲存器508可能係任何種類的記憶體，諸如，揮發性記憶體(諸如，靜態隨機存取記憶體(SRAM)、及動態隨機存取記憶體(DRAM)等)或非揮發性記憶體(例如，快閃記憶體等)等。在非限制性範例中，記憶體儲存器508可能藉由快取記憶體實作。
圖6描繪根據本揭示發明的範例系統600。在各種實作中，系統600可能係媒體系統，雖然系統600並未受限於此背景。例如，系統600可能併入個人電腦(PC)、膝上型電腦、超輕薄膝上型電腦、平板電腦、觸控板、可攜式電腦、手持電腦、掌上型電腦、個人數位助理(PDA)、行動電話、組合式行動電話/PDA、電視、智慧型裝置(例如，智慧型手機、智慧型平板電腦、或智慧型電視)、行動網際網路裝置(MID)、發訊裝置、資料通訊裝置等。
在各種實作中，系統600包括耦合至顯示器620的平台602。平台602可能從內容裝置接收內容，諸如，內容服務裝置(等)630或內容傳遞裝置(等)640或其他相似內容來源。可能將包括一或多個導航特徵的導航控制器650用於與，例如，平台602及/或顯示器620互動。此等組件各者於下文更細詳地描述。
在各種實作中，平台602可能包括晶片組605、處理器610、記憶體612、儲存器614、圖形次系統615、應用程式616、及/或無線電618的任何組合。晶片組605可能提供在處理器610、記憶體612、儲存器614、圖形次系統615、應用程式616、及/或無線電618之間的內部通訊。例如，晶片組605可能包括能提供與儲存器614之內部通訊的儲存器配接器(未描繪)。
可能將處理器610實作為複雜指令集電腦(CISC)或精簡指令集電腦(RISC)處理器；x86指令集相容處理器、多核心、或任何其他微處理器或中央處理單元(CPU)。在各種實作中，處理器610可能係雙核心處理器(等)、雙核心行動處理器(等)等。
可能將記憶體612實作為揮發性記憶體裝置，諸如，但未受限於隨機存取記憶體(RAM)、動態隨機存取記憶體(DRAM)、或靜態RAM(SRAM)。
可能將儲存器614實作為非揮發性儲存裝置，諸如，但未受限於磁碟機、光碟機、磁帶機、內部儲存裝置、附接儲存裝置、快閃記憶體、電池備援SDRAM(同步DRAM)、及/或可網路存取儲存裝置。在各種實作中，例如，當包括多個硬碟機時，儲存器614可能針對有價值的數位媒體包括增加儲存效能增強保護的技術。
圖形次系統615可能針對顯示器實施，諸如，靜態或視訊影像處理。例如，圖形次系統615可能係圖形處理單元(GPU)或視覺處理單元(VPU)。可能使用類比或數位介 面以通訊地耦合圖形次系統615及顯示器620。例如，該介面可能係高解析多媒體介面、Display Port、無線HDMI、及/或無線HD適應技術的任何一者。可能將圖形次系統615積體入處理器610或晶片組605中。在部分實作中，圖形次系統615可能係通訊地耦合至晶片組605的獨立卡。
可能將本文描述的圖形及/或視訊處理技術實作在各種硬體架構中。例如，可能將圖形及/或視訊功能積體在晶片組內。或者，可能使用獨立圖形及/或視訊處理器。作為另一實作，圖形及/或視訊功能可能藉由通用處理器提供，包括多核心處理器。在另一實作中，可能將該等功能實作在消費性電子裝置中。
無線電618可能包括能使用各種合適無線通訊技術傳輸及接收訊號的一或多個無線電。此種技術可能包含跨越一或多個無線網路的通訊。範例無線網路包括(但未受限於)無線區域網路(WLANs)、無線個人區域網路(WPANs)、無線都會區域網路(WMANs)、蜂巢式網路、及人造衛星網路。在跨越此種網路的通訊中，無線電618可能依據任何版本的一或多個可應用標準操作。
在多種實作中，顯示器620可能包括任何電視型監視器或顯示器。顯示器620可能包括，例如，電腦顯示器螢幕、觸控螢幕顯示器、視訊監視器、電視類裝置、及/或電視。顯示器620可能係數位及/或類比的。在各種實作中，顯示器620可能係全像顯示器。又，顯示器620可能 係可能接收虛擬投影的透明表面。此種投影可能表達各種形式的資訊、影像、及/或物件。例如，此種投影可能係用於行動式擴增實境(MAR)應用的視覺重疊。在一或多個軟體應用程式616的控制下，平台602可能將使用者介面622顯示在顯示器620上。
在各種實作中，例如，內容服務裝置(等)630可能由任何國家、國際、及/或獨立服務所託管，且因此可經由網際網路為平台602所存取。可能將內容服務裝置(等)630耦合至平台602及/或顯示器620。可能將平台602及/或內容服務裝置(等)630耦合至網路660，以與網路660通訊(例如，傳送及/或接收)媒體資訊。也可能將內容傳遞裝置(等)640耦合至平台602及/或顯示器620。
在各種實作中，內容服務裝置(等)630可能包括有線電視盒、個人電腦、網路、電話、能傳遞數位資訊及/或內容的網際網路致能裝置或器具、及能經由網路660或直接在內容供應商及平台602及/或顯示器620之間單向或雙向地通訊內容的任何其他相似裝置。將理解可能經由網路660將內容單向地及/或雙向地通訊至系統600中之組件的任何一者及內容供應商或從彼等接收。內容的範例可能包括任何媒體資訊，包括，例如，視訊、音樂、醫學及遊戲資訊等。
內容服務裝置(等)630可能接收內容，諸如，包括媒體資訊、數位資訊、及/或其他內容的有線電視節目。內容供應商的範例可能包括任何有線或人造衛星電視或無線 電或網際網路內容供應商。所提供的範例並未意圖以任何方式限制依據本揭示發明的實作。
在各種實作中，平台602可能從具有一或多個導航特徵的導航控制器650接收控制訊號。例如，控制器650的導航特徵可能用於與使用者介面622互動。在實施例中，導航控制器650可能係指標裝置，該指標裝置可能係容許使用者將空間(例如，連續及多維的)資料輸入電腦中的電腦硬體組件(具體地說，人機介面裝置)。許多系統，諸如，圖形使用者介面(GUI)、及電視及監視器，容許使用者使用肢體手勢控制及提供資料給電腦或電視。
可能藉由指標、游標、聚焦環、或顯示在顯示器上的其他視覺指引器的移動將控制器650之導航特徵的移動複製在顯示器(例如，顯示器620)上。例如，在軟體應用程式616的控制下，可能將位於導航控制器650上的導航特徵映射成顯示在使用者介面622上的虛擬導航特徵。在實施例中，控制器650可能不係分離組件而可能被整合入平台602及/或顯示器620中。然而，本揭示發明並未受限於本文顯示或描述的該等元件或背景中。
在各種實作中，驅動器(未圖示)可能包括當致能時，在最初開機之後，致能使用者以觸碰按鍵立即開啟及關閉平台602，像是電視，的技術。即使將平台「關閉」時，程式邏輯可能容許平台602將內容串流至媒體配接器或其他內容服務裝置(等)630或內容傳遞裝置(等)640。此外，例如，晶片組605可能包括支援6.1環繞音效及/或高解析 度7.1環繞音效的硬體及/或軟體。驅動器可能包括用於積體圖形平台的圖形驅動器。在實施例中，圖形驅動器可能包含週邊組件互連(PCI)快速圖形卡。
在各種實作中，可能將顯示於系統600中的任何一或多個組件整合。例如，可能將平台602及內容服務裝置(等)630整合、或可能將平台602及內容傳遞裝置(等)640整合，或可能將平台602、內容服務裝置(等)630整合、及內容傳遞裝置(等)640整合。在各種實施例中，平台602及顯示器620可能係整合單元。例如，可能將顯示器620及內容服務裝置(等)630整合，或可能將顯示器620及內容傳遞裝置(等)640整合。此等範例未意圖限制本揭示發明。
在各種實施例中，可能將系統600實作為無線系統、有線系統、或二者之組合。當實作為無線系統時，系統600可能包括適合透過無線共享媒體通訊的組件及介面，諸如，一或多個天線、傳輸器、接收器、收發器、放大器、濾波器、控制邏輯等。無線共享媒體的範例可能包括部分無線頻譜，諸如，RF頻譜等。當實作為有線系統時，系統600可能包括適合透過有線通訊媒體通訊的組件及介面，諸如，輸入/輸出(I/O)配接卡、實體連接器，以將I/O配接卡與對應的有線通訊媒體連接、網路介面卡(NIC)、磁碟控制器、視訊控制器、音訊控制器等。有線通訊媒體的範例可能包括導線、纜線、金屬引線、印刷電路板(PCB)、背板、交換結構、半導體材料、雙扭線、同 軸電纜、光纖等。
平台602可能建立一或多個邏輯或實體通道以通訊資訊。該資訊可能包括媒體資訊及控制資訊。媒體資訊可能指代表對使用者有意義之內容的任何資料。內容的範例可能包括，例如，來自語音交談、視訊會議、串流視訊、電子郵件(「email」)訊息、語音郵件訊息、文數字符號、圖形、影像、視訊、文字等的資料。來自語音交談的資料可能係，例如，語音資訊、靜默期、背景雜訊、舒適雜訊、腔調等。控制資訊可能指代表對自動系統有意義之命令、指令、或控制字的任何資料。例如，控制資訊可能用於路由媒體資訊通過系統，或指示節點以預定方式處理媒體資訊。然而，實施例並未受限於圖6所顯示或描述的該等元件或背景中。
如上文所述，系統600可能以各種實體樣式或形狀因子具現。圖7描繪可能將系統600具現於其中之小形狀因子裝置700的實作。在實施例中，例如，可能將裝置700實作為具有無線能力的行動計算裝置。例如，行動計算裝置可能指具有處理系統及行動電源或電源供應，諸如，一或多個電池的任何裝置。
如上文所述，行動計算裝置的範例可能包括個人電腦(PC)、膝上型電腦、超輕薄膝上型電腦、平板電腦、觸控板、可攜式電腦、手持電腦、掌上型電腦、個人數位助理(PDA)、行動電話、組合式行動電話/PDA、電視、智慧型裝置(例如，智慧型手機、智慧型平板電腦、或智慧型電 視)、行動網際網路裝置(MID)、發訊裝置、資料通訊裝置等。
行動計算裝置的範例也可能包括配置成由個人穿載的電腦、諸如，腕上型電腦、指上型電腦、戒指型電腦、眼鏡型電腦、皮帶夾型電腦、臂章型電腦、鞋上型電腦、衣物型電腦、及其他可穿載電腦。在各種實施例中，例如，可能將行動計算裝置實作為能執行電腦應用程式、及語音通訊及/或資料通訊的智慧型手機。雖然部分實施例可能藉由例示方式以實作為智慧型手機的行動計算裝置描述，可理解其他實施例也可能使用其他無線行動計算裝置實作。實施例並未受限於此背景。
如圖7所示，裝置700可能包括外殼702、顯示器704、輸入/輸出(I/O)裝置706、及天線708。裝置700也可能包括導航特徵712。顯示器704可能包括用於顯示適於行動計算裝置之資訊的任何合適顯示器單元。I/O裝置706可能包括用於將資訊輸入至行動計算裝置中的任何合適I/O裝置。I/O裝置706的範例可能包括文數字鍵盤、數字鍵盤、觸控板、輸入鍵、按鍵、開關、翹板開關、微音器、揚聲器、語音辨識裝置及軟體等。資訊也可能藉由麥克風(未圖示)輸入至裝置700中。此種資訊可能藉由語音辨識裝置(未圖示)數位化。實施例並未受限於此背景。
各種實施例可能使用硬體元件、軟體元件、或二者之組合實作。硬體元件的範例可能包括處理器、微處理器、電路、電路元件(例如，電晶體、電阻器、電容器、電感 器等)、積體電路、特定應用積體電路(ASIC)、可程式化邏輯裝置(PLD)、數位訊號處理器(DSP)、場效可規劃閘極陣列(FPGA)、邏輯閘、暫存器、半導體裝置、晶片、微晶片、晶片組等。軟體的範例可能包括軟體組件、程式、應用軟體、電腦程式、應用程式、系統程式、機器程式、作業系統軟體、中介軟體、韌體、軟體模組、常式、次常式、函數、方法、程序、軟體介面、應用程式發展介面(API)、指令集、計算碼、電腦碼、碼段、電腦碼段、字、值、符號、或彼等的任何組合。決定實施例是否以硬體元件及/或軟體元件實作可能根據任何數量的因子改變，諸如，期望計算率、功率等級、耐熱性、處理週期預算、輸入資料率、輸出資料率、記憶體資源、資料匯流排速度、及其他設計或效能限制。
至少一實施例的一或多個實施樣態可能藉由儲存在機器可讀媒體上之代表處理器內的各種邏輯的代表性指令實作，當其由機器讀取時，導致機器製造邏輯以實施本文描述的技術。可能將稱為「IP核心」的此種代表性儲存在實體機器可讀媒體中，並供應至各種客戶或製造設施，以載入至實際產生邏輯或處理器的製造機器中。
雖然已參考各種實作描述本文陳述的特定特性，此描述並未企圖以限制方式解釋。因此，本文描述之實作的各種修改、以及其他實作被視為在本揭示發明的精神及範圍內對熟悉本發明之人士係明顯的。
以下範例關於其他實施例。
在一範例中，用於視訊編碼的電腦實作方法可能包括基於至少部分深度圖，校正與預測單元關聯的二或多個視差向量，其中該預測單元對應於與該深度圖關聯之視訊圖像的部分。基於至少部分該等經校正視差向量，可能在該預測單元上實施視差補償圖像間預測。基於至少部分該視差補償圖像間預測，可能編碼該預測單元。
在部分範例中，預測單元的編碼包括3D解碼。
在另一範例中，相依視野視訊圖像的解碼可能基於至少部分已編碼預測單元。
在另一範例中，可能在校正二或多個視差向量之前，將預測單元分割為二或多個次區塊。
在另一範例中，可能在校正該等二或多個視差向量之前，將該預測單元分割為二或多個次區塊，其中將該預測單元至二或多個次區塊的分割參數化，使得可用的最佳分割等於每像素等級分割。
在部分範例中，可能在第一種預測單元及與第一種不同的第二種預測單元之間產生區分，其中第一及第二種預測單元基於一或多個下列準則不同：切片等級準則、圖像等級準則、及視野等級準則。預測單元可能使用用於第一種預測單元的第一參數值選擇性地分割，且預測單元可能使用用於第二種預測單元之與第一參數值不同的第二參數值選擇性地分割。
在另一範例中，可能基於至少部分預測單元的尺寸在第一種預測單元及與第一種預測單元不同的第二種預測單 元之間產生區分。預測單元可能使用用於第一種預測單元的第一參數值選擇性地分割，且預測單元可能使用用於第二種預測單元之與第一參數值不同的第二參數值選擇性地分割。
在另一範例中，可能在校正二或多個視差向量之前，將預測單元分割為二或多個次區塊。二或多個視差向量的校正可能包括基於至少部分選自下列特徵深度值的特徵深度值針對二或多個次區塊的個別次區塊校正二或多個視差向量的個別向量：與個別次區塊關聯的平均深度值、對應於與個別次區塊關聯之中央像素的深度值、對應於個別次區塊的中間深度值等、及/或彼等的組合。
在另一範例中，可能在校正二或多個視差向量之前，將預測單元分割為二或多個次區塊。二或多個視差向量的校正可能包括基於至少部分固定深度模型、縮放因子、偏移因子等、及/或彼等的組合，經由解碼器校正用於該等二或多個次區塊的個別次區塊之該等二或多個視差向量的個別向量。
在部分範例中，可能在校正二或多個視差向量之前，將預測單元分割為二或多個次區塊。二或多個視差向量的校正可能包括基於至少部分與該個別次區塊關聯的特徵深度值，經由該解碼器決定用於該等二或多個次區塊的個別次區塊的縮放因子。可能基於至少部分與該個別次區塊關聯的特徵深度值，經由該解碼器決定用於該等二或多個次區塊的個別次區塊的偏移因子。可能基於至少部分該縮放 因子及該偏移因子，經由該解碼器校正用於該等二或多個次區塊的個別次區塊之該等二或多個視差向量的個別向量。
在另一範例中，可能在校正二或多個視差向量之前，將預測單元分割為二或多個次區塊。二或多個視差向量的校正可能包括經由解碼器從加碼器接收用於該等二或多個次區塊之個別次區塊的縮放因子，該縮放因子基於至少部分與該個別次區塊關聯的特徵深度值已於先前藉由該加碼器決定。用於二或多個次區塊之個別次區塊的偏移因子可能經由解碼器從加碼器接收，該偏移因子先前已基於至少部分與個別次區塊關聯的特徵深度值藉由加碼器決定。可能基於至少部分該縮放因子及該偏移因子，經由該解碼器校正用於該等二或多個次區塊的個別次區塊之該等二或多個視差向量的個別向量。
在部分範例中，可能在校正二或多個視差向量之前，將預測單元分割為二或多個次區塊。二或多個視差向量的校正可能包括基於至少部分縮放因子及偏移因子，經由該解碼器校正用於該等二或多個次區塊的個別次區塊之該等二或多個視差向量的個別向量。該縮放因子及該偏移因子可能基於至少部分成像裝置參數決定。
在另一範例中，二或多個視差向量的校正可能包括選擇性地校正與主要種類的預測單元關聯之二或多個視差向量，及僅校正與主要種類不同之次要種類的預測單元關聯之單一視差向量，其中主要及次要種類的預測單元基於一 或多個下列準則不同：切片等級準則、圖像等級準則、及視野等級準則等、及/或彼等的組合。
在另一範例中，可能基於至少部分與預測單元關聯的旗標，在主要種類的預測單元及與主要種類不同之次要種類的預測單元之間產生區分。該等二或多個視差向量的校正可能包括選擇性地校正與該主要種類的預測單元關聯的該等二或多個視差向量，並僅校正與第一種類不同之該次要種類的預測單元關聯的單一視差向量。
在其他範例中，用於在電腦上視訊編碼的系統可能包括顯示裝置、一或多個處理器、一或多個記憶體儲存器、校正邏輯模組、視差補償邏輯模組、編碼器等，及/或彼等的組合。可能將成像裝置組態成呈現視訊資料。該等一或多個處理器可能通訊地耦合至該顯示裝置。該等一或多個記憶體儲存器可能通訊地耦合至該等一或多個處理器。該校正邏輯模組可能通訊地耦合至該等一或多個處理器，並可能組態成基於至少部分深度圖校正與預測單元關聯的二或多個視差向量。該預測單元可能對應於與深度圖關聯之視訊圖像的一部分。該視差補償邏輯模組可能通訊地耦合至校正邏輯模組並可能組態成基於至少部分該等經校正視差向量，在該預測單元上實施視差補償圖像間預測。該編碼器可能通訊地耦合至該視差補償邏輯模組並可能組態成針對呈現在顯示裝置上基於至少部分該視差補償圖像間預測編碼該預測單元。
在另一範例中，編碼器可能包括3D解碼器。
在另一範例中，編碼器可能更組態成基於至少部分已編碼預測單元解碼相依視野視訊圖像。
在另一範例中，校正邏輯模組可能更組態成在校正二或多個視差向量之前，將預測單元分割為二或多個次區塊。可能將預測單元至二或多個次區塊的分割參數化，使得可用的最精細分割等於每像素等級分割。二或多個視差向量的校正可能包括基於至少部分選自下列特徵深度值的特徵深度值針對二或多個次區塊的個別次區塊校正二或多個視差向量的個別向量：與個別次區塊關聯的平均深度值、對應於與個別次區塊關聯之中央像素的深度值、對應於個別次區塊的中間深度值等、及/或彼等的組合。
在部分範例中，校正邏輯模組可能更組態成在第一種預測單元及與第一種不同的第二種預測單元之間產生區分，其中第一及第二種預測單元基於一或多個下列準則不同：切片等級準則、圖像等級準則、及視野等級準則等、及/或彼等的組合。預測單元可能使用用於第一種預測單元的第一參數值選擇性地分割，並可能使用用於第二種預測單元之與第一參數值不同的第二參數值選擇性地分割。
在另一範例中，校正邏輯模組可能更組態成基於至少部分該預測單元的尺寸，在第一種預測單元及與該第一種不同的第二種預測單元之間區分。預測單元可能使用用於第一種預測單元的第一參數值選擇性地分割，並可能使用用於第二種預測單元之與第一參數值不同的第二參數值選擇性地分割。
在另一範例中，校正邏輯模組可能更組態成在校正二或多個視差向量之前，將預測單元分割為二或多個次區塊。二或多個視差向量的校正可能包括基於至少部分固定深度模型、縮放因子、偏移因子等、及/或彼等的組合，經由編碼器校正用於該等二或多個次區塊的個別次區塊之該等二或多個視差向量的個別向量。
在另一範例中，校正邏輯模組可能更組態成在校正二或多個視差向量之前，將預測單元分割為二或多個次區塊。二或多個視差向量的校正可能包括基於至少部分與該個別次區塊關聯的特徵深度值，經由該編碼器決定用於該等二或多個次區塊的個別次區塊的縮放因子。可能基於至少部分與該個別次區塊關聯的特徵深度值，經由該編碼器決定用於該等二或多個次區塊的個別次區塊的偏移因子。可能基於至少部分該縮放因子及該偏移因子，經由該編碼器校正用於該等二或多個次區塊的個別次區塊之該等二或多個視差向量的個別向量。
在部分範例中，校正邏輯模組可能更組態成在校正二或多個視差向量之前，將預測單元分割為二或多個次區塊。二或多個視差向量的校正可能包括經由編碼器從加碼器接收用於該等二或多個次區塊之個別次區塊的縮放因子，該縮放因子基於至少部分與該個別次區塊關聯的特徵深度值已於先前藉由該加碼器決定。用於二或多個次區塊之個別次區塊的偏移因子可能經由編碼器從加碼器接收，該縮放因子先前已基於至少部分與個別次區塊關聯的特徵 深度值藉由加碼器決定。可能基於至少部分該縮放因子及該偏移因子，經由該編碼器校正用於該等二或多個次區塊的個別次區塊之該等二或多個視差向量的個別向量。
在另一範例中，校正邏輯模組可能更組態成在校正二或多個視差向量之前，將預測單元分割為二或多個次區塊。二或多個視差向量的校正可能包括基於至少部分縮放因子及偏移因子，經由該編碼器校正用於該等二或多個次區塊的個別次區塊之該等二或多個視差向量的個別向量。該縮放因子及該偏移因子可能基於至少部分成像裝置參數決定。
在另一範例中，二或多個視差向量的校正可能包括選擇性地校正與主要種類的預測單元關聯之二或多個視差向量，及僅校正與主要種類不同之次要種類的預測單元關聯之單一視差向量，其中主要及次要種類的預測單元基於一或多個下列準則不同：切片等級準則、圖像等級準則、及視野等級準則等、及/或彼等的組合。
在另一範例中，校正邏輯模組可能更組態成基於至少部分與該預測單元關聯的旗標，在主要種類的預測單元及與該主要種類不同的次要種類的預測單元之間區分。該等二或多個視差向量的校正可能包括選擇性地校正與該主要種類的預測單元關聯的該等二或多個視差向量，並僅校正與第一種類不同之該次要種類的預測單元關聯的單一視差向量。
在另一範例中，至少一機器可讀取媒體可能包括複數 個指令，回應於在計算裝置上執行，導致該計算裝置實施根據上述範例之任一者的方法。
在另一範例中，設備可能包括用於實施根據上述範例之任何一者的方法的機構。
上述範例可能包括特性的具體組合。然而，此種上述範例可能未受限於此方面，且在各種實作中，上述範例可能包括僅實行此種特性之子集、實行此種特性的不同次序、實施此種特性的不同組合、及/或實施明顯列示之該等特性以外的特性。例如，關於範例方式描述的所有特性可能相關於範例設備、範例系統、及/或範例物品實作，且反之亦然。
200‧‧‧3D視訊編碼處理

Claims (24)

  1. 一種三維(3D)視訊解碼器裝置，包含：用以分割第一圖像之一區塊為該區塊之至少一次區塊的電路；用以存取與該區塊關聯之深度圖的電路；用以存取與該區塊關聯之視差向量的電路，其中該視差向量藉由參照具有相對於該第一圖像之不同視野之一已解碼的第二圖像來提供視差補償預測；用以基於至少部分與該區塊及該深度圖關聯之視差向量來選擇性地決定用於該次區塊之經校正的視差向量的電路，其中為了決定用於該次區塊之經校正的視差向量，該電路係用以使用該深度圖來決定對應於該次區塊的特徵深度值，以及用以基於該特徵深度值來校正與該區塊關聯之該視差向量，以產生用於該次區塊之該經校正的視差向量；及用以基於與該次區塊關聯之該經校正的視差向量來執行用於該次區塊之視差補償間預測(inter-prediction)的電路。
  2. 如申請專利範圍第1項的裝置，其中該特徵深度值是對應於該次區塊之多個深度值的平均深度值。
  3. 如申請專利範圍第1項的裝置，其中該特徵深度值是對應於該次區塊之多個深度值的中間深度值。
  4. 如申請專利範圍第1項的裝置，其中該用以基於至少部分與該區塊及該深度圖關聯之視差向量來選擇性地 決定用於該次區塊之該經校正的視差向量的電路係用以：提供與該次區塊關聯的視差向量，其包含與該區塊關聯之該視差向量的增加以回應該特徵深度值小於或等於臨界值，或提供與該次區塊關聯的視差向量，其包含與該區塊關聯之該視差向量的減少以回應該特徵深度值大於該臨界值。
  5. 如申請專利範圍第1項的裝置，其中該用以基於至少部分與該區塊及該深度圖關聯之視差向量來選擇性地決定用於該次區塊之經校正的視差向量的電路係用以：提供與該次區塊關聯的視差向量，其包含基於至少部分縮放因子及偏移因子來修改與該區塊關聯之該視差向量，其中該縮放因子及該偏移因子係接收的或決定的。
  6. 如申請專利範圍第1項之裝置，包含：用以基於至少部分該視差補償圖像間預測而解碼該次區塊的電路。
  7. 如申請專利範圍第1項之裝置，其中一或多個該等電路包含下列任一者或下列之組合：由一或多個處理器所執行之軟體、硬體、或韌體。
  8. 如申請專利範圍第1項之裝置，包含：用以基於至少部分該經校正的視差向量來解碼該次區塊的電路；實體層邏輯；無線電，通訊地耦合至該實體層邏輯；及至少一天線，通訊地耦合至該無線電。
  9. 如申請專利範圍第1-8項任一項的裝置，包含：一或多個處理器電路；至少一記憶體，通訊地耦合至該一或多個處理器電路；及顯示器，通訊地耦合至一或多個處理器電路，該顯示器顯示已解碼的次區塊。
  10. 一種用於三維(3D)視訊解碼的電腦實施方法，該方法包含：分割第一圖像之一區塊為該區塊之至少一次區塊；存取與該區塊關聯之深度圖；存取與該區塊關聯之視差向量，其中該視差向量藉由參照具有相對於該第一圖像之不同視野之一已解碼的第二圖像來提供視差補償預測；基於至少部分與該區塊及該深度圖關聯之視差向量來選擇性地決定用於該次區塊之經校正的視差向量，此係藉由使用該深度圖決定對應於該次區塊的特徵深度值，以及基於該特徵深度值校正與該區塊關聯之該視差向量，以產生用於該次區塊之該經校正的視差向量；及基於與該次區塊關聯之該經校正的視差向量來執行用於該次區塊之視差補償間預測。
  11. 如申請專利範圍第10項的方法，其中該特徵深度值是對應於該次區塊之多個深度值的平均深度值。
  12. 如申請專利範圍第10項的方法，其中該特徵深度值是對應於該次區塊之多個深度值的中間深度值。
  13. 如申請專利範圍第10項的方法，其中基於至少部分與該區塊及該深度圖關聯之該視差向量來選擇性地決定用於該次區塊之該經校正的視差向量包含：提供與該次區塊關聯的視差向量，其包含與該區塊關聯之該視差向量的偏移的增加以回應該特徵深度值小於或等於臨界值，或提供與該次區塊關聯的視差向量，其包含與該區塊關聯之該視差向量的該偏移的減少以回應該特徵深度值大於該臨界值。
  14. 如申請專利範圍第10項之方法，其中該基於至少部分與該區塊及該深度圖關聯之該視差向量來選擇性地決定用於該次區塊之該經校正的視差向量包含：提供與該次區塊關聯的視差向量，其包含基於至少部分縮放因子及偏移因子來修改與該區塊關聯之該視差向量，其中該縮放因子及該偏移因子係接收的或決定的。
  15. 如申請專利範圍第10項之方法，包含：基於至少部分該視差補償圖像間預測而解碼該次區塊。
  16. 如申請專利範圍第10-14項任一項的方法，包含：基於至少部分該經校正的視差向量來解碼該次區塊。
  17. 一種非暫態電腦可讀取媒體，包含指令儲存於其上，當由電腦執行該等指令時，致使該電腦：分割第一圖像之一區塊為該區塊之至少一次區塊；存取與該區塊關聯之深度圖； 存取與該區塊關聯之視差向量，其中該視差向量藉由參照具有相對於該第一圖像之不同視野之一已解碼的第二圖像來提供視差補償預測；基於至少部分與該區塊及該深度圖關聯之視差向量來選擇性地決定用於該次區塊之經校正的視差向量，其中為了選擇性地決定該經校正的視差向量，該電腦使用該深度圖來決定對應於該次區塊的特徵深度值，以及基於該特徵深度值來校正與該區塊關聯之該視差向量，以產生用於該次區塊之該經校正的視差向量；及基於與該次區塊關聯之該經校正的視差向量來執行用於該次區塊之視差補償間預測。
  18. 如申請專利範圍第17項的媒體，其中該特徵深度值是對應於該次區塊之多個深度值的平均深度值。
  19. 如申請專利範圍第17項的媒體，其中該特徵深度值是對應於該次區塊之多個深度值的中間深度值。
  20. 如申請專利範圍第17項的媒體，其中為了基於至少部分與該區塊及該深度圖關聯之該視差向量來選擇性地決定用於該次區塊之該經校正的視差向量，該電腦：提供與該次區塊關聯的視差向量，其包含與該區塊關聯之該視差向量的偏移的增加以回應該特徵深度值小於或等於臨界值，或提供與該次區塊關聯的視差向量，其包含與該區塊關聯之該視差向量的該偏移的減少以回應該特徵深度值大於該臨界值。
  21. 如申請專利範圍第17項的媒體，其中為了基於 至少部分與該區塊及該深度圖關聯之視差向量來選擇性地決定用於該次區塊之該經校正的視差向量，該電腦：決定用於該次區塊之縮放因子；決定用於該次區塊之偏移因子；及提供與該次區塊關聯之該經校正的視差向量，其包含基於至少部分該縮放因子及該偏移因子來修改與該區塊關聯之該視差向量。
  22. 如申請專利範圍第17項的媒體，其中為了基於至少部分與該區塊及該深度圖關聯之視差向量來選擇性地決定用於該次區塊之該經校正的視差向量，該電腦：接收用於該次區塊的縮放因子及偏移因子；及提供與該次區塊關聯之該經校正的視差向量，其包含基於至少部分該縮放因子及該偏移因子來修改與該區塊關聯之該視差向量。
  23. 如申請專利範圍第17項的媒體，更包含指令儲存於其上，當由電腦執行該等指令時，致使該電腦：基於至少部分該視差補償圖像間預測而解碼該次區塊。
  24. 如申請專利範圍第17-22項任一項的媒體，更包含指令儲存於其上，當由電腦執行該等指令時，致使該電腦：基於至少部分該決定的視差向量來解碼該次區塊；及提供該已解碼的次區塊用於顯示。
TW103146299A 2012-04-19 2013-04-16 包括以深度爲基之視差向量校正的３ｄ視訊編碼 TWI583186B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2012/034177 WO2013158097A1 (en) 2012-04-19 2012-04-19 3d video coding including depth based disparity vector calibration

Publications (2)

Publication Number Publication Date
TW201515448A TW201515448A (zh) 2015-04-16
TWI583186B true TWI583186B (zh) 2017-05-11

Family

ID=49383867

Family Applications (2)

Application Number Title Priority Date Filing Date
TW103146299A TWI583186B (zh) 2012-04-19 2013-04-16 包括以深度爲基之視差向量校正的３ｄ視訊編碼
TW102113500A TWI517672B (zh) 2012-04-19 2013-04-16 包括以深度為基之視差向量校正的３ｄ視訊編碼

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW102113500A TWI517672B (zh) 2012-04-19 2013-04-16 包括以深度為基之視差向量校正的３ｄ視訊編碼

Country Status (5)

Country Link
US (2) US9729849B2 (zh)
EP (1) EP2839639A4 (zh)
KR (1) KR101618672B1 (zh)
TW (2) TWI583186B (zh)
WO (1) WO2013158097A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010017166A2 (en) 2008-08-04 2010-02-11 Dolby Laboratories Licensing Corporation Overlapped block disparity estimation and compensation architecture
WO2013158097A1 (en) 2012-04-19 2013-10-24 Intel Corporation 3d video coding including depth based disparity vector calibration
US9781416B2 (en) * 2013-02-26 2017-10-03 Qualcomm Incorporated Neighboring block disparity vector derivation in 3D video coding
US9596448B2 (en) 2013-03-18 2017-03-14 Qualcomm Incorporated Simplifications on disparity vector derivation and motion vector prediction in 3D video coding
CN110430433B (zh) 2014-01-03 2022-12-20 庆熙大学校产学协力团 导出子预测单元的时间点之间的运动信息的方法和装置
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
WO2015123806A1 (en) * 2014-02-18 2015-08-27 Mediatek Singapore Pte. Ltd. Methods for depth based block partitioning
US11277635B2 (en) * 2017-03-17 2022-03-15 Vid Scale, Inc. Predictive coding for 360-degree video based on geometry padding
CN117560504A (zh) 2017-03-17 2024-02-13 Vid拓展公司 基于几何图形填充的用于360度视频的预测编码
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060013320A1 (en) * 2004-07-15 2006-01-19 Oguz Seyfullah H Methods and apparatus for spatial error concealment
US20080198924A1 (en) * 2007-02-06 2008-08-21 Gwangju Institute Of Science And Technology Method of computing disparity, method of synthesizing interpolation view, method of encoding and decoding multi-view video using the same, and encoder and decoder using the same
US20110044550A1 (en) * 2008-04-25 2011-02-24 Doug Tian Inter-view strip modes with depth
TW201306561A (zh) * 2011-06-22 2013-02-01 Koninkl Philips Electronics Nv 產生用於顯示器之信號之方法及裝置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080051184A (ko) * 2005-09-22 2008-06-10 쓰리엠 이노베이티브 프로퍼티즈 컴파니 3차원 이미징에서의 아티팩트 완화
WO2007063352A1 (en) 2005-11-30 2007-06-07 Telecom Italia S.P.A. Method for determining scattered disparity fields in stereo vision
CN101056398A (zh) 2006-03-29 2007-10-17 清华大学 一种多视编码过程中获取视差矢量的方法及编解码方法
WO2007110000A1 (en) 2006-03-29 2007-10-04 Huawei Technologies Co., Ltd. A method and device of obtaining disparity vector and its multi-view encoding-decoding
US8923399B2 (en) * 2007-01-24 2014-12-30 Lg Electronics Inc. Method and an apparatus for processing a video signal
US8953684B2 (en) 2007-05-16 2015-02-10 Microsoft Corporation Multiview coding with geometry-based disparity prediction
CN101822067B (zh) 2007-07-26 2013-04-24 皇家飞利浦电子股份有限公司 深度相关信息传播方法和设备
KR101419979B1 (ko) 2008-01-29 2014-07-16 톰슨 라이센싱 2ｄ 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템
EP2291825B1 (en) 2008-05-28 2013-09-25 Thomson Licensing System and method for depth extraction of images with forward and backward depth prediction
EP2316109B1 (en) 2008-07-28 2017-12-13 Koninklijke Philips N.V. Use of inpainting techniques for image correction
US8179448B2 (en) * 2008-08-26 2012-05-15 National Taiwan University Auto depth field capturing system and method thereof
JP5429034B2 (ja) 2009-06-29 2014-02-26 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
KR101054875B1 (ko) 2009-08-20 2011-08-05 광주과학기술원 깊이 영상의 부호화를 위한 양방향 예측 방법 및 장치
KR20110036234A (ko) 2009-10-01 2011-04-07 삼성전자주식회사 다시점 영상 압축 방법 및 장치
KR102492490B1 (ko) * 2011-11-11 2023-01-30 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
EP3657796A1 (en) * 2011-11-11 2020-05-27 GE Video Compression, LLC Efficient multi-view coding using depth-map estimate for a dependent view
WO2013158097A1 (en) 2012-04-19 2013-10-24 Intel Corporation 3d video coding including depth based disparity vector calibration

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060013320A1 (en) * 2004-07-15 2006-01-19 Oguz Seyfullah H Methods and apparatus for spatial error concealment
US20080198924A1 (en) * 2007-02-06 2008-08-21 Gwangju Institute Of Science And Technology Method of computing disparity, method of synthesizing interpolation view, method of encoding and decoding multi-view video using the same, and encoder and decoder using the same
US20110044550A1 (en) * 2008-04-25 2011-02-24 Doug Tian Inter-view strip modes with depth
TW201306561A (zh) * 2011-06-22 2013-02-01 Koninkl Philips Electronics Nv 產生用於顯示器之信號之方法及裝置

Also Published As

Publication number Publication date
EP2839639A4 (en) 2016-01-06
US9860514B2 (en) 2018-01-02
TWI517672B (zh) 2016-01-11
WO2013158097A1 (en) 2013-10-24
KR101618672B1 (ko) 2016-05-18
TW201404163A (zh) 2014-01-16
US20140153645A1 (en) 2014-06-05
TW201515448A (zh) 2015-04-16
KR20140138788A (ko) 2014-12-04
US9729849B2 (en) 2017-08-08
US20170318277A1 (en) 2017-11-02
EP2839639A1 (en) 2015-02-25

Similar Documents

Publication Publication Date Title
TWI583186B (zh) 包括以深度爲基之視差向量校正的３ｄ視訊編碼
JP6550633B2 (ja) ３ｄビデオコーディングのための予測パラメータ継承
JP6030230B2 (ja) パノラマベースの３ｄビデオコーディング
US10075689B2 (en) Region-of-interest based 3D video coding
US10075709B2 (en) Cross-channel residual prediction
TWI594634B (zh) 多視角視訊寫碼方案
US20150181216A1 (en) Inter-layer pixel sample prediction
US20130148732A1 (en) Variable block sized hierarchical motion estimation
US10104373B2 (en) Content based video encoding for wireless display
JP2022524305A (ja) イマーシブビデオ符号化のための高レベルシンタックス