TWI527431B - 基於非對稱圖紋及深度解析度之視圖合成 - Google Patents

基於非對稱圖紋及深度解析度之視圖合成 Download PDF

Info

Publication number
TWI527431B
TWI527431B TW102108530A TW102108530A TWI527431B TW I527431 B TWI527431 B TW I527431B TW 102108530 A TW102108530 A TW 102108530A TW 102108530 A TW102108530 A TW 102108530A TW I527431 B TWI527431 B TW I527431B
Authority
TW
Taiwan
Prior art keywords
image
pixels
component
pixel
mpu
Prior art date
Application number
TW102108530A
Other languages
English (en)
Other versions
TW201401848A (zh
Inventor
陳盈
卡西克 維拉
魏堅
Original Assignee
高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 高通公司 filed Critical 高通公司
Publication of TW201401848A publication Critical patent/TW201401848A/zh
Application granted granted Critical
Publication of TWI527431B publication Critical patent/TWI527431B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

基於非對稱圖紋及深度解析度之視圖合成
本申請案主張於2012年4月16號申請之美國臨時申請案第61/625,064號之權益，該申請案之全部內容特此以引用之方式併入。
本申請案主張於2012年4月16號申請之美國臨時申請案第61/625,064號之權益，該申請案之全部內容特此以引用之方式併入。
本發明係關於視訊寫碼，且更特定言之，係關於用於寫碼視訊資料之技術。
可將數位視訊能力併入至廣泛範圍之器件中，該等器件包括數位電視、數位直播系統、無線廣播系統、個人數位助理(PDA)、膝上型電腦或桌上型電腦、數位攝影機、數位記錄器件、數位媒體播放器、視訊遊戲器件、視訊遊戲控制台、蜂巢式或衛星無線電電話、視訊電話會議器件及其類似者。數位視訊器件實施視訊壓縮技術(諸如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分(進階視訊寫碼(AVC))、當前在開發過程中之高效率視訊寫碼(HEVC)標準定義之標準及此等標準之擴充中所描述的視訊壓縮技術)以更有效率地傳輸、接收及儲存數位視訊資訊。
視訊壓縮技術包括空間預測及/或時間預測以減少或移除視訊序列中所固有之冗餘，且改良處理、儲存及傳輸效能。另外，數位視訊可以數種形式來寫碼，包括多視圖視訊寫碼(MVC)資料。在一些應用中，MVC資料可在觀看時形成三維視訊。MVC視訊可包括兩個視圖 且有時包括更多視圖。傳輸、儲存以及編碼及解碼與MVC視訊相關聯之所有資訊可消耗大量計算及其他資源，以及導致諸如傳輸延時增加之問題。因而，替代單獨地寫碼或以其他方式處理所有視圖，可藉由寫碼一視圖及自經寫碼視圖導出其他視圖來增進效率。然而，自現有視圖導出額外視圖可包括數個技術及資源相關挑戰。
一般而言，本發明描述與三維(3D)視訊寫碼(3DVC)有關之技術，三維(3D)視訊寫碼(3DVC)將圖紋及深度資料用於深度影像繪圖法(depth image based rendering,DIBR)。舉例而言，本發明中所描述之技術可與將深度資料用於圖紋資料之扭曲及/或空洞填補以形成目的地圖像有關。圖紋及深度資料可為用於3DVC之MVC加深度寫碼系統中的第一視圖之分量。目的地圖像可形成第二視圖，該第二視圖連同該第一視圖一起形成一對視圖以供3D顯示。在一些實例中，該等技術可使參考圖像之深度影像中的一深度像素與以下各者相關聯以(例如)作為用於DIBR中之最小處理單元：參考圖像之圖紋影像之明度分量中的複數個像素、第一色度分量中之一或多個像素，及第二色度分量中之一或多個像素。以此方式，處理循環可有效地用於視圖合成，包括用於扭曲及/或空洞填補程序以形成目的地圖像。
在一實例中，一種用於處理視訊資料之方法包括在一最小處理單元(MPU)中，使一參考圖像之一深度影像的一像素與該參考圖像之一圖紋影像的一第一色度分量之一或多個像素相關聯。該MPU指示合成一目的地圖像中之一像素所需的像素之一關聯。該目的地圖像及該參考圖像之該圖紋分量在一起觀看時形成一三維圖像。該方法亦包括：在該MPU中，使該深度影像之該一像素與該圖紋影像之一第二色度分量的一或多個像素相關聯；及在該MPU中，使該深度影像之該一像素與該圖紋影像之一明度分量的複數個像素相關聯。該明度分量之 該等像素的一數目不同於該第一色度分量之該一或多個像素的一數目及該第二色度分量之該一或多個像素的一數目。
在另一實例中，一種用於處理視訊資料之裝置包括：至少一處理器，其經組態以在一最小處理單元(MPU)中，使一參考圖像之一深度影像的一像素與該參考圖像之一圖紋影像的一第一色度分量之一或多個像素相關聯。該MPU指示合成一目的地圖像中之一像素所需的像素之一關聯。該目的地圖像及該參考圖像之該圖紋分量在一起觀看時形成一三維圖像。該至少一處理器亦經組態以執行以下操作：在該MPU中，使該深度影像之該一像素與該圖紋影像之一第二色度分量的一或多個像素相關聯；及在該MPU中，使該深度影像之該一像素與該圖紋影像之一明度分量的複數個像素相關聯。該明度分量之該等像素的數目不同於該第一色度分量之該一或多個像素的數目及該第二色度分量之該一或多個像素的數目。
在另一實例中，一種用於處理視訊資料之裝置包括用於在一最小處理單元(MPU)中使一參考圖像之一深度影像的一像素與該參考圖像之一圖紋影像的一第一色度分量之一或多個像素相關聯的構件。該MPU指示合成一目的地圖像中之一像素所需的像素之一關聯。該目的地圖像及該參考圖像之該圖紋分量在一起觀看時形成一三維圖像。該裝置亦包括用於在該MPU中使該深度影像之該一像素與該圖紋影像之一第二色度分量的一或多個像素相關聯的構件，及用於在該MPU中使該深度影像之該一像素與該圖紋影像之一明度分量的複數個像素相關聯的構件。該明度分量之該等像素的一數目不同於該第一色度分量之該一或多個像素的一數目及該第二色度分量之該一或多個像素的一數目。
在另一實例中，一種電腦可讀儲存媒體在其上儲存有指令，該等指令在執行時使一或多個處理器執行包括以下步驟之操作：在一最 小處理單元(MPU)中，使一參考圖像之一深度影像的一像素與該參考圖像之一圖紋影像的一第一色度分量之一或多個像素相關聯。該MPU指示合成一目的地圖像中之一像素所需的像素之一關聯。該目的地圖像及該參考圖像之該圖紋分量在一起觀看時形成一三維圖像。該等指令在執行時亦使該一或多個處理器執行包括以下各者之操作：在該MPU中，使該深度影像之該一像素與該圖紋影像之一第二色度分量的一或多個像素相關聯；及在該MPU中，使該深度影像之該一像素與該圖紋影像之一明度分量的複數個像素相關聯。該明度分量之該等像素的一數目不同於該第一色度分量之該一或多個像素的一數目及該第二色度分量之該一或多個像素的一數目。
在另一實例中，一種視訊編碼器包括：至少一處理器，其經組態以在一最小處理單元(MPU)中，使一參考圖像之一深度影像的一像素與該參考圖像之一圖紋影像的一第一色度分量之一或多個像素相關聯。該MPU指示合成一目的地圖像中之一像素所需的像素之一關聯。該目的地圖像及該參考圖像之圖紋分量在一起觀看時形成一三維圖像。該至少一處理器亦經組態以執行以下操作：在該MPU中，使該深度影像之該一像素與該圖紋影像之一第二色度分量的一或多個像素相關聯；及在該MPU中，使該深度影像之該一像素與該圖紋影像之一明度分量的複數個像素相關聯。該明度分量之該等像素的一數目不同於該第一色度分量之該一或多個像素的一數目及該第二色度分量之該一或多個像素的一數目。該至少一處理器亦經組態以執行以下操作：處理該MPU以合成該目的地圖像之至少一MPU；及編碼該參考圖像之該MPU及該目的地圖像之該至少一MPU。該等經編碼MPU形成包含多個視圖之一經寫碼視訊位元串流之一部分。
在另一實例中，一種視訊解碼器包括一輸入介面及至少一處理器。該輸入介面經組態以接收包含一或多個視圖之一經寫碼視訊位元 串流。該至少一處理器經組態以解碼該經寫碼視訊位元串流。該經解碼視訊位元串流包含複數個圖像，該等圖像中之每一者包含一深度影像及一圖紋影像。該至少一處理器亦經組態以執行以下操作：自該經解碼視訊位元串流之該複數個圖像選擇一參考圖像；及在一最小處理單元(MPU)中，使一參考圖像之一深度影像的一像素與該參考圖像之一圖紋影像的一第一色度分量之一或多個像素相關聯。該MPU指示合成一目的地圖像中之一像素所需的像素之一關聯。該目的地圖像及該參考圖像之圖紋分量在一起觀看時形成一三維圖像。該至少一處理器亦經組態以執行以下操作：在該MPU中使該深度影像之該一像素與該圖紋影像之一第二色度分量的一或多個像素相關聯；及在該MPU中，使該深度影像之該一像素與該圖紋影像之一明度分量的複數個像素相關聯。該明度分量之該等像素的一數目不同於該第一色度分量之該一或多個像素的一數目及該第二色度分量之該一或多個像素的一數目。該至少一處理器亦經組態以處理該MPU，以合成該目的地圖像之至少一MPU。
一或多個實例之細節陳述於隨附圖式及以下描述中。其他特徵、目標及優勢將自該描述及該等圖式以及自申請專利範圍而顯而易見。
2‧‧‧視圖
4‧‧‧圖紋視圖分量
6‧‧‧深度視圖分量
8‧‧‧經寫碼區塊/經編碼視訊資料
10‧‧‧視訊編碼及解碼系統
12‧‧‧源器件/視訊器件
14‧‧‧目的地器件
15‧‧‧鏈路
20‧‧‧視訊源
21‧‧‧深度處理單元
22‧‧‧視訊編碼器
24‧‧‧輸出介面
26‧‧‧輸入介面
28‧‧‧視訊解碼器
30‧‧‧顯示器件
31‧‧‧儲存器件
32‧‧‧預測處理單元
33‧‧‧多視圖視訊加深度(MVD)單元
34‧‧‧記憶體
35‧‧‧運動估計(ME)單元
37‧‧‧運動補償(MC)單元
38‧‧‧變換處理單元
39‧‧‧框內寫碼單元/框內預測單元
40‧‧‧量化單元
42‧‧‧反量化單元
43‧‧‧解區塊單元
44‧‧‧反變換處理單元
46‧‧‧熵寫碼單元
48‧‧‧第一加法器/求和器
51‧‧‧第二加法器/求和器
52‧‧‧熵解碼單元
55‧‧‧預測處理單元
56‧‧‧反量化單元
58‧‧‧反變換處理單元
62‧‧‧記憶體
64‧‧‧求和器
66‧‧‧深度語法預測模組
110‧‧‧DIBR模組
112‧‧‧最小處理單元(MPU)
114‧‧‧參考圖像
116‧‧‧目的地圖像
118‧‧‧圖紋影像
120‧‧‧深度影像
122‧‧‧最小處理單元(MPU)
cb‧‧‧色度像素值
cr‧‧‧色度像素值
Cb‧‧‧第一色度分量
Cr‧‧‧第二色度分量
d‧‧‧深度分量
Y‧‧‧明度分量
圖1為說明可利用本發明中所描述之技術的實例視訊編碼及解碼系統之方塊圖。
圖2為說明基於參考圖像之圖紋及深度分量資訊自參考圖像合成目的地圖像之方法的流程圖。
圖3為說明視圖合成之實例的概念圖。
圖4為說明用於多視圖寫碼之MVC預測結構的實例之概念圖。
圖5為說明可實施本發明中所描述之技術的實例視訊編碼器之方 塊圖。
圖6為說明可實施本發明中所描述之技術的實例視訊解碼器之方塊圖。
圖7為說明可在深度影像繪圖法(DIBR)之一些實例中執行的增加取樣之概念流程圖。
圖8為說明在四分之一解析度狀況下根據本發明之扭曲的實例之概念流程圖。
本發明係關於用於在傳輸及/或儲存MVC加深度視訊資料之過程中處理圖像資訊的3DVC技術，MVC加深度視訊資料可用以形成三維視訊。在一些狀況下，視訊可包括在一起觀看時顯現為具有三維效應之多個視圖。此多視圖視訊之每一視圖包括在時間上相關之二維圖像的序列。另外，組成不同視圖之圖像在時間上對準，使得在多視圖視訊之每一時間瞬時，每一視圖包括與彼時間瞬時相關聯之二維圖像。替代發送3D視訊之第一視圖及第二視圖，3DVC處理器可產生包括圖紋分量及深度分量之視圖。在一些狀況下，3DVC處理器可經組態以發送多個視圖，其中(例如)根據MVC加深度程序，該等視圖中之一或多者各自包括圖紋分量及深度分量。
使用第一視圖之圖紋分量及深度分量，3DVC解碼器可經組態以產生第二視圖。此程序可被稱作深度影像繪圖法(DIBR)。本發明之實例大體上係關於DIBR。在一些實例中，本發明中所描述之技術可與根據對H.264/AVC之3DVC擴充的3D視訊寫碼有關，該3DVC擴充當前在開發中且有時被稱作包括深度之MVC相容性擴充(MVC+D)。在其他實例中，本發明中所描述之技術可與根據對H.264/AVC之另一3DVC擴充的3D視訊寫碼有關，該另一3DVC擴充有時被稱作對H.264/AVC之AVC相容性視訊加深度擴充(3D-AVC)。以下實例有時在 基於對H.264/AVC之擴充的視訊寫碼之情境下描述。然而，本文中所描述之技術亦可在其他情境下應用，特別是在DIBR在3DVC應用中有用之情境下。舉例而言，本發明之技術可結合以下各者使用：高效率視訊寫碼(HEVC)之多視圖視訊寫碼擴充(MV-HEVC)，或根據高效率視訊寫碼(HEVC)視訊寫碼標準之基於HEVC之技術擴充(3D-HEVC)的多視圖加深度寫碼。
在傳輸、儲存或以其他方式處理可用以產生3D視訊之數位資料的過程中，通常編碼及解碼組成視訊之部分或全部的資料。舉例而言，編碼及解碼多視圖視訊資料通常被稱作多視圖寫碼(MVC)。諸如上文所描述之彼等程序的一些3DVC程序可利用MVC加深度資訊。因此，在本發明中出於說明之目的而描述MVC之一些態樣。MVC視訊可包括兩個視圖且有時包括更多視圖，該等視圖中之每一者包括數個二維圖像。傳輸、儲存以及編碼及解碼所有此資訊可消耗大量計算及其他資源，以及導致諸如傳輸延時增加之問題。
替代單獨地寫碼或以其他方式處理所有視圖，可藉由寫碼一視圖及使用(例如)視圖間寫碼自經寫碼視圖導出其他視圖來增進效率。舉例而言，視訊編碼器可編碼MVC視訊之一視圖的資訊，且視訊解碼器可經組態以解碼經編碼視圖，且利用包括於經編碼視圖中之資訊來導出新視圖，該新視圖在與經編碼視圖一起觀看時形成三維視訊。
自現有視訊資料導出新視訊資料之程序在以下實例中描述為合成新視訊資料。然而，此程序可用其他術語來提及，包括(例如)自現有視訊資料產生新視訊資料、自現有視訊資料建立新視訊資料，等等。另外，自現有資料合成新資料之程序可以數個不同細微度等級來提及，包括整個視圖、包括個別圖像之視圖的部分及包括個別像素之個別圖像的部分之合成。在以下實例中，新視訊資料有時被稱作目的地視訊資料或目的地影像、視圖或圖像，且合成新視訊資料之現有視 訊資料有時被稱作參考視訊資料或參考影像、視圖或圖像。因此，目的地圖像可被稱作自參考圖像合成。在本發明之實例中，參考圖像可提供圖紋分量及深度分量，以用於合成目的地圖像。參考圖像之圖紋分量可被視為第一圖像。經合成目的地圖像可形成第二圖像，第二圖像包括可藉由第一圖像產生之圖紋分量以支援3D視訊。第一圖像及第二圖像可在同一時間瞬時呈現不同視圖。
MVC加深度或其他程序中之視圖合成可以數種方式執行。在一些狀況下，基於包括於參考視圖中之有時稱作一深度圖或多個深度圖的內容而自參考視圖或其部分來合成目的地視圖或其部分。舉例而言，可形成多視圖視訊之部分的參考視圖可包括圖紋視圖分量及深度視圖分量。在個別圖像層級處，形成參考視圖之部分的參考圖像可包括圖紋影像及深度影像。參考圖像(或目的地圖像)之圖紋影像包括影像資料，例如，形成圖像之可觀看內容的像素。因此，自觀看者之視角，圖紋影像形成彼視圖在給定時間瞬時之圖像。
深度影像包括可藉由解碼器使用以自包括圖紋影像及深度影像之參考圖像合成目的地圖像的資訊。在一些狀況下，自參考圖像合成目的地圖像包括使用來自深度影像之深度資訊使圖紋影像之像素「扭曲」，以判定目的地圖像之像素。另外，扭曲可導致目的地圖像中之空像素或「空洞」。在此等狀況下，自參考圖像合成目的地圖像包括空洞填補程序，空洞填補程序可包括自目的地圖像之先前經合成的相鄰像素預測目的地圖像之像素(或其他區塊)。
為了在包括於MVC加深度視訊中之多個資料層級之間進行區分，按細微度之遞增次序將術語視圖、圖像、影像及像素用於以下實例中。術語分量在不同細微度等級用以指代視訊資料之最終形成視圖、圖像、影像及/或像素之不同部分。如上文所提到，MVC視訊包括多個視圖。每一視圖包括在時間上相關之二維圖像的序列。一圖像 可包括多個影像，該等影像包括(例如)圖紋影像及深度影像。
視圖、圖像、影像及/或像素可包括多個分量。舉例而言，圖像之圖紋影像的像素可包括明度值及色度值(例如，YCbCr或YUV)。因此，在一實例中，包括數個圖像之數個圖紋影像的圖紋視圖分量可包括一明度(下文中為「明度(luma)」)分量及兩個色度(下文中為「色度(chroma)」)分量，該等分量在像素層級包括一明度值(例如，Y)及兩個色度值(例如，Cb及Cr)。
自參考圖像合成目的地圖像之程序可在逐像素基礎上執行。目的地圖像之合成可包括處理來自參考圖像之多個像素值，包括(例如)明度、色度及深度像素值。在合成目的地圖像之部分的像素值之此集合為合成所需之最小資訊集合之意義上，值之此集合有時被稱作最小處理單元(下文中為「MPU」)。在一些狀況下，參考視圖之明度及色度以及深度視圖分量的解析度可不相同。在此等非對稱解析度圖紋及深度情形下，自參考圖像合成目的地圖像可包括額外處理以合成目的地圖像之每一像素或其他區塊。
作為一實例，Cb及Cr色度分量及深度視圖分量之解析度低於Y明度分量之解析度。舉例而言，取決於取樣格式，Cb、Cr及深度視圖分量各自之解析度可為相對於Y分量之解析度的四分之一。當此等分量之解析度不同時，一些影像處理技術可包括增加取樣以產生與參考圖像相關聯之像素值的集合，例如，產生可合成目的地圖像之像素的MPU。舉例而言，可對Cb、Cr及深度分量進行增加取樣以使其解析度與Y分量相同，且可使用此等經增加取樣之分量(亦即，Y、經增加取樣之Cb、經增加取樣之Cr及經增加取樣之深度)產生MPU。在此狀況下，對MPU執行視圖合成，且接著對Cb、Cr及深度分量進行減少取樣。此增加取樣及減少取樣可增加延時，且在視圖合成程序中消耗額外電力。
根據本發明之實例對MPU執行視圖合成。然而，為了支援深度及圖紋視圖分量之非對稱解析度，MPU可能未必需要來自明度、色度及深度視圖分量中之每一者之僅一像素的關聯。更確切而言，視訊解碼器或其他器件可使一深度值與多個明度值及多個色度值相關聯，且更特定言之，視訊解碼器可使不同數目個明度值及色度值與該深度值相關聯。換言之，明度分量中之與深度視圖分量之一像素相關聯的像素之數目及色度分量中之與深度視圖分量之一像素相關聯的像素之數目可不同。
在一實例中，來自參考圖像之深度影像的一深度像素對應於色度分量之一或多個像素(N)及明度分量之多個像素(M)。當遍歷深度圖且對像素進行映射時(例如，當基於深度影像像素使圖紋影像像素扭曲至目的地圖像之像素，而非作為同一像素位置之一明度值、一Cb值及一Cr值的組合而產生每一MPU時)，視訊解碼器或其他器件可在MPU中，使對應於Cb或Cr色度分量之M個明度值及N個色度值與一深度值相關聯，其中M及N為不同數字。因此，在根據本發明中所描述之技術的視圖合成中，每一扭曲可將參考圖像之一MPU投影至目的地圖像，而不需要進行增加取樣及/或減少取樣，從而以人工方式建立深度視圖分量與圖紋視圖分量之間的解析度對稱性。因此，可使用相對於使用需要增加取樣及減少取樣之MPU而可減小延時及電力消耗的MPU來處理非對稱深度及圖紋分量解析度。
圖1為說明根據本發明之技術的視訊編碼及解碼系統10之一實例之方塊圖。如圖1之實例中所展示，系統10包括經由鏈路15將經編碼視訊傳輸至目的地器件14之源器件12。鏈路15可包括能夠將經編碼視訊資料自源器件12移動至目的地器件14之各種類型之媒體及/或器件。在一實例中，鏈路15包括使源器件12能夠即時將經編碼視訊資料直接傳輸至目的地器件14之通信媒體。可根據通信標準(諸如，無線 通信協定)來調變經編碼視訊資料且將其傳輸至目的地器件14。通信媒體可包括任何無線或有線媒體，諸如射頻(RF)頻譜或實體傳輸線。另外，通信媒體可形成基於封包之網路(諸如，區域網路、廣域網路或諸如網際網路之全球網路)的部分。鏈路15可包括路由器、交換器、基地台或可用於促進自源器件12至目的地器件14之通信的任何其他設備。
源器件12及目的地器件14可為廣泛範圍類型之器件，包括(例如)無線通信器件，諸如無線手機、所謂的蜂巢式或衛星無線電電話，或可經由鏈路15傳達視訊資訊之任何無線器件，在該狀況下鏈路15為無線的。根據本發明之實例(其與寫碼或以其他方式處理用於多視圖視訊中之視訊資料的區塊有關)亦可用於廣泛範圍之其他設定及器件中，包括經由實體導線、光纖或其他實體或無線媒體進行通信之器件。
所揭示之實例亦可應用於獨立器件中，該獨立器件未必與任何其他器件通信。舉例而言，視訊解碼器28可駐留於數位媒體播放器或其他器件中，且經由串流傳輸、下載或儲存媒體來接收經編碼視訊資料。因此，出於說明實例實施之目的而提供對彼此通信之源器件12及目的地器件14之描繪。
在一些狀況下，器件12及14可以實質上對稱方式操作，使得器件12及14中之每一者包括視訊編碼及解碼組件。因此，系統10可支援視訊器件12與14之間的單向或雙向視訊傳輸，例如，用於視訊串流傳輸、視訊播放、視訊廣播或視訊電話。
在圖1之實例中，源器件12包括視訊源20、深度處理單元21、視訊編碼器22及輸出介面24。目的地器件14包括輸入介面26、視訊解碼器28及顯示器件30。視訊編碼器22或源器件12之另一組件可經組態以作為視訊編碼或其他程序之部分而應用本發明之技術中的一或多者。 類似地，視訊解碼器28或目的地器件14之另一組件可經組態以作為視訊解碼或其他程序之部分而應用本發明之技術中的一或多者。如參看圖2及圖3將更詳細地描述，例如，視訊編碼器22或源器件12之另一組件或者視訊解碼器28或目的地器件14之另一組件可包括深度影像繪圖法(DIBR)模組，該模組經組態以藉由以下操作而基於具有圖紋及深度資訊之非對稱解析度的參考視圖(或其部分)來合成目的地視圖(或其部分)：處理包括不同數目個明度、色度及深度像素值之參考視圖之最小處理單元。
根據本發明之實例的一優勢在於一深度像素可對應於一個且僅一個MPU，而非逐像素地進行處理，其中同一深度像素可對應於多個MPU中之明度及色度像素的多個經增加取樣或經減少取樣之近似值且藉由該等近似值進行處理。在根據本發明之一些實例中，多個明度像素及一或多個色度像素在一MPU中與一個且僅一個深度值相關聯，且因此明度及色度像素取決於相同邏輯而聯合地處理。因此，若(例如)基於深度值(例如，一深度像素)，MPU扭曲至不同視圖中之目的地圖像，則MPU之多個明度樣本及每一色度分量之一或多個色度樣本可藉由對應色彩分量之相對固定協調而同時扭曲至目的地圖像中。另外，在空洞填補之情境下，若偵測到目的地圖像之像素列中的數個連續空洞，則可針對明度樣本之多個列及色度樣本之多個列同時進行根據本發明之空洞填補。以此方式，可極大地減少在作為根據本發明之視圖合成之部分而使用的扭曲及空洞填補程序兩者期間的條件檢查。
參考多視圖視訊演現來描述所揭示實例中之一些，其中可使用來自包括圖紋及深度視圖資料之現有視圖的經解碼視訊資料自現有視圖合成多視圖視訊之新視圖。然而，根據本發明之實例可用於可需要DIBR之任何應用，包括2D至3D視訊轉換、3D視訊演現及3D視訊寫碼。
再次參看圖1，為了編碼視訊區塊，視訊編碼器22執行框內及/或框間預測，以產生一或多個預測區塊。視訊編碼器22自待編碼之原始視訊區塊減去預測區塊以產生殘餘區塊。因此，殘餘區塊可表示正經寫碼之區塊與預測區塊之間的逐像素差。視訊編碼器22可對殘餘區塊執行變換以產生變換係數之區塊。在基於框內及/或框間之預測性寫碼及變換技術之後，視訊編碼器22可對變換係數進行量化。在量化之後，可藉由編碼器22根據熵寫碼方法執行熵寫碼。
藉由視訊編碼器22產生之經寫碼視訊區塊可藉由預測資訊及資料之殘餘區塊表示，預測資訊可用以建立或識別預測性區塊，殘餘區塊可應用於預測性區塊以重新建立原始區塊。預測資訊可包括用以識別資料之預測性區塊的運動向量。使用運動向量，視訊解碼器28可能夠重建構可藉由視訊編碼器22使用以寫碼殘餘區塊之預測性區塊。因此，給定殘餘區塊之集合及運動向量之集合(及可能某一額外語法)，視訊解碼器28可重建構視訊圖框或最初經編碼之其他資料區塊。基於運動估計及運動補償之框間寫碼可達成相對高之壓縮量而無過量資料損失，此係因為連續視訊圖框或其他類型之經寫碼單元常常為類似的。經編碼視訊序列可包括殘餘資料區塊、運動向量(當框間預測編碼時)、用於框內預測之框內預測模式的指示，及語法元素。
視訊編碼器22亦可利用框內預測技術以相對於共同圖框或切片或圖框之其他子部分之相鄰視訊區塊編碼視訊區塊。以此方式，視訊編碼器22在空間上預測區塊。視訊編碼器22可經組態以具有多種框內預測模式，框內預測模式一般對應於各種空間預測方向。
先前框間及框內預測技術可應用於視訊資料之序列的各種部分，包括表示視訊之圖框(例如，序列中在特定時間瞬時之圖像及其他資料)及每一圖框之部分(例如，圖像之切片)。在MVC加深度或使用深度資訊之其他3DVC程序之情境下，視訊資料之此序列可表示包 括於多視圖經寫碼視訊中之多個視圖中的一者。各種視圖間及視圖內預測技術亦可應用於MVC或MVC加深度中，以預測圖像或視圖之其他部分。視圖間及視圖內預測可包括時間(具有或不具有運動補償)及空間預測兩者。
如所提到，視訊編碼器22可應用變換、量化及熵寫碼程序，以進一步減小與殘餘區塊之傳達相關聯的位元速率，殘餘區塊由編碼藉由視訊源20提供之源視訊資料而得到。變換技術可包括(例如)離散餘弦變換(DCT)或概念上類似之程序。或者，可使用小波變換、整數變換或其他類型之變換。視訊編碼器22亦可對變換係數進行量化，此一般涉及可能減少資料量(例如，用以表示係數之位元)之程序。熵寫碼可包括共同地壓縮資料以用於輸出至位元串流之程序。經壓縮資料可包括(例如)寫碼模式、運動資訊、經寫碼區塊型樣及經量化變換係數之序列。熵寫碼之實例包括內容脈絡自適應性可變長度寫碼(CAVLC)及內容脈絡自適應性二進位算術寫碼(CABAC)。
源器件12之視訊源20包括視訊俘獲器件(諸如，視訊攝影機)、含有先前俘獲之視訊的視訊封存檔或來自視訊內容提供者之視訊饋入。或者，視訊源20可產生基於電腦圖形之資料以作為源視訊，或實況視訊、經封存視訊及/或電腦產生之視訊的組合。在一些狀況下，若視訊源20為視訊攝影機，則源器件12及目的地器件14可形成所謂的攝影機電話或視訊電話，或經組態以操縱視訊資料之其他器件，諸如平板計算器件。在每一狀況下，可藉由視訊編碼器22來編碼所俘獲、預俘獲或電腦產生之視訊。視訊源20俘獲視圖，且將其提供至深度處理單元21。
MVC視訊可藉由兩個或兩個以上視圖表示，該等視圖一般表示來自不同視圖視角之類似視訊內容。此多視圖視訊之每一視圖包括在時間上相關之二維圖像連同其他元素(諸如，音訊及語法資料)的序 列。對於MVC加深度寫碼而言，視圖可包括多個分量，該等分量包括圖紋視圖分量及深度視圖分量。圖紋視圖分量可包括視訊資訊之明度及色度分量。明度分量一般描述亮度，而色度分量一般描述色調。在一些狀況下，多視圖視訊之額外視圖可基於參考視圖之深度視圖分量自參考視圖導出。另外，視訊源資料(無論如何獲取)可用以導出可建立深度視圖分量之深度資訊。
在圖1之實例中，視訊源20將一或多個視圖2提供至深度處理單元21，以用於計算可包括於視圖2中之深度影像。可針對藉由視訊源20俘獲之視圖2中的物件判定深度影像。深度處理單元21經組態以自動計算包括於視圖2中之圖像中的物件之深度值。舉例而言，深度處理單元21基於包括於視圖2中之明度資訊計算物件之深度值。在一些實例中，深度處理單元21經組態以自使用者接收深度資訊。在一些實例中，視訊源20俘獲場景在不同視角下之兩個視圖，且接著基於兩個視圖中之物件之間的像差計算場景中之物件的深度資訊。在各種實例中，視訊源20包括標準二維攝影機、提供場景之立體視圖的雙攝影機系統、俘獲場景之多個視圖的攝影機陣列，或俘獲一視圖加深度資訊之攝影機。
深度處理單元21將圖紋視圖分量4及深度視圖分量6提供至視訊編碼器22。深度處理單元21亦可將視圖2直接提供至視訊編碼器22。包括於深度視圖分量6中之深度資訊可包括視圖2之深度圖影像。深度圖影像可包括與待顯示之區域(例如，區塊、切片或圖像)相關聯的像素之每一區之深度值的圖。像素之區包括單一像素或一或多個像素之群組。深度圖之一些實例為每一像素具有一深度分量。在其他實例中，每一像素存在多個深度分量。在其他實例中，每一深度視圖分量存在多個像素。可以實質上類似於圖紋資料之方式(例如，相對於其他先前經寫碼深度資料使用框內預測或框間預測)寫碼深度圖。在其 他實例中，以不同於寫碼圖紋資料之方式寫碼深度圖。
可在一些實例中估計深度圖。當存在一個以上視圖時，立體匹配可用以估計深度圖。然而，在2D至3D轉換中，估計深度可更加困難。然而，藉由各種方法估計之深度圖可用於基於DIBR之3D演現。儘管視訊源20可提供場景之多個視圖，且深度處理單元21可基於多個視圖計算深度資訊，但源器件12一般可針對場景之每一視圖傳輸一圖紋分量加深度資訊。
當視圖2為靜態影像資料時，視訊編碼器22可經組態以編碼視圖2作為(例如)聯合照相專家群(JPEG)影像。當視圖2為視訊資料之圖框時，視訊編碼器22經組態以根據諸如以下各者之視訊寫碼標準來編碼第一視圖50：運動圖像專家群(MPEG)、國際標準組織(ISO)/國際電工委員會(IEC)MPEG-1 Visual、ISO/IEC MPEG-2 Visual、ISO/IEC MPEG-4 Visual、國際電信聯盟(ITU)H.261、ITU-T H.262、ITU-T H.263、ITU-T H.264/MPEG-4、H.264進階視訊寫碼(AVC)、即將到來之高效率視訊寫碼(HEVC)標準(亦稱作H.265)，或其他視訊編碼標準。視訊編碼器22可包括深度視圖分量6之深度資訊連同圖紋視圖分量4之圖紋資訊，以形成經寫碼區塊8。
視訊編碼器22可包括DIBR模組或功能等效物，其經組態以藉由以下操作而基於具有圖紋及深度資訊之非對稱解析度的參考視圖來合成目的地視圖：處理包括不同數目個明度、色度及深度像素值之參考視圖的最小處理單元。舉例而言，源器件12之視訊源20可僅將一視圖2提供至深度處理單元21，深度處理單元21又可僅將圖紋視圖分量4及深度視圖分量6之一集合提供至編碼器22。然而，可能需要或有必要合成額外視圖，且編碼該等視圖以用於傳輸。因而，視訊編碼器22可經組態以基於參考視圖2之圖紋視圖分量4及深度視圖分量6來合成目的地視圖。視訊編碼器22可經組態以藉由處理包括不同數目個明度、 色度及深度像素值之參考視圖2的最小處理單元來合成新視圖，即使視圖2包括圖紋及深度資訊之非對稱解析度亦如此。
視訊編碼器22經由鏈路15經寫碼區塊8傳遞至輸入介面26，或將區塊8儲存在儲存器件31處。舉例而言，可經由鏈路15在位元串流中將經寫碼區塊8傳送至目的地器件14之輸入介面26，該位元串流包括發信號資訊連同經寫碼區塊8。在一些實例中，源器件12可包括根據通信標準來調變經寫碼區塊8之數據機。數據機可包括各種混頻器、濾波器、放大器或經設計以用於信號調變之其他組件。輸出介面24可包括經設計以用於傳輸資料之電路，包括放大器、濾波器及一或多個天線。在一些實例中，源器件12將包括具有圖紋及深度分量之區塊的經編碼視訊資料儲存至儲存器件31(諸如，數位影音光碟(DVD)、藍光光碟、隨身碟或其類似者)上，而非經由通信頻道(例如，經由鏈路15)進行傳輸。
在目的地器件14中，視訊解碼器28接收經編碼視訊資料8。舉例而言，目的地器件14之輸入介面26經由鏈路15或自儲存器件31接收資訊，且視訊解碼器28接收在輸入介面26處接收之視訊資料8。在一些實例中，目的地器件14包括解調變資訊之數據機。如同輸出介面24，輸入介面26可包括經設計以用於接收資料之電路，包括放大器、濾波器及一或多個天線。在一些例子中，輸出介面24及/或輸入介面26可併入於包括接收電路及傳輸電路兩者之單一收發器組件內。數據機可包括各種混頻器、濾波器、放大器或經設計以用於信號解調變之其他組件。在一些例子中，數據機可包括用於執行調變及解調變兩者之組件。
在一實例中，視訊解碼器28根據諸如CAVLC或CABAC之熵寫碼方法來熵解碼所接收之經編碼視訊資料8(諸如，經寫碼區塊)，以獲得經量化係數。視訊解碼器28應用反量化(解量化)及反變換功能以在 像素域中重建構殘餘區塊。視訊解碼器28亦基於經編碼視訊資料中所包括之控制資訊或語法資訊(例如，寫碼模式、運動向量、定義濾波係數之語法及其類似者)來產生預測區塊。視訊解碼器28計算預測區塊與經重建構殘餘區塊之總和，以產生經重建構視訊區塊以供顯示。
顯示器件30向使用者顯示包括(例如)多視圖視訊之經解碼視訊資料，該多視圖視訊包括基於一或多個參考視圖中所包括之深度資訊合成之目的地視圖。顯示器件30可包括多種一或多個顯示器件中之任一者，諸如陰極射線管(CRT)、液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器或另一類型之顯示器件。在一些實例中，顯示器件30對應於能夠進行三維播放之器件。舉例而言，顯示器件30可包括結合由觀看者佩戴之眼鏡來使用之立體顯示器。眼鏡可包括主動式框架眼鏡，在該狀況下顯示器件30與主動式框架眼鏡之透鏡的交替開閉(shutter)同時地在不同視圖之影像之間快速地交替。或者，眼鏡可包括被動式框架眼鏡，在該狀況下顯示器件30同時顯示來自不同視圖之影像，且被動式框架眼鏡可包括偏光透鏡，偏光透鏡一般在正交方向上偏光以在不同視圖之間進行濾波。
視訊編碼器22及視訊解碼器28可根據視訊壓縮標準操作，視訊壓縮標準諸如ITU-T H.264標準，或者描述為MPEG 4第10部分(進階視訊寫碼(AVC))或HEVC標準。更特定言之，作為實例，該等技術可應用於根據以下各者制訂(formulate)之程序中：對H.264/AVC之MVC+D 3DVC擴充、對H.264/AVC之3D-AVC擴充、MVC-HEVC擴充、3D-HEVC擴充或其類似者，或DIBR可能有用之其他標準。然而，本發明之技術不限於任何特定視訊寫碼標準。
在一些狀況下，視訊編碼器22及視訊解碼器28可各自與音訊編碼器及解碼器整合，且可包括適當MUX-DEMUX單元或其他硬體及軟體以處置共同資料串流或單獨資料串流中之音訊及視訊兩者的編碼。 若適用，則MUX-DEMUX單元可遵照ITU H.223多工器協定或諸如使用者資料報文協定(UDP)之其他協定。
視訊編碼器22及視訊解碼器28各自可實施為一或多個微處理器、數位信號處理器(DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體，或其任何組合。當本發明之技術中之任一者或全部以軟體實施時，實施器件可進一步包括用於儲存及/或執行軟體之指令的硬體，例如，用於儲存指令之記憶體及用於執行指令之一或多個處理單元。視訊編碼器22及視訊解碼器28中之每一者可包括於一或多個編碼器或解碼器中，其中之任一者可整合為在各別行動器件、用戶器件、廣播器件、伺服器或其他類型之器件中提供編碼及解碼能力的組合式編解碼器之部分。
視訊序列通常包括一系列視訊圖框，其亦被稱作視訊圖像。視訊編碼器22對個別視訊圖框內之視訊區塊進行操作以便編碼視訊資料，例如，經寫碼區塊8。視訊區塊可具有固定或變化之大小，且可根據指定寫碼標準而在大小上不同。每一視訊圖框可再劃分成數個切片。在ITU-T H.264標準中，例如，每一切片包括一系列巨集區塊，該等巨集區塊各自亦可劃分成子區塊。H.264標準支援用於二維(2D)視訊編碼之各種區塊大小的框內預測(諸如，對於明度分量之16×16、8×8或4×4以及對於色度分量之8×8)以及各種區塊大小之框間預測(諸如，對於明度分量之16×16、16×8、8×16、8×8、8×4、4×8及4×4以及對於色度分量之對應按比例調整之大小)。舉例而言，在諸如離散餘弦變換(DCT)或概念上類似之變換程序的變換程序之後，視訊區塊可包括像素資料之區塊或變換係數之區塊。使用此等區塊大小組態之基於區塊之處理可擴充至3D視訊。
較小視訊區塊可提供較佳解析度，且可用於包括高精細等級之視訊圖框的位置。一般而言，可將巨集區塊及各種子區塊視為視訊區 塊。另外，可將切片視為一系列視訊區塊，諸如巨集區塊及/或子區塊。每一切片可為視訊圖框之可獨立解碼單元。或者，圖框自身可為可解碼單元，或圖框之其他部分可定義為可解碼單元。ITU-T H.264標準之2D巨集區塊可藉由(例如)以下操作擴充至3D：與彼視訊圖框或切片之相關聯明度及色度分量(亦即，圖紋分量)一起編碼來自深度圖之深度資訊。在一些實例中，深度資訊經寫碼為單色視訊。
原則上，視訊資料可再劃分成任何大小之區塊。因此，儘管上文描述根據ITU-T H.264標準之特定巨集區塊及子區塊大小，但其他大小可用以寫碼或以其他方式處理視訊資料。舉例而言，根據即將到來之高效率視訊寫碼(HEVC)標準之視訊區塊大小可用以寫碼視訊資料。HEVC之標準化努力係部分基於稱作HEVC測試模型(HM)之視訊寫碼器件的模型。HM假設視訊寫碼器件優於根據(例如)ITU-T H.264/AVC之器件的若干能力。舉例而言，H.264提供九個框內預測編碼模式，而HM提供多達三十三個框內預測編碼模式。可擴充HEVC以支援如本文中所描述之技術。
除了用作2D視訊寫碼或MVC程序之部分的框間或框內預測技術之外，亦可使用來自包括圖紋及深度視圖資料之現有視圖的經解碼視訊資料自現有視圖合成多視圖視訊之新視圖。視圖合成可包括數個不同程序，包括(例如)扭曲及空洞填補。如上文所提到，視圖合成可作為DIBR程序之部分執行，以基於參考視圖之深度視圖分量自參考視圖合成一或多個目的地視圖。根據本發明，多視圖視訊資料之視圖合成或其他處理藉由以下操作而基於具有圖紋及深度資訊之非對稱解析度的參考視圖資料執行：處理包括不同數目個明度、色度及深度像素值之參考視圖的MPU。包括不同數目個明度、色度及深度像素值之參考視圖之MPU的此視圖合成或其他處理可在未對不同解析度之圖紋及深度分量進行增加取樣及減少取樣的情況下執行。
可形成多視圖視訊之部分的參考視圖(例如，視圖2中之一者)可包括圖紋視圖分量及深度視圖分量。在個別圖像層級處，形成參考視圖之部分的參考圖像可包括圖紋影像及深度影像。深度影像包括可藉由解碼器或其他器件使用以自包括圖紋影像及深度影像之參考圖像合成目的地圖像的資訊。如下文更詳細描述，在一些狀況下，自參考圖像合成目的地圖像包括使用來自深度影像之深度資訊使圖紋影像之像素「扭曲」，以判定目的地圖像之像素。
在一些狀況下，目的地視圖之目的地圖像自參考視圖之參考圖像的合成可包括處理來自參考圖像之多個像素值，包括(例如)明度、色度及深度像素值。合成目的地圖像之部分的像素值之此集合有時被稱作最小處理單元或「MPU」。在一些狀況下，參考視圖之明度及色度以及深度視圖分量的解析度可不相同。
根據本發明之實例對MPU執行視圖合成。然而，為了支援深度及圖紋視圖分量之非對稱解析度，MPU可未必需要使來自明度、色度及深度視圖分量中之每一者的僅一像素相關聯。更確切而言，器件(例如，源器件12、目的地器件14或另一器件)可使一深度值與多個明度值及一或多個色度值相關聯，且更特定言之，該器件可使不同數目個明度值及色度值與該深度值相關聯。換言之，明度分量中之與深度視圖分量之一像素相關聯的像素之數目及色度分量中之與深度視圖分量中之一像素相關聯的像素之數目可不同。以此方式，根據本發明之實例可在未對圖紋及深度分量進行增加取樣及減少取樣的情況下，執行包括不同數目個明度、色度及深度像素值之參考視圖之MPU的視圖合成或其他處理。
在下文中參看圖2及圖3描述關於在MPU中不同數目個明度、色度及深度像素值之關聯及基於此MPU之視圖合成的額外細節。亦參看圖2及圖3描述包括(例如)扭曲及空洞填補之可用於視圖合成之特定技 術。參看圖4及圖6描述實例編碼器及解碼器器件之組件，且在圖5中說明且參看圖5描述實例多視圖寫碼程序。以下實例中之一些描述在演現多視圖視訊以供觀看之情境下MPU中之像素值的關聯，及如藉由包括DIBR模組之解碼器器件執行之視圖合成。然而，在其他實例中，可使用其他器件及/或模組/功能組態，包括在MPU中使像素值相關聯及在編碼器處作為MVC加深度程序之部分或在與編碼器及解碼器分離之器件/組件處執行視圖合成。
圖2為說明實例方法之流程圖，該方法包括在MPU中使參考圖像之深度影像的一(例如，單一)像素與參考圖像之圖紋影像的第一色度分量之一或(在一些狀況下)一個以上像素相關聯(100)。該MPU指示合成目的地圖像中之像素所需的像素之關聯。該目的地圖像及該參考圖像之圖紋分量在一起觀看時形成三維圖像。圖2之方法亦包括：在該MPU中使該深度影像之該一像素與該圖紋影像之第二色度分量的一或(在一些狀況下)一個以上像素相關聯(102)，在該MPU中使該深度影像之該一像素與該圖紋影像之明度分量的複數個像素相關聯(104)。該明度分量之該等像素的數目不同於該第一色度分量之像素的數目及該第二色度分量之像素的數目。舉例而言，該明度分量之像素的該數目可大於該第一色度分量之像素的該數目，且大於該第二色度分量之像素的該數目。圖2之方法亦包括處理該MPU以合成該目的地圖像之像素(106)。
此方法之功能可藉由包括不同實體及邏輯結構之器件以數種不同方式執行。在一實例中，圖2之實例方法藉由圖3之方塊圖中所說明的DIBR模組110進行。DIBR模組110或另一功能等效物可包括於不同類型之器件中。在以下實例中，出於說明之目的，DIBR模組110描述為實施於視訊解碼器器件上。
DIBR模組110可實施為一或多個微處理器、數位信號處理器 (DSP)、特殊應用積體電路(ASIC)、場可程式化閘陣列(FPGA)、離散邏輯、軟體、硬體、韌體，或其任何組合。當本發明之技術中之任一者或全部以軟體實施時，實施器件可進一步包括用於儲存及/或執行軟體之指令的硬體，例如，用於儲存指令之記憶體及用於執行指令之一或多個處理單元。
在一實例中，根據圖2之實例方法，DIBR模組110在MPU中使不同數目個明度、色度及深度像素相關聯。如上文所描述，目的地圖像之合成可包括處理來自參考圖像之多個像素值，包括(例如)明度、色度及深度像素值。合成目的地圖像之部分的像素值之此集合有時被稱作MPU。
在圖3之實例中，DIBR模組110在MPU 112中使明度、色度及深度像素值相關聯。在MPU 112中相關聯之像素值形成參考圖像114之視訊資料的部分，DIBR模組110經組態以自該參考圖像114合成目的地圖像116。參考圖像114可為與多視圖視訊之視圖的一時間瞬時相關聯的視訊資料。目的地圖像116可為與多視圖視訊之目的地視圖的同一時間瞬時相關聯的對應視訊資料。參考圖像114及目的地圖像116各自可為2D影像，該等2D影像在一起觀看時產生3D視訊中之影像的此等集合之序列中之一3D影像。
參考圖像114包括圖紋影像118及深度影像120。圖紋影像118包括一明度分量Y及兩個色度分量Cb及Cr。參考圖像114之圖紋影像118可藉由定義影像之像素位置之色彩的數個像素值表示。詳言之，圖紋影像118之每一像素位置可藉由一明度像素值y及兩個色度像素值cb及cr定義，如圖2中所說明。深度影像120包括與影像之不同像素位置相關聯的數個像素值d，該等像素值d定義參考圖像114之對應像素的深度資訊。深度影像120之像素值可藉由DIBR模組110使用來(例如)藉由下文中更詳細描述之扭曲及/或空洞填補程序合成目的地影像116之像素 值。
在圖3之實例中，圖紋影像118之兩個色度分量Cb及Cr及藉由深度影像120表示之深度分量的解析度為圖紋影像118之明度分量Y之解析度的四分之一。因此，在此實例中，對於每個深度像素d、第一色度分量之一像素cb及第二色度分量之一像素cr，存在明度分量之四個像素yyyy。
為了在單一MPU中處理參考圖像114之像素而不需要對圖像之不同分量進行增加取樣及減少取樣(例如，對色度像素cb及cr以及深度像素d進行增加取樣/減少取樣)，DIBR模組110經組態以在MPU 112中使單一深度像素d與第一色度分量之單一像素cb及第二色度分量之單一像素cr以及明度分量之四個像素yyyy相關聯，如圖3中所說明。
應注意，儘管所揭示實例中之一些參考解析度相同之深度及色度分量，但亦包括非對稱解析度之其他實例。舉例而言，深度分量之解析度可甚至比色度分量之解析度低。在一實例中，深度影像包括180×120之解析度，圖紋影像之明度分量的解析度為720×480，且色度分量各自之解析度為360×240。在此狀況下，根據本發明之MPU可使每一色度分量之4個色度像素與每一明度分量之16個明度像素相關聯，且一MPU中之所有像素的扭曲可一起藉由一深度影像像素控制。
再次參看圖3，在於MPU 112中使一深度像素d與第一色度分量之一像素cb及第二色度分量之一像素cr以及明度分量之四個像素yyyy相關聯之後，DIBR模組110可經組態以自MPU合成目的地圖像116之部分。在一實例中，DIBR模組110經組態以執行一或多個程序以將參考圖像114之一MPU扭曲至目的地圖像116之一MPU，且亦可實施空洞填補程序以填補目的地影像中之在扭曲之後不包括像素值的像素位置。
在一些實例中，給定影像深度及俘獲源影像資料之攝影機模型，DIBR模組110可藉由首先將來自平面型2D座標系統之座標的像素 投影至3D座標系統中之座標來使參考圖像114之像素「扭曲」。攝影機模型可包括計算方案，該計算方案定義3D點與其至可用於此第一投影之影像平面上之投影之間的關係。DIBR模組110可接著沿與目的地圖像相關聯之觀看角度的方向將該點投影至目的地圖像116中之像素位置。觀看角度可表示(例如)觀看者之觀察點。
一扭曲方法係基於像差值。在一實例中，可針對與參考圖像114中之給定深度值相關聯的每一圖紋像素藉由DIBR模組110計算像差值。像差值可表示或定義參考圖像114中之給定像素將在空間上偏移以產生目的地圖像116的像素之數目，目的地圖像116在與參考圖像114一起觀看時產生3D影像。像差值可包括在水平、垂直或水平及垂直方向上之位移。因此，在一實例中，參考圖像114之圖紋影像118中的像素可基於像差值藉由DIBR模組110扭曲至目的地圖像116中之像素，像差值係基於參考圖像114之深度影像120中的像素判定或藉由該像素定義。
在包括立體3D視訊之一實例中，DIBR模組110利用來自參考圖像114之深度影像120的深度資訊，以判定將圖紋影像118(例如，第一視圖，諸如左眼視圖)中之像素水平地移位多少像素從而合成參考圖像114(例如，第二視圖，諸如右眼視圖)中之像素。基於該判定，DIBR模組110可將該像素置放於經合成之目的地圖像116中，經合成之目的地圖像116最終可形成3D視訊中之一視圖的部分。舉例而言，若像素位於參考圖像114之圖紋影像118中之像素位置(x0,y0)處，則DIBR模組110可基於藉由深度影像120提供之深度資訊來判定該像素應置放於目的地圖像116中之像素位置(x0',y0)處，該深度資訊對應於位於參考圖像114之圖紋影像118中的(x0,y0)處之像素。
在圖3之實例中，DIBR模組110可基於藉由深度像素d提供之深度資訊使MPU 112之圖紋像素yyyy、cb、cr扭曲，以合成目的地圖像之 MPU 122。MPU 122包括四個經扭曲之明度像素y'y'y'y'及每一色度分量cb'、cr'(亦即，單一cb'分量及單一cr'分量)中之一者。因此，單一深度像素d藉由DIBR模組110使用，以使四個明度像素及每一色度分量之一色度像素同時扭曲成目的地圖像116。如上文所提到，藉此可減少在藉由DIBR模組110使用之兩個扭曲程序期間的條件檢查。
在一些狀況下，來自參考圖像之多個像素映射至目的地圖像之同一位置。結果可為：在扭曲之後，目的地圖像中之一或多個像素位置不包括任何像素值。在先前實例之情境下，有可能DIBR模組110使位於參考圖像114之圖紋影像118中的(x0,y0)處之像素扭曲至位於目的地圖像116中之(x0',y0)處的像素。另外，DIBR模組110將位於參考圖像114之圖紋影像118中的(x1,y0)處之像素扭曲至在目的地圖像116中之同一位置(x0',y0)處的像素。此情形可導致不存在位於目的地圖像116中之(x1',y0)處的像素，亦即，在(x1',y0)處存在空洞。
為了處理目的地圖像中之此等「空洞」，DIBR模組110可執行空洞填補程序，藉由該空洞填補程序，類似於一些空間框內預測寫碼技術之技術用以藉由適當像素值來填補目的地圖像中之空洞。舉例而言，DIBR模組110可利用與像素位置(x1',y0)相鄰之一或多個像素之像素值來填補(x1',y0)處之空洞。在一實例中，DIBR模組110可分析與像素位置(x1',y0)相鄰之數個像素，以判定像素中之哪些像素(若存在)包括適合於填補(x1',y0)處之空洞的值。在一實例中，DIBR模組110可用不同相鄰像素之不同像素值來反覆地填補(x1',y0)處之空洞。DIBR模組110可接著分析目的地圖像116之包括(x1',y0)處之經填補空洞的區，以判定像素值中之哪一像素值產生最佳影像品質。
前述或另一空洞填補程序可藉由DIBR模組110在目的地圖像116中以逐像素列之方式執行。DIBR模組110可基於參考圖像114之圖紋影像118的MPU 112來填補目的地圖像116之一或多個MPU。在一實例 中，DIBR模組110可基於圖紋影像118之MPU 112同時填補目的地圖像116之多個MPU。在此實例中，藉由DIBR模組110執行之空洞填補可提供目的地圖像116之明度分量以及第一色度分量及第二色度分量之多個列的像素值。因為MPU含有多個明度樣本，所以目的地圖像中之一空洞可包括多個明度像素。空洞填補可基於相鄰之非空洞像素。舉例而言，檢驗空洞之左方非空洞像素及右方非空洞像素，且使用具有對應於較遠距離之深度值的像素來設定空洞之值。在另一實例中，空洞可藉由自附近非空洞像素之內插來填補。
DIBR模組110可在MPU中反覆地使來自參考圖像114之像素值相關聯，且處理MPU以合成目的地圖像116。目的地圖像116因此可被產生，使得當與參考圖像114一起觀看時，兩個視圖之兩個圖像產生3D視訊中之影像之此等集合的序列中之一3D影像。DIBR模組110可對多個參考圖像反覆地重複此程序以合成多個目的地圖像，從而合成目的地視圖，使得在與參考視圖一起觀看時，兩個視圖產生3D。DIBR模組110可基於一或多個參考視圖合成多個目的地視圖，以產生包括兩個以上視圖之多視圖視訊。
以前述或另一方式，DIBR模組110或另一器件可經組態以基於在MPU中參考視圖之不同數目個明度、色度及深度值之關聯而合成目的地視圖或以其他方式處理多視圖視訊之參考視圖的視訊資料。儘管圖3預期到包括解析度為參考圖像之明度分量之解析度的四分之一的參考圖像之深度及色度分量，但根據本發明之實例可應用於其他非對稱解析度。一般而言，所揭示實例可用以在MPU中使一深度像素d與圖紋圖像之第一色度分量Cb及第二色度分量Cr中之每一者的一或多個色度像素c以及圖紋圖像之明度分量Y的多個像素y相關聯。
舉例而言，圖紋影像之兩個色度分量Cb及Cr以及藉由深度影像表示之深度分量的解析度可為圖紋影像之明度分量Y的解析度之一 半。在此實例中，對於每個深度像素d、第一色度分量之一像素cb及第二色度分量之一像素cr，存在明度分量之兩個像素yy。
為了處理單一MPU中之參考圖像的像素而不需要對圖像之不同分量進行增加取樣及減少取樣，DIBR模組或另一組件可經組態以在MPU中使一深度像素d與第一色度分量之一像素cb及第二色度分量之一像素cr以及明度分量之兩個像素yy相關聯。
在於MPU 112中使一深度像素d與第一色度分量之一像素cb及第二色度分量之一像素cr以及明度分量之兩個像素yy相關聯之後，DIBR模組可經組態以自MPU合成目的地圖像之部分。在一實例中，DIBR模組110經組態以使參考圖像之該MPU扭曲至目的地圖像之一MPU，且亦可以類似於上文參考圖3之四分之一解析度實例所描述之方式的方式，填補目的地影像中之在扭曲之後不包括像素值之像素位置處的空洞。
圖4為更詳細說明圖1之視訊編碼器22之實例的方塊圖。視訊編碼器22為本文中稱作「寫碼器」之專用視訊電腦器件或裝置之一實例。如圖4中所展示，視訊編碼器22對應於源器件12之視訊編碼器22。然而，在其他實例中，視訊編碼器22可對應於不同器件。在其他實例中，其他單元(諸如，其他編碼器/解碼器(CODEC))亦可執行類似於藉由視訊編碼器22執行之技術的技術。
在一些狀況下，視訊編碼器22可包括DIBR模組或其他功能等效物，其經組態以藉由以下操作而基於具有圖紋及深度資訊之非對稱解析度的參考視圖來合成目的地視圖：處理包括不同數目個明度、色度及深度像素值之參考視圖的最小處理單元。舉例而言，視訊源可僅將一或多個視圖提供至視訊編碼器，該等視圖中之每一者包括圖紋視圖分量及深度視圖分量6。然而，可能需要或有必要合成額外視圖，且編碼該等視圖以用於傳輸。因而，視訊編碼器22可經組態以基於現有 參考視圖之圖紋視圖分量及深度視圖分量來合成新目的地視圖。根據本發明，視訊編碼器22可經組態以藉由處理使一深度值與多個明度值及每一色度分量之一或多個色度值相關聯的參考視圖之MPU來合成新視圖，即使參考視圖包括圖紋及深度資訊之非對稱解析度亦如此。
視訊編碼器22可執行視訊圖框內之區塊的框內及框間寫碼中之至少一者，但出於說明之容易起見，框內寫碼組件未展示於圖2中。框內寫碼依賴於空間預測以減少或移除給定視訊圖框內之視訊的空間冗餘。框間寫碼依賴於時間預測以減少或移除視訊序列之鄰近圖框內之視訊的時間冗餘。框內模式(I模式)可指代基於空間之壓縮模式。諸如預測(P模式)或雙向(B模式)之框間模式可指代基於時間之壓縮模式。
如圖2中所展示，視訊編碼器22接收待編碼之視訊圖框內之視訊區塊。在一實例中，視訊編碼器22接收圖紋視圖分量4及深度視圖分量6。在另一實例中，視訊編碼器自視訊源20接收視圖2。
在圖4之實例中，視訊編碼器22包括預測處理單元32、運動估計(ME)單元35、運動補償(MC)單元(MCU)、多視圖視訊加深度(MVD)單元33、記憶體34、框內寫碼單元39、第一加法器48、變換處理單元38、量化單元40及熵寫碼單元46。對於視訊區塊重建構，視訊編碼器22亦包括反量化單元42、反變換處理單元44、第二加法器51及解區塊單元43。解區塊單元43為對區塊邊界進行濾波以自經重建構視訊移除方塊效應假影之解區塊濾波器。若包括於視訊編碼器22中，則解區塊單元43通常將對第二加法器51之輸出進行濾波。解區塊單元43可判定一或多個圖紋視圖分量之解區塊資訊。解區塊單元43亦可判定深度圖分量之解區塊資訊。在一些實例中，一或多個圖紋分量之解區塊資訊可不同於深度圖分量之解區塊資訊。在一實例中，如圖4中所展示，與按照HEVC之「TU」相對比，變換處理單元38表示功能區塊。
多視圖視訊加深度(MVD)單元33接收一或多個視訊區塊(圖2中標記為「視訊區塊(VIDEO BLOCK)」)，該等視訊區塊包含圖紋分量及深度資訊，諸如圖紋視圖分量4及深度視圖分量6。MVD單元33將功能性提供至視訊編碼器22以編碼區塊單元中之深度分量。MVD單元33可將圖紋視圖分量及深度視圖分量以組合或單獨方式提供至預測處理單元32，該等分量呈使得預測處理單元32能夠處理深度資訊之格式。MVD單元33亦可向變換處理單元38用信號發送，深度視圖分量包括於視訊區塊內。在其他實例中，視訊編碼器22之每一單元(諸如，預測處理單元32、變換處理單元38、量化單元40、熵寫碼單元46等)包含除了圖紋視圖分量外亦處理深度資訊的功能性。
一般而言，視訊編碼器22以類似於色度資訊之方式編碼深度資訊，此係因為運動補償單元37經組態以在計算同一區塊之深度分量的預測值時，再使用針對區塊之明度分量計算的運動向量。類似地，視訊編碼器22之框內預測單元可經組態以在使用框內預測編碼深度視圖分量時，使用針對明度分量選擇(亦即，基於明度分量之分析)之框內預測模式。
預測處理單元32包括運動估計(ME)單元35及運動補償(MC)單元37。預測處理單元32預測像素位置以及圖紋分量之深度資訊。
在編碼程序期間，視訊編碼器22接收待寫碼之視訊區塊(圖2中標記為「視訊區塊(VIDEO BLOCK)」)，且預測處理單元32執行框間預測寫碼以產生預測區塊(圖2中標記為「預測區塊(PREDICTION BLOCK)」)。預測區塊包括圖紋視圖分量及深度視圖資訊兩者。具體言之，ME單元35可執行運動估計以識別記憶體34中之預測區塊，且MC單元37可執行運動補償以產生預測區塊。
或者，預測處理單元32內之框內預測單元39可相對於在與待寫碼之當前區塊相同的圖框或切片中之一或多個相鄰區塊執行當前視訊 區塊之框內預測性寫碼，以提供空間壓縮。
通常將運動估計視為產生運動向量之程序，該等運動向量估計視訊區塊之運動。舉例而言，運動向量可指示預測或參考圖框(或其他經寫碼單元，例如，切片)內之預測區塊相對於當前圖框(或其他經寫碼單元)內的待寫碼之區塊之位移。運動向量可具有全整數或子整數像素精度。舉例而言，運動向量之水平分量及垂直分量兩者可具有各別全整數分量及子整數分量。參考圖框(或圖框之部分)在時間上可位於當前視訊區塊所屬之視訊圖框(或視訊圖框之部分)之前或之後。運動補償通常被視為自記憶體34取得或產生預測區塊之程序，該程序可包括基於藉由運動估計判定之運動向量來內插或以其他方式產生預測性資料。
ME單元35藉由比較視訊區塊與一或多個參考圖框(例如，先前及/或後續圖框)之參考區塊來計算待寫碼之視訊區塊的至少一運動向量。參考圖框之資料可儲存於記憶體34中。ME單元35可執行具有分數像素精度之運動估計，該運動估計有時被稱作分數像素、分數圖元、子整數或子像素運動估計。分數像素運動估計可允許預測處理單元32預測處於第一解析度之深度資訊，且預測處於第二解析度之圖紋分量。
一旦預測處理單元32(例如)使用框內預測或框間預測已產生預測區塊，則視訊編碼器22藉由自正經寫碼之原始視訊區塊減去預測區塊來形成殘餘視訊區塊(圖2中標記為「殘餘區塊(RESID.BLOCK)」)。此減去可在原始視訊區塊中之圖紋分量與預測區塊中之圖紋分量之間發生，以及用於原始視訊區塊中之深度資訊或來自預測區塊中之深度資訊的深度圖。加法器48表示執行此減法運算之一或多個組件。
變換處理單元38將變換(諸如，離散餘弦變換(DCT)或概念上類似之變換)應用於殘餘區塊，進而產生包含殘餘變換區塊係數之視訊 區塊。應理解，變換處理單元38表示視訊編碼器22之組件，與如藉由HEVC定義之寫碼單元(CU)的變換單元(TU)相對比，該組件將變換應用於視訊資料之區塊的殘餘係數。舉例而言，變換處理單元38可執行概念上類似於DCT之其他變換，諸如由H.264標準定義之變換。舉例而言，此等變換包括定向變換(諸如，卡忽南-拉維定理變換)、小波變換、整數變換、次頻帶變換或其他類型之變換。在任何狀況下，變換處理單元38將變換應用於殘餘區塊，從而產生殘餘變換係數之區塊。變換將殘餘資訊自像素域轉換至頻域。
量化單元40對殘餘變換係數進行量化以進一步減小位元速率。量化程序可減小與係數中之一些或全部相關聯的位元深度。量化單元40可對深度影像寫碼殘餘物進行量化。在量化之後，熵寫碼單元46熵寫碼經量化變換係數。舉例而言，熵寫碼單元46可執行CAVLC、CABAC或另一熵寫碼方法。
熵寫碼單元46亦可寫碼一或多個運動向量，且支援自預測處理單元32或視訊編碼器22之其他組件(諸如，量化單元40)獲得的資訊。一或多個預測語法元素可包括寫碼模式、用於一或多個運動向量之資料(例如，水平及垂直分量、參考清單識別符、清單索引及/或運動向量解析度發信號資訊)、所使用內插技術之指示、濾波係數之集合、深度影像相對於明度分量之解析度的解析度之指示、深度影像寫碼殘餘物之量化矩陣、深度影像之解區塊資訊，或與預測區塊之產生相關聯的其他資訊。此等預測語法元素可在序列層級中或在圖像層級中提供。
一或多個語法元素亦可包括明度分量與深度分量之間的量化參數(QP)差。QP差可在切片層級處用信號發送，且可包括於圖紋視圖分量之切片標頭中。其他語法元素亦可在經寫碼區塊單元層級處用信號發送，包括深度視圖分量之經寫碼區塊型樣、深度視圖分量之差量 QP、運動向量差，或與預測區塊之產生相關聯的其他資訊。運動向量差可作為目標運動向量與圖紋分量之運動向量之間的差量值，或作為目標運動向量(亦即，正經寫碼之區塊的運動向量)與來自區塊之相鄰運動向量之預測子(例如，CU之PU)之間的差量值而用信號發送。在藉由熵寫碼單元46進行熵寫碼之後，可將經編碼視訊及語法元素傳輸至另一器件或封存(例如，在記憶體34中)以供稍後傳輸或擷取。
反量化單元42及反變換處理單元44分別應用反量化及反變換，以在像素域中重建構殘餘區塊(例如)以供稍後用作參考區塊。經重建構殘餘區塊(在圖2中標記為「經重建構殘餘區塊(RECON.RESID.BLOCK)」)可表示提供至變換處理單元38之殘餘區塊之經重建構版本。歸因於由量化及反量化操作造成之細節的損失，經重建構殘餘區塊可不同於由求和器48產生之殘餘區塊。求和器51對經重建構殘餘區塊及藉由預測處理單元32產生之經運動補償之預測區塊求和，以產生經重建構視訊區塊以供儲存於記憶體34中。經重建構視訊區塊可藉由預測處理單元32用作參考區塊，該參考區塊可用以隨後寫碼後續視訊圖框或後續經寫碼單元中之區塊單元。
圖5為用於多視圖視訊寫碼之MVC預測結構的一實例之圖。一般而言，MVC預測結構可用於MVC加深度應用，但進一步包括改進，視圖藉以可包括圖紋分量及深度分量兩者。下文描述一些基本MVC態樣。MVC為H.264/AVC之擴充，且對H.264/AVC之3DVC擴充利用MVC之各種態樣，但進一步包括視圖中之圖紋分量及深度分量兩者。MVC預測結構包括每一視圖內之圖像間預測及視圖間預測兩者。在圖5中，預測由箭頭指示，其中所指向至之物件使用所指向物件用於預測參考。圖5之MVC預測結構可結合時間優先解碼次序配置來使用。在時間優先解碼次序中，每一存取單元可定義為含有在一輸出時間瞬時所有視圖之經寫碼圖像。存取單元之解碼次序可與輸出或 顯示次序不相同。
在MVC中，視圖間預測藉由像差運動補償支援，像差運動補償使用H.264/AVC運動補償之語法，但允許將不同視圖中之圖像置作參考圖像。兩個視圖之寫碼亦可藉由MVC支援。在一實例中，被寫碼之經寫碼視圖中的一或多者可包括藉由處理MPU而合成之目的地視圖，根據本發明，該MPU使一深度像素與多個明度像素及每一色度分量之一或多個色度像素相關聯。在任何情況下，MVC編碼器可採用兩個以上視圖作為3D視訊輸入，且MVC解碼器可解碼多視圖表示。MVC解碼器內之演現器(renderer)可解碼具有多個視圖之3D視訊內容。
同一存取單元(亦即，具有同一時間瞬時)中之圖像可為在MVC中框間預測之視圖。當寫碼非基本視圖中之一者中的圖像時，若圖像在不同視圖中但在同一時間瞬時內，則可將該圖像添加至參考圖像清單中。可將視圖間預測參考圖像放置於參考圖像清單之任何位置中，正如任何框間預測參考圖像一樣。
在MVC中，可實現視圖間預測，就好像另一視圖中之視圖分量為框間預測參考一般。潛在視圖間參考可在序列參數集(SPS)MVC擴充中用信號發送。潛在視圖間參考可藉由參考圖像清單建構程序修改，該程序實現對框間預測或視圖間預測參考之靈活排序。
位元串流可用以在(例如)圖1之源器件12與目的地器件14之間傳送MVC加深度區塊單元及語法元素。位元串流可遵照寫碼標準ITU H.264/AVC，且詳言之，遵循MVC位元串流結構。亦即，在一些實例中，位元串流符合或至少與H.264/AVC之MVC擴充相容。在其他實例中，位元串流符合HEVC之MVC擴充或另一標準之多視圖擴充。在另外其他實例中，使用其他寫碼標準。
一般而言，作為實例，位元串流可根據以下各者制訂：對 H.264/AVC之MVC+D 3DVC擴充、對H.264/AVC之3D-AVC擴充、MVC-HEVC擴充、3D-HEVC擴充或其類似者，或DIBR可有用之其他標準。在H.264/AVC標準中，定義網路抽象層(NAL)單元，以提供「網路易用」視訊表示定址應用，諸如視訊電話、儲存或串流傳輸視訊。可將NAL單元分類為視訊寫碼層(VCL)NAL單元及非VCL NAL單元。VCL單元可含有核心壓縮引擎，且包含區塊、巨集區塊(MB)及切片層級。其他NAL單元為非VCL NAL單元。
在2D視訊編碼實例中，每一NAL單元含有一位元組NAL單元標頭及具有變化大小之有效負載。五個位元用以指定NAL單元類型。三個位元用於nal_ref_idc，nal_ref_idc指示該NAL單元關於藉由其他圖像(NAL單元)來參考的重要程度。舉例而言，將nal_ref_idc設定為等於0意謂NAL單元不用於框間預測。因為擴充H.264/AVC以支援3DVC，所以NAL標頭可類似於2D情形之NAL標頭。舉例而言，NAL單元標頭中之一或多個位元用以識別出該NAL單元為四分量NAL單元。
NAL單元標頭亦可用於MVC NAL單元。然而，在MVC中，除了首碼NAL單元及MVC經寫碼切片NAL單元之外，可保留NAL單元標頭結構。MVC經寫碼切片NAL單元可包含四位元組標頭及NAL單元有效負載，NAL單元有效負載可包括區塊單元，諸如圖1之經寫碼區塊8。MVC NAL單元標頭中之語法元素可包括priority_id、temporal_id、anchor_pic_flag、view_id、non_idr_flag及inter_view_flag。在其他實例中，其他語法元素包括於MVC NAL單元標頭中。
語法元素anchor_pic_flag可指示圖像是錨定圖像或是非錨定圖像。錨定圖像及在輸出次序(亦即，顯示次序)上處於其之後的所有圖像可正確地加以解碼而無需解碼在解碼次序(亦即，位元串流次序)上 處於先前之圖像，且因此可用作隨機存取點。錨定圖像及非錨定圖像可具有不同相依性，其兩者可在序列參數集中用信號發送。
MVC中定義之位元串流結構之特徵在於以下兩個語法元素：view_id及temporal_id。語法元素view_id可指示每一視圖之識別符。NAL單元標頭中之此識別符使得能夠在解碼器處容易識別NAL單元，且快速存取經解碼視圖以供顯示。語法元素temporal_id可指示時間可調性階層，或間接地指示圖框速率。舉例而言，具有較小最大temporal_id值之包括NAL單元的操作點可具有低於具有較大最大temporal_id值之操作點的圖框速率。具有較高temporal_id值之經寫碼圖像通常取決於視圖內具有較低temporal_id值之經寫碼圖像，但可不取決於具有較高temporal_id之任何經寫碼圖像。
NAL單元標頭中之語法元素view_id及temporal_id可用於位元串流提取及調適兩者。語法元素priority_id可主要用於簡單的單路徑位元串流調適程序。語法元素inter_view_flag可指示此NAL單元是否將用於視圖間預測不同視圖中之另一NAL單元。
MVC亦可使用序列參數集(SPS)，且包括SPS MVC擴充。參數集用於在H.264/AVC中發信號。序列參數集包含序列層級標頭資訊。圖像參數集(PPS)包含不常改變之圖像層級標頭資訊。就參數集而論，並不總是針對每一序列或圖像來重複此不常改變之資訊，因此改良寫碼效率。此外，參數集之使用實現標頭資訊之頻帶外傳輸，從而避免為了錯誤回復而進行冗餘傳輸的需要。在頻帶外傳輸之一些實例中，參數集NAL單元係在與其他NAL單元不同之頻道上傳輸。在MVC中，視圖相依性可在SPS MVC擴充中用信號發送。所有視圖間預測可在藉由SPS MVC擴充指定之範疇內進行。
圖6為更詳細說明根據本發明之技術的圖1之視訊解碼器28之實例的方塊圖。視訊解碼器28為本文中稱作「寫碼器」之專用視訊電腦 器件或裝置之一實例。如圖5中所展示，視訊解碼器28對應於目的地器件14之視訊解碼器28。然而，在其他實例中，視訊解碼器28對應於不同器件。在其他實例中，其他單元(諸如，其他編碼器/解碼器(CODEC))亦可執行與視訊解碼器28類似之技術。
視訊解碼器28包括熵解碼單元52，熵解碼單元52熵解碼所接收之位元串流，以產生經量化係數及預測語法元素。位元串流包括經寫碼區塊及語法元素，經寫碼區塊具有每一像素位置之圖紋分量及深度分量以便演現3D視訊。預測語法元素包括以下各者中之至少一者：寫碼模式、一或多個運動向量、識別所使用之內插技術的資訊、用於內插濾波中之係數，及與預測區塊之產生相關聯的其他資訊。
將預測語法元素(例如，係數)轉發至預測處理單元55。預測處理單元55包括深度語法預測模組66。若使用預測相對於固定濾波器之係數或相對於彼此來寫碼該等係數，則預測處理單元55解碼語法元素，以定義實際係數。深度語法預測模組66自圖紋視圖分量之圖紋語法元素預測深度視圖分量之深度語法元素。
若量化應用於預測語法元素中之任一者，則反量化單元56移除此量化。反量化單元56可以不同方式處理經編碼位元串流中之經寫碼區塊的每一像素位置之深度及圖紋分量。舉例而言，當以與圖紋分量不同之方式對深度分量進行量化時，反量化單元56單獨地處理深度及圖紋分量。舉例而言，濾波器係數可根據本發明以預測方式寫碼及量化，且在此狀況下，反量化單元56藉由視訊解碼器28使用以按預測方式解碼及解量化此等係數。
預測處理單元55基於預測語法元素及儲存於記憶體62中之一或多個先前經解碼區塊以與上文關於視訊編碼器22之預測處理單元32詳細描述的方式幾乎相同之方式產生預測資料。詳言之，預測處理單元55在運動補償期間執行本發明之MVC加深度技術或其他基於深度之 寫碼技術中的一或多者，以產生併有深度分量以及圖紋分量之預測區塊。預測區塊(以及經寫碼區塊)可具有深度分量對圖紋分量之不同精度。舉例而言，深度分量可具有四分之一像素精度，而圖紋分量具有全整數像素精度。因而，本發明之技術中的一或多者藉由視訊解碼器28使用，以產生預測區塊。在一些實例中，預測處理單元55可包括運動估計單元、運動補償單元及框內寫碼單元。出於說明之簡單及容易起見，運動補償、運動估計及框內寫碼單元未展示於圖5中。
反量化單元56對經量化係數進行反量化(亦即，解量化)。反量化程序為針對H.264解碼或針對任何其他解碼標準定義之程序。反變換處理單元58將反變換(例如，反DCT或概念上類似之反變換程序)應用於變換係數，以便在像素域中產生殘餘區塊。求和器64對殘餘區塊及藉由預測處理單元55產生之對應預測區塊求和，以形成藉由視訊編碼器22編碼之原始區塊的經重建構版本。在需要時，亦應用解區塊濾波器來對經解碼區塊進行濾波，以便移除方塊效應假影。接著將經解碼視訊區塊儲存於記憶體62中，記憶體62提供參考區塊以供後續運動補償且亦產生經解碼視訊以驅動顯示器件(諸如，圖1之器件28)。
經解碼視訊可用以演現3D視訊。自藉由視訊解碼器28提供之經解碼視訊演現之3D視訊中的一或多個視圖可根據本發明來合成。舉例而言，視訊解碼器28可包括DIBR模組110，DIBR模組110可以如上文參看圖3所描述之方式類似的方式起作用。因此，在一實例中，DIBR模組110可藉由處理包括於經解碼視訊資料中之參考視圖的MPU來合成一或多個視圖，其中每一MPU使一深度像素與參考視圖之圖紋分量的多個明度像素及每一色度分量之一或多個色度像素相關聯。
圖7為說明可在深度影像繪圖法(DIBR)之一些實例中執行的增加取樣之概念流程圖。此增加取樣可需要額外處理能力及計算循環，其對電力及處理資源之利用的效率較低。舉例而言，為了保證每一圖紋 分量與深度相同，色度分量以及深度影像可必須經增加取樣至與明度相同之解析度。在扭曲及空洞填補之後，對色度分量進行減少取樣。在圖7中，扭曲可在4：4：4域中執行。
本發明中所描述之技術可解決參看圖7描述且在圖7中說明之問題，且(例如)在深度影像之解析度等於或低於圖紋影像之色度分量的解析度且低於圖紋影像之明度分量的解析度時，支援深度影像及圖紋影像之非對稱解析度。
舉例而言，深度分量之解析度可與兩個色度分量之解析度相同，且深度及色度兩者之解析度可為明度分量之解析度的四分之一。此實例在圖8中說明，圖8為說明在四分之一解析度狀況下扭曲之實例的概念流程圖。在此實例中，圖8可被視為在4：2：0域中扭曲，其中深度及色度之大小相同。
下文提供實例實施，其係基於最新工作草案「Working Draft 1 of AVC compatible video with depth information」。在此實例中，深度之解析度為圖紋明度之四分之一解析度。
A.1.1.1 用於視圖合成參考分量產生之3DVC解碼程序
此程序可在解碼圖紋視圖分量時調用，圖紋視圖分量指代合成參考分量。此程序之輸入為經解碼圖紋視圖分量srcTexturePicY及在chroma_format_idc等於1之情況下srcTexturePicCb及srcTexturePicCr，以及同一視圖分量對之經解碼深度視圖分量srcDepthPic。此程序之輸出為合成參考分量vspPic之樣本陣列，合成參考分量vspPic由1個樣本陣列vspPicY(當chroma_format_idc等於0時)或3個樣本陣列vspPicY、vspPicCb及vspPicCr(當chroma_format_idc等於1時)組成。
為了導出輸出，指定以下排序步驟。
調用子條款A.1.1.1.2中指定之圖像扭曲及空洞填補程序，其中將設定至srcTexturePictureY之srcPicY、設定至normTexturePicCb(當 chroma_format_idc等於1時)之srcPicCb、設定至normTexturePicCr(當chroma_format_idc等於1時)之srcPicCr及設定至normDepthPic之depPic作為輸入，且將輸出指派至vspPicY以及在chroma_format_idc等於1之情況下vspPicCb及vspPicCr。
A.1.1.1.2 圖像扭曲及空洞填補程序
此程序之輸入為圖紋視圖分量之經解碼明度分量srcPicY及在chroma_format_idc等於1之情況下兩個色度分量srcPicCb及srcPicCr，以及深度圖像depPic。所有此等圖像具有相同空間解析度。此程序之輸出為合成參考分量vspPic之樣本陣列，合成參考分量vspPic由1個樣本陣列vspPicY(當chroma_format_idc等於0時)或3個樣本陣列vspPicY、vspPicCb及vspPicCr(當chroma_format_idc等於1時)組成。若ViewIdTo3DVAcquisitionParamIndex(當前視圖之view_id)小於ViewIdTo3DVAcquisitionParamIndex(輸入圖紋視圖分量之view_id)，則扭曲方向WarpDir設定至0，否則WarpDir設定至1。
調用A.1.1.1.2.1以產生查找表dispTable。
對於每一列i(i自0至height-1(包括0及height-1)(其中height為深度陣列之高度))，調用A.1.1.1.2.2，其中srcPicY之第2*i列及第(2*i+1)列(srcPicYRow0、srcPicYRow1)、scrPicCb之第i列scrPicCbRow、scrPicCr之第i列scrPicCrRow、深度圖像之第i列depPicRow及WarpDir作為輸入，且vspPicY之第i列vspPicYRow、vspPicCb之第2*i列及第(2*i+1)列vspPicCbRow及vspPicCr之第i列vspPicCrRow作為輸出。
A.1.1.2.1 自像差至深度之查找表產生程序
對於每一d(自0至255)，如下設定dispTable[d]：
- dispTable[d]=Disparity(d,ZNear[frame_num,index],ZFar[frame_num,index],FocalLengthX[frame_num,index],AbsTX[index]-AbsTX[refIndex])，其中index及refIndex藉由以下公 式導出：
- index=ViewIdTo3DVAcquisitionParamIndex(當前視圖之view_id)
- refIndex=ViewIdTo3DVAcquisitionParamIndex(輸入圖紋視圖分量之ViewId)
A.1.1.1.2.2 列扭曲及空洞填補程序
至此程序之輸入為參考明度樣本之兩個列(srcPicYRow0、srcPicYRow1)、參考cb樣本之列scrPicCbRow及參考cr樣本之列scrPicCrRow、深度樣本之列depPicRow，及扭曲方向WarpDir。此程序之輸出為目標明度樣本之兩個列(vspPicYRow0、vspPicYRow1)、目標cb樣本之列vspPicCbRow，及目標cr樣本之列vspPicCrRow。
如下設定PixelStep：PixelStep=WarpDir？-1：1。tempDepRow經分配有與depPicRow相同之大小。tempDepRow之每一值設定至-1。將RowWidth設定為深度樣本列之寬度。
按次序進行以下步驟。
1. 設定j=0，prevK=0，jDir=(RowWidth-1)*WarpDir
2. 設定k=jDir+dispTable[depPicRow[jDir]]
3. 若k小於RowWidth，且k等於或大於0，且tempDepRow[k]小於depPicRow[jDir]，則進行以下操作；否則轉至步驟4。
- tempDepRow[k]設定至depPicRow[jDir]。
- 調用像素扭曲程序A.1.1.1.2.2.1，其中輸入包括此子條款之所有輸入，以及位置jDir及位置k。
- 若(k-preK)等於PixelStep，則轉至步驟4。
- 否則，若PixelStep*(k-prevK)大於1
- 則調用A.1.1.1.2.2.2以填補空洞，其中輸入包括此子條款之所有輸入及位置對(prevK+PixelStep,k-PixelStep)；
- 否則(當WarpDir為0時，k小於或等於prevK，或當WarpDir為1時，k大於或等於prevK)，按次序應用以下步驟：
- 當k不等於prevK時，對於自k+PixelStep至prevK(包括k+PixelStep及prevK)之每一pos，將tempDepRow[pos]設定至-1。
- 當k大於0且小於RowWidth-1，且tempDepRow[k-PixelStep]等於-1時，將變數holePos設定為等於k-PixelStep，且反覆地使holePos減小PixelStep，直至以下條件中之一者成立為止：
- holePos等於0或holePos等於RowWidth-1；
- tempDepRow[holePos]不等於-1。
調用A.1.1.1.2.2.2以填補空洞，其中輸入包括此子條款之所有輸入及位置對(holePos+PixelStep,k-PixelStep)；
- 將prevK設定至k。
4. 按次序應用以下步驟：
- j++。
- 設定jDir=jDir+PixelStep。
- 若j等於RowWidth，則轉至步驟5；否則轉至步驟2。
5. 按次序應用以下步驟：
- 若prevK不等於(1-WarpDir)*(RowWidth-1)，則調用A.1.1.1.2.2.2以填補空洞，其中輸入包括此子條款之所有輸入及位置對(prevK+PixelStep,(1-WarpDir)*(RowWidth-1))。
- 終止程序。
A.1.1.1.2.2.1 像素扭曲程序
至此程序之輸入包括A.1.1.1.2.2之所有輸入，另外包括參考樣本列處之位置jDir及目標樣本列處之位置k。此程序之輸出為位置k處之vspPicYRow0、vspPicYRow1、vspPicCbRow、vspPicCrRow之經修改樣本列。
- vspPicYRow0[2*k]設定為等於srcPicYRow0[2*jDir]；- vspPicYRow0[2*k+1]設定為等於srcPicYRow0[2*jDir+1]；- vspPicYRow1[2*k]設定為等於srcPicYRow1[2*jDir]；- vspPicYRow1[2*k+1]設定為等於srcPicYRow1[2*jDir+1]；- vspPicCbRow[k]設定為等於srcPicCbRow[jDir]；- vspPicCrRow[k]設定為等於srcPicCrRow[jDir]。
A.1.1.12.2.2 空洞像素填補程序
至此程序之輸入包括I.8.4.2.2之所有輸入，另外包括深度樣本之列tempDepRow、位置對(p1,p2)及列之寬度RowWidth。程序之輸出為vspPicYRow0、vspPicYRow1、vspPicCbRow、vspPicCrRow之經修改樣本列。
如下設定posLeft及posRight：- posLeft=(p1<p2？p1,p2)；- posRight=(p1<p2？p2,p1)。
如下導出posRef：- 若posLeft等於0，則將posRef設定至posRight+1；- 否則，若posRight等於RowWidth-1，則將posRef設定至posLeft-1；- 否則，若tempDepRow[posLeft-1]小於tempDepRow[posRight+1]，則將posRef設定至posLeft-1；- 否則，將posRef設定至posRight+1。
對於自posLeft至posRight(包括posLeft及posRight)之每一pos，應用以下步驟：- vspPicYRow0[pos*2]=vspPicYRow0[posRef*2]；- vspPicYRow0[pos*2+1]=vspPicYRow0[posRef*2+1]；- vspPicYRow1[pos*2]=vspPicYRow1[posRef*2]； - vspPicYRow1[pos*2+1]=vspPicYRow1[posRef*2+1]；- vspPicCbRow[pos]=vspPicCrRow[posRef]；- vspPicCbRow[pos]=vspPicCrRow[posRef]。
根據本發明之實例可提供數個優勢，其係關於基於具有非對稱深度及圖紋分量解析度之參考視圖來合成多視圖視訊之視圖。根據本發明之實例使得能夠使用MPU進行視圖合成，而不需要進行增加取樣及/或減少取樣以按人工方式建立深度及圖紋視圖分量之間的解析度對稱性。根據本發明之實例的一優勢在於一深度像素可對應於一個且僅一個MPU，而非逐像素地進行處理，其中同一深度像素可對應於多個MPU中之明度及色度像素的多個經增加取樣或經減少取樣近似值且藉由該等近似值進行處理。在根據本發明之一些實例中，多個明度像素及一或多個色度像素在一MPU中與一個且僅一個深度值相關聯，且因此明度及色度像素取決於相同邏輯而聯合地處理。以此方式，在根據本發明之視圖合成期間的條件檢查可極大地減少。
術語「寫碼器」在本文中用以指代執行視訊編碼或視訊解碼之電腦器件或裝置。術語「寫碼器」一般指代任何視訊編碼器、視訊解碼器或組合之編碼器/解碼器(編解碼器)。術語「寫碼」指代編碼或解碼。術語「經寫碼區塊」、「經寫碼區塊單元」或「經寫碼單元」可指代視訊圖框之任何可獨立解碼之單元，諸如整個圖框、圖框之切片、視訊資料之區塊，或根據所使用之寫碼技術定義的另一可獨立解碼之單元。
在一或多個實例中，所描述之功能可以硬體、軟體、韌體或其任何組合來實施。若以軟體來實施，則該等功能可作為一或多個指令或程式碼而儲存於電腦可讀媒體上或經由電腦可讀媒體來傳輸，且藉由基於硬體之處理單元來執行。電腦可讀媒體可包括電腦可讀儲存媒體或通信媒體，電腦可讀儲存媒體對應於諸如資料儲存媒體之有形媒 體，通信媒體包括促進電腦程式(例如)根據通信協定自一處傳送至另一處的任何媒體。以此方式，電腦可讀媒體一般可對應於(1)非暫時性之有形電腦可讀儲存媒體或(2)諸如信號或載波之通信媒體。資料儲存媒體可為可由一或多個電腦或一或多個處理器存取以擷取用於實施本發明中所描述之技術之指令、程式碼及/或資料結構的任何可用媒體。電腦程式產品可包括電腦可讀媒體。
作為實例而非限制，此等電腦可讀儲存媒體可包含RAM、ROM、EEPROM、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存器件、快閃記憶體，或可用於儲存呈指令或資料結構之形式的所要程式碼且可由電腦存取的任何其他媒體。又，任何連接被適當地稱作電腦可讀媒體。舉例而言，若使用同軸纜線、光纖纜線、雙絞線、數位用戶線(DSL)，或諸如紅外線、無線電及微波之無線技術而自網站、伺服器或其他遠端源傳輸指令，則同軸纜線、光纖纜線、雙絞線、DSL，或諸如紅外線、無線電及微波之無線技術包括於媒體之定義中。然而，應理解，電腦可讀儲存媒體及資料儲存媒體不包括連接、載波、信號或其他暫時性媒體，而是有關非暫時性有形儲存媒體。如本文中所使用，磁碟及光碟包括緊密光碟(CD)、雷射光碟、光學光碟、數位多功能光碟(DVD)、軟性磁碟及藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟藉由雷射以光學方式再現資料。以上各物之組合亦應包括於電腦可讀媒體之範疇內。
可藉由諸如一或多個數位信號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、場可程式化邏輯陣列(FPGA)或其他等效積體或離散邏輯電路之一或多個處理器來執行指令。因此，如本文中所使用，術語「處理器」可指代前述結構或適合於實施本文中所描述之技術的任何其他結構中之任一者。另外，在一些態樣中，可將本文所描述之功能性提供於經組態以用於編碼及解碼之專用硬體及/或軟體 模組內，或併入於組合式編解碼器中。又，該等技術可完全實施於一或多個電路或邏輯元件中。
本發明之技術可實施於廣泛多種器件或裝置中，包括無線手機、積體電路(IC)或IC之集合(例如，晶片組)。本發明中描述各種組件、模組或單元以強調經組態以執行所揭示技術之器件之功能態樣，但未必需要藉由不同硬體單元實現。更確切而言，如上文所描述，各種單元可組合於編解碼器硬體單元中或由交互操作之硬體單元(包括如上文所描述之一或多個處理器)之集合結合合適軟體及/或韌體來提供。
已描述各種實例。此等及其他實例在以下申請專利範圍之範疇內。

Claims (26)

  1. 一種用於處理視訊資料之方法，該方法包含：在一最小處理單元(MPU)中，使一參考圖像之一深度影像的一像素與該參考圖像之一圖紋影像的一第一色度分量之一或多個像素相關聯，其中該MPU指示合成一目的地圖像中之一像素所需的至少一最小資訊集合，其包括像素之關聯，且其中該目的地圖像及該參考圖像之該圖紋影像在一起觀看時形成一三維圖像；在該MPU中，使該深度影像之該一像素與該圖紋影像之一第二色度分量的一或多個像素相關聯；在該MPU中，使該深度影像之該一像素與該圖紋影像之一明度分量的複數個像素相關聯，其中該明度分量之該等像素的一數目不同於該第一色度分量之該一或多個像素的一數目及該第二色度分量之該一或多個像素的一數目；及處理該MPU以合成該目的地圖像之至少一像素而不增加取樣該深度影像，該MPU包含像素值之一集合，該等像素值包括該參考圖像之該深度影像之該一像素、該參考圖像之該圖紋影像之該第一色度分量之該一或多個像素、該參考圖像之該圖紋影像之該第二色度分量之該一或多個像素及該圖紋影像之該明度分量之該複數個像素的像素值。
  2. 如請求項1之方法，其中處理該MPU包含：使該MPU扭曲至該目的地圖像，以自該參考圖像之該圖紋影像及該深度影像產生該目的地圖像之該至少一像素。
  3. 如請求項2之方法，其中使該MPU扭曲至該目的地圖像包含基於該深度分量之該一像素來移位以下各者中之至少一者：該第一 色度分量之該一或多個像素、該第二色度分量之該一或多個像素，及該明度分量之該複數個像素。
  4. 如請求項2之方法，其中使該MPU扭曲至該目的地圖像包含基於該深度分量之該一像素來移位該第一色度分量、該第二色度分量及該明度分量之所有該等像素。
  5. 如請求項3之方法，其中使該MPU扭曲至該目的地圖像包含基於該深度分量之該一像素來水平地移位以下各者中之至少一者：該第一色度分量之該一或多個像素、該第二色度分量之該一或多個像素，及該明度分量之該複數個像素。
  6. 如請求項1之方法，其中該處理包含處理該MPU以合成該至少該目的地圖像之該至少一像素，而不對該深度影像、該圖紋影像之該第一色度分量及該圖紋影像之該第二色度分量進行增加取樣。
  7. 如請求項1之方法，其中處理該MPU包含：自包含像素值之該集合的該MPU空洞填補該目的地圖像之一MPU，以產生該目的地圖像中之至少一其他像素，該等像素值包括參考圖像之該深度影像之該一像素、該參考圖像之該圖紋影像之該第一色度分量之該一或多個像素、該參考圖像之該圖紋影像之該第二色度分量之該一或多個像素及該圖紋影像之該明度分量之該複數個像素的該等像素值。
  8. 如請求項1之方法，其中處理該MPU包含：自包含像素值之該集合的該MPU同時空洞填補該目的地圖像之複數個MPU，該等像素值包括參考圖像之該深度影像之該一像素、該參考圖像之該圖紋影像之該第一色度分量之該一或多個像素、該參考圖像之該圖紋影像之該第二色度分量之該一或多個像素及該圖紋影像之該明度分量之該複數個像素的該等像 素值，其中該空洞填補提供該目的地圖像之一明度分量以及第一色度分量及第二色度分量的複數個列之像素值。
  9. 如請求項1之方法，其中該參考圖像之該圖紋影像包含一多視圖視訊寫碼(MVC)存取單元之一第一視圖的一圖像，其中該目的地圖像包含該多視圖視訊MVC存取單元之一第二視圖。
  10. 如請求項1之方法，其中該明度分量之該等像素的該數目等於四，該第一色度分量之該一或多個像素的該數目等於一，且該第二色度分量之該一或多個像素的該數目等於一，且其中該深度影像之該一像素與該圖紋影像之該第一色度分量之一像素、該第二色度分量之一像素及該明度分量之四個像素相關聯。
  11. 如請求項1之方法，其中該明度分量之該等像素的該數目等於二，該第一色度分量之該一或多個像素的該數目等於一，且該第二色度分量之該一或多個像素的該數目等於一，且其中該深度影像之該一像素與該圖紋影像之該第一色度分量之一像素、該第二色度分量之一像素及該明度分量之兩個像素相關聯。
  12. 一種用於處理視訊資料之裝置，該裝置包含：一記憶體單元，其經組態以儲存一參考圖像；及至少一處理器，其經組態以執行以下操作：在一最小處理單元(MPU)中，使該參考圖像之一深度影像的一像素與該參考圖像之一圖紋影像的一第一色度分量之一或多個像素相關聯，其中該MPU指示合成一目的地圖像中之一像素所需的至少一最小資訊集合，其包括像素之關聯，且其中該目的地圖像及該參考圖像之該圖紋影像在一起觀看時形成一三維圖像； 在該MPU中，使該深度影像之該一像素與該圖紋影像之一第二色度分量的一或多個像素相關聯；在該MPU中，使該深度影像之該一像素與該圖紋影像之一明度分量的複數個像素相關聯，其中該明度分量之該等像素的一數目不同於該第一色度分量之該一或多個像素的一數目及該第二色度分量之該一或多個像素的一數目；及處理該MPU以合成該目的地圖像之至少一像素而不增加取樣該深度影像，該MPU包含像素值之一集合，該等像素值包括該參考圖像之該深度影像之該一像素、該參考圖像之該圖紋影像之該第一色度分量之該一或多個像素、該參考圖像之該圖紋影像之該第二色度分量之該一或多個像素及該圖紋影像之該明度分量之該複數個像素的像素值。
  13. 如請求項12之裝置，其中為了處理該MPU，該至少一處理器經組態以：使該MPU扭曲至該目的地圖像，以自該參考圖像之該圖紋影像及該深度影像產生該目的地圖像之該至少一像素。
  14. 如請求項13之裝置，其中為了使該MPU扭曲，該至少一處理器經組態以基於該深度分量之該一像素來移位以下各者中之至少一者：該第一色度分量之該一或多個像素、該第二色度分量之該一或多個像素，及該明度分量之該複數個像素。
  15. 如請求項14之裝置，其中為了使該MPU扭曲，該至少一處理器經組態以基於該深度分量之該一像素來移位該第一色度分量、該第二色度分量及該明度分量之所有該等像素。
  16. 如請求項14之裝置，其中為了使該MPU扭曲，該至少一處理器經組態以基於該深度分量之該一像素來水平地移位以下各者中之至少一者：該第一色度分量之該一或多個像素、該第二色度 分量之該一或多個像素，及該明度分量之該複數個像素。
  17. 如請求項12之裝置，其中為了處理該MPU，該至少一處理器經組態以處理該MPU，而不對該深度影像、該圖紋影像之該第一色度分量及該圖紋影像之該第二色度分量進行增加取樣。
  18. 如請求項12之裝置，其中為了處理，該至少一處理器經組態以：自包含像素值之該集合的該MPU空洞填補該目的地圖像之一MPU，以產生該目的地圖像中之至少一其他像素，該等像素值包括參考圖像之該深度影像之該一像素、該參考圖像之該圖紋影像之該第一色度分量之該一或多個像素、該參考圖像之該圖紋影像之該第二色度分量之該一或多個像素及該圖紋影像之該明度分量之該複數個像素的該等像素值。
  19. 如請求項12之裝置，其中為了處理，該至少一處理器經組態以：自包含像素值之該集合的該MPU同時空洞填補該目的地圖像之複數個MPU，該等像素值包括參考圖像之該深度影像之該一像素、該參考圖像之該圖紋影像之該第一色度分量之該一或多個像素、該參考圖像之該圖紋影像之該第二色度分量之該一或多個像素及該圖紋影像之該明度分量之該複數個像素的該等像素值，其中該空洞填補提供該目的地圖像之一明度分量以及第一色度分量及第二色度分量的複數個列之像素值。
  20. 如請求項12之裝置，其中該參考圖像之該圖紋影像包含一多視圖視訊之一第一視圖的一圖像，其中該目的地圖像包含該多視圖視訊之一第二視圖，且其中該多視圖視訊在觀看時形成一三維視訊。
  21. 如請求項12之裝置，其中該明度分量之該等像素的該數目等於四，該第一色度分量之該一或多個像素的該數目等於一，且該第二色度分量之該一或多個像素的該數目等於一，且其中該深度影像之該一像素與該圖紋影像之該第一色度分量之一像素、該第二色度分量之一像素及該明度分量之四個像素相關聯。
  22. 如請求項12之裝置，其中該明度分量之該等像素的該數目等於二，該第一色度分量之該一或多個像素的該數目等於一，且該第二色度分量之該一或多個像素的該數目等於一，且其中該深度影像之該一像素與該圖紋影像之該第一色度分量之一像素、該第二色度分量之一像素及該明度分量之兩個像素相關聯。
  23. 一種用於處理視訊資料之裝置，該裝置包含：用於在一最小處理單元(MPU)中使一參考圖像之一深度影像的一像素與該參考圖像之一圖紋影像的一第一色度分量之一或多個像素相關聯的構件，其中該MPU指示合成一目的地圖像中之一像素所需的至少一最小資訊集合，其包括像素之關聯，且其中該目的地圖像及該參考圖像之該圖紋影像在一起觀看時形成一三維圖像；用於在該MPU中使該深度影像之該一像素與該圖紋影像之一第二色度分量的一或多個像素相關聯的構件；用於在該MPU中使該深度影像之該一像素與該圖紋影像之一明度分量的複數個像素相關聯的構件，其中該明度分量之該等像素的一數目不同於該第一色度分量之該一或多個像素的一數目及該第二色度分量之該一或多個像素的一數目；及用於處理該MPU以合成該目的地圖像之至少一像素而不增加取樣該深度影像的構件，該MPU包含像素值之一集合，該等像素值包括該參考圖像之該深度影像之該一像素、該參考圖像之 該圖紋影像之該第一色度分量之該一或多個像素、該參考圖像之該圖紋影像之該第二色度分量之該一或多個像素及該圖紋影像之該明度分量之該複數個像素的像素值。
  24. 一種電腦可讀儲存媒體，其上儲存有在執行時使一或多個處理器執行的指令：在一最小處理單元(MPU)中，使一參考圖像之一深度影像的一像素與該參考圖像之一圖紋影像的一第一色度分量之一或多個像素相關聯，其中該MPU指示合成一目的地圖像中之一像素所需的至少一最小資訊集合，其包括像素之關聯，且其中該目的地圖像及該參考圖像之該圖紋影像在一起觀看時形成一三維圖像；在該MPU中，使該深度影像之該一像素與該圖紋影像之一第二色度分量的一或多個像素相關聯；在該MPU中，使該深度影像之該一像素與該圖紋影像之一明度分量的複數個像素相關聯，其中該明度分量之該等像素的一數目不同於該第一色度分量之該一或多個像素的一數目及該第二色度分量之該一或多個像素的一數目；及處理該MPU以合成該目的地圖像之至少一像素而不增加取樣該深度影像，該MPU包含像素值之一集合，該等像素值包括該參考圖像之該深度影像之該一像素、該參考圖像之該圖紋影像之該第一色度分量之該一或多個像素、該參考圖像之該圖紋影像之該第二色度分量之該一或多個像素及該圖紋影像之該明度分量之該複數個像素的像素值。
  25. 一種視訊編碼器，其包含：一記憶體單元，其經組態以儲存一參考圖像；及至少一處理器，其經組態以執行以下操作： 在該參考圖像之一最小處理單元(MPU)中，使該參考圖像之一深度影像的一像素與該參考圖像之一圖紋影像的一第一色度分量之一或多個像素相關聯，其中該MPU指示合成一目的地圖像中之一像素所需的至少一最小資訊集合，其包括像素之關聯，且其中該目的地圖像及該參考圖像之該圖紋影像在一起觀看時形成一三維圖像；在該參考圖像之該MPU中，使該深度影像之該一像素與該圖紋影像之一第二色度分量的一或多個像素相關聯；在該參考圖像之該MPU中，使該深度影像之該一像素與該圖紋影像之一明度分量的複數個像素相關聯，其中該明度分量之該等像素的一數目不同於該第一色度分量之該一或多個像素的一數目及該第二色度分量之該一或多個像素的一數目；處理該參考圖像之該MPU而不增加取樣該深度影像以合成該目的地圖像之至少一MPU，該參考圖像之該MPU包含像素值之一集合，該等像素值包括該參考圖像之該深度影像之該一像素、該參考圖像之該圖紋影像之該第一色度分量之該一或多個像素、該參考圖像之該圖紋影像之該第二色度分量之該一或多個像素及該圖紋影像之該明度分量之該複數個像素的像素值；及編碼該參考圖像之該MPU及該目的地圖像之該至少一MPU，其中該等經編碼MPU形成包含多個視圖之一經寫碼視訊位元串流之一部分。
  26. 一種視訊解碼器，其包含：一輸入介面，其經組態以接收包含一或多個視圖之一經寫碼 視訊位元串流；一記憶體單元；及至少一處理器，其經組態以執行以下操作：解碼該經寫碼視訊位元串流，其中該經解碼視訊位元串流包含複數個圖像，該等圖像中之每一者包含一深度影像及一圖紋影像；儲存該記憶體單元中該複數個圖像之一或多者；自該經解碼視訊位元串流之該複數個圖像選擇一參考圖像；在經選擇之該參考圖像之一最小處理單元(MPU)中，使經選擇之該參考圖像之一深度影像的一像素與該參考圖像之一圖紋影像的一第一色度分量之一或多個像素相關聯，其中該MPU指示合成一目的地圖像中之一像素所需的至少一最小資訊集合，其包括像素之關聯，且其中該目的地圖像及該參考圖像之該圖紋影像在一起觀看時形成一三維圖像；在經選擇之該參考圖像之該MPU中，使該深度影像之該一像素與該圖紋影像之一第二色度分量的一或多個像素相關聯；在經選擇之該參考圖像之該MPU中，使該深度影像之該一像素與該圖紋影像之一明度分量的複數個像素相關聯，其中該明度分量之該等像素的一數目不同於該第一色度分量之該一或多個像素的一數目及該第二色度分量之該一或多個像素的一數目；及處理經選擇之該參考圖像之該MPU而不增加取樣該深度影像以合成該目的地圖像之至少一MPU，經選擇之該參考圖像之該MPU包含像素值之一集合，該等像素值包括該參考圖像 之該深度影像之該一像素、該參考圖像之該圖紋影像之該第一色度分量之該一或多個像素、該參考圖像之該圖紋影像之該第二色度分量之該一或多個像素及該圖紋影像之該明度分量之該複數個像素的像素值。
TW102108530A 2012-04-16 2013-03-11 基於非對稱圖紋及深度解析度之視圖合成 TWI527431B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261625064P 2012-04-16 2012-04-16
US13/774,430 US20130271565A1 (en) 2012-04-16 2013-02-22 View synthesis based on asymmetric texture and depth resolutions

Publications (2)

Publication Number Publication Date
TW201401848A TW201401848A (zh) 2014-01-01
TWI527431B true TWI527431B (zh) 2016-03-21

Family

ID=49324705

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102108530A TWI527431B (zh) 2012-04-16 2013-03-11 基於非對稱圖紋及深度解析度之視圖合成

Country Status (6)

Country Link
US (1) US20130271565A1 (zh)
EP (1) EP2839655A1 (zh)
KR (1) KR20150010739A (zh)
CN (1) CN104221385A (zh)
TW (1) TWI527431B (zh)
WO (1) WO2013158216A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI736335B (zh) * 2020-06-23 2021-08-11 國立成功大學 基於深度影像生成方法、電子裝置與電腦程式產品

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013156250A1 (en) * 2012-04-19 2013-10-24 Telefonaktiebolaget L M Ericsson (Publ) View synthesis using low resolution depth maps
US10469866B2 (en) * 2013-04-05 2019-11-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding video with respect to position of integer pixel
CN105556972B (zh) * 2013-07-18 2019-04-05 三星电子株式会社 用于层间视频解码和编码设备和方法的对深度图像的场景内预测方法
WO2015021381A1 (en) * 2013-08-08 2015-02-12 University Of Florida Research Foundation, Incorporated Real-time reconstruction of the human body and automated avatar synthesis
US10491916B2 (en) 2013-10-01 2019-11-26 Advanced Micro Devices, Inc. Exploiting camera depth information for video encoding
EP3061233B1 (en) 2013-10-25 2019-12-11 Microsoft Technology Licensing, LLC Representing blocks with hash values in video and image coding and decoding
US10368097B2 (en) * 2014-01-07 2019-07-30 Nokia Technologies Oy Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures
US10567754B2 (en) * 2014-03-04 2020-02-18 Microsoft Technology Licensing, Llc Hash table construction and availability checking for hash-based block matching
CN105556971B (zh) 2014-03-04 2019-07-30 微软技术许可有限责任公司 针对帧内块复制预测中的块翻动和跳跃模式的编码器侧判定
CA2942055C (en) * 2014-03-11 2019-07-16 Hfi Innovation Inc. Method and apparatus of single sample mode for video coding
CN106105190B (zh) * 2014-03-13 2018-11-13 高通股份有限公司 用于3d-hevc的简化高级残余预测
US20170070751A1 (en) * 2014-03-20 2017-03-09 Nippon Telegraph And Telephone Corporation Image encoding apparatus and method, image decoding apparatus and method, and programs therefor
EP3143607A1 (en) 2014-05-14 2017-03-22 Mobileye Vision Technologies Ltd. Systems and methods for curb detection and pedestrian hazard assessment
EP3158744A4 (en) * 2014-06-19 2017-07-26 HFI Innovation Inc. Method and apparatus of candidate generation for single sample mode in video coding
KR102287779B1 (ko) 2014-06-23 2021-08-06 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 해시 기반의 블록 매칭의 결과에 기초한 인코더 결정
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
EP3416386B1 (en) 2014-09-30 2021-01-13 Microsoft Technology Licensing, LLC Hash-based encoder decisions for video coding
US10397611B2 (en) * 2014-10-08 2019-08-27 Lg Electronics Inc. Method and device for encoding/decoding 3D video
CN104768019B (zh) * 2015-04-01 2017-08-11 北京工业大学 一种面向多纹理多深度视频的相邻视差矢量获取方法
US10122996B2 (en) * 2016-03-09 2018-11-06 Sony Corporation Method for 3D multiview reconstruction by feature tracking and model registration
US10567739B2 (en) 2016-04-22 2020-02-18 Intel Corporation Synthesis of transformed image views
US11089280B2 (en) 2016-06-30 2021-08-10 Sony Interactive Entertainment Inc. Apparatus and method for capturing and displaying segmented content
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
EP3300362A1 (en) * 2016-09-27 2018-03-28 Thomson Licensing Method for improved intra prediction when reference samples are missing
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
TWI640957B (zh) 2017-07-26 2018-11-11 聚晶半導體股份有限公司 影像處理晶片與影像處理系統
US10536708B2 (en) * 2017-09-21 2020-01-14 Intel Corporation Efficient frame loss recovery and reconstruction in dyadic hierarchy based coding
US10798402B2 (en) * 2017-10-24 2020-10-06 Google Llc Same frame motion estimation and compensation
US11265579B2 (en) * 2018-08-01 2022-03-01 Comcast Cable Communications, Llc Systems, methods, and apparatuses for video processing
CN109257588A (zh) * 2018-09-30 2019-01-22 Oppo广东移动通信有限公司 一种数据传输方法、终端、服务器和存储介质
CN109901897B (zh) * 2019-01-11 2022-07-08 珠海天燕科技有限公司 一种在应用中匹配视图颜色的方法和装置
US11094130B2 (en) * 2019-02-06 2021-08-17 Nokia Technologies Oy Method, an apparatus and a computer program product for video encoding and video decoding
FR3106014A1 (fr) * 2020-01-02 2021-07-09 Orange Synthèse itérative de vues à partir de données d’une vidéo multi-vues
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks
CN112463017B (zh) * 2020-12-17 2021-12-14 中国农业银行股份有限公司 一种互动元素合成方法和相关装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7561620B2 (en) * 2004-08-03 2009-07-14 Microsoft Corporation System and process for compressing and decompressing multiple, layered, video streams employing spatial and temporal encoding
CN100563339C (zh) * 2008-07-07 2009-11-25 浙江大学 一种利用深度信息的多通道视频流编码方法
JP5809064B2 (ja) * 2009-01-20 2015-11-10 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ３ｄ画像データの転送
CN101562754B (zh) * 2009-05-19 2011-06-15 无锡景象数字技术有限公司 一种改善平面图像转3d图像视觉效果的方法
CN102792699A (zh) * 2009-11-23 2012-11-21 通用仪表公司 作为到视频序列的附加通道的深度代码化
KR20110064722A (ko) * 2009-12-08 2011-06-15 한국전자통신연구원 영상 처리 정보와 컬러 정보의 동시 전송을 위한 코딩 장치 및 방법
CN102254348B (zh) * 2011-07-25 2013-09-18 北京航空航天大学 一种基于自适应视差估计的虚拟视点绘制方法
US9485503B2 (en) * 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI736335B (zh) * 2020-06-23 2021-08-11 國立成功大學 基於深度影像生成方法、電子裝置與電腦程式產品

Also Published As

Publication number Publication date
TW201401848A (zh) 2014-01-01
KR20150010739A (ko) 2015-01-28
WO2013158216A1 (en) 2013-10-24
EP2839655A1 (en) 2015-02-25
US20130271565A1 (en) 2013-10-17
CN104221385A (zh) 2014-12-17

Similar Documents

Publication Publication Date Title
TWI527431B (zh) 基於非對稱圖紋及深度解析度之視圖合成
CA2842405C (en) Coding motion depth maps with depth range variation
JP6022652B2 (ja) スライスヘッダ予測のためのスライスヘッダ三次元映像拡張
US9565449B2 (en) Coding multiview video plus depth content
TWI558178B (zh) 用於寫碼視訊資料之方法及器件及電腦可讀儲存媒體
US11496760B2 (en) Slice header prediction for depth maps in three-dimensional video codecs
KR101354387B1 (ko) 2ｄ 비디오 데이터의 3ｄ 비디오 데이터로의 컨버전을 위한 깊이 맵 생성 기술들
KR101377928B1 (ko) 2-차원 비디오 시퀀스를 이용한 3-차원 컨버전 정보의 인코딩
TWI539791B (zh) 三維視頻寫碼中導出之視差向量
US20120236934A1 (en) Signaling of multiview video plus depth content with a block-level 4-component structure
TW201931853A (zh) 具有聯合像素/變換為基礎之量化之視頻寫碼之量化參數控制
RU2571511C2 (ru) Кодирование карт глубин движения с изменением диапазона глубины

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees