TW201105112A - Encoding of three-dimensional conversion information with two-dimensional video sequence - Google Patents

Description

201105112 六、發明說明： 【發明所屬之技術領域】 本發明係關於視訊編碼，及二維（2D)視訊資料至三維 (3D)視訊資料之轉換。 本申請案主張2009年6月5曰申請之美國臨時申請案第 61/184,649號之權利，該案之全部内容以引用的方式併入 本文中。 【先前技術】 數位多媒體能力可併入至廣泛範圍之器件中，包括數位 電視、數位直播系統、無線通信器件、無線廣播系統、個 人數位助理（PDA)、膝上型或桌上型電腦、數位相機、數 位記錄器件、視訊遊戲器件、視訊遊戲控制台、蜂巢式或 衛星無線電電話、數位媒體播放器及其類似者。數位多媒 體器件可實施諸如MPEG-2、ITU-H.263、MPEG-4或ITU_ H.264/MPEG-4第1 0部分（進階視訊編碼（AVC))之視訊編碼 技術，以更有效地傳輸並接收或儲存並擷取數位視訊資 料。視訊編碼技術可經由空間及時間預測執行視訊壓縮以 減少或移除視訊序列中固有之冗餘。 提供呈二維（2D)檢視格式的大多數習知視訊序列。然 而，三维（3D)序列亦為可能的，在此狀況下，視訊序列具 有與每一視訊圖框相關聯之兩個或兩個以上視圖。在此狀 況下，可在3D顯示器上組合該兩個或兩個以上視圖以呈現 3D視sil。相對於2D視訊序列，3D視訊序列之傳達可需要 大量額外資料。舉例而言，為了傳達3D視訊序列，可需要 148858.doc 201105112 兩個單獨視訊圖框以提供每一 2D視訊圖框之兩個不同的視 圖，因此大致使經傳達之資料之量加倍。 【發明内容】 本發明描述用於編碼視訊圖框之一二維（2D)視訊序列連 同三維（3D)轉換資訊之技術’三維（3D)轉換資訊包含可應 用於該2D序列之該等視訊圖框中之每一者以產生3d視訊

資料之一參數集合。本發明亦描述該2D視訊序列及該3D 轉換貧訊之傳達及解碼。該參數集合可包含可應用於該2D 序列之原始視訊圖框中之每一者以產生該等原始視訊圖框 中之母一者的一次視圖視訊圖框之一相對較少量之資料。 該等原始視訊圖框及該等二次視圖視訊圖框可共同地定義 一立體3D視訊序列。該2D序列及該參數集合可包含比另 外傳達3D序列將需要的資料顯著較少之資料。該2D序 列及4參數集合可包含對傳達原始2D序列所需的該資料之 很小的增加。本發明亦描述可用以以一有效且高效率的方 式編碼該參數集合之一些例示性語法。 即使在-接收器件不支援3〇解碼或呈現的情況下 祕收器件亦可解碼並呈現該扣序列。另—方面，若該 收益件支援與本發明—致之3D解碼及3d呈現則該接 …基於該2D序列及該參數集合產生並呈現該扣 4匕方式’本發明之該等技術可支援回溯相容性2D. 編喝及轉換，其中相同位元流可用以呈視1 視訊輸出。此外’如所提及，該等所描述… 了減>用於傳達一观訊序列所需的資料量。 148858.doc 201105112 在一貫例中’本發明描述一種方法’其包含：在—視訊 編碼器中編碼視訊圖框之一 2D序列；經由該視訊編碼器編 碼3D轉換資訊，其中該31)轉換資訊包含可應用於該2〇序 列之該等視訊圖框中之每一者以產生3D視訊資料之—象數 集合’及傳達該經編碼之2D序列以及該3D轉換資訊。 在另一實例中，本發明描述一種方法，其包含：在—視 訊解碼器處接收視訊圖框之一21)序列；在該視訊解碼器處 接收3D轉換資訊以及該2D序列，其中該3D轉換資訊包含 可應用於該2D序列之該等視訊圖框中之每一者以產生3d 視訊資料之一參數集合；經由該視訊解碼器解碼該2〇序 列，及基於該2D序列及該3D轉換資訊經由該視訊解碼器 產生該3D視訊資料。 在另一貫例中，本發明描述一種包含一視訊編碼器之裝 置，β亥視訊編碼器編碼視訊圖框之一 2d序列，且編碼3D 轉換資訊以及該2D序列，其中該3D轉換資訊包含可應用 於該2D序列之該等視訊圖框中之每一者以產生3D視訊資 料之一參數集合。 在另一實例中，本發明描述一種包含一視訊解碼器之裝 置’該視訊解碼器接收視訊圖框之一 2D序列；接收3E)轉 換資訊以及該2D序列，其中該3D轉換資訊包含可應用於 该2D序列之該等視訊圖框中之每一者以產生3D視訊資料 之一參數集合；解碼該2D序列；且基於該2D序列及該3D 轉換資訊產生該3D視訊資料。 在另一貫例中’本發明描述一種器件，其包含：用於在 148858.doc -6 - 201105112 一視訊編碼器中編碼視訊圖框之一 2D序列之構件；用於經 由該視訊編碼器編碼3D轉換資訊之構件，其中該3D轉換 資訊包含可應用於該2D序列之該等視訊圖框令之每一者以 產生3D視訊資料之一參數集合；及用於傳達該經編碼之 2D序列以及該等經編碼之參數之構件。 在另一實例中，本發明描述一種器件，其包含：用於在 一視sfL解碼器處接收視訊圖框之一 2 D序列之構件；用於在 該視訊編碼器處接收3D轉換資訊以及該2D序列之構件， 其中該3 D轉換資訊包含可應用於該2 D序列之該等視訊圖 框中之每一者以產生3D視訊資料之一參數集合；用於解碼 該2D序列之構件；及用於基於該21)序列及該3〇轉換資訊 產生該3D視訊資料之構件。 在另一實例中，本發明描述將313轉換資訊應用於一 2d 序列以產生3D視訊資料之方法、裝置或器件，其中該扣 轉換資訊包含可應用於該2〇序列之每一視訊圖框以產生該 3D視訊資料之一參數集合。 、韋刀體或其任何組合來實施本發明中所

理器中並在處理器中執行。 因此， 可以硬體、軟體、 描述之技術。若以激 等指令在由一 本毛明亦預期包含指令之電腦可讀儲存媒 由—處理器執行時使該處理H編碼視訊圖 體，該 圖框之一 148858.doc 201105112 2D序列，且編碼3D轉換資邙，甘忐分认— 付俠貝Λ ’其中遠3D轉換資訊包含可 應用於該2D序列之該箄拥·ίΠ闽.

』< 次寻规δί1圖框中之每一者以產生該3D 視訊資料之一參數集合。 另外，本發明描述一種包含指令之電腦可讀儲存媒體， 該等指令在由—處理器執行時使該處理器：在接收視訊圖 框之一 2D序列且接收3D轉換資訊以及該2〇序列時（其中該 3_換資訊包含可應用於該扣序列之該等視訊圖框中之 母一者以產生3D視訊資料之一參數集合），解碼該2〇序 列，及基於該2D序列及該3D轉換資訊產生該扣視訊資 料。 在隨附圖式及下文之描述中闡述本發明之—或多個態樣 之田㈤|發明中所描述之技術的其他特徵、目標及優點 將自描述及圖式及自申請專利範圍顯而易見。 【實施方式】 本發明描述用於編碼視訊圖框之二維（2D)視訊序列連同 三維(3D)轉換資訊之技術’三維(3D)轉換資訊包含可應用 於2D序列之視訊圖框中之每—者以產生3〇視訊資料之參 數本&。3D轉換肓訊關於視訊序列之不同圖框並沒有不 同，而包含形成相對較少量之資料之共同參數集合，其可 應用於2D序列之原始視訊圖框中之每—者以產生該等原始 視》fl圖忙中之母|的二次視圖視訊圖框。原始視訊圖框 及二次視圖視訊圖框可共同地定義可呈現於扣顯示器上之 立體3D視訊序列。根據本發明，2D序列及參數集合可包 含比將以其他方式傳達3〇序列需要的資料顯著較少之資 148858.doc 201105112 料。 在—實例中，3D轉換資訊可包含小於20個位元組之資 料’其可應用於2D序列之原始視訊圖框中之每一者以產生 該等原始視訊圖框中之每一者的二次視圖。本發明之技術 可在諸如 MPEG-2、MPEG-4、ITU H.263、ITU H.264、專 屬編碼標準或未來編碼標準之許多編碼設定中為有用的。 根據ITU H.264架構，本發明可使用補充增強資訊（SEI)訊 息作為用於藉由符合視訊標準之2D視訊標準來傳達3D轉 換資訊之機制。 即使在接收器件不支援3D解碼或3D呈現的情況下，該 接收器件亦可解碼並呈現2D序列。然而，若接收器件支援 與本發明一致之3D解碼及3D呈現，則該接收器件可基於 2D序列及參數集合產生並呈現3D序列。以此方式，本發 明之技術可支援可擴充2〇至3D視訊編碼，其中相同位元 流可用以呈現2D視訊輸出或3D視訊輸出。此外，如所提 及，所描述之技術可減少傳達3D視訊序列所需要的資料之 -g 〇 本發明亦描述可用以以有效且高效率的方式編碼參數灣 合之-些例示性語法。舉例而言，在一些實施中，語法天 素可用於ITU H.264之阳訊息中以用於傳達3轉換資吼。 在一實例中（下文更詳細論述）’ 3D轉換資訊可包含一第 旗標，其指示3D參數之顯式集合是否包括於3D轉換資ti 否應时數之預設集合’其中在該第—編 又疋日、3D /數之喊式集合包括於3d轉換資訊中。在山 148858.doc 201105112 狀況下，若第一旗標未經設定，則解碼器仍可應用預設3D 參數。 3D轉換資訊亦可包含一第二旗標，其指示21)序列之第 二視圖疋應在s亥2D序列之左側或是在該2d序列之右側產 生。在此狀況下，第二旗標可藉由提供將在解碼器處產生 之二次視圖之定向（例如，原始視訊圖框之左側或右側）而 幫助3D呈現。此外，3D轉換資訊可包含一第三旗標，其 識別應自3 D視sfL資料移除之裁剪區，其中在該第三旗標經 設定時’定義裁剪區之資訊包括於3D轉換資訊中。若第三 旗標未經設定，則可在產生3D視訊資料及3D呈現的過程 中避免裁剪。在一些狀況下，若第一旗標未經設定，則可 自位元流排除第二及第三旗標。該等旗標可包含單位元或 多位元旗標。 圖1為說明可實施本發明之技術的一例示性視訊編碼及 解碼系統10的方塊圖《如圖1所示，系統i 〇包括一源器件 12，其將經編碼之視訊經由通信頻道丨5傳輸至目的地器件 16。源器件12及目的地器件16可包含廣泛範圍器件中之任 一者，其包括行動器件或大體固定器件。在一些狀況下， 源器件12及目的地器件16包含無線通信器件，諸如，無線 手機、所謂的蜂巢式或衛星無線電電話、個人數位助理 (PDA)、行動媒體播放器或可經由通信頻道15傳達視訊資 訊之任何器件，通信頻道丨5可能為無線的或可能不為無線 的。然而，關於3D轉換資訊連同2D視訊序列之產生、傳 達及使用的本發明之技術可用於許多不同的系統及設定 148858.doc •10- 201105112 中。圖1僅為該系統之一個實例。 在圖1之實例中，源器件12可包括視訊源20、視訊編碼 器22、調變器/解調變器（數據機）23及傳輸器24。目的地器 件16可包括接收态26、數據機27、視訊解碼器28及顯示器 件30。根據本發明，源器件12之視訊編碼器22可經組態以 編碼視訊圖框之2D序列且編碼3D轉換資訊，其中3D轉換 資Λ包含可應用於2D序列之視訊圖框中之每一者以產生 3D視訊資料的參數集合。數據機23及傳輸器以可調變無線 信號且將無線信號傳輸至目的地器件β以此方式，源器件 12將經編碼之21)序列連同3D轉換資訊傳達至目的地器件 16。 接收器2 6及數據機2 7自源器件i 2接收無線信號且將所接 收之無線信號解調變。因此，視訊解碼器28可接收2D序列 及3D轉換資訊，將2〇序列解碼。根據本發明，視訊解碼 器28可基於2D序列及3D轉換資訊產生3D視訊資料。又， 3D轉換資訊可包含可應用於2D序列之視訊圖框中之每一 者以產生3 D視訊資料之參數集合，其可包含比將以其他方 式傳達3D序列需要的資料顯著較少之資料。 如所提及，圖1之所說明之系統1〇僅為例示性的。本發 明之技術可擴展至支援基於一階區塊之視訊編碼的任何編 碼器件或技術。源器件12及目的地器件16僅為該等編碼器 件之貫例，其中源器件12產生經編碼之視訊資料以用於傳 輸至目的地器件16。在一些狀況下，器件12、16可以實質 上對稱之方式操作，使得器件12、16中之每一者包括視訊 148858.doc • 11 - 201105112 編碼及解碼組件。因此，系統10可支援視訊器件12、16之 間的單向或雙向視訊傳輸，以（例如）用於視訊串流、視訊 播放、視訊廣播或視訊電話。 源器件12之視訊源20可包括視訊捕捉器件，諸如，視訊 相機、含有先前捕捉之視訊的視訊封存單元，或來自視訊 内谷提供者之視訊饋給單元。作為另一替代例，視訊源2〇 可產生基於電腦圖形之資料作為源視訊，或實況視訊、封 存視Λ及電腦產生之視訊的組合。在一些狀況下，若視訊 源20為視訊相機，則源器件12及目的地器件16可形成所謂 的相機電話或視訊電話。在每一狀況下，可藉由視訊編碼 态22編碼經捕捉、經預捕捉或電腦產生之視訊。接著可由 數據機23根據通信標準（例如，分碼多重存取（CDMA)或另 通k標準）調變經編碼之視訊資訊，且將其經由傳輸器 24傳輸至目的地器件16。數據機23可包括各種混頻器、渡 波器、放大器或經設計用於信號調變之其他組件。傳輸器 24可包括經設計用於傳輸資料之電路，包括放大器、濾波 器及一或多個天線。 目的地器件〖6之接收器26經由頻道15接收資訊，且數據 機27解調變該資訊。又’視訊編碼程序可實施本文中所描 述之技術中的一或多者，以確定可應用於2D序列之視訊圖 框中之每—者以產生3D視訊資料之參數集合。經由頻道15 所傳達之資訊可包括由視訊編碼器22定義之資訊（其可由 與本發明一致的視訊解碼器28使用顯示器件3〇向使用 者顯不經解碼之視訊資料，且可包含多種顯示器件中之任 148858.doc 12 201105112 一者’諸如’陰極射線管、H顯示器（lcd)、電聚顯示 盗、有機發光二極體(〇LED)顯示器或另一類型之 件。 σ 在圖1之實例中，通信頻道15可包含任何無線或有線通 ㈣體’諸如’射頻（RF)頻譜或—或多個實體傳輸線，或 無線與有線媒體之任何組合。因此，數據機23及傳輸器24 :支援許多可能的無線協定、有線協定，或有線與無線協 疋通t頻運15可形成諸如區域網路（Lan)、廣域網路 (WAN)或全球網路（諸如，包含—或多個網路之互連的網際 網路)之基於封包之網路的一部分。通信頻道"大體上表 不用於將視訊資料自源器件12傳輸至目的地器件Μ之任何 合適：信媒體或不同通信媒體之集合。通信頻道15可包括 路由2、交換器、基地台’或可用於促進自源器件12至目 的地时件16之通#之任何其他設備。本發明之技術未必需 要將經編碼之資料自—器件傳達至另—器彳，且可在無互 逆解馬的If ;兄下應用於編碼情況。又，本發明之態樣可在 無互逆編碼的情況下應用於解碼情況。 /見訊編碼器22及視訊解碼器28可在符合視訊壓縮標準 (諸如ITU-T H.264標準，或者被描述為^1?]£(}_4第1〇部 分，進階視訊編碼（AVC))的情況下進行操作。然而，本發 月之技術不限於任何特定編碼標準或其擴展。儘管未在圖 中展7Γ仁在一些態樣中，視訊編碼器22及視訊解碼器 28可各自與音訊編碼器及解碼器整合，且可包括適當 MUX DEMU：X^疋或其他硬體及軟體以處置共同資料流

L 148858.doc -13* 201105112 或單獨資料流中之音訊與視訊兩者的編碼。若適用，則 MUX-DEMUX單元可遵守ITU H.223多工器協定或諸如使 用者資料報協定（UDP)之其他協定。 藉由ITU-T視訊編碼專家群組（VCEG)連同ISO/IEC動晝 專家群組（MPEG)將ITU-T H.264/MPEG-4(AVC)標準制定為 被稱為聯合視訊小組（JVT)的集體合作之產物。H.264標準 由ITU-T研究群組於2005年3月在ITU-T建議案Η·264 r Advanced Video Coding for generic audiovisual services」 中描述，其可在本文中被稱作H.264標準或H.264規範或 H.264/AVC標準或規範。聯合視訊小組（JVT)繼續致力於對 H.264/MPEG-4AVC 之擴展。 ITU-T之各種網路論壇（諸如，關鍵技術領域（KTA)網路 論壇）致力於推進H.264/MPEG-4 AVC標準。KTA網路論壇 在某種程度上探求開發展現比藉由H.264/AVC標準所展現 之編碼效率高的編碼效率之編碼技術。本發明中所描述之 技術可提供相對於H.264/AVC標準（尤其針對3D視訊）之編 碼改良。在一些態樣中，本發明預期在ITU-T H.264架構 内使用補充增強資訊（SEI)訊息作為用於編碼及傳達本文中 所描述之3D轉換資訊之機制。 視訊編碼器22及視訊解碼器28各自可實施為一或多個微 處理器、數位信號處理器（DSP)、特殊應用積體電路 (ASIC)、場可程式化閘陣列（FPGA)、離散邏輯電路、執行 於微處理器或其他平台上之軟體、硬體、韌體，或其任何 組合。視訊編碼器22及視訊解碼器28中之每一者可包括於 148858.doc -14- 201105112 -:或多個編碼器或解碼器中，其中任一者可整合為各別行 動盗件、用戶器件、廣播器件、伺服器或其類似者中的組 合之編碼器/解碼器（CODEC)的一部分。 視说序列通常包括一系列視訊圖框。視訊編碼器U及視 "孔解碼益28可對個別視訊圖框内之視訊區塊進行操作以便 編碼及解碼視訊資料。視訊區塊可具有©m化之大 小，且可根據所指定編碼標準而在大小上不同。每一視訊 圖框可包括一系列圖塊或其他可獨立解碼單元。每一圖塊 可包括一系列巨集區塊，該等巨集區塊可配置成子區塊。 作為一實例，ITU-T H.264標準支援：在各種區塊大小情 况下之框内預測，諸如，針對亮度分量之16乘1 6、8乘8或 4乘4及針對色度分量之8x8 ;以及在各種區塊大小情況下 之框間預測，諸如，針對亮度分量之16乘16、16乘8、8乘 16、8乘8、8乘4、4乘8及4乘4及針對色度分量之對應按比 例調整之大小。視訊區塊可包含像素資料之區塊，或（例 如）在諸如離散餘弦變換或概念上類似之變換程序之變換 程序之後的變換係數之區塊。 較小視訊區塊可提供較佳解析度，且可用於定位包括高 層級細節之視訊圖框。一般而言，巨集區塊及各種子區塊 或分割區皆可被視為視訊區塊。另外，圖塊可被視為一 _系 列視訊區塊，諸如，巨集區塊及/或子區塊或分割區。一 般而s ’巨集區塊可指代定義16乘16像素面積之色度值及 党度值之集合。党度區塊可包含16乘16之值集合，但可經 進一步分割成較小視訊區塊，諸如，8乘8區塊、4乘4區 148858.doc •15· 201105112 塊、8乘4區塊、4乘8區塊或其他大小。兩個不同色度區塊 可定義巨集區塊之顏色，且可各自包含8乘8經子取:之區 塊，該等8乘8經子取樣之區塊之顏色值與“乘“像素面積 相關聯。巨集區塊可包括用以定義應用於該等巨集區塊之 編碼模式及/或編碼技術之語法資訊。 可將巨集區塊或其他視訊區塊集聚至可解碼單元（諸 如，圖塊、圖框或其他獨立單元)中。每一圖塊可為視訊 圖框之可獨立解碼之單^或者，圖框自身可為可解碼單 元，或圖框之其他部分可被定義為可解碼單元。在本發明 中，術語「經編碼單元」指代視訊圖框之任何可獨立解碼 之單元，諸如，整個圖框、圖框之圖塊、圖像群組 (GOP) ’或根據所使用之編碼技術而定義的另—可獨立解 碼單元。 在基於框内或框間之預測性編碼之後及在任何變換（諸 如，用於H.264/AVC中之4><4或8><8整數變換或離散餘弦變 換或DCT)之後，可執行量化。量化大體上指代將係數量 化以可能地減少用以表示該等係數之資料量的程序。量化 程序可減少與該等係數中之—些或全部相關聯的位元深 度：舉例而言’ 16位元值在量化期間可下捨至⑸立元值。 在里化之後可（例如）根據内容適應性可變長度編石馬 (CAVLC)、_L下文適應性二進位算術編碼（c从）或另二 燜編碼方法來執行熵鳊碼。 個 3D視訊可需要與每—經原始編碼之圖框相關聯的—或夕 額外視訊圖框(例如，額外視圖)。舉例而言，兩個不二 148858.doc 201105112 的視圖可用以定義視訊圖框之立體3D再現。多個視圖（其 可包含三個或三個以上視圖）亦可支援多視圖3D再現。3D 視訊之不同視圖可具有類似時序以使得兩個或兩個以上視 圖對應於視訊序列之相同時間例項。以此方式，兩個或兩 個以上視圖可大體上定義一起形成3D序列的兩個或兩個以 上2D序列’其可共同地呈現以提供3D視訊。 為了支援3D視訊之高效率編碼、傳達及解碼，本發明使 用包含可應用於2D序列之視訊圖框中之每一者以產生3D 視訊資料的參數集合之轉換資訊。可傳達該3D轉換資 訊以及2D序列。因此，接收器件可產生並顯示2〇序列， 或在接收器件支援3D視訊的情況下，該接收器件可產生並 ’本發明之3 D轉換資訊可包 且更特定言之’小於2〇個位 顯示3D序列。在一些實例中 含小於100個位元組之資料， 元組之資料，其可應用於2D序列之21)圖框中之一些或全 部以產生3D立體視訊之二次視圖。以此方式，藉由消除至 少-些圖框之兩個視圖的傳輸，本發明之技術提供傳達川 視訊之高效率方式。 圖^為4明可執仃與本發明—致的技術之視訊編碼器Μ 之實例的方塊圖。視訊編碼器5〇可對應於源器件Μ之視 訊編瑪器22 ’或不同器件之視訊編碼器。視訊編碼哭50可 執行視訊圖框内的區塊之框内編碼及框間編碼。框内編碼 依賴於空間預測以減少或移除給^視訊圖框内之視訊之空 間冗餘。框間編碼依賴於時間制以減少或移除視訊序列 之鄰近圖_之視訊的時間冗餘。框内模式（ι模式）可指代 14885S.doc -17- 201105112 基於空間之壓縮模式， .,snr 且诸如預測（P模式）或雙向（B模式） 之框間核式可指代基於時間之壓縮模式。 如圖2中所示’視訊編碼器5〇接收視訊圖框或圖塊内之 :編碼之當前視訊區塊。在圖2之實例中’視訊編碼器5〇 d預測單元35、記憶體34、加法器48、變換單元^、量 .單^ ?及熵扁碼早兀46。對於視訊區塊重建構而言，視 afL編碼益5 0亦包括读吾儿W 一 逆里化早兀42、逆變換單元44及加法器 51。此外，根據本發明’視訊編碼器5〇可包括產生本文中 所描述之3轉換資訊㈣至轉換單元36。視訊編碼器 50亦可包括其純件，諸如，心對區塊邊界進行據波以 自L重建構之視訊移除方塊效應假影之解區塊滤波器（未 圖示）。若需要，則該解區塊濾波器將通常對加法器51之 輸出進行濾波。 在編碼程序期間，視訊編碼器5〇接收待編碼之視訊區 塊’且預測單兀35執行框内或框間預測性編碼。舉例而 言，編碼器50之預測單元35可執行對經編碼之單元（例 如，圖框或圖塊）之每—視訊區塊或視訊區塊分割區之運 動估計及運動補償。預測單元35可計算與編碼特定區塊相 關聯的每一適用模式之速率_失真成本（rdc〇st)，且可選擇 產生最低成本的編瑪模式。rdc〇st可量化在經編碼之資料 中所使用的位元數目及相對於原始視訊資料之失真度方面 的成本。 速率-失真（RD)分析在視訊編碼中相當常見，且大體上 涉及指示編碼成本之成本量度之計算。成本量度可平衡編 148858.doc 201105112 馬所為之位元數目（速率）及與編碼相關聯之尨質水準（失 真）。典型速率-失真成本計算可大體上對應於以下格式： ί(λ)=λΚ.+Ε) j 其中JW為成本’ R為位元速帛，D為失真，且人為拉格朗 日乘數。預測單元35可應用此類型之成本函數以比較可用 以執仃視訊區塊編碼的各種框内及框間編碼模式（及適用 分割區大小）。 一由預測單元3 5識別了所要預測資料，視訊編碼器5 〇 就藉由自經編碼之原始視訊區塊減去預測資料以產生殘餘 區塊而形成殘餘視訊區塊。加法器48表示執行此等減法運 算之（多個）纽件。變換單元38將變換（諸如，離散餘弦變換 (DCT)或概念上類似之變換）應用於殘餘區塊，從而產生包 含殘餘變換區塊係數之視訊區塊。變換單元38可執行概念 上類似於DCT之變換，諸如，由Η·264標準定義之變換。 亦可使用子波變換、整數變換、次頻帶變換或其他類型之 變換。在任何狀況下，變換單元38將變換應用於殘餘區 塊，從而產生殘餘變換係數之區塊。該變換可將殘餘資訊 自像素域轉換至頻域。 莖化單元40量化殘餘變換係數以進一步減少位元速率。 量化程序可減少與該等係數中之一些或全部相關聯的位元 深度。舉例而言，9位元值在量化期間可下捨至8位元值。 另外’量化單元40亦可量化不同偏移（對於在使用偏移的 狀況下）。 148858.doc -19- 201105112 在量化之後，㈣解元46對經量化之變換係數進行摘 編碼。舉例而t，墒編碼#元46可執行内容適應性可變長 度編碼(CAVLC)、上下文適應性二進位#術編碼(CAB AC) 或另-㈣碼方法。在藉由熵編瑪單元46進行之熵編碼之 後’可將經編碼之視訊傳輸至另-器件或經封存以供稍後 傳輸或擷取。經編碼之位元流可包括經熵編碼之殘餘區 塊、該等區塊之運動向量’及其他語法（諸如，本文中所 描述之用於支援2D至3D視訊之語法）。 逆量化單元42及逆變換單元44分別應用逆量化及逆變換 以在像素域中重建構殘餘區塊，（例如）以用上文所描述之 方式供稱後用作參考資料。加法器51將經重建構之殘餘區 塊加至由運動補償單元3 5產生之一階預測區塊及/或二階 預測區塊以產生經重建構之視訊區塊以供儲存於記憶體 34中。經重建構之視訊區塊及殘餘資料可由運動補償單元 35用作參考區塊以對後續視訊圖框或其他經編碼之單元中 的區塊進行框間編碼。 為了支援3D視訊，視訊編碼器5〇可進一步包括一 2D至 3D轉換單元36，其關於儲存於記憶體34中之經重建構之 2D視sfL序列進行操作。以此方式，犯至扣轉換單元“對 將在解馬器處在解碼程序之後可用的相同經重建構之資料 進行刼作。根據本發明，2£)至3〇轉換單元36識別、確定 或另外產生3D轉換資訊，3])轉換資訊包含可應用於2]〇序 列之視訊圖框中之每一者以產生3 D視訊資料之參數集合。 針對一給定2D序列可產生一次3D轉換資訊。 148858.doc •20- 201105112 3D轉換資訊所應用於的扣序列可包含整個視訊序列、 場景，或可能地形成可解碼集合之圖像群組。 實例包括IBPBP情況中之五個圖框之集合或情況 合’其中旧示框内編碼，p指示預測性 框間編碼或單向框間編碼，及B指示前後預測性叫 predictive)框間編碼或雙向框間編碼。在此等狀況下，圖 像群組中之圖框可相互依賴並共同地解碼。在一些狀況 下，每圖像群組可發送一次3〇轉換資訊，但亦可每場景發 送一次3D轉換資訊或每整個視訊序列發送一次3d轉換資 〇fL ^而，重要的是，3 D轉換資訊關於複數個圖框而應 用以便D亥複數個圖框中之每一個別圖框不需要不同3D轉 換資訊。 視Λ編碼态50可根據ITU H.264視訊編碼標準編碼2D序 列，且2D至3D轉換單元可編碼由ITU Η 264視訊編碼標準 支援的3D轉換資訊SEI訊息。參數集合可應用於第一 21)序 列之視訊圖框中之每一者以產生視訊圖框之第二序列， 其中第一與第二2D序列共同地定義3D立體視訊序列。3D 轉換資訊可包括識別待應用於2d序列以產生3D視訊資料 之3D轉換程序之資訊。在一些狀況下，3D轉換資訊可包 括與捕捉2D序列相關聯之相機參數及值。舉例而言，如下 文更詳細解釋’ 3D轉換資訊可包括：焦距值，其指示與捕 捉2D序列之相機相關聯之焦距；近深度值，其指定3D視 訊資料中之最小深度；遠深度值，其指定3D視訊資料中之 最大深度；及平移值，其量化與3D視訊資料相關聯之兩個 148858.doc -21- 201105112 相機之間的假定距離。 西為了編碼3D轉換資訊，2D至3D轉換單元36可使用旗 ^其為可經设定以指示特定情況之位元。作為實例，3D 轉=資訊可包括#示3D參數之顯式集合是否包括於扣轉 、"貝Λ中或疋否應使用3D參數之預設集合之旗標。在此狀 况下’在該旗標經設定時，3D參數之顯式集合包括於扣 轉換貝吼中。又，3D轉換資訊可包括指示2d序列之第二 視圖是應在該2D序列之左側或是在該21)序列之右側產生 旗軚另外，轉換資訊可包括識別應自3D視訊資料 移除之裁剪區之旗標。在此狀況下，在該旗標經設定時， 定義裁剪區之育訊包括於3〇轉換資訊中。此等旗標中之每 者可用以共同地編碼3D轉換資訊，且亦可使用或定義與 本發明一致之其他旗標。 圖3為說明一例示性視訊解碼器7〇的方塊圊，該例示性 視訊解碼器7〇可&行與上文所描述之編碼技術互逆之解碼 技術。視訊解碼器70可包括熵解碼單元72、預測單元75、 逆里化單元76、逆變換單元78、記憶體74及加法器79。預 測單元75可包括運動補償單元以及空間預測組件。 視訊解碼器7 〇可接收包括以本文中所描述之方式編碼之 2D序列之經編碼之視訊位元流，及可由解碼器川使用以促 進視訊區塊之適當解碼的各種語法元素。更特定言之，視 訊位元流可包括本文中所描述之用以促進基於視訊圖框之 2D序列產生3D視訊資料之3D轉換資訊。3D轉換資訊可包 含可應用於2D序列之視訊圖框中之每一者以產生3D視訊 148858.doc -22- 201105112 資料之參數集合。x ’ 3D轉換資訊針對視訊序列之不同圖 框並沒有不同，而包含形成相對較少量之資料之共同參數 集合，其可應用於2D序列之原始視訊圖框中之每一者以產 生該等原始視訊圖框中之每一者的二次視w。片語2D序列 指代複數個視訊圖框，其可包含整個視訊檔案、視訊剪 輯、較大視訊標案内之視訊場景，或可能地在較大視訊序 列内形成可解碼圖框集合之圖像群組。 烟解碼單元72執行位元流之熵解碼以產生2D序列之殘餘 視訊區塊之經量化之係數。熵編碼單元72可剖析來自位元 流之語法元素且將該語法元素轉遞至視訊解碼器7〇之各種 單元。舉例而S，運動資訊（例如，運動向量）及其他語法 資訊可經轉遞至預測單元75。此外，可藉由摘解碼單元Μ 剖析來自位元流之3D轉換資訊，且接著將該扣轉換資訊 轉遞至2D至扣轉換單元79。以虛線說明扣至扣轉換單元 79,因為此單元79為可選的。不具有任何扣至犯轉換單 ^ 79的視訊解碼器可能僅解碼2D視訊序列且丟棄^^轉換 資Λ以此方式，3D轉換資訊促進可擴充扣至扣視訊的 產生’其巾-些H件可解碼扣視訊，而其他器件可解碼 2D視訊且亦應用3D轉換資訊以產生3〇視訊。 為了解碼2¼訊序列，制單元75使料動資訊或其他 語法元素以識別在編碼_所使用之預㈣塊。對於基於框 間=解碼而言’運動向量可應用於運動補償過程中以自預 4資料之或多個清單產生預測區塊。對於基於框間之解 碼而言’語法可包含框内模式，其可定義應如何基於來自 148858.doc -23- 201105112 與經解碼之視訊區塊之圖框相同的圖框之資料來產生預測 區塊。 逆量化單元76將來自熵解碼單元72之資料逆量化，且逆 憂換單元執行逆變換以在像素域中產生殘餘區塊。加法器 79接著將殘餘區塊與由預測單元75產生之預測區塊組合以 產生原始視訊區塊之重建構，其可儲存於記憶體74中及/ 或作為經解碼之2D視訊資料輸出至顯示器。可以此方式解 碼許多視訊區塊以重建構視訊圖框，且最終將視訊圖框之 整個2D序列重建構於記憶體74中。以此方式，視訊解碼器 7〇執行相對於先前所指述之由視訊編碼器5〇執行之編碼之 互逆解碼。 根據本發明，2D至3D轉換單元79可將在位元流中所發 送之3D轉換資訊應用於儲存於記憶體74中之經解碼之 視訊序列。舉例而言，在將3D轉換資訊應用於儲存於記憶 體74中之經解碼之2D視訊序列的情況下，2D至3D轉換單 元79可產生與該2D序列中之視訊圖框中之一些或全部相關 聯的二次視圖。可接著將原始視圖及二次視圖作為3d視訊 資料自2D至3D轉換單元79輸出。 夕視圖視Λ編碼（MVC)可形成對H.264/AVC之擴展，但 MVC亦可關於其他視訊編碼標準而應用。Mvc之一個聯 合草案為述於 JVT-AB204(「Joint Draft 8.0 〇n Multiview

Video Coding」）中，其係在2〇〇8年7月於德國漢諾威 (Hannover, Germany)召開的第28屆JVT會議中提出的。與 H.264/AVC —致，經編碼之視訊位元可經組織至網路抽象 148858.doc -24- 201105112 層（NAL)單兀中，其提供解決諸如視訊電話、儲存、廣播 或串流之應用的「網路親和性（netw〇rk_friendly)」視訊表 示。可將NAL單元分類成視訊編碼層（¥(：1^)]^八1^單元及非 VCL NAL單元。VCL單元可含有核心壓縮引擎且包含區 塊、MB及圖塊層級。其他Nal單元為非VcLNal單元。 遵h H.264/AVC，補充增強資訊（sei)訊息可含有對自 VCL NAL單元解碼經編碼之圖像之樣本並非必要的資訊。 SEI訊息亦含有於非VCL NAL單元中。SEI訊息為 H.264/AVC之標準規範的標準化部分。雖然未強制用於符 合標準之解碼器實施’但SEI訊息可幫助與解碼、顯示、 錯誤恢復及其他目的有關之處理程序。雖然已最後定下 H.264/AVC之強制部分’但H.264/AVC規範對於SEI訊息仍 為開放的。在一些態樣中，本發明提議使用SEI訊息或其 他類似訊息作為用於本文中所描述之編碼、傳達及解碼3 D 轉換資訊之機制。 為了支援3D視訊格式，jVt及MPEG可引入新標準及特 徵。舉例而言’與MPEG-2多視圖輪廓一致，一視圖（例 如，左視圖）可以減小之圖框速率（例如，每秒1 5個圖框）經 編碼且另一視圖可經編碼為需要高圖框速率（例如，每秒 30個圖框）之時間增強層。然而，此需要在位元流中傳達 兩個視圖’此相對於傳達習知2D序列可顯著增加位元流中 之資料量。 H.264/AVC亦可應用立體視訊内容方法。舉例而言，在 H.264/AVC中，可採用立體視訊資訊SEI訊息以指示如何將 148858.doc -25- 201105112 兩個視圖配置於一個位元户φ ”L 在此狀況下’該兩個視圖 可為交替圖框或互補場對。當兩個視圖為交替圖框時，以 時間交錯模式將兩個視圖定序，且當兩個視圖為互補場對 時，來自兩個視圖之影像對實際上列交錯於一個圖像中。 …、而X此品要在位凡流中傳達兩個視圖，此相對於傳 達習知2D序列可顯著增加位元流中之資料之量。 有:能採用圖像之空間交錯且可能在如中用信號發出 空間交錯之存在，其將兩個視圖自時間交錯及列交錯之支 板擴展至更靈活空間交錯模式中。或者，阳訊息可支援 影像對組合為並列交錯、上/下交錯、行交錯或棋盤型交 錯。在此等方法（與其他不合需要之方法一樣）中之每一者 中不同視圖貫際上以某種方式在位元流中傳輸，此相對 於習知2D序列急劇增加3D視訊所需之資訊之量。 本發明之技術可實質上藉由避免二次視圖之實際傳輸而 減少位元流中需要用以傳達3D視訊之資訊之量。在此狀況 下’本發明發送包含可在解碼器處應用於原始2d序列以在 該解碼器處產生二次視圖的參數集合之3D轉換資訊，而非 貫際上編瑪並傳輸二次視圖。以此方式，避免實際上傳送 二次視圖之需要，且更確切而言，可在解碼器處應用參數 集合以產生二次視圖，而無需在位元流中傳送二次視圖。 H.264/AVC中之SEI訊息亦可支援接受3D輸入好像其為 2D視訊序列且利用sei訊息來告知解碼器如何分離兩個交 錯之視圖以便可將一個視訊序列分割成兩個視圖之狀況。 然而’應再次強s周’在該狀況下之輸入為由兩個視圖表示 148858.doc -26- 201105112 之3D輸入。相比而言，本發明之技術避免在位元流中發送 兩個視圖之需要，且更確切而言，依賴解碼器以基於位元 流中之3D轉換資訊而產生任何二次視圖。 一些MVC解碼次序可被稱作時間優先編碼。在此狀況 下，將每一存取單元定義成含有在一輸出時間例項中之全 部視圖的經編碼之圖像。然而，存取單元之解碼次序可能 與輸出或顯示次序不一致。 MVC預測可包括每一視圖内之框間圖像預測及框間視圖 預測兩者。MVC可包括可由H.264/AVC解碼器解碼之所謂 的基本視圖，且兩個視圖亦可由MVC支援。在此狀況下， MVC之優點為其可支援將兩個以上視圖當作3D視訊輸入 且將此由多個視圖表示的3D視訊解碼之狀況。藉由MVC 解碼器進行之解碼可預期具有多個視圖之3D視訊内容。 MPEG標準亦已在MPEG-C第3部分中規定用於附加規貝|J 視訊流之深度圖之格式。此規範包括於以下文件中： 「Text of ISO/IEC FDIS 23002-3 Representation of Auxiliary Video and Supplemental Information」，ISO/IEC JTC l/SC 29/WG 11, MPEG Doc, N8768, Marrakech,

Morocoo，2007年 1月。 在MPEG-C第3部分中，所謂的輔助視訊可為深度圖或視 差圖。表示深度圖可提供在用以表示深度圖之每一深度值 及解析度之位元數目方面的靈活性。舉例而言，深度圖可 為給定影像之寬度的四分之一且為給定影像之高度的二分 之一。遺憾地是，序列之每一圖框通常需要深度圖。亦 148858.doc -27- 201105112 即，同一深度圖並未應用於視訊序列之每一圖框。因此’ 深度圖之傳達可需要極大量資料，因為在整個視訊序列上 需要若干深度圖。 MPEG視訊子群已定義在3D視訊編碼中之探測實驗以便 研究3D情況》MPEG視訊子群已指示使深度圖用於每一視 圖潛在地有助於視圖合成，但MPEG中之此活動可能不為 標準化的一部分。與MPEG 3D視訊一致之兩個重要概念包 括深度估計及視圖合成。可假定，大多數視訊内容由多相 機系統捕捉且深度圖必須在編碼之前產生以便可藉由紋理 視訊序列傳輸該等深度圖。然而，根據本發明之視圖合成 為可在視sfl呈現時應用以產生未在位元流中傳輸之更多視 圖之工具。因此，視圖合成之概念可藉由有利於本文中所 描述之3D轉換資訊而形成本發明之技術的一部分。 在3D視訊通信系統中，可在編碼之前捕捉並預處理原始 視訊資料《可編碼可具有深度圖之原始資料，且可儲存或 傳輸經編碼之視訊内容。目的地器件可解碼並顯示3〇视 訊。然而，如上文所解釋，自通信及頻寬觀點而言，傳達 關於視訊序列之若干影像的額外視圖或深度圖可能為不人 需要的。根據本發日月’較佳方法可為（例如）傳達3〇轉換: 訊，該3D轉換資訊可由解碼器應用於2D序列之每—视^ 圖框來產生二次視圖，而無需實際上在位元流中傳達二^ 視圖。 一入 3D内谷之獲取可藉由—相機或藉由相機陣列執行 能甚至與可產生深度圖的器件相關聯。作為幾個實例 148858.doc •28· 201105112 在以下類別_之至少一者内將内容獲取分類： -2D視訊捕捉，其通常不提供3D内容。 -雙相機系統’其可捕捉及/或提供立體視訊。 -相機陣列.，其捕捉多個視圖。 益件可捕捉與經 視圖捕捉加深度。舉例而言 捕捉之影像相關聯的深度。 -其他技術可捕捉深度資訊及/或產生3D模型。 亦可在編碼器處執行3D預處理及編碼。此處，3D預處 理並不指代與雜訊抑制或場景偵測有關之典型處理。心 處理可產生/木度圖，其經編碼為3D視訊内容的—部分。此 程序可針對每—經捕捉之視®產生—個深度圖或針對若干 經傳輸之視圖產生（若千、:吳由阅 ... ^ (右干卜木度圖。然而’又，自頻寬觀點 而吕.，傳達深度圖可能為不合需要的。 在視訊内容由解碼器接收時，可將該視訊内容解碼以辞 得經傳輸之資料，經傳輸之資料可包括—或多個視圖以及 名工重建構之深度圖（若存在）。告、、嚴^m )田木度圖可用於解碼器處 時’可採用視圖合成演算法 產生關於未經傳輸之1 圖的紋理。常規3D顯示器 /、他視 了呈現兩個或兩個以上視圖。在 快門眼鏡（shuttle glass)的幫助丁 Ab θ w “ 下’能夠顯示高圖框速率視 訊的一些2D顯示器亦可用作 w 午兄 dm m ^ & ^ ^ .‘S不态。偏光為提供兩個 視圖作為輸出之3D顯示技術。雖然一也顯 將深度當作輸入的一部分 《。或3D電視 或兩個以上視圖作為輸出 、 生兩個 <内建式「視圖合成」模组。 3D扭曲變形（3D wa响 ' '' g)為了對本發明之技術有用之視 148858.doc -29. 201105112 圖合成的一種形式。圖4至圖7為將用以解釋3D扭曲變形及 其他視圖合成概念的概念圖。基於取樣理論之視圖合成可 為取樣問題，其需要經密集取樣之視圖以極佳地產生在任 何視角上之任何視圖。然而’在實務應用中，經密集取樣 之視圖所需之儲存或傳輸頻寬通常太巨大而不能被實現。 因此’一些研究已聚焦於基於經稀疏取樣之視圖及深度圖 的視圖合成。 基於經稀疏取樣之視圖的視圖合成演算法可依賴3 d扭曲 變形之概念。圖4說明3D扭曲變形之概念。如圖4所示，在 3D扭曲變形中，在給出深度及相機模型的情況下，參考視 圖之ί中之像素可自2D相機座標投影至世界空間座標系統 中之點。該點户可接著沿著Μ之方向投影至目的地視圖 (其為待產生之虛擬視圖卜在此狀況下，网之方向對應於 目的地視圖之視圖角度。藉由假定投影之座標為_，則參 考視圖中4之像素值（在不同顏色分量中）可被視為虛擬 視圖中之忑的像素值。 有時，一個以上視圖可被視為參考視圖。換言之，上文 所提及之自0 [之投影未必為_對—投影。㉟而，當— 個以上像素投影至目的地像素以，彳出現可見度問題。 另一方面，當—個像素投影至目的地像素ί時，可在虛擬 視圖之圖像中顯現或存在—孔。所謂的可見度問題可需要 決定哪些像素要用以建構&像素值。若（若干）孔存在於 連續區域中之圖像中’則該現象稱為遮推(。一)。另 外，右（右干）孔稀疏地散佈於圖像中，則該等孔可稱為針 148858.doc 201105112 孔。可藉由在不同方向上引 ，/ +肝W题得0金| 孔填充（例>，心填充針孔之像素值）通常將相鄰像素當 ，孔之候選者。用於針孔填充之技術亦可用以解決遮擔問 題0 在針心之像素值考慮-個以上像素時，可採用加權平 均方法。通常將此等程序命名為視圖合成之重建構。總計 而B ’可見度'遮擔'針孔填充及重建構表示在實施基於 3D扭曲變形之視圖合成過程中的主要難題及障礙。相機模 型可有助於解決該等難題。 ▲舉例而言，含有固有參數及外來參數之相機模型可用以 描述自世界座標系統至相機平面之變換，&自相機平面至 世界座標系統之變換。為簡單起見’本發明中所描述之全 賴提及之座標系統皆為正交座標系統，但本發明之技術 未必在此方面進行限制。 外來參數可基於以下變換來定義在世界座標中相機中心 之位置及相機之機首方向： 148858.doc

其中（〇心3D相機座標系統中之座標且為世 界座標系統中之座標。矩陣A可包含4χ4矩陣且可為正規正 交變換矩陣，其可經說明如下： ) (2) • 31 · 201105112 其中為3 χ 3旋轉矩陣且7為平移矩陣。在此狀況下，尸不為 相機之位置。 在3D相機座標系統中，2軸可稱為主光軸，且χ軸及乂軸 可定義影像平面。舉例而言，如圖6所示，^可定義主光 軸垂直於主光軸之平面（其含有…）可定義影像平面。 可將世界座標系統定義成與相機之3D相機座標系統相 同。在此狀況下，A=I。若將3D相機座標系統自世界座標 系統平移，則： Λ=(ί D- (3) 且(X z)T=(〜h Zw)t+Tt。 固有參數指定自3D相機座標系統至2D影像平面之變 換。用於此轉換之模型可被稱作針孔相機模型，其在概念 上在圖5中被說明。在此狀況下，〇為3D相機座標系統之 原點，其可定義相機平面（或感測器平面）之中心。在該模 型中’ = ’其中-/指代焦距，且hv/指代影像平面 中之座標。 針孔相機模型可為不方便的，因為焦距f為負。為了解 決此問題’針孔相機模型亦可用前針孔相機模型（fr〇ntal pinhole camera model)來表示，如圖6所示。在前針孔相機 模型中，關係變成^ = ^ = Ζ。可將此變換表示為： ^ y z

148858.doc •32· 201105112 其中（K V)為影像平面^之座標，叫為固有參數之最簡單0 ’則自世界座標系統至影像平面之 表示。若表 整個變換係由以下等式給出： /Χ\ /X\

A yw (5) 在一些實施中，固有相機參數可比上文所描述更複雜 上文經描述為g之變換可由以下等式給： ο ο /--\ II ο

Skew principalx\ fy PrincipaL ) ⑹ 〇 1 J 在此狀況下’从ew指代相機之時滯因子，且 為影像平面中之主點之座標。主點 為主光軸與影像平面交叉所在之點。值Λ及八為X軸及y軸 中之焦距值。 在二M施中’固有相機參數可比上文所描述更複 雜。舉例而έ ’在一更實際狀況下，及可定義僅在χζ平面 上之旋轉’且可被描述如下： /cosO 0 —sin0\ ~ ( 0 1 0 ) (7)

\sin0 〇 cosbJ 在立體視訊中，相機可具有相同固有參數。舉例而言， 此可能為在兩個相機之間僅存在—平移且相機中之一者與 世界座標系統對準之狀況。在此狀況下，及4且 幻=/、/zw’ 若第二相機定位成與第一相機平 148858.doc -33· 201105112 行’則i?=/，Γ=(ώ? 在此狀況下，可導出以下等戈 U2 =f(xw+d)/zw = U] +fd/zw (8) 0 亦稱為差異（disparity)。在此狀況下，3D扭曲變形僅 可需要計算差異，但先前所提及之問題可能仍存在。 由於每一顏色分量中之每一像素之值經儲存、經量化並 由8位元表示，故可需要呈現具有限制動態範圍之深度 值。舉例而言，深度值可在8位元動態範圍實施中處於〇 = 255之間（不包括〇與255)。深度值可在大範圍内變化。然 而，通常，最近深度值與最遠深度值分別映射至〇與255 = 且任何其他深度值應映射至在〇至255之範圍之外的值。 將一些典型深度值檢核方法列出如下。 (1 ~ 25s) (Zfar ~ Znear) = Z- znear ⑼ 或

(10) 255]之值，且z為 值z可經正規化至 在以上兩個等式中，V為經量化至[〇, 深度值，其亦可儲存於一個位元組中。 [0, 255]。正常地’較接近於相機之像素定義較大值，而 具^較大深度之像素經轉換至[〇, 255]之較小值1此， 可能需要將深度值自線性轉換至[〇, 255]，其中 映射至255，且^知映射至〇。此為上文所展示之等式 ()之概心達成該轉換之另一方式為將逆深度值自 〜’ U線性轉換至[0, 255]，其中u射 至255且1/ 148858.doc • 34- 201105112 映射至〇。此另一方式為上文 又所展不之專式（10)之概 念。 已在不考慮任何3D支援的情況下廣泛部署基於 H.264/AVC之2D視訊通信系統。對於在該系統中遞送之大 多數2D内容而言，若3D視訊為需要的，則可能出現若干 問題。特定言之，視訊内容可能不具有通常由多相機系統 捕捉或甚至自3D模型轉換之3D視訊源。對於並非來|3d 視訊源之視訊内容而言，可能不會用信號發出在解碼器處 之一些處理之後該視訊内容是否可用於3]〇顯示❶ 若針對在H.264/AVC中經編碼之2£)内容而言3]3顯示為可 旎的，則當自現存視圖產生額外視圖時，例如相機參數、 %景之深度範圍或其他參數之一些旁側資訊可為有幫助 的。然而，可能需要存在用以在當前H 264/AVC位元流中 傳達該等資訊之機制。為實現此，本發明之技術可使用 H.264/AVC之SEI訊息或類似類型之訊息。 另一難題或問題為，通常當額外視圖產生時，在所產生 之視圖中存在由於經傳輸之視圖及所產生之視圖之兩個假 疋相機的水平移位而應該不可見之區。當此不合需要之區 引入顯而易見之假影時’在所產生之視圖上展示此區可能 為不合需要的。為了解決此問題，本發明之技術提供定義 裁剪區且在位元流中用信號發出此裁剪區之能力。 在—些態樣中’本發明之技術赋能經編碼之視訊流（例 如’含有視訊圖框之2D序列的H.264/AVC位元流）經轉換且 (例如’根據立體顯示）以3d樣式顯示。根據本發明使用指 i S1 I4^58.d〇c -35- 201105112 示進行2D至3D轉換所需之資訊之發信機制。在此狀況 下，解碼器可產生另一視訊序列（例如，第二視圖），其與 經原始解碼之視訊序列一起賦能3D顯示。 在本發明之技術甲，在位元流中提供2D至3D轉換資 訊。位元流中之經編碼之視訊資訊大體上為場景之2D表 示，其不含有額外視圖或深度圖。因此，經編碼之2D内容 之頻寬極類似於不含有與2D至3D轉換有關的任何SEI訊息 之對應2D序列之頻寬。在一些狀況下，將2D視訊序列預 儲存於編碼器件，且在編碼器件處不捕捉或編碼2D視訊序 列。在此狀況下，2D至3D轉換資訊可含有基於預設設定 而輸入且定義的相機參數。在其他狀況下，可捕捉但不編 碼2D視訊内容。在此狀況下，編碼器可在無任何3D内容 作為輸入的情況下編碼2D内容。然而，具有2D至3D轉換 知識之編碼器可產生用於3D轉換之必要資訊，且可將此資 訊包括於H.264/AVC位元流之SEI訊息中。在又其他狀況 下，編碼器件可捕捉並編碼2D視訊内容。在此狀況下，編 碼器件可可能地藉由分析（例如，在解碼程序期間）2D視訊 位元流而添加2D至3D轉換資訊。 當由不支援2D至3D轉換之H.264/AVC解碼器解碼視訊内 容時，可重建構並顯示2D視訊。然而，若解碼器支援2D 至3D轉換資訊，且因此具有2D至3D轉換功能性，則解碼 器可基於經解碼之2D視訊序列及相關聯之2D至3D轉換資 訊產生與二次視圖相關聯之圖框。可接著在3D顯示器中展 示兩個視圖（經解碼之視圖與所產生之視圖）。 148858.doc •36- 201105112 根據本發明，3D轉換資訊包含可應用於2D序列之視訊 圖框中之每一者以產生3D視訊資料之參數集合。如所提 及，ITU H.264/AVC之SEI訊息可為用於在位元流中傳達此 3D轉換資訊之一種機制，但可使用其他訊息或機制（尤其 在其他標準下）。3D轉換資訊可包括以下各項中之一些或 全部： 1 -可將相關聯之經編碼之視訊序列轉換至3D之指示。 2-重要相機參數，例如，相機之焦距，及/或對應於虛擬視 圖之假定相機之平移。 3 -當前場景之深度範圍。 4-經解碼之視訊（原始視圖）及虛擬視圖中之可需要專門處 理或裁剪之區。 以下之表1提供呈SEI訊息語法（包括各種SEI訊息語法元 素）之形式的3D轉換資訊（2D至3D轉換資訊）之一實例。 表1 2D_to 一 3D—conversion—info(payloadSize){ c 描述符 camera 一 scene_para一 present—flag 5 u(l) left-VieW-〇riginal一flag 5 u⑴ dummy一region flag 5 u(l) if ( camera一scene_para_present_flag ) { focaMength 5 ue(v) neardepth 5 ue(v) far_depth 5 ue(v) translatex 5 ue(v) } if (dummy_region_flag) { dum_reg_width 5 ue(v) } } 148858.doc -37- 201105112 變數u(l)及ue(v)可為H.264/AVC規範中所定義之彼等變 數，其中u(l)為編碼位元流中之旗標之類別，且ue(v)為使 用指數葛洛姆（可變長度）編碼來編碼位元流中之不帶正負 號整數之類別。 表1之例示性3D轉換資訊可具有如下文所解釋之語義。 當存在時，此SEI訊息可以解碼次序應用於包括當前存取 單元及全部後續存取單元的目標存取單元，直至出現下一 2D至3D轉換SEI訊息或出現經編碼之視訊序列之末端為 止第2 D至3 D轉換S EI §fL息（當存在時）可在經編碼之視 訊序列之第一存取單元中出現。此SEI訊息（當存在時）可指 示另一視圖可基於經解碼之視訊而產生。可將經解碼之視 訊疋義為原始視圖’且可將由解瑪器產生之二次視圖表示 為所產生之視圖。可假定兩個相機用於該原始視圖及該所 產生之視圖。 表 1 之變數 camera_scene_para_present_flag 當經設定為值 1時，可指示在SEI訊息中指定焦距' 深度範圍值及兩個相 機之平移。若camera—scene_para—present_flag等於0，此可 指示可根據一些預設值.來推斷f〇cal_length、near_dapth、 far一dapth 及 translate_x。作為一實例，可分別將 focal_ length、near depth、far—depth及 translate_x 定義為 1000、 2000、4000 及 PicWidthInSamplesL/16。若 camera—scene para_present_flag等於1 ’則焦距、深度範圍值及平移值明 確地包括於位元流中，但若camera_scene_para_present flag等於0，則此等值未明確地包括於位元流中。 148858.doc -38- 201105112 表1之變數left_view_original_flag可等於1，以指示所產 生之視圖處於原始視圖之左側，意謂所產生之視圖之假定 相機處於原始視圖之原始相機之左側。若變數 left—view_original_flag等於〇，則指示所產生之視圖處於 原始視圖之右側。當然，此等右側及左側指定可顛倒。 表1之變數dummy—region_flag可等於1，以指示存在兩 個視圖之虛設區且此區在顯示之前被裁剪。表1之變數 focal_length可指定相機之焦距。作為一實例， focal_length之值可在1至232-1 (包括1與232-1)的範圍中。表 1之變數near_depth指定原始視圖及所產生之視圖中的像素 之最小深度值。變數near_depth可在1至far_depth-1 (包括1 與far_depth-l)的範圍中。表1之變數far_depth指定原始視 圖及所產生之視圖中的像素之最大深度值。far_depth之值 可在 near_depth+l 至 232-1(包括 near_depth+l 與 232-1)的範圍 中〇 表1之變數translate_x指定原始視圖之假定相機與所產生 之視圖之假定相機之間的距離。變數durn_reg_width指定 在亮度樣本之單元中之未用於輸出且針對原始視圖及所產 生之視圖經裁剪之區的寬度。在dummy_region_flag等於1 時，僅可包括dum_reg_width。 在left_view一original_flag等於1時，輸出區經裁剪成在 水平方向上自 〇至 PicWidthInSamplesL - dum_reg_width-1(包括 0 與 PicWidthlnSamplesL - dum_reg_width-l)的區。 在left_View_origina丨一 flag等於〇時，輸出區經裁剪成自 [S.) 148858.doc -39- 201105112 dum_reg_width 至 PicWidthInSamplesL-l(包括 dum_reg— width 與 PicWidthInSamplesL-l)的區。可將dum_reg_width 之值推斷為 PicWidthInSamplesL/16。 (例如）SEI訊息中之3D轉換資訊未必指定用以應用於解 碼器處之視圖合成以便產生額外視圖之演算法。然而，在 基於3D扭曲變形之演算法中，上文之等式（8)可用於31：)扭 曲變形’其實際上將原始視圖中之一個像素映射至虛擬視 圖。在此狀況下為原始視圖中之像素之深度，且其處 於[near—depth，far_depth]之間隔内，且/為焦距且j之絕對 值為 translate_x。 或者’可根據IEC 60559規範或另一通信協定將 focal—length、near—depth、far_depth及 translate一X作為帶 正負號之雙值而用信號發出。在JEC 60559中，針對以下 三個部分用信號發出值X :正負號s(+/_)、N(尾數部分）及 E(指數部分）。在以下偽碼中描述計算值χ之一個可能的實 施。 若0<Ε<63，則ζ=(-ΐ/·2£-31·(ΐ·Μ) 若 Ε = 0 且 μ 為非零，則1=(_1)乂2-3().(〇.@ 其中X為待計算之變數，s、N及E對應於待計算之每一變 數之相關聯之正負號、指數及尾數語法元素，且 M=bln2float(N)，其中〇<=Μ<1。每一相機參數變數與對應 s吾法素之間的關聯經受廣泛多種實施。 148858.doc 201105112 又，除了上文之參數之休 十…… 之外’可使用額外參數。舉例而 ° 里化聚合影像平面至Λ也j m , 深产值可A 兩個不同相機之假定距離之聚合 冰度值可包括於參數隼 Κσ 定包括於參數集合中。—在其他狀況下，聚合深度值可特 以下偽碼提供將分數之_+ 一 I Μ 2 ~進位表示轉換成對應浮點數的 bm2fl〇at()函式之實例。 出如下： 將函式M=bin2fl〇at(N)之偽碼給 float M=〇； flcm faCt〇r=2，v);/*v為尾數的長度 for (i=〇; i<v; i++) { M=M+factor*(N>> i) & 〇χ〇1； factor=factor*2; 或者，可用信號發出更多相機參數。舉例而言，亦可用 信號發出如等如）中所展示的固有參數，包括χ軸及丫軸中 之不同焦距(Λ與Λ)’及時滞因子，或甚至主點。另外，用 於所產生之視圖之假以目機可具有在㈣面上之旋轉，故 亦可用信號發出此值（如等式（7)中所示之0)。 圖7為制與本發明—致之可由包括視訊編碼器5〇之器 件執行的編碼程序之流程圖。如所展示，在圖7中，視訊 編碼器50編碼視訊圖框之21)序列（1〇1)，且21>至31)轉換單 兀36經由視訊編碼器編碼3〇轉換資訊，其中3〇轉換資訊 匕έ可應用於2D序列之視訊圖框中之每—者以產生扣視

M8858_dOC •41 - 201105112 π資料之參數集合（1G2)。包括視訊編碼器π之器件可接著 傳達、二、·扁碼之2£)序列以及3〇轉換資訊（1们）。舉例而言， 參看圖1，視訊編碼器22可對應於視訊編碼器5〇。在此狀 況下’源器件12可經由數據機23及傳輸器24傳達經編碼之 扣序及3〇轉換資訊（1〇3)，數據機23及傳輸器24根據 諸如分瑪多重存取（cdma)之無線協定調變並傳輸該資 訊。 、 在編碼2D序列的過程中，視訊編碼器5〇可根據 Η.264視讯編碼標準來編碼2D序列❶在此狀況下，編碼a。 轉換資訊可包含將3D轉換資訊編碼成由Ιτυ H 264視訊編 馬祐準支援之一或多個SEI訊息（如上文所描述）。2D序列 可破稱作第一 2D序列（例如，原始序列）。參數集合可應用 於第一 2D序列（原始序列）之視訊圖框中之每一者以產生視 Λ圖框之第二2D序列（例如，二次視圖），其中第一與第二 2D序列共同地定義3D立體視訊序列。 3D轉換資訊可包括識別待應用於2D序列以產生3d視訊 貝料之3D轉換程序之資訊。如上文所解釋，3D轉換資訊 可包括與捕捉20序列相關聯之相機參數及值。舉例而言， 3D轉換資訊可包括：焦距值，其指示與捕捉扣序列之相 機相關聯之焦距；近深度值，其指定3d視訊資料中之最小 深度；遠深度值’其指定3D視訊資料中之最大深度；及平 移值，其量化與3D視訊資料相關聯之兩個相機之間的假定 距離。 3D轉換資訊可包括指示3D參數之顯式集合是否包括於 148858.doc • 42- 201105112 3D轉換資訊中或是否應使用3D參數之預設集合之旗標。 另外，3D轉換資訊可包括指示21)序列之第二視圖是應在 5亥2D序列之左側或是在該2d序列之右側產生之旗標。 又，3D轉換資訊可包括識別應自3D視訊資料移除之裁剪 區之旗標。 在一貫例令，第一旗標可指示3D參數之顯式集合是否包 括於3D轉換資訊中或是否應使用3D參數之預設集合，其 中在該第一旗標經設定時，3D參數之顯式集合包括於奶 轉換資訊中。第二旗標可指示2D序列之第二視圖是應在該 2D序列之左側或是在該2D序列之右側產生，且第三旗標 可識別應自3 D視訊資料移除之裁剪區，其中在該第三旗標 經設定時，定義裁剪區之資訊包括於3D轉換資訊中。 圖8為說明與本發明一致之解碼程序的流程圖。視訊解 碼器70接收經編碼之2D序列以及3D轉換資訊（1〇1)，且解 碼該2D序列（1 〇2)。舉例而言，熵解碼單元72可執行位元 流之熵解碼以產生2D序列之殘餘視訊區塊之經量化之係 數。熵編碼單元72可剖析來自位元流之語法元素且將該等 語法元素轉遞至視訊解碼器70之各種單元。熵編碼單元72 可剖析SEI訊息以識別該等訊息中之任何語法。舉例而 言，運動資訊（例如’運動向量）及其他語法資訊可經轉遞 至預測單元75。預測單元75使用運動資訊或其他語法元素 以識別編碼中所使用的預測區塊。對於基於框間之解碼而 言’運動向量可應用於運動補償過程中以自預測資料之一 或多個清單產生預測區塊。對於基於框間之解碼而古，語 148858.doc -43- 201105112 法可包含框内模式，其可定義應如何基於來自與經解碼之 視汛區塊之圖框相同的圖框之資料而產生預測區塊。 逆量化單元76將來自熵解碼單元72之資料逆量化，且逆 變換單元執行逆變換以在像素域中產生殘餘區塊。加法器 79接著將殘餘區塊與由預測單元75產生之預測區塊組合以 產生原始視訊區塊之重建構，其可儲存於記憶體74中及/ 或作為經解碼之2D視訊資料輸出至顯示器。可以此方式解 碼s午多視讯區塊以重建構視訊圖框，且最終將視訊圖框之 整個2D序列重建構於記憶體74中。 視訊解碼器70可判定其是否支援3D視訊（1〇3)。換言 之，視訊解碼器70可判定其是否包括扣至犯轉換單元 79。可明確地判定此，或者，若視訊解碼器7〇不包括2^至 3D轉換單元79，則視訊解碼器7〇可根據2D解瑪固有地進 行操作。若視訊解碼器70包括2〇至31)轉換單元79，則可 產生3D視訊。 因此，若視訊解碼器70不支援3D視訊（113之「否」分 支），則視訊解碼器可將經解碼之2 D序列輸出至2 D顯示器 (114)。另一方面，若視訊解碼器7〇支援3〇視訊（in之 「是」分支）’則2D至3D轉換單元79將3〇轉換資訊應用於 經解碼之2D序列以產生3D視訊序列（115)，可接著將該3D 視訊序列自視訊解碼器70輸出至3D顯示器（ιΐ6)。以此方 式，與3D轉換資訊一起傳達之2D序列可在使用支援2〇至 3D轉換的解碼器件的情況下支援3〇視訊，但亦可在使用 僅支援2D視訊的舊版器件的情況下支援習知2〇視訊。 148858.doc -44 - 201105112 在又其他實例中，傳達3D轉換資訊以及2D序列可能並 非必睪的。舉例而言，編碼器或解碼器可僅將本文中所描 述之3D轉㈣訊應用於經儲存或經接收之2〇序列以便產 生H本發„期將糊換資訊應用於 邮列以產生3D視訊資料之方法、電腦可讀儲存媒體' 裝置及器件’其中3D轉換資訊包含可應用於犯序列之每 一視訊圖框以產生3D視訊資料之參數集合。 可在包括無線通信器件手機（諸如，行動電話）、積體電 MIC)或IC組（亦即，曰曰曰#、组）之廣泛種類的器件或裝置令 實施本發明之技術。提供p姑诂 v 捉供已描述之任何組件、模組或單元 以強調功能性態樣且並非必需藉由不同硬體單元來實現。 亦可以硬體、軟體、動體或其任何组合來實施本文中所描 述之技術。經描述為模組、單元或組件之任何特徵可一起 實施於整合式邏輯器件中，或單獨實施為離散但共同操作

之邏輯益件。在^此狀下，夂絲4士 AW —狀况下各種特徵可實施為諸如積體 電路晶片或晶片組之積體電路器件。 若以軟體實施，則該等技術可至少部分地藉由包含指令 之電腦可讀媒體來實現’該等指令在於處理器中經執行 時’執行上文中所描述之方法中的一或多者。該電腦可讀 媒體可包含-電腦可讀儲存媒體，且可形成可包括封裝材 料之電腦程式產品的-部分。電腦可讀儲存媒體可包含隨 機存取記憶體（RAM)(諸如，同步動態隨機存取記憶體 (SDRAM))、唯讀記憶體⑽M) '非揮發性隨機存取記，降 體（NVRAM) '電可抹除可料化唯讀記憶體卿R0M): 148858.doc -45- 201105112 FLASH記憶體、磁性或光學資料儲存媒體，及其類似者。 另外或替代地，可至少部分地藉由載運或傳達呈指 料結構之形式的程式碼且可由電腦存取、讀取及/或執^ 之電腦可讀通信媒體來實現該等技術。 程式碼或指令可由一或多個處理器執行，該一或多個處 理益諸如，-或多個數位信號處理器（Dsp)、通用微處理 盗、特殊應用積體電路（ASIC)、場可程式化邏輯 (FPGA)或其他等效積體或離散邏輯電路。因此，如本文中 所使用之術。吾處理器」可指代前述結構或適於實施本文 中所描述之技術的任何其他結構巾之任—者。另外，在一 些態樣中’可將本文所描述之功能性提供於經組態以用於 編碼及解瑪的專用軟體模組或硬體模組内，或併人於組合 之視訊編解碼H中。又，該等技術可充分實施於—或多2 電路或邏輯元件中。 本發明亦預期包括用以實施本發明中所描述之技術中的 :或多者之電路之多種積體電路器件中的任一者。可將該 電路提供於單一積體電路晶片中或所謂的晶片組中之多個 y共同操作之積體電路晶片中。該等積體電路器件可用於 多種應用中，其中一些可包括用於無線通信器件（諸如， 行動電話手機）中。· 已描述本發明中之各種實例。此等及其他實例係在以下 中請專利範圍之範疇内。 【圖式簡單說明】 為4明可貫她本發明之技術的一例示性視訊編碼及 148858.doc -46- 201105112 解碼系統的方塊圖； 圖2為說明可執行與本發明一致之二維（2D)及三維（3D) 視Λ編碼之—例示性視訊編碼器的方塊圖； 圖3為S兒明可執行與本發明一致之2D及3D視訊解碼之一 例示性視訊解碼器的方塊圖； 圖4至圖6為說明可基於3D轉換參數而應用之2D至3D轉 換之態樣的概念圖； 圖7為說明與本發明一致之由視訊編碼器件執行之一例 示性處理程序的流程圖；及 圖8為說明與本發明一致之由視訊解碼器-_ ^ 卞铒仃之一例 不性處理程序的流程圖。 【主要元件符號說明】 10 視訊編碼及解碼系統 12 源器件 15 通信頻道 16 目的地器件 20 視訊源 22 視訊編碼器 23 調變器/解調變器（數據機） 24 傳輸器 26 接收器 27 數據機 28 視訊解竭器 30 顯示器件 148858.doc -47- 記憶體 預測單元/運動補償單元 2D至3D轉換單元 變換單元 量化單元 逆量化單元 逆變換單元 熵編碼單元 加法器 視訊編碼 加法器 視訊解碼器 熵解碼單元 記憶體 預測單元 逆量化單元 逆變換單元 加法器/2D至3D轉換單元 -48-

Claims (1)

1. 201105112 七、申請專利範圍： 1. 一種方法，其包含： 在—視訊編碼器中編碼視訊圖框之一二維（2D)序列； 、二由》亥視況編碼編碼三維（3d)轉換資訊，其中該3D 轉換資訊包含可應用於該2D序列之該等視訊圖框中之每 一者以產生3D視訊資料之一參數集合；及 傳達該經編碼之2D序列以及該3D轉換資訊。 2. 如請求項1之方法，其中編碼該2D序列包含根據一 ITU Η.264視訊編碼標準來編碼該2D序列，且其中編碼該扣 轉換資訊包含將該3D轉換資訊編碼至由該ITU H.264視 °孔編碼標準支援的一或多個補充增強資訊（SEI)訊息中。 3·如請求項！之方法，其中該犯序列為一第一2D序列，該 參數集合可應用於該第一 2D序列之該等視訊圖框中之每 一者以產生視訊圖框之一第二2D序列，且該第—2D序列 及該第二2D序列共同地定義一 3D立體視訊序列。 4. 如請求項1之方法，其中該3D轉換資訊包括識別一待應 用於該2D序列以產生該3D視訊資料之3D轉換程序之資 訊。 5. 如請求項！之方法，其中該3D轉換資訊包括與捕捉該2d 序列相關聯之相機參數及值。 6·如請求項1之方法，其中該3D轉換資訊包括： 焦距值，其指示一與一捕捉該2D序列之相機相關聯 之焦距， —近深度值’其指定該3D視訊資料中之一最小深度， 148858.doc 201105112 一遠深度值，其指定該3D視訊資料中之一最大、、拉 度，及 一平移值，其量化與該3D視訊資料相關聯之兩個相機 之間的一假定距離。 7. 如請求項丨之方法，其中該3D轉換資訊包括： 一焦距值，其指示一與一捕捉該2D序列之相機相關聯 之焦距， 一近深度值，其指定該3D視訊資料中之一最小深度， 一遠深度值’其指定該3D視訊資料中之一最大深 度，及 一平移值，其量化與該3D視訊資料相關聯之兩個相機 之間的一假定距離， 一聚合深度值，其量化聚合影像平面至該兩個相機之 一假定距離。 8. 如明求項丨之方法，其中該3〇轉換資訊包括一指示3d參 數之顯式集合是否包括於3D轉換資訊中或是否應使用3D 參數之一預設集合之旗標。 .如叫求項1之方法，其中該3D轉換資訊包括一指示該2D 序列之一第二視圖是應在該2D序列之左側或是在該2D序 列之右側產生之旗標。 月求項1之方法，其中該3D轉換資訊包括一識別一應 自。玄3D視訊資料移除之裁剪區之旗標。 η·如印求項1之方法，其中該3D轉換資訊包括： 第一旗標，其指示3D參數之一顯式集合是否包括於 148858.doc •2- 201105112 該3D轉換資訊中或是否應使用3D參數之一預設集合，其 中在該第—旗標經設定時，3D參數之該顯式集合包括於 該3D轉換資訊中， · • 一第二旗標，其指示該2D序列之一第二視圖是應在該 2D序列之左側或是在該2D序列之右側產生，及 一第三模標，其識別一應自該3D視訊資料移除之裁剪 區’其中在該第三旗標經設定時，定義該裁剪區之資訊 包括於該3D轉換資訊中。 1 2. —種方法，其包含： 在一視訊解碼器處接收視訊圖框之一二維（2D)序列； 在該視訊解碼器處接收三維（31))轉換資訊以及該2D序 列’其中該3D轉換資訊包含可應用於該2D序列之該等視 訊圖框中之每一者以產生3D視訊資料之一參數集合； 經由該視訊解碼器解碼該2D序列；及 基於該2D序列及該3D轉換資訊經由該視訊解碼器產生 該3D視訊資料。 13. 如請求項12之方法’其中該2£)序列係根據一ITU h.264 視机編碼標準而編碼的，且其中在由該Ιτυ Η.264視訊編 碼標準支援的一或多個補充增強資訊（SEI)訊息中接收該 3D轉換資訊。 14. 如清求項12之方法，其中該2d序列為一第一 2D序列，該 茶數集合可應用於該第一 2D序列之該等視訊圖框中之每 者以產生視訊圖框之一第二2D序列，該第一 2D序列及 s亥第二2D序列共同地定義一 3D立體視訊序列，且產生該 148858.doc 201105112 3D視訊資料包含產生用以定義該3D立體視訊序列之該第 二2D序列。 15. 如請求項12之方法，其中該3D轉換資訊包括識別一待應 用於該2D序列以產生該3D視訊資料之3D轉換程序之資 訊。 16. 如請求項12之方法，其中該3D轉換資訊包括與捕捉該2D 序列相關聯之相機參數及值。 17·.如請求項12之方法，其中該3D轉換資訊包括： 一焦距值’其指示一與一捕捉該2D序列之相機相關聯 之焦距， 一近深度值，其指定該3D視訊資料中之一最小深度， 一遠深度值，其指定該3D視訊資料中之一最大深 度，及 一平移值，其量化與該3D視訊資料相關聯之兩個相機 之間的一假定距離。 18.如請求項12之方法，其中該3D轉換資訊包括： 焦距值’其指示一與一捕捉該2D序列之相機相關聯 之焦距， 一近深度值’其指定該3D視訊資料中之一最小深度， 一遠深度值’其指定該3D視訊資料中之_蛊丄 取大深 度，及 一平移值’其量化與該3D視訊資料相關聯之兩個相機 之間的一假定距離， 一聚合深度值’其量化聚合影像平面至該兩個相機之 148858.doc 201105112 一假定矩離D 19 20. 21. 22. 23. .士明求項12之方法，其中該3D轉換資訊包括一指示3][)參 數之頌式集合是否包括於3D轉換資訊中或是否應使用3d 參數之一預設集合之旗標。 汝明求項12之方法，其中該3D轉換資訊包括一指示該2D 序列之一第二視圖是應在該2D序列之左側或是在該2D序 列之右側產生之旗標。 如明求項12之方法，其中該3D轉換資訊包括一識別一應 自該;3D視訊資料移除之裁剪區之旗標。 如明求項12之方法’其中該3 d轉換資訊包括： 第旗標’其指示3D參數之一顯式集合是否包括於 °亥3 D轉換資中或是否應使用3 D參數之一預設集合，其 中在該第一旗標經設定時，3D參數之該顯式集合包括於 該3D轉換資訊中， 第一旗標，其指示該2D序列之一第二視圖是應在該 2D序列之左側或是在該2〇序列之右側產生，及 一第二旗標，其識別一應自該3 D視訊資料移除之裁剪 區，其中在該第三旗標經設定時，定義該裁剪區之資訊 包括於該3D轉換資訊中。 如請求項12之方法，其進一步包含： 判定一接收器件是否可產生並呈現該3D視訊資料； 在該接收器件可產生並呈現該3D視訊資料時，基於該 2D序列及該3D轉換資訊產生並呈現該3Γ)視訊資料；友 在該接收器件不能產生或呈現該3D視訊資料時，呈現 148858.doc 201105112 該2D序列。 24. —種裝置，其包含： 一視訊編碼器’其編碼視訊圖框之一二維（20)序列， 且編碼三维（3D)轉換資訊以及該2D序列，其中該3D轉換 資訊包含可應用於該2D序列之該等視訊圖框中之每一者 以產生3D視訊資料之一參數集合。 25. 如請求項24之裝置，其進一步包含一傳輸器，該傳輸器 將該經編碼之2D序列以及該3D轉換資訊傳達至另一器 件。 26·如請求項24之裝置’其中該視訊鳊碼器根據一ITU h.264 視訊編碼標準來編碼該2D序列，且將該3D轉換資訊編碼 至由該ITU Η.264視訊編碼標準支援的一或多個補充增強 資訊（SEI)訊息中。 27. 如請求項24之裝置，其中該2D序列為一第一 2D序列，該 參數集合可應用於該第一 2D序列之該等視訊圖框中之每 一者以產生視訊圖框之一第二2D序列，且該第一 2D序列 及该第二2D序列共同地定義一 3D立體視訊序列。 28. 如請求項24之裝置’其中該3D轉換資訊包括識別一待應 用於該2D序列以產生該3D視訊資料之3D轉換程序之資 訊。 29. 如請求項24之裝置，其中該3D轉換資訊包括與捕捉該2D 序列相關聯之相機參數及值。 3 0.如請求項24之裝置，其中該3D轉換資訊包括： —焦距值，其指示一與一捕捉該2D序列之相機相關聯 148858.doc -6 * 201105112 之焦距， 一近深度值’其指定該3D視訊資料中之一最小深度， 一遠深度值，其指定該3D視訊資料中 旧 度，及 之取大深 -平移值’其量化與該观訊資料相關聯之兩個 之間的一假定距離。 3 1.如請求項24之裝置，其中該3D轉換資訊包括： -焦距值’其指示—與一捕捉該2D序狀相機相 之焦距， & 一近深度值，其指定該3D視訊資料中之一最小深度， 一遠深度值，其指定該30視訊資料中之一最大深 度，及 冰 平和·值其里化與该3 D視訊資料相關聯之兩個相機 之間的一假定距離， 一聚合深度值’其量化聚合影像平面至該兩個相機之 一假定距離。 32.如請求項24之裝置，其中該3£>轉換資訊包括一指示31)參 數之顯式集合是否包括於3D轉換資訊中或是否應使用3d 參數之一預設集合之旗標。 3 3.如請求項24之裝置，其中該31)轉換資訊包括 一指示該 序列之一第二視圖是應在該2D序列之左側或是在該21)序 列之右側產生之旗標。 34·如請求項24之裝置，其中該3D轉換資訊包括一識別—應 自s亥3 D視訊資料移除之裁剪區之旗標。 148858.doc 201105112 35.如請求項24之裝置，其中該3D轉換資訊包括： 一第一旗標，其指示3D參數之一顯式集合是否包括於 該3D轉換資訊中或是否應使用3D參數之—預設集合其 中在該第一旗標經設定時，3D參數之該顯式集合包括於 該3D轉換資訊中， 一第二旗標，其指示該2D序列之一第二視圖是應在該 2D序列之左侧或是在該2D序列之右側產生及 一第二旗標，其識別一應自該3D視訊資料移除之裁剪 區’其中在該第三旗標經設定時，定義該裁剪區之資訊 包括於該3D轉換資訊中。 36·如請求項24之裝置，其中該裝置包含以下各項中之至少 一者： 一積體電路； 一微處理器；及 一包括§亥視訊編碼器之無線通信器件。 37· —種裝置，其包含： 視Λ解碼器，其接收視訊圖框之一二維（2D)序列； 接收一 (3D)轉換資訊以及該2D序列，其中該轉換資 Λ包含可應用於該2 D序列之該等視訊圖框中之每一者以 產生3Dlfl資料之一參數集合；解碼該序列；且基於 違2D序列及該3D轉換資訊產生該3D視訊資料。 明求項37之裝置，其中該2D序列係根據一 π。η $見ι扁碼‘準而編碼的’且其中在由該mu Η.⑽視訊編 5 ‘準支杈的—或多個補充增強資訊(㈣)訊息中接收該 148858.doc 201105112 3D轉換資訊。 39. 如請求項37之裝置，其中該2〇序列為一第一2d序列，該 參數集合可應用於該第一 2D序列之該等視訊圖框中之每 一者以產生視訊圖框之一第二2D序列，該第一 2D序列及 3亥第一 2D序列共同地定義一 3D立體視訊序列，且在產生 該3D視訊資料的過程中，該視訊解碼器產生用以定義該 3D立體視訊序列之該第二2D序列。 40. 如請求項37之裝置’其中該3D轉換資訊包括識別一待應 用於该2D序列以產生該3D視訊資料之3D轉換程序之資 訊。 41. 如請求項37之裝置’其中該3D轉換資訊包括與捕捉該2〇 序列相關聯之相機參數及值。 42‘如請求項37之裝置’其中該3D轉換資訊包括： 一焦距值’其指示一與一捕捉該2D序列之相機相關聯 之焦距， 一近深度值，其指定該3D視訊資料中之一最小深度， 一遠深度值’其指定該3D視訊資料中之一最大深 度，及 一平移值’其量化與該3D視訊資料相關聯之兩個相機 之間的一假定距離。 43.如請求項37之裝置，其中該3D轉換資訊包括： 一焦距值’其指示一與一捕捉該2D序列之相機相關聯 之焦距， 一近深度值，其指定該3D視訊資料中之一最小深度， 148858.doc -9- 201105112 一遠深度值 度，及 其指定該3 D視訊資料中之—具 —敢大深

   二化與㈣視”料相關聯之兩個相 一聚合深度值 一假定距離。 其量化聚合影像平面至該兩個相機之 44. 45. 46. 47. 如請求項37之裝置，其中該扣轉換f訊包括—指示祀參 數之顯式集合是否包括於3D轉換資訊中或是否應使用扣 參數之一預設集合之旗標。 如請求項37之裝置，其中該3D轉換資訊包括—指示該扣 序列之-第二視圖是應在該2D序列之左侧或是在該扣序 如請求項37之裝置’其中_轉換資訊包括—識別—應 自該3D視訊資料移除之裁剪區之旗標。 如請求項37之裝置，其中該3D轉換資訊包括： )-第-旗標，其指示3D參數之一顯式集合是否包括於 該3D轉換資訊中或是否應使用3D參數之一預設集合，其 中在該第一旗標經設定時，3D參數之該顯式集合包括於 該3D轉換資訊中， 一第二旗標’其指示該2D序列之—第二視圖是應在該 2D序列之左側或是在該2d序列之右側產生，及 一第二旗標，其識別一應自該3D視訊資 區，其中在該第三旗標經設定時，定義該裁剪區之資訊 包括於該3D轉換資訊中。 148858.doc 201105112 48. 49. 50. 51. 如明求項37之裝置，其中該裝置包括一顯示器，且 該裝置： 〃 判疋5亥裝置是否可產生並呈現該3D視訊資料； 在绞裝置可產生並呈現該3D視訊資料時，基於該2£)序 J x 30轉換資訊產生該3D視訊資料並在該顯示器上呈 現该3D視訊資料；及 在忒裝置不能產生或呈現該3D視訊資料時，在該顯示 器上呈現該2D序列。 如。月求項37之裝置’其中該裝置包含以下各項中之至少 一者： 一積體電路； 一微處理器；及 一包括該視訊解碼器之無線通信器件。 一種裴置，其包含： 用於在一視訊編碼器中編碼視訊圖框之一二維（2D)序 列之構件； 用於經由該視訊編碼器編碼三維（3D)轉換資訊之構 件’其中該3D轉換資訊包含可應用於該2D序列之該等視 Λ圖框中之每一者以產生3D視訊資料之一參數集合；及 用於傳達該經編碼之2D序列以及該等經編碼之參數之 構件。 一種器件，其包含： 用於在一視訊解碼器處接收視訊圖框之一二維（2D)序 列之構件； 148858.doc • 11 - 201105112 用於在5亥視訊編碼器處接收三維（3D)轉換資訊以及該 2D序列之構件，其中該3d轉換資訊包含可應用於該2D 序列之s玄等視訊圖框中之每一者以產生3D視訊資料之一 參數集合； 用於解碼該2 D序列之構件；及 用於基於該2D序列及該3D轉換資訊產生該3D視訊資 料之構件。 52. —種包含指令之電腦可讀儲存媒體，該等指令在由一處 理器執行時使該處理器： 編碼視訊圖框之一二維（2d)序列；及 編碼三維（3D)轉換資訊，其中該3D轉換資訊包含可應 用於5亥2D序列之該等視訊圖框中之每一者以產生3D視訊 資料之一參數集合。 53. —種包含指令之電腦可讀儲存媒體，該等指令在由一處 理器執行時使該處理器： 在接收視訊圖框之一二維（2D)序列且接收三維（3〇)轉 換資訊以及該2D序列時，其中該3D轉換資訊包含可應用 於s玄2D序列之該等視訊圖框中之每一者以產生3D視訊資 料之一參數集合， 解碼該2D序列；及 基於s玄2D序列及該3D轉換資訊產生該3d視訊資料。 54. —種方法，其包含： 將3D轉換資訊應用於一 2D序列以產生3E)視訊資料， 其中s玄3D轉換資§fL包含可應用於該2D序列之每一視訊圖 框以產生該3D視訊資料之一參數集合。 148858.doc -12-