TWI333201B - Method, apparatus and machine-readable medium for multimedia coding techniques for transitional effects - Google Patents

Description

^33201 九、發明說明： 【發明所屬之技術領域】 本發明係關於數位多媒體編碼及解碼，且特定而言係關 於用於編碼及解碼與多媒體序列相關聯之過渡效應之技 • 術。 . 【先前技術】 已建立多種不同的視訊編碼標準用於編碼數位多媒體序 列。例如動晝專家組（MPEG)已開發出多種標準，包括 _ MPEG-1、MPEG-2及MPEG-4。其他實例包括國際電信聯 合會（ITU) H.263標準，及新興ITU H 264標準，該標準亦 在MPEG-4第1〇部分中陳述，標題為"高級音訊編碼"。此 等視訊編碼標準一般藉由以壓縮方式編碼資料來支援多媒 體序列之改良的傳輸效率。壓縮減少了用於多媒體圖框之 有效傳輸需要傳輸之資料的總量。視訊編碼用於有線與無 線傳輸媒體上的許多情形，包括視訊串流、視訊攝像機、 視訊電話（VT)及視訊廣播應用。 # 特定而言，MPEG_4、ITU H.263及ITU H.264標準支援 •利用連續夕媒體圖框（稱為時間或圖框間相關性）之間的相 似性以提供圖框間壓縮的視訊編碼技術。圖框間塵縮技術 藉由將多媒體圖框之基於像素之表示轉換為運動表示來利 用圖框間的資料冗餘。常將使用圖桓間技術進行編碼之圖 框稱為預測"）圖框或B ("雙向"）圖框。通常稱為j (”内·，） 圖框之-些圖框係使用空間星縮進行編碼，其為非預測性 的。此外’-些圖框可包括内部编碼與相互間編碼之區塊 I14962.doc 之組合。 過渡效應可在視訊編碼中提出挑戰，尤其當使用圖框間 壓縮時。過渡效應指用於自多媒體序列之當前場景過渡的 視覺視訊效應。過渡效應包括衰植效應、漸隱效應、滑動 效應、破裂效應、翻轉效應，以及各種其他類型之用於自 當前場景過渡之視覺效應》過渡效應常用於（例如）藉由將 第一場景衰褪或漸隱為第二場景而自第一場景變為第二場 景。然而’過渡效應亦可用於其他情形，例如藉由使一序 列之最末場景衰褪或漸隱為空場景以表示該多媒體序列之 末端。 【發明内容】 本發明係針對用於過渡效應之編碼及解碼技術。該等技 術可改良經編碼多媒體序列中之資料壓縮及/或改良過渡 效應之視覺品質。根據所揭示之技術，一編碼設備在一多 媒體序列之編碼期間偵測一與該多媒體序列相關聯之過渡 效應’並將作為一經編碼多媒體序列之部分的識別該過渡 效應之資訊傳輸至一解碼器。 該解碼器接收識別與該多媒體序列相關聯之過渡效應的 資訊。識別該過渡效應之資訊可包含可由該解碼器用以模 擬或重新建立過渡效應的中繼資料。隨後解碼該經編碼多 媒體序列以回應於該資訊來模擬該過渡效應。亦描述可經 發送以便模擬不同過渡效應的特定資訊之若干實例。在一 些情況下’識別過渡效應之資訊可僅觸發某一類型過渡效 應之模擬’該過渡效應不必與原始視訊序列中之過渡效應 114962.doc 1333201 相同。在其他情況下，識別過渡效應之資訊可識別至解碼 器之特定類塑效應。 在一些實施例中’本發明之技術可實施與常稱為圖框速 率增速轉換（FRUC)之技術類似的内插技術以便允許解碼器 處的編碼器輔助之過渡效應模擬。在此情況下，對於過渡 效應，類似FRUC之技術可替代習知用於過渡效應之圖框 的基於預測或基於空間之編碼，以改良經編瑪多媒.體序列 中之資料壓縮及/或改良過渡效應之視覺品質。 在一些實施例中，本發明提供一種方法，其包含：接收 作為一經編碼多媒體序列之部分的資訊，其中該資訊識別 一與該多媒體序列相關聯之過渡效應；及解碼該經編碼多 媒體序列’包括模擬該過渡效應以回應於該資訊。 在一些實施例中，本發明提供一種方法，其包含：在一 多媒體序列之編碼期間偵測一與該多媒體序列相關聯之過 渡效應；及產生作為一經編碼多媒體序列之部分的用以識 別該過渡效應之資訊。 在一些實施例中，本發明提供一種裝置，其包含：一接 收器，其經配置以接收作為一經編碼多媒體序列之部分的 資訊，其中該資訊識別一與該多媒體序列相關聯之過渡效 應；及一解碼器’其模擬該過渡效應以回應於該資訊。 在一些實施例中，本發明提供一種裝置，其包含：一偵 測器，其在一多媒體序列之編碼期間偵測一與該多媒體序 列相關聯之過渡效應；及一編碼器，其產生作為一經編碼 多媒體序列之部分的識別該過渡效應之資訊。 114962.doc 在-實施例中，本發明提供—種處理器，其經配置 以：接收作為一經編瑪多媒體序列之部分的資訊，其中該 資訊4別與該夕媒體序列相關聯之過渡效應；及解妈該 經編碼多媒體序列，包括模擬該過渡效應以回應於該資 訊。 在二實施例中，本發明提供—種處理器，其經配置 以：在一多媒體序列之編碼期間偵測一與該多媒體序列相 關聯之過渡效應；及產生作為一經編碼多媒體序列之部分 的識別與該經編碼乡㈣序肋關狀該過渡效應的至一 解碼器之資訊。 在一些實施例中，本發明提供一種裝置，其包含：接收 構件，其用於接收作為一經編碼多媒體序列之部分的資 訊，其中該資訊識別一與該多媒體序列相關聯之過渡效 應；及解碼構件，其模擬多媒體序列中之一過渡效應以回 應於識別該過渡效應之資訊。 在一些實施例中，本發明提供一種裝置，其包含：偵測 構件，其用於在一多媒體序列之編碼期間偵測一與該多媒 體序列相關聯之過渡效應；及編碼構件，其產生用以識別 與該多媒體序列相關聯之過渡效應之資訊。 本文描述之技術可實施於硬體、軟體、韌體或其任意組 合中。若實施於軟體中，則該軟體可在數位信號處理器 (DSP)或其他類型處理器中執行。執行該等技術之軟體可 起初儲存於一機器可讀媒體（例如電腦可讀媒體）中，並在 處理器或其他機器中載入及執行以允許如本文所述之過渡 114962.doc -9- 1333201 效應之視訊編鳴或解碼。 因此’本發明亦涵蓋一種包含指令之機器可讀媒體，該 等才a令一旦執行便使一機器：接收作為一經編碼多媒體序 列之部分的資訊’其中該資訊識別一與該多媒體序列相關 聯之過渡效應；及解碼該經編碼多媒體序列，包括模擬該 過渡效應以回應於該資訊。 同樣，本發明涵蓋一種包含指令之機器可讀媒體，該等 指令在執行時使一機器：在一多媒體序列之編碼期間偵測 一與該多媒體序列相關聯之過渡效應；及產生作為一經編 碼多媒體序列之部分的識別該過渡效應之資訊。 在附圖及以下描述中陳述一或多個實施例之細節。自描 述及圖示’以及自申請專利範圍，其他特徵、目標及優點 將顯而易見》 【實施方式】 本發明係針對用於過渡效應之編碼及解碼技術。過渡效 應指用於自多媒體序列之當前場景過渡的視覺視訊效應。 過渡效應之實例包括衰秘效應、抹擦效應、漸隱效應、滑 動效應、破裂效應及翻轉效應’僅列舉此等若干例子。過 渡效應常用於（例如）藉由將第一場景衰褪或漸隱為第二場 景而自第一場景變為第二場景。然而，過渡效應亦可用於 其他情形，例如藉由使一序列之最末場景衰褪或漸隱為空 場景以表示該多媒體序列之末端。 根據所揭示之技術，編碼設備在多媒體序列編碼期間偵 測與多媒體序列相關聯之過渡效應。此過渡效應偵測可基 114962.doc •10· 1333201 於習知鏡頭邊界（shot boundary)偵測算法或任何其他用於 偵測多媒體序列中之過渡效應的可靠方法。或者，編碼設 備可偵測源位元流中指示過渡效應之存在的信號或命令。 該編碼設備隨後產生資訊從而以非習知方式編碼過渡效 應。 解碼器可使用内插技術（例如與習知用於在兩個經編碼 圖框之間插入一或多個圖框以用於圖框速率增速轉換 (FRUC)之技術類似的技術）模擬過渡效應。編碼設備傳輸 過渡效應作為一經編碼多媒體序列之部分的識別該經編碼 多媒體序列中之過渡效應之資訊。在一些實施例中，過渡 效應資訊可包含可由解碼器用以產生過渡效應的中繼資 料。在此情況下，過渡效應資訊可輔助解碼器產生近似於 原始視訊源位元流中之過渡效應的過渡效應。或者，過渡 效應資訊可僅發送指示過渡效應存在之信號。在此情況 下’解碼器可獨立產生過渡效應以回應於過渡效應資訊， 該過渡效應不必與原始視訊序列中之原始過渡效應相同。 圖1為說明視訊編碼及解碼系統10之方塊圖，該系統10 可實施根據本發明之過渡效應編碼及解碼技術。如圖示， 系統10包括視訊編碼器設備12及視訊解碼器設備14。經編 碼之多媒體序列可自視訊編碼器設備丨2在通信通道15上傳 輸至視訊解碼器設備14。對此，視訊編碼器設備12及視訊 解碼器設備14分別包含發射器23及接收器27以便於此通 信’該通信可為有線或無線通信。 視訊編碼器設備12(例如）可形成用於將一或多個視訊通 114962.doc 1333201

道廣播至無線用戶設備的廣播網路組件的部分。在此情況 下，視訊編碼器設備12可將經編碼資料傳輸至若干視訊解 碼器（即，廣播服務之許多用戶）。然而，出於簡明在圖艸 說明單-視訊解碼器設備14。視訊編碼器設備似視訊解 碼器設備14可實施為—或多個處理器 '數位信號處理器、 特殊應用積體電路（ASIC)、場可程式化閘極陣列（FpGA)、 離散邏輯、軟體、硬體、動體，或其任意組合。設備以及 設備14之所說明之組件可包括於—或多個編碼器或解碼器 中八中任者可整合為編碼器/解碼器（CODEC)的部 分。然而’發射||23及接收器27可形成於與編碼器、解碼 器或CODEC不同的組件或晶片上。

如上所述，視訊編碼器設備12可形成用於廣播一或多個 視訊資料通道的廣播網路組件的部分m且件之實例包 括無線基地台或任何用於廣播經編碼視訊資料之基礎節 點另方面，視訊解'碼器設備14可包含接收經編碼視訊 之使用者設備。舉例而言，視訊解碼器設備14可實施為數 位電視機、無線通信設備、攜帶型數位助理（pDA)、膝上 型電腦或桌上型電腦、數位音樂與視訊設備（例如以商標 "iPod"出售的設備）、或無線電話（例如基於蜂巢式、衛星 或陸地的無線電話）的部分。所說明的系統1〇中之組件為 最適於實施本文描述之技術的組件，儘管編碼器設備12及 解碼器設備14在需要時可包括許多其他組件。此外，本發 明之技術不必限於在類似於系統1〇之系統或廣播系統中使 用。該等技術可應用於其中過渡效應用於待編碼及/或解 114962.doc •12- 1333201 碼之多媒體序列的任何視訊蝙碼環境中。 如圖1所示，視訊編碼器今供 "備12(例如）自記憶體位置接 收多媒體序列5。該記憶體（為簡 間月起見在圖1中未圖示）可 為編碼設備12之部分，或可為提 q促货夕媒體序列至視訊編碼 器設備12的外部記憶體。多媒 夕絲體序列5可包含待編碼及作 為廣播而傳輸的現場即時視訊或視訊與音訊序列，或可包 含待編碼及作為廣播或按所需傳輸的預先記錄及儲存之視 訊或視訊與音訊序列》

在任何情況下，視訊編碼器設備12有助於多媒體序列5 之編碼，並實施本發明之技術以在多媒體序列5内發生過 渡效應時改良此編碼。視訊編碼器設備12包括過渡效應偵 測器20 ’其執行與序列5相關聯之過渡效應之偵測。舉例 而言，過渡效應偵測器20可對多媒體序列5取樣，尋找過 渡效應之一或多個記號，例如產生衰褪效應、抹擦效應、 漸隱效應、滑動效應、破裂效應、翻轉效應或各種其他類 型之用於自當前場景過渡之視覺效應的一組圖框。作為一 個實例，過渡效應偵測器2〇可實施一或多個所謂鏡頭邊界 損測算法，或任何其他用於偵測與多媒體序列相關聯之過 渡效應的可靠方法。由此，過渡效應偵測器2〇識別多媒體 序列5内過渡效應之存在。 過渡效應可在視訊編碼中提出挑戰。特定而言，過渡效 應通常不會展示允許高度有效之基於預測之視訊編碼的相 對場景運動。此外，過渡效應常用於場景改變處，在該處 觀察者之感覺對高階信號雜訊不敏感。當使用習知編碼器 114962.doc •13- 1333201 使用基於預測之技術以標準方式編碼過渡效應時，壓縮水 平可極為有限，且視訊品質可較低。此外，由於觀察者之 感覺對過渡效應中之高階信號雜訊通常不如對多媒體序列 之完整運動部分中之高階信號雜訊敏感，故此等過渡效應 之低效標準類型編碼自品質觀點而言可為不必要的。換言 之’當場景改變時，使用者通常可忍受較高雜訊水平而不 會感覺到任何主觀的品質下降。 出於此等及其他原因，本發明之技術提供相對於多媒體 序列之其他非過渡部分的過渡效應之不同編碼方法。具體 而言，視訊編碼器設備12包括標準編碼模組16與過渡效應 編碼模組1 8，該等模組可形成於一個編碼器或多個編碼器 中t準編瑪模組16應用標準的基於預測之編碼技術，例 如運動估計及運動補償，以編碼多媒體序列5之圖框。標 準編碼模組16亦可應用非運動編碼技術，例如用於一些圖 框之空間估計及内預測。根據標準的基於預測之技術，標 準編碼模組16亦可包括各種用於熵編碼、掃描、量化、變 換及可能的解塊（deblock)過濾之單元。此等單元應用於正 吊（非過渡）圖框，以促進此等圖框之標準的基於預測之編 碼。然而，對於識別為過渡效應之任何圖框，過渡效應編 碼模組18執行不同的非標準編碼技術。 特定而言，對於包含過渡效應之圖框，過渡效應編碼器 18產生可由視訊解碼器設備14用以模擬過渡效應之資訊。 解碼器設備14藉由重建過渡效應之圖框而使用該資訊來模 擬該效應，而非單獨地解碼此等圖框。該資訊可包含可由 114962.doc •14· 解碼器設備14以類似wRUC技術之方式使用&中繼資 料。舉例而言，中繼資料可識別一類型之效應，以使得可 在視訊解蜗器设備14處模擬該類型之效應，以用於包含該 過渡效應之彼等特定圖柜。在更簡單之情況下，中繼資料 可僅識別過渡效應之存在，而不用考慮效應之類型，在此 情況下，視訊解碼器設備14可模擬不一定與原始效應相同 之過渡效應。然而在更複雜之情況下，中繼資料可包括用 以識別效應週期之資訊、可能的與過渡效應之圖框相關聯 的一或多個幾何映射，或有助於在視訊解碼器設備14處模 擬該效應的其他資料。然而在多數情況下，可在解碼器側 儲存或產生用於模擬過渡效應之幾何映射，並基於對效應 類型的指示及與效應相關聯之週期而應用該等幾何映射。 根據所揭示之技術，可避免編碼、發送及解碼用於過渡效 應之完整預測圖框的需要，從而節省編碼器及解碼器處的 處理耗用’且節省無線通信通道之頻寬。 視訊解碼器設備14包括標準解碼模組22與過渡效應解碼 模組24，該等模組可形成於一個解碼器或多個解碼器中。 標準解碼模組2 2處理藉由標準的基於預測之運動技術或非 备基於預測之空間技術所編碼的任何圖框。為此目的，把準 解碼模組22可包括一運動補償器及一空間補償器。標準解 碼模組22亦可包括用於熵編碼、反向掃描、反向量化、反 向變換及可能的解塊（deblock)過濾之單元。出於簡明起見 在圖1中未說明此等標準組件。自編碼設備12之發射器23 經由通信通道15將經編碼視訊序列傳輸至解喝設傷14之接 114962.doc •15· 1333201 收器27,通信通道15可為無線通道。 過渡效應解碼模組24基於自視訊編碼器設備12發送之資 訊而處理過渡效應之解碼。經發送以解碼過渡效應之資訊 可比原本使用標準技術編碼此等效應所需之資訊少得多。 實質上，視訊編碼器設備12產生識別過渡效應之資訊，及 可月b的關於效應之其他資訊，諸如與效應相關聯之週期、 效應類型及與效應相關聯之開始與結束場景。解碼設備14 經由接收器27接收此資訊，且過渡效應解碼模組以回應於 該資訊而在視訊解碼器設備14中模擬該效應。舉例而言， 給定開始與結束場景、對效應類型之指示及效應之週期， 可由過渡效應解碼模組24重新建立該效應之模擬，而不需 要原本使用標準技術編碼此等效應時所需之更廣泛的編碼 資訊。 圖2為說明根據本發明之編碼技術的流程圖。如圖2所 示，視訊編碼器設備12接收待編碼之多媒體序列5(3〖）。過 渡效應偵測器20(例如）藉由實施鏡頭邊界偵測演算法或任 何其他用於偵測與多媒體序列相關聯之過渡效應的可靠方 法來偵測多媒體序列5之任何給定部分是否包含過渡效應 (32)。若過渡效應债測器20未識別到任何過渡效應（32之否 定分支）’則調用標準編碼模組16以編碼整個多媒體序列 5。在此情況下，標準編碼模組16對多媒體序列5執行標準 的基於預測之運動編碼及非基於預測之空間編碼。 然而，若過渡效應偵測器20識別到與多媒體序列5相關 聯之過渡效應，則調用過渡效應編碼模組18以用於多媒體 114962.doc -16- 1333201 序列5之過渡效應部分。在此情況下，過渡效應編碼模組 18產生針對過渡效應之過渡效應資訊（34)，其可由視訊解 碼器設備14使用以模擬過渡效應。此資訊可為有助於内插 之資訊或對過渡效應之存在、位置及時序之指示，或可能 僅為指示需要在解碼器處產生過渡效應的旗標。在任何情 況下，標準編碼模組16仍對多媒體序列5之非過渡部分執 行標準的基於預測之運動編碼及標準的非基於預測之空間 編碼（3 5 )。 圖3為說明根據本發明之解碼技術的流程圖。如圖3所 示，視訊解碼器設備14之接收器27(例如）經由通信通道15 自編碼設備12之發射器23接收經編碼多媒體序列（5丨）。若 所接收多媒體序列不包括識別過渡效應之存在的過渡效應 資訊，則調用標準解碼模組22以用於整個多媒體序列之解 碼》在此情況下，標準解碼模組22執行標準的基於預測之 運動解碼及非基於預測之空間解碼。 然而’若所接收多媒體序列包括識別過渡效應之存在的 過渡效應資訊，則調用過渡效應解碼模組24以用於所接收 多媒體序列之過渡效應部分。在此情況下，過渡效應解碼 模組24模擬過渡效應以回應於過渡效應資訊（53)。同樣， 由過渡效應解碼模組24進行之此模擬可類似於用於支援 FRUC技術之内插技術或編碼器辅助之FRUC技術，其中產 生圖框以模擬所需效應。對於所接收多媒體序列之非過渡 部分，標準解碼模組22仍執行標準的基於預測及非基於預 測之解碼（55)。 114962.doc -17- 1333201 圖4至圖16為說明可根據本發明之技術編碼的個別過渡 效應内之一個個別圖框的概念圖。圖4至圖16中所說明之 不同例示性情境將用於解釋可用於編碼過渡效應並允許在 解碼器處良好模擬個別效應之不同類型之過渡效應資訊或 中繼資料。同樣，在一些簡單情況下，中繼資料可僅識別 過渡效應之存在，而不用考慮效應之類型，在此情況下， 視訊解碼器設備14可模擬不必與原始效應相同之過渡效 應。然而在更複雜之情況下，中繼資料可包括用以識別效 應類型、效應週期、效應之開始與結束圖框之資訊，及可 能在協助視訊解碼器設備14處模擬效應的其他資料。在此 專情况下’資訊可由解碼器使用以辅助過渡效應之模擬。 圖4為說明衰褪效應（在此情況下為交叉衰褪）之—個圖 框62的概念圖。在此情況下，場景A在週期p中衰褪為場景 B。衰褪效應可包括"淡入（fade_in)”，此情況下場景B自空 場景淡入，及"淡出（fade-out)"，此情況下場景八淡出為空 場景。圖4說明"交又衰褪"，其中場景a衰褪為場景技 術上，在處理此等淡入、淡出及交叉衰褪之情況時，不存 在差異。可將淡入及淡出視為與交叉衰褪相同，但僅將場 景A或B視為對於淡入或淡出的空白場景。 在任何情況下’對於諸如圖4之圖框62中所說明之交又 衰褪的衰褪效應’加權雙向運動補償可與零運動向量一起 使用。在此情況下，由解碼設備14使用以編碼過渡效應之 資訊可將效應識別為衰褪效應並界定該效應之週期。場景 A之一個複本及場景B之一個複本亦可包括於過渡效應資 114962.doc -18- 訊中。然而，可省略在場景A與B之間擴展之插入圖框的 至少一些資訊。 給定自視訊編碼器設備12接收之相對有限之資訊，視訊 解碼器設備14可模擬一衰袍效應。具體而言，過渡效應解 瑪模組24可基於場景a之複本、場景B之複本及與自場景A 至場景B之衰褪過渡相關聯之週期來重建過渡的一組圖 框。在此情況下’過渡效應解碼模組24可使用零值之運動 向量來執行多媒體圖框之加權雙向重建。用於場景A及場 景B之加權值可在週期中相對於彼此而改變以產生一組過 渡圖框’且可儲存於在解碼過程期間由過渡效應解碼模組 24存取之一或多個查詢表（LUT)中。衰褪效應之週期可界 定若干指數，該等指數可應用於LUT以選擇用於效應之每 一連續圖框的加權值。然而重要的是，需要發送以促進此 重建的資訊為衰褪效應類型之指示、場景A及場景b之複 本’及週期。該週期中圖框之重建可由過渡效應解碼模組 24單獨執行。以此方式，在視訊編碼機制中傳送過渡效應 所需之資訊可顯著減少。 圖5為說明衰褪效應（在此情況下為漸隱效應）之一個圖 框64的概念圖。在漸隱效應中，場景A在週期p中漸隱為場 景B。漸隱效應亦可包含"漸入（diss〇lvein)"，此情況下場 厅、B自工％景漸入，或”漸出（diss〇ive_〇ut),,,此情況下場 景A漸出為空場景。圖5說明"交叉漸隱"，其中場景a漸隱 為場景B。可將漸入及漸出視為與交叉漸隱相同，但僅將 場景A或B視為對於漸入或漸出的空白場景。 114962.doc 在任何情況下，料諸如圖5之_64中所說明之漸隱 效應，―對選擇為可能的。在—種情況τ，㈣渡效應解 碍技組24處預先界定幾何映射以界定具有零運動向量之雙 向運動。對於過渡效應之每—連續_，該等映射界定哪 些像素來自場景Α及哪些像素來自場景Β。漸隱中所使用 之映射之數目可由與過渡效應相關聯之週期來界定。用於 過渡效應之預定義之映射可料在可由過渡效應解碼模組 24存取的一或多個查詢表（LUT)中。效應週期可界定指 數’該等指數可應用於LUT以選擇用於效應之每—連續圖 框的預定義之映射。 然而在另，一情況下，幾何映射可以隨機方式在視訊解碼 窃設備14處產生。類似於其他漸隱實例，在此情況下，過 渡效應資訊可識別場景B、漸隱效應及週期。過渡效 應解碼模組24隨後可基於隨機數產生而產生一組漸隱映 射。此情況導致漸隱效應，儘管可在視訊解碼器設備14處 隨機選擇漸隱之特定像素。因此，任何隨後之漸隱效應將 以隨機方式而彼此不同。 圖6至圖8分別為說明方框效應（b〇x effeet)、滑動效應及 曲線效應的概念圖。在圖6之圖框65中所示的方框效應 中，％景B 68自場景A 66呈現在一放大框中。在圖7之圖 框75中所示的滑動效應中，場景b 78自場景a以滑動方式 76呈現》在圖8之圖框85中所示的曲線效應中，場景b 88 自場景A 86呈現於場景上放大的一組曲線區域中。類似於 圖4及圖5之效應’圖6至圖8之效應亦可與用於場景a或用 114962.doc -20- 1333201 於場景B之空白場景一起使用。在任何情況下，用於編碼 此效應之資訊可將過渡效應類型識別為方框效應，並界定 週期。場景Α及場景Β之複本亦用於產生模擬。

具體而言，過渡效應解妈模組24可根據用於此等類型之 過渡效應之每一者的預疋義之映射來模擬圖6至圖8之過渡 效應。給定場景A、場景B、過渡效應類型及與效應相關 聯之週期，過渡效應解碼模組24可選擇可儲存於一或多個 LUT中的一組預定義之映射。選定之映射可界定過渡序列 上每一連續圖框之幾何圖形以便模擬過渡效應。換言之， 過渡效應解碼模組24可使用用於每一圖框之映射來執行每 一連續圖框之雙向重建，該映射界定哪些像素（或像素區 塊）來自場景A及哪些像素（或像素區塊）來自場景B。對於 每一個別像素或區塊，用於每一像素（或像素區塊）之運動 向量將為零。LUT可經預先界定以用於每—類型之過渡效 應，且可基於過渡週期自LUT中進行選擇，例如若週期較 短’則跳過LUT中之一或多個映射。 在其他實例中，用於本發明中所描述之效應之任一者的 幾何映射可在編碼設備12處產生並發送至解碼設備14。換 言之，藉由產生用於個別效應之幾何映射，或藉由應用在 編碼設備12處產生並發送至解碼設備14作為過渡效應資訊 之。P刀的映射，可在解碼設備14處模擬該等效應。由編碼 6又備12產生幾何映射可減少解碼設備14之複雜性，解碼設 備Η通常比編碼設備12具有較少的複雜計算之能力，尤其 在廣播情形中。另—方面’由解碼設備14產生幾何映射達 I14962.doc 21 成明顯之優點，因為此減少了有效編碼過渡效應所需要轉 遞之資訊里。在此情況下，在解碼器處模擬效應可允許編 碼設備12與解碼設備14之間轉遞之資訊的減少’以有效編 媽過渡效應，此尤其在無線轉遞資訊時可極其有用的。 圖9為說明開門（d00I· opening)效應的另一概念圖。圖9之 圖框95中’在開門以移除場景a 96時呈現場景b 98。類似 於其他效應，圖9之開門效應亦可與用於場景A或用於場景 B之空白場景一起使用。在任何情況下，用於編碼此效應 之資訊可將過渡效應類型識別為開門效應，並界定週期。 場景A及場景B之複本亦用於產生模擬。 在此情況下，過渡序列之圖框分段為一前向預測部分及 一後向預測部分。該前向預測部分不同於該後向預測部分 而解碼。一組幾何映射可界定在過渡週期中經前向預測及 後向預測之場景之個別部分。與呈現之場景B相關聯之運 動向量為零’而與場景A之開門相關聯之運動向量可經平 滑化及定標以產生此效應。因此’場景A 96之開門經定標 及平滑化以使得完整的場景A包括於開門中，亦經調節以 產生開門效應。類似於其他實例，定標及平滑因子及任何 與該效應相關聯之幾何映射可預先儲存於視訊解碼器14中 (例如）作為過渡效應解碼模組24中之一或多個lut。 因此’與場景A相關聯之運動向量之平滑化及定標可在 視訊解碼器設備14處由過渡效應解碼單元24執行，從而消 除了在經編碼資料中發送複雜運動資訊的需要。編碼設備 12之過渡效應編碼模組18僅識別開門效應及週期，並發送 U4962.doc •22· 1333201 場景A及場景B之複本。解碼設備14之過渡效應解碼模組 24可隨後使用具有零運動向量之場景b 98之呈現區域與使 用運動向量之平滑化及定標之場景A 96之開門的差分解碼 來模擬此效應。場景A及B可經空間壓縮以用於增加效 率。 圖10至圖12說明亦可根據本發明之技術進行模擬之不同 的破裂效應。在圖10之圖框1〇5中，場景A 1〇6被分裂為場 景B 108。在圖11之圖框Π5中，場景a u6破裂為若干條 以暴露空場景119，且場景B 118以破裂方式出現，最終重 建B場景。在圖12之圖框125中，場景A 126破裂為若干片 以暴露空場景129，且隨後場景B 128呈現為聚集形成b場 景的若干片。 圖10至圖12之實例亦可由解碼器設備14基於識別效應類 型、週期及開始場景A與結束場景b之内容的過渡效應資 訊來模擬。在此情況下，圖框分段為前向及後向預測部 分’在前向與後向部分中執行定標及旋轉以達成個別破裂 過渡效應。 圖13展示例示性翻轉效應之圖框135。在此情況下，場 景A 136在旋轉時其尺寸減少，最終翻轉為場景B (未圖 示），場景B隨過渡之連續圖框而放大，直至其覆蓋完整場 景。背景139在此實例中展示為空的。類似於圖1〇至圖12 之實例，為模擬圖13之效應，圖框被分段為前向及後向預 測部分。然而在此實例中，在前向與後向部分中執行定標 及旋轉以達成個別破裂過渡效應。該效應可由解碼器設備 114962.doc -23· 1333201 Η基於識別效應類型、週期及開始場景a與結束場景b之 内容的過渡效應資訊進行模擬。效應之定標、旋轉及幾何 形狀可預先儲存於（例如）一或多個LUT中，並可基於針對 該效應而識別之週期進行選擇以用於該效應之每一連續場 景。 圖14說明電影膠片效應之圖框145，其中在場景b 148移 入時場景A 146移出。運動為過渡的。在此情況下，運動 向量以均一方式界定’且邊界線之兩側使用不同的預測方 向。類似於其他過渡效應，此效應可由視訊解碼器設備14 基於界定過渡效應類型、週期及場景A與B之内容的資訊 進行模擬。因此’可避免序列之過渡部分之每一圖框的基 於標準預測之編碼及解碼，且過渡效應解碼器模組24可基 於比另外所需要之資訊更少之資訊來模擬此效應。 圖15說明一包括兩種過渡效應之組合的圖框155。在此 情況下，該效應為圖8所示之曲線效應與圖4所示之交又衰 褪效應之組合。給定圖1 5之效應為此等兩種不同效應之組 合’過渡效應解碼器模組24可藉由組合用於曲線效應與交 叉衰概效應之技術來模擬此效應。在此情況下，使用零值 運動向置的與過渡效應相關聯之多媒體圖框之加權雙向重 建由過溧效應解碼器模組24來執行，且根據曲線效應之預 定義之映射來界定預測權數。 一些複雜效應，諸如圖16之圖框165中所說明之波紋效 應，可能過於複雜而不能識別為簡單效應之組合。在此情 況下，可引入物理翹曲 '交又衰褪及其他隨機運動以在視 114962.doc -24- 1333201 訊解碼器設備14處模擬該效應。隨機及/或非線性失真亦 可用於模擬此等複雜過渡效應。在此等複雜情況下，替代 傳輸每一區塊之每一細節’可發送統計數字，諸如以交又 漸隱更新為新場景之區塊之比率’及白雜訊中明亮像素之 _ 比率。給定此資訊，可模擬複雜的類似波紋之效應。 • 然而在一些情況下，尤其在内容可修改時，可能需要用 較簡單之過渡效應（例如交叉衰褪）替代複雜效應（例如波紋 效應）。在此情況下’編碼器設備丨2可僅識別過渡之存 ® 在’且解碼器設備14可模擬一不必與原始序列中之過渡效 應相同的過渡效應。在此情況下，觀察者仍將觀察到過 渡’並藉由避免傳遞複雜過渡效應所需之高代價之編碼及 解碼’可顯著降低複雜性。 當針對解碼器處之過渡效應模擬執行加權運動補償時， 可在過渡效應之週期中在圖框間平滑化加權值。當對用於 、。疋效應之運動向量執行平滑化時，此平滑化不必限於緊 φ _之相鄰部分，而是可包括正被平滑化之整個段或部分之 平⑺化。平滑化亦不限於過渡運動，且可包括（例如）定標 及旋轉。對於一給定過渡效應，平滑化、加權、過遽及類 似物皆可在解碼器處預先界定。 圖17為說明例示性視訊編碼及解碼系統的另-方塊圖， ~系統可實施根據本發明之過渡效應編碼及解碼技術。如 圖不彡統170包括編瑪構件172及解碼構件m。編碼構 °包3為碼器，且解碼構件可包含一解碼器。編 %構件72 (例如）自記憶體位置接收多媒體序列17卜該記 114962.doc -25· 1333201 憶體（為簡明起見而在圖17中未圖示）可為編碼構件i72之部 分’或可為將多媒體序列提供至編碼構件172之外部記情 體。 “ 編碼構件172有助於多媒體序列171之編碼，並實施本發 .· 明之技術以當在多媒體序列171之一部分中發生過渡效應 • 時改良此編碼。編碼構件172包括過渡效應偵測構件177 , 其執行與多媒體序列171相關聯之過渡效應之偵測。偵測 構件177可包含一偵測器。系統17〇中，不同的編碼方法用 # 於相對於多媒體序列之其他非過渡部分之過渡效應。 編碼構件172包括標準編碼構件176及過渡效應編碼構件 178 ’該等構件可稱為第一及第二編碼構件。標準編碼構 件17 6及過渡效應編碼構件丨7 8可包含分離的解碼器或可實 施於一共同解碼器中。標準編碼構件176應用標準的基於 預測之編碼技術，例如運動估計及運動補償，以便編碼多 媒體序列171之圖框。標準編碼構件i 76亦可應用非運動編 碼技術’例如空間估計及内預測以用於一些圖框。另一方 面，過渡效應編碼構件178執行如本文所述之非標準解褐 技術。具體而言’過渡效應編碼構件178編碼可由解碼構 件174使用之中繼資料’以促進模擬過渡效應。藉由發射 構件183及接收構件185經由通信通道175在編碼構件172與 解碼構件174之間轉遞經編碼視訊序列。發射構件ι83可包 含一發射器’且接收構件185可包含一接收器。或者，發 射構件183及接收構件185可包含可發射與接收資訊之收發 器。 il4962.doc -26- 1333201 解碼構件m包括標準解碼構件182及過渡效應解碼構件 .該等構件可稱為第__及第：解碼構件。標準解碼構 件182及過渡效應解碼構件184可包含獨立的解碼器或可實 施於-共_碼||巾。標準解㈣件182執行標準解碼技 術，諸如運動補償解碼及任何内編碼圖框之内解碼。然而 過渡效應解碼構件184執行非標準技術，本質上基於針對 本文描述之此等效應而傳輸的中繼資料來模擬任何過渡效 應。 已描述可經發送以有助於模擬不同過渡效應的資訊之若 干實例。大體而言，本發明之技術可實施與用於一些圖框 速率增速轉換（FRUC)技術之技術類似的内插技術以便允許 解碼器處之編碼器輔助之過渡效應模擬。在此情況下，對 於過渡效應，類似FRUC之技術可替代習知之基於預測之 編碼而使用，以便改良經編碼多媒體序列中之資料壓縮及/ 或改良過渡效應之視覺品質。將開始及結束場景（及可能 一些介入場景）發送至解碼器，且解碼器插入其他圖框以 產生過渡效應。 在任何情況下，本文描述之技術可實施於硬體、軟體' 韌體或其任意組合中。若實施於軟體中，則該等技術可由 一包含含有指令之程式碼的電腦可讀媒體（或其他機器可 讀媒體）來部分實現，該程式碼在被執行時可執行以上所 述技術之一者或多者。在此情況下，該電腦可讀媒體可包 含同步動態隨機存取記憶體（SDRAM)之隨機存取記憶體 (RAM)、唯讀記憶體（ROM)、非揮發性隨機存取記憶體 114962.doc •27· 1333201 (NVRAM)、電可擦可程式化唯讀記憶體（EEpR〇M)、快閃 記憶體、磁性或光學資料儲存媒體，及類似物。 該等指令可由-或多個處理器或其他機器執行，例如一 或多個數位信號處理器（DSP)、通用微處理器、特殊應用 積體電路（ASIC)、場可程式化邏輯陣列（FpGA)或其他等效 的積體或離散邏輯電路》執行該等指令之機器通常可包含 裝置。在一些實鈿例中，本文描述之功能性可提供於經 配置以編碼及解碼的專用軟體模組或硬體單元内，或併入 組合的視訊編碼器-解碼器（CODEC)中。 已描述各種實施例。然而，在不偏離以下申請專利範圍 之範疇的情況下，可對所述技術做出各種修改。舉例而 5，仿射運動可用於界定根據一些類型過渡效應之模擬中 的映射及像素值。仿射運動允許六個自由度，且可編碼平 移、壓縮或放大。加速運動亦可用於界定模擬。此外，亦 可藉由應用等式而非編碼器或解碼器中之查詢表（LUT)來 使用本發明之技術。此等及其他實施例在以下申請專利範 圍之範疇内。 【圖式簡單說明】 圖1為說明一視訊編碼及解碼系統之方塊圖，該系統可 實施根據本發明之過渡效應編碼及解碼技術。 圖2為說明根據本發明之過渡效應編碼技術的流程圖。 圖3為說明根據本發明之過渡效應解碼技術的流程圖。 圖4至圖16為說明可根據本發明之技術進行編碼的不同 過渡效應之例示性圖框的概念圖。 114962.doc •28- 1333201 圖17為說明例示性視訊編碼及解碼系統的另—方塊圖，

該系統可實施根據本發明 【主要元件符號說明】 5 10, 170 12 14 15 16 18 20 22 23 24 27 62, 64, 65, 75, 85, 95, 105, 1 15, 125, 135， 145, 155, 165 66, 76, 86, 96, 106， 116, 126, 136, 146 68, 78, 88, 98, 108， 118, 128, 148 119, 129, 139 171 172 174 之過渡效應編碼及解碼技術。 多媒體序列 系統 視訊編碼設備 視訊解碼器設備 通信通道 標準編碼模組 過渡效應編碼模組 過渡效應偵測器 標準解碼模組 發射器 過渡效應解碼模組 接收器 圖框

場景A

場景B 空場景 多媒體序列 編碼構件 解碼構件 114962.doc -29- 1333201 175 176 177 178 182 183 184 185 通信通道 標準編碼構件 過渡效應偵測構件 過渡效應編碼構件 標準解碼構件 發射構件 過渡效應解碼構件 接收構件

114962.doc -30-

Claims (1)

1. 第095135797號專利申請案 中文申請專利範圍替換本(99年5 十、申請專利範圍： -種用於對過渡效應進行解碼之方法，立包含： 接收作為-經編碼多媒體序列之部分的資訊，其中該 資訊識別-與該多媒體序列相關聯之過渡效應；及 解碼該經編瑪多媒體序列，包括回應於該資訊而模擬 該過渡效應。 2. 如。月求項1之方法’其中該資訊識別一類型之過渡效 應’該方法進-步包含：基於該類型之過渡效應而模擬 該過渡效應。 3. 如明求項1之方法，其中該資訊識別一類型之過渡效應 及一與邊過渡效應相關聯之週期，且其中模擬該過渡效 應包含：在該週期中模擬該類型之過渡效應。 4. 如清求項1之方法’其中該資訊識別一類型之過渡效 應、一與該過渡效應相關聯之週期及與該過渡效應相關 聯之開始及結束場景，且其中模擬該過渡效應包括：產 生一或多個幾何映射。 5. 如請求項4之方法，其中該一或多個幾何映射係自一或 多個查詢表產生。 6. 如請求項1之方法，其中該資訊將該過渡效應識別為一 衰褪效應，且其中模擬該過渡效應包含：使用零值的運 動向量，來執行對與該衰褪效應相關聯之多媒體圖框之 加權雙向重建。 7. 如請求項1之方法，其中該資訊將該過渡效應識別為一 漸隱效應’且其中模擬該過渡效應包含：隨機產生該漸 114962-990507.doc (99 05.07)：- 年月Θ修正替換頁 隱效應。 8 ·如請求項1之方沐，甘士 # ^ 万法其中该資訊將該過渡效應識別為一 其中第一％景呈現於一第一場景上的效應，且模擬該 過渡效應包含：使用零值的運動向量，根據其中該第二 場景呈現於該第-場景上之預定義之映射，來執行對與 該過渡效應相關聯之多媒體圖框之雙向重建。 如β求項1之方法’其中模擬該過渡效應包含：將一過 渡序列中之至少-個圖框分段為—前向預測部分及一後 向預測部分’及將該前向預測部分與該後向預測部分以 不同方式解碼。 W如明求項1之方法’其中模擬該過渡效應包含：根據該 過渡效應之預定義之映射，來執行對與該過渡效應相關 聯之多媒體圖框之加權雙向重建。 11· 一種用於對過渡效應進行編碼之方法，其包含： 在一多媒體序列之編碼期間價測一與該多媒體序列相 關聯之過渡效應；及 產生作為-經編碼多媒體序列之部/分的資Μ，以識別 該過渡效應。 12·如Μ求項11之方法’其中該資訊包括—類型之過渡效應 的識別。 13.如請求心之方法，其中該資訊包括對—_之過渡效 應及一與該過渡效應相關聯之週期的識別。 如請求項"之方法，其中該資訊包括對一類型之過渡效 應及與該減效應相_之-或多個幾何映射的識別。 114962-990507.doc 1333201 15•如請求項η之方法’其進一步包含將該資訊作為該經編 碼多媒體序列之部分傳輸至一解碼器。 16.如請求項U之方法’其中該資訊包括對一類型之過渡效 • 應肖該過渡效應相關聯之週期及與該過渡效應相關 聯之開始及結束場景的識別。 .1 7. 一種用於對過渡效應進行解碼之裝置，其包含： 接收益，纟接收作為一經編碼多媒體序％之部分的 貝訊纟中*玄倉訊識別一與該多媒體序列相關聯之過渡 • 效應；及 解碼益，其回應於該資訊而模擬該過渡效應。 18·如請求項17之裝置，其中該解碼器包括-模擬該過渡效 應之過渡效應解碼模組，及一解碼該經編碼多媒體序列 之非過渡部分之標準解碼模組。 1 9.如叫求項1 7之裝置，其中該資訊識別一類型之過渡效 應 肖S玄過渡效應相關聯之週期及與該過渡效應相關 — 聯之開始及結类i县旦 n . • 果劳厅、且其中該解碼器在該週期中模擬 該經識別之類型之過渡效應。 ;2〇.如：求項17之裝置’其中該解碼器產生與該過渡效應相 關耳外之或多個幾何映射，並使用該一或多個幾何映射 來模擬該過渡效應。 2 1.如响求項20之裝置，其中該解碼器係自一或多個查詢表 產生該一或多個幾何映射。 22.如。月求項i 7之裝置，其中該解碼器係藉由將—過渡序列 之圖忙刀&為—則向預測部分及-後向預測部分，及將 114962-990507.doc 1333201 (99 05.0*7) 該前向預測部分與該後向預測部分以不同方式解碼而 模擬該過渡效應。 23· —種用於對過渡效應進行編碼之裝置，其包含·· 一债測器，其在一多媒體序列之編碼期間偵測一與該 多媒體序列相關聯之過渡效應；及 、烏碼器，其產生作為一經編碼視訊序列之部分的資 訊’以識別該過渡效應。 24.如請求項23之裝置，其中該資訊識別一類型之過渡效 應、一與該過渡效應相關聯之週期及與該過渡效應相關 聯之開始及結束場景。 25·如請求項23之裝置’其中該編碼器包括：—第—編碼模 組，其產生用以識別該過渡效應之該資訊；及一第二編 碼模組，其使用預測編碼技術來編碼該多媒體序列之非 過渡部分》 26. -種包含指令之機器可讀媒體，$等指令在執行時使一 機器： 接收作為一經編碼多媒體序列之部分的資訊，其中該 資訊識別-錢多媒體序肋關聯之過渡效應；及 解碼》玄經編碼多媒體序列，包括回應於該資訊而模擬 該過渡效應® 27. 如。3求項26之機器可讀媒體，其中該資訊識別一類型之 過渡效應、一與該過渡效應相關聯之週期及與該過渡效 應相關聯之開始及結束場景，且其中模擬該過渡效應包 括產生一或多個幾何映射。 114962-990507.doc •4- - 年月"Έΐ.修正替換頁 28. 如請求項26之機器可讀媒體，其中該等指 過渡序列之圖框分段為-前向預測部分及一後 分，及將該前向預測部分與該後向預測部分以不同方式 解碼，而模擬該過渡效應。 ’該等指令在執行時使— 29. —種包含指令之機器可讀媒體 機器： 在-多媒體序列之編碼期間偵測—與該多媒體序列相 關聯之過渡效應；及 產生作為一經編碼多媒體序列之部分的資訊，以識別 該過渡效應。 3 0. —種處理器，其經配置以： 接收作為一經編碼多媒體序列之部分的資訊，其中該 資訊識別一與該多媒體序列相關聯之過渡效應；及 解碼該經編碼多媒體序列，包括回應於該資訊而模擬 該過渡效應。 3 1. —種處理器’其經配置以： 在多媒體序列之編碼期間偵測一與該多媒體序列相 關聯之過渡效應；及 產生作為一經編碼多媒體序列之部分的用以識別與該 經編碼多媒體序列相關聯之該過渡效應的至一解碼器之 資訊。 32.如請求項31之處理器，其中該資訊包括對一類型之過渡 效應、一與該過渡效應相關聯之週期及與該過渡效應相 關聯之開始及結束場景的識別。 I14962-990507.doc 1333201 (99 05. θ'/)-年月日修正替換頁 33. 如請求項31之處理器，其中該資訊包括由一解碼器用以 才吴擬該過渡效應的一或多個幾何映射。 34. —種用於對過渡效應進行解碼之裝置，其包含： 接收構件，其用於接收作為一經編碼多媒體序列之部 分的貢訊，其中該資訊識別一與該多媒體序列相關聯之 過渡效應；及 解碼構件，其回應於識別該過渡效應之該資訊而模擬 多媒體序列中之一過渡效應。 35. 如請求項34之裝置，其中該解碼構件包含用於過渡效應 解碼之構件，且該裝置進一步包含解碼該多媒體序列之 非過渡部分之用於標準解碼之構件。 36. 如請求項34之裝置，其中該資訊識別一類型之過渡效 應、一與該過渡效應相關聯之週期及與該過渡效應相關 聯之開始及結束場景，且其中該解碼構件在該週期中使 用該資訊來模擬該經識別之類型之過渡效應。 37. 如明求項34之裝置，其中該解碼構件產生與該過渡效應 相關聯之一或多個幾何映射，並使用該一或多個幾何映 射來模擬該過渡效應。 38·如請求項34之裝置，其中該解碼構件係藉由將一過渡序 列之圖框分段為一前向預測部分及一後向預測部分及 將。亥則向預測部分與該後向預測部分以不同方式解碼， 而模擬該過渡效應。 3 9. —種用於對過渡效應進行編碼之裝置，其包含： 過渡效應偵測構件，其用於在一多媒體序列之編碼期 114962-990507.doc !3332〇1 W9 05.07) 年月曰修正替換頁 間偵測一與該多媒體序列相關聯之過渡效應；及 編喝構件’其產生用以識別與該多媒體序列相關聯之 該過渡效應的資訊。 40. 如請求項39之裝置’其中該資訊識別一類型之過渡效 應、—與該過渡效應相關聯之週期及與該過渡效應相關 聯之開始及結束場景。 41. 如請求項39之裝置，其中該編碼構件包含用於過渡效應 編碼之構件，且該裝置進一步包含使用預測編碼技術編 碼該多媒體序列之非過渡部分的用於標準編碼之構件。

   114962-990507.doc 1333201 第095135797號專利申請案 中文圖式替換頁(99年5月）+ —、圖式： ~¥hs. 正贫換頁

   114962-fig-990507.doc 1333201 ' 第095135797號專利申請案 ， t文圖式替換頁(99年5月) 挲10¾修正替換頁

   ΙΪΙ

   8Γ>τ t:載|3韆·较鹪阐 ZI_ LL1mss ▲ τζ.τ .1:^_载^ 114962-fig-990507.doc