TW200803504A - Preprocessor method and apparatus - Google Patents

Description

200803504 九、發明說明： 【發明所屬之技術領域】 本發明大體而言係關於多媒體資料處理，且更明確地 說，係關於在資料壓縮處理之前或與資料壓縮處理一起執 行之處理操作。 【發明内容】 本文所描述之發明裝置及方法中之每一者具有若干熊 樣，此等態樣均不單獨對其所要屬性負責。在不限制本發 鲁明之範壽隋况下，現將簡要論述本發明之更突出特徵。在 考慮此論述之後，且特定言之，在閱讀標題為，，實施方式，， 之部分之後，應瞭解本發明之特徵如何提供對多媒體資料 處理裝置及方法之改良。 ' 在一態，樣中，一處理多媒體資料之方法包含接收交錯視 訊圖框，將該等交錯視訊圖框轉換成逐行視訊，產生與該 逐行視訊相關聯之元資料，及將該逐行視訊及該元資料之 至少一部分提供至一編碼器以用於編碼該逐行視訊。該方 • 法可進-步包括使甩元資料來編碼逐行視訊。在一些態樣 中，交錯視訊圖框包含NTSC視訊。轉換視訊圖框可包括 解交錯該等交錯視訊圖框。 在一些態樣中，元資料可包括頻寬資訊、雙向運動資 訊、頻寬比（bandwidth ratio)、複雜性值（諸如，時間複雜 性值或空間複雜性值或兩者）、輝度資訊，且空間資訊可 包括輝度及/或色度資訊。該方法亦可包括產生用於該等 交錯視訊圖框之空間資訊及雙向運動資訊，及使用該空間 119491.doc 200803504 資δίΐ及該雙向運動資訊基於該等交錯視訊圖框而產生逐行 視訊。在一些態樣中，轉換該等交錯視訊圖框包含反影訊 處理3/2下拉視訊圖框，及/或對逐行視訊重新設定大小。 該方法可進一步包含分割逐行視訊以確定圖像資訊群，其 中該刀d 了包括對逐行視訊之分鏡偵測（sh〇t detection)。 在一些態樣中，該方法亦包括用一去雜訊濾波器來濾波逐 行視訊。 在另一態樣中，一用於處理多媒體資料之裝置可包括一 經組態以接收交錯視訊圖框之接收器、一經組態以將該等 交錯視訊圖框轉換成逐行視訊之解交錯器，及一經組態以 產生與該逐行視訊相關聯之元資料且將該逐行視訊及該元 負料^供至一編碼器以用於編碼該逐行視訊之分割器。在 一些態樣中，該裝置可進一步包括一經組態以自通信模組 接收逐行視訊且使用所提供之元資料來編碼逐行視訊之編 碼器。该解交錯器可經組態以執行空間時間解交錯及/或 反影訊處理（inverse telecining)。該分割器可經組態以執行 分鏡偵測且基於該分鏡偵測產生壓縮資訊。在一些態樣 中’該分割益可經組悲以產生頻寬資訊。該裝置亦可包括 一經組悲以對逐亍圖框重新設定大小之重新取樣器。該元 資料可包括頻寬資訊、雙向運動資訊、頻寬比、輝度資 訊、與内容相關之空間複雜性值，及/或與内容相關之時 間複雜性值。在一些態樣中’該解交錯器經組態以產生用 於該等交錯視訊圖框之空間資訊及雙向運動資訊且使用該 空間負訊及該雙向運動賓訊基於該等交錯視訊圖框而產生 119491.doc 200803504 逐行視訊。 另一態樣包含一用於處理多媒體資料之裝置，該裝置包 括用於接收交錯視訊圖框之構件、用於將該等交錯視訊圖 框轉換成逐行視訊之構件、用於產生與該逐行視訊相關聯 之元資料之構件，及用於將該逐行視訊及該元資料之至少 一部分提供至一編碼器以用於編碼該逐行視訊之構件。在 一些悲樣中，該轉換構件包含一反影訊處理器及/或一空 間時間解交錯器。在一些態樣中，該產生構件經組態以執 行分鏡偵測且基於該分鏡偵測產生壓縮資訊。在一些態樣 中，該產生構件經組態以產生頻寬資訊。在一些態樣中， 該產生構件包括用於重新取樣以對逐行圖框重新設定大小 之構件。 另一態樣包含一機器可讀媒體，該機器可讀媒體包含用 於處理多媒體資料之指令，該等指令在被執行時使一機 器：接收交錯視訊圖框，將該等交錯視訊圖框轉換成逐行 視訊’產生與該逐行視訊相關聯之元資料，且將該逐行視 訊及該元資料之至少一部分提供至一編碼器以用於編碼該 逐行視訊。 另 悲樣包括一處理裔’該處理器包含一用於接收交錯 視訊、將交錯視訊轉換成逐行視訊、產生與該逐行視訊相 關聯之元資料及將該逐行視訊及該元資料之至少一部分提 供至一編碼器以用於編碼該逐行視訊之組態。對交錯視訊 之轉換可包括執行空間時間解交錯。在一些態樣中，對交 錯視訊之轉換包含執行反影訊處理。在一些態樣中，元資 119491.doc -8 - 200803504 料之產生包括基於偵測分鏡變化而產生壓縮資訊。在一些 態樣中，元資料之產生包括確定逐行視訊之壓縮資訊。在 一些悲樣中，該組態包括一用以對視訊以重新取樣以產生 經重新設定大小之逐行圖框之組態。在一些態樣中，該元 資料可包括頻寬資訊、雙向運動資訊、複雜性資訊（諸 如，基於内容之時間複雜性資訊或空間複雜性資訊）及/或 壓縮資訊。 【實施方式】 以下描述包括用於提供對實例之透徹理解之細節。然 而，一般熟習此項技術者將瞭解，即使本文中未描述或說 明一實例或態樣中之一過程或器件之每一細節，仍可實踐 該等實例。舉例而言，可在方塊圖中展示電組件，該等方 塊圖不說明該组件之每一電連接或每一電元件&而不會以 不，要的細節混淆該等實例。在其他情況下，可詳細展示 ”亥等組件、其他結構及技術以進一步說明該等實例。 鲁 本文中描述了某些發明態樣及預處理器及預處理器操作 ^法的態樣，其可改良現存預處理及編碼系統之效能。該 等預處理器可處理元資料及視訊以便為編碼作準備，其包 /于解父錯反影處理、濾波、識別分鏡類型、處理 及產生元資料，及產生頻寬資訊。本文中對”一態樣，，、 一~些態樣”或，，某些態樣"的參考意謂結合該態樣所描述的 特疋特徵、結構或特性中之一或多者可包括於一預處理器 系統之至少一態樣中。該等片語在說明書中之多個位置中 的出現不一定指同一態樣，亦不一定指與其他態樣相互排 11949l.d〇c 200803504 斥之單獨或替代態樣。此外，描述了 一些態樣可能展示出 且其他態樣可能未展示出之多種特徵。類似地，描述了可 為一些態樣之步驟而非其他態樣之步驟的多種步驟。 如本文中所使用之"多媒體資料，，或”多媒體”為廣義術 语’其包括視訊資料（其可包括音訊資料）、音訊資料，或 視訊資料與音訊資料。如本文中所使用之"視訊資料"或，， 視訊”為廣義術語，其係指含有本文、影像及/或音訊資料 之一影像或者一或多個系列或序列之影像，且除非另外規 疋，否則其可用於指多媒體資料或該等術語可互換使用。 ▲圖1為一用於遞送串流多媒體之通信系統1〇〇之方塊圖。 系、、先可應用於傳輸數位壓縮視訊至多個終端機（如圖1中 所展不）。數位視訊源可為（例如）數位電纜或衛星饋入作號 或經數位化之類比源。在一傳輸設施12〇中處理視訊^ 在該傳輸設施中視訊源經編碼並調變至載波上以用於經由 一網路U0傳輸至_或多個終端機⑽。終端機㈣解碼所 接收之視訊且通常顯示該視訊之至少_部分。網路140係 :合:傳輸編碼資料之任何類型之通信網路(有線或無 線舉例而言，網路吻為行動電話網路 區域網路（LAN)或廣域網路 艮飞…、綠 ( AN)，或網際網路。終端機 160可為能夠接收並顯示資 、付之任何類型之通信裝置，其 (不限於）行動電話、個人數位助理㈣A)、家用或 商^訊顯Ϊ設備 '電腦（攜帶型、膝上型、手持型、個 人，鲕，及較大的基於伺服器之 多媒體資料之個人娛樂裝置。細糸、，先)，及此夠使用 119491.doc 200803504 圖2及圖3說明一預處理器202之樣本態樣。在圖2中，預 處理器202係在數位傳輸設施120中。一解碼器201解碼來 自數位視訊源之編碼資料且將元資料204及視訊205提供至 預處理器202。預處理器202經組態以對視訊205及元資料 204執行特定類型之處理且將經處理之元資料206(例如， 基本層參考圖框、增強層參考圖框、頻寬資訊、内容資 訊）及視訊207提供至一編碼器203。對多媒體資料之該預 處理可改良視覺清晰度、反混疊（anti-aliasing)及資料壓縮 效率。大體而言，預處理器202接收由解碼器201提供之視 訊序列且將該等視訊序列轉換成逐行視訊序列以供由編碼 器進一步處理（例如，編碼）。在一些態樣中，預處理器202 可經組態以用於眾多操作，該等操作包括反影訊處理、解 交錯、濾、波（例如，假影移除、除環（de-ringing)、除塊（deblocking)及 除雜訊（de_noising))、 重新設定大小 （例如 ，自 標準定義至四分之一視頻圖形陣列（QVGA)之空間解析度 的減少取樣），及G0P結構產生（例如，計算複雜性映射產 生、場景變化偵測及衰落/閃光偵測）。 圖3A說明一預處理器202，其經組態有模組或組件（此處 共同稱作”模組”）以執行其對所接收之元資料204及視訊205 之預處理操作且接著提供經處理之元資料206及逐行視訊 207以供進一步處理（例如，提供至一編碼器）。可以硬體、. 軟體、韌體或其組合實施該等模組。預處理器202可包括 多種模組，該等模組包括所說明之模組中之一或多者，所 說明之模組包括反影訊處理器301、解交錯器302、除雜訊 11949 l.doc -11- 200803504 器303、混疊抑制器304、重新取樣器305、除塊器/除環器 306，及一GOP分割器307，以下進一步描述所有模組。預 處理器202亦可包括可用於處理視訊及元資料之其他適當 模組，其包括記憶體308及通信模組309。軟體模組可駐留 於RAM記憶體、快閃記憶體、ROM記憶體、EPROM記憶 體、EEPROM記憶體、暫存器、硬碟、可移除式磁碟、 CD-ROM或此項技術中已知之任何其他形式之儲存媒體 中。一例示性儲存媒體經耦合至處理器，以使得該處理器 ® 可自儲存媒體讀取資訊且寫入資訊至儲存媒體。在替代實 施例中，儲存媒體可整合於處理器。處理器及儲存媒體可 駐留於一 ASIC中。該ASIC可駐留於一使用者終端機中。 在替代實施例中，處理器及儲存媒體可作為離散組件駐留 於一使用者終端機中。 圖3B為說明一用於處理多媒體資料之過程300的流程 圖。過程300開始且進行至步驟320，在步驟320中，接收 交錯視訊。圖2及圖3中所說明之預處理器202可執行此步 驟。在一些態樣中，一解碼器（例如，圖2之解碼器201)可 接收交錯資料且將交錯資料提供至預處理器202。在一些 態樣中，圖3C中所展示之一資料接收模組330(其為預處理 器202之一部分）可執行此步驟。過程300接著進行至步驟 322，在步驟322中，將交錯視訊轉換成逐行視訊。圖2及 圖3A中之預處理器202及圖3C之模組332可執行此步驟。 若交錯視訊已被影訊處理，則步驟322處理可包括執行反 影訊處理以產生逐行視訊。過程300接著進行至步驟324以 119491.doc -12- 200803504 產生與逐行視訊相關聯之元資料。圖3A中之G0P分割器 307及圖3C中之模組334可執行該處理。過程3〇〇接著進行 至步驟326，在步驟326中，將逐行視訊及元資料之至少一 部分挺供至一編碼器以用於編碼（例如，遷縮）。圖2及圖 3A中所展示之預處理器202及圖3C中之模組336可執行此 步驟。在將逐行視訊及相關元資料提供至另一組件以用於 編碼之後，過程300可結束。

圖3C為說明用於處理多媒體資料之構件之方塊圖。此處 展示該等構件經併入於預處理器2G2中。預處理器2〇2包括 用於接收視訊之構件（諸如，模組33〇)。預處理器2〇2亦包 括用於將交錯資料轉換成逐行視訊之構件（諸如，模組 332)。該構件可包括（例如）空間時間解交錯器及/或反影訊 處理器。預處理器202亦包括詩產生與逐行視訊相關聯 之元資料之構件（諸如，模組334)。該構件可包括如本文中 所描述之可產生多種類型之元資料的G〇p分割器圖 3A)。預處理器2〇2亦可包㈣於將逐行視訊及^資料提供 至一編碼器以詩編碼之構件，如藉由模組咖所說明之 構件。在-些,4樣巾’該構件可包括圖从中所說明之通信 模組I如熟f此項技術者將瞭解，可 實施該構件。 預處理器202可將所獲得的元資料（例如，自解碼器2〇1 自另-源所獲得）詩料預處轉作巾之—或多者。 :資：：包括與描述或分類多媒體資料之内容有關之資訊 内容育訊"）。詳言之，元資料可包括内容分類。在-些 119491.doc • 13 - 200803504 ^樣中7貝料不包括編碼操作所需要之内容資訊。在該 等狀況下，預處理器202可經組態以確定内容資訊且將該 内容資訊用於預處理操作及/或將内容資訊提供至其他組 件（例如，編碼器203)。在一些態樣中，預處理器2〇2可使 以内谷貝λ來衫響GQP分割，確定適當之渡波類型，及， 或確定被傳遞至編碼器之編碼參數。 圖4展不可包括於預處理器中之過程步驟之一說明性實 例，且圖4說明可由預處理器2〇2執行之處理。在此實例 中，預處理器202接收元資料及視訊2〇4、2〇5且將包含（經 處理之）兀貝料及視訊之輸出資料2〇6、2〇7提供至編碼器 228。由預處理器接收之視訊通常有三種類型。第一，所 接收之視汛可為逐行視訊且不必執行解交錯。第二，視訊 貝料可為經影訊處理之視訊，自24fps電影序列轉換之交 錯視訊，在此狀況下為視訊。第三，視訊可為未經影訊處 理之交錯視訊。預處理器226可如以下所描述處理此等類 型之視訊。 在步驟4〇1處，預處理器2〇2確定所接收之視訊2〇4、2〇5 疋否為逐行視訊。在一些狀況下，此可自元資料加以確定 (若元資料含有該資訊）’或藉由處理視訊本身加以確定。 舉例而言，以下所描述之反影訊處理過程可確定所接收之 視訊205是否為逐行視訊。若所接收之視訊2〇5為逐行視 訊’則過程進行至步驟407，在步驟407中，對視訊執行濾 波操作以減少雜訊（諸如，白高斯（Gaussian)雜訊）。若視訊 不為逐行視訊，則在步驟4〇1處，過程進行至步驟4〇4至一 H9491.doc -14· 200803504 相位偵測器。 相位偵測器404辨別起源於影訊處理之視訊與以標準廣 播格式開始之視訊。若作出視訊係經影訊處理之決策（自 相位偵測器404輸出的決策路徑為是），則在反影訊處理 4〇6中使經影訊處理之視訊返回至其之最初格式。識別並 消除冗餘圖場且將自同一視訊圖框導出之圖場重新編成一 完整影像。因為以1/24秒之規則間隔攝影記錄經重建之膠 片影像之序列，所以在G0P分割器412或解碼器中執行的 運動估計過程更準確，該過程係使用經反影訊處理之影像 而不是使用具有不規則時間基礎之經影訊處理之資料。 在一態樣中，相位偵測器404在接收到視訊圖框之後作 出某些決策。此等決策包括··⑴來自影訊處理輸出之當前 視訊及3:2下拉相位是否為圖5中所展示之五個相位、 Pl卩2、P3及中之一者；及（ii)視訊經產生為習知的 NTSC。彼決策經表示為相位。此等決策表現為圖4中所 展不之相位偵測器404之輸出。來自相位偵測器4〇4之經標 在為疋之路徑啟動反影訊處理4〇6，指示反影訊處理406 已具備正確的下拉相位以致其可選出由同一攝影影像所形 成之圖場且組合該等圖場。來自相位偵測器404之經標註 為π否”之路徑類似地啟動解交錯器4〇5以將明顯的NTSC圖 框分成若干圖場以用於最佳處理。反影訊處理經進一步描 述於才示題為 ”Inverse Teieeine Algorithm Based on State Machine”的同在申請中之美國專利申請案[律師檔案號為 PPD]VL021A (050943)]中，該申請案歸本發明之受讓人所 I19491.doc 200803504 擁有且以全文引用之方式併入本文中。 相位债測器404可連續分析視訊圖框，因為可在任何時 門接收到不同類型之視訊。作為實例，可將符合標 準之視訊插入視訊中作為商業節目。在反影訊處理之後， 將所得的逐行視訊發送至一可用於減少白高斯雜訊之除雜 訊器（濾波器）407。 、田辨4出驾知NTSC視訊時（來自相位偵測器4〇1之路徑 鲁為否）’將該視訊傳輸至解交錯器405以用於壓縮。解交錯 器405將交錯圖場變換成逐行視訊，且可接著對逐行視訊 執行除雜訊操作。 在適田的反影訊處理或解交錯處理之後，在步驟4〇8 處，處王里逐行視訊以進行混疊抑制及重新取樣（例如，重 新設定大小）。 在重新取樣之後，逐行視訊接著進行至步驟41 〇，在步 驟410中’執行除塊及除環操作。兩種類型之假影”成塊 φ (M〇Cklng)及”成環（ringing)’’通常在視訊壓縮應用中出 現。成塊假影的出現是因為壓縮演算法將每一圖框劃分成 若干區塊（例如，8x8個區塊）。重建每一區塊具有一些小 誤差且一區塊之邊緣處之誤差常常與鄰近區塊之邊緣處 之誤差开y成對比，使得區塊邊界可見。相比之下，成環假 影表現為圍繞影像特徵之邊緣的失真。成環假影的出現是 因為編碼器在量化高頻DCT係數時丟棄了太多資訊。在一 堊”兒明〖生灵例中，除塊與除環可使用低通FIR(有限脈衝回 應）濾波器來隱藏此等可見假影。 119491.doc -16- 200803504 在除塊及除環之後，由一 GOP分割器412處理逐行視 訊刀副可包括彳貞測分鏡變化，產生複雜性映射（例 如’時間、空間頻寬映射），及適應性G0P分割。分鏡偵 測係關於確定一圖像群（G〇p)中之一圖框何時展示出指示 場厅、變化已出現之資料。場景變化偵測可被用於視訊編碼 器以確定適當GOP長度且基於該GOP長度插入I圖框而不是 以固定間隔插入j圖框。預處理器2〇2亦可經組態以產生一 可用於編碼多媒體資料之頻寬映射。在一些態樣中，改為 由一位於預處理器外部之内容分類模組產生頻寬映射。適 應性GOP分割可適應性地改變經編碼在一起之一群圖像之 組合物。以下描述圖4中所展示之該等操作之說明性實 例。 反影訊處理 以下描述反影訊處理處理且參看圖4至圖16提供反影訊 處理之一說明性實例。當已知來源之屬性且使用該等熟習 來選擇完全匹配之處理形式時，視訊壓縮給出最佳結果。 不在播送中之視訊（例如）可以若干方法起源。視訊攝影 機、廣播波音室等等中按照慣例所產生之廣播視訊在美國 符合NTSC標準。根據該標準，每一圖框係由兩個圖場組 成。一圖場由奇數線組成，另一圖場由偶數線組成。此可 被稱作”交錯”格式。雖然以大致3〇圖框/秒的速率產生圖 框，但該等圖場為電視攝影機之影像之紀錄，該等紀錄相 隔1/60秒。另一方面，以24圖框/秒的速率拍攝膠片，每一 圖框由一完整影像組成。此可被稱作，，逐行"格式。對於 119491.doc •17- 200803504 叹備中之傳輸，"逐行”視訊係經由影訊處理過程而 轉換成"交錯”視訊格式。以下進一步論述，在一態樣中， 系統有利地確定視訊何時已經影訊處理且執行適當變換以 重新產生最初的逐行圖框。 圖4展不影訊處理已轉換成交錯視訊之逐行圖框之效 ^ F1 F2、F3及F4係逐行影像，其係影訊處理器之輸 =°各別圖框下之數字”i"及”2"為對奇數圖場或者偶數圖 場之私示。注意，鑒於圖框速率之間的不均等性，重複一 些圖場。圖4亦展示下拉相位Pq、Pi、p2、p3及p4。藉由具 有相同的第一圖場之兩個NTSC相容圖框中之第一者標記 相位PG。隨後的四個圖框對應於相位Ρι、p2、匕及匕。注 ^由P2及P3標記之圖框具有相同的第二圖場。因為膠片 圖框F!經掃描三遍，所以形成兩個相同的相繼輸出之 NTSC相容第一圖場。自膠片圖框Fi導出之所有ntsc圖場 係自同I片影像取得且因此係在同一時刻被取得。自膠 片導出之其他NTSC圖框可具有相隔1/24秒之相鄰圖場。 圖4中所說明之相位偵測器4〇4在接收到視訊圖框之後作 出某些決策。此等決策包括：⑴來自一影訊處理輸出之當 前視訊及3:2下拉相位是否為圖5之定義512中所展示之五 個相位PG、P!、P2、Ps及I中之一者；及（Η)視訊經產生為 習知的NTSC--彼決策被表示為相位p5。 此#決策表現為圖4中所展示之相位偵測器4〇 1之輸出。 來自相位偵測器401之經標註為"是”之路徑啟動反影訊處 理406，其指示反影訊處理4〇6已具備正確的下拉相位以致 119491.doc -18- 200803504 其可選出由同一攝影影像形成之圖場且組合該等圖場。來 自相位偵測器40 1之經標註為"否”之路徑類似地啟動解交 錯器步驟405以將明顯的NTSC圖框分成若干圖場以用於最 佳處理。

圖6為說明反影訊處理一視訊流之過程6QQ之流程圖。在 一態樣中，由圖3之反影訊處理器301執行過程6〇〇。在步 驟651處開始，反影訊處理器301基於所接收之視訊確定複 數個度量。在此態樣中，形成四個度量，該四個度量為自 同一圖框或相鄰圖框取出之圖場之間的差異之和。該四個 度ϊ經進一步組合成對自所接收之資料導出之四個度量與 對於六個假設相位之每一者而言此等度量之最可能的值之 間的距離之歐幾裏德（Euelidean)量測。歐幾裏德和被稱為 分枝資訊；對於每一所接收之圖框，存在六個此種量。每 -假設相⑯具有一後續相纟，該I續相位在可能的下拉相 位之狀況下隨每一所接收之圖框而改變。 广中展示可能的轉變路徑且藉由767表示可能的轉變路 徑。存在六健等路徑。決策過程_六個量測，該等量 測等效於假設相位之每一路徑的歐幾裏德距離之和。為使 程序回應於已改變之條件，當該和中之每—歐幾裏德距離 變舊時’減小該歐幾裏德距離。歐幾裏德距離之和最小之 相位軌跡被認為是可操作的相位軌跡。此軌跡之當前相位 被稱為"適用相位"。基於經選擇之相位之反影訊處理現在 可發生’只要其不是P5。若選擇了？5，則使用步驟405(圖 )處之解又錯器解父錯當前圖框。總之，利用適用相位作 II 9491.doc •19- 200803504 為當前τ拉相位，或者作為-詩命令對已經估計為具有 有效NTSC格式之圖框進行解交錯的指示符。 對於自視訊輸人接收到之每—圖框，計算四個度量中之 每一者之新值。此等度量經定義為： SADfs=Z丨當前圖場一值先前圖場一值(别 ⑴ SADss=2； I當前圖場二值先前圖場二值(別 (2)

SADpo=2； I當前®場-值(4)_先前圖場二值丨(3) _〇>=Σ |當前圖場-值(i，j)_當前圖場二值(别 (4) 術语S AD係術語”合古+绍批& 口彳絕對差”之縮寫。圖8中圖解展示 經區別以形成度量之圖場。下標係指圖場號；字母表示先 刖的（P)® %或者當前的（=c)圖場。圖8中之括號係指圖場 之成對差異。SADfs係指當前圖框之經標註為。之圖場一 與先前圖框之經標註為？1之圖場—之間的差異，在圖8中 所提供之疋義中經標註為？8的括號橫跨該等圖場；SADss 係指當前圖框之經標註為C2之圖場二與先前圖框之經標註 為P2之圖场-之間的差異，經標註為ss之括號橫跨該兩個 圖場；SADco係指當前圖框之經標註為C2之圖場2與當前 圖框之經標註為。之圖場-之間的差異，經標註為CO之 括號橫跨該等圖場；且SADP0係指當前圖框之圖場一與先 月j圖框之圖琢2之間的差異，經標註為p〇之括號橫跨該兩 個圖場。 以下描述用於評估每_SAD之計算負冑。習知⑽C中 存在大致48G條有效水平線。為了使水平方向巾之解析度 相同具有4·3的縱横比，應存在480x4/3=640條均等的垂 119491.doc -20- 200803504 直線或自由度。640x480像素之視訊格式係進階電視標準 委員會所接受之格式之一者。因此，每隔1/30秒（一圖框之 持續時間），產生640χ480=307,200個新像素。以9.2X106像 素/秒之速率產生新資料，其暗示運作此系統之硬體或軟 體以大致為10 MB或以上的速率處理資料。此為系統之高 速部分之一者。其可藉由硬體、軟體、韌體、中間軟體、 微碼或其任何組合予以實施。SAD計算器可為一作為硬 體、朝體、中間軟體併入於另一器件之一組件中的單獨組 件，或以在處理器上執行之微碼或軟體予以實施，或其組 合。當以軟體、韌體、中間軟體或微碼予以實施時，可將 執行計算之程式碼或碼片段儲存於諸如儲存媒體之機器可 碩媒體中。碼片段可表示程序、函數、次程式、程式、常 式' 次常式、模組、套裝軟體、類，或指令、資料結構或 程式敍述之任何組合。可藉由傳遞及/或接收資訊、資 料、引數（argument)、參數或記憶體内容而將一碼片段耦 合至另一碼片段或一硬體電路。 圖9中之流程圖9〇〇使圖8中之關係明確且圖9係等式1至* 之圖解表示。圖9展示分別保持从〜、⑽⑶、SADs^ SADP0之取近值之儲存位置941、942 ' 及。此等值 各自係由絕對差計算器94()之四個和所產生，料絕對差 計算器94G處理先前第-圖場資料931之輝度值、當前第一 圖場資料932之輝度值、當前第二圖場資料933之輝度值及 先前第二®場資料934之輝度值。在定義度量之求和中， 術語"值意欲為位置U•處之輝度值，求和係對所有有 119491.doc • 21 · 200803504 但是不排除對有效像素之有意義之子集上 訊程圖1〇0為一說明用於她影訊處理之視 像之過訊處理之視訊以恢復至經最初掃描之膠片影 王的砰細流程圖。在步驟1030中，評估圖9中所定 義繼續至步驟则，尋找四個度量之下包絡值。 SAD度！之下包絡為經動態確定之量，其係最高數字底

效像素之求和 的求和。 =其下SAD不會穿過。繼續至步驟祕，確定以下在 =至二中所定義之分枝資訊量，該確定可使用先前所 :之又里、下包絡值及用實驗方法確定之常數A。因為 、戈之相位值可能不一致，所以在步驟中確定一量△ 以減少此明顯的不敎性。當相位決策之序列與圖7中所 展不之問題模型一致時，認為此相位係一致的。在彼步驟 之後’過程進行至步驟丨_以使用△之當前值計算決策變 數。決策變數計算器1089使用通向其之在步驟1030中產生 的所有資訊來評估決策變數。步驟1G3G、1G83、1085、 1087及H)89為圖6中之度量確定651之擴展。由相位選擇器 1090自此等變數尋找適用相位。如圖所展示，決策步驟 1091使用剌相位來反轉經景彡訊處理之視訊或者解交錯經 影訊處理之視訊。其係對圖4中之相位摘測器4G4之操作的 更明確敍述。在-態樣中，由圖4之相位㈣㈣4執行圖 ίο之處理。在步驟1030處開始，偵測器4〇4藉由上述參看 圖8所描述之過程確定複數個度量，且繼續通過步驟 1083、1085、1087、1〇89、1〇9〇及 1091。 119491.doc -22- 200803504 流程圖1000說明一用於估計當前相位之過程。該流程圖 在步驟1083處描述使用經確定之度量及下包絡值來計算分 枝資訊。分枝資訊可經辨識為先前所論述之歐幾裏德距 離。可用於產生分枝資訊之例示性等式為以下等式5至 10。在圖12之步驟1209中計算分枝資訊量。

經處理之視訊資料可儲存於一儲存媒體中，該儲存媒體 可包括（例如）晶片組態式儲存媒體（例如，ROM、RAM)或 連接至處理器之碟片型儲存媒體（例如，磁性儲存媒體或 光學儲存媒體）。在一些態樣中，反影訊處理406及解交錯 器405可各自含有部分或所有儲存媒體。藉由以下等式定 義分枝資訊量。 (5) (6) (7) (8) (9) (10)

Branch Info(O) = (SADfs -Hs)2 + (SADss -Hs)2 +(SADP0 -Hp)2 + (SADC0 -Lc)2 BranchInfo(l) = (SADfs -Ls)2 +(SADss -Hs)2 +(SADP0 -Lp)2 + (SADco -Hc)2 Branch Info(2) = (SADfs -Hs)2 +(SADss >HS)2 +(SADP0 -Lp)2 +(SADC0 -Hc)2 Branch Info(3) = (SADfs - Hs)2 + (SADss -Ls)2 + (SADP0 -LP)2 + (SADC0 - Lc)2 Branch Info(4) = (SADfs -Hs)2 -f (SADss -Hs)2 +(SADP0 -HP)2 +(SADC0 -Lc)2 Branch Info(5) = (SADfs -Ls)2 +(SADss -Ls )2 +(SADP0 -Lp)2 +(SADC0 -Lc)2 在圖12中之分枝資訊計算器1209中展示分枝計算之細微 細節。如在計算器1209中所展示，得出分枝資訊係使用量 Ls(SADfs及SADss之下包絡值）、Lp(SADp〇之下包絡值）， 及LC(SADC0之下包絡值）。下包絡在分枝實訊計算中用作 距離偏移，以便單獨或者與預定常數A—起產生Hs、HP及 Hc。在以下所描述之下包絡追蹤器中保持下包絡之值為最 新的。Η偏移經定義為： 119491.doc -23- 01) 200803504 (12) (13)

Hs =LS+A HpQ — Lp -j- A

Hc =Lc+A 在圖13A、13B及13C中呈現一追蹤Ls、Lp及Lc之值之過 程。考慮（例如）圖13A頂部處所展示的用於lp之追蹤演算 法1300。在比較器1305中比較度量SADP0與LP之當前值加

上6¾限值TP。若SADP0超過LP之當前值加上臨限值τρ，則 如步驟1315中所展示，不改變LP之當前值。若Sadpo未超 過Lp之當前值加上臨限值τΡ，則如步驟13 13中所見，1^之 新值變成SADP0與LP之線性組合。在另一態樣中，對於步 驟1315，LP之新值為LP+TP。

類似地計算圖13B及圖13C中之量Ls及Lc。圖13A、13B 及13C中具有相同功能之處理步驟經相同地編號，但給出 撇號（”或”）以展示該等處理步驟作用於不同變數組。舉例 而言，當形成SADP0與Lc之線性組合時，在步驟13 13，中展 φ 示彼操作。對於lp之狀況，另一態樣對於13 15,將用Lc+Tc 替換Lc。 然而，在Ls之狀況下，圖13B中之演算法交替地處理 SADfs及SADss，依次標註每一 X，因為此下包絡適用於兩 個變數。當將步驟1308中之SADfs之當前值讀入步驟1303 中X之位置中，隨後將1307中SADss之當前值讀入步驟 1302中X之位置中時，發生saDfs值與SADss值之交替。對 於LP之狀況，另一態樣對於ι315"將用ls+ts替換Ls。藉由 實驗預定用於測試當前下包絡值之量A及臨限值。 119491.doc -24- 200803504 圖11為說明一用於執行圖10之步驟1089之例示性過程的 流程圖。圖11大致展示一用於更新決策變數之過程。在圖 11中用自度量導出之新資訊來更新六個決策變數（對應於 六個可能的決策）。如下找到該等決策變數： (14) (15) (16) (17) (18) (19) D0 = a D4 -f Branch Info(O) = a D0 + Branch Info(l) D2 = a Di + Branch Info(2) D3 = a D2 + Branch Info(3)

D4 = a D3 + Branch Info(4) D5 = a D5 + Branch Info(5) 量(X小於一且限制決策變數對其過去值之依賴性；α之使 用等效於當歐幾裏德距離之資料變舊時減小每一歐幾裏德 距離之效應。在流程圖1162中，在左側將待更新之決策變 數在線 1101、1102、1103、1104、1105及 1106上列出為可 用的。接著在步驟1100之一者中將相位轉變路徑之一者上 的決策變數之母一者乘以α，α係小於一之數；接著將舊的 決策變數之衰減值添加至藉由相位轉變路徑上之下一相位 編索引的分枝資訊變數之當前值，衰減之決策變數在該相 位轉變路径上。此在步驟111 〇中發生。在步驟i i 9 3中使變 數Ds偏移一量A ; A係在步驟1112中計算出。如以下所述， 選擇該量以減少由此系統所確定之相位序列中的不一致 性。在步驟1120中尋找最小的決策變數。 總之，將每一決策所特有之新資訊添加至已被乘以α之 適當的決桌變數之先前值以得到當前決策變數之值。當已 H9491.doc -25· 200803504 得到新度量時’可作出新的決策；因&，此技術能夠在接 收到每一圖框之圖場1及圖場2時作出新的決策。此等決策 變數為先前所參考的歐幾裏德距離之和。 適用相位經選擇為具有最小決策變數之下標之相位。在 圖H)之步驟刪中明確作出基於決策變數之決策。決策空 間中允許某些決策。如步驟1G91中所描述，此等決策為： ⑴當適用相位不是!>5時_反影訊處理才見訊及⑻當適用相位 為時一解交錯視訊。

因為度量係自本質上可變的視訊中取出，所以決策之相 干串中可旎存在偶然誤差。此技術偵測到與圖7不一致之 相位序列。在圖14中概述其操作。演算法14〇〇在步驟14〇5 中儲存當前相位決策之下標（=χ)且在步驟14〇6中儲存先前 相位決策之下標（ = y)。在步驟141〇中，測試是否= 5 ; 在步驟1411中，測試以下值·· 是否 χ=ΐ，y=〇 ;或 ，y=l ;或 x=3 ， y=2 ;或 x=4 ， y=3 ;或 χ=Ό，y=4 〇 若兩個測試之任一者為肯定的，則在步驟1420中宣告該 等決策係一致的。若任一測試均不是肯定的，則在圖丨5中 計算展示於圖11之步驟1193中之偏移且將該偏移添加至與 P5相關聯之決策變數D5。 119491.doc -26- 200803504 對D5之修改作為過程1500之一部分亦出現於圖15中，該 修改對相位序列中之不一致性提供校正作用。假定流程圖 15 00中之步驟1510中之一致性測試已失敗。沿著自步驟 15 10引出的”否”分枝進行，步驟i 5 i 4中之下一測試為：對 於所有ι<5，是否Ds>Di ;或者為：對於i<5，該等變數之 至少一者Di是否大於D5。若第一狀況有效，則在步驟1516 中將一初始值為δ〇之參數δ改變成3δ〇。若第二狀況有效， 則在步驟15 17中將δ改變成4δ〇。在步驟152Β中，將△之值 更新為ΔΒ，其中 △B = max(△- 一 405。） (2 〇 ) 再返回步驟15 1 0，假定該決策串經判定為一致。在步驟 1515中，將參數δ改變成由下式定義之δ+ (21) 用於Δ之更新關係ΔΑ中 〇 =max(2(??16(J0) 在步驟152A中將δ之新值插入 此係 AA=max(A + 5,4〇^)) (22) 接著在步驟1593中將Δ之更新值添加至決策變數d5。 圖16展示一旦確定了下拉相位，反影訊處理過程如何進 行。使用此資訊，將圖場1605及1605’識別為表示視訊之同 一圖場。對該兩個圖場一起求平均且將其與圖場1606組合 以重建圖框1620。經重建之圖框為1620’。一類似過程將重 建圖框1022。不複製自圖框1621及1623導出之圖場。藉由 將此等圖框之第一及第二圖場重新編織在一起而重建此等 圖框。 119491.doc -27- 200803504 在以上所描述之n樣t，每#接㈣—新圖框時，尋找 度量之四個新值且使用新近計算出之決策變數來測試六重 假設組。其他處理結構可經調適以計算該等決策變數。維 特比（Vi⑽丨）解碼器將組成路徑之分枝之度量添加在一起 以形成路徑度量。此處所定義之決策變數係藉由類似規則 所形成：每一決策變數為新資訊變數之"漏溢"和。(在漏溢 求和中，在將新資訊資料添加至一決策變數之先前值之

mu變數之先前值乘以小於一之數。）維特比解 碼器結構可經修改以支援此程序之操作。 雖然就處理習知視訊（其中，每隔1/3〇秒出現-新圖框） 而言描述本態樣，但應注意’此過程可適用於在時間上向 後記錄並處理之圖框。決策空間保持相同，但存在較小變 化，該等變化反映出輸入圖框之序列之時間反轉。舉例而 言1自時間反轉模式之-串相干影訊處理決策（此處所 p3 p2 Pi P〇 將亦在時間上被反轉。 使用對第-態樣之此變化將允許決策在#出成功決策時 進行兩種嘗試··-種嘗試係在時間上向前，另—種嘗試: 在時間上向後。雖然兩種嘗試不是獨立的，但其不二:、 因為每一種嘗試將以不同的次序處理度量。 二匕想法可與一緩衝器一起應用，該緩衝器經維護以儲存 可忐另外需要之將來的視訊圖框。若發現一視訊片段在前 向處理方向中給出不可接受地不-致結果，則程序：自： H949l.doc -28- 200803504 缓衝器中取出將來的圖框且試圖藉由在反方向中處理該等 圖框來克服視訊之拉伸困難。 此專利中所描述之對視訊之處理亦可適用於PAL格式之 視訊。 解交錯器 如本文中所使用之”解交錯器”係一廣義術語，其可用於 描述一完全或大部分地處理咬錯多媒體資料以形成逐行多 媒體資料之解交錯系統、器件或過程（包括例如經組態以 ® 執行一過程之軟體、韌體或硬體）。 視訊攝影機、廣播波音室等中按照慣例所產生之廣播視 訊在美國符合NTSC標準。一種壓縮視訊之普通方法係將 其父錯。在父錯資料中，每一圖框係由兩個圖場之一者組 成。一圖場由圖框之奇數線組成，另一圖場由偶數線組 成。雖然以大致30圖框/秒的速率產生圖框，但該等圖場 為電視攝影機之影像之紀錄，該等紀錄相隔1/6〇秒。一交 φ 錯視訊信號之每一圖框展示影像之每隔一水平線。當該等 圖框經投影於螢幕上時，視訊信號在展示偶數線與^奇 數線之間交替。當足夠快地執行此交替時（例如，大約每 秒60個圖框）’視訊影像在人眼看來係平滑的。 在基於NTSC(美國）及PAL(歐洲）格式之類比電視廣播中 已使用交錯達數數十年。因為用每一圖框發送僅一半的影 像，所以交錯視訊使用的頻寬大約為其發送整個圖像將會 使用之頻寬的-半。在終端機16内部之視訊之最後的㈣ 格式不必要為與NTSC相容且不能容易地顯示交錯資料。 119491.doc -29- 200803504 相反現代基於像素之顯示器（例如，LCD、DLP、 LCOS、電漿等> ^ Μ糸遂行掃描且顯示經逐行掃描之視訊源（而 許多較舊的視却 °裔件使用較舊的交錯掃描技術）。一些共 同使用之解交輯^ 听乂错凟算法之實例係描述於ρ· Haavisto，J· Juhola 及 Y. Neuv〇 的 ”Scan rate up-conversion using adaptive weighted median TilX^xing^{Signal Processing of // ’ 第 703-710 頁，1990 年）及 R· Simonetti，S· Carrato，G. Ramponi及 A. Polo Filisan的"Deinterlacing of HDTV Images for Multimedia Applications 第 765-772 頁 ’ 1993年）中。 以下所描述用於可經單獨使用或組合使用以改良解交錯 之效能且可用於解交錯器405(圖4)中之系統及方法的解交 錯態樣之實例。該等態樣可包括使用空間時間濾波來解交 錯一選定圖框以確定一第一臨時解交錯圖框、使用雙向運 動估計及運動補償自該選定圖框確定一第二臨時解交錯圖 框，及接著組合該第一臨時圖框與該第二臨時圖框以形成 一最終的逐行圖框。該空間時間濾波可使用一加權中值濾 波器（"Wmed”），該加權中值濾波器可包括一防止使水平或 近水平邊緣模糊之水平邊緣偵測器。對”當前"圖場之先前 及隨後之鄰近圖場之空間時間濾波產生一強度運動等級映 射，該強度運動等級映射將一選定圖框之若干部分分類成 不同的運動等級，例如，靜態運動、緩慢運動及快速運 動。 在一些態樣中，藉由Wmed濾波使用一包括來自五個鄰 119491.doc -30- 200803504 近圖場（前兩個圖場、當前圖場及後兩個圖場）之像素之據 波光圈產生該強度映射。Wmed渡波可確定可有效地處理 場景變化及物件出現及消失之前向、後向及雙向靜態區债 測❹在多種態樣中，可在圖場間濾波模式中在具有相同奇 偶性之一或多個圖場上利用Wmed濾波器，且可藉由調節 臨限標準而將其切換至圖場内濾波模式。在一些態樣中， 運動估計及補償使用luma(像素之強度或亮度）及色度資料 (像素之色彩資訊）來改良選定圖框之解交錯區域，在該等 區域中亮度等級幾乎均勻但色彩不同。一除雜訊濾波器可 用於增加運動估計之準確度。可將除雜訊濾波器應用於經 Wmed解父錯之臨時圖框以移除由Wmed濾波所產生之混疊 假影。以下所描述之解交錯方法及系統產生優良的解交錯 結果且具有相對低之計算複雜性，其允許快速運作解交錯 實施例，使該等實施例適合於各種各樣之解交錯應用，該 等應用包括用於利用顯示器將資料提供至行動電話、電腦 及其他類型之電子或通信器件之系統。 本文中參考用於解交錯多媒體資料之多種組件、模組及/ 或步驟描述一解交錯器及解交錯方法之態樣。 圖17為說明一可用作圖4中之解交錯器4〇5的解交錯器 1700之一悲樣之方塊圖。解交錯器17〇〇包括一在空間及時 間上（"空間時間"）瀘' 波交錯資料之至少-部分且產生空間 時間資訊之空間濾波器173〇。舉例而t，可在空間濾波器 1730中使用Wmed。在一些態樣中，解交錯器17〇〇亦包括 一除雜訊濾波器（未圖示），例如，一 Weiner濾波器或一子 119491.doc -31 · 200803504 波收縮（wavelet shrinkage)濾波器。解交錯器poo亦包括一 長:供對父錯資料之選定圖框之運動估計及補償且產生運動 資訊之運動估計器1732。一組合器1734接收並組合空間時 間資訊與運動資訊以形成逐行圖框。 圖18為解交錯器1700之另一方塊圖。解交錯器17〇〇中之 一處理器1836包括一空間濾波器模組1838、一運動估計模

組1840及一組合器模組1842。來自一外部源^判之交錯多 媒體資料可被提供至解交錯器17〇〇中之一通信模組1844。 可藉由硬體、軟體、韌體、中間軟體、微碼或其任何組合 來實施解交錯器及解交錯器之組件或步驟。舉例而言，解 父錯器可為—作為硬體、㈣、中間軟體併人於另-器件

之-組件中的單獨組件’或以在處理器上執行之微碼或軟 體予以實施，或其組合。當以軟體、物體、中間軟體或微 碼予以實施時’可將執行解交錯器任務之程式碼或碼片段 儲存於諸如儲存媒體之機器可讀媒體中。碼片段可表示程 序 '函數、次程式、程式、常式、次常式、模组、套裝軟 體、類，或指令、資料結構或程式敛述之任何組合。可藉 由傳遞及/或接收資訊、資料、引數、參數或記憶體内‘ 而將一碼片段麵合至另—碼片段或—硬體電路。 二收之交錯資料可儲存於解交錯器17〇〇中一儲存媒體 ’儲存媒體1846可包括（例如）晶m切存媒體 =如咖、RA峨連接至處理㈣6之碟片型儲存媒 例如’磁性儲存媒體或光學儲存媒體）。在_此離樣 處理器1836可含有部分或所有儲存媒體。處理器;836 H9491.doc -32 - 200803504 經組態以處理交錯多媒體資料以形成隨後被提供至另一器 件或過程之逐行圖框。 類似電視之傳統類比視訊器件以交錯方式再現視訊，亦 P該專器件傳輸經編號為偶數之掃描線（偶數圖場）及編 號為奇數之掃描線（奇數圖場）。自信號取樣觀點看，此等 效於以以下所描述之樣式進行之空間時間子取樣 (subsampling): ⑼>，；^)，若>^〇(12 = 0對於偶數圖場， = < 對於奇數圖場， 、擦除，否則， (23) 其中®代表最初的圖框圖像，F代表交錯圖場，且（X，兄…分 別表示像素之水平、垂直及時間位置。 在不損失一般性的情況下，可假定在本揭示案中n=〇始 終為偶數圖場，因此以上等式23經簡化為 ’ ’ —1擦除，否則， (24) 因為不是在水平尺寸中進行抽取，所以可以接下來的 座標描繪子取樣樣式。在圖19中，圓圈與星號均表厂 位置，在該等位置中最初的全框圖像具有一樣本像素。解 交錯過程抽取星號像素，而保留圓圈像素完整無缺。笮生 意’吾等自零開始對垂直位置編索引，因此，偶數圖場為 頂部圖場，且奇數圖場為底部圖場。 U949l.doc -33- 200803504 解交錯器之目標為將交錯視訊（圖場之一序列）變換成非 交錯逐行圖框（圖框之一序列）。換言之，内插偶數圖場及 奇數圖場以”恢復”或產生全框圖像。此可藉由等式25來表 示： JF{x, yy n), y mod 2 = n mod 2, 否則， (25) 其中A表示缺少的像素之解交錯結果。 ® 圖20為說明一解交錯器之一態樣之某些態樣的方塊圖， 該解交錯器使用Wmed濾波及運動估計自交錯多媒體資料 產生一逐行圖框。圖20之上部分展示一可使用來自當前圖 場、前兩個圖場（PP圖場及P圖場）及後兩個圖場（下一圖場 及再下一圖場）之資訊而產生之運動強度映射2〇52。運動 強度映射2052將當前圖框分類或分割成兩個或兩個以上之 不同運動等級，且可藉由下文中進一步詳細描述之空間時 φ 間濾波而產生。在一些態樣中，產生運動強度映射2052以 識別如以下參考等式4至8所描述的靜態區、缓慢運動區及 快速運動區。一空間時間濾波器（例如，Wmed濾波器 2054)使用基於運動強度映射之標準來濾波交錯多媒體資 料，且產生一空間時間臨時解交錯圖框。在一些態樣中， Wmed濾波過程涉及[-丨，η之水平鄰域、[_3，3]之垂直鄰 域，及藉由圖20中所說明之五個圖場（ρρ圖場、ρ圖場、當 則圖％、下一圖場、再下一圖場)表示之五個相鄰圖場的 時間鄰域，Ζ表示一圖場之延遲。相對於當前圖場，下一 119491.doc -34- 200803504 圖場及P圖場為非奇偶圖場且PP圖場及再下一圖場為奇偶 圖場。用於空間時間濾波之”鄰域"係指在濾波操作期間實 際所使用的圖場及像素之空間及時間位置，且可經說明為 如（例如）圖21及圖2 2中所展示之”光圈”。 解交錯器亦可包括一除雜訊器（除雜訊濾波器）2〇56。除 雜訊器2056經組態以濾波由Wmed濾波器2054產生之空間 時間臨時解交錯圖框。對空間時間臨時解交錯圖框除雜訊 使隨後之運動搜尋過程更準確，尤其是當源交錯多媒體資 _ 料序列受白雜訊污染時。除雜訊器2056亦可至少部分地移 除Wmed圖像中偶數列與奇數列之間的混疊。可以多種濾 波器實施除雜訊器2056，其包括亦在下文中進一步加以描 述之基於子波收縮濾波器及子波Wiener濾波器的除雜訊 器。 圖20之下部分說明一用於確定交錯多媒體資料之運動資 訊（例如，運動向量候選者、運動估計、運動補償）之態 ❿樣。詳吕之，圖20說明一運動估計及運動補償機制，該運 動估计及運動補侦機制係用於產生選定圖框之經運動補償 之臨時逐行圖框，且接著將其與Wmed臨時圖框組合以形 成所得的”最終"逐行圖框，其展示為經解交錯之當前圖框 64在些恶樣中，交錯多媒體資料之運動向量（”MV，，) 候選者（或估計）係自外冑運動估計器提供至解交錯器且用 於為雙向運動估計11及補償ϋ (，，ME/MC")2_提供起始 ^在一些您樣中，——MV候選選擇器2〇72對於正被處理 之區塊之MV候選者使用先前所確定之用於鄰近區塊之 11949l.doc -35- 200803504 MV，鄰近區塊諸如先前經處理之區塊（例如，經解交錯之 先前圖框2070中之區塊）之MV。可基於先前經解交錯之圖 框2070及下一（例如，將來的）Wmed圖框2058而雙向進行 運動補償。由一組合器2062合併或組合當前Wmed圖框 2060與經運動補償（”MCn)之當前圖框2066。所得的經解交 錯之當前圖框2064(現為逐行圖框）經提供回ME/MC 2068以 用作經解交錯之先前圖框2070且亦經傳遞至解交錯器外部 以供進一步處理（例如，壓縮及傳輸至顯示終端機）。以下 更詳細描述圖20中所展示之多種態樣。 圖25說明一用於處理多媒體資料以由交錯圖框之一序列 產生逐行圖框之一序列的過程2500。在一態樣中，由圖4 中所說明之解交錯器405產生一逐行圖框。在步驟2502 處，過程2500(過程"A”）產生用於選定圖框之空間時間資 訊。空間時間資訊可包括用於分類多媒體資料之運動等級 且產生運動強度映射之資訊，且包括Wmed臨時解交錯圖 框及用於產生該圖框之資訊（例如，用於等式26至33中之 資訊）。可由如圖20之上部分中所說明之Wmed濾波器2054 及其相關處理（以下進一步詳細描述）執行此過程。在圖2 6 中所說明之過程A中，在步驟2602處將區域分類成具有不 同運動等級之圖場，如以下進一步加以描述。 接下來，在步驟2504處（過程"B”），過程2500產生用於選 定圖框之運動補償資訊。在一態樣中，在圖20之下部分中 所說明之雙向運動估計器/運動補償器2068可執行此過 程。過程25 00接著進行至步驟2506，在步驟2506處，過程 119491.doc -36- 200803504 基於空間時間資訊及運動補償資訊而解交錯選定圖框之圖 場以形成與選定圖框相關聯之逐行圖框。此可由在圖μ之 下部分中所說明之組合器2062來執行。 運動強度映射 對於每-圖框’可藉由處理#前圖場中之像素以確定不 同’’運動”之區來確定運動強度映射2〇52。以下參看圖h至 圖24描述確定三類運動強度映射之說明性態樣。運動強度 φ 映射基於比較相同奇偶性圖場&不同奇偶性圖場中之像素 而指定每一圖框之區為靜態區、緩慢運動區及快速運動 區。 ( 靜態區 確定運動映射之靜態區可包含處理相鄰圖場之鄰域中之 像素以確定某（些）像素之輝度差是否滿足某種標準。在一 一 L樣中，確疋運動映射之靜態區包含處理五個相鄰圖場 (一當前圖場（C)、時間上在該當前圖場之前的兩個圖場及 φ 時間上在該當前圖場之後的兩個圖框）之鄰域中之像素以 確定某（些）像素之輝度差是否滿足某些臨限值。此等五個 圖場說明於圖20中，z-i表示圖場之延遲。換言之，通常將 以具有為ζ-1的時間延遲之此種序列顯示該五個相鄰圖場。 圖21就明一根據一些態樣的識別該五個圖場之每一者之 某些像素的光圈，該光圈可用於空間時間濾波。該光圈包 括（自左至右）再前一圖場（ρρ)、前一圖場（ρ)、當前圖場 (C)、下一圖場（Ν)及再下一圖場（ΝΝ)的3χ3像素群。在一 些態樣中’若當前圖場之一區滿足等式26至28中所描述之 H9491.doc -37- 200803504 認為當前圖場之該 應圖場： 區為靜態區，圖 標準，則在運動映射中 2 1中說明像素位置及對 丨1/> -心丨〈石 且

LbPP - Lb L 一 L ^EPP 2 卞 2 )1 (前向靜態) (26) (27)

或 T 一 J ^BNN LenN - Lf 2 卞 2 <7i(後向靜態)) 其中A為臨限值， (28) 〇為位於P圖場中之像素P之輝度，

4為位於N圖場中之像素贝之輝度， k為位於當前圖場中之像素3之輝度， k為位於當前圖場中之像素£之輝度， 為位於PP圖場中之像素Bpp之輝度， &/>/>為位於pp圖場中之像素Epp之輝度， 心皿為位於NN圖場中之像素Bnn之輝度，且 為位於NN圖場中之像素£_之輝度。 臨限值η可經就並収為特定值，可藉由以解交許 之過程加以確定及提供(例如，作為用於正被解交錯之： 訊之元資料），或臨限值Γι可在解 — 社解又錯期間加以動態確 定0 由於至少兩㈣因，以上在等式26、27及28中所描述之 靜態區標準使用t匕習知解交錯技術多的圖場。首先田與不 同奇偶性@場之間的比較相丨，相同奇偶性圖場之間= 119491.doc •38- 200803504 較具有較低的混疊及相位失配。然而，正被處理之圖場與 其最相鄰的相同奇偶性圖場鄰域之間的最小時間差（因 此，相關性）為兩個圖場，比正被處理之圖場與其最相鄰 的不同可偶性圖場鄰域之間的時間差大。更可靠的不同奇 偶性圖場與混疊較低的相同奇偶性圖場之組合可改良靜態 區4貞測之準確度。 此外，該五個圖場相對於當前圖框c中之像素X可對稱 修 地分佈於過去及將來，如圖21中所展示。靜態區可經再劃 分成二類：前向靜態（相對於先前圖框為靜態）、後向靜態 (相對於下一圖框為靜態），或雙向（若滿足前向標準與後向 才示準）°對靜態區之此更細分類可改良效能，尤其是在場 景變化時及物件出現/消失時。 緩慢運動區 若某些像素之輝度值不滿足將被指定為靜態區之標準但 滿足將被指定為緩慢運動區之標準，則在運動映射中可認 _ 為運動映射之一區為緩慢運動區。以下等式29定義可用於 確定緩慢運動區之標準。參看圖22,在以像素^為中心之 光圈中展示等式29中所識別之像素Ia、Ic、Ja、Je、^、

Kc、La、Lc、MN之位置。該光圈包括當前圖場⑹之 3x7像素鄰域，以及下一圖場（N)、前一圖場（1>)之3><5鄰 域。若像素X不滿足上述所列之用於靜態區之標準且若光 圈中之像素滿足等式29中所展示之以下標準，則認為像素 I為緩慢運動區之一部分： 119491.doc (29) -39- 200803504 其中A為臨限值，且 ip、LN分別為 、P&N之輝度

Zla [U、[ja、[Je、£Ka、、尤“& 像素 la、le、ja、Jc、Ka、、La、J^e 值。 e品限值h亦可經預定並設定為特 ^ ^ ^ _ 值，亦可藉由不為解 父錯之過程加以確定及提供（例如 卜為用於正被解交錯 ^見訊之元資料），或臨限㈣可在解交錯期間加以動態 確定。

請注意，由於濾'波器之邊緣仙能力之角度，滤波器可 使水平邊緣模糊（例如，距垂直對準45。以上卜舉例而言， 圖22中所說明之光圈（遽波器）之邊緣 <貞測能力受像素^ 與”F”或"C，，與”D"所形成之角度影響。最佳將不併入比此 .種角度更為水平之任何邊緣且因此階梯假影可出現在彼等 邊緣處。在-些態樣中，緩慢運動類可經劃分成兩個子類 水平邊緣及”其他”以解決此邊緣偵測效應。若滿足以下 所展不之等式30中之標準，則可將緩慢運動像素分類為水 平邊緣，且若不滿足等式3〇中之標準，則可將緩慢運動像 素分類為所謂的”其他”類。 |(XA + ZB-f ZC)-(ZD + ZE + iF)|<r3 (3〇) 其中G為臨限值，且^、zc、ZD、ZE及ZF為像素 A、B、C、D、E及F之輝度值。 可對水平邊緣及其他類邊緣中之每一者使用不同的内插 方法。 快速運動區 119491.doc 200803504 若不滿足用於靜態區之標準及用於緩慢運動區之標準， 則可認為像素是在快速運動區中。 在對選定圖框中之像素分類之後，過程A(圖26)接著進 行至步驟2604且基於運動強度映射產生臨時解交錯圖框。

在此態樣中，Wmed濾波器2〇54(圖2〇)濾波選定圖場及必 要的相鄰圖場以提供一候選全框影像&，該候選全框影像 可經定義如下： 玉(FGw - 1) + F(j^ + 1))， mod 2 = n mod 2) (靜態後向及前向） F{x,n-\) F(x,n + l) med(A，B,C，D，E，F)， f med a0 v

A^F (靜態前向但非前向） (靜態後向但非後向） (慢運動w / ο水平邊緣)

B + E 2 ，a2 C+D G+Ηλ ~a~) B + E 厂2 (慢運動w/水平邊緣） 、 （快速運動)

其中，1，2, 3)為整數權重，其經計算如下 (31)

2若Α=πήη{ρ。真爲，爲} ,1， 否則， (32) =A + F β Ω _C + Dμ-内，a £丨， βζ =

G七H|G - "I 提供經Wmed濾波之臨時解交錯圖框 運動補償處理一起進行之進一步處理 所說明。 如以上所描述且如等式31中所展示 (33) 以用於與運動估計及 ，如圖20之下部分中 ，靜態内插包含圖場 119491.doc -41 - 200803504 間内插且緩慢運動及快速運動内插包含圖場内内插。在不 需要相同奇偶性圖場之時間（例如，圖場間）内插的某些態 樣中，可藉由將臨限值R(等式4至6)設定為零（Γ1==〇)而，，禁 用π時間内插。在時間内插被禁用的情況下對當前圖場之 處理會導致不將運動等級映射之任何區分類為靜態區，且 Wmed濾波器2〇54(圖20)使用圖22中之光圈中所說明之三 個圖場’其作用於一當前圖場及兩個相鄰的非奇偶圖場。 除雜訊 在某些態樣中，除雜訊器可用於在使用運動補償資訊進 一步處理候選Wmed圖框之前自候選wmed圖框移除雜訊。 除雜訊器可移除存在於Wmed圖框中之雜訊且保留信號存 在，而不管信號之頻率内容如何。可使用多種類型之除雜 訊渡波器，其包括子波濾波器。子波係用於在空間與比例 換算領域中定位一給定信號之一類函數。基於子波之基本 想法為以不同比例（scale)或解析度分析信號以使得子波表 φ 示中之小變化在最初的信號中產生對應的小變化。 在一些態樣中，除雜訊濾波器係基於（4, 2)雙正交立方b 樣條子波濾波器之態樣。可藉由以下正變換及逆變換來定 義一此種滹波器： 3 1 1 /2(Ζ) = Ϊ + Ϊ(Ζ + Ζ") + 8(Ζ + Ζ'2) (正變換） (34) 及 咖=聲厂1-壶(1 + ’2)-鲁(⑴-3)-|·(ζ2+ζ-4)(逆變換）(35) 119491.doc -42- 200803504 除雜訊濾波器之應用可增加有雜訊環境中之運動補償之 精確度。假定視訊序列中之雜訊為相加性白高斯。藉由 表示經估計之雜訊變化。其可經估計為最高頻率次頻帶係 數之絕對中位差除以0.6745。該等濾波器之實施例進一步 描述於 D.L· Donoho 及 Ι·Μ· Johnstone 的 ’’Ideal spatial adaptation by wavelet shrinkagen〇B/ow以rzla，第 8卷，第 425-455頁，1994年）中，其以全文引用之方式併入本文 中。 子波收縮或子波Wiener濾波器亦可用作除雜訊器。子波 收縮除雜訊可涉及子波變換領域中之收縮，且通常包含三 個步驟：線性正子波變換、非線性收縮除雜訊及線性逆子 波變換。Wiener濾波器為MSE最佳線性濾波器，其可用於 改良由於相加性雜訊及模糊而降級之影像。該等濾波器通 常係此項技術中所已知的且係描述於（例如）以上所參考之 "Ideal spatial adaptation by wavelet shrinkage” 及 S. P. Ghael，A. M. Sayeed及R. G. Baraniuk戶斤著的"Improvement Wavelet denoising via empirical Wiener filteringHCProceedMao/SPJE，第 3169卷，第 389-399 頁， San Diego，1997年 7月）中。 運動補償 參看圖27，在步驟2702處，過程B執行雙向運動估計， 且接著在步驟2704處使用運動估計來執行運動補償，運動 補償進一步說明於圖20中且描述於下文中之說明性態樣 中。在Wmed濾波器與基於運動補償之解交錯器之間存在 119491.doc •43- 200803504 「圖場”滞後〇agr。自如圖23中所展示之前一…^ 後圖框n"中之資訊預測用於當前圖場，m m 一3)中$線表示最初的像素資料所存在的列且虛線表示 經Wm:d内插之像素資料所存在的列。在某些態樣中，在4 列乘8仃的像素鄰域中執行運動補償。然而，此像素鄰域 為用於說明目的之一實例，且熟習此項技術者應明白，可 φ 土；不同數目個列與不同數目個行之像素鄰域的其 他I樣中執行運動補償，像素鄰域之選擇可基於包括許多 因素’該等因素包括（例如）計算速度、可用處理功率或正 被解交錯之多媒體資料之特徵。因為當前圖場僅具有該等 列之半，所以待匹配之四個列實際上對應於8像素乘8像 素的區。 參看圖20，雙向ME/MC 2068可使用均方誤差（SSE)的 和’其可用於量測用於相對於Wmed下一圖框2058及經解 φ 交錯之當前圖框2〇7〇之Wmed當前圖框2060的一預測區塊 與一經預測之區塊之間的類似性。產生經運動補償之當前 圖框2066接著使用來自最類似之匹配區塊之像素資訊來填 充最初的像素線之間的缺少的資料。在一些態樣中，雙向 ME/MC 2068偏置來自經解交錯之先前圖框2070資訊之像 素資訊或給予該像素資訊更多權重，因為該像素資訊係由 運動補償資訊及Wmed資訊產生，而Wmed下一圖框2058僅 藉由空間時間濾波予以解交錯。 在一些態樣中，為改良具有類似luma區域但不同色度區 I19491.doc -44- 200803504 域之圖場之區域中的匹配效能，可使用一度量，該度量包 括像素之-或多個！_群（例如，—4列乘8行的ι碰a區塊） 及像素之一或多個色度群（例如，兩個2列乘4行的色度區 塊U及V)之像素值的貢獻。該等方法有效地減少色彩敏感 性區域處之失配。 運動向量（MV)在垂直尺寸中具有1/2像素之粒度且在水平 ^寸中具有％或!/4像素之粒度。可使用内插濾、波器來獲得 分數像素（fractional-pixel)樣本。舉例而言，可用於獲得 半像素樣本之一些濾波器包括雙線性濾波器（丨，丨）、 H.263/AVC所推薦之内插渡波器：〇，_5,2〇,2〇，_5,…及 六分支漢明窗式(Hamming wind〇wed)正弦函數濾波器(3, 21’ 147, 147, -21，3)。可藉由應用雙線性濾波器自全像素 及半像素樣本產生I/4像素樣本。 在一些態樣中，運動補償可使用多種類型之搜尋過程以 匹配在當前圖框之某一位置處之資料（例如，描繪一物件） • 與在另一圖框（例如，下一圖框或前一圖框）中之不同位置 處之對應貧料’各別圖框内之位置的差異指示該物件之運 動。舉例而言，搜尋過程使用可覆蓋較大搜尋區之全面運 動搜哥或可使用較少像素之快速運動搜尋，且/或用於搜 哥樣式中之選定像素可具有特定形狀（例如，菱形）。對於 陕速運動搜尋，搜尋區可以運動估計或運動候選者為中 心，運動估計或運動候選者可用作搜尋相鄰圖框之起始 點。在一些態樣中，可自外部運動估計器產生MV候選者 且將MV候選者提供至解交錯器。來自先前經運動補償之 119491.doc -45- 200803504 相鄰圖框中的對應鄰域之巨集區塊之運動向量亦可用作運 動估計。在一些態樣中，可由搜尋對應的先前圖框及接下 來的圖框之巨集區塊（例如，3巨集區塊乘3巨集區塊）之一 鄰域產生MV候選者。 圖24說明如圖23中所展示的可在運動估計/補償期間藉 由搜尋先前圖框及下一圖框之鄰域而產生的兩個MV映射 MVP及MVN之一實例。在MVP與MVNf，將被處理以確定 運動資訊之區塊係藉由"X”表示之中心區塊。在MVP與 MVN*，存在可在正被處理之當前區塊X之運動估計期間 使用的九個MV候選者。在此實例中，該等MV候選者中之 四個存在於來自先前所執行之運動搜尋之同一圖場中且係 藉由MVP與MVN中顏色較淡的區塊（圖24)加以描繪。藉由 顏色較深的區塊描繪的五個其他MV候選者係自先前經處 理之圖框之運動資訊（或映射）所複製。 在完成運動估計/補償之後，可為缺少的列（藉由圖23中 之虛線所表示）產生兩個内插結果：由Wmed濾波器（圖20 中之Wmed當前圖框2060)產生之一内插結果及由運動補償 器（MC當前圖框2Q66)之運動估計處理產生之一内插結果。 一組合器2062通常藉由使用Wmed當前圖框2060及MC當前 圖框2066之至少一部分來合併Wmed當前圖框2060與MC當 前圖框2066以產生當前經解交錯之圖框2064。然而，在某 些條件下，組合器2062可僅使用當前圖框2060或MC當前 圖框2066中之一者來產生當前經解交錯之圖框。在一實例 中，組合器2062合併Wmed當前圖框2060與MC當前圖框 119491.doc • 46 - 200803504 2066以產生如 等式36中所展 示之每解交錯之輸出信號： 〇 mod 2 =晴0(j 2) -1))，（否則）

其中係用於位置X ’少）處的圖場〜中之輝度值，豆 中，用於轉置。使用定義如下之m割函數 '、 c%(〇,u)=〇^(a<〇);Uf(a>1)；a (3?)

灸/可經計算為： K =咖(o，c1A/^) (38) /、中q為㈣性參數’且卿為預測圖框像素與經預測之 圖框中之可用像素（自現存圖場取得）之間的丨咖差。藉由 適當選擇，有彳能調整均方誤差之相對重要，性。可如等 式39中所展示計算灸2 :

k2 = I - clip 0，1，(1-灸)丨 一叉，w) —-Λ - Α«-1)1 + 5) V ^wmed n) ~ Fmc (x-D,n-1)| + δ ) (39) 其中又= (^)、又=(〇，1)、D為運動向量，3為用來防止被除以 零之小常數。使用戴割函數（clipping functi〇n)來濾波之解 交錯進一步描述於G. D. Haan及Ε·Β· Bellers的”Deinterlacing of video data” (/五五五 TVimsaci/o 則 ⑽ Const/mer £/ecir⑽/以，第43卷，第3期，第819-825頁，1997年）中， 其以全文引用之方式併入本文中。 在一些態樣中，組合器2062可經組態以嘗試並維護以下 等式以達成高PSNR及穩健結果： 119491.doc -47- 200803504 \F〇 «) - FWmed (χ, n)\ = \F0 (x-yu9n)- FWmed (x ~ yu ,n)\ ( 4 0 ) 有可能用Wmed+MC解交錯機制來解耦合包含圖場間内 插及圖場内内插之解交錯預測機制。換言之，空間時間 Wmed濾、波可主要用於圖場内内插目的，而可在運動補償 期間執行圖場間内插。此減少了 Wmed結果之峰值信雜 比’但在應用運動補償之後視覺品質更令人滿意，因為來 自不準確圖場間預測模式決策之不良像素將自Wmed濾波 φ 過程被移除。 色度處理可與經配置之111111&處理一致。根據運動映射產 生，藉由觀察一色度像素之四個經配置之luma像素的運動 等級而獲得該色度像素之運動等級。該操作可基於表決 (色度運動等級借用主要的丨1111^運動等級）。然而，吾等建 議使用如下保守方法。若四個“❿以象素之任一者具有快速 運動等級，則色度運動等級將為快速運動；否則，若四個 luma像素之任一者具有緩慢運動等級，則色度運動等級將 _為緩慢運動；否則色度運動等級為靜態的。該保守方法可 月b無法達成最面PSNR，但無論色度運動等級中是否存在 歧義，該保守方法均避免使用INTER預測之風險。 使用所描述的經單獨描述之Wmed演算法及本文所描述 之組合的Wmed與運動補償演算法來解交錯多媒體資料序 列亦使用一像素摻混（或平均）演算法及一"非解交錯"狀 況（其中’僅組合圖場而不進行任何内插或掺混）來解交錯 相同的夕媒體貝料序列。分析所得圖框以破定似且在 119491.doc -48- 200803504 以下表中展示psnr : PSNR (dB) 序列 無解交錯 摻混 Wmed Wmed+MC 足球 8.955194 11.38215 19.26221 19.50528 城市 11.64183 12.93981 15.03303 15.09859 組員 13.32435 15.66387 22.36501 22.58777 即使藉由使用MC加上Wmed之解交錯僅能改良邊緣 PSNR，藉由組合Wmed内插結果與MC内插結果所產生的 解交錯影像之視覺品質仍由於以上所提及之原因而在視覺 上更令人滿意，組合Wmed結果與MC結果會抑制偶數圖場 與奇數圖場之間的混疊及雜訊。 在一些重新取樣態樣中，多相位重新取樣器經實施用於 圖像大小重新設定。在減少取樣之一實例中，最初的圖像 與經重新設定大小之圖像之間的比可為；7/g，其中/7及分係 互為質數的整數。相位之總數目為p。對於約為0.5的重新 設定大小因數，多相位濾波器之截止頻率在一些態樣中為 0.6。截止頻率不完全匹配重新設定大小比，以便提高經 重新設定大小之序列之高頻回應。此不可避免地允許一些 混疊。然而，眾所熟知，與模糊且無混疊之圖像相比，人 眼更喜歡清晰但有一點混疊之圖像。 圖42說明多相位重新取樣之一實例，其展示重新設定大 小比為3/4時的相位。圖42中所說明之截止頻率亦為3/4。在 以上圖42中用垂直軸說明最初的像素。亦將正弦函數（sine function)繪製為以該等軸為中心以表示濾波器波形。因為 吾等選擇截止頻率與重新取樣比完全相同，所以正弦函數 119491.doc -49- 200803504 之零在重新設定像素大小之後與像素 中用十 之位置重疊，在圖42 素值，

vO) = 2 以(/) X sin « (/ - X)) /=—00 (41) 以上1-D多相位濾波器可適用於水平尺 其中/c為截止頻率。以， 寸與垂直尺寸。 # 在NTSC電視信號中， 重新取樣（重新设定大小）之另一態樣係解決過度掃描。 一影像具有486條掃描線，且在數位 視訊中，每一條掃描線上可具有72〇個像素。然而，由於 該大小與螢幕格式之間的失配，並非所有完整影像均可在 電視上看見。影像之不可見部分被稱為過度掃描。 為幫助廣播台將有用資訊置於對盡可能多之電視可見之 區中，電影及電視工程師協會（SMPTE)定義了被稱為安全 動作區及安全標題區之動作圖框之特殊大小。見SMpTE推 薦的關於用於電視糸統之安全動作區及安全標題區測試樣 式之說明書的實踐RP 27.3-1989。安全動作區被定 義為’’所有顯著動作必須發生”之區。安全標題區被定義為 π可限制所有有.用資訊以確保在大多數家用電視接收器上 之可見性”之區。舉例而言，如圖43中所說明，安全動作 區43 10佔據螢幕之中心90〇/〇，周圍給出5%之邊界。安全標 題區4305佔據螢幕之中心80%，給出10%之邊界。 現參看圖44，因為安全標題區如此小，所以為了在影像 中添加更多内容，一些廣播將在安全動作區中包括本文， 119491.doc -50- 200803504 該本文係在白色矩形窗44〗5内部。通常在過度掃描中可看 見黑色邊界。舉例而言，在圖44中，黑色邊界出現在影像 之上侧4420及下侧4425。可在過度掃描中移除此等黑色邊 界’因為H.264視訊在運動估計中使用邊界延伸。經延伸 之黑色邊界可增加殘餘。吾等可適當地將邊界消減2%， 且接著進行重新設定大小。可因此產生用於重新設定大小 之濾、波器。在多相位減少取樣之前執行截斷以移除過度掃 描。 ®除塊/除環 在除塊處理之一實例中，可對一圖框之所有4x4個區塊 邊緣（該圖框之邊界處之邊緣及被禁用除塊濾波器過程之 任何邊緣除外）應用除塊濾波器。將在完成圖框構造過程 之後以巨集區塊為基礎執行此濾波過程，一圖框中之所有 巨集區塊係以遞增之巨集區塊位址之次序予以處理。對於 每一巨集區塊，首先自左至右濾波垂直邊緣，且接著自頂 φ 至底濾波水平邊緣。對於水平方向且對於垂直方向，在四 個16樣本邊緣上執行luma除塊濾波過程且在兩個8樣本邊 緣上執行用於每一色度分量之除塊濾波過程，如圖39中所 展示。可能已經藉由對先前巨集區塊之除塊過程操作予以 修改的當前巨集區塊之上方及至左方之樣本值將用作對當 月ίι巨集區塊之除塊濾波過程之輸入且可在對當前巨集區塊 之濾波期間進一步予以修改。在對垂直邊緣之濾波期間加 以修改之樣本值可用作用於同一巨集區塊之水平邊緣之濾 波的輸入。對於luma及色度分量可單獨調用除塊過程。 119491.doc -51 · 200803504 在除環處理之一實例中，可適應性地應用2-D濾波器以 使邊緣附近的區平滑。邊緣像素經歷很少濾波或不經歷渡 波以便避免模糊。 GOP分割器 以下描述包括可包括於GOP分割器中之頻寬映射產生、 分鏡偵測及適應性GOP分割之處理的說明性實例。 頻宽映射產生 人類視覺品質V可為編碼複雜性C與經配置之位元B之函 數（亦稱作頻寬）。圖29係說明此關係之圖表。請注意，自 人類視覺觀點看，編碼複雜性度量C考慮空間及時間頻 率。因為人眼對失真更敏感，所以複雜性值相應較高。通 常可假定：V在C中單調遞減，且在b中單調遞增。 為達成恆定的視覺品質，將頻寬（Bi)指定給待編碼之第i 個物件（圖框或MB)，該頻寬（Bi)滿足正下方之兩個等式中 所表示之標準：

(42) ’ (43) 在正上方之兩個等式中，C ·為楚Wia此/止 >>, 、τ h砀弟1個物件之編碼複雜性， B為總的可用頻寬，且V為對於一鉍放私、各上[ 7^ 物件所達成的視覺品 ’未精確定義以上 變數中係連續的， 内不變。在以下所 人類視覺品質難以用等式表示。因此 等式組。然而，若假定3-D模型在所有 則可認為頻寬比（¾)在（C，V)對之鄰域 119491.doc -52- (44) (44)200803504 、展示之等式中定義頻寬比A: 可接著如以下等式中所表示定義位元配置： 1 (45) 其中 〇5(c0，f0) 其中δ指示"鄰域”。 編碼複雜性在空間與時間上受人類視覺敏感性的影響。 Girod之人類視覺模型係可用於定義空間複雜性之模型之、 一實例。此模型考慮局部空間頻率及環境照明。所得度量 被稱為Dcsat。在該過程中之預處理點處，不知道一圖像將 經圖框内編碼還是經圖框間編碼且產生用於兩者之頻寬 比。根據不同視訊物件之心訂w之間的比而配置位元。對 於經圖框内編碼之圖像，頻寬比表示於以下等式中：

PlNTRA β〇ΙΝΏΜ + 辽INTRAY Dcsat) (4 6 ) 在以上等式中，：r為一巨集區塊之平均輝度分量， 為用於輝度平方及其後之A⑽項的加權因數，係用 於保證ι = ^Α之正規化因數。舉例而言，之值達成 優良視覺品質。内容資訊（例如，内容分類）可用於將α/ΛΓ：π^ 設定為一值，該值對應於視訊之特定内容之所要的優良視 覺品質等級。在一實例中，若視訊内容包含”發言者頭部 (talking head)"新聞廣播，則因為可能認為該視訊之資訊 119491.doc -53- 200803504 影像或可顯示之部分不如音 曰Α邠分重要，所以可將視覺品 質專級设定為較低，且可 j配置較少位元用來編碼資料。在 另一實例中，若視訊内衮白入 匕s體月運動事件，則因為對於 檢視者而言所顯示之影傻爭 彳冢更為重要，所以内容資訊可用於 將設定為對應於較高葙眷 平乂回祝見ϋσ質等級之值，且因此可 配置更多位元用來編碼資料。 為理解此關係’晴注意，頻寬係以對數方式配置有編碼

複雜性。輝度平方項以映具有較大量值之純使用較多 位70來編碼之事實。為卩大μ Λ為防止對數得到負值，添加一至括號 中之項。亦可使用具有其他基數之對數。 曰時間複雜性係藉由對圖框差異度量之量測加以確定，該 里測在考慮運動里（例如，運動向量）以及諸如絕對差之和 (SAD)之圖框差異度量的情況下量測兩個連續圖框之間 差異。 用於經圖框間編碼之圖像之位元配置可考慮空間複雜性 以及時間複雜性。此表示於以下：

Pinter^ Pm\〇Zx^aINTER ^ SSD · Dcsat txp^r\\MVP +MVNf)) (4?) 在以上等式中，MVp&MVn為用於當前MB之前向運動 向1及後向運動向量。可注意到，經圖框内編碼之頻寬公 式中之Y由平方差之和（SSD)所替換。為理解以上等式中 l|MKp+M〜|丨2之作用，注意人類視覺系統之以下特徵：經 歷平滑、可預測的運動（小的丨丨j丨2)之區吸引注音 力且可由眼睛追蹤且通常不可忍受比靜態區域還多的失 119491.doc •54- 200803504 …’、、、:而’經歷快速或不可預測的運動（大的+从&丨|2) 之區不可被追蹤且可忍受顯著量化。實驗表明： α/Λ™=1、产0·0〇1達成優良視覺品質。 分鏡偵蜊 乂下描述分鏡偵測之一說明性實例。該等組件及過程可 包括於GOP分割器412(圖4)中。 運動補償器2068可經組態以確定關於視訊中之圖框之雙 向運動貧訊。運動補償器2068亦可經組態以確定一或多個 差…度里’例如絕對差之和（SAD)或平方差之和（SSD)，且 計算包括用於一或多個圖框之輝度資訊（例如，巨集區塊 (MB)輝度平均值或差異）、一輝度直方圖差異及一圖框差 異度量的其他資訊，參考等式1至3描述該等其他資訊之實 例。分鏡分類器可經組態以使用由運動補償器所確定之資 訊將視訊中之圖框分類成兩類或兩類以上之"分鏡"。編碼 為經組態以基於該等分鏡分類而適應性地編碼複數個圖 框。以下參考等式1至10描述運動補償器、分鏡分類器及 編碼器。 圖28為一根據一些態樣之預處理器2〇2之方塊圖，該預 處理器202包含-經組態以用於分鏡㈣及其他預處理操 作之處理器2831。可由在如圖4中所展示之預處理器2〇2外 部之源提供數位視訊源且將數位視訊源傳遞至預處理器 202中之一通信模組2836。預處理器2〇2含有一與處理器 2831通信之儲存媒體2835，處理器2831與儲存媒體Μ”均 與通信模組2836通信。處理器2831包括可操作以如本文中 119491.doc -55- 200803504 所描述般產生運動資訊、分類視訊資料之圖框中之分鏡並 執盯其他預處理測試之一運動補償器2832、一分鏡分類器 2833及用於預處理之其他模組28料。運動補償器、分鏡分 類器及其他权組可含有類似於圖4中之對應模組之過程， 且可處理視訊以確定以下所描述之資訊。詳言之，處理器 283 1可具有一組態以··獲得指示複數個視訊圖框之相鄰圖 忙之間的差異之度量（該等度量包含雙向運動資訊及輝度 ^ 資訊），基於該等度量而確定該複數個視訊圖框中之分鏡 變化，並基於該等分鏡變化而適應性編碼該複數個圖框。 在一些態樣中，可藉由在處理器2831外部之器件或過程來 计算該等度置，該器件或過程亦可在預處理器2〇2外部且 直接或間接經由另一器件或記憶體與處理器2831通信。亦 可由處理态2831計算該等度量，例如，由運動補償器2832 計算該等度量。 預處理器202將用於進一步處理、編碼及傳輸之視訊及 φ 兀資料提供至其他器件，例如，終端機6(圖1)。經編碼之 視訊在一些態樣中可為可包含一基本層及一增強層的可縮 放之經多層編碼之視訊。可縮放之層編碼進一步描述於標 題為"Scalable Video Coding With Two Layer Encoding And

Single Layer Decoding”的同在申請中之美國專利申請案 [律師檔案號為050078]中，該申請案歸本發明之受讓人所 擁有且其以全文引用之方式併入本文中。 結合圖28及本文所揭示之其他實例及圖式所描述之多種 說明性邏輯區塊、組件、模組及電路在一些態樣中可用以 119491.doc -56- 200803504 下器件加以實施或執行：通用處理器、數位信號處理器 (DSP)、特殊應用積體電路（ASIC)、場可程式閘陣列 (FPGA)或其他可程式邏輯器件、離散閘或電晶體邏輯、離 散硬體組件或其任何組合，以上所述經設計以執行本文所 描述之功能。諸如圖28中所展示之處理器之通用處理器可 為微處理器，但在替代實施例中，處理器可為任何習知處 理裔、控制器、微控制器或狀態機。處理器亦可實施為計 算器件之組合，例如，一Dsp與一微處理器之組合、複數 個微處理器之組合、一或多個微處理器以及一 Dsp核心之 組合’或任何其他此種組態。 視訊編碼通常作用於圖像之結構化群（G〇p)。一 G〇p通 常由經圖框内編碼之圖框（1圖框）開始，其後是一系列p(預 測）或B(雙向）圖框。通常，一工圖框可儲存用於顯示該圖框 =所有資料，一 B圖框依賴於前一圖框及後一圖框中之資 料（例如，僅含有自前一圖框變化之資料或不同於下一圖 中=資料）’且一 p圖框含有已自前一圖框變化之資料。 在9通使用中，在經編碼之視訊中，I圖框散佈有P圖框 圖忙就大小（例如，用於編碼該圖框之位元之數目） 、口 1圖框通《比P圖框大得多，P圖框又比B圖框大。對 於^效率的編碼、傳輸讀碼處理，GQp之長度應足夠長 月匕夠減夕來自大的1圖框之有效損失，且應足夠短而能 句P、止、扁碼器與解碼器之間的失配，或通道損害。此外， ;同的原因，p圖框中之巨集區塊（MB)可經圖框内編 竭。 H949l.doc 57 - 200803504 場景變化偵測可用於視訊編碼器以確定適當的G 〇 p長度 且基於GOP長度插入〗圖框，而不是以固定間隔插入1圖 框。在-實際串流視訊系統中，通信通道通常由於位元誤 差或封包損失而受損害。將丨圖框或j Μβ置於哪里可顯著 影響解碼視訊品質及檢視體驗。一種編碼機制係對於具有 自經配置之先前圖像或圖像部分之顯著改變的圖像或圖像 部分使用經圖框内編碼之圖框。通常不可用運動估計有效 鲁且有效率地預測此等區域，且若該等區域不受圖框間編碼 技術（例如，使用B圖框及P圖框之編碼）作用，則可更有效 率地進行編碼。在通道損害的情況下，此等區域可能遭受 誤差傳播，可藉由圖框内編碼減少或消除（或幾乎如此）該 誤差傳播。 可將GOP視訊之部分分類成兩類或兩類以上，其中每一 區域可具有不同的圖框内編碼標準，其可取決於特定實施 例作為一實例，可將視訊分類成三類··突然的場景變 φ 化又又衰落及其他緩慢的場景變化，及攝影機閃光燈。 突然的場景變化包括通常由攝影機操作造成之顯著不同於 先前圖框之圖框。因為此等圖框之内容不同於先前圖框之 内谷，所以突然的場景變化圖框應編碼為j圖框。交叉衰 落及其他緩的場景變化包括通常由攝影機分鏡之電腦處 理造成的場景之、緩慢切Μ。兩冑不同景之逐漸摻混在人 眼看來可月b更令人滿意，但其提出對視訊編碼之挑戰。運 動補償不可有效地減少彼等圖框之位元速率，且對於此等 圖框可更新更多的内部MB。 119491.doc •58- 200803504 當圖框之内容包括攝影機間光時，攝影機閃光燈或攝影 機閃光事件出現。該等閃光在持續時間上相對短⑽如^ 一圖框））且極明亮，以致一描繪該等閃光之圖框中之像素 相對於一相鄰圖框上之一對應區展示出通常高的輝度。攝 影機閃光燈突然且迅速地改變圖像之輝度。攝影機閃光燈 之持續時間通常比人類視覺系統（HVS)之暫時遮蔽持續= 間短’人類視覺系統（HVS)之暫時遮蔽持續時間通常被定 義為44 ms。人眼對此等短的亮度叢發之品質不敏感，且 因此可對其進行粗略編碼。因為不可用運動補償有效地處 理閃光燈圖框且閃光燈圖框係將來圖框之不良的預測候選 者，所以此等圖框之粗略編碼不會減少將來圖框之編碼效 率。由於"人工的"高輝度，經分類為閃光燈之場景不應用 於預測其他圖框，且由於同一原因，其他圖框不可有效地 用於預測此等圖框…旦識別此等圖框，便可取出此等圖 框因為此等圖框需要相對高的處理量。一選項為移除攝 •影機閃光燈圖框且在攝影機閃光燈圖框之位置中編碼一 DC係數；此種解決方法係簡單的，在計算上係快速的且 節省許多位元。 當偵測到以上圖框之任一者時，宣告一分鏡事件。分鏡 偵測不僅有助於改良編碼品質，而且亦可幫助識別視訊内 容搜尋及編索引。在下文中描述場景偵測過程之一態樣。 圖3 0說明一作用KG〇p且在一些態樣中可用於基於視訊 圖框中之分鏡偵測而編碼視訊之過程3000，其中過程3000 之部分（或子過程）係參看圖3〇至圖4〇予以描述及說明。處 119491.doc -59 - 200803504 理器2831可經組恶以併有過程3〇〇〇。在過程川⑼開始之 後，過程3000進行至步驟3〇42，在步驟儿“中，獲得用於 視訊圖框之度量（資訊），該等度量包括指示相鄰圖框之間 的差異之資訊。該等度量包括隨後用於確定出現在相鄰圖 框之間的變化之雙向運動資訊及基於輝度之資訊，該資訊 可用於分鏡分類。彳自另—器件或過程獲得該等度量，或 由（例如）處理器2831計算該等度量。參考圖31中之過程a 描述度量產生之說明性實例。 過程3000接著進行至步驟3〇44，在步驟如料中，基於該 等度量確定視訊中之分鏡變化。可將視訊圖框分類成兩類 或兩類以上的包含於圖框中之分鏡類型，例如，突然的場 景變化、緩慢變化之場景或含有高輝度值之場景(攝影閃 光）。某些實施例編碼可能需要其他類。參考圖Μ中之過 程MU細參考圖34至圖36中之過程D、描述分鏡 分類之一說明性實例。

-旦對圖框進行了分類’過程職便進行至步驟綱6, 在步驟遍中’可使用分鏡分類結果來編碼圖框或為編碼 指定圖框。該等結果可料是用經圖_編碼之圖框來編 碼圖框還是用預測圖框（例如，P圖框或B圖框）來編碼圖 框。圖33中之過程C展示—使用分鏡結果之編碼機制之一 實例。 圖31說明-用於獲得視訊度量之過程的—實例m規 明出現於圖30之步驟3042中之某些步驟。仍參看圖3卜在 步驟3152中’過程A獲得或確定視訊之雙向運動估計及補 119491.doc • 60 · 200803504 償資訊。圖28之運動補償器2832可經組態以對圖框執行雙 向運動估計且確冑可用賴後 < 分鏡分類之運動補償資 訊。過程A接著進行至步驟3154，在步驟3154中，過程a 產生包括用於當前或選定圖框與一或多個相鄰圖框之輝度 差異直方圖之輝度資訊。最後，過程A接著繼續至步驟 31=，在步驟3156中，計算—指示圖框中所含有之分鏡之 度里。一此種度量為在兩個實例中於等式4及1〇中展示之 #圖框差異度量。以下描述嫁定運動資訊、輝度資訊及圖框 差異度量之說明性實例。 運動補償 為執行雙向運動估計/補償，可用一雙向運動補償器預 處理-視訊序列，該雙向運動補償器將當前圖框之每一 8x8區塊與最相鄰的鄰近圖框中之兩個圖框（一個在過去， 且一個在將來）中的區塊匹配。運動補償器產生每一區塊 之運動向量及差異度量。圖37說明此概念，圖37展示將一 雛當前圖框C之像素與一過去圖框p及一將來的（或下一）圖框 N之像素匹配的一實例，且圖37描繪至經匹配之像素之運 動向里（過去運動向量MVP及將來運動向量MVn)。以下是 、子雙向運動向里產生及有關編碼之一說明性態樣之簡短描 述。 圖40說明一運動向量確定過程及（例如）MpEG_4中之預 測圖框編碼之-實例。圖4〇中所描述之過程係對可在圖Μ 之步驟3152中發生之實例過程的更詳細說明。在圖4〇中， 當前圖像4034係由5x5個巨集區塊組成，其中此實例中之 11949l.doc -61 - 200803504 巨集區塊之數目係任意的。一巨集區塊係由16x16個像素 組成。可藉由一 8位元輝度值（Y)及兩個8位元色度值（Cr及 Cb)來定義像素。 在MPEG中，可以4:2:0格式儲存Y、Cr及Cb分量，其中 在X及Y方向中減少取樣Cr及Cb分量/減少取樣量為2。因 此，每一巨集區塊將由256個Y分量、64個Cr分量及64個 Cb分量組成。在一不同於當前圖像4034之時間點處，自參 考圖像4032預測當前圖像4034之巨集區塊4036。在參考圖 _ 像4032中進行搜尋以定位在Y、Cr及Cb值上最接近正被編 碼之當前巨集區塊4036之最佳匹配巨集區塊4038。在運動 向量4040中編碼最佳匹配巨集區塊4038在參考圖像4032中 之位置。參考圖像4032可為解碼器在構造當前圖像4034之 前便已重建之I圖框或P圖框。自當前巨集區塊4036中減去 最佳匹配巨集區塊4038(計算Y、Cr及Cb分量之每一者之差 異），從而產生殘餘誤差4042。用二維（2D)離散餘弦變換 (DCT)4044編碼殘餘誤差4042且接著將其量化4046。可執 行量化4046以藉由（例如）向高頻係數分配較少位元而向低 頻係數分配較多位元而提供空間壓縮。殘餘誤差4042之經 量化之係數以及運動向量4040及參考圖像4034識別資訊係 表示當前巨集區塊4036之編碼資訊。編碼資訊可儲存於記 憶體中以供將來使用或出於（例如）誤差校正或影像增強之 目的加以操作，或在網路140上加以傳輸。 殘餘誤差4042之經編碼經量化之係數以及經編碼之運動 向量4040可用於在編碼器中重建當前巨集區塊4036以用作 119491.doc -62- 200803504 一用於隨後運動估計及補償之參考圖框之一部分。編碼器 可仿效用於此P圖框重建之解碼器之程序。仿效解碼器將 導致編碼器與解碼器以相同參考圖像工作。此處呈現重建 過程，該重建過程在編碼器中進行以用於進一步圖框間編 碼或者在解碼器中進行。可在重建參考圖框（或正被參考 之圖像或圖框之一部分）之後開始重建P圖框。解量化4〇5〇 經編碼經量化之係數且接著執行二維離散餘弦逆變換DcT 或IDCT 4052 ’從而產生經解碼或重建之殘餘誤差4〇54。 經編碼之運動向量4〇4〇經解碼且用於在已經重建之參考圖 像4032中定位已經重建之最佳匹配巨集區塊4〇56。接著將 經重建之殘餘誤差4054添加至經重建之最佳匹配巨集區塊 4056以形成經重建之巨集區塊4〇58。經重建之巨集區塊 4058可儲存於記憶體中，獨立地或與其他經重建之巨集區 塊一起顯示於一圖像中，或經進一步處理以用於影像增 強。

使用B圖框之編碼（或用雙向預測予以編碼之任何區段） 可利用當前圖像中之一區域與前一圖像中之一最佳匹配預 測區域及後-圖像中之__最佳匹配預測區域之間的時間冗 餘。/組合後—最佳匹配預測區域與前-最佳匹配預測區域 μ成-組合的雙向預測區域。當前圖像區域與最佳匹配 的組合的雙向預測區域之問 之間的I異為殘餘誤差（或預測誤 可在兩個運動向吾φ絶 瓦 .^ 门里中、扁碼最佳匹配預測區域在後一 參考圖像中之位置及最佳匹配 預J &域在則一參考圖像中 119491.doc -63 - 200803504 輝度直方圖差異 運動補償器可產生每一區塊之差異度量。該差異度量可 為平方差之和（SSD)或絕對差之和（SAD)。在不損失一般性 的情況下，此處SAD係用作一實例。 對於每一圖框，將SAD比計算如下：

ε + SADP γ =-— ε + SADn (48) 其中以£)/>及MD#分別為前向及後向差異度量之絕對差之 _ 和。請注意，分母含有一小的正數ε以防止，，被除以零，，的 誤差。分子亦含有ε以平衡分母中之效應。舉例而言，若 刚一圖框、當前圖框及下一圖框係相同的，則運動搜尋應 產生SADP=SADN=0。在此狀況下，以上計算產生广丨而不 是〇或無限。 可為每一圖框計算一輝度直方圖。多媒體影像通常具有 8位元之輝度深度（例如，”區間（Μη)"之數目）。根據一些態 ❿樣用於計算輝度直方圖之輝度深度可經設定為16以獲得直 方圖。在其他態樣中，輝度深度可經設定為適當數目，該 適當數目可取決於正被處理之資料之類型、可用的計算功 率或其他預定標準。在一些態樣中，可基於計算出或接收 到之度量（諸如，資料之内容）而動態設定輝度深度。 等式49說明計算輝度直方圖差異（希臘字母λ)之一實例··

其中NPi為用於前一圖框之第〖個區間中之區塊的數目 119491.doc •64· 200803504 且NCi為用於當前圖框之第i個區間中之區塊的數目，且N 為一圖框中之區塊之總數目。若前一圖框與當前圖框之輝 度直方圖差異完全不同（或不相交），則λ=2。 可如等式50中所展示計算參考圖5之區塊56所論述之圖 框差異度量D : °^^ + Αλ{2λ + \) Υρ ’ (50) 且 ^ , ε + SADp

其中Α為根據應用所選擇之常數，且〜^—SADN ΪΡ

e + SADDD

ε + SADC 圖32說明一使用對於視訊所獲得或確定的度量來確定三 類分鏡（或場景）變化之過程B的一實例。圖32說明在圖30 之步驟3044之一態樣中出現的某些步驟。再參看圖32，在 步驟3262中，過程B首先確定圖框是否滿足將被指定為突 然的場景變化之標準。圖34中之過程D說明此確定之一實 例。過程B接著進行至步驟3264，在步驟3264中，確定該 圖框是否為缓慢變化之場景之一部分。圖35中之過程C說 明確定緩慢變化之場景之一實例。最後，在步驟3266處， 過程B確定圖框是否含有攝影機閃光（換言之，不同於前一 圖框之大的輝度值）。圖36中之過程F說明確定含有攝影機 閃光之圖框之一實例。以下描述此等過程之一說明性實 例。 突然的場景變化 圖34為說明一確定突然的場景變化之過程之流程圖。圖 119491.doc -65- 200803504 34進一步詳細闡述可在圖32之步驟3262之一些態樣中出現 的某些步驟。在步驟3482處檢查圖框差異度量D是否滿足 等式5 1中所展示之標準： 〇^^^Αλ(2λ^\)>Τλ

Yp (51) 其中Α為根據應用所選擇之常數，且為臨限值。若滿足 该標準’則在步驟3484處，過程D指定該圖框為突然的場 景變化’且在此實例中，不需要任何其他的分鏡分類。 鲁 在一實例中’模擬展示設定Α= 1且1^ = 5達成優良偵測效 能。若當前圖框為突然的場景變化圖框，則斤應大且^應 y_c_ 〜 小。可使用比〜而不單獨使用π以使得度量經正規化為上 下文之活動等級。 明注意，以上標準以非線性方法使用輝度直方圖差異 (λ)。圖39說明λ* (2λ+1)為凸函數。當χ小（例如，接近於 零）0寸，其僅僅為預強調。λ變大時，藉由該函數進行更多 φ 強"周。在此預強調的情況下，對於大於1 ·4之任何λ，若臨 限值Τ!經設定為5，則偵測到突然的場景變化。 交又衰落及緩慢的場景變化 圖35進一步說明可在圖32之步驟3264中出現之一些態樣 的其他細節。參看圖35，在步驟3592處，過程E確定圖框 是否為描繪緩慢的場景變化之一系列圖框之一部分。若圖 框差異度量D小於第一臨限值且大於或等於第二臨限值 如等式52中所說明），則過程Ε確定當前圖框為交叉衰落 或其他緩慢的場景變化： 119491.doc -66 - (52) 200803504 T2<D<Tx 對於某數目個連續圖框，直中r盘 咬只口扎八〒為以上所用之同一臨限值 且h為另-臨限值。由於實施例中可能的差異，l及巧之 確切值通常係藉由正常實驗加以確^ 1滿足標準，則在 區塊359慎’過框㈣為用於敎圖框末端之緩 慢變化的場景分鏡分類之一部分。 攝影機閃光燈事件

圖36中所展不之過程^為可確定當前圖框是否包含攝影 機閃光燈之過程之一實例。在此說明性態樣攝影機中，輝 度直方圖統計係用於確定t前圖框是否包含攝影機閃光 燈。如步驟3602處所展示，過程F藉由首先確定當前圖框 之輝度是否大於前—圖框之輝度及下-圖框之輝度來確定 ㈣機閃光事件係在敎圖框中。若答案為否，則圖框不 疋攝〜機閃光事件，但若答案為是，則圖框可能為攝影機 閃光事件。在步驟3604處，過程㈣定後向差異度量是否 大於臨限值τ3’且前向差異度量是否大於臨限值A，·若兩 個此等條件均得到滿足，則在步驟3606處，過程F將者前 圖框分類為㈣攝影機閃光燈。在—實例中，在步驟^ *過私F確疋當前圖框之平均輝度減去前一圖框之平 =是否等於或超過臨限值。且過程叫定當前圖框之 Γ =減去T1框之錢輝度是否大於或等於臨限值 A，如專式53及54中所展示： fc-rP>r3 119491.doc •67- (53) 200803504

Yc-Yn^T3 (54) 若不滿足標準，則不將當前圖框分類為包含攝影機閃光 燈且過程F返回。若滿足標準，則過程ρ進行至步驟36〇4， 在步驟3604中，確定後向差異度量及前向差異度量 是否大於特定臨限值I，如以下等式55及56中所說 明： SADP > T4 (55) _ (56) 其中Yc為當前圖框之平均輝度，為前一圖框之平均輝 度，ΥΝ為下一圖框之平均輝度，且WDp及以/)#為與當前 圖框相關聯之前向及後向差異度量。若不滿足標準，則過 程F返回。 因為實施所描述之過程可導致包括臨限值之操作參數中 之差異，所以A值通常係藉由正常實驗加以確定。因為攝 影機閃光通常僅進行一個圖框，所以SAD值係包括於確定 _ 中’且由於輝度差異，不可能使用運動補償自前向與後向 方向良好地預測此圖框。 在一些態樣中，臨限值L、T2、T3及T4中之一或多者經 預定且該等值經併入於編碼器件中之分鏡分類器中。通常 經由分鏡偵測之一特定實施例之测試來選擇此等臨限值。 在一些態樣中，可基於供應至分鏡分類器之使用資訊（例 如’元資料）或基於由分鏡分類器本身計算出的資訊在處 理期間（例如，動態地）設定臨限值T!、τ2、工3及τ4中之一 1194914( -68 - 200803504 或多者。 現參看圖33，圖33展示一用於基於選定圖框之分鏡分類 而確定用於視訊或用於編碼該視訊之編碼參數的過程c。 在γ驟3370處，過程c確定選定圖框是否經分類為突然的 。τ、變化若答案為是，則在步驟3 3 71處，將當前圖框分 颏為大然的場景變化，且可將圖框編碼為j圖框並可確定 G〇P邊界。若答案為否，則過程C進行至步驟3 372 ;若當 鲁别圖框經分類為緩慢變化之場景之一部分，則在步驟Μ” 處可將緩慢變化之場景中之當前圖框及其他圖框編碼為預 測圖框（例如，P圖框或B圖框）。過程c接著進行至步驟 3374在步驟3374處，檢查當前圖框是否經分類為包含攝 影機閃光之閃光燈場景。若答案為是，則在步驟3375處可 識別圖框用於特殊處理，例如，移除、複製前一圖框，或 編碼一用於該圖框之特定係數。若答案為否，則不進行當 刖圖框之任何分類且可根據其他標準來編碼選定圖框，將 φ 選疋圖框編碼為1圖框或丟棄。可在編碼器中實施過程C。 在上述態樣中，藉由圖框差異度量乃指示待壓縮之圖框 與該圖框之相鄰的兩個圖框之間的差異量。若偵測到顯著 的單向輝度變化1，則其表示圖框中之交叉衰落效應。交 叉衰落愈顯著，可藉由使用B圖框達成愈大的增益。在一 些悲樣中，使用如以下等式57中所展示的經修改之圖框差 異度量： 119491.doc -69- 200803504 1 一 α + - A丨 〇l = |v JxZ)，若心一 或尽 、A否則， ’ (57) 其中办=|YC-YP丨及丨YC-YN|分別為當前圖框與前一圖框 之間的luma差異及當前圖框與下一圖框之間的luma差異，， △表示可在正常實驗中加以確定之常數（因為其可取決於實 施例），且CX為具有在〇與丨之間的值之加權變數。 若觀察到luma變化之一致趨勢且變化強度足夠大，則經 修改之圖框差異度量僅不同於最初的圖框差異度量乃。 认等於或小於Z)。若luma之變化係穩定的（dp = dN)，則經修 改之圖框差異度量Z);小於最初的圖框差異度量£>，最低比 為（1-小 以下表1展示藉由添加突然的場景變化偵測得到的效能 改良。非場景變化（NSC)與場景變化（sc)狀況中，I圖框之 總數目大致相同。在NSC狀況中，I圖框係均勻分佈於整個 序列中，而在SC狀況中，I圖框僅指定給突然的場景變化 圖框。 可見在PSNR方面通常可達成0.2〜0.3 dB的改良。模擬結 果展示·分鏡偵測器在確定以上所提及之分鏡事件中非常 準確。對具有正常交叉衰落效應之五個碼片之模擬展示： 在Δ=5·5及α=0·4的情況下，在同一位元速率下達成 0.226031 dB 之 PSNR增益。 119491.doc -70- 200803504 序列\度量 位元速率(kbps) 平均QP PSNR(dB) 動畫NSC 226.2403 3L1696 35.6426 動晝SC 232.8023 29.8171 36.4513 音樂NSC 246.6394 32.8524 35.9337 音樂SC 250.0994 32.3209 36.1202 標題NSC 216.9493 29.8304 38.9804 標題新聞SC 220.2512 28.9011 39.3151 籃球NSC 256.8726 33.1429 33.5262 籃球SC 254.9242 32.4341 33.8635 表1 :突然的場景變化偵測之模擬結果 • 適應性GOP結構 以下描述適應性GOP結構操作之一說明性實例。該等操 作可包括於圖4之GOP分割器412中。雖然可強加一規則結 構，但MPEG2(較舊的視訊壓縮標準）不要求GOP具有一規 則結構。MPEG2序列總是以I圖框開始，亦即，已在不參 考先前圖像的情況下予以編碼之圖框。通常藉由固定在I 圖框之後的P圖像或預測圖像的GOP中之間距在編碼器處 預先配置MPEG2 GOP格式。P圖框係已自先前I圖像或P圖 像予以部分預測之圖像。起始的I圖框與後續的P圖框之間 的圖框經編碼為B圖框。” Βπ圖框（B代表雙向）可個別或同 時使用先前的及接下來的I圖像或Ρ圖像作為參考。用於編 碼I圖框之位元之數目平均會超過用於編碼Ρ圖框之位元之 數目；同樣，用於編碼Ρ圖框之位元之數目平均會超過用 於編碼Β圖框之位元之數目。若使用被跳過的圖框，則該 圖框可不使用任何位元用於其表示。 使用Ρ圖框及Β圖框及（在更近的壓縮演算法中的）圖框之 119491.doc •71 - 200803504 跳躍之一益處在於，有可能減小視訊傳輸大小。當時間冗 餘較高時（例如’當圖像間存在小變化時），p圖像、B圖像 或被跳過的圖像之使用有效地表示視訊流，因為早先經解 碼之I圖像或P圖像稍後係用作解碼其他p圖像或B圖像之參 考。 一圖像群分割器適應性地編碼圖框以最小化時間冗餘。 量化圖框之間的差異且在對經量化之差異執行適宜之測試 之後自動作出-藉由ί圖框、P圖框、B圖框或被跳過的圖 框來表示圖像之決策。藉由預處理器202之其他操作來辅 助GOP分割器中之處理，該處理提供濾波以用於雜訊移 除。 適應性編碼過程具有在"固定的"編碼過程中不可獲得之 優點。固定的過程忽略内容中已發生小變化的可能性；然 而，適應性程序允許將更多的Β圖框插入每一 j圖框與ρ圖 框之間或兩個Ρ圖框之間，藉此減少用於充分表示圖框序 列之位兀的數目。相反，（例如）在固定的編碼過程中，當 視訊内容中之變化較顯著時，因為預測圖框與參考圖框之 間的差異太大，所以Ρ圖框之效率被大大減少。在此等條 件下，匹配的物件可能自運動搜尋區域中掉出，或由於由 攝影機角度的變化造成的失真而使匹配的物件之間的類似 性減少。適應性編碼過程可有利地用於視需要確定應在何 時編碼Ρ圖框。 在本文所揭示之系統中，自動感測以上所描述之條件之 類型。本文所描述之適應性編碼過程係靈活的且使其適人 119491.doc -72- 200803504 於内谷的此等變化。適應性編碼過程評估一圖框差異度 f，該圖框差異度量可被認為是對具有相同的相加性距離 屬性的圖框之間的距離之量測。在概念上，倘若圖框h、 F2及Fs具有圖框間距離(112及13，則認為匕與匕之間的距離 至少為dirfd23 〇在此類似距離之度量及其他量測之基礎上 進行圖框指定。 GOP分割器412藉由當接收到圖框時將圖像類型指定給 圖框而操作。圖像類型指示可用於編碼每一區塊之預測方 法： 在不參考其他圖像下編碼I圖像。因為I圖像係獨立的， 所以其在資料流中提供存取點，於該等存取點處可開始解 碼。若至一圖框之前導圖框之”距離”超過場景變化臨限 值’則將I編碼類型指定給該圖框。 P圖像可使用先前的I圖像或P圖像來進行運動補償預 測。P圖像使用先前圖場或圖框中之可自正被預測之區塊 移動的區塊作為編碼之基礎。在自正被考慮之區塊減去參 考區塊之後’通常使用用於消除空間冗餘之離散餘弦變換 來編碼殘餘區塊。若一圖框與經指定為p圖框之最後圖框 之間的’’距離’’超過一通常小於第一臨限值之第二臨限值， 則將P編碼類型指定給該圖框。 B圖框圖像可如上所述使用先前的及接下來的p圖像或I 圖像來進行運動補償。可前向、後向或雙向地預測B圖像 中之區塊；或可在不參考其他圖框的情況下對該區塊進行 圖框内編碼。在H.264中，參考區塊可為來自多達32個圖 119491.doc -73- 200803504 框之多達32個區塊之線性組合。若不可將圖框指定為i類 型或P類型，若自該圖框至該圖框之緊靠的前導圖框之”距 離’’大於一通常小於該第二臨限值之第三臨限值，則將該 圖框指定為B類型。若不可將圖框指定為變成經編碼之b 圖框，則將該圖框指定為"跳躍圖框"狀態。可跳過此圖 框’因為其實際上為前一圖框之複本。 評估一以顯示次序量化相鄰圖框之間的差異之度量係此 處理之第一部分，其發生於G〇p分割器412中。此度量係 以上所提及之距離；用此度量對每一圖框之適當類型進行 評估。因此，I圖框與相鄰的p圖框之間或兩個相繼的p圖 框之間的間距可變化。計算該度量由用一基於區塊之運動 補償器處理視訊圖框開始，雖然諸如8χ8、4><4及8χ16之其 他區塊大小係可能的，但為視訊壓縮之基本單位之區塊通 常包含16x16像素。對於呈現於輸出端處的由兩個解交錯 圖場組成之圖框，以圖場為基礎進行運動補償，對參考區 φ塊之搜哥在圖場中發生而不是在圖框中發生。對於當前圖 框之第一圖场中之一區塊，在當前圖框之後的圖框之圖場 中尋找一岫向參考區塊；同樣，在緊靠於當前圖場之前的 圖框之圖％巾尋找—後向參考區塊。將該等當前區塊組合 成一經補償之圖場。該過程以圖框之第二圖場繼續。組合 兩個經補償之圖場以形成一前向及一後向補償圖框。 對於在反影訊處理4〇6中所創建之圖框，對參考區塊之 搜尋可僅以圖框為基礎，因為僅產生經重建之膠片圖框。 尋找兩個參考區塊及兩個差異（前向與後向），從而亦產生 H9491.doc -74 - 200803504 前向及後向補償圖框。總之，運動補償器產生用於每一區 塊之運動向量及差異度量。注意，視正在評估前向差異還 疋後向差異而定，在正被考慮之圖場或圖框中之一區塊與 最佳地匹配該區塊的區塊（該區塊係在先前的圖場或圖 框中或在緊靠於其後的圖場或圖框中）之間評估度量之差 異。僅輝度值參與此計算。 運動補償步驟因此產生兩組差異。此等差異係在具有當

前輝度值之區塊之間以及具有自在時間上緊靠於當前圖框 之前及緊靠於當前圖框之後的圖框獲得的參考區塊中之輝 度值之間。為一區塊中之每一像素確定每一前向差異及每 一後向差異之絕對值且分別在整個圖框上合計每一絕對 值。當處理包含一圖框之解交錯NTSC圖場時，兩種求和 包括兩個圖場。以此方法，找到前向差異及後向差異之合 計絕對值SADP及SADN。 對於每一圖框，使用以下關係計算SAD比， Ύ 6 + SAD^ ^ (58) 八中SADP及SADN分別為前向差異及後向差異之合計絕逢 值將小的正數ε添加至分子以防止"被除以零"的言 差。將一類似的ε項禾如$八 峭添加至分母，進一步減少當SADP | S ADN接近於零時γ之敏感性。 在一替代態樣中，差里w 走/、ΊΓ為SSD(平方差之和）及SAD(# 對差之和）或SATD(J: φ #丄 、 糟由在獲得區塊元件中之差異i 如對區塊應用二維離勒丛 政餘弦變換來變換像素值之區塊）, 119491.doc -75- 200803504 雖然在其他態樣中可#用暫^ , & 〜佩r』使用較小的區，但該等和係在有效視 訊之區上加以評估。 亦汁异所接收的每一圖框（未經運動補償）之輝度直方 圖。該直方圖作用於係數的16xl6陣列中之說係數（亦即， (〇,〇)係數）(若其可用），胃陣列係對輝度值之區塊應用二維 離散餘弦變換的結果。等效地，16x16區塊中之輝度之256 個值的平均值可用於直方圖中。對於輝度深度為八位元之 影像，區間之數目經設定為16。接下來的度量評估直方圖 差異 λ^ΣΚ-Να\ (59) 以上，馬，為來自第ζ•區間中之前一圖框之區塊的數目， 且^^為來自屬於第ζ·區間中之當前圖框之區塊的數目，汉為 一圖框中之區塊之總數目。 如下組合此等中間結果以形成當前圖框差異度量 Μ = -^ + λ(2λ + 1) ΎΡ /， (60) 其中7c為基於當前圖框之SAD比，且γρ為基於前一圖框之 SAD比。若场景具有平滑運動且其luma直方圖幾乎不改 變’則M^l。若當前圖框顯示突然的場景變化，則r將大 且γΡ應小。使用比亡而不單獨使用Yc以使得度量經正規化 為上下文之活動等級。 圖40中之資料流41〇〇說明可用於計算圖框差異度量之特 定組件。預處理器W25將交錯圖場（在具有NTSC源之視訊 119491.doc -76- 200803504 狀、况下）及膠片影像之圖框（當視訊源係反影訊處理之結果 時）遞达至雙向運動補償器4133。雙向運動補償器4133藉 由將一圖場分裂成16x16像素之區塊且將每一區塊與前一 圖框之一圖場之一已定義區中的所有16x16區塊相比較而 作用於該圖場（或在電影視訊源之狀況下的圖框）。選擇提 供最佳匹配之區塊且自當前區塊減去該區塊。獲得該等差 異之絕對值且在包含當前區塊之256個像素上合計結果。 s對4圖場之所有當前區塊進行此操作且接著對兩個圖場 進行此操作時’已由一後向差異模組4137計算出量 sadn(後向差異度量）。可由一前向差異模組4136執行類似 程序。前向差異模組4136使用在時間上緊靠於當前圖框之 前的圖框作為參考區塊之來源以得出SADp(前向差異度 量）。雖然使用經恢復之膠片圖框進行估計過程，但同一 估計過程亦發生於當輸入圖框於反影訊處理中形成時。可 在直方圖差異模組4141中形成可用於完成圖框差異度量之 計算之直方圖。基於區塊之輝度之平均值將每一 16><16區 塊指定給-區間。此資訊係藉由以下所形成：在一區塊中 將所有256個像素輝度值相加，藉由256對其進行正規化 (必要時）且使已置有平均值的區間之計數遞增。對每一經 預先運動補償之圖框進行一次計算，當一新的當前圖框到 達時，用於當前圖框之直方圖變成用於前一圖框之直方 圖。藉由直方圖差異模組4141中之區塊之數目區別並正規 化該兩個直方圖以形成藉由等式59定義之λ。㈣框差昱 組合器4⑷…此等結果以評估等式的中定義之當前圖 119491.doc -77- 200803504 框差異，該圖框差異組合器4 1 43使用在直方圖差異模組 4141、前向及後向差異模組4136及4137中找到的中間結 可藉由硬體、軟體、韌體、中間軟體、微碼或其任何組 合實施流私圖410 0之糸統及其組件或步驟。流程圖* 1⑽之 每一功能組件（包括預處理器4135、雙向運動補償器 4133、前向及後向差異度量模組4136及4137、直方圖差異 模組4141及圖框差異度量組合器4143)可實現為一單獨組 件’作為硬體、韌體、中間軟體併入於另一器件之一組件 中，或以在處理器上執行之微碼或軟體予以實施，或其組 合。當以軟體、韌體、中間軟體或微碼予以實施時，可將 執行所要任務之程式碼或碼片段儲存於諸如儲存媒體之機 器可讀媒體中。碼片段可表示程序、函數、次程式、程 式 '纟式、:欠常式、模組、套裝軟體、類，或指令、資料 結構或程式敍述之任何組合。可藉由傳遞及/或接收資 訊、資料、引數、參數或記憶體内容而將—碼片段柄合至 另一碼片段或一硬體電路。 經接收及處理之資料可儲存於一儲存媒體中，該儲存媒 體可包括（例如）晶片、組態式儲存媒體（例如，r〇m、尺趙) 或連接至處理器之碟片型儲存媒體（例如，磁性儲存媒體 或光學儲存媒體）。在一些態樣中，組合器4143可含有部 刀或所有該等儲存媒體圖41巾之流程圖42⑼說明一將壓 縮類型指定給圖框之過程。在—態樣财，等式3中所定 義之當前圖框差異係用於對於圖框指定所作之所有決策之 119491.doc -78· 200803504 基礎。當決策步驟4253指示：若考慮中之圖框係一序列中 之第一圖框，標記為是的決策路徑進行至步驟4255，藉此 宣告該圖框為I圖框。在步驟4257中將累積之圖框差異設 定為零，且過程返回（在步驟4258中）至起始步驟4253。若 被考慮之圖框不是一序列中之第一圖框，則標記為否之路 住自作決策之步驟4253開始，且在測試步驟4259中針對場 景變化臨限值測試當前圖框差異。若當前圖框差異大於彼 臨限值’則標記為是的決策路徑進行至步驟4255，再次導 致I圖框之指定。若當前圖框差異小於場景變化臨限值， 則否路徑進行至步驟4261，在步驟4261中，將當前圖框差 異添加至累積之圖框差異。 繼續該流程圖，在決策步驟4263處，將累積之圖框差異 與通常小於場景變化臨限值之臨限值t比較。若累積之圖 框差異大於t，則控制轉移至步驟4265，且將圖框指定為p 圖框；接著在步驟4267中將累積之圖框差異重新設定為 零。若累積之圖框差異小於t，則控制自步驟4263轉移至 步驟4269。在步驟4269中將當前圖框差異與小於丨之丁比 較。若當前圖框差異小，則在步驟4273中指定跳過該 圖框；若當前圖框差異大於τ，則將圖框指定為β圖框。 在一替代態樣中，將另一圖框編碼複雜性指示 * 義為 = Mxmin(l，amax(0，SADp-s)xmax(0，MVp-m))， ^ , (61) -中《為-換算因數（scalerW瑪為具有前向運動補償之 119491.doc -79- 200803504 M，Wp為在來自前向運動補償之運動向量之像素中量 測到的長度之和’且心為當卿小於4奶小於所時將 圖框編碼複雜性⑹符再現為零之兩個臨限值數。將使用 ，代替圖41之流程圖4200中之當前圖框差異。如圖可 見’僅當前向運動補償展示出緩慢的運動等級時，M*才 不同於M。在此狀況下，从y、於从。

應庄思’本文所描述之分鏡偵測及編碼態樣可作為一過 程予以描述，該過程係描繪為流程圖（fi〇wehart，fi㈣ ㈣叫、結構圖或方塊圖。雖然圖中所展示之流程圖可 將操作描述為-循序過程，但可並列或同時執行許多操 作。此外，可重新配置操作之次序。當完成—過程之操作 時，通常終止該過程。過程可對應於方法、函數、程序、 次常式、子程式等。當過程對應於函數時，其終止對應於 該函數至調用函數或主函數之返回。 熟習此項技術者亦應明白，可在不影響器件之操作的情 況下重新配置本文所揭示之器件之一或多個元件。類似 地，可在不影響器件之操作的情況下組合本文所揭示之器 件之一或多個元件。一般熟習此項技術者將瞭解，可使用 多種不同技術中之任一者來表示資訊及多媒體資料。一般 熟習此項技術者將進一步瞭解，結合本文所揭示之實例加 以描述之多種說明性邏輯區塊、模組及演算法步驟可實施 為電子硬體、韌體、電腦軟體、中間軟體、微碼或其組 合。為清楚說明硬體與軟體之此互換性，以上已大致在功 能性方面描述多種說明性組件、區塊、模組、電路及步 119491.doc -80 - 200803504 驟。該功能性係實施為硬體還是軟體取決於特定應用及強 加於整個系統之設計約束。對於每一特定應用，熟習此項 技術者可以變化的方法實施所描述之功能性，但該等實施 決策不應被解釋為導致違背所揭示之方法之範疇。 舉例而言，結合本文所揭示之分鏡偵測及編碼實例及圖 式所描述的一方法或演算法之步驟可直接實施於硬體中、 由處理器執行之軟體模組中，或兩者之組合中。該等方法 Φ 及演算法特別適用於通信技術，其包括視訊至行動電話、 電腦、膝上型電腦、PDA及所有類型之個人及商業通信器 件之無線傳輸。軟體模組可駐留於RAM記憶體、快閃記憶 體、ROM記憶體、EPR〇M記憶體、EEpR〇M記憶體、暫存 器、硬碟、抽取式磁碟、（:D_R〇M或此項技術中已知之任 何其他形式之儲存媒體中。一例示性儲存媒體耦合至處理 器，以使得處理器可自儲存媒體讀取資訊且寫入資訊至儲 存媒體。在替代實施例中，儲存媒體可整合於處理器。處 • 理器及儲存媒體可駐留於一特殊應用積體電路（ASIC)中。 該ASIC可駐留於無線數據機中。在替代實施例中，處理器 及儲存媒體可作為離散組件駐留於無線數據機中。 此外，結合本文所揭示之實例所描述之多種說明姓邏輯 區塊、組件、模組及電路可用以下器件予以實施或執行： 通用處理器、數位信號處理器（DSP)、特殊應用積體電路 (ASIC)、場可程式閘陣列斤!^^或其他可程式邏輯器件、 離散閘或電晶體邏輯、離散硬體組件或其任何組合，以上 所述經設計以執行本文所描述之功能。通用處理器可為微 H9491.doc -81 - 200803504 ^理器’但在替代實施射，處理器可為任何習知的處理 =、控制15、微控制器或狀態機。處理器亦可實施為計算 :件之組合’例如’一Dsp與一微處理器之組合、複數個 :處理态之組合、-或多個微處理器以及-DSP核心之組 合’或任何其他此種組態。 提供對之實狀先前描述錢㈣—般熟習此項 技術者能夠完成或使用所揭示之方法及裝置。熟習此項技 術者將容易明自對此等實例之多種修改，且本文所定義之 原理可適用於其他實例且可在不脫離所揭示之方法及裝置 =精神或範的情況下添加額外元件。對該等態樣之描述 意欲為說明性的，且不欲限制申請專利範圍之範 【圖式簡單說明】 圖1為一用於遞送串流多媒體資料之通信系統之方塊 圖； 圖2為一包括一預處理器之數位傳輸設施之方塊圖； 圖3A為一預處理器之一說明性態樣之方塊圖； 圖3B為說明一用於處理多媒體資料之過程之流程圖； 圖3C為說明用於處理多媒體資料之構件之方塊圖； 圖4為說明一例示性預處理器之操作之方塊圖； 圖5為一反影訊處理過程中之相位決策之圖； 圖6為說明一反影訊處理視訊之過程之流程圖； 圖7為對展示相位轉變之格子之說明； 圖8為對識別用於創建複數個度量之各別圖框之指導； 圖9為說明如何創建圖8之度量之流程圖； 119491.doc -82- 200803504 圖10為展示對度量之到達所估計之相位之處理的流程 圖； 圖11為说明一用於產生決策變數之系統之資料流圖； 圖12為描繪用於評估分枝資訊之變數之方塊圖； 圖13A、13B及13C為展示如何計算下包絡之流程圖； 圖14為展示一一致性偵測器之操作之流程圖； 圖15為展示一計算一決策變數的一偏移之過程的流程 圖，該偏移係用於補償相位決策中之不一致性； 圖16呈現已估計下拉相位之後的反影訊處理的操作。 圖17為一解交錯器器件之方塊圖； 圖18為另一解交錯器器件之方塊圖； 圖19為一交錯圖像之子取樣樣式之圖式； 圖為-使用驗顿、波運動估計來產生—解交錯圖框 之解父錯器器件之方塊圖； 圖21說明-用於衫多媒體資料之靜態區之光圈的一態 樣； 圖22為說明—用於較多媒體資料之緩慢運動區之光圈 的一態樣之圖； 圖23為說明運動估計之一態樣之圖； 圖24說明在確定運動補償時所使用的兩個運動向量圖； 圖25為說明一解交錯多媒體資料之方法之流程圖. 圖26為說明-使用空間時間資訊產生—解交錯_ 法的流程圖； 圖27為說明一對於解交錯執行運動補償之方法的流程 119491.doc -83 - 200803504 圖； 圖28為根據一些態樣之一預處理器之方塊圖，該預處理 器包含一經組態用於分鏡偵測及其他預處理操作之處理 器； 圖29說明編碼複雜性C與所分配位元b之間的關係； 圖3 0為說明一作用於一圖像群且在一些態樣中可用於基 於視訊圖框中之分鏡偵測而編碼視訊之過程之流程圖； 圖3 1為說明一用於分鏡偵測之過程之流程圖； 圖32為說明一用於確定視訊中之分鏡之不同分類的過程 之流程圖； 圖33為說明一用於基於分鏡偵測結果將圖框壓縮機制指 定給視訊圖框之過程的流程圖； 圖34為說明一用於確定突然的場景變化之過程之流程 圖； 圖35為說明一用於確定緩慢變化之場景之過程的流程 圖； 圖36為說明一用於確定含有攝影機閃光之場景之過程的 流程圖； 圖37說明當前圖框與前一圖框MVp之間及當前圖框與下 一圖框MVN之間的運動補償向量； 圖38為說明一用於確定圖框差異度量時所使用之變數之 關係的圖表； 圖39為說明編碼資料及計算殘餘之方塊圖； 圖40為說明確定圖框差異度量之方塊圖； 119491.doc -84- 200803504 圖4 1為說明將壓縮類型指定給圖框之程序之流程圖； 圖42說明1-D多相位重新取樣之一實例； 圖43為說明資料圖框之一安全動作區及一安全標題區的 圖表；且 圖44為說明資料圖框之一安全動作區的圖表。 【主要元件符號說明】 100 通信系統 120 傳輸設施 140 網路 160 終端機 201 解碼器 202 預處理器 203 編碼器 204 元貨料 205 視訊 206 經處理之元資料/輸出資料 207 輸出資料/視訊/逐行視訊 228 編碼器 300 過程 301 反影訊處理器/反影訊處理 302 解交錯器 303 除雜訊器 3 04 混疊抑制器 305 重新取樣器 119491.doc •85· 200803504 306 除塊器/除環器 307 GOP分割器 308 記憶體 309 通信模組 330 資料接收模組/模組 332 模組 334 模組 336 模組 404 相位偵測器 405 解交錯器/解交錯器區塊 406 反影訊處理 407 除雜訊器（渡波器） 408 混璺抑制重新取樣 410 除塊器、除環器 412 GOP分割器 510 輸入影像 511 NTSC交錯圖場，影訊處理之輸出 512 影訊處理下拉相位 600 過程 767 轉變之可能的路徑 900 流程圖 931 先前第一圖場資料 932 當前第一圖場資料 933 當前第二圖場資料 119491.doc •86- 200803504 934 先前第二圖場資料 940 絕對差計算器 941 儲存位置 942 儲存位置 943 儲存位置 944 儲存位置 1000 流程圖 1089 決策變數計算器 1090 相位選擇器 1101 線 1102 線 1103 線 1104 線 1105 線 1106 線 1162 流程圖 1209 分枝資訊計算器/計算器 1300 演算法 1305 比較器 1400 演算法 1500 過程 1605 圖場 1605’ 圖場 1606 圖場 119491.doc -87- 200803504

1607 圖場 1608 圖場 1609 圖場 1610 圖場 1611 圖場 1612 圖場 1620 圖框 1620f 經重建之圖框 1621 圖框 162Γ 經重建之圖框 1622 圖框 16221 經重建之圖框 1623 圖框 16231 經重建之圖框 1700 解交錯器 1730 空間濾波器 1732 運動估計器 1734 組合器 1800 解交錯器 1836 處理器 1838 空間濾波器模組 1840 運動估計模組 1842 組合器模組 1844 通信模組 119491.doc -88 - 200803504 1846 儲存媒體 1848 外部源 2034 用於預處理之其他模組 2052 運動強度映射 2054 Wmed濾波器 2056 除雜訊器（除雜訊濾波器） 2058 下一（將來的）Wmed圖框/Wmed下一圖框 2060 當前Wmed圖框/Wmed當前圖框 2062 組合器 2064 經解交錯之當前圖框 2066 經運動補償（"MC")之當前圖框/MC當前圖框 2068 雙向運動估計器及補償器（"ME/MC") 2070 經解交錯之先前圖框 2072 MV候選選擇器 2500 過程 2831 處理器 2832 運動補償器 2833 分鏡分類器 2835 儲存媒體 2836 通信模組 3000 過程 4032 參考圖像 4034 當前圖像 4036 當前巨集區塊 119491.doc -89- 200803504 4038 最佳匹配巨集區塊 4040 運動向量 4042 殘餘誤差 4044 二維離散餘弦變換（DCT) 4046 量4匕 4050 解量化 4052 二維離散餘弦逆變換或IDCT 4054 經解碼或重建之殘餘誤差 4056 最佳匹配巨集區塊 4058 經重建之巨集區塊 4100 貧料流/流程圖 4125 預處理器 4133 雙向運動補償器 4136 前向差異模組 4137 後向差異模組 4139 輝度直方圖 4141 直方圖差異模組 4143 圖框差異度量組合器 4200 流程圖 4305 安全標題區 4310 安全動作區 4415 白色矩形窗 4420 上側 4425 下側 119491.doc -90- 200803504

mvn MV映射 MVp MV映射 P〇 下拉相位 Pi 下拉相位 p2 下拉相位 P3 下拉相位 P4 下拉相位 P5 相位 119491.doc •91

Claims (1)

1. 200803504 十、申請專利範圍： 1· 一種處理多媒體資料之方法，其包含： 接收交錯視訊圖框； 將該等交錯視訊圖框轉換成逐行視訊； 產生與該逐行視訊相關聯之元資料；及 將該逐行視訊及該元資料之至少一部分提供至一編碼 器以用於編碼該逐行視訊。 2·如請求項1之方法，其進一步包含使用該元資料來編碼 該逐行視訊。 3·如請求項1之方法，其中轉換該等視訊圖框包含解交錯 該等交錯視訊圖框。 4·如請求項！之方法，其中該元資料包含頻寬資訊。 5·如請求項丨之方法，其中該元資料包含雙向運動資訊。 6·如請求項1之方法，其中解交錯包含 產生用於該等交錯視訊圖框之空間資訊及雙向運動資 訊，及 使用該空間資訊及該雙向運動資訊基於該等交錯視訊 圖框而產生該逐行視訊。 如明求項4之方法，其中該頻寬資訊包含輝度資訊。. 8· 如請求箱^ 唄1之方法，其中該元資料包含一空間複雜性 值。 月二項1之方法，其中該元資料包含一時間複雜性 值。 10 ·如請求箱《I 、〗之方法，其中轉換該等交錯視訊圖框包含反 119491.doc 200803504 影訊處理3 :2下拉（pulldown)視訊圖框。 11·如請求項10之方法，其中該元資料包含頻寬比資訊。 12 ·如喷求項1之方法，其進一步包含對該逐行視訊重新設 定大小。 13.如請求項12之方法，其進一步包含分割該逐行視訊以確 定圖像群資訊。 14·如請求項13之方法，其中該分割包含對該逐行視訊之分 鏡偵測。 15.如請求項14之方法，其進一步包含用一除雜訊濾波器濾 波該逐行視訊。 16·如凊求項1之方法，其中該元資料包含輝度及色度資 訊。 17· —種用於處理多媒體資料之裝置，其包含： 一經組態以接收交錯視訊圖框之接收器； 一經組您以將該等交錯視訊圖框轉換成逐行視訊之解 交錯器；及 一經組態以產生與該逐行視訊相關聯之元資料且將該 逐行視訊及該元資料提供至一編碼器以用於編碼該逐行 視訊之分割器。 18. 如請求項17之裝置，其進一步包含一經組態以自通信模 組接收該逐行視訊且㈣該所提供之元f料來編碼該逐 行視訊之編碼器。 19. 如請求項17之裝置，其中該解交錯器經組態以執行空間 時間解交錯。 119491.doc 200803504 20·如請求項17之裝 w W該逐行視訊 除雜訊之除雜訊濾波器 21.如請求項17之裝置，其中該 器。 螂又錯為包含一反影訊處理 22·如請求項17之裝置，其中該分割器 測且基於該分鏡偵測產生壓縮資訊 23. 如請求項17之裝置，其中該元資料包含圖

   24. 如請求項17之裝置，其 + 一 a貝況 八 ν匕s 一經組態以對一逐行 圖框重新設定大小之重新取樣器。 25·如請求項17之裝置，其中該元資料包含頻寬資訊。 26. 如請求項17之裝置，其中該元資料包含雙向運動資訊。 27. 如所求項17之裝置，其中解交錯器經組態以 產生用於該等交錯視訊圖框之空間資訊及雙向運動資 訊；且 ' 使用該空間資訊及該雙向運動資訊基於該等交錯視訊 φ 圖框而產生逐行視訊。 28·如請求項23之裝置，其中該元資料包含一頻寬比。 29·如請求項23之裝置，其中該元資料包含輝度資訊。 如明求項17之裝置，其中該元資料包含一空間複雜性 值。 3 1 ·如明求項17之裝置，其中該元資料包含一時間複雜性 值。 32·如請求項17之裝置，其中該元資料包含輝度及色度資 訊0 119491.doc 200803504 33· —種用於處理多媒體資料之裝置，其包含·· 用於接收交錯視訊之構件； 用於將該交錯視訊轉換成逐行視訊之構件； 用於產生與該逐行視訊相關聯之元資料之構件；及 用於將該逐行視訊及該元資料之至少一部分提供至_ 編碼器以用於編碼該逐行視訊之構件。 34.如請求項33之裝置，其中該轉換構件包含一反影訊處理 器。 35·如明求項33之裝置，其中該轉換構件包含一空間時間解 交錯器。 36·如請求項33之裝置，其中該產生構件經組態以執行分鏡 摘測且基於該分鏡偵測產生壓縮資訊。 3 7·如靖求項33之裝置，其中該產生構件經組態以產生頻寬 資訊。 38·如吻求項33之裝置，其進一步包含用於重新取樣以對一 • 逐行圖框重新設定大小之構件。 39·如明求項33之裝置，其進一步包含用於使用該所提供之 元負料來編碼該逐行視訊之構件。 40.如靖求項33之裝置，其進一步包含用於對該逐行視訊除 雜訊之構件。 ¥ 41 ·如明求項33之裝置，其中該元資料包含圖像群資訊。 42.如明求項33之裝置，其中該元資料包含雙向運動資訊。 43·如請求項33之裝置，其中該轉換構件經組態以 產生用於父錯視訊圖框之空間資訊及雙向運動資訊；且 119491.doc 200803504 使用該空間資訊及該雙向運動資訊基於該等交錯視訊 圖框而產生逐行視訊。 44. 如請求項33之裝置，其中該元資料包含一頻寬比。 45. 如請求項33之裝置，其中該頻寬資訊包含輝度資訊。 46. 如請求項33之裝置，其中該元資料包含一空間複雜性 值。 47·如請求項33之裝置，其中該元資料包含一時間複雜性 值。 48·如請求項33之裝置，其中該元資料包含輝度及色度資 訊。 49· 一種機器可讀媒體，其包含用於處理多媒體資料之指 令’該等指令在被執行時使一機器： 接收交錯視訊圖框； 將該等交錯視訊圖框轉換成逐行視訊； 產生與該逐行視訊相關聯之元資料；且 將該逐行視訊及該元資料之至少一部分提供至一編石馬 器以用於編碼該逐行視訊。 50· —種處理器，其包含一組態以 接收交錯視訊； 將該交錯視訊轉換成逐行視訊； 產生與該逐行視訊相關聯之元資料；且 將該逐行視訊及該元資料之至少一部分提供至一編瑪 器以用於編碼該逐行視訊。 119491.doc