TW200945899A - Adaptive group of pictures (AGOP) structure determination - Google Patents

Description

200945899 九、發明說明： 【發明所屬之技術領域】 本發明係關於視訊資料之編碼，且更特定言之，係關於 適應性地判定視訊資料之圖像群組（GOP)結構。 【先前技術】 ； 已建立用於對數位視訊序列編碼之若干不同視訊編碼標 „ 準。舉例而言，動畫專家群（MPEG)已採用若干標準，包 括MPEG-1(第2部分）、MPEG-2(第2部分）及MPEG-4(第2部 Φ 分）。其他實例包括國際電信聯盟（ITU-T)H.261及H.263標 準及亦在MPEG-4第1 0部分中陳述之題為「近階視訊編 碼，AVC(Advanced Video Coding, AVC)」的 ITU-T H.264 標準。此等視訊編碼標準通常藉由以壓縮方式對資料進行 編碼而支援視訊序列之改良之傳輸及儲存效率。壓縮減少 需要傳輸或儲存以供有效傳輸或儲存視訊圖框之資料總 量。在許多情形（包括視訊串流、視訊攝錄機、個人視訊 記錄器（PVR)、數位視訊記錄器（DVR)、視訊電話（VT)、 胃 視訊會議、視訊CD(VCD)及數位通用/視訊光碟（DVD)上之 數位視訊分配、及視訊廣播應用）下，經由有線及無線傳 . 輸媒體兩者且在磁性及光學儲存媒體兩者上使用視訊編 碼。 « MPEG-1、MPEG-2、MPEG-4、ITU-T Η.261、ITU-T H.263及ITU-T Η.264標準支援利用連續視訊圖框之間的相 似性（被稱作時間或圖框間相關）之視訊編碼技術以提供圖 框間壓縮。此等標準亦支援利用個別視訊圖框内之相似性 136824.doc 200945899 (被稱作空間或圖框内相關）之視訊編碼技術以提供圖框内 壓縮。圖框間壓縮技術藉由將視訊圖框之基於像素之表示 轉換為基於像素區塊之平移運動表示來跨越鄰近或密集視 訊圖框而採用資料冗餘。使用圖框間技術來編碼之視訊圖 框通常被稱作P(「經預測之」）圖框或B(「雙向預測性」） • 圖框。使用空間壓縮來編碼通常被稱作1(「内」）圖框之一 . 些圖框，其可為非預測性的（亦即，如在H.264前標準中， 僅基於變換編碼）或預測性的（亦即，如在H.264中，基於空 間預測及變換編碼兩者）。此外，一些圖框可包括經圖框 内編碼之區塊與經圖框間編碼之區塊兩者的組合。此等編 碼標準提供良好適於無線視訊廣播應用之高度有效之編 碼。 在使用上文提及之有效編碼標準中之任一者來執行編碼 之則，編碼器件可將所接收之視訊序列分割為包括複數個 圖框之圖像群組（GOP)結構。編碼器件可接著在對視訊資 φ 料進行編碼以用於傳輸或儲存之前判定GOP結構中所包括 之圖框中之每一者的圖像編碼類型。以圖像編碼類型來判 定G〇P結構對於編碼效率而言係重要的。因此，不僅對先 : 前未壓縮之原始視訊資料起作用的編碼方案受益於G0P結 - 構判定。對先前壓縮之視訊資料起作用的轉碼方案亦可受

益。舉例而言’無線視訊廣播所需要之一些視訊資料（例 數位電視仏號）係以其原始形式使用諸如MpEG 2(第2 部分）之不提供當前最有效之壓縮的視訊編碼標準來編碼 的。在此狀況下’轉碼器可將視訊資料轉換為諸如ITU_T 136824.doc 200945899 H.264之提供較有效之壓縮以用於無線視訊廣播的編碼標 準。為轉換視訊資料，轉碼器可首先對來自第一編碼標準 之視訊資料進行料且可接著在使用較適用於無線視訊廣 播之第二編碼標準來對視訊資料進行重新編碼之前將視訊 序列分割為GOP結構且執行GOP結構判定。 因為視訊信號隨時間改變其統計性質，所以編碼器件應 調適GOP結構以便採用可用之時間冗餘達對於最有效壓縮 而言所可能之最大程度。大體而言，編碼器件基於周圍圖 框之内容及對諸如剪輯場景改變（cut scene ehange)、閃光 圖框（flash frame)、交又淡化（cross_fade)及相機搖攝（pan) 與捲動（scroll)之視訊轉變效果的識別來適應性地判定G〇p 結構内之候選圖框的圖像編碼類型。現有適應性 GOP(AGOP)結構判定方法包括使用直方圖或方差量測、基 於邊緣判定之演算法及基於運動向量場演變或時間預測效 率量度之演算法來分析明度信號及色度信號兩者之統計特 徵。然而，現有AGOP結構判定方法對於達成為日益複雜 之無線視訊廣播應用所需要的有效壓縮而言可能不夠準 確。 【發明内容】 大體而言，本發明係針對用於基於一視訊序列中所包括 之複數個圖框之間的交叉相關來判定該等圖框中之每一者 之一圖像編碼類型的技術。更具體言之，該等技術可基於 一圖像群組（GOP)結構中所包括之圖框之間的交叉相關來 適應性地判定該等圖框的圖像類型。該等交又相關包括該 136824.doc 200945899 視訊序列中所包括之若干對圖框内之影像資訊之間的第一 階交叉相關及若干對該等第一階交叉相關之間的第二階交 叉相關。可分析該等第一階交叉相關以偵測該等圖框之間 的視訊轉變效果。^比較分析該等第—階交又相關及該等 第二階交叉相關以判定相鄰圖框之間的時間相似性。因 • 此，基於相關之判定技術基於該等視訊轉變效果及該等時 : 間相似性將該等圖框之圖像類型判定為p(「經預測 ❹ 之」）、B(「雙向預測性」）或1(「圖框内」）圖像。 在一個態樣中，一種基於影像相關之判定技術計算該視 訊序列中所包括之若干對圖框内之影像之間的該等第一階 交又相關。該基於影像相關之判定技術可判定全圖框之圖 像類型。在另一態樣中，一種基於子影像相關之判定技術 計算該視訊序列中所包括之若干對圖框内的子影像（例 如，巨區塊）之集合之間的該等第一階交又相關且關於該 若干對中之每一對圖框之該等子影像的全部或一部分而對 參 該等交又相關求平均值。此外，可將該視訊序列中所包括 之該等圖框中的每一者劃分為多個片斷以使得該基於子影 像相關之判定技術可判定該等圖框中之每一者之該等個別 _· 片斷的圖像類型。 ： 可在一由一即時或非即時編碼器件利用的基於相關之適 應性圖像群組（AGOP)結構判定模組内執行本文中所描述 之該等技術。在一些態樣中，可使用該基於相關之AG〇p …構判定模組作為一實施於即時崎碼器件中之其他AGOP 結構判定方法可與之比較的一離線基準。在其他態樣中， 136824.doc •10- 200945899 該基於相關之AGOP結構判定模組可實施於一即時或非即 時編碼器件中。在一即時編碼器件之狀況下，可藉由適當 之複雜性降低來實施該基於相關之AG〇p結構判定模組以 賦能即時判定圖像類型。

作為一實例，可由一即時或非即時轉碼器利用該基於相 關之AGOP結構判定模組以用於對先前壓縮之視訊資料進 行重新編碼。該轉碼器可藉由一諸如ιτυ_τ Η·264之提供 有效之圖㈣及圖框内壓、缩的編碼標準來對該才見訊資料重 新編碼。㈣技術可尤其適用於需要高度有效之資料壓縮 的無線視訊廣播應用^作為另一實例’可由一對先前未壓 縮之原始視訊資料起作用的即時或非即時、單次或多次視 訊編碼器利用該基於相關之AG〇p結構判定模組。 在-個態樣中，本發明提供—種方法，其包含計算一視 訊序列中所包括之若干對圖框内之影像資訊之間的第一階 交又相關及計算料對該等第—階交又相關之間的第二階 交，相關。該方法進一步包含基於該等第一階交又相關及 s亥等第一階交又相關來判 J疋这視訊序列中所包括之該等圖 框中之每一者的一圖像類型。 在另一態樣中，本發明提供一種器件，其 器，該相關器計算-視訊序列中所包括 2 :象貝：之間的第一階交又相關且計算若干對該等第一階 父又：關之間的第二階交又相關。該器件亦包括 型判定模組，該圖像類型判 關及該等第二階交又相關來於第一階交又相 關來判定该視訊序列中所包括之該 136824.doc 200945899 等圖框中之每一者的一圖像類型。 在另一態樣中，本發明提供一種包含電腦可讀媒體之電 腦程式產品’該電腦可讀媒體包含指令。該等指令使一電 腦計算一視訊序列中所包括之若干對圖框内之影像資訊之 間的第一階交又相關，計算若干對該等第一階交又相關之 間的第二階交又相關且基於該等第一階交又相關及該等第 二階交又相關來判定該視訊序列中所包括之該等圖框中之 每一者的一圖像類型。 在又一態樣中，本發明提供一種器件，其包含用於計算 一視訊序列中所包括之若干對圖框内之影像資訊之間的第 一階交又相關及若干對該等第一階交叉相關之間的第二階 父叉相關的構件。該器件亦包含用於基於該等第一階交又 相關及該等第二階交又相關來判定該視訊序列中所包括之 該等圖框中之每一者之一圖像類型的構件。 在另一態樣中，本發明提供一種無線通信器件手機，其 包含一相關器 ’该相關器計算一視訊序列中所包括之若干

器經組態以計算一 資料的積體電路器件，該至少一個處理 視訊序列中所包括之若干對圖框内之影 I36824.doc -12- 200945899 像資訊之間的第一階交又相關’計算若干對該等第一階交 叉相關之間的第二階交又相關且基於該等第一階交又相關 及該等第二階交叉相關來判定該視訊序列中所包括之該等 圖框中之每一者的一圖像類型。 在-料態樣巾，本發明提供―㈣統，其包含一編碼 ϋ件’該編碼n件包括-將視訊資料分割為包括複數個圖 ： 歡G〇P結構的G〇P分割器及一即時地判$該等GOP結構 中所包括之該等圖框之圖像類型的AGOP結構判定模組。 ㈣、統亦包括-定位在該轉碼器外部之基於相關之AG〇p 結構判定模組，其基於該等⑽結構中所包括之若干對圖 框内之影像資訊之間的第一階交又相關及若干對第一階交 又相關之間的第二階交又相關來判定該等圖框之基準圖像 類型。該系統進一步包含一基準比較器，其將該等圖像類 型與該等基準圖像類型比較以判定該整合於該編碼器件中 之AGOP結構判定模組之準確度。 φ 在另一態樣中，本發明提供一種編碼器件，其包含一 GOP分割器’該GOP分割器將視訊資料分割為包括複數個 圖才〔之GOP 構。該編碼器件亦包含一基於相關之ag〇p ： 結構判定模組，其基於該等G0P結構中所包括之若干對圖 ： 框内之影像資訊之間的第一階交叉相關及若干對第一階交 又相關之間的第二階交又相關來即時地判定該等圖框之圖 像類型。在一個狀況下，該編碼器件可包含一對先前壓縮 之視訊資料起作用的即時或非即時轉碼器。在另一狀況 下，該編碼器件可包含一對先前未壓縮之原始視訊資料起 136824.doc •13· 200945899 作用的即時或非即時編碼器。 直=明中所描述之技術可實施於硬體、軟體、勒體 組合中。若實施於軟體中，則該軟體可執耔或 中。最初可將該軟體儲存為指令、程式碼或=於電腦 因此，本發明亦預期—種包含—電腦可讀媒體之讀。 視訊資料的電腦鞋★吝σ甘*斗 ' 用於處理 式產°° ’其中該電腦可讀媒體包含用於

使-電腦執行根據本發明之技術及功能的指：用於 實施於硬體中，則此等硬體實施可為數位的比二右 者兼有。本發明之態樣可實施於電腦可讀媒體或= =媒體之電腦程式產品中。電腦程式產品可包括封^ 細節。 申請專 在隨附圖式及以下描述中闡明了各種實例之額外 其他特徵、目標、優勢及實例將自描述及圓式且自 利範圍變得顯而易見。 【實施方式】 φ 本發明描述用於基^視訊序列中所包括之複數個圖框 之間的交叉相關來判定該等圖框中之每一者之—圖像類型 的技術。該等交叉相關包括該視訊序列中所包括之若干對 圖框内之影像資訊之間的第一階交又相關及若干對該等第 ： —階交叉相關之間的第二階交又相關。可分析該等第一階 交叉相關以偵測該等圖框之間的視訊轉變效果，諸如，剪 輯場景改變、閃光圖框、交又淡化及相機搖攝與捲動。可 比較分析該等第一階交又相關及該等第二階交又相關以判 定該等圖框之間的時間相似性。因此，該等基於相關之判 136824.doc 14 200945899 定技術基於該等視訊轉變效果及該等時間相似性來判定該 等圖框之圖像類型。該等基於相關之判定技術可計算若干 對圖框内之影像之間或若干對圖框内之子影像（例如，巨 區塊）之集合之間的第一階交叉相關，子影像之第一階交 叉相關關於該若干對中之每一對圖框之該等子影像的全部 . 或一部分而被求平均值。 * 更具體言之，該等技術可基於一圖像群組（GOP)結構中 所包括之圖框之間的交叉相關來適應性地判定該等圖框的 圖像類型。GOP結構基於圖框内及圖框間編碼技術而將視 訊資料之長序列分割為可管理之資料集合ό舉例而言， GOP結構通常以！（「圖框内」）圖框開始，繼之以p(「經預 測之」）圖框（其被稱作先前I及p圖框）或B(「雙向預測 性」）圖框（其被稱作先前及後續I及p圖框）^在一些狀況 下’ GOP結構可為閉合式的，以使得G〇p結構中所包括之 圖框形成可在不參考G〇p結構外之圖框之情況下完全解碼 φ 的自含單元。在其他狀況下，GOP結構可為開放式的，以 使得GOP結構中所包括之圖框可參考G〇p結構外之圖框。 可在基於相關之適應性圖像群組（AGOP)結構判定模組 内執行本文中所描述之技術，該基於相關之適應性圖像群 ： 組（AGOP)結構判定模組能夠判定一 GOP結構中所包括之複 數個圖框中之每一者的圖像類型且更新該GOP結構以指定 该等圖框中之每一者的所判定之圖像類型。自編碼效率之 觀點而言’本文中所描述之基於相關之Ag〇P結構判定技 術在判定GOP結構中所包括之圖框之圖像類型時達成高準 136824.doc •15· 200945899 確度且可被視為agop結構判定技術之「黃金標準」。基 於相關之AGOP判定模組的輸出展現時間相似性量度之直 觀行為且以高敏感度提供關於相關動力學之資訊。此外， 基於相關之AGOP判定模組的效能嚴重取決於圖框内容、 速率失真最佳化特性及編碼頻寬機制（encoding bandwidth regime)特性。 圖1為說明作為實施於即時轉碼器1 〇中之Ag〇p結構判定 模組18可與之比較之離線基準的基於相關之ag〇p結構判 定模組22之例示性實施的方塊圖。轉碼器1〇可至少部分形 成為可被統稱為積體電路器件之一或多個積體電路器件。 在一些態樣中，轉碼器10可形成諸如行動電話之無線通信 器件手機的部分。如圖1中所說明，轉碼器1〇包括一解碼 器11、一預處理器12及一編碼器14。預處理器12包括一 GOP分割器16且編碼器14包括AGOP結構判定模組18。在 其他實施中，可在預處理器12與編碼器14之間劃分AG〇p 結構判定模組18之功能。 轉碼器10自視訊資料提供者接收一包括經編碼之視訊資 料的視訊序列。視訊序列可包含使用一視訊編碼標準來編 碼之視訊資料，該視訊編碼標準不支援最有效地利用連續 圖框之間或單個圖框内之相似性的演算法。舉例而言，視 訊序列可包含使用MPEG-2(第2部分）來編碼之數位電視資 料，該MPEG-2(第2部分）不提供當前最有效之圖框間及圖 框内壓縮。然而，許多視訊應用（尤其係無線視訊廣播應 用）需要由諸如ITU-T H.264之更進階之編碼標準提供的高 136824.doc •16· 200945899 度有效之資料壓縮，該等更進階之編碼標準藉由較複雜之 演算法來採用圖框間及圖框内之資料冗餘。因&,轉碼器 10可將視訊序列轉換為另一更進階之編碼標帛。舉例而 言，轉碼器10可對該視訊序列進行重新編碼以使視訊圖框 對無線視訊廣播、有㈣㈣需要高度有效之資料壓縮的 其他應用或服務作好準備。 ❹

為轉換視訊序列’解碼器n將視訊序列自較低效之原始 編碼標準解碼。預處理器12内之GOP分割器16接著將經解 碼之視訊序列分割為包括複數個圖框之GOP結構。GOP分 割器16可根據基於賦能視訊序列之均一斶框間隔之隨機 存取的預定GOP結構大小或根據賦能視訊序列内之〗個圖 框之隨機存取的隨機定位而將經解碼之視訊序列分割為圖 框群組。舉例而§ ’ GQP分割^ 16可將經解碼之視訊序列 分割為約三十個圖柩之料群組，其中每—群組以一 Ife 框開始。 編碼器14内之AGOP結構判定模組18判定由G〇p分割器 16產生之GOP結構中所包括之圖框中之每一者的圖像類 型。AGQP結構判定;^組18可執行任何非基於相㈣之 結構判定技術。舉例而言，AGQp結構判定模組18可使用 直方圖或方差量測、基於邊緣判^之演算法或基於運動向 量場演變或時間預測效率量度之演算法來執行對明度信號 及色度信號之統計特徵的分析以判定G〇p結構中所包括之 圖框的圖像類型 '編碼器14接著使用所要編碼標準來對圖 框進行重新編碼且將該等經重新編碼之圖框發送至一傳輸 136824.doc 200945899 器以用於無線視訊廣播、發送至一儲存器件以用於儲存或 發送至其他裝置以用於需要高度有效之資料壓縮的應用或 服務。 根據本發明之一態樣，基於相關之AG〇p結構判定模組 22可定位在轉碼器10外部以作為實施於轉碼器10中之 AGOP結構判定模組18可與之比較的離線基準。基於相關 ' 之AGOP結構判定模組22基於由G0P分割器16產生之G〇p 結構中所包括之圖框之間的交又相關來判定該等圖框中之 每一者的基準圖像類型。 由基於相關之AGOP結構判定模組22執行之交又相關計 算可包括GOP結構中所包括之若干對圖框内之影像資訊之 間的第一階交又相關及若干對該等第一階交又相關之間的 第一階交又相關《可在像素域中計算第一階交又相關計 算。可分析該等第一階交又相關以偵測該等圖框之間的視 訊轉變效果。可比較分析該等第一階交叉相關及該等第二 φ 階父又相關以判定相鄰圖框之間的時間相似性。以此方 式，基於相關之AGOP結構判定模組22基於視訊轉變及時 間相似性來判定該等圖框之圖像類型。 視訊轉變效果指用以自一視訊序列之當前場景轉變至同 ： 一視訊序列之另一場景或另一視訊序列之另一場景的視覺 視訊效果。大體而言，可將視訊轉變效果劃分為三類：諸 如剪輯場景改變、鏡頭邊界及閃光圖框之緊湊支援效果 (compact support effect);諸如交又淡化及溶接 之擴展支援效果；及諸如相機搖攝與相機捲動之全域運動 136824.doc 18 200945899 效果。時間相似性指當前圖框與相鄰圖框之間的影像内容 或細節重複程度。量測時間相似性可幫助判定當前圖框是 否包括適於編碼為p、B或I圖像之内容。舉例而言，若當 前圖框不類似於任何相鄰圖框，則應將當前圖框編碼為工 圖像。若當前圖框類似於一先前相鄰圖框但不類似於一後 • 續相鄰圖框，則應將當前圖框編碼為P圖像。若當前圖框 : 類似於一先前相鄰圖框及一後續相鄰圖框，則應將其編碼 為P圖像或B圖像。 參 在一個態樣中’基於相關之AGOP結構判定模組22計算 該等GOP結構中所包括之若干對圖框内之影像之間的第一 階父又相關》第一階影像交又相關識別該若干對圖框之間 的全域（亦即’總體）相似性及全域移動之量，但不識別在 圖框内在較小規模之子影像處發生的移動。在此狀況下， 基於相關之AGOP結構判定模組22可判定全圖框之圖像類 型。 φ 在另一態樣中’基於相關之AGOP結構判定模組22計算 GOP結構中所包括之若干對圖框内的子影像（例如，巨區 塊）之集合之間的第一階交又相關且關於該若干對中之每 : 一對圖框之子影像的全部或一部分而對該等交叉相關求平 ; 均值。第一階子影像交叉相關識別該若干對圖框之間的子 影像相似性及移動量’且識別在圖框内於何處發生移動。 在此狀況下’基於相關之AGOP結構判定模組22藉由添加 填充像素來填充子影像集合中之每一子影像以達成共同影 像大小。以此方式’基於相關之AGOP結構判定模组22可 136S24.doc • 19- 200945899 使第一圖框内之經填充之 影像中的母一者與第二圖框内 而潛在不同之原始大小的經填充之子影像交又相關。 ’ 一子影像可包含一可填充至64x64影像之16xl6 巨區塊。在其他實例中，子影像可包^6χ8、8χΐ6 8χ8 或更小之像素區塊。此外，可將該視訊序列中所包括之該 等圖框中的每一者劃分為多個片斷，以使得基於相關之 AGOP結構判定模組22可判定該等圖框中之每—者之個別 片斷的圖像類型。 ^ 自編碼效率之觀點而言，基於相關之AGOP結構判定模 組22在判定GOP結構中所包括之圖框之圖像類型時達成高 準確度，以使得其可被視為用於評估其他AG〇p判定技術 之「黃金標準」。基準比較器2〇將由AG〇p結構判定模組 1 8即時地判定之圖像類型與由基於相關之AG〇p結構判定 模組22判定的基準圖像類型比較以判定整合於即時轉碼器 10中之AGOP結構判定模組18的準確度。以此方式，在實 丨施於轉碼器10内之前，AGOP結構判定模組18之改變可根 據基於相關之AGOP結構判定模組22的「黃金標準」來加 以測試。 準確地判定GOP結構中所包括之圖框之圖像類型減少所 需編碼位元速率且賦能圖框之有效壓縮。舉例而言，準確 地判定I、P及B圖框之GOP結構允許編碼器14藉由採用圖 框之不同冗餘類型及相依結構、針對不同之圖框複雜性而 利用恰當之壓縮工具集合及支援諸如廣播應用之頻道切換 的特殊應用要求來有效地對圖框進行編碼。以此方式，編 136824.doc -20· 200945899 碼器14可改良轉碼器10内之速率-失真權衡。此外，内容 相依之圖像類型判定使編碼器14能夠更好地利用信號相關 以用於改良之編碼效率及視訊轉變之更好處置。 編碼器14可根據諸如MPEG-2(第2部分）、MPEG-4(第2部 分）、ITU_T H.263 或 ITU-T H.264/MPEG-4(第 1〇部分）進階 視訊編碼（AVC)之視訊壓縮標準來操作。雖然圖1中未圖 示，但在一些態樣中，編碼器14可與一音訊解碼器及編碼 器整合，且包括適當之多工器-解多工器單元或其他硬體 及軟體，以處置在一共同資料流中或作為獨立資料流的音 訊及視訊兩者之編碼。若適用，則多工器-解多工器單元 可遵照ITU-T H.223多工器協定或諸如使用者資料報協定 (UDP)之其他協定。 H.264/MPEG-4第10部分（AVC)標準由ITU-T視訊編碼專 家群（VCEG)與ISO/IEC動畫專家群（MPEG)—起製定以作為 被稱作聯合視訊團隊（JVT)之集體合夥關係的產品。H.264 標準由ITU-T研究群描述於ITU-T建議H.264「一般音視訊 服務之進階視訊編碼（Advanced video coding for generic audiovisual services)」中，且標註日期為2005年月’該 建議在本文中可被稱作11.264標準或凡264規範或反264/八¥€ 標準或規範。 聯合視訊團隊（JVT)繼續從事H.264/MPEG-4 AVC的可調 性視訊編碼（SVC)擴展。演進SVC擴展之規範採取聯合草 案（JD)之形式。由JVT建立之聯合可調性視訊模型（JSVM) 實施用於在可調性視訊編碼中使用之工具’該等工具可在 136824.doc •21- 200945899 轉碼器ίο内使用以用於本發明中所描述之各種編碼任務。 關於精細粒度可調性（FGS)編碼之詳細資訊可在聯合草案 文獻中找到，例如，在Thomas Wiegand、Gary Sullivan、 Julien Reichel、Heiko Schwarz 及 Mathias Wien之聯合草案 6(SVC JD6)「聯合草案6:可調性視訊編碼（Joint Draft 6:Scalable Video Coding)」JVT-S 201，2006 年 4 月， Geneva 中找到，且在 Thomas Wiegand、Gary Sullivan、 Julien Reichel、Heiko Schwarz 及 Mathias Wien之聯合草案 9(SVC JD9)「聯合草案 9 : SVC修正（Joint Draft 9 of SVC Amendment)」JVT-V 201，2007年 1 月，Marrakech，Morocco 中找到。 在一些態樣中，對於視訊廣播而言，可將本發明中所描 述之技術應用於增強型H.264視訊編碼以用於使用作為技 術標準TIA-1099公開之唯前向鏈路（FLO)空中介面規範 「陸上行動多媒體多播之唯前向鏈路空中介面規範 (Forward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast)」）（「FLO規範」） 而在陸上行動多媒體多播（TM3)系統中遞送即時視訊服 務。FLO規範包括界定位元流語法及語義及適合於FLO空 中介面之解碼過程的實例。或者，可根據諸如DVB-Η(數 位視訊廣播-掌上型）、ISDB-T(整合服務數位廣播-陸上型） 或DMB(數位多媒體廣播）之其他標準來廣播視訊。因此， 可自行動無線終端機、視訊串流伺服器或視訊廣播伺服器 發送經編碼之視訊資料的視訊序列。然而，本發明中所描 136824.doc -22· 200945899 述之技術不限於任何特定類型之廣播、多播、單播或其他 點對點系統。在廣播之狀況下，視訊資料提供者可將若干 頻道之經編碼之視訊資料廣播至多個接收器件。 ❹

圖2為說明實施於即時轉碼器24中的基於相關之ag〇P結 構判定模組22之例示性實施的方塊圖。在圖2之實例中， 使用基於相關之AGOP結構判定模組22以用於轉碼，而非 如同在圖1中用作評估不同GOP結構判定模組的基準。轉 碼器24可至少部分形成為可被統稱為積體電路器件之一或 多個積體電路器件。在一些態樣中，轉碼器24可形成諸如 行動電話之無線通信器件手機的部分。 如圖2中所說明，轉碼器24包括一解碼器乃、一預處理 1§26及一編碼器28。預處理器26包括一 G〇p分割器3〇及一 複雜性降低模組32。編碼器28包括基於相關之AG〇p結構 判定模組22。在圖2中所說明之實施中，整個基於相關之 AGOP結構判定模組22包括在編碼器28中。在其他實施 中’可在預處理器26與編碼器28之間劃分基於相關之 AGOP結構狀模組22的功能。舉例而|，基於相關之 AGOP結構判定模組22可在預處理器26内計算交又相關且 可在編碼器28内執行相關分析及圖像類型判定。 轉碼器24自視訊資料提供者接收包括經編碼之視訊資料 的視訊序列。如上文參看心所描述’視訊序列可包含使 用不支援最有效地制連續㈣之間或單㈣框内之相似 性的演算法的視訊編碼標準來編碼之視訊資料，例如，使 用MPEG-2(第2部分）來編碼之數 电現資枓。轉碼器24可 136824.doc •23· 200945899 將視訊序列轉換為諸如Ιτυ_τ η.264之另一更進階之編碼 標準。舉例而言，轉碼器24可對該視訊序列進行重新編碼 以使視訊圖框對無線視訊廣播、有效儲存或需要高度有效 之資料壓縮的其他應用或服務作好準備。 為了轉換視訊序列，解碼器25將視訊序列自較低效之原 始編碼標準解碼。預處理器26内之GOP分割器30接著將經 解碼之視訊序列分割為包括複數個圖框之G〇p結構。g〇P 分割器3 0可根據基於賦能視訊序列之均一 I圖框間隔之隨 機存取的預定GOP大小或根據賦能視訊序列内之j個圖框 之隨機存取的隨機定位而將經解碼之視訊序列分割為圖框 群組。舉例而言’ GOP分割器30可將經解碼之視訊序列分 割為約二十個圖框之若干群組，其中每一群組以一 I圖框 開始。 如上文參看圖1所描述’在非即時地執行交又相關計算 時’可將基於相關之AGOP結構判定模組22視為AGOP判定 技術之「黃金標準」。因此，在基於相關之AGOP結構判 定模組22實施於非即時轉碼器内的狀況下，基於相關之 AGOP結構判定模組22可在無任何複雜性降低之情況下非 即時地判定圖像類型。然而，在圖2中所說明之態樣中， 在轉碼器24包含一即時轉碼器的情況下，實施於轉碼器24 内之基於相關之AGOP結構判定模組22可經受複雜性降低 以賦能圖像類型之即時判定。 在圖2中所說明之實施中，預處理器26包括複雜性降低 模組32，該複雜性降低模組32執行特定複雜性降低以使基 136824.doc •24· 200945899 於相關之AGOP結構判定模組22能夠以最小之準確度損失 來即時地計算交又相關。舉例而言，複雜性降低模組32可 降低GOP結構中所包括之圖框内之影像資訊的解析度。複 雜性降低模組32亦可限制基於相關之AGOP結構判定模組 22可在判定任何給定圖框之圖像類型時計算之交又相關計 • 算的數目。在一些實施中’複雜性降低模組32可對視訊資 ·· 料或基於相關之AGOP結構判定模組22的即時功能執行其 他複雜性降低。 一旦複雜性降低模組3 2已執行必要之複雜性降低，編碼 器24内之基於相關之AGOP結構判定模組22便基於圖框之 間的交叉相關而即時地判定由GOP分割器30產生之GOP結 構中所包括之圖框中之每一者的圖像類型。編碼器28接著 使用所要編碼標準來對圖框進行重新編碼且將該等經重新 編碼之圖框發送至一傳輸器以用於無線視訊廣播、發送至 一儲存器件以用於儲存或發送至其他裝置以用於需要高度 0 有效之資料壓縮的應用或服務。 基於相關之AGOP結構判定模組22如上文參看圖i所描述 而操作。在圖2中所說明之實例中，基於相關之AG〇p結構 判定模組22的操作可經受複雜性降低。然而’圖2中所說 明之實例不欲為限制性的》在其他實例中’轉碼器24可包 括軟體、硬體及/或韌體平台，其就每單位時間所支援之 計算數目效能而言足夠強大以即時地且在無任何複雜性降 低之情況下實施基於相關之AGOP結構判定模組22。 該等交又相關包括GOP結構中所包括之若干對圖框内之 136824.doc •25· 200945899 影像資訊之間的第一階交叉相關及若干對該等第一階交叉 相關之間的第二階交叉相關》可在像素域中計算第一階交 叉相關。可分析該等第一階交叉相關以彳貞測該等圖框之間 的視訊轉變。可比較分析第一階交又相關及第二階交叉相 關以判定相鄰圖框之間的時間相似性。以此方式，基於相 關之AGOP結構判定模組22基於視訊轉變及時間相似性來 判定該等圖框之圖像類型。 在一個態樣中’基於相關之AGOP結構判定模組22計算 GOP結構中所包括之若干對圖框内之影像之間的第一階交 叉相關。第一階影像交叉相關識別該若干對圖框之間的全 域（亦即’總體）相似性及全域移動之量，但不識別在圖框 内在較小規模之子影像處發生的移動。在此狀況下，基於 相關之AGOP結構判定模組22可判定全圖框之圖像類型。 在另一態樣中’基於相關之AGOP結構判定模組22計算 GOP結構中所包括之若干對圖框内之子影像（例如，巨區 塊）之集合之間的第一階交又相關且關於該若干對中之每 一對圖框之子影像的全部或一部分而對該等交又相關求平 均值。第一階子影像交叉相關識別該若干對圖框之間的子 影像相似性及移動量’且識別在圖框内於何處發生移動。 在此狀況下，基於相關之AG0P結構判定模組22藉由添加 填充像素來填充子影像集合中之每一子影像以達成共同影 像大小。以此方式，基於相關之AG〇p結構判定模組22可 使第一圖框内之經填充之子影像中的每一者與第二圖框内 之潛在不同原始大小的經填充之子影像交又相關。舉例而 l36S24.doc •26- 200945899 言，—子影像可包含一可填充至64x64影像之16χ16巨區 塊》在其他實例中，子影像可包含16χ8、8χΐ6、8χ8或更 小之像素區塊。此外’可將該視訊序列中所包括之該等圖 框中的每-者劃分為多個片_，以使得基於相關之AG〇p 結構判定模組2 2可判定該等圖框中之每—者之個別片斷的 圖像類型。 自編碼效率之觀點而言，基於相關之AG〇p結構判定模 組22賦能GOP結構中所包括之圖框的圖像類型之準確即時 判定。準確地判定G0P結構中所包括之圖框之圖像類型減 少編碼位元速率且賦能圖框之有效壓縮。舉例而言準確 地判定I、P及B圖框之GOP結構允許編碼器28藉由採用圖 框之不同冗餘類型及相依結構、針對不同圖框複雜性利用 恰當之壓縮工具集合且支援諸如廣播應用之頻道切換的特 殊應用要求來有效地對圖框進行編碼。以此方式，編碼器 28可改良轉碼器24内之速率失真權衡。此外，内容相依 之圓像類型判定使編碼器28能夠更好地利用信號相關以用 於改良之編碼效率及視訊轉變之更好處置。編碼器28可大 體上類似於圖1之編碼器丨4而操作。因此，經編碼之視訊 資料的視訊序列可為行動無線終端機、視訊串流伺服器或 視訊廣播飼服器。在廣播之狀況下，視訊資料提供者可將 若干頻道之經編碼之視訊資料廣播至多個接收器件。 在另一態樣中’轉碼器24可包括基於相關之AGOP結構 判定模組22及類似於圖1之ag〇P結構判定模組18的AGOP 結構判定模組兩者。以此方式’當足夠資源可用以基於交 I36824.doc -27- 200945899 又相關即時地判定圖像類型時’轉碼器24可利用基於相關 之AGOP結構判定模組22。然而，當資源不足時，轉碼器 24可改為利用可更快但較不準確之非基於相關之ag〇p結 構判定模組以用於圖像類型之即時判定。 圖3為說明作為實施於即時轉碼器36中之ag〇p結構判定 . 模組40可與之比較之離線基準的基於相關2AG()P結構判 - 定模組22之例示性實施的方塊圖。編碼器36可至少部分形 ❹ 成為可被統稱為積體電路器件之一或多個積體電路器件。 在些態樣中，編碼器3 6可形成諸如行動電話之無線通信 !§件手機的部分。 如圖3中所說明，編碼器36包括一 g〇p分割器3 8及一 AGOP結構判定模組4〇。編碼器36可包含單次或多次視訊 編碼器。編碼器36可根據諸如MPEG_2(第2部分）、MpE(j 4 (第2部分）、1丁1；-丁11.263 或1丁1；-丁11.264/1^£〇-4(第10部 分）進階視訊編碼（AVC)之視訊壓縮標準來操作。 « 、編碼器36自視訊資料提供者接收包括先前未壓縮之原始 視訊資料的視訊序列。許多視訊應用（尤其係無線視訊廣 播應用）需要由諸如ITU_T h.264之進階編碼標準提供的高 : 度有效之資料壓縮，該等進階編碼標準籍由更複雜之演算 - &來採用跨越圖框及圖框内之資料冗餘。舉例而言，編碼 器36可對該視訊序列進行編碼以使視訊圖框對無線視訊廣 播、有效儲存或需要高度有效之資料壓縮的其他應用或服 務作好準備。 為了對視訊序列進行編；I，GC)p分割器38將視訊序列分 136824.doc •28- 200945899 割為包括複數個圖框之GOP結構e GOP分割器38可根據基 於賦能視訊序列之均一 I圖框間隔之隨機存取的預定G〇p 結構大小或根據賦能視訊序列内之j個圖框之隨機存取的 隨機疋位而將視訊序列分割為圖框群組。舉例而言，G〇p 分割器3 8可將視訊序列分割為約三十個圖框之若干群組， . 其中每一群組以一 Ϊ圖框開始。在其他狀況下，GOP分割 ' 器38可根據基於基本傳輸方案之實體層封包化及資料叢發 _ 特性的考量而將視訊序列分割為圖框群組。統計多工方案 之存在及其設計亦可影響GOP分割器38將視訊序列分割為 圖框群組之方式。 編碼器36内之AG0P結構判定模組40判定由g〇P分割器 3 8產生之GOP結構中所包括之圖框中之每一者的圖像類 型。AGOP結構判定模組4〇可執行任何非基於相關之AG〇p 結構判定技術。編碼器36接著使用所要編碼標準來對圖框 進行編碼且將該等經編碼之圖框發送至一傳輸器以用於無 φ 線視訊廣播、發送至一儲存器件以用於儲存或發送至其他 裝置以用於需要高度有效之資料壓縮的應用或服務。 根據本發明之一態樣，基於相關之AGOP結構判定模組 : 22可定位在編碼器36外部以作為實施於編碼器36中之 ； AGOP結構判定模組4〇可與之比較的離線基準。基於相關 之AGOP結構判定模組22基於由G〇p分割器38產生之G〇p 結構中所包括之圖框之間的交叉相關來判定該等圖框中之 每一者的基準圖像類型。基於相關之AG〇p結構判定模組 22如上文參看圖1所述而操作。 136824.doc •29· 200945899 自編碼效率之觀點而言，基於相關之AGOP結構判定模 組22在判定GOP結構中所包括之圖框之圖像類型時達成高 準確度，以使得其可被視為用於評估其他AGOP判定技術 之「黃金標準」。基準比較器42將由AGOP結構判定模組 40即時地判定之圖像類型與由基於相關之AGOP結構判定 模組22判定的基準圖像類型比較以判定整合於即時編碼器 36中之AGOP結構判定模組40的準確度。以此方式，在實 施於編碼器36内之前，AGOP結構判定模組40之改變可根 ® 據基於相關之AGOP結構判定模組22的「黃金標準」來加 以測試。 圖4為說明實施於即時編碼器44中的基於相關之AGOP結 構判定模組22之例示性實施的方塊圖。在圖4之實例中， 使用基於相關之AGOP結構判定模組22以用於編碼，而非 如同在圖3中用作評估不同GOP結構判定模組的基準。編 碼器44可至少部分形成為可被統稱為積體電路器件之一或 1 多個積體電路器件。在一些態樣中，編碼器44可形成諸如

P 行動電話之無線通信器件手機的部分。 如圖4中所說明，編碼器44包括一 GOP分割器46、一複 - 雜性降低模組48及基於相關之AGOP結構判定模組22。編 _ 碼器44可包含單次或多次視訊編碼器。編碼器44可根據諸 如 MPEG-2(第 2部分）、MPEG-4(第 2部分）、ITU-T H.263 或 ITU-T H.264/MPEG-4(第10部分）進階視訊編碼（AVC)之視 訊壓縮標準來操作。 編碼器44自視訊資料提供者接收包括先前未壓縮之原始 136824.doc -30- 200945899 視訊資料的視訊序列。編碼器32可對該視訊序列進行編碼 以使視訊圖框對無線視訊廣播、有效儲存或需要高度有效 之資料壓縮的其他應用或服務作好準備。為了對視訊序列 進行編碼，GOP分割器46將視訊序列分割為包括複數個圖 框之GOP結構。如上文所描述，在非即時地執行交叉相關 計算時，可將基於相關之AGOP結構判定模組22視為AGOp 判定技術之「黃金標準」。因此，在基於相關之AGOP結 構判定模組22實施於非即時編碼器内的狀況下，基於相關 之AGOP結構判定模組22可在無任何複雜性降低之情況下 非即時地判定圖像類型。然而，在圖4中所說明之態樣 中，在編碼器44包含一即時編碼器的情況下，實施於編碼 器44内之基於相關之AGOP結構判定模組22可經受複雜性 降低以賦能圖像類型之即時判定。 在圖4中所說明之實施中’複雜性降低模組48執行特定 複雜性降低以使基於相關之AGOP結構判定模組22能夠以 最小之準確度損失來即時地執行交叉相關計算。複雜性降 低模組48大體類似於圖2之轉碼器24之預處理器26内的複 雜性降低模組32而操作。 基於相關之AGOP結構判定模組22如上文參看圖1所描述 而操作。在圖4中所說明之實例中，基於相關之AG〇p結構 判疋模組22的操作可經受複雜性降低。然而，圖4中所說 月之實例不欲為限制性的。在其他實例中，編碼器44可包 括軟體、硬體及/或韌體平台，其就每單位時間所支援之 计算數目效能而言足夠強大以即時地且在無任何複雜性降 136824.doc 200945899 低的情況下實施基於相關之AGOP結構判定模組22。 圖5為說明作為由即時轉碼器1〇利用之離線基準的基於 相關之AGOP結構判定模組22之例示性操作的流程圖。將 關於圖1之即時轉碼器10來描述圖5之流程圖。一旦預處理 器12自解碼器11接收到經解碼之視訊資料，g〇P分割器16 便將視訊資料分割為各包括複數個圖框之GOP結構（50)。 實施於即時轉碼器1〇中之AGOP結構判定模組18即時地 判定GOP結構中所包括之圖框的圖像類型（52)。定位在即 時轉碼器10之外部的基於相關之AGOP結構判定模組22判 定GOP結構中所包括之圖框的基準圖像類型（54)。可將基 於相關之AGOP結構判定模組22的輸出視為圖像類型判定 技術之「黃金標準」。因此，基準比較器2〇將由AGOP結 構判定模組1 8判定之即時計算之圖像類型與由基於相關之 AGOP結構判定模組22判定的基準圖像類型比較以判定 AGOP結構判定模組18的準確度0 圖ό為說明實施於即時轉碼器24中的基於相關之AGOP結 構判定模組22之例示性操作的流程圖。將關於圖2之即時 轉碼器24來描述圖6之流程圖。一旦預處理器26自解碼器 25接收到經解碼之視訊資料，GOP分割器30便將視訊資料 分割為各包括複數個圖框之GOP結構（56)。 複雜性降低模組32降低GOP結構中所包括之圖框内之影 像資訊的解析度（57)。在一些狀況下’複雜性降低模組32 亦可限制基於相關之AGOP結構判定模組22可在判定任何 給定圖框之圖像類型時計算之交又相關的數目。實施於即 136824.doc -32- 200945899 時轉碼器24中之基於相關之AGOP結構判定模組22接著即 時地判定GOP結構中所包括之圖框的圖像類型（58)。 圖7為更詳細地說明基於相關之AGOP結構判定模組22的 方塊圖。如上文所描述，基於相關之AGOP結構判定模組 22可用作位於即時編碼器件外部之離線基準（圖1及圖”或 可實施於即時編碼器件中（圖2及圖4)。如圖7中所說明，基 於相關之AGOP結構判定模組22包括一分析窗口定位模組 60、一相關器62、一相關分析器64、一圖像類型判定模組 66及一評估模組68。 大體而言，基於相關之AGOp結構判定模組22接收G〇p 結構中所包括之圖框且基於若干對圖框内之影像資訊之間 的交又相關來判定該等圖框中之每一者的圖像類型。分析 窗口定位模組60將一具有預定圖框計數寬度之分析窗口以 候選圖框為中心定位在一 GOP結構内。舉例而言，分析窗 口可具有五個圖框之時間寬度’以使得該分析窗口在以候 選圖框為中心時亦包括該候選圖框之兩個先前相鄰圖框及 兩個後續相鄰圖框。 相關器62計算分析窗口中所包括之若干對圖框内之影像 之間的第一階交叉相關。以此方式，分析窗口對相關器62 计算以判定候選圖框之圖像類型的第一階交叉相關之數目 施加限制。在一個態樣中，相關器62計算全圖框影像之間 的第一階交叉相關。第一階影像交叉相關識別該若干對圖 框之間的全域（亦即’總體）相似性及全域移動之量，但不 識別在圖框内在較小規模之子影像處發生的移動。相關器 136824.doc -33· 200945899 62接著計算若干對第—階影像交又相關之間的第二階交叉 相關。 在另一態樣中，相關器62計算若干對圖框内之子影像集 合之間的第一階交又相關。可將該等圖框中之每一者内的 景夕像劃分為諸如S區塊之多個子影像。舉例而f，子影像 ' 可包含16X16、16X8、8xl6、8x8或更小之像素區塊。接著 • 將第一圖框之子影像中的每一者填充至共同影像大小且與 φ I自第-圖框之經填充之子影像交又相關。相關器62藉由 關於該若丨冑中之每一#圖框之子影像的全部或一部分而 對峰值子影像交叉相關值求平均值來產生第一階交又相 關。第一階子影像交又相關識別該若干對圖框之間的子影 像相似性及移動量，且識別在圖框内於何處發生移動。相 關器62接著計算若干對第一階子影像交又相關之間的第二 階交又相關。 相關分析器64自相關器62接收第一階交又相關及第二階 φ 交又相關。相關分析器64基於第一階交又相關而偵測分析 窗口内之圖框之間的視訊轉變效果。視訊轉變效果指用以 自一視訊序列之當前場景轉變為同一視訊序列之另一場景 . 或另一視訊序列之另一場景的視覺視訊效果《舉例而言， : 相關分析器64可偵測包括剪輯場景改變、鏡頭邊界、閃光 圖框及部分場景改變之緊湊支援視訊效果。當視訊序列歸 因於同一内容頻道上之内容改變或歸因於頻道或相機切換 而自一個視訊場景改變至不同視訊場景時，可發生剪輯場 景改變。當圖框組成物之一部分自一個場景改變至不同場 136S24.doc • 34 _ 200945899 景且該圖框組成物之剩餘部分為靜態（例如，邊緣、圖形 及文字覆蓋）時，可發生部分場景改變。當視訊序列歸因 於在視訊記錄事件時之閃光攝影而瞬間改變明度值時，可 出現閃光圖框。 相關分析器64亦可偵測擴展支援視訊效果，其包括交又 . 淡化及溶接（其包括淡入及淡出以作為特殊狀況）以及放大 ： &縮小。當視訊序列歸因於内容改變而自-個視訊場景逐 ❿ 較變至不同視訊場景（例如，天氣圖自國家之—個地區 改變至另一地區）時，可發生交又淡化。此外，相關分析 器64可偵測包括相機搖攝及相機捲動之全域運動視訊效 ^ *視訊序列歸因於視訊相機之水平移動而自一個視訊 場景逐漸改變至不同視訊場景時，可發生相機搖攝。當視 ;序列歸因於視訊相機之垂直移動而自—個視訊場景遞增 地改變至不同視訊場景時，可發生相機捲動。 不同視-代轉變效果在分析窗口中所包括之候選圖框與相 © _框之間展現不同程度之影像資料及細節重複且因此 表示候選圖框之不同圖像類型。舉例而言，若在候選圖框 中發生剪輯場景改變，則因為視訊場景完全改變，所以應 - ^候選®框編碼為1圖像。在於候選圖框中發生部分場景 、· 變狀况下，可將包括靜態邊緣、圓形或文字覆蓋之候 ^圖框之。p分編碼為卩片斷且可將包括發生改變之有效 δ昜景的候選圖框之部分編碼為I片冑。若在候選圖框 發生閃光圖框、交叉淡化、放大或縮小、或相機搖攝或 捲動貝jg)為視訊場景略微或逐漸依賴於先前圖框及可能 136824.doc -35· 200945899 之後續圖框而改變，所以可將候選圖框編碼為P圖像或B圖 像。 相關分析器64亦在第一階交叉相關與第二階交叉相關之 間執行比較分析且基於該比較分析來判定分析窗口内之相 鄰圖框之間的時間相似性。時間相似性指分析窗口中所包 括之候選圖框與相鄰圖框之間的影像細節重複程度。時間 相似性之量表示候選圖框之圖像類型。舉例而言，若候選 圖框不類似於任何先前相鄰圖框，但其類似於後續相鄰圖 框’則應將該候選圖框編碼為I圖像❶若候選圖框類似於 一先前相鄰圖框但不類似於一後續相鄰圖框，則應將該候 選圖框編碼為p圖像❺若候選圖框類似於一先前相鄰圖框 及一後績相鄰圖框，則應將其編碼為p圖像或B圖像。在此 狀況下，分析窗口中所包括之相鄰圖框之間的第一階交又 相關及第二階交叉相關可幫助判定應將候選圖框編碼為p 圖像或是B圖像。舉例而言，若先前相鄰圖框類似於後續 相鄰圖框，則應將該候選圖框編碼為p圖像。 圖像類型判定模組66接收視訊轉變效果資訊及來自相關 分析器64之時間相似性資訊。圖像類型判定模組託基於在 分析窗口内偵測之視訊轉變效果及分析窗口中所包括之圖 框之間的時間相似性來判定候選圖框之圖像類型。在相關 器62計算影像交又相關之實施中，圖像類型判定模組66可 判定整個候選圖框之圖像類型。在相關器62計算子影像交 又相關之實施中，可將候選圖框劃分為多個片斷，以使得 圖像類型判定模組66可判定候選圖框之個別片斷中之每一 136824.doc •36· 200945899 者的圖像類型。 評估模組68基於圖像類型判定模組66對圖框内容、速 率-失真改良特性及編碼頻寬機制特性的相依性來量測圖 像類型判定模組66之效能。評估模組68可利用取決於GOP 結構中之所判定之Ρ、8及j圖像之數目及時間位置的編碼 增益模型或PSNR改良模型。對於在PSNR改良模型中之使 用而言’可以可用於時間預測之參考圖像之有效計數的形 式來概述所判定之圖像類型。可使用評估模組68之輸出來 進一步改良由基於相關之AGOP結構判定模組22進行之圖 像類型判定的準確度。評估模組68之輸出可呈數值或表格 之形式。評估模組68可尤其有用於基於相關之Ag〇P結構 判疋模組22實施於即時編碼器件内的實施中（圖2及圖4)。

在視訊資料於一基礎層及一增強層中加以編碼的實施中 (亦即，對於可調性視訊編碼（svc)而言），基於相關之 AGOP結構判定模組22可包括一分層模組（圖7中未圖示）以 賦能基於增強層來改變基礎層中之圖框類型判定。舉例而 言，基礎層中所包括之特定圖框類型可改良基礎層與增強 層之間的頻寬平衡。因此，分層模組可基於增強層内之圖 框類型來改變基礎層編碼内之圖框類型以便改良頻寬平 衡。 圖8A至圖8C為說明視訊序列中所包括之圖框之間的第 -階交又相關及第二階交又相關之圖式。在—個態樣中， 圖7之相關器62計算本文中所描述的在分析窗口 7〇中所包 括之若干對圖框内之影像之間的第―㈣又相關。在另一 136824.doc -37- 200945899 態樣中關器62計算本文中所描述的在該分析窗口 中 所包括之若干對圖框内的子影像（例如，巨區塊）之集合之 間的第一階交又相關且關於該若干對中之每一對圖框2子 影像的全部或一部分而對交叉相關求平均值。 圖8A說明由圖7之分析窗口定位模組6〇進行的在G〇p結 構内之分析窗口 70之定位。如圖8A中所展示，分析窗口 以候選圖框（fk)72為令心定位在G〇p結構内且包括預定數 目個相鄰圖框。舉例而言，分析窗口 7〇具有五個圖框之預 定時間寬度，以使得分析窗口在以候選圖框（fk)72為中心 時亦包括候選圖框（fk)72之兩個先前相鄰圖框％】及fk2)及 兩個後續相鄰圖框％+1及fk+2)。以此方式，相關器62計算 分析窗口 70中所包括之圖框之間的第一階交又相關以判定 候選圖框72之圖像類型。換言之，使用分析窗口 7〇對相關 器62計算以判定GOP結構中所包括之每一圖框之圖像類型 的第一階交叉相關之數目施加限制。 圖8B說明由相關器62在分析窗口 70中所包括之圖框之間 執行的第一階交叉相關計算^相關器62計算第一先前相鄰 圖框（fn)與候選圖框（fk)72之間的第一前向交叉相關 (Fl)74。相關器62接著計算第二先前相鄰圖框（fk 2)與候選 圖框（fk)72之間的第二前向交叉相關（F2)75。相關器62亦計 算第一後續相鄰圖框（fk+i)與候選圖框（fk)72之間的第一後 向交叉相關（B 1)76。相關器62接著計算第二後續相鄰圖框 (fk+2)與候選圖框（fk)72之間的第二後向交叉相關（B2)77。 相關器62接著計算第一先前相鄰圖框（f^)與第一後續相鄰 136824.doc -38 - 200945899 圖框（fk+ι)之間的第一對稱交又相關計算（S2)78。相關器62 接著計算第二先前相鄰圖框（fk-2)與第二後續相鄰圖框 (fk+2)之間的第二對稱交叉相關計算（84)79。 圖8C說明由相關器62在分析窗口 7〇内之第一階交叉相關 之間執行的第二階交叉相關計算。相關器62計算第一階第 . 一前向交又相關（Fl)74與第一階第一後向交叉相關（Bl)76 : 之間的第二階第一相鄰交又相關（01)80。相關器62接著計 算第一階第二前向交叉相關（F2)75與第一階第二後向交叉 ® 相關（B2)77之間的第二階第二相鄰交又相關（〇2)81。 在一些態樣中，如圖1及圖3中所展示，可在基於相關之 AGOP判定模組22内使用相關器62以作為位於即時編碼器 件外部之離線基準。在此狀況下，相關器62非即時地計算 本文中所描述之第一階交又相關及第二階交叉相關。在其 他態樣中，如圖2及圖4中所展示，可在實施於即時編碼器 件中之基於相關之AGOP判定模組22内使用相關器62。在 .一些狀況下，複雜性降低可限制相關器62可在判定候選圖 框72之圖像類型時計算之交又相關的數目。舉例而言，當 分析窗口 70具有等於五個圖框之時間寬度時，相關器62可 - 僅計算三個第一階交又相關及兩個第二階交又相關。舉例 . 而言’相關器62可計算第一前向交叉相關（F 1)7 4、第一對 稱交叉相關（S2)78、第二對稱交又相關（S4)79、第二階第 一相鄰交又相關（01)80及第二階第二相鄰交又相關 (02)8 卜 圖9為說明基於相關之AGOP結構判定模組22中所包括之 I36824.doc -39- 200945899 相關器62之例示性實施的方塊圖。如圖9中所展示，相關 器62A包含一基於二維快速傅立葉變換（2D FFT)之計算以 執行影像交叉相關。相關器62A可計算一視訊序列中所包 括之若干對圖框内之影像之間的第一階交又相關及若干對 該等第一階影像交又相關之間的第二階交叉相關。 • 當相關器62A計算第一階影像交又相關時，預調節模組 : 82接收第一諫内之影像且將經預調節之影像饋入至傅立 參 葉變換（F)84。同時’預調節模組83接收第二圖框内之影 像且將經預調節之影像饋入至複共軛（F*)傅立葉變換85。 將第-圖框影像之變換及第二圖框影像之複共輛變換相乘 且饋入至反傅立葉變換(F )88。標準化器89接著將反變換 輸出標準化且最大值渡波器9〇判定第一圖框與第二圖框内 之影像之間的經標準化之第一階交又相關之最大值。接 著’留存經標準化之第一階影像交又相關之最大值以作為 用於由相關分析器64使用之特性值。 ❹ 當相關H62A計算第二階交又相關時，預調節模組82接 收第對圖框之間的第一階影像交又相關且將經預調節之 第-階影像交又相關饋入至傅立葉變換(F)84。同時，預 • 料模組83接收第：對圖框之間的第-階影像交叉相關且 W預調節之第-階影像交又相關饋人至複共輛（F*)傅立 葉變換85將第一對圖框之間的影像交叉相關之變換及第 對圖框之間的影像交叉相關之複共輛變換相乘並饋入至 反傅立葉變換（F、。標準化器89接著將反變換輸出標準 化且最大值遽波器9〇判定第_對圖框與第二對圏框之間的 I36824.doc 200945899 第一階影像交叉相關之間的經標準化之第二階交又相關之 最大值。接著，留存經標準化之第二階影像交又相關之最 大值以作為用於由相關分析器64使用之特性值。 圖10為說明基於相關之AGOP結構判定模組22中所包括 之相關器62之另一例示性實施的方塊圖。如圖1〇争所展 . 不，相關器62B包含一基於二維（2D)FFT之計算以執行子影 ·· 像交又相關。相關器62B可計算一視訊序列中所包括之若 干對圖框内之子影像之間的第一階交又相關及若干對該等 第一階子影像交叉相關之間的第二階交又相關。 當相關器62B計算第-階子影像交又相關時，預調節模 組92接收第一圖框内之子影像（例如，巨區塊之集合）且將 經預調節之子影像饋入至傅立葉變換（F)94。預調節模組 92將第-圖框内之子影像填充至共同影像大小。同時預 調節模組93接收第二圖框内之子影像（例如，巨區塊之集 合）且將經預調節之子影像饋入至複共軛傅立葉變換 ❿ （F*)95。預調節模組93將第二圖框内之子影像填充至共同 影像大小。將第一圖框之經填充之子影像的變換及第二圖 框之經填充之子影像的複共軛變換相乘且饋入至反傅立葉 ·· 變換（F丨）98 °標準化11 99接著將反變換輸出標準化且最大 . 值濾波器100判定第一圖框内之子影像與第二圖框内之子 影像之間的經標準化之第一階交又相關之最大值。平均模 組1〇2接著關於第一圖框内之子影像集合中之子影像的全 部或一部分而對經標準化之交又相關之最大值求平均值。 接著，留存經標準化之第一階交叉相關之經平均之最大值 136824.doc _41 _ 200945899 以作為用於由相關分析器64使用之特性值。 當相關器62B計算第二階交又相關計算時，預調節模組 92接收第一對圖框之間的第一階交又相關子區段且將經預 調節之第一階交叉相關子區段饋入至傅立葉變換（F)94。 同時，預調節模組93接收第二對圖框之間的第一階交又相 關子區段且將經預調節之第一階交又相關子區段饋入至複 共軛（F*)傅立葉變換95 ^將第一對圖框之間的第一階交叉 相關子區段之變換及第二對圖框之間的第一階交叉相關子 區段之複共軛變換相乘並饋入至反傅立葉變換（F-i)98。標 準化器99接著將反變換輸出標準化且最大值濾波器1〇〇判 定第一對圖框與第二對圖框内之間的第一階交又相關子區 段之間的經標準化之第二階交叉相關之最大值。接著，留 存經標準化之第二階交又相關之最大值以作為用於由相關 分析器64使用之特性值。 圖11為說明基於相關之AGOP結構判定模組22中所包括 之相關分析器64之例示性實施的方塊圖。如圖丨丨中所說 明，相關分析器64包含一第一階相關分析器丨〇4、一比較 分析器106、一第二階相關分析器1〇8及一視訊轉變效果偵 測器110 ^視訊轉變效果偵測器丨丨〇包括一緊湊支援事件偵 測器112、一擴展支援事件偵測器j丨4及一全域運動偵測器 116° 相關分析器64自相關器62接收第一階交又相關及第二階 交叉相關。第一階相關分析器1〇4編譯第一階交叉相關且 將第一階交又相關饋入至視訊轉變效果偵測器11〇及比較 136824.doc -42- 200945899 分析器106。第二階相關分析器108編譯第二階交叉相關且 將第二階交叉相關施加至比較分析器106。 視訊轉變效果偵測器11 0基於第一階交叉相關而偵測當 前處理之GOP結構之圖框之間的視訊轉變效果。如參看圖 12至圖14所描述’視訊轉變效果偵測器no經由緊湊支援 - 事件偵測器1丨2、擴展支援事件偵測器114及全域運動偵測 ： 器116基於對視訊特殊效果之識別來偵測視訊轉變效果。 更具體言之’緊湊支援事件偵測器丨〖2自第一階交叉相關 ® 識別剪輯場景改變指紋、閃光圖框指紋及部分場景改變指 紋。擴展支援事件偵測器114自第一階交又相關識別包括 淡入及淡出之交又淡化指紋及放大及縮小指紋。全域運動 偵測器116自第一階交叉相關識別相機搖攝指紋及相機捲 動指紋。本文中定義指紋以意謂來自與特定視訊轉變效果 唯一匹配之匹配濾波器的特定回應，以使得偵測到此特定 回應等效於偵測到其相關聯之視訊轉變效果。 ❹ 視訊轉變效果彳貞測器11 〇接著將所偵測之視訊轉變效果 輸出至圖像類型判定模組66(圖7)。舉例而言，若在候選圖 框72中發生剪輯場景改變，則因為視訊場景完全改變，所 以應將候選圖框72編碼為〗圖像。在於候選圖框72中發生 : 部分場景改變之狀況下，可將包括靜態邊緣、圖形或文字 覆蓋之候選圖框72之部分編碼為p片斷，且可將包括發生 改變之有效視訊場景之候選圖框72之部分編碼為丨片斷。 若在候選圖框中發生閃光圖框、交叉淡化、放大或縮小、 4相機搖攝或捲動，貞彳因為視訊場景略微或逐漸依賴於先 136824.doc -43 - 200945899 刖圖框及可能之後續圖框而改變，所以可將候選圖框72編 碼為P圖像或B圖像。 比較分析器106在第一階交叉相關與第二階交又相關之 間執行比較分析。比較分析器106接著基於該比較分析來 判定分析窗口 70内之相鄰圖框之間的時間相似性。當執行 • 比較分析時，比較分析器比較圖框之間的相關程度以 ： 判定候選圖框72與其先前及後續相鄰圖框相似程度及相鄰 圖框彼此相似程度。比較分析器106接著將時間相似性輸 出至圖像類型判定模組66(圖7)β舉例而言，若候選圖框72 與後續相鄰圖框很好地相關但不與先前相鄰圖框很好地相 關（亦即，第一前向交叉相關74係低的且第一後向交又相 關76係高的）’則應將候選圖框72編碼為與先前圖框無關 且充當後續圖框之參考的〗圖像。作為另一實例，若候選 圖框72與後續相鄰圖框及先前相鄰圖框兩者均很好地相 關，則應將候選圖框72編碼為p圖像或B圖像。然而，若後 e 續相鄰圖框與先前相鄰圖框很好地相關（亦即，第一對稱 交又相關78係高的）’則可將候選圖框72編碼為p圖像。 圖12為說明作為圖u之相關分析器64中所包括之視訊轉 變效果偵測器m之一部分的緊湊支援事件谓測器ιΐ2之方 : ㈣。緊湊支援事件㈣器⑴可利用匹喊波器組以在 第-階父又相關分析器1〇4之輸出内偵測與緊湊支援視訊 效果相關聯之指紋。緊湊支援視訊效果包括剪輯場景改 變、部分場景改變及閃光圖框。舉例而言，當視訊序列内 容歸因於同一頻道上之内容改變或歸因於頻道切換而自一 136824.doc -44 - 200945899 個視訊場景瞬時改變至不同視訊場景時，可發生剪輯場景 改變。當視訊序列中之圖框内容之一部分自一個視訊場景 改變至不同視訊場景且該視訊序列中之圖框内容之剩餘部 分為靜態（例如，邊緣、圖形或文字覆蓋）時，可發生部分 場景改變。當視訊序列内容歸因於在視訊記錄事件時之閃 • 光攝影而瞬間改變明度值時，可發生閃光圖框。 : 在圖12中所說明之實例中，緊湊支援事件偵測器112根 ©據圖6利用第一階第一前向交叉相關（F丨）74、第一階第一 對稱交又相關（S2)78及第一階第二對稱交又相關（S4)79的 輸出°緊湊支援事件偵測器112使第一階交又相關輸出中 之母一者傳遞通過非線性高通濾波器120A至120C中之專 用者。將非線性高通濾波器120A至120C中之每一者的輸 出輸入至剪輯場景改變匹配濾波器122及閃光圖框匹配漶 波器124兩者。 剪輯場景改變匹配濾波器122隔離第一階交又相關之輸 φ 出令所包括的類似於剪輯場景改變之預期指紋的時間數列 特徵。舉例而言，如圖17之特徵180所展示，歸因於視訊 場景之完全改變，剪輯場景改變指紋包含圖框之間的低相 : 關之單個下降（dip)。緊湊支援事件偵測器112將剪輯場景 ; 改變匹配濾波器122之輸出饋入至臨限值比較器123以準確 地識別特徵中之哪些包含剪輯場景改變指紋。臨限值比較 器123將由剪輯場景改變匹配濾波器122隔離之特徵與設定 為預定值（例如，〇·29)之臨限值（Tcse)比較。緊湊支援事件 傾測器1 12在具有大於臨限值之匹配濾波器回應的彼等特 136824.doc •45· 200945899 徵位置處偵測剪輯場景改變。 义丧者，臨限值比較器123在 偵測到剪輯場景改變之情況 &卜將其布林（Boolean)輸出 (BCSC)設定為等於1，且在未偵測到剪輯場景改變之情況下 將其設定為等於h

緊凑支援事件制H 112亦可藉由制剪輯場景改變匹 配濾波器122及臨限值比較器123來偵測部分場景改變。如 圖18中之特徵184所展示’大體類似於剪輯場景改變指 紋，部分場景改變指紋包含單個下降，但歸因於視 之靜態部分而具有較高相關。部分場景改變指紋之相對小 之下降可能不會觸發待被緊湊支援事件偵測器112偵測到 的來自剪輯場景改變匹配濾波器122之足夠大之回應。可 降低臨限值比較器123之臨限值（Tese)輸入以賦能部分場景 改變之偵測，但此可藉由增加錯誤偵測緊湊支援視訊效果 之可能性（亦即，增加之誤警率）而導致額外之準確度問 題。實情為，相關器62可執行靜態邊緣偵測以識別靜態邊 緣之存在且計算對應於視訊場景之有效部分之子影像之間 的第一階交叉相關》以此方式，僅具有靜態邊緣之有效視 訊場景的完全改變可呈現等效於剪輯場景改變指紋之指 紋。 閃光圖框匹配渡波器124隔離第一階交又相關之輸出中 所包括的類似於閃光圖框之預期指紋的時間數列特徵。舉 例而言，如圖17之特徵182所展示，歸因於視訊場景内之 明度值改變’閃光圖框指紋包含圖框之間的較低相關之連 續下降。緊湊支援事件偵測器112將閃光圖框匹配濾波器 136824.doc -46- 200945899 124之輸出饋人至臨限值比較器125以準確地識別特徵中之 哪些包含閃光圖框指紋》臨限值比較器125將由閃光圖框 匹配濾波器124隔離之特徵與設定為預定值（例如，〇 2〇)之 臨限值（TFF)比較◎緊湊支援事件偵測器^在具有大於臨 限值之匹配濾波器回應的彼等特徵位置處偵測閃光圖框。 接著，臨限值比較器125在偵測到閃光圖框之情況下將其 布林輸出（BFF)設定為等於！，且在未偵測到閃光圖框之情 況下將其設定為等於0。 圖13為說明作為圖11之相關分析器64中所包括之視訊轉 變效果偵測器110之一部分的擴展支援事件偵測器i 4之方 塊圖。擴展支援事件偵測器114利用多解析度分析以在第 一階交叉相關分析器104之輸出内偵測與擴展支援視訊效 果相關聯之指紋。擴展支援視訊效果包括交又淡化、淡 入、淡出及縮放。舉例而言，當視訊序列歸因於内容改變 而自一個視訊場景逐漸改變至不同視訊場景時（例如，天 氣圖自國家之一個地區改變至另一地區），可發生交又淡 化。 在圖13中所說明之實例中，擴展支援事件偵測器114根 據圖6利用第一階第一前向交又相關（F 1)74、第一階第一 對稱交又相關（S2)78及第一階第二對稱交叉相關（84)79的 輸出。擴展支援事件4貞測器114使第一階交又相關輸出中 之每一者傳遞通過非線性低通濾波器1 26A至126C中之專 用者。非線性低通濾波器126A至126C中之每一者的輸出 被輸入至多解析度分析器128A至128C中之專用者。多解 136824.doc •47· 200945899 析度分析器128A至128C識別第一階交叉相關之輪出中所 包括的類似於交又淡化或縮放之預期指紋的特徵。舉例而 言’如圖19之特徵186所展示，歸因於視訊場景之逐漸改 變’交又淡化指紋包含圖框之間的低相關之凹口。多解析 度分析器128A至128C賦能以統一方式進行之具有變化很 大之持續時間的特徵的偵測及其實際持續時間之判定。 擴展支援事件偵測器114將多解析度分析器128A至128C 之輸出施加至經結構化顯著峰值分析器130以準確地識別 特徵中之哪些包含交又淡化或縮放指紋。經結構化顯著峰 值分析器130組合由多解析度分析器128八至128C中之每_ 者識別的特徵且判定第一階交又相關之輸出之每一者中的 低相關之凹口是否以特定次序時間性地對準。擴展支援事 件偵測器1 14可在第一階交叉相關之凹口時間性地相互對 準的情況下宣稱交又淡化。此外，理想地，應將該等凹口 之最小值排序為第一階第一前向交又相關（1?1)74大於第一 〇 冑第-對稱交又相關⑽78A於第—階第二對稱交又㈣ 圖14為說明作為圖11之相關分析 器64中 變效果偵測袈1 ! η 4 1 . (S4)79 。

机机双果包括相機搖攝、相機捲動及影響整 個視訊場景之其他平移運動 於視訊相機之水平移動而自 動。舉例而言，當視訊序列歸因 自一個視訊場景逐漸改變至不同 136824.doc -48- 200945899 視訊場景時，可發生相機搖攝。當視訊序列歸因於視訊相 機之垂直移動而自一個視訊場景逐漸改變至不同視訊場景 時，可發生相機捲動。 在圖14中所說明之實例中，全域運動偵測器116根據圖6 利用第一階第一前向交叉相關（F1)74、第一階第一對稱交 . 又相關（S2)78及第一階第二對稱交又相關（S4)79的輸出。 : 全域運動偵測器116將第一階交叉相關輸出中之每一者傳 遞通過最大值位置濾波器132A至132C中之專用者。最大 值位置濾波器132A至132C識別第一階交又相關之輸出中 所包括的類似於相機搖攝及相機捲動之預期指紋的特徵。 舉例而言，如圖20A之特徵188所展示，歸因於視訊場景之 逐漸改變，相機搖攝指紋包含在最大交又相關值位置中始 終存在之與原點的顯著水平偏移。如圖2〇B之特徵2〇〇所展 示，歸因於視訊場景之遞增改變，相機捲動指紋包含在最 大交叉相關值位置中始終存在之與原點的顯著垂直偏移。 φ 最大值位置濾波器i32A至132C以相關聯之第一階交又相 關的時間距離各輸出水平位移估計（h)及垂直位移估計 (v)。 ' 然而，諸如振影（ringing)及模糊之壓縮假影使根據第一 ; 階交叉相關之位移估計的準確度降級。因此，全域運動偵 測器116利用多頻道融合模組134使水平位移估計及垂直位 移估什平滑以避免壓縮假影之類降級雜訊之影響。此外， 緊湊支援視訊效果及擴展支援視訊效果可中斷全域運動位 移估計，此可導致異常之位移估計值。多頻道融合模組 136824.doc -49· 200945899 m可藉由跨越削貞測之緊凑支援視訊效果及擴展支援視 訊效果而執行位移估計之非線性平滑化來減小或消除此效 應。 如圖14中所說明，多頻道融合模組134包括用於以時間 距離2進α之位移估計的轉重以及用於料間距離*進行 之位移估計的y4權重以補償與不同位移估計相關聯之不同 時間距離。多頻道融合模組134亦包括用於位移估計中之 每一者的均一權重（例如，1/3)136八至136(：以等化以不同 時間距離進行之位移估計的強調。在其他態樣中，多頻道 融合模組丨34可使用非均一權重以強調以選定之時間距離 進行之位移估計。最後，多頻道融合模組134包括一水平 加法器142，其藉由加入根據時間距離中之每一者的經加 權之水平位移估計來產生單個經平滑化之水平位移估計 值。多頻道融合模組134亦包括一垂直加法器丨44，其藉由 加入根據時間距離中之每一者的垂直位移估計來產生單個 經平滑化之垂直位移估計值。 圖15為說明基於相關之AG〇p結構判定模組22基於影像 交叉相關來判定一視訊序列中所包括之圖框之圖像類型的 例示性操作的流程圖。將關於圖7之基於相關之Ag〇P判定 模組22、圖8A至圖8C之分析窗口 70及圖11之相關分析器 64來描述圖15之流程圖。 分析窗口定位模組60將分析窗口 70定位在GOP結構内， 該釦析由口 70以候選圖框（fk)72為中心且包括先前相鄰圖 框（fk-i及fk·2)及後續相鄰圖框（fk+1及fk+2)(l50)。相關器62 136824.doc -50- 200945899 計算分析窗口 70中所包括之若干對圖框内之影像之間的第 一階交叉相關（152)。相對於該等像素之像素域資料執行第 一階交叉相關。在此態樣中，相關器62計算全圖框影像之 間的第一階交又相關《如上文參看圖83所描述，第一階交 叉相關可包括第一前向交又相關74、第二前向交又相關 75、第一後向交又相關76、第二後向交叉相關77、第一對 稱交又相關78及第二對稱交又相關79。第一階影像交又相 關識別該若干對圖框之間的全域（亦即，總體）相似性及全 域移動之量，但不識別在圖框内在較小規模之子影像處發 生的移動。相關器62接著計算若干對第一階影像交叉相關 之間的第二階交又相關（丨54)。如上文參看圖8(：所描述， 第二階交叉相關可包括第一相鄰交叉相關80及第二相鄰交 叉相關81。 相關分析器64自相關器62接收第一階交叉相關及第二階 交又相關。第一階相關分析器1 〇4編譯第一階交又相關且 將第一階交叉相關饋入至視訊轉變效果偵測器u〇及比較 分析器106。第二階相關分析器1 編譯第二階交叉相關且 將第二階交叉相關饋入至比較分析器1〇6。 視訊轉變效果偵測器11 〇基於第一階交又相關而偵測當 前處理之GOP結構内之圖框之間的視訊轉變效果（156)β如 參看圖10至圖12所描述’視訊轉變效果偵測器1丨0經由緊 凑支援事件偵測器112、擴展支援事件偵測器n4及全域運 動偵測器11 6基於對視訊效果之識別來偵測視訊轉變效 果。更具體言之，緊湊支援事件偵測器112自第一階交叉 136824.doc 200945899 相關識別剪輯場景改變指紋、閃光圖框指紋及部分場景改 變才曰紋。擴展支援事件偵測器i丨4自第一階交叉相關識別 包括淡入及淡出指紋之交叉淡化指紋及放大及縮小指紋。 全域運動偵測器116識別相機搖攝指紋及相機捲動指紋。 比較分析器106在第一階交又相關與第二階交叉相關之 間執行比較分析。比較分析器1〇6接著基於該比較分析來 判定分析窗口 70内之相鄰圖框之間的時間相似性、其強度 及性質（1 58)。當執行比較分析時，比較分析器1 06比較圖 框之間的相關程度以判定候選圖框72與其相鄰圖框相似程 度及相鄰圖框彼此相似程度。 圖像類型判定模組66接收來自視訊轉變效果偵測器110 之視訊轉變效果資訊及來自比較分析器1 〇6之時間相似性 資訊。圖像類型判定模組66接著基於在分析窗口70内偵測 之視訊轉變效果及分析窗口 70中所包括之圖框之間的時間 相似性來判定候選圖框72之圖像類型（160)。 圖16為說明基於相關之aG〇p結構判定模組22基於子影 像交又相關來判定一視訊序列中所包括之圖框之圖像類型 的例不性操作的流程圖。將關於圖7之基於相關之AGOP判 定模組22、圖8A至圖8C之分析窗口 70及圖11之相關分析 器64來描述圖16之流程圖。 分析窗口定位模組60將分析窗口 70定位在GOP結構内， 該分析窗口 70以候選圖框（fk)72為中心且包括先前相鄰圖 框（fk-1&fk-2)及後續相鄰圖框（fk+1&fk+2)(164)。相關器62 β十算分析窗口 70中所包括之若干對圖框内之子影像集合之 136824.doc -52· 200945899 間的第一階交又相關（166)。相對於該等子影像之像素域資 料來執行子影像第一階交叉相關。可將該等圖框中之每一 者内的影像劃分為多個子影像（諸如，巨區塊）。接著將第 一圖框之子影像中的每一者填充至共同影像大小且與第二 圖框之子影像交又相關。舉例而言，子影像可包含填充至 64x64影像之16xl6巨區塊。相關器62藉由關於該若干對中 • 之每一對圖框之子影像的全部或一部分對峰值（亦即，最 ❹ 大）子影像交又相關值求平均值來產生第一階交又相關 (168)。第一階子影像交叉相關識別該若干對圖框之間的子 影像相似性及移動量，且識別在圖框内於何處發生移動。 相關器62接著計算若干對第一階子影像交叉相關之間的第 二階交叉相關（170) 〇 相關分析器64自相關器62接收第一階交又相關及第二階 交又相關。第一階相關分析器104編譯第一階交又相關且 將第一階交又相關饋入至視訊轉變效果偵測器11〇及比較 φ 分析器106。第二階相關分析器1〇8編譯第二階交又相關且 將第二階交又相關饋入至比較分析器丨〇6。視訊轉變效果 偵測器110基於第一階交叉相關而偵測當前處理之G〇p結 ; 構内之圖框之間的視訊轉變效果（172)。比較分析器1〇6在 ; 第一階交又相關與第二階交叉相關之間執行比較分析。比 較分析器106接著基於該比較分析來判定分析窗口 7〇内之 相鄰圖框之間的時間相似性、其強度及性質（丨74)。 圖像類型判定模組66接收來自視訊轉變效果偵測器11 〇 之視訊轉變效果資訊及來自比較分析器1〇6之時間相似性 136824.doc •53- 200945899 資訊。可將候選圖框72劃分為多個片斷，以使得圖像類型 判定模組66可基於在分析窗口 7〇内债測之視訊轉變效果及 分析窗口70令所包括之圖框之間的時間相似性來判定候選 圖框72之個別片斷中之每一者的圖像類型（176)。 ® 17為說明包括剪輯場纽變指紋刚及閃光圖框指紋 182的來自圖12之緊湊支援事件偵測器112之輸出的圖表。 : 當視訊序列内容歸因於同一頻道上之内容改變（例如，歸 因於選定之相機饋入之改變）或歸因於頻道切換而自一個 視訊場景改變至不同視訊場景時，可發生剪輯場景改變。 因此，歸因於視訊場景之完全改變，剪輯場景改變指紋 180包含圖框之間的低相關之單個下降。當視訊序列歸因 於在視訊記錄事件時之閃光攝影而瞬間改變明度值時，可 出現閃光圖框。因此，歸因於視訊場景内之明度值改變， 閃光圖框指紋182包含圖框之間的較低相關之連續下降。 該等連續下降係由視訊序列中之快閃誘發之增加之亮度的 φ 出現及消失而產生。在閃光圖框之狀況下，與剪輯場景改 變之單次改變相比，在極短之時框中有效地發生兩次改 變。 ·· 圖18為說明包括部分場景改變指紋184的來自圖12之緊 ； 湊支援事件偵測器Π2之輸出的圖表。當視訊序列圖框内 容之一部分自一個視訊場景改變至不同視訊場景且該視訊 序列圖框内容之剩餘部分為靜態（例如，邊緣、圖形及文 字覆蓋）時’可發生部分場景改變。因此，大體類似於剪 輯場景改變指紋180 ’部分場景改變指紋184包含單個下 136824.doc -54- 200945899 降’但歸因於視訊場景之靜態部分而具有較高相關。 圖19為說明包括交叉淡化指紋i86之來自圖13之擴展支 援事件偵測器114之輸出的圖表。當視訊序列圖框内容歸 因於内容改變而自一個視訊場景逐漸改變至不同視訊場景 (例如，天氣圖自國家之一個地區改變至另一地區）時，可 發生交又淡化。因此，交又淡化指紋〖86包含圖框之間的 : 低相關之凹口，以使得歸因於視訊場景之逐漸改變，不同 交又相關時間數列中之此等凹口以特定次序時間性地對 髎準。 圖20A及圖20B為說明包括相機搖攝指紋188及相機捲動 指紋200之全域運動偵測器116之輸出的圖表。當視訊序列 圖框内容歸因於視訊相機之水平移動而自一個視訊場景逐 漸改變至不同視訊場景時，可發生相機搖攝。如圖18A中 所說明，歸因於視訊場景之逐漸全域平移改變，相機搖攝 指紋188包含在所偵測之運動之水平分量中始終存在之與 Φ 值〇的顯著偏移或偏差，亦即，在最大交叉相關值位置中 始終存在之與原點的顯著水平偏移。該等偏移之量取決於 運動量以及觀察或估計該等偏移時所通過之時間距離，亦 -· 即，特定第一階交又相關時間數列。在圖20A中，可分別 . 卩1個2個及4個圖框間隔之時間距離來觀察約-1.5個像 素、-3個像素及-6個像素之平均偏移。 當視訊序列圖框内容歸因於視訊相機之垂直移動而自一 個視訊場景逐漸改變至不同視訊場景時，可發生相機捲 動。如圖20Β中所說明，歸因於視訊場景之逐漸全域平移 136824.doc •55- 200945899 改變，相機捲動指紋200包含在所偵測之運動之垂直分量 中始終存在之與值〇的顯著偏移或偏差，亦即，在交^相 關峰值位置中始終存在之與原點的顯著垂直偏移。該等偏 移之量取決於運動量以及觀察或估計該等偏移時所通過之 時間距離，亦即，特定第一階交又相關時間數列。在圖 ' 20B中，（例如）在圖框索引1〇至16周圍觀察到之最早之下 • 降（亦即，與0的負偏差）分別以1個、2個及4個圖框間隔之 ❹ _間距離對應於-1個、销及·4個像素之平均偏移。在此 時間間隔期間，視訊相機可能歸因於短暫震動而經歷突然 之短垂直位移。 本發明之技術係關於基於一視訊序列中所包括之複數個 圖框之間的交叉相關來判定該等圖框中之每一者之圖像類 型。更具體言之，該等技術係關於基於一 G〇p結構中所包 括之圖框之間的交又相關來適應性地判定該等圖框之圖像 類型。該等父叉相關包括該視訊序列中所包括之若干對圖 φ 框内之影像資訊之間的第一階交叉相關及若干對該等第一 階交叉相關之間的第二階交又相關。可分析該等第一階交 又相關以偵測該等圖框之間的視訊轉變效果。可比較分析 -· 第一階交叉相關及第二階交又相關以判定相鄰圖框之間的 . 時間相似性。因此，該等基於相關之判定技術基於該等視 訊轉變效果及該等時間相似性來判定該等圖框之圖像類 型。 該等基於相關之判定技術可計算若干對圖框内之影像之 間或若干對圖框内之子影像（例如，巨區塊）之集合之間的 136824.doc -56 - 200945899 第一階交叉相關’子影像之第一階交又相關之統計值（例 如’最大值）係關於該若干對中之每一對圖框之該等子影 像的全部或一部分而被求平均值。本文中所描述之技術可 執行於由轉碼器利用之基於相關之AGOP結構判定模組内 以用於以諸如ITU-T H.264之提供有效之圖框間及圖框内 . 壓縮的編碼標準來對視訊資料進行重新編碼。在一個態樣 : _，可使用該基於相關之AGOP結構判定模組作為實施於 即時轉碼器中之其他AGOP結構判定方法可與之比較的離 線基準。在另一態樣中，可在即時轉碼器中實施具有恰當 之複雜性降低的基於相關之AGOP結構判定模組。在其他 態樣中，可在單次或多次、即時或非即時視訊編碼器中利 用基於相關之AGOP結構判定模組以用於以諸如ITU T Η.264之提供有效之圖框間及圖框内壓縮的編碼標準來對 先前未壓縮之原始視訊資料進行編碼。 本文中所描述之技術可實施於硬體、軟體、動體、或其 φ 任一組合中。此等技術可實施於諸如通用電腦、無線通信 器件手機或具有包括在無線通信器件手機及其他器件中應 用之多種用途的積體電路器件之各種器件的任一者中。被 ; 描述為模組或組件之任何特徵可一起實施於整合式邏輯器 : 件中或獨立實施為分立但可交互操作之邏輯器件。若實施 於硬體中，則可使用數位硬體、類比硬體、或其組合來實 現該等技術。若實施於以軟體中，則可至少部分地由電腦 程式產品之電腦可讀媒體上之一或多個所儲存或傳輸的指 令或程式碼來實現該等技術。電腦可讀媒體可包括電腦儲 136824.doc •57- 200945899 存媒體、通信媒體或兩者，且可包括有助於將電腦程式自 一處傳送至另一處的任何媒體。儲存媒體可為可由電腦存 取的任何可用媒體。電腦程式產品可包括封裝材料。 舉例而言且並非限制，此等電腦可讀媒體可包含ram (諸如，同步動態隨機存取記憶體（SDRAM))、唯讀記憶體 • (R〇M)、非揮發性隨機存取記憶體（NVRAM)、可程式化唯 讀記憶體PROM、可抹除可程式化唯讀記憶體（EPROM)、 ❹ 電可抹除可程式化唯讀記憶體（EEPROM)、快閃記憶體、 CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存 器件或可用以載運或儲存呈指令或資料結構之形式的所要 程式碼且可由電腦存取之任何其他媒體。 且’可適當地將任何連接稱為電腦可讀媒體。舉例而 言，若使用網路電纜、同軸電纜、光纖纜線、雙絞線、數 位用戶線（DSL)、或諸如紅外線、無線電及微波之無線技 術而自網站、伺服器或其他遠端源傳輸軟體，則網路電 φ 纜、同軸電纜、光纖纜線、雙絞線、DSL、或諸如紅外 線 '無線電及微波之無線技術包括於媒體之定義中。如本 文中所使用，磁碟及光碟包括緊密光碟（CD)、雷射光碟、 光學光碟、數位通用光碟（DVD)、軟磁碟及藍光（blu ray) -* 光碟，其中磁碟通常磁性地再現資料，而光碟使用雷射光 干地再現資料。上述各物之組合亦應包括在電腦可讀媒體 之範疇内。 與電腦程式產品之電腦可讀媒體相關聯的程式碼可由電 腦執行，例如，由一或多個處理器（諸如，一或多個數位 136824.doc •58· 200945899 信號處理器（DSP))、通用微處理器、特殊應用積體電路 (ASIC)、場可程式化閘陣列（FpGA，亦被稱作場可程式化 邏輯陣列（FPLA))、或其他等效積體或分立邏輯電路來執 行。在一些態樣中’本文中所描述之功能性可提供於經組 態以用於編碼及解碼之專用軟體模組或硬體模組内或併入 . 於經組合之視訊編碼器-解碼器（編解碼器）中。 : 然而’在不偏離以下申請專利範圍之範疇的情況下，可 對所描述之技術進行各種修改。 ® 【II賴單說明】 圖1為說明作為實施於即時轉碼器中之AGOP結構判定模 組可與之比較之離線基準的基於相關之AG〇p結構判定模 組之例示性實施的方塊圖。 圖2為說明實施於即時轉碼器中的基於相關之ag〇p結構 判定模組之例示性實施的方塊圖。 圖3為說明作為實施於即時編碼器中之ag〇p結構判定模 ❹ 組可與之比較之離線基準的基於相關之AGOP結構判定模 組之例示性實施的方塊圖。 圖4為說明實施於即時編碼器中的基於相關之AG〇p結構 判定模組之例示性實施的方塊圖。 * 圖5為說明作為由即時編碼器件利用之離線基準的來自 圖1及圖3之基於相關之AG〇p結構判定模組之例示性操作 的流程圖 圖ό為說明實施於即時或非即時編碼器件中的來自圖2及 圖4之基於相關之AG〇p結才籌判定$組之例示性操作的流程 136824.doc -59- 200945899 圖。 圖7為更詳細地說明來自圖1至圖4之基於相關之AGOP結 構判定模組的方塊圖。 圖8A至圖8C為說明視訊序列中所包括之圖框之間的第 一階交叉相關及第二階交叉相關之圖式。 • 圖9為說明來自圖7之基於相關之AGOP結構判定模組中 ； 所包括之相關器之例示性實施的方塊圖。 圖10為說明來自圖7之基於相關之AGOP結構判定模組中 m 所包括之相關器之另一例示性實施的方塊圖。 圖11為說明來自圖7之基於相關之AGOP結構判定模組中 所包括之相關分析器之例示性實施的方塊圖。 圖12為說明作為來自圖11之相關分析器中所包括之視訊 轉變偵測器之一部分的緊凑支援事件偵測器之方塊圖。 圖13為說明作為來自圖丨丨之相關分析器中所包括之視訊 轉變偵測器之一部分的擴展支援事件偵測器之方塊圖。 φ 圖14為說明作為來自圖11之相關分析器中所包括之視訊 轉變偵測器之一部分的全域運動偵測器之方塊圖。 圖15為說明基於相關之AG〇p結構判定模組基於影像交 X相關來判定-視訊序列中所包括之圖框之圖像類型的例 . 示性操作的流程圖》 圖16為說明基於相關之AG〇p結構判定模組基於子影像 交又相關來判定-視訊序列中所包括之圖框之圖像類型的 例示性操作的流程圖。 圖17為說明包括剪輯場景改變指紋及閃光圖框指紋之來 136824.doc ，60· 200945899 自圖12之緊湊支援事件偵測it之輸出的圖表。 圖18為說明包括部分場景改變指紋之來自圖12之緊湊支 援事件偵測器之輸出的圖表。 圖19為說明包括交又淡化指紋之來自圖13之擴展支援事 件偵測器之輸出的圖表。 圖20A及圖20B為說明包括相機搖攝指紋及相機捲動指 紋之來自圖14之全域運動偵測器之輸出的圖表。

【主要元件符號說明】 10 轉碼器 11 解碼器 12 預處理器 14 編碼器 16 GOP分割器 18 AGOP結構判定模組 20 基準比較器 22 基於相關之AGOP結構判定模組 24 轉碼器 25 解碼器 26 預處理器 28 編碼器 30 GOP分割器 32 複雜性降低模組 36 轉碼器/編碼器 38 GOP分割器 136824.doc • 61 - 200945899 ❹ 40 AGOP結構判定模組 42 基準比較器 44 編碼器 46 GOP分割器 48 複雜性降低模組 60 分析窗口定位模組 62 相關器 62Α 相關器 62Β 相關器 64 相關分析器 66 圖像類型判定模組 68 評估模組 70 分析窗口 72 候選圖框 74 第一前向交叉相關 75 第二前向交又相關 76 第一後向交叉相關 77 第二後向交叉相關 78 第一對稱交叉相關 79 第二對稱交又相關 80 第二階第一相鄰交叉相關 81 第二階第二相鄰交叉相關 82 預調節模組 83 預調節模組 136824.doc .62. 200945899 84 傅立葉變換 85 複共軛傅立葉變換 88 反傅立葉變換 89 標準化器 90 最大值遽波器 • 92 預調節模組 ； 93 預調節模組 94 傅立葉變換 ® 95 複共輛傅立葉變換 98 反傅立葉變換 99 標準化器 100 最大值濾波器 102 平均模組 104 第一階相關分析器 106 比較分析器 A 108 第二階相關分析器 110 視訊轉變效果偵測器 112 緊湊支援事件偵測器 ; 1 14 擴展支援事件偵測器 • 116 全域運動偵測器 120A 非線性高通濾波器 120B 非線性高通濾波器 120C 非線性高通濾波器 122 剪輯場景改變匹配濾波器 136824.doc -63- 200945899 123 臨限值比較器 124 閃光圖框匹配濾波器 125 臨限值比較器 126A 非線性低通濾波器 126B 非線性低通濾波器 * 126C 非線性低通濾波器 • 128A 多解析度分析器 128B 多解析度分析器 ® 128C 多解析度分析器 130 經結構化顯著峰值分析器 132A 最大值位置濾波器 132B 最大值位置濾波器 132C 最大值位置濾波器 134 多頻道融合模組 136A 權重 136B 權重 136C 權重 142 水平加.法器 • 144 垂直加法器 180 剪輯場景改變指紋 182 閃光圖框指紋 184 部分場景改變指紋 186 交又淡化指紋 188 相機搖攝指紋 136824.doc -64- 200945899

200 相機捲動指紋 B1 第一後向交叉相關 B2 第二後向交叉相關 B CSC 布林輸出 Bff 布林輸出 FI 第一前向交叉相關 F2 第二前向交又相關 fk 候選圖框 fk+l 第一後續相鄰圖框 fk-1 第一先前相鄰圖框 fk + 2 第二後續相鄰圖框 fk-2 第二先前相鄰圖框 h 水平位移估計 Ol 第二階第一相鄰交叉相關 02 第二階第二相鄰交叉相關 S2 第一對稱交叉相關 S4 第二對稱交叉相關 Tcsc 臨限值 T FF 臨限值 V 垂直位移估計 136824.doc -65-

Claims (1)

1. 200945899 十、申請專利範圍： 1 · 一種方法，其包含： e十算一視訊序列中所包括之若干對圖框内之影像資訊 之間的第—階交又相關； 汁算右干對該等第一階交又相關之間的第二階交又 • 關；及 . &於該等第-階交叉相關及該等第二階交又相關來判 定該視訊序列中所包括之該等囷框中之每一者的一圖像 楚類型。 岡1豕 2. 如請求項1之方法’其中判定該等圖框中之每一者之— 圖像類型包含判定應將該視訊序列中所包括之該等圖框 中之每-者編碼為-難㈣像、—經制之圖像 一雙向預測性圖像。 3. 如請求項1之方法’其中判定該等圖框中之每一者之_ 圖像類型包含： ❿ #由將該等第一階交叉相關之輸出中所包括之特徵識 =訊效果指紋來細視訊序列中所包括之= 框之間的視訊轉變效果；及 ' &於對料第―階交叉㈣及該等第二階交又相關之 • 比較分析來判定該視訊序列中所包括之該等圖框之門的 時間相似性。 圃C之間的 4. 之！法，其"貞測視訊轉變效果包含基於該 :父叉相關來㈣一或多個緊凑支 果，其中該等緊濤支援視訊轉變效果包括剪輯場景改變 136824.doc 200945899 視訊效果、部分場景改變視訊效果及閃光圖框視訊效 果，且其中偵測該一或多個緊凑支援視訊轉變效果包 含： 將該等第一階交又相關之輸出施加至與該等緊湊支援 視訊轉變效果匹配之濾波器，該等濾波器偵測該輸出内 . 之大體類似於緊湊支援視訊效果指紋的複數個特徵；及 . 將β亥等匹配濾波器之輸出施加至臨限值比較器，該等 臨限值比較器識別該等所偵測之特徵中之哪些為緊凑支 零 援視訊效果指紋。 5_如請求項3之方法，其中偵測視訊轉變效果包含基於該 等第一階交又相關來偵測一或多個擴展支援視訊轉變效 果，其中該等擴展支援視訊轉變效果包括交叉淡化視訊 效果、淡入視訊效果、淡出視訊效果、放大視訊效果及 縮小視訊效果，且其中偵測該一或多個擴展支援視訊轉 變效果包含： e 將該等第一階交又相關之輸出施加至多解析度分析 器，該等多解析度分析器偵測該輸出内之大體類似於擴 展支援視訊效果指紋的複數個特徵；及 將該等多解析度分析器之輸出施加至一經結構化顯著 ； 峰值刀析器，該經結構化顯著峰值分析器識別該等所偵 測之特徵中何者為擴展支援視訊效果指紋。 6.如請求項3之方法，其中偵測視訊轉變效果包含基於該 等第—階交叉相關來偵測一或多個全域運動視訊轉變效 果，其中該等全域運動視訊轉變效果包括相機搖攝視訊 136824.doc 200945899 效果及相機捲動視訊效果，且其中偵測該一或多個全域 運動視訊轉變效果包含： 將該等第一階交叉相關之輸出施加至最大值位置濾波 器，該等最大值位置濾波器偵測該輸出内之大體類似於 全域運動視訊效果指紋之複數個特徵且判定對該等特徵 中之每一者的水平位移估計及垂直位移估計；及 將該等最大值位置濾波器之輸出施加至一多頻道融合 模組，該多頻道融合模組使該等所偵測之特徵中之每一 者的該水平位移估計及該垂直位移估計平滑且識別該等 所偵測之特徵中何者為全域運動視訊效果指紋。 7. 如請求項丨之方法，其進一步包含基於對圖框内容、速 率失真改良特性及編瑪頻寬機制特性的相依性來評估該 視訊序列中所包括之該等圖框中之每一者的該等所判定 之圖像類型之準確度。 8. 如請求項丨之方法，其進一步包含將該視訊序列分割為 包括複數個圖框之圖像群組（G〇p)結構，其中判定該等 圖框中之每一者的一圖像類型包含： 將一分析窗口定位在該等GOP結構内以使得該分析窗 口以一候選圖框為中心且包括預定數目個相鄰圖框； 計算該分析窗口中所包括之圖框之影像資訊之間的第 一階交又相關； 計算該分析窗口中所包括之若干對該等第一階交 關之間的第二階交又相關；及 基於該等第一階交叉相關及該等第二階交叉相關來判 136824.doc 200945899 疋該候選圖框之一圖像類型。 9·如請求項1之方法， 其中計算第一階交叉相關包含在該視訊序列中所包括 若干對圖框内之影像資訊之間執行基於二維快速傅立 葉變換之計算，且 . 其中計算第二階交叉相關包含在若干對第一階交又相 • 關之間執行基於二維快速傅立葉變換之計算。 ❿10.如請求们之方法’其中計算第一階交又相關包含計算 該視訊序列中所包括之若干對圖框内之全圖框影像之間 的第一階交又相關。 11·如請求t之方法，其中計算第一階交又相關包含： 將該視訊序列中所包括之若干對圖框内之子影像集合 中的子影像填充至一共同影像大小； β十算該等子影像集合之間的第—階子影像交叉相關；及 關於該若干對中之每一對圖框之該等子影像的至少— Φ 部分而對該等子影像交又相關求平均值。 12.如請求項11之方法’其中判定該等圖框中之每一者之一 圖像類型包含： .. 將該視訊序列中所包括之該等圖框中之每一者劃分為 . 多個片斷；及 一基於該等第一階交叉相關及該等第二階交叉相關來判 疋該視訊序列中所包括之該等圖框中之每一者之該等個 別片斷的圖像類型。 13·如請求項1之方法，其中判定該等圖桓中之每-者之圖 136824.doc 200945899 14 15. Φ 16. 17. ❹ 18. 19. 像類型包含判定該視訊序列中所包括之該等圖框中之每 者的基準圖像類型，進一步包含將即時地判定之圖像 類型與該等基準圖像類型比較以判定該等即時地判定之 圖像類型的準確度。 如請求項1之方法，其中判定該等圖框中之每一者之圖 像類型包含即時地衫該視訊序列巾所包括之該等圖框 中之每一者的圖像類型。 如明求項14之方法，其進一步包含執行複雜性降低以賦 能該等圖像類型之即時判定。 如吻求項1之方法，其進一步包含基於該針對該圖框而 判疋之圖冑類型而對該視訊序列中所包括之該等圖框中 的每一者進行編碼。 一種器件，其包含： 相關器’其計算一視訊序列中所包括之若干對圖樞 内之影像資訊之間的第一階交叉相關，且計算若干對該 等第—階交又相關之間的第二階交又相關；及 :一圖像類型判定模組，其基於該等第—階交叉相關及 該等第二階交又相關來判定該視訊序列中所包括之該等 圖框中之每一者的—圖像類型。 如請求項17之器件’其中該圖像_判定模組判定應將 該視訊序列中所包括之該㈣框中之每一者編碼為一圖 C内圖像、一經預測之圖像或是一雙向預測性圖像。 如請求項17之器件，其進一步包含一相關分析器，該相 關分析器包括： 136824.doc 200945899 —視訊轉變效果偵測器，其甚於姑 再基於該4第一階交又相關 之輸出中所包括之被識別為視却抽里4t & 巧視汛效果指紋的特徵來偵測 該視訊序财所包括之”圖框之間的視訊轉變效果；及 -比較分析器’其基於對該等第_階交又相關及該等 第二階交又相關之比較分析來判定該視訊序列中所包括 之該等圖框之間的時間相似性。 e

   2〇·如請求項19之器件’其中該視訊轉變效果偵測器包括： 一緊湊支援事件偵測器，其基於該等第一階交又相關 來偵測一或多個緊湊支援視訊轉變效果其中該等緊溱 支援視訊轉變效果包括剪輯場景改變視訊效果、部分場 景改變視訊效果及閃光圖框視訊效果，且其中該緊凑支 援事件偵測器包含： ' 與該等緊湊支援視訊轉變效果匹配之濾波器，該等濾 波器偵測該等第一階交叉相關之輸出内之大體類似於緊 湊支援視訊效果指紋的複數個特徵；及 臨限值比較器，其識別該等匹配濾波器之輸出中之該 等所偵測之特徵中何者為緊湊支援視訊效果指紋。 2 1 _如請求項19之器件，其中該視訊轉變效果偵測器包括： 一擴展支援事件偵測器，其基於該等第一階交又相關 來偵測一或多個擴展支援視訊轉變效果，其中該等擴展 支援視訊轉變效果包括交又淡化視訊效果、淡入視訊效 果、淡出視訊效果、放大視訊效果及縮小視訊效果，且 其中該擴展支援事件偵測器包含： 多解析度分析器，其偵測該等第一階交又相關之輸出 136824.doc 200945899 内之大體類似於擴展支援視訊效果指紋的複數個特徵；及 一經結構化顯著峰值分，其識別該等多解析度分 析器之輸出中之該等所㈣之特徵中何者為擴展支援視 訊效果指紋。 22. ❹ 9 23. 24. 如請求項19之器件’其中該視訊轉變效果偵測器包括： -全域_貞測器’其基於該等第一階交又相關來偵 測-或多個全域運動視訊轉變效果，其中該等全域運動 視訊轉變效果包括相機搖攝視訊效果及相機捲動視訊效 果’且其中該全域運動偵測器包含： 最大值位置濾波器，其偵測該等第一階交又相關之 輸出内之大體類似於全域運動視訊效果指紋的複數個特 徵且判定對該等特徵中之每一者的水平位移估計及垂直 位移估計；及 一多頻道融合模組，其使該等最大值位置濾波器之 輸出中之該等所偵測之特徵中之每一者的該水平位移估 計及該垂直位移估計平滑且識別該等所偵測之特徵中何 者為全域運動視訊效果指紋。 如請求項17之器件，其進一步包含一評估模組’該評估 模組基於對圖框内容、速率·失真改良特性及編碼頻寬機 制特性的相依性來評估由該圖像類型判定模組針對該視 訊序列中所包括之該等圖框中之每一者而判定的該等圖 像類型之準確度。 如請求項17之器件，其進一步包含： 圖像群組（GOP)分割器’其將該視訊序列分割為包 136824.doc 200945899 括複數個圖框之GOP結構；及 一分析窗口定位模組，其將一分析窗口定位在該等 GOP結構内以使得該分析窗口以一候選圖框為中心且包 括預定數目個相鄰圖框， 其中該相關器計算該分析窗口中所包括之圖框之影像 資訊之間的第一階交又相關，且計算該分析窗口中所包 括之若干對該等第一階交又相關之間的第二階交叉相 關，且 ❹ 25. 26. Φ 27. 其中該圖像類型判定模組基於該等第一階交叉相關及 該等第二階交又相關來判定該候選圖框之一圖像類型。 如凊求項1 7之器件，其中該相關器在該視訊序列中所包 括之若干對圖框内之影像資訊之間執行基於三維快速傅 立葉變換之計算以產生該等第一階交又相關，且在若干 對第階交又相關之間執行基於二維快速傅立葉變換之 計算以產生該等第二階交又相關。 如明求項17之If件’其中該相關器計算該視訊序列中所 包括之若干對圖框内之全圖框影像之間的第— 關。 如吻求項1 7之器件，其中該相關器： ι視訊序列中所包括之若干對圖框内之子影像集合 中的子影像填充至一共同影像大小； 計算該等子影像集合之間的第—階子影像交叉相關；且 立關於該若干對中之每—對圖框之該等子影像的至少一 而對該等子影像交又相關求平均值以產生該等第一 136824.doc 200945899 階交又相關。 28. 如請求項27之器件，其中該圖像類型判定模組： 將該視訊序列中所包括之該等圖框中之每一者劃分為 多個片斷；且 乃州 I於該等第-階交叉相關及該等第二階交叉相關來判 定該視訊序列中所包括之該等圖框中之每一者之該等個 ； 別片斷的圖像類型。 29. 如請求項17之器件，其中該@像_判定模組判定該視 訊序列中所包括之該等圖框中之每—者的基準圖像類型 以用於與即時地判定之圖像類型比較從而判定該等即時 地判疋之圖像類型的準確度。 30. 如請求項17之器件，其中該圖像類型判定模組即時地判 定該視訊序列中所包括之該等圖框中之每一者的圖像類 型。 3!•如請求項30之器件，其進一步包含一複雜性降低模組， φ 該複雜性降低模組執行複雜性降低以使該圖像類型判定 模此夠執行該等圖像類型之即時判定。 32.如請求項17之器件，其進一步包含一編碼器，該編碼器 .· 纟於該針對該圖框而判定之圖像類型而對該視訊序列中 . 所包括之該等圖框中的每一者進行編碼。 33_ —種包含電腦可讀媒體之電腦程式產品，該電腦可讀媒 體包含用於使一電腦執行以下操作之指令·· 計算一視訊序列中所包括之若干對圖框内之影像資訊 之間的第一階交又相關； 136824.doc 200945899 計算若干對該等第一 關；且 階交又相關之間 的第二階交又相 階交叉相關及該等第 所包括之該等圖框中 基於該等第一 定該視訊序列中 類型》 二階交又相關來判 之每一者的一圖像 程式產品，其中 中所包括之該等 一經預測之圖像

   34.如请求項33之包含電腦可讀媒體之電腦 該等指令使該電腦判定應將該視訊序列 圖框中之每一者編碼為一圖框内圖像、 或是一雙向預測性圖像。 35.如請求項33之包含電腦可讀媒體之電腦程式產品，其中 該等指令使該電腦： 基於該等第-階交叉相關之輸出巾所包括之被識別為 視訊效果減㈣徵來㈣該視訊序财所包括之該等 圖框之間的視訊轉變效果；且 基於對該等第一階交叉相關及該等第二階交又相關之 比較分析來判定該視訊序列中所包括之該等圖框之間的 時間相似性。 36.如請求項35之包含電腦可讀媒體之電腦程式產品其中 該等指令使該電腦基於該等第一階交叉相關來偵測一或 多個緊凑支援視訊轉變效果，其中該等緊湊支援視訊轉 變效果包括剪輯場景改變視訊效果、部分場景改變視訊 效果及閃光圖框視訊效果’且其中該等使該電腦偵測一 或多個緊湊支援視訊轉變效果之指令使該電腦： 將該等第一階交叉相關之輸出施加至與該等緊湊支援 136824.doc 200945899 視訊轉變效果匹配之濾波器，該等濾波器偵測該輸出内 之大體類似於緊湊支援視訊效果指紋的複數個特徵；且 將該等匹配濾波器之輸出施加至臨限值比較器，該等 臨限值比較器識別該等所偵測之特徵中之哪些為緊湊支 援視訊效果指紋。 37. ❹ e : 38. 如請求項35之包含電腦可讀媒體之電腦程式產品，其中 該等指令使該電腦基於該等第一階交叉相關來偵測一或 多個擴展支援視訊轉變效果，其中該等擴展支援視訊轉 變效果包括交叉淡化視訊效果、淡入視訊效果、淡出視 訊效果、放大視訊效果及縮小視訊效果，且其中該等使 該電腦偵測該一或多個擴展支援視訊轉變效果之指令使 該電腦： 將該等第一階交叉相關之輸出施加至多解析度分析 器’該等多解析度分析器偵測該輸出内之大體類似於擴 展支援視訊效果指紋的複數個特徵；且 將該等多解析度分析器之輸出施加至一經結構化顯著 峰值分析器，該經結構化顯著峰值分析器識別該等所偵 測之特徵中何者為擴展支援視訊效果指紋。 如請求項35之包含電腦可讀媒體之電腦程式產品其中 該等指令使該電腦基於該等第一階交又相關來偵測二或 多個全域運動視訊轉變效果，其中該等全域運動視訊^ 變效果包括相機搖攝視訊效果及相機捲動視訊效果， 其中該等使該電腦偵測該-或多個全域運動視訊轉變= 果之指令使該電腦： 136824.doc 200945899 將該等第一階交又相關之輸出施加至最大值位置濾波 器，該等最大值位置濾波器偵測該輸出内之大體類似於 全域運動視訊效果指紋之複數個特徵且判定對該等特徵 中之每一者的水平位移估計及垂直位移估計；且 將該等最大值位置濾波器之輸出施加至一多頻道融合 模組，該多頻道融合模組使該等所偵測之特徵中之每一 者的該水平位移估計及該垂直位移估計平滑且識別該等 ❹ 39. 40. 所偵測之特徵中何者為全域運動視訊效果指紋。 如請求項33之包含電腦可讀媒體之電腦程式產品，其進 一步包含使該電腦基於對圖框内容、速率_失真改良特性 及編碼頻寬機制特性的相依性來評估該視訊序列中所包 括之該等圖框中之每—者的該等所判^之圖像類型之= 確度的指令。 如請求項33之包含電腦可讀媒體之電腦程式產品其進 一步包含使該電腦執行以下操作之指令： 將該視訊序列分割為包括複數個圖框之圖像 (GOP)結構； ’ 將…刀析窗口定位在該等G0P結構内以使得該分析窗 口以-候選圓框為中心且包括預定數目個相鄰圖框； _分析窗口中所包括之圖框之影像資訊之間的第 一階交又相關； 計算該分析窗口中所包括之若干對該等第一階交又相 關之間的第二階交又相關；且 基於該等第一階交又相關及該等第二階交又相關來判 136824.doc 200945899 定該候選圖框之一圖像類型。 41. ❹42. 43. ❹ 如請求項33之包含電腦可讀媒體之電腦程式產品，其中 該等指令使該電腦： 在該視訊序列中所包括之若干對圖框内之影像資訊之 間執行基於二維快速傅立葉變換之計算以產生該等第一 階交又相關，且 在若干對第一階交又相關之間執行基於二維快速傅立 葉變換之計算以產生該等第二階交又相關。 如請求項33之包含電腦可讀媒體之電腦程式產品，其中 該等扣令使該電腦計算該視訊序列中所包括之若干對圖 框内之全圖框影像之間的第一階交又相關。 如請求項33之包含電腦可讀媒體之電腦程式產品其中 該等指令使該電腦： 將該視訊序列中所包括之若干對圖框内之子影像集^ 中的子影像填充至一共同影像大小； 。十算該等子影像集合之間的第—階子影像交叉相關；j 關於該右干對中之每一對圖框之該等子影像的至少_ 科而對該等子影像交叉相關求平均值以產生該 階交又相關。 ^ 44. 如請求項43之包含 該等指令使該電腦 將該視訊序列中 多個片斷；且 電腦可讀媒體之電腦程式產 所包括之該等圖框中之每一 品，其中 者劃分為 基於該等第— 階交又相關及該 等第 二階交叉相關來判 136824.doc -13- 200945899 定該視訊序列中所包括之該等圖框中之每一者之該等個 別片斷的圖像類型。 45. 如請求項33之包含電腦可讀媒體之電腦程式產品，其中 該等指令使該電腦狀該視訊序列巾所包括之該等圖框 中之每一者的基準圖像類型’且將即時地判定之圖像類 • 型與料基準®像類型比較以敎該等即時地判定之圖 : 像類型的準確度。 46. 如請求項33之包含電腦可讀媒體之電腦程式產品，其中 該等指令使該電腦即時地判定該視訊序列中所包括之該 等圖框中之每一者的圖像類型。 47. 如請求項46之包含電腦可讀媒體之電腦程式產品其中 該等指令使該電腦執行複雜性降低以賦能該等圖像類型 之即時判定。 48. 如請求項33之包含電腦可讀媒體之電腦程式產品其進 步包含使該電腦基於該針對該圖框而判定之圖像類型 鬱 而對該視訊序列中所包括之該等圖框中之每一者進行編 碼的指令。 49. 一種器件，其包含： 用於計算一視訊序列中所包括之若干對圖框内之影像 . 資訊之間的第一階交又相關及若干對該等第一階交又相 關之間的第二階交叉相關的構件；及 用於基於該等第一階交又相關及該等第二階交又相關 來判定該視訊序列中所包括之該等圖框中之每一者之一 圖像類型的構件。 136824.doc • 14- 200945899 件，其中該用於判定-圖像類型的構件 應=視訊序列巾所包括之該㈣框中之每一者編 碼為一圖框内圖像'一經預測之 圖像。 圃俅次疋一雙向預測性 51.如請求項49之器件，其進一步包含： ^於該等第—階交又相關之輸出中所包括之被識 別為視訊效果指㈣特徵幻貞職視訊序财所包括之 φ 該等圖框之間的視訊轉變效果的構件；及 用於基於對該等第一階交又相關及該等第二階交又相 關之比較刀析來判定該視訊序列中所包括之該等圖框之 間的時間相似性的構件。 52.如請求項51之器件’其中該用於偵測視訊轉變效果的構 件括用於基於_等第一階交又相關來偵測一或多個緊 凑支援視訊轉變效果的構件，其中該等緊凑支援視訊轉 變效果包括剪輯4景改變視訊效&、部分場景改變視訊 〇 纟果及閃光圖框視訊效果，且其中該用於偵測一或多個 緊湊支援視訊轉變效果的構件包含： 與该等緊湊支援視訊轉變效果匹配之濾波器，該等濾 波器痛測該等第一階交又相關之輸出内之大體類似於緊 . 凑支援視訊效果指紋的複數個特徵；及 臨限值比較器’其識別該等匹配濾波器之輸出中之該 等所偵測之特徵中何者為緊湊支援視訊效果指紋。 53.如請求項5 1之器件’其中該用於偵測視訊轉變效果的構 件包括用於基於該等第一階交叉相關來偵測一或多個擴 136824.doc •15- 200945899 展支援視訊轉變效果的構件，其中擴展支援視訊轉變效 果包括交又淡化視訊效果、淡入視訊效果、淡出視訊效 果、放大視訊效果及縮小視訊效果，且其中該用於偵測 一或多個擴展支援視訊轉變效果的構件包含： 多解析度分析器，其偵測該等第一階交又相關之輸出 内之大體類似於擴展支援視訊效果指紋的複數個特徵；及 一經結構化顯著峰值分析器，其識別該等多解析度分

   析器之輸出中之該等所偵測之特徵中何者為擴展支援視 訊效果指紋。 54·如請求項51u件’其中該用於偵測視訊轉變效果的構 件包括用於基於該等第一階交又相關來债測一或多個全 域運動視訊轉變效果的構件’其中全域運動視訊轉變效 果包括相機搖攝視訊效果及相機捲動視訊效$，且其中 該用於㈣該-或多個全域運動視訊轉變效果的構件包 最大值位置瀘、波器，其偵測該等第—階交又相關之卷 出内之大體類似於全域運動視訊效果指紋的複數個特孩 且判定對該等特徵中之每一者的水平位移 移估計；及 1 :多頻道融合模組’其使該等最大值位置滤波器之奉 出中之該等所偵測之特徵中 及冑者”水平位移估 直位移切域職等㈣敎㈣ 為全域運動視訊效果指紋。 $ 55.如請求項49之器件，装 . 其進一步包含用於基於對圖框户 136824.doc 200945899 容、速率-失真改良特性及編碼頻寬機制特性的相依性來 評估該視訊序列中所包括之該等圖框中之每一者的該等 所判定之圖像類型之準確度的構件。 56.如請求項49之器件，其進一步包含： 用於將該視訊序列分割為包括複數個圖框之GOP結構 的構件；及 用於將一分析窗口定位在該等G〇p結構内以使得該分 ❻ 析® 口以一候選圖框為中心且包括預定數目個相鄰圖框 的構件， 其中該用於計算的構件計算該分析窗口中所包括之圖 框之影像資訊之間的第—階交又相關，且計算該分析窗 口中所包括之若干對該等第一階交又相關之間的第二階 交又相關，且 其中該用於判定一圖像類型的構件基於該等第一階交 叉相關及該等第二階交又相關來判定該候選圖框之 像類型。 57·如凊求項49之器件’其中該用於計算的構件在該視訊序 列中所包括之若干對圖框内之影像資訊之間執行基於二 維^傅立葉變換之計算以產生該等第-階交又相關， I變：干對第—階交又相關之間執行基於二維快速傅立 葉變換之計算以產生該等第二階交又相關。 58.=二9:器件’其+該用於計算的構件計算該視訊 :::關包括之若干對圖框内之全困框影像之間的第- 136824.doc 200945899 59. 如請求項49之器件，其中該用於計算的構件： 將該視訊序列中所包括之若干對圓框内之子影像集合 中的子影像填充至一共同影像大小； 計算該等子影像集合之間的第—階子影像交又相關；且 關於該若干對中之每一對圖框之該等子影像的至少一 部分而對該等子影像交叉相關求平均值以產生該等第一 階交又相關。 ❹ 60. 如請求項59之器件’其中該用於判定—圖 件： 將該視訊序列中所包括之該等圖框中之每一者劃分為 多個片斷；且 一基於該等第一階交又相關及該等第二階交叉相關來判 定該視訊序列令所包括之該等圖框中之每一者之該等個 別片斷的圖像類型。 Η.如請求項49之器件，其中該用於判定—圖像類型的構件 判定該視訊序列中所包括之該等圖框中之每—者的基準 圖像類型以用於與即時地判定之圖像類型比較從而二定 該等即時地判定之圖像類型的準確度。 A如請求項49之器件’其中該用於判；一圖像類型的構件 即時地判㈣視訊序列中所包括之該等圖框中之每一者 的圖像類型。 63·如請求項62之器件，苴進一舟— '、 匕s用於執行複雜性降低 以使該圖像類型判定模組能夠執行該等圈像類型之即時 判定的構件。 136824.doc -18- 200945899 64. 如請求項49之器件，其進-步包含用於基於該針對該圖 框而判定之圖像類型而對該視訊序列中所包括之該等圖 框中之每一者進行編碼的構件。 65. —種無線通信器件手機，其包含： -相關器’其計算一視訊序列中所包括之若干對圖框 内之影像資訊之間的第一贴古βΒ “ 又相關，且計算若干對該 等第一階交又相關之間的第二階交又相關；及

   一圖像類型判定模組，其基於該等第-階交又相關及 該等第二階交又相關來判定該視訊序列中所包括之該等 圖框中之每一者的一圖像類型。 66. 如請求項65之手機’其中該圖像類型判定模組判定應將 該視訊序财所包括之料圖㈣之每―者編碼為一圖 框内圖像、一經預測之圖像或是一雙向預測性圖像。 如π求項65之手機’其進—步包含—相關分析器，該相 關分析器包括： -視訊轉變效果偵測器’其基於該等第一階交又相關 之輸出中所包括之被識別為視訊效果指紋的特徵來偵測 該視訊序列中所包括之該等圖框之間的視訊轉變效果；及 一比較分析器，其基於對該等第—階交又相關及該等 第广階交又相關之比較分析來判㈣視訊序列中所包括 之該等圖框之間的時間相似性。 青求項67之手機，其中該視訊轉變效果债測器包括： 緊湊支援事件偵測器，其基於該等第一階交叉相關 來偵測一或多個緊湊支援視訊轉變效果，其中該等緊湊 136824.doc -19· 200945899 支援視訊轉變效果包括剪輯場景改變視訊效果、部分場 景改變視訊效果及閃光圖框視訊效果，且其中該緊湊支 援事件偵測器包含： 與該等緊湊支援視訊轉變效果匹配之滤波器，該等 濾波器偵測該等第一階交又相關之輸出内之大體類似於 ’ ％湊支援視訊效果指紋的複數個特徵；及 • 臨限值比較器，其識別該等匹配濾波器之輸出中之 ❹ 料所㈣之特徵中何者為緊湊支援視訊效果指紋。 胃求項67之手機’其中該視訊轉變效果债測器包括： -擴展支援事㈣測器，其基於該等第一階交又相關 來摘測或多個擴展支援視訊轉變效果，其中該等擴展 支援視sK轉變效果包括交又淡化視訊效果、淡人視訊效 果、淡出視訊效果、放大視訊效果及縮小視訊效果，且 其中該擴展支援事件價測器包含： 斤度刀析器，其偵測該等第一階交叉相關之輸 ® 體類似於擴展支援視訊效果指紋的複數個特 徵；及 -、差結構化顯著峰值分㈣，其識職等多解析度 刀f ::之輪出中之該等所偵測之特徵中何者為擴展支援 視訊效果指故。 70·如請求項67之 一 機，其中該視訊轉變效果偵測器包括： 測一式：運動偵測器’其基於該等第-階交叉相關來偵 視訊全域運動視訊轉變效果，其中該等全域運動 果包括相機搖攝視訊效果及相機捲動視訊效 136824.doc -20- 200945899 果，且其中該全域運動偵測器包含： 最大值位置濾、波器，其偵測該等第—階交又相關之 輪出内之大體類似於全域運動視訊效果 徵且判定對㈣特射之每—者的水平㈣料及2 位移估計；及 进直 一多頻道融合模組’其使該等最大值位置渡波器之 輸出中之該等所㈣之特徵中之每—者的該水平位移估 計及該垂直位移估計平滑且識別該等㈣測之特徵中何 者為全域運動視訊效果指紋。 A如請求項65之手機，其進—步包含—評估模組，該評估 模組基於對圖框内容、速率_失真改良特性及編碼頻寬機 制特性的相依性來評估由該圖像類型判定模組針對該視 訊序列巾所包括之該等圖框巾之每—者而判定的該等圖 像類型之準確度。 72·如請求項65之手機，其進一步包含：

   一圖像群組（G〇P)分割器，其將該視訊序列分割為包 括複數個圖框之GOP結構；及 一分析窗口定位模組，其將一分析窗口定位在該等 GOP結構内以使得該分析窗口以一候選圖框為中心且包 括預定數目個相鄰圖框， 其中該相關器計算該分析窗口中所包括之圖框之影像 資訊之間的第一階交又相關，且計算該分析窗口中所包 括之若干對該等第一階交又相關之間的第二階交又相 關，且 136824.doc -21- 200945899 其中該圖像類型判定模組基於該等第一階交叉相關及 該等第二階交又相關來判定該候選圖框之—圖像類型。 73. 如請求項65之手機’其中該相關器在該視訊序列中所包 括之若干對圖框内之影像資訊之間執行基於二維快速傅 立葉變換之§·|·算以產生該等第一階交又相關，且在若干 對第一階交叉相關之間執行基於二維快速傅立葉變換之 計算以產生該等第二階交叉相關。 74. 如請求項65之手機，其中該相關器計算該視訊序列中所 包括之若干對圖框内之全圖框影像之間的第一階交又相 關0 75.如請求項65之手機，其中該相關器： 將該視訊序列中所句杯夕&工地丄 栝之若干對圖框内之子影像集合 中的子影像填充至一共同影像大小； 計算該等子影像集合之_第―階子景彡像交又相關；且 關於該右干對中之每一對圖框之該等子影像的至少一 Φ 〃而對該等子衫像交又相關求平均值以產生該等第一 階交叉相關。 76·如請求項75之手機’其中該圖像類型判定模組： : ㈣絲㈣巾所包括之料圖財之每-者劃分為 . 多個片斷；且 心母肴到刀為 基於該等第— 定，視1序二關及該等第二階交又相關來判 定該視訊序列令所包括之該等 別片斷的圖像類型。 母者之該等個 77.如請求項65之手嫉 機，其中該圖像類型判定模組即時地判 136824.doc •22- 200945899 疋該視訊序列中 型。 中所包括之該等圖框中之每-者的圖像類 78, 如請求項77之 該複雜性降低“# 包含-複雜性降低模組， 模組能夠執行^雜性降低以使該圖像類型判定 仃^等圖像類型之即時判定。 79. 如請求項65之 基於嗲針對 、，匕含一編碼器，該編碼器 基於該針對該圖框而判定之圖像類 ： 所包括之該犛111#+ „ 了忑硯a序列中 忑等圖框中的每一者進行編碼。 8〇’種包含至少一個虑理哭夕田认占 體電路器杜 處理器之用於處理數位影像資料的積 ，該至少一個處理器經組態以： 之序列中所包括之若干對圖框内之影像資訊 之間的第一階交又相關； 計算若干對該等第-階交又相關之間 關；且 旧父又相 參 基於該等第-階交又相關及該等第二階交又相關來判 定該視訊序列中所包括之該等圖框中之每一者 類型。 81. 如請求項80之積體電路器件’其中該至少一個處理器經 組態以判定應將該視訊序列中所包括之該等圖框中之每 一者編碼為一圖框内圖像、一經預測之圖像或是一雙向 預測性圖像。 82. 如請求項80之積體電路器件，其中該至少一個處理器經 組態以： 基於該等第-階交叉相關之輸出中所包括之被識別為 136824.doc •23· 200945899 視訊效果指紋的特徵來❹m視訊序列中所包括之該等 圖框之間·的視訊轉變效果；且 基於對該等第—階交又相關及該等第二階交叉相關之 比較分析來判定該視訊序列中所包括之該等圖框之間的 時間相似性。 .83.如請求項82之帛體電路器件，丨中該至少一個處理器經 : Μ態α基於該等第—階交又相冑來傾測一或多個緊湊支 援視訊轉變效果’其中該等緊凑支援視訊轉變效果包括 ® 剪輯場景改變視訊效果、部分場景改變視訊效果及間光 圖框視訊效果，且其中該至少一個處理器經組態以： 將該等第一階交又相關之輸出施加至與該等緊湊支援 視訊轉變效果匹配之濾波器，該等濾波器偵測該輸出内 之大體類似於緊湊支援視訊效果指紋的複數個特徵；且 將該等匹配濾波器之輸出施加至臨限值比較器，該等 臨限值比較器識別該等所偵測之特徵中之哪些為緊湊支 援視訊效果指紋。 84_如請求項82之積體電路器件，其中該至少一個處理器經 組態以基於該等第一階交叉相關來偵測一或多個擴展支 . 援視訊轉變效果，其中該等擴展支援視訊轉變效果包括 • 交又淡化視訊效果、淡入視訊效果、淡出視訊效果、放 大視訊效果及縮小視訊效果，且其中該至少一個處理器 經組態以： 將該等第一階交叉相關之輸出施加至多解析度分析 器’該等多解析度分析器偵測該輸出内之大體類似於擴 136824.doc -24- 200945899 展支援視訊效果指紋的複數個特徵；且 將該等多解析度分析器之輸出施加至一經結構化顯著 峰值分析器’該經結構化顯著峰值分析器識別該等所偵 測之特徵中何者為擴展支援視訊效果指紋。 85·如請求項82之積體電路器件，其中該至少一個處理器經 . 組態以基於該等第一階交又相關來偵測一或多個全域運 '· 動視訊轉變效果，其中該等全域運動視訊轉變效果包括 相機搖攝視訊效果及相機捲動視訊效果，且其中該至少 ❹ -個處理器經組態以： 將該等第一階交又相關之輸出施加至最大值位置濾波 器該等最大值位置濾波器偵測該輸出内之大體類似於 全域運動視訊效果指紋之複數個特徵且判定對該等特徵 中之每一者的水平位移估計及垂直位移估計；且 將該等最大值位置滤波器之輸出施加至一多頻道融合 模組，該多頻道融合模組使該等所偵測之特徵中之每一 φ 者的該水平位移估計及該垂直位移估計平滑且識別該等 所偵測之特徵中何者為全域運動視訊效果指紋。 86. 如請求項8〇之積體電路器件，其中該至少一個處理器經 .. 、组態以基於對圖框内容、速率-失真改良特性及編碼頻寬 . 機制特性的相依性來評估該視訊序列中所包括之該等圖 框中之每一者的該等所判定之圖像類型之準確度。 87. 如請求項80之積體電路器件’其中該至少一個處理 組態以： 、 3視訊序列分割為包括複數個圖框之圖像群組 136824.doc -25· 200945899 (GOP)結構； 將一分析窗口定位在該等GOP結構内以使得該分析窗 口以一候選圖框為中心且包括預定數目個相鄰圖框； 計算該分析窗口中所包括之圖框之影像資訊之間的第 一階交又相關； 計算該分析窗口中所包括之若干對該等第一階交又相 關之間的第二階交叉相關；且 Φ 88. β 89. 90. 基於該等第一階交叉相關及該等第二階交又相關來判 定該候選圖框之一圖像類型。 如請求項80之積體電路器件，其中該至少一個處理器經 組態以： 在該視訊序列中所包括之若干對圖框内之影像資訊之 間執行基於二維快速傅立葉變換之計算以產生該等第— 階交又相關，且 在若干對第一階交又相關之間執行基於二維快速傅立 葉變換之計算以產生該等第二階交又相關。 如請求項80之積體電路器件，其中該至少一個處理器經 組態以計算該視訊序列中所包括之若干對圖框内之全圖 框景;^像之間的第一階交又相關。 如請求項80之積體電路器件，其中該至少-個處理器經 組態以： 將該視訊序列中所包括之若干對圖框内之子影像集合 中的子影像填充至一共同影像大小； 計算該等子影像集合之間的第—階子影像交又相關；且 136824.doc -26 - 200945899 關於該若干對中之每一對圖框之該等子影像的至少一 部分而對該等子影像交叉相關求平均值以產生該等第一 階交又相關。 ~ 91·如請求項90之積體電路器件，其中該至少一個 組態以： 將該視訊序列中所包括之該等圖框中之每一者劃八、 多個片斷；且 n h 基於該等第-階交又相關及該等第二階交又相關來判 定該視訊序列中所包括之該等圖框中之每一者之該等個 別片斷的圖像類型。 92·如請求項80之積體電路器件，其中該至少一個處理器經 組態以判定該視訊序列中所包括之該等圖框中之每—者 的基準圖像類型，且將即時地判定之圖像類型與該等基 準圖像類型比較以判定該等即時地判定之圖像類型的^ 確度。 93. 如請求項80之積體電路器件，其中該至少一個處理器經 組態以即時地判定該視訊序列中所包括之該等圖框°中^ 每一者的圖像類型》 94. 如請求項93之積體電路器件，其中該至少—個處理器經 組態以執行複雜性降低從而賦能該等圖像類型之即時判 定。 95. 如請求項80之積體電路器件，其中該至少—個處理器經 組態以基於該針對該圖框而判定之圖像類型而對該視訊 序列中所包括之該等圖框中的每一者進行編碼。 136824.doc •27- 200945899 96. —種系統，其包含： 一編瑪器件’其包括一將視訊資料分割為包括複數個 圖框之GOP結構的圖像群組（G〇p)分割器及一即時地判 疋該等GOP結構中所包括之該等圖框之圓像類型的適應 性圖像群組（AGOP)結構判定模組； 一定位在該編碼器件外部之基於相關之Ag〇p結構判 疋模組，其基於若干對圖框内之影像資訊之間的第一階 交又相關及若干對第一階交叉相關之間的第二階交叉相 關來判定該等GOP結構中所包括之該等圖框的基準圖像 類型；及 一基準比較器’其將該等圖像類型與該等基準圖像類 型比較以判定該整合於該編碼器件中之AGOP結構判定 模組之準確度。 97·如凊求項96之系統，其中該編碼器件包含一轉碼器或— 編碼器中之一者。 98. —種編碼器件，其包含： 圖像群組（GOP)分割器，其將該視訊資料分割為包 括複數個圖框之GOP結構；及 —基於相關之適應性圖像群組（ACJ〇p)結構判定模組， 其基於若干對圖框内之影像資訊之間的第一階交又相關 及若干對第一階交又相關之間的第二階交又相關來即時 地判定該等GOP結構中所包括之該等圖框的圖像類型。 99·如請求項98之編碼器件，其進一步包含一複雜性降低楔 組，該複雜性降低模組執行以下操作中之至少一者：降 136824.doc -28- 200945899 低該等GOP結構中所包括之該等圖框内之影像資訊的解 析度及限制由該基於相關之AGOP結構判定模組計算之 第一階交又相關的數目。 100·如請求項98之編碼器件，其中該器件包含一轉碼器或一 編碼器中之一者。

   136824.doc -29-