TWI339524B - Device and method for coding video data - Google Patents

Description

1339524 五、發明說明（1) 【發明所屬之技術領域】 本發明係關於視頻資料之寫碼裝置和方法° 本發明更具趙而言，可應用於交織囷幅的寫碼’意即 由在載然不同瞬間抽樣的二圊場組成。 視頻圓幅之寫碼，係在有限帶寬網路内傳輸數位視頻 資料，以及儲存構成限度的應用方面所必要。 當視頻序列顯示高度的空間冗贅、頻譜冗贅、時間冗 資、心理視覺冗贅時，即可能壓縮數位視頻資料’而無重 大降低品質。 【先前技術】

在過去幾年來，有關多媒體的興趣，導致出現新壓縮 標準’並見到諸如MPEG-2標準的發展，最近又有H. 264， 界定於如下參考資料：ITU-T Rec. H. 264丨ISO/IEC 14496-10 AVC 。 ，此等標準旨在大量全面應用，關於位元率、圊幅品質 、複雜性、對誤差和時間標度的彈性，以及壓縮比之改進 ’有不同的需要。 反映MPEG-2所為，h.264壓縮標準引進圊幅寫碼結構 之概念’交織囫幅或圖場之線路’把圊幅之二圖場分開。 圖場或圊幅包含水平列，各含16線的囷元。各列有巨 段’各維度為16* 16»巨段組織成四亮度段，和2、4或8 色度段’視抽樣類型而定。 在巨段内囷幅^式資料之格式化壓縮計劃申，二圓場 仍然於共通段内交織。在圖場型寫碼模式中，二囷場在巨

1339524 五、發明說明（2) 段内分開：其中一段相當於偶數圖場，另一段相當於奇數 圊場。 H. 264標準亦包含MPEG-2標準内所界定已知類型圊幅 ，即： 一 1(内部）圊幅，其寫碼不因任何其他圖幅而定； —P(預估）圊幅，其寫碼視先前接受囷幅而定； —B(雙預估）圊幅，視先前和/或後續接受的圊幅 而定。二個I圖幅間的圖幅組稱為GOP(為圊像組 的簡稱），其尺寸可變，其内部結構以囷幅類別 而言亦可自由變化。 H. 2 64標準的參考模式可選擇所謂後驗寫碼，意即在 圊幅或圊場結構内的圊幅後寫碼。採用具有最佳位元率/ 畸變妥協之寫碼。 此種寫碼模式罕見為即時應用設想，因其在時間和計 算手段方面耗費太大：必須計算囷幅結構囷場預估、囷幅 結構圖幅預估、圖場結構圓場預估，即目前技術狀態中標 準電視格式已成關鍵性之級進源（圊幅結構囷幅預估）寫碼 的三倍計算。 此外，標準的參考模式實施固定GOP結構，不保證寫 碼的選擇，雖然可以後驗模式為之，就位元率/畸變妥協 ，可得最佳寫碼。 【發明内容】 . 本發明擬議一種寫碼裝置，其中選擇一 ^場或圊幅模 式寫碼，係在寫碼之前進行。

1339524

一種視頻圖幅序列之寫碼裝置 五、發明說明（3) 為此目的，本發明提供 ，包括： 一要寫碼的視頻圖幅之空間活性測量機構； 一要寫碼的視頻囷幅之時間活性測量機構： —做為囷幅結構或圊場結構之圈幅寫碼機構。 按照本發明，做為圓幅結構或圊場結構之圖幅寫瑪機 構’可以該囷幅空間和時間活性的測量為函數，動態選 圖場或囷幅結構。 " 本發 此項 碼品 按照 序列 為函 如此 性更 選擇 出標 在較 為交 如此 序列 按照 式寫 明相 計算 質之 較佳 寫碼 數， ，呈 大接 囷幅 準參 佳具 織型 ，可 呈現 較佳 瑪的 %。 高寫 視頻 測量 間活 以超 列究 級進 估模 對於參考模式的措施’可減少計算數3〇至6〇 之最適化並不礙寫碼品質：本發明特別針對 應用。 具體例，寫碼機構能夠以圊像組群形式， ’該裝置包括選擇機構’以空間和時間、苦地 選擇圈像組群（GOP)之結構。 '性 現弱時間活性之序列’可用包括比呈 續B圓幅序列之圓像組群，加以窝廡 强時 /困場寫碼結構和選擇G〇p結構的丄 考模式的效能。 》’可 體例中，裝置包括決定機構，以決 或級進型》 仇頰序 把級進型®幅序列寫碼成困幅結構。 強空間相關，今.以寫碼成囷幅結構=其是 具體例，包括以内部模式、預估模2。 ®幅之圓像組群，雙預估型囷幅可以雙預

1339524 五、發明說明（4) 考圖幅，以供圖像組群某些圖幅之寫碼。 圖像組群最好能包括以雙預估模式寫碼的任何數量接 續圖幅組成之序列。 此特別有利於呈現弱時間活性的序列情況，以雙預估 模式寫碼較為廉價。 按照較佳具體例，輸入序列為交織型時，I型圈幅寫 碼成圊場結構，圊幅之第二圊場相對於圖幅之第一圖場， 變成P(預估）型的圖場。 如此可降低寫碼成本，故改進寫碼位元率。 本發明亦涉及視頻資料寫碼方法，包括步驟為： —測量所要寫碼的視頻圊幅之空間活性； —測量所要寫碼的視頻圊幅之時間活性； —把圖幅寫碼成圖幅結構或圖場結構。 按照本發明，把圓幅寫碼成圖幅結構或圓場結構，可以該 圊幅的空間和時間活性之測量為函數，動態選擇圊場或圊 幅結構。 本發明又涉及電腦程式產品，其特徵為，包括程式電 碼指令，程式在電腦上執行時，可實施本發明方法〇 【實施方式】 茲參照附圖說明全然非限制性，有益之具體例和實施 模式，即可更佳明瞭本發明。 第1圊代表較佳具體例之寫碼裝置。寫碼裝置包¥預 分析模組1，接受源自要寫碼的視頻流之圖幅序列為g入 。視頻流亦傳輸至模組3的輸入，以重新組織圊幅。

Izrail Η ⑶ 9524 五、發明說明（5) 圖幅重新組織模組3之輸出’接 $者輪“接至網寫碼模,组5，其輪的輸入， 做為輪.出。 鬥％供， 丹输送寫碼之視頻資料流 控析模組1輸出接至寫碼控制模組2的輸入，_寫# u制模組2提供右姑决，丨咨M w 3罵碼 重新植織禮二有料烟寫辱模組5 ’後者提供圖幅 寫瑪之圖幅型’並提供寫碼環路4以寫 巧…構類型’即囫幅或圏場型寫碼。 蜗寫碼模組5提供寫碼視頻流做為輸出。 寫碼環路4係按照H.264標準所界定之寫碼環路。按昭 其他具體例，此寫碼環路要遵循其他寫碼標準，諸如MpE'G -2或其他型寫碼。各種模組的功能詳細參見以下諸圓。 第2圖代表分解成第1囷所示預分析模組丨和寫碼控制 模組2之功能段。 圓示功能段相當於物理上可分辨之實體與否均可，例 如，此等模組或其部份可群組在一起，成為單一組件，或 構成同一件軟趙之功能性》反之，某些模組可由分開之物 理實體組成。 模組6和7係預分析模組，而模組8, 9，1 〇係容許控制寫 碼之模組。 模組6進行圖場相關性計算。 第3圊說明模組6所用之相關性計劃。 模組6進行空間活性評估，如下0述。 模組6藉測量圖幅的各囷場之圖場内相關性，而進行 現有圖幅之囷場相關性。

1339524 五、發明說明（6) 偶數圖場之圖場内相關性標明為Clntra〔0〕，而奇 數圖場之圖場内相關性標明為C I n t r a〔 1〕，如第3圊所 示。

Γ 1 j-ribliries/2-1 i-iibpeW

Clntra[0]= Σ Σ |Fn-心Fn-<j*2+l，i)| j^3 i*0 _ - j*riblines/2-l i«abpeb-l CIntra[l]= Σ Σ Fn(j* 2, l，i) | j-0 i-0 j代表各圖場的線數，分開考量， F代表圖元（i，j)之亮度值。 模組6進行時間活性的評估，如下所述。 二圖場間之期間標明T。對5 0赫的訊號而言，圖場週 期為1/50 s，而以60赫訊號而言，圖場週期為1/60 s。 模組6進行現有圖幅第一圖場和先前圊幅最後圖場間 之圖場間相關性測量，標明C_T〔 0〕。 r , j-ubliaes-1 i-nbpeb-1 C_T[〇]= Σ Σ iFn-.a^-Fn-^i) j-0 i-0 模組6進行現有圖幅第一圖場和先前圖幅第一圖場間 之圖場間相關性測量，標明C_2T〔 0〕。 1339524 五、發明說明（7) r _ j-nbhncs^ ienbpeb-l C_2T[〇]= Σ Σ \¥η-^,ϊ)-¥η-^ι) \ j»〇 i=0 模組6進行現有圖幅第二圖幅和現有圖幅第一圖場間 之圖場間相關性測量，標明C_T〔 1〕。 r Ί Kiibhaes-l iaubpeb-l C — T[l]= Σ Σ Mj，i)-Fn-心，i)

i=D 模組6進行現有圖幅第二圖場和先前圖幅第二圖場間 之圖場間相關性測量，標明C_2T〔 1〕。 _ _ ^pbhn«-l i«abpeU-l C_2T[1]= Σ Σ FnaO-Fn-.Cj,!) | j=D i-0 模組6提供模組7以圖場間和圖場内相關性測量。 模組7包括級進式/交織式決定模組1 1，以及加權時 間活性之計算模組1 2。 模組1 1決定在寫碼裝置的輸入接受的電流序列，是否 來自級進式來源（例如影片），或來自交織式視頻來源。 為此目的，進行如下比較：若 （0.9 * (C_lntra[0] + C_Intra[l；l). > C_T[1])，則序列視為級進式，否則序列 視為交織式。

第12頁 1339524 五、發明說明（8) 模組1 2進行計算由空間活性加權的時間活性。 圖幅型的寫碼適於弱運動的圖幅序列，意即時間活性 的圖幅序列弱。 反之，圖場型的寫碼適於強運動的圖幅序列，意即時 間活性的圊幅序列強。 時間活性利用空間活性加權。尤其是序列為很織紋的 序列，故呈現強空間活性，圖幅性寫碼保持全部線條，比 只保持每隔一線的寫碼有更好結果。 加權時間活性按下式計算：

Act = l + min{C_T[〇],C_T \ } 2 + 0.5* max {size _ frame, (C_intra 6 + C_intra[l])} 藉指示賦予數值2和0.5，可在其他具體例中加以修 飾。 然後，以場景數值模組11所進行級進式或交織式寫碼 類型之檢測為函數，按照圊場模式和圖幅模式進行寫碼。 寫碼的選擇是利用模組8進行，接受檢測的序列類型和加 權時間活性為輸入。 若就成對的現有囷場（圖幅）和成對的先前圖場，模組 11已檢測交織序列，則現有圖幅可使用圖場型寫碼方式寫 碼，否則，現有圖幅使用圖幅型寫碼方式寫碼。 若圖場寫碼模式可行，則：

第13頁 ^39524 五、發明說明（9) 設場景> 3 ’圖幅以圖場模式寫碼。 否則，圖幅以圖幅模式寫碼。 的其他具體例1，等於3的臨限值可能不同。臨限值 叩修飾，使其可能有利於一或另一寫碼模式。 ，後’模式8進行選擇圖像組群（G〇p)的結構。 若模組8已採取圖場模式寫碼決定，則G0P會在各ρ圖 τ备間含有單一 B圖幅。 唯一可能的 GOP結構則為 Iq dId lBl qBi iP2 Dp2 ιβ3 & ιΡ4。 Xi,j中的i，j分別代表圖幅數和圖場數。GOP長度不固 定〇 若模組8已決定以圖幅模式就圖幅寫碼，則G0P内的接 續B圖幅數可能大於1。 在此情況下，模組8先藉計算最適Ι/P週期T1/P邮，意 即1圖幅和後繼Ρ圖幅間之週期，以算出接續Β囷幅之最適 數目。

Ti/p〇p. = 7~2*Act + 0.5 利用指示賦予數值7、2和〇. 5，並可以其他具體例修 飾。 然後，模組8計算B圖幅實際數目。 、 接續B圖幅的實際數目，有時與B圖幅最適數目不同 視應用之限制而定。，最.大Ι/P週期實際上是在寫碼/解碼 鍵上的短處理時間之要求所賦予。

第14頁 1339524 五、發明說明（ίο) 所限 因此，Ι/P週期受到間距〔2，最大I/p週期〕 數值2相當於I型圈幅和p型囷幅間之b型圊幅u 模組8把擬議型式和圖幅結構傳輸到最後決定模組9。 模組9亦經由模組1〇接受有關最後所寫碼一些囷幅之決 過程。若現有GOP的結構和寫碼型式，與模組8所擬議不同 ，模組9可不理會此最後擬議，除非現有G〇p結構和寫碼 式可以修飾。在此情況下，同一G〇p可含囷幅， 場結構或囷幅結構。 按照較佳具體例，G0P可走捷徑，從圊場型寫碼切換 ，囷幅型寫碼，或反之。在此情況下，各G〇p擁有囷幅型 或困場型寫碼結構’以及相關的G〇p結構，均一定。若結 構有變化，則利用内部模式就第一囷幅寫碼，以改變G〇p 。此舉產生高效寫碼品質和很大穩定性，又方便實施位 率調節’以供閉合環路寫碼。 然後，模組9把寫碼必要的資訊，傳輸到第3圓所示圓 =重新組織模組3,和第4囷所示寫碼環路4’以及將控制 資料傳輸到第5囷所示熵寫碼模組5。控制資料包含例如高 位準參數，指示熵寫碼模式（在H. 2 6L寫碼下，為cabac4 cavlc)、預估之參考囷幅數目、囷幅尺寸（宽高）、形熊 和位準。 〜 更準確言之’寫碼控制模組2把應寫碼的後續囷幅型 内部、雙預估或預估），傳輸至圊幅重新組織模組3， 並把圖幅結構（囷場或圊幅）傳輸至寫碼環路4 : 按照本發明較佳具體例，I型圓幅始终以囷場模式寫

1339524 五、發明說明（11) 碼（圊幅的第二圖場相對於第一圖場寫碼成P型），不拘現 有GOP寫碼的結構和模式，此時此後，序列視為交織型。 按照本發明較佳具體例，當插入的B圖幅數目超過2 (弱動作的序列），B圊幅可用做其他B圊幅的可能參考圖幅 。第4圓代表例如較佳具體例之圖像組群。 I圖幅和P圖幅間之週期為4，意即I圖幅和P圖幅間有3 個B圊幅。 位於其他二B圊幅間之中央圖幅B2，為其周圍二圖幅 寫碼用之參考圖幅。此囷幅B2是根據現有GOP的先前囷幅 10和現有GOP的後繼圊幅P4，在圊幅B1之前寫碼。 囷幅B1是根據後繼囷幅B2的先前圊幅10和後繼囷幅P4 寫碼。 圊幅B3係根據圊幅10、圖幅B2、圊幅P4寫碼。

第16頁 1339524 圖式簡單說明 【圖式簡單說明】 第1圊表示本發明較佳具體例的寫碼裝置； 第2圖表示本發明功能性方塊圖之較佳具體例； 第3圖表示計算圊場内和囷場間相關性的較佳模式； 第4囷表示本發明較佳具體例圈像組群（GOP)具有弱動 作的序列情況。 【主要元件符號說明】 1,6,7 預 分 析 模 組 2,8,9,10 寫 瑪 控 制 模 組 3 圖 幅 重 新 組 織 模 組 4 寫 瑪 環 路 5 熵 寫 碼 模 組 11 決 定 模 組 12 計 算 模 組 GOP 圖 像 組 群 I 内 部 模 式 寫 瑪 之 圖 幅 P 預 估 模 式 寫 碼 之 圓 幅 B 雙 預 估 模 式 寫 之 圖幅

第17頁

Claims (1)

1339524 i年。月曰(更)正·本 案號93119869丨 的年1丨月今0曰 丨修正__ 六、申請專利範圍 1. 一種視頻圖幅序列之寫碼裝置，包括： 第一機構供測量所要寫碼的視頻圖幅之空間活性； 第二機構供測量所要寫碼的視頻圖幅之時間活性； 把圖幅做為圖幅結構或圖場結構之寫碼機構，該寫 碼機構係能以測量空間和時間活性機構間之商數為函數， 動態選擇圖場或圖幅結構之一，根據空間和時間活性之測 量，測定視頻序列為交織型或級進型，其中各圖幅包括第 一圖場，與第二圖場交織；

第一測量機構，適於測量圖幅的第一圖埸之空間活 性，並以第一值代表，並測量該圖幅的第二圖場之空間活 性，並以第二值代表； 第二測量機構，適於測量圖幅的第一和第二圖場間 之時間活性，以第三值代表，並測量該圖幅的第一圖場與 前一圖幅的第二圖場間之時間活性，以第四值代表； 而寫碼機構適於計算加權時間活性如下： _1 +mip(C—T[0]，C—T[l]}_ 2 + 0,5_max{size—frame, (C」ntra[0] + C—intra[l])}，

其中： C_intra[0]為第一值； C_intra[l]為第二值； C_T[ 1 ]為第三值； C_T[ Ο ]為第四值；

第18頁 1339524 案號 93119869 曰 修正 六、申請專利範圍 niax(a，b)為回到a值和b值間最大值之函數； m i n (a，b)為回到a值和b值間最小值之函數者。 2. 如申請專利範圍第1項之裝置，其中當（1 )為該圖幅 和該前一圖幅測定交織型序列時，和（2 )加權時間活性大 於預定臨限值時，寫碼機構選擇圖場結構；當（1 )或（2 )條 件不符時，該寫碼機構則選擇圖幅結構者。 3. 如申請專利範圍第1項之裝置，其中若後第一和第 二值之和數乘以0. 9，大於預定臨限值，該測定機構即測 定該圖幅屬於級進型序列者。

4. 如申請專利範圍第3項之裝置，其中該預定臨限值 等於第三值者。

第19頁