TWI382763B - 影像序列之寫碼方法及裝置 - Google Patents

Description

影像序列之寫碼方法及裝置

本發明係關於視頻序列的影像之寫碼方法和裝置，尤指根據運動圖場計算，使用影像間之時間相關性，利用影像段加以寫碼。

圖場例如為H.264/AVC型視頻寫碼。

和先前視頻寫碼標準不同的是，H.261,H.263,MPEG2或MPEG4，一系列巨段或巨段之切片，可由影像的非接續性巨段所組成，因電視型式影像掃描方向而定。此項可能性稱為彈性巨段排序(FMO)。此工具載於例如S.Wenger和M.Horowitz著文，見JVT－C089 ISO/MPEG & ITU,2002年5月。

在跨越多販賣機網路的視頻影像傳輸脈絡中(通常是以封包損失檢定高傳輸誤差率)，需特別使用誤差改正碼，諸如Reed－Solomon碼或順向誤差改正(FEC)連續核對碼，保護壓縮資料之封包。然而，此等誤差改正演算基於冗長，故寫碼成本昂貴，不能使視為寫碼重要的影像面積優先。

本發明之目的，在於克服上述缺點。

為此目的，本發明之一標的，係影像序列之寫碼方法，包含把影像劃分為影像段之步驟，把影像分成區之步驟，按照影像之電視掃描順序，區包括一系列接續或非接續段：－現時影像和序列的前導影像間運動之消除步驟，提供運動圖像，使運動向量與影像段關聯；－段間或段內寫碼步驟，諸段是按照諸區的順序，利用區寫碼，而對區，是按照組成區的諸段系列順序；－寫碼段誤差改正步驟，其特徵為－進行運動圖場之分析步驟，按照與段關聯之運動向量，計算指定給此段之「壽命」參數，並相當於在後繼影像內存在之或然率；－進行分區步驟，考慮此參數值，以界定影像內諸區，並從最重要至最不重要排序；－誤差改正步驟使用對相當於首先諸區的寫碼資料，比對相當於稍後諸區的資料，更有效之誤差改正演算。

按照特別具體例，段之「壽命」參數，是利用指定給段的運動圖場之運動向量外插算出。

按照特別具體例，在影像參考基礎內考慮來決定存在或然率之影像，係習知預估双向B型以外之影像，甚至是習知預估双向B型或B儲存型以外之影像。

按照特別具體例，為影像序列的影像編號M計算之運動向量，係朝影像編號M＋m,M＋2m,M＋3m...外插，m係正整數，段之參數值視指定給屬於此等影像的此段之向量結束時間數量而定。

按照特別具體例，區是以參數的上限和下限來界定，區係由此參數包含在界定此區的範圍內之諸段組所組成。

按照特別具體例，有關諸段寫碼之資料，係構成於資料封包內，按照指定給相當於封包的諸區之重要性排序。

按照特別具體例，區是由切片群組成，如H.264/AVC標準所界定。

本發明亦關係到實施本發明方法的影像序列之寫碼裝置，包括劃分影像並構造諸區用之電路，把影像構成諸區，由影像諸段組成，並按照諸區序列順序，把影像之此等諸段供應至運動估計電路，以及段內和段間寫碼電路，寫碼段係傳輸至誤差改正電路，運動圖場分析電路是按照運動圖場之運動向量，計算諸段之「壽命」參數，劃分影像和構造切片用之電路，接收壽命參數，並按照此參數構造，且從最重要至最不重要的諸區排序，而誤差改正電路對相當於首先諸區的資料，比對相當於稍後的資料，實施更有效之演算。

諸區即按照場景內容，尤其是運動圖場之性質、組成和排序。諸區重要性之順序，是按照區之諸段或諸巨段之壽命，即影像的諸巨段或諸段之使用而建立，供隨後影像之預估寫碼。

本發明可增進復原影像之品質，被視同最本質的諸區，係能夠使用最有力的改正碼。此外，解碼器內的誤差過程，基於運動圖像的分析，更為有效。

本發明其他特點和優點，由基於附圖的非限制性實施例之說明，即可明白。

第1圖說明實施本發明方法所用寫碼器。

在寫碼器輸入處接收視頻序列的原始影像之數位視頻資料，傳輸至影像劃分和諸區構造電路1，在此把影像劃分為巨段，並將巨段構造成區。形成巨段的影像段，在第一輸出傳輸至運動估計電路2，而在第二輸出傳輸至減算器3的第一輸入。按照寫碼模態為段內或段間，減算器3傳輸有關現時段之資訊，係在其第一輸入所接收，或從相當於在其第二輸入可得的預估段之資訊加以減去。在減算器輸出之資料，傳輸至分立餘弦轉往和量化電路4。在此電路輸出量化之係數，即經由可變長度寫碼器5(VLC)，受到熵寫碼(entropic coding)。

現時影像重建，以供應預估段。因此，量化係數即經由參考電路6，受到反逆量化和反逆分立餘弦轉換，賦予解碼之光度值。

如果是以段內模態寫碼，則使用加算器7，把預估段加到解碼係數段。重構段即儲存於影像記憶體8內，在此儲存重構之現時影像。

運動估計電路2接收關於影像記憶體8所儲存先前解碼或重構影像之資訊，以及關於原先來自影像劃分和區構造電路1的原始影像現時巨段之資訊。按照已知原理，在現時巨段和重構影像間進行相關性計算，以提供運動向量。此等向量傳輸至寫碼模態決定電路9，進行寫碼成本計算，以決定最妥當寫碼模態，並傳輸至運動圖場分析電路10。寫碼模態和得便時之相對應運動向量，傳輸至運動改正電路11，對重構影像提供運動改正，以便將原先來自此重構影像的預估影像段，供應至減算器3之第二輸入。運動向量亦傳輸至熵寫碼電路5，供其寫碼和傳輸至解碼器。由運動圖場分析電路算出之資訊，傳輸至區構造電路，把影像構成諸區，包括切片或切片群，把諸區編序，以界定影像諸段寫碼順序。例如，藉將影像的全部巨段指定於不同諸區，把影像構成諸區後，區之語段即形成切片或切片群，一如H.264/AVC標準所界定。

在真寫碼器輸出處之資料流，是在越過分佈網路，例如網際網路，送至解碼器之前，傳輸至應用誤差改正碼之電路，圖上未示。此電路徑誤差改正碼，為各區或各切片增加冗長，選擇誤差改正演算，對影像的首先寫碼諸區或切片特別有效，故就寫碼成本而言，成本更高，因為冗長位準之故，而對隨後諸區或切片，成效愈來愈低，故寫碼成本也較低。

就內容觀點，按照運動圖場性能相對於諸巨段和影像面積的重要性，形成諸區，視運動圖場的性能，可建議對影像某部份的保護給予優先。諸區可在影像參考基本上，根據巨段壽命的概念構成。

因此，運動圖場分析電路按照運動估計電路供應之運動圖場，計算「壽命」參數，指定於影像之各段或巨段，視其運動向量而定。此參數相當於影像段在要寫的次一影像內存在之或然率。若所處理段應位置之影像數變多，則全部變多。其值視為影像段計算的運動、其幅度和其方向而定。

假設運動一定，計算可包含將指定給影像M的諸巨段朝影像M＋m,M＋2m,M＋3m...之運動向量外插，m係影像數，為影像所選的分析期間。參數值遠較巨段出現多的影像數為大。

要寫碼的影像有預估型P、B儲存型(按照H.264/AVC標準所用術語)，或甚至習知B双向預估型之段內影像段間影像。I、P甚至B儲存型參考影像，比習知B型影像更重要，因係用於預估寫碼。因此，按照本發明變化例，可用來計算「壽命」參數，在決定巨段要位置的後續影像數時，可不拘習知B型影像。按照變化例亦可不管B儲存型影像(可用做參考，但只供習知B影像)，以及習知B型影像，則m值為分析期間，只考慮到P或I型影像。

FMO工具界定諸區，事實上是切片群(按照H.264/AVC標準)。在切片群內諸巨段的處理順序，相當於電視掃描，只考慮到切片群之語巨段。各切片群或區從而按照對群指定數加以處理。

上述方法可按照影像面積之空間/時間行為，經由運動圖場分析，構成切片群。由於構成切片群，即可加以保護，使得按照此運動圖場分析認為最不可或缺之群，可以使用最有效改正碼。

所以，按照「壽命」參數的不均衡，區構造電路即界定影像內不同之諸區。對此參數具有同值或相似值的諸段，即組合於諸區內。此等諸區編號，首先切片群係相當於最高參數值，而最後群相當於最低參數值。

須知因為切片是按照運動圖場的性質組成，解碼器可更有效進行誤差遮蔽過程。其條件是解碼器具有此類處理之有效演算，特別是基於運動圖場之分析，重構未解碼之影像部份，做為剩餘誤差之一部份，即不能利用誤差改正碼加以改正之誤差。例如MPEG標準內所述時間預估式遮蔽演算。實務上，係具有被使用最大或率之諸巨段，做為隨後預估之基礎，以強力的誤差改正演算加以寫碼。

第2圖展示劃分成諸巨段之影像，在伸縮脈絡中崩解成諸區或切片群。

在伸縮情況下，宜由影像中央部份形成第一切片，此影像面積在時間預估時最珍貴。

所以，第2圖展示的切片群分佈如下：－第1切片群：在中心的諸巨段，有從上左到下右的斜陰影線；－第2切片群：在第1群周圍，無陰影線；－第3切片群：在第2群周圍，有水平陰影線；－第4切片群：在第2群周圍，有直立陰影線；－第5切片群：在影像的右邊和左邊，有從右到左的斜陰影線。

第1群巨段編號為1至16，第2群為17至36，第3群為37至50，第4群為51至64，而第5群為65至80。

第3圖展示影像劃分為諸巨段，在泛移至左的脈絡中分佈成諸群或切片群。在此造型中，首先切片是由屬於進入景觀中的新面積之諸段所形成，後者需用來預估此等面積保留在影像中。

所以，第3圖中展示的切片群分佈如下：－第1切片群：在影像左邊的諸巨段，有從右上到左下的斜陰影線；－第2切片群：在第1群右邊的諸巨段，有從左到右的斜陰影線；－第3切片群：在第2群右邊的諸巨段，有水平陰影線；－第4切片群：在第3群右邊的諸巨段，無陰影線；－第5切片群：在第4群右邊的諸巨段，有直立陰影線。

第1群的諸巨段編號為1至16，第2群為17至32，第3群為33至48，第4群為49至64，第5群為65至80。

因此，離開編號為65至80的影像，圖場之第1群諸巨段，形成最後切片群，所以最低效果的誤差改正加以寫碼。

為限制區數，可利用「壽命」參數值的上、下限，界定此等諸區。因此，區可由諸巨段組形成，相關參數為此在對區界定之範圍內。此等限制可按照影像參數之不均衡加以選擇。

在典型應用上係關於數位影像傳輸，尤其是跨越多販售網路，使用視頻寫碼標準，含FMO型工具，以供諸巨段分成諸切片。

1．．．影像劃分和切片構造電路

2．．．運動估計電路

3．．．減算器

4．．．分立餘弦轉換和量化電路

5．．．可變長度寫碼器

6．．．參考電路

7．．．加算器

8．．．影像記憶體

9．．．寫碼模態決定電路

10．．．運動圖場分析電路

11．．．運動補正電路

第1圖為本發明寫碼器之方塊圖；第2圖為伸縮脈絡諸區之分佈；第3圖為泛移至左的脈絡內諸區之分佈。

1．．．影像劃分和切片構造電路

2．．．運動估計電路

3．．．減算器

4．．．分立餘弦轉換和量化電路

5．．．可變長度寫碼器

6．．．參考電路

7．．．加算器

8．．．影像記憶體

9．．．寫碼模態決定電路

10．．．運動圖場分析電路

11．．．運動補正電路

Claims (9)

1. 一種影像序列之寫碼方法，包含把影像劃分(1)為影像段之步驟，把影像分成區(1)之步驟，按照影像之電視掃描順序，區包括一系列接續或非接續段：-現時影像和序列的前導影像間運動之消除步驟(2)，提供運動圖像，使運動向量與影像段關聯；-段間或段內寫碼步驟(3,4)，諸段是按照諸區的順序，利用區寫碼，而對區，是按照組成區的諸段系列順序；-寫碼段誤差改正步驟；其特徵為，-進行運動圖場之分析步驟(10)，按照與段關聯之運動向量，計算指定給此段之「壽命」參數，並相當於在後繼影像內存在之或然率，該段之「壽命」參數，係由指定給段的運動圖場之運動向量外插算出；-進行分區步驟(1)，考慮此參數值，以界定影像內諸區，並從最重要至最不重要排序；-誤差改正步驟使用對相當於首先諸區的寫碼資料，比對相當於稍後諸區的資料，更有效之誤差改正演算者。
2. 如申請專利範圍第1項之方法，其中在影像參考基本內為決定存在或然率而列入考慮的影像，係習知預估式双向B型以外之影像者。
3. 如申請專利範圍第1項之方法，其中在影像參考基本內為決定存在或然率而列入考慮的影像，係習知預估式双向B型和B儲存型以外之影像者。
4. 如申請專利範圍第1項之方法，其中為影像序列編號M之影像所算出的運動向量，係朝向編號M+m,M+2m,M+3m…之影像外插，m係正整數，而段的參數值視指定給屬於此等影像的此段之向量結束時間數而定者。
5. 如申請專利範圍第1項之方法，其中區係由參數的上限 和下限所界定，區由此參數包含在界定此區的範圍內之諸段組所組成者。
6. 如申請專利範圍第1項之方法，其中有關諸段寫碼之資料，係在按照指定給諸區相當於封包的重要性排序之資料封包內構成者。
7. 如申請專利範圍第1項之方法，其中區係由H.264/AVC標準內所界定切片群所組成者。
8. 一種實施如申請專利範圍第1項方法之影像序列寫碼裝置，包括劃分影像和構造諸區用之電路(1)，把影像構成由影像諸段組成之諸區，按照諸區編序之順序，把此等影像諸段供應至運動估計電路(2)，並至段間和段內寫碼電路(3,4,6,7,8,9,11)，寫碼諸段係傳輸至誤差改正電路，其特徵為，包含運動圖場分析電路(10)，按照運動圖場之運動向量，計算諸段的「壽命」參數，該段之「壽命」參數，係由指定給段的運動圖場之運動向量外插算出；其中劃分影像和構造諸區用之電路(1)，接收壽命參數以構成諸區，並按照此參數把諸區從最重要到最不重要排序，又其中誤差改正電路，對相當於首先諸區之資料比對相當於稍後之資料，實施更有效之演算者。
9. 如申請專利範圍第8項之裝置，其中區相當於切片或切片群者。