TWI458355B - 影像編碼控制方法及裝置 - Google Patents

Description

影像編碼控制方法及裝置

本發明係有關於影像編碼之技術，特別是有關於以不會產生解碼側緩衝器之欠流之方式抑制編碼對象圖像之產生編碼量、且防止畫質之劣化之影像編碼技術。

本案根據2010年5月6日申請之日本特願2010-106104號主張優先權，並在此處援用其內容。

通常，在解碼器，在解碼-顯示之前，係將接收到之編碼資料儲存在緩衝器。經解碼之編碼資料則從緩衝器抽出。

在編碼影像時，假如不考慮該解碼器側之緩衝器狀態就進行編碼時，會有不能將影像解碼之可能性。因此，在編碼時須進行虛擬解碼器緩衝器之檢測，以保證可以解碼。

在解碼器緩衝器之異常狀態中，會有溢流(overflow)和欠流(underflow)。

溢流是以比解碼-顯示更快速之步調使編碼資料到達解碼器之情況。在以比解碼-顯示更快速之步調接收編碼資料之情況時，會有接收之編碼量比從緩衝器抽出之編碼量多，有使解碼側之緩衝器容量超出之可能。通常，解碼器緩衝器之溢流之對策是故意加入無用資料(填塞資料或填充資料)，使必要之編碼資料之接收速度變慢，而得以防止溢流。

與此相對地，欠流是在解碼-顯示時，不能接收必要之編碼資料之狀態。作為欠流之對策，有以不會發生欠流之方式進行目標編碼量之設定來控制產生編碼量之方法、和經由減少編碼圖像數來防止欠流之利用圖像跳越之方法。任何一種之方法均是經由抑制產生編碼量來防止欠流。

例如，在專利文獻1所記載之方法中，利用解碼側緩衝器檢測，進行是否有發生欠流之檢測，在有發生欠流之情況時，將編碼資料置換成為跳越編碼資料。

第7圖表示先前技術之影像編碼之防止欠流之方法之流程。

首先，在最初，利用解碼側緩衝器檢測來確認是否發生欠流(步驟S100)。在檢測到有欠流之情況時，利用產生編碼量抑制處理以抑制產生編碼量(步驟S101)。

在抑制產生編碼量時，有：使與目標編碼量之偏差變少之控制方法、或跳越檢測到有欠流之圖像之方法、或產生使產生編碼量成為最小之虛擬(dummy)之編碼資料之方法等。

欠流發生之檢測係在編碼前或編碼後進行。

在編碼後檢測到欠流之情況時，必須將檢測到有欠流之圖像之編碼流(stream)作廢。

另外，時刻t之圖像之解碼前之解碼側緩衝器之佔用量可以用下式計算。

B(t)=B(0)+R＊t-ΣG(i)

在此處，B(0)為解碼側緩衝器佔用量之初期值，R為位元率，G(i)為時刻i之圖像之產生編碼量。

(先前技術文獻) (專利文獻)

(專利文獻1)日本專利2005-72742號公報

發生欠流之可能性升高之狀態，亦即，解碼器緩衝器佔用量降低之原因是，相對於位元率，有甚多之產生編碼量之情況。

第8圖表示解碼側之緩衝器佔用量推移之例子。在第8圖中，A之部分發生有欠流(以虛線表示)，所以為跳越圖像之部分，B之部分是在圖像跳越後，緩衝器佔用量位在很低之位置，係為將產生編碼量被壓低之部分。

在緩衝器佔用量之位置較低之情況時，為了不使發生欠流，需要將產生編碼量抑制成很少。但是，在包含紋理(texture)之複雜之影像繼續之情況時，若極端抑制產生編碼量時，編碼畸變會變為顯著。此種狀態在複雜之影像畫面結束，解碼側緩衝器佔用量回到適當之位置之前，會持續此種狀態。

在先前技術之方法中，在解碼側緩衝器佔用量降低之情況時，會有短暫期間內解碼圖像之劣化變為顯著的問題。

在專利文獻1所記載之技術中，為著解決該問題，係採用來自其他圖像之不予參照之B圖像優先跳越之方法。

但是，未來B圖像之產生編碼量就已經很少，再加上插入片數被限制，所以即使跳越，至解碼側緩衝器佔用量回到適當之位置為止，需要花時間。因此，這表示產生編碼量被抑制，畫質劣化狀態會持續很長時間。

本發明之目的是在解碼側緩衝器佔用量降低之情況時，解決先前技術之方法中短暫期間內解碼影像之劣化變為顯著之問題，以防止解碼側緩衝器檢測到欠流後之編碼對象圖像之畫質劣化。

用以達成上述目的，本發明提供一種影像編碼控制方法，用來控制所輸入之影像信號之編碼，其包括：檢測解碼側緩衝器之欠流之步驟；在檢測到有解碼側緩衝器之欠流時，藉由跳越編碼對象圖像或以最小產生編碼量進行編碼，來抑制產生編碼量之步驟；在抑制上述產生編碼量之後，使預先賦予之解碼側緩衝器佔用量之臨限值、和現在之解碼側緩衝器佔用量進行比較之步驟；及依照上述比較之結果，至解碼側緩衝器佔用量超過上述臨限值為止，利用抑制上述產生編碼量之步驟，持續進行抑制編碼對象圖像之產生編碼量之控制步驟。

本發明復提供一種影像編碼控制方法，用來控制所輸入之影像信號之編碼，其具有：檢測解碼側緩衝器之欠流之步驟；在檢測到有解碼側緩衝器之欠流時，從預先賦予之解碼側緩衝器佔用量之臨限值和編碼位元率，算出抑制產生編碼量之期間之步驟；及只在上述算出期間，藉由跳越編碼對象圖像或以最小產生編碼量進行編碼，來持續進行抑制編碼對象圖像之產生編碼量之控制的步驟。

本發明又提供一種影像編碼控制裝置，用來控制所輸入之影像信號之編碼，其具備有：檢測解碼側緩衝器之欠流之手段；跳越編碼對象圖像或以最小產生編碼量進行編碼，以抑制產生編碼量之手段；使預先賦予之解碼側緩衝器佔用量之臨限值和現在之解碼側緩衝器佔用量進行比較之手段；及控制手段，在檢測到有解碼側緩衝器之欠流時，至解碼側緩衝器佔用量超過上述臨限值為止，利用抑制上述產生編碼量之手段，持續抑制編碼對象圖像之產生編碼量。

本發明復提供一種影像編碼控制裝置，用來控制被輸入影像信號之編碼，其具備有：檢測解碼側緩衝器之欠流之手段；跳越編碼對象圖像或以最小產生編碼量進行編碼，以抑制產生編碼量之手段；從預先賦予之解碼側緩衝器佔用量之臨限值和編碼位元率，算出抑制產生編碼量之期間之手段；及控制手段，在檢測到有解碼側緩衝器之欠流時，只在上述算出期間利用抑制上述產生編碼量之手段，持續抑制編碼對象圖像之產生編碼量。

利用本發明，至解碼側緩衝器之佔用量超過臨限值為止，可以抑制產生編碼量，在檢測到欠流之後，不需要一直抑制產生編碼量以防止欠流，而得以改良畫質。

首先陳述本發明之概要。

在解碼側緩衝器佔用量降低之情況時，於短暫期間，解碼圖像之劣化之所以變得顯著，係因解碼側緩衝器位置(亦即，佔用量)較低，使產生編碼量受到抑制之故。

因此，本發明為使解碼側緩衝器回到適當之位置，乃於一定期間進行使圖像跳越等之產生編碼量最小化之處理。使產生編碼量最小化之處理是在產生編碼量超過預先設定之解碼側緩衝器位置之臨限值為止之期間進行者。

第1圖是影像編碼控制之流程圖，用來揭示本發明之概要。

首先，如同先前技術，進行解碼側緩衝器之檢測(步驟S1)。檢測之結果沒有問題時，就維持原樣繼續處理。

假如在檢測到有欠流之情況時，與先前技術同樣地，藉由跳越編碼對象圖像或以最小產生編碼量進行編碼，以進行抑制產生編碼量之處理(步驟S2)。

然後，確認解碼側緩衝器佔用量是否超過預先設定之臨限值(步驟S3)。

假如，還在臨限值以下之情況時，就以現在編碼對象圖像之下一個輸入圖像作為新編碼對象圖像，進行抑制產生編碼量之處理(步驟S2)。

重複進行該處理，至解碼側緩衝器佔用量超過預先設定之臨限值為止。

依照上述之方式，在本發明中，係在用以檢測解碼側緩衝器之欠流之臨限值之外，另行設定用來停止圖像跳越等之產生編碼量抑制手段之臨限值，至解碼側緩衝器之佔用量超過臨限值為止，利用產生編碼量抑制手段繼續執行產生編碼量之抑制。在解碼側緩衝器之佔用量超過臨限值之時點，回到通常之編碼處理。

經由採用此種方法，可以短期地集中抑制產生編碼量，可以防止解碼側緩衝器之欠流檢測後之編碼對象圖像之畫質之劣化。

預先設定之臨限值太低時固然沒有意義，太高時也會使產生編碼量之抑制期間變長。作為該臨限值，可考慮以下條件。

‧最大緩衝器大小之一半(例如40%至60%左右)

‧編碼流之解碼開始時之初期緩衝器位置等。

以下使用圖面說明本發明之具體實施形態。

第2圖顯示本發明實施例之裝置構成例。在第2圖中，特別是編碼控制部112以外之部分，係與先前技術之進行MPEG-2、H. 264之其他之影像編碼之裝置大致相同。

預測信號產生部101係從輸入影像信號和圖框間預測信號之殘差來產生預測信號。

該預測信號輸入到正交變換部102，經由DCT變換等之正交變換輸出變換係數。

變換係數係輸入到量化部103，在量化部103依照從量化控制部113設定之量化階級大小(step size)進行量化。

該量化後之變換係數輸入到資訊源編碼部104，在資訊源編碼部104予以熵(entropy)編碼。

從資訊源編碼部104輸出之編碼資料經由開關部114而儲存在編碼資料緩衝器115。

另一方面，量化後之變換係數在反量化部105予以反量化，在反正交變換部106施以反正交變換，而產生解碼預測信號。

該解碼預測信號在加法器107進行與圖框間預測信號相加，用來產生解碼信號。

解碼信號在限幅部108被限幅(clipping)，且因為要在繼後之圖框預測編碼中用作參考圖像，而儲存在圖框記憶器109。

移動檢測部110對輸入影像信號利用移動探索進行移動檢測，將所求得之移動向量輸出到移動補償部111和資訊源編碼部104。

在資訊源編碼部104係依照移動向量進行熵編碼。

在移動檢測部111依照移動向量參考圖框記憶體109而產生圖框間預測信號。

在本實施例中，於解碼處理後進行欠流檢測，並假定以圖像跳越作為產生編碼量之抑制處理。

在編碼控制部112，以編碼位元率和自編碼資料緩衝器115送來之產生編碼量作為輸入，計算解碼側緩衝器之佔用量。

在檢測到有解碼側緩衝器之欠流之情況時，對開關部114輸出編碼資料緩衝器作廢資訊，使開關開路來作廢該圖像之編碼資料，作為圖像跳越。該開關繼續保持開路，至解碼側緩衝器之佔用量超過臨限值為止，繼續進行圖像跳越。

在解碼側緩衝器之佔用量超過臨限值之時點，使開關閉路，將在資訊源編碼部104產生之編碼資料發送到編碼資料緩衝器115。

第3圖是本實施例之處理流程圖。

首先，將編碼對象圖像進行編碼(步驟S10)。其次，進行解碼側緩衝器之檢測(步驟S11)。當其檢測結果沒有問題之情況時，就使編碼對象圖像之處理結束。

如果在發生有欠流之情況時，使編碼對象圖像之編碼結果之編碼資料作廢，並設定解碼側緩衝器之佔用量之臨限值(步驟S12)。

繼之，使編碼對象圖像作廢(步驟S13)，產生與圖像跳越對應之編碼資料(步驟S14)。

然後，使解碼側緩衝器之佔用量和臨限值進行比較(步驟S15)。

比較之結果，當解碼側緩衝器之佔用量在臨限值以下之情況時，以現在之編碼對象圖像之下一個輸入圖像作為新的編碼對象圖像，再度進行編碼對象圖像之作廢(步驟S13)和圖像跳越之編碼資料之產生(步驟S14)。

比較之結果為大於臨限值之情況時，使利用本編碼控制之產生編碼量之抑制處理結束。

第4圖表示本實施例之解碼側緩衝器佔用量之推移之例。

在本實施例中，在時刻t檢測到欠流之情況時，在至解碼側緩衝器佔用量超過臨限值VBVth之時刻t+n為止之期間，繼續圖像跳越。

圖像跳越之產生編碼量大致可以視為0，所以在時刻t至t+n之間，由於位元率之傾斜，使解碼側緩衝器佔用量上升。

在本實施例中，重複進行圖像跳越，至解碼側緩衝器佔用量超過臨限值為止，但是從檢測到欠流時之佔用量和臨限值，可以先算出圖像跳越數。

設檢測到欠流時之緩衝器位置為B(t0)，位元率為R，圖像跳越時所產生之編碼量為Gs，預先設定之臨限值為Bth。

n=(Bth-B(t0))/(R-Gs)

超過從上式求得之n之自然數可以作為圖像跳越之張數。

另外，在圖像跳越時之產生編碼量為0之情況時，成為

n=(Bth-B(t0))/(R)。

第5圖揭示此種情況時(變化例)之處理流程圖。

首先，將編碼對象圖像進行編碼(步驟S20)。

其次，進行解碼側緩衝器之檢測(步驟S21)。當其檢測結果沒有問題之情況時，就使編碼對象圖像之處理結束。

如果，在發生有欠流之情況時，使編碼對象圖像之編碼結果之編碼資料作廢(步驟S22)。

繼之，利用求取上述n之式子，進行圖像跳越之張數之算出處理(步驟S23)，使所算出之圖像跳越張數之編碼對象圖像作廢(步驟S24)，來產生指定張數之圖像跳越之編碼資料(步驟S25)。

然後，使利用本編碼控制之產生編碼量之抑制處理結束。

如上所述，在本變化例中，與第3圖之實施例之不同，係在圖像跳越之張數之算出處理(步驟S23)之後，使指定張數之編碼對象圖像作廢(步驟S24)，並進行指定張數之圖像跳越(步驟S25)，以取代替重複處理。

另外，不算出圖像跳越之張數，而算出利用圖像跳越等抑制產生編碼量之時間上之期間，亦可以獲得同樣之效果。換言之，圖像張數和期間在此處實質上係相同意義。

另外，在本實施例中，是利用圖像跳越作為產生編碼量抑制手段，但是亦可以利用(i)最大量化階級大小或量化矩陣、(ii)巨集區塊跳越等產生編碼量成為最小之模式之編碼等。

第6圖表示代替圖像跳越，而改插入成為最小產生編碼量之虛擬資料(dummy data)之情況時之實施例之構成圖。

在第2圖中，係經由使編碼資料作廢用來實現圖像跳越，但是在本實例中，係插入在虛擬資料產生部120所產生之編碼資料，來取代使編碼資料作廢者。關於其他之部分，則與上述之第2圖所示之例子相同。

另外，在上述實施例中，係進行一次之編碼，並確認是否發生欠流，但是亦可以不進行編碼，而改以推定產生編碼量，以檢測欠流之發生。在此種情況時，不需要編碼資料之作廢。

以上之實施例所使用之解碼側緩衝器佔用量之臨限值，可以使用例如解碼側之緩衝器大小之大致一半值、或接收解碼側之前頭圖像之編碼資料，且使用解碼即將開始前之解碼側緩衝器之緩衝器位置，因為不會過高或過低，所以很適當。

另外，在本實施例中，並未考慮解碼側緩衝器之溢流。

要因應溢流時，需要從最大緩衝器大小資訊判定溢流，採取因應。

以上之影像編碼控制之處理可以利用電腦或軟體程式實現，亦可將該程式記錄在電腦可讀取之記錄媒體，或經由網路提供。

(產業上之可利用性)

依照本發明時，可以在解碼側緩衝器之佔用量超過臨限值之前抑制產生編碼量，在檢測到欠流後，不需要持續一直抑制產生編碼量來防止欠流，可以提升畫質。

101．．．預測信號產生部

102．．．正交變換部

103．．．量化部

104．．．資訊源編碼部

105．．．反量化部

106．．．反正交變換部

107．．．加法器

108．．．限幅部

109．．．圖框記憶體

110．．．動作檢測部

111．．．動作補償部

112．．．編碼控制部

113．．．量化控制部

114．．．開關部

115．．．編碼資料緩衝器

120．．．虛擬資料產生部

第1圖是顯示本發明之概要之影像編碼控制之流程圖。

第2圖是顯示本發明實施例之裝置構成例圖。

第3圖是該實施例之處理流程圖。

第4圖是該實施例之解碼側緩衝器佔用量之推移例圖。

第5圖是另一實施例之處理流程圖。

第6圖顯示另一實施例之裝置構成例圖。

第7圖顯示先前技術之影像編碼之防止欠流之方法之流程圖。

第8圖顯示先前技術之解碼側緩衝器佔用量之推移例圖。

該代表圖無元件符號及其代表之意義。

Claims (5)

1. 一種影像編碼控制方法，用來控制被輸入之影像信號之編碼，包括：檢測解碼側緩衝器之欠流之步驟；在檢測到有解碼側緩衝器之欠流時，從預先賦予之解碼側緩衝器佔用量之臨限值和編碼位元率，算出抑制產生編碼量之期間之步驟；及只在上述算出期間，藉由跳越編碼對象圖像或以最小產生編碼量進行編碼來持續進行抑制編碼對象圖像之產生編碼量之控制的步驟。
2. 如申請專利範圍第1項所述之影像編碼控制方法，其中，上述解碼側緩衝器佔用量之臨限值，係使用下述之任一者：解碼側之緩衝器大小之大致一半值；及在解碼側接收前頭圖像之編碼資料，於即將開始解碼前之解碼側緩衝器之緩衝器位置。
3. 一種影像編碼控制裝置，用來控制所輸入之影像信號之編碼，具備有：檢測解碼側緩衝器之欠流之手段；跳越編碼對象圖像或以最小產生編碼量進行編碼，以抑制產生編碼量之手段；從預先賦予之解碼側緩衝器佔用量之臨限值和編碼位元率，算出抑制產生編碼量之期間之手段；及控制手段，在檢測到有解碼側緩衝器之欠流時，只 在上述算出期間利用抑制上述產生編碼量之手段，持續抑制編碼對象圖像之產生編碼量。
4. 一種影像編碼控制程式產品，係用以令電腦執行申請專利範圍第1項所述之影像編碼控制方法。
5. 一種電腦可讀取之記錄媒體，係記錄有影像編碼控制程式，其係用以令電腦執行申請專利範圍第1項所述之影像編碼控制方法。