TWI507016B - 動態影像編碼控制方法、動態影像編碼裝置及動態影像編碼程式 - Google Patents

動態影像編碼控制方法、動態影像編碼裝置及動態影像編碼程式 Download PDF

Info

Publication number
TWI507016B
TWI507016B TW100115900A TW100115900A TWI507016B TW I507016 B TWI507016 B TW I507016B TW 100115900 A TW100115900 A TW 100115900A TW 100115900 A TW100115900 A TW 100115900A TW I507016 B TWI507016 B TW I507016B
Authority
TW
Taiwan
Prior art keywords
encoding
image
parameter
coding
statistic
Prior art date
Application number
TW100115900A
Other languages
English (en)
Other versions
TW201215150A (en
Inventor
Masaki Kitahara
Atsushi Shimizu
Naoki Ono
Original Assignee
Nippon Telegraph & Telephone
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph & Telephone filed Critical Nippon Telegraph & Telephone
Publication of TW201215150A publication Critical patent/TW201215150A/zh
Application granted granted Critical
Publication of TWI507016B publication Critical patent/TWI507016B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

動態影像編碼控制方法、動態影像編碼裝置及動態影像編碼程式
本發明係關於一種為使虛擬解碼器(decoder)之編碼圖像緩衝器(CPB：Coded Picture Buffer)等的虛擬緩衝器不會產生失敗，且不會使畫質的劣化變得太嚴重而將影像訊號加以編碼的動態影像編碼技術。
本申請案係對於在2010年5月12日對日本提出申請的：日本特願2010-109874號、日本特願2010-109875號、日本特願2010-109876號、日本特願2010-109877號及日本特願2010-109878號主張優先權，並在此援用該等申請案的內容。
在影像訊號的編碼中，為使解碼器不會產生失敗而有進行編碼的必要。在H.264編碼方式中，係規定有將解碼器予以模型化的虛擬解碼器HRD(Hypothetical Reference Decoder)。H.264的編碼器係有使虛擬解碼器不會產生失敗而加以編碼的必要。本發明係一種用以減輕虛擬解碼器的CPB之失敗，具體而言係一種既抑制CPB的欠位(underflow)又減輕畫質的劣化之技術。
於第1圖顯示CPB欠位的概念圖。固定位元率(bit rate)的情形，以該位元率對CPB輸入有編碼訊息流(stream)(第1圖之元件符號RS1)。將於各時刻之CPB內的編碼訊息流的資料量稱做「剩餘編碼量」。虛擬解碼器係將對應於各圖像的編碼訊息流從CPB加以抽出。在此時，係在瞬間減少了CPB剩餘編碼量達到對應於該圖像的編碼份量。於第1圖中，係顯示固定位元率的情形之例子，然可變位元率的情形亦為相同。
如第1圖所示，所謂的CPB欠位係指在虛擬解碼器欲將圖像的編碼訊息流從CPB抽出時，在CPB內該圖像的編碼訊息流為不足的狀況。在依據H.264的編碼中，係有一邊進行編碼一邊驗證CPB的狀態，並製作不使產生CPB欠位的訊息流的必要。如前文所述，虛擬解碼器的CPB係在H.264中被規格化，而進一步的詳細內容係記載於例如下述的非專利文獻1。
此外，在其他的編碼標準中亦規定有與CPB相同的概念。例如於MPEG(Moving Picture Experts Group)-2中，係有VBV(Video Buffering Verifier)，並在此係將這樣的解碼器的緩衝模型統稱為「虛擬緩衝器」。以下的說明之「CPB」係以「虛擬緩衝器」的用語來代替，而可廣義地進行解釋。
於影像訊號的編碼方法中，有所謂一階段(one pass)編碼及多階段編碼(multi pass)等技術。於一階段編碼中，通常而言係將輸入影像的畫像加以逐次性地進行編碼。另一方面在多階段編碼中係將輸入影像加以複數次編碼。在兩階段編碼中，係利用經一次編碼的結果來進行第二次的編碼。以下，把一階段編碼的習知技術當作「習知技術a」、兩階段編碼的習知技術當作「習知技術b」來說明。
＜習知技術a＞
於一階段編碼中，係將所輸入的的圖像逐次性地加以編碼，故從編碼對象圖像不會知道未來的圖像的性質。因此，由在過去所編碼的圖像的產生編碼量等來推定未來的圖像的複雜度，並抑制CPB欠位。例如於專利文獻1的技術中，係在各圖像的編碼之前，將在過去經編碼的結果所獲得的影像的複雜度，作為GOP(Group Of Picture；圖片群)的剩下的影像的複雜度之推定值。以此複雜度之推定值為前提，從CPB的剩餘編碼量推定能利用在GOP的剩下的影像的編碼的產生最大的編碼量的量化參數，並將此參數當作編碼對象圖像的量化參數之下限值來利用，藉此來抑制CPB欠位。因此，在如從單純的場景(scene)轉移到複雜的場景時，在進行單純的場景編碼時亦把未來視為相同而使產生編碼量，且在複雜的場景中，為了保持畫質而於CPB設有必需的剩餘編碼量，而變成利用大量的量化參數加以編碼。結果，有畫質大幅度地劣化的問題存在。
＜習知技術b＞
於兩階段編碼中，係將輸入影像的全部圖像加以編碼，並將在該編碼時所產生的各圖像的編碼量在第二次的編碼中加以利用。於此方法中係不同於一階段編碼的情形，由於在第二次的編碼時知道影像的各部分的複雜度，故能期待既能減少畫質的劣化又能抑制CPB欠位。例如於專利文獻2的技術中，在第一次的編碼中求取各圖框(frame)的複雜度，並求取各圖框的分配編碼量。接著，以此分配編碼量驗證是否會產生CPB欠位，並在會產生CPB欠位的情形修正分配編碼量。如此，由於知道各圖框的複雜度，故既可期待抑制CPB欠位而能確保畫質。然而，此方法係將輸入影像的全部圖框加以兩次編碼，故有需要較多的運算量的問題存在。
(先前技術文獻)
(專利文獻)
專利文獻1：日本特開2006-295535號公報
專利文獻2：日本特開2003-018603號公報
(非專利文獻)
角野、菊池、鈴木「改定三版H.264/AVC教科書」，impressR/D發行，2009，pp.189-191。
在前文所述的習知技術a中，係僅利用已經編碼完成的資訊進行編碼控制，故有無法避免因為抑制CPB欠位導致的大幅度的畫質劣化的問題存在。就對於畫質劣化的單純的避免方法而言，係亦考慮設定量化參數的上限臨限值。然而，於此對應方法中，會引發CPB欠位。
另一方面，依據習知技術b，雖然既能抑制畫質劣化又能抑制CPB欠位，但是有運算量較多的問題存在。
本發明之目的係謀求解決上述課題，以較習知的兩階段編碼(習知技術b)為少的運算量，在抑制CPB欠位中，還能減輕於習知的一階段編碼(習知技術a)所產生的較大的畫質劣化。
於說明本發明前，先定義「編碼順序圖像群」及「量化統計量」。編碼順序圖像群係以預定數量的圖像所構成，並以編碼順序來連續的圖像的集合。典型的編碼順序圖像群的例子係為GOP(Group Of Picture)。
於第2A圖至第2C圖顯示編碼順序圖像群的概念圖。於第2A圖至第2C圖中，I係表示成為畫面內預測編碼對象的圖像(I圖像)，P係表示成為順方向預測編碼對象的圖像(P圖像)，而B係表示成為雙方向預測編碼對象的圖像(B圖像)。
圖像的表示順序係例如如第2A圖所示，設成為I→B→P→B→P→B.....的順序。當將在本發明所稱的編碼順序圖像群設為GOP時，如第2B圖所示，編碼順序圖像群係成為I→P→B→P→...→B→P(I之正前)的圖像群。例如將編碼順序圖像群設為13張圖像構成時，則以如第2C圖所示之編碼順序連續的13張圖，即成為在本發明所謂的編碼順序圖像群。
如上文所述，將輸入影像的圖像列以連續之編碼順序，分割為由預定的張數所構成的圖像群的圖像的集合稱做編碼順序圖像群。此外，於此「圖像」係指在影像為漸進式(progressive)形式的情形時的圖框，而在交錯(interlace)形式的情形時，係為一個圖場(field)或者上圖場(top field)及下圖場(bottom field)結合為一個的圖框。
另外，量化統計量係為從利用在圖像的各巨集區塊(macro block)的編碼的量化參數、或量化步驟所求得的統計量。例如為圖像的巨集區塊之量化參數或者量化步驟的平均、中間值。
於本發明的第一觀點中，係將編碼順序圖像群當作單位，進入輸入影像的編碼。然而，於每次對輸入圖像加以編碼，而確認該圖像的量化統計量是否有超過預定之臨限值，且在量化統計量超過預定的臨限值的情形，係將編碼參數以產生編碼量變少的方式予以變更，並將編碼中的編碼順序圖像群加以再度編碼。從編碼結果的輸出緩衝器的輸出契機係設為編碼順序圖像群的編碼結束時。
就變更的編碼參數而言，係為例如量化參數或預濾器(prefilter)強度，而變更這些的一者以上。例如在量化參數的情形時，係將量化參數的步階大小(step size)加大，以產生編碼量較少的方式設編碼參數。另外，將對於輸入影像的預濾器的濾波強度加以變更的情形，透過將漸變(gradation)程度變更得更大，而能減少產生編碼量。
編碼順序圖像群的再編碼結束時，將編碼參數回到通常的編碼時的編碼參數值。藉此抑制因為以產生編碼量變得較少的方式變更編碼參數所致的畫質的劣化波及到到下個編碼順序圖像群。在此，所謂的通常的編碼時的編碼參數，係意味不是在編碼的狀態時所決定的編碼參數。
另外，在編碼順序圖像群的再編碼結束時，並非一定要將編碼參數回到通常的編碼時之值，而亦可設為檢查CPB的剩餘編碼量，並只在剩餘編碼量為預定的臨限值以上時讓編碼參數回到通常的編碼時之值，而在剩餘編碼量少時不讓編碼參數回到通常的編碼時之值。若這麼做，則可縮小再編碼連續產生的可能性。
再者於本發明的第一觀點中，基本而言係將編碼參數回到通常的編碼時的編碼參數值，然亦可設成為在編碼順序圖像群的再編碼時，亦按各圖像的編碼檢查該圖像的量化統計量是否超過預定的臨限值，在量化統計量超過預定的臨限值時，從現在編碼中的編碼順序圖像群之開頭的圖像起將編碼參數加以變更而再編碼。亦即，只要是量化統計量超過預定的臨限值的所謂的再編碼條件成立，則對同樣編碼順序圖像群反覆進行複數次編碼。
此時，將一個編碼順序圖像群的再編碼次數以所謂的再試計數(retry count)來管理，若產生再編碼就增加再試計數之值，而在編碼順序圖像群的編碼結束時就減少再試計數之值。前述編碼參數之值係按照再試計數的大小來設定，且使用當再試計數越大產生編碼量變得較少的值。在編碼參數為量化參數的情形時，係試計數越大則越加大步階大小，而在編碼參數為預濾器的濾波強度時，係再試計數越大則使漸變程度越大。
通常來說，在成為編碼對象的影像係有複雜的部分與單純的部分。一般而言越是影像複雜的部分，因為編碼參數的變更所致的產生編碼量的變動就越大。另外，畫質的變動量也較大。若對於一個編碼順序圖像群的再編碼係僅訂定為一次的情形，在量化統計量超過預定的臨限值的所謂再編碼條件成立而進行再編碼時，為使再編碼條件不會再度成立，有必要設成為將再編碼時的編碼參數從再編碼前的編碼參數大幅地加以變更者。此情形時，在影像之比較複雜的部分成為再編碼的對象時，有產生大幅度的畫質劣化的疑慮。
因此，如前文所述只要再編碼條件成立，則設成將編碼順序圖像群加以反覆編碼，並管理再試計數，以按照再試計數的大小設定編碼參數。藉此，將編碼參數的變化量加以縮小，並以適當的編碼參數來編碼。結果，能將畫質劣化進一步的縮小。
或者與上述相同地，將一個編碼順序圖像群的再編碼次數以所謂的再試計數來管理，若產生再編碼則增加再試計數之值，而在編碼順序圖像群的編碼結束時減少再試計數之值。
然而，不是在編碼順序圖像群的編碼結束時無條件地減少再試計數之值，而是亦可設為在編碼順序圖像群的編碼結束的時間點，僅在CPB剩餘編碼量在預定的臨限值以上的情形減少再試計數的方式。
亦即，於再編碼時增加再試計數並經編碼之後，在編碼順序圖像群的編碼結束的時間點，基本上係藉由減少再試計數，來減少對接下來的的編碼順序圖像群的畫質劣化的影響。然而，若是CPB剩餘編碼量未及預定量，則設為不減少再試計數的方式。藉此即使在接下來的的編碼順序圖像群的編碼中產生再編碼的可能性亦會減小。
於本發明的第二觀點中，編碼順序圖像群係由將畫面內預測編碼圖像(I圖像)當作開頭的預定數量之圖像所構成，並為以編碼順序連續的圖像的集合。
於本發明的第二觀點中，編碼順序圖像群係亦可不一定為GOP，編碼順序圖像群的開頭圖像係設為畫面內預測編碼圖像(I圖像)。第2D圖係顯示將編碼順序圖像群設為2組GOP份的20圖像構成的情形之例子。
於本發明的第二觀點中，係將編碼順序圖像群當作單位，以進行輸入影像的編碼。然而，於按各編碼輸入圖像，檢查該圖像的量化統計量是否超過預定的臨限值，並在量化統計量超過預定的臨限值時，將編碼參數以產生編碼量較少的方式進行變更，並從當作再試點(retry point)(後文敘述)所設定的編碼順序圖像群的位置再編碼。來自編碼結果的輸出緩衝器的輸出契機，係設為編碼順序圖像群的編碼結束，並確認不再進行編碼時。
就變更的編碼參數而言，係為例如量化參數或預濾器，且為變更這些的一者以上。例如在量化參數的情形時，係設為將量化參數的步階大小變得更大，而將編碼參數設為產生編碼量較少的方式。另外，將對於輸入影像的預濾器的濾波強度加以變更的情形，會將漸變程度變更得更大，藉此能減少產生編碼量。
編碼順序圖像群的再編碼結束時，將編碼參數回到通常的編碼時的編碼參數值。藉此，抑制以產生編碼量變得較少的方式變更編碼參數所致的畫質的劣化，波及到到下個編碼順序圖像群位置。在此，所謂的通常的編碼時的編碼參數，係意味著不是再編碼的狀態時所決定的編碼參數。
另外，在編碼順序圖像群的再編碼結束時，並不一定要將編碼參數回到通常的編碼時之值，而亦可設為檢查CPB的剩餘編碼量，並只在剩餘編碼量為預定的臨限值以上時讓編碼參數回到通常的編碼時之值，而在剩餘編碼量少時不讓編碼參數回到通常的編碼時之值。若這麼做，可使再編碼連續產生的可能性變小。
藉由以上的處理，例如即使編碼處理從影像之單純的場景轉移到複雜的場景，且CPB剩餘編碼量不足而使畫質惡化，也會回到當作再試點所設定的編碼順序圖像群的位置，以CPB剩餘編碼量更加增加的方式進行再編碼，藉此能減輕在複雜的場景造成的畫質劣化。
前文所述之所謂再試點，係為在某張圖像因為量化統計量超過預定的臨限值而產生再編碼的必要的情形時，顯示從哪張圖像開始再編碼的位置資訊。
再試點基本上來說係為現在正在編碼的編碼順序圖像群的開頭圖像，然亦有在前一個已編碼的編碼順序圖像群的開頭圖像的情形。更新再試點的契機係如下文所述。
(1)在編碼順序圖像群的編碼結束的時間點，CPB剩餘編碼量在預定的臨限值以上的情形，將再試點設定為下個編碼順序圖像群的開頭圖像(I圖像)。
(2)在編碼順序圖像群的編碼結束的時間點，CPB剩餘編碼量較預定的臨限值為小的情形，再試點係直接進入到下個編碼順序圖像群的開頭圖像的編碼。在該編碼順序圖像群的開頭圖像的編碼量化統計量未超過預定的臨限值時，將再試點設定為現在所編碼的編碼順序圖像群的開頭圖像。
說明關於以如以上的方式設定再試點的理由。若將再試點一直設定為現在正在編碼的編碼順序圖像群的開頭，則處理構成會變為較本發明更簡明。以下將此技術稱為「關聯技術」。關聯技術的情形亦只是在量化統計量超過預定的臨限值時，才僅將包含產生這種情形的圖像之編碼順序圖像群加以再編碼，藉此能減輕畫質劣化。本發明之第二觀點係能較此關聯技術更進一步有效地減輕解碼影像的畫質劣化。
如同眾所周知，I圖像與其他的圖像類型產生編碼量較多。因此，在某個編碼順序圖像群的編碼結束了的時間點的CPB剩餘編碼量較少的情形時，如在從以往以來所進行的比率控制中，為了抑制產生編碼量，會變成為將利用於接下來的I圖像編碼的量化參數之值增大的形態。這樣的情形時，在上述關聯技術中，雖然因為該I圖像的量化參數變大的影響而產生再編碼，然由於是從現在編碼中的編碼順序圖像群的開頭圖像開始再編碼，故編碼係有必要避免僅藉由該I圖像其本身來使再編碼條件成立。此時，該I圖像其本身的畫質會有大幅度劣化的問題。再者，I圖像係在接下來的的P圖像、B圖像的編碼中被參照，故這些P圖像、B圖像的編碼效率也會惡化。
因此，於本發明的第二觀點中，CPB剩餘編碼量較少的情形時，在接下來的的編碼順序圖像群的開頭I圖像再編碼條件成立時，係藉由所設定的再試點回到其一組之前的編碼順序圖像群，並從其開頭開始再編碼。因此，能避免在編碼順序圖像群的開頭圖像產生大的畫質劣化，並可減輕畫質劣化。
於本發明的第三觀點中，基本上設為為了抑制CPB欠位，不是像習知的兩階段編碼的方式將輸入影像的圖框加以總是設為兩次編碼，而是原則上設為一階段編碼，並在某張圖像的編碼中，只在所謂的量化統計量超過預定的臨限值的再編碼條件成立了的情形，才回溯達複數張圖像並再編碼。
於本發明的第三觀點中，在編碼順序圖像群的圖像編碼中量化統計量超過預定的臨限值時，回溯到編碼順序圖像群內的某圖像而進行再編碼。回溯到哪張圖像進行再編碼，係由能利用的記憶體量而預先決定。於此，將於再編碼時能回溯的最大的圖像數量定義為「最大圖像間距離」並說明。
本發明的第三觀點之處理概要係如下文所述。在最開始，依據從外部所給予的能利用的記憶體量的資訊，求出於再編碼時能回溯的最大的圖像數量，並設為最大圖像間距離，並將此值加以記憶。
這是因為以下的理由。為了進行再編碼，有在輸入緩衝器事先保存編碼對象的圖像的影像訊號的必要，另外，於輸出緩衝器係有確定不進行再編碼而至來自輸出緩衝器的編碼結果的輸出結束為止，將編碼結果的編碼訊息流予以保持的必要。若，在充分地存在能使用的記憶體量的情形時，分別於輸入緩衝器及輸出緩衝器事先保持編碼順序圖像群的圖像數量份的記憶體容量，藉以能將再編碼條件成立時的再編碼，以編碼順序圖像群為單位，從編碼順序圖像群的開頭進行。
然而，由於並不一定能使用達必要的記憶體，故在事前從能使用的記憶體量，事先計算出屬於在再編碼時能回溯的最大的圖像數之最大圖像間距離。
於本發明的第三觀點中，係將編碼順序圖像群當作單位，進入輸入影像的編碼。然而，按各輸入圖像加以編碼，檢查該圖像的量化統計量是否超過預定的臨限值，在量化統計量超過預定的臨限值時，係將編碼參數以產生編碼量變得較少的方式加以變更，並將編碼中的編碼順序圖像群加以再編碼。然而，關於編碼中的編碼順序圖像群的回溯到哪張圖像以進行再編碼，係設為滿足下列的三個條件的圖像。
‧條件1：該圖像包含於編碼中的編碼順序圖像群。
‧條件2：該圖像係將量化統計量超過預定的臨限值的圖像作為基準，包含於最大圖像間距離。
‧條件3：在滿足條件1、2的圖像中，為量化統計量離超過預定的臨限值的圖像為最遠的圖像。
將開始該再編碼的圖像稱做再試點。再試點係例如位於最大圖像間距離的開頭的圖像在前一個編碼順序圖像群內，則為現在編碼中的編碼順序圖像群的開頭圖像，若非如此則成為位於最大圖像間距離的開頭的圖像，亦即距離達最大圖像間距離的時間上最早被編碼的圖像。
就再編碼時變更的編碼參數而言，係例如為量化參數及預濾器強度，並將該等的一者以上加以變更。例如，在量化參數的情形，係設為使量化參數的步階大小更大，以讓編碼參數的產生編碼量變得較少的方式。另外，對於輸入影像變更預濾器的濾波強度的情形，藉由讓漸變程度變更得大，可讓產生編碼量變得較少。
藉由再編碼，現在編碼中的編碼順序圖像群的編碼已結束的情形，藉由讓編碼參數回到通常的編碼時的編碼參數值，抑止畫質的劣化波及到接下來的編碼順序圖像群。於此，通常的編碼時的編碼參數，係意味非再編碼的狀態時所決定的編碼參數。
另外，在編碼順序圖像群的再編碼結束了之時，並非一定讓編碼參數回到通常的編碼時之值，而亦可設為調查CPB的剩餘編碼量，並僅在剩餘編碼量在預定的臨限值以上時讓編碼參數回到通常的編碼時之值，在剩餘編碼量少時，使編碼參數不回到通常的編碼時之值。若這麼做，可縮小再編碼連續產生的可能性。
依據本發明，即使編碼處理從影像單純的場景轉移到複雜的場景，CPB剩餘編碼量不足而畫質惡化，也會回到編碼順序圖像群的開頭，以進一步增加CPB剩餘編碼量的方式進行再編碼，故相較於一階段編碼的習知技術a能減輕在複雜場景的畫質劣化。另外，本發明係藉由只在必要的時刻部分性地進行再編碼藉以減輕畫質劣化者，故相較於將輸入影像的全部圖框加以兩次編碼的兩階段編碼的習知技術b其運算量較少。
尤其是，本發明係透過管理再試計數，藉以將再編碼時之編碼參數的變化量壓抑的較小，而能減少因為再編碼導致的畫質的劣化。
另外，在再編碼後的CPB剩餘編碼量較少的情形，係將編碼參數保持為與再編碼時相同，故可抑制再度的再編碼的產生。
另外，依據本發明，即使編碼處理從影像單純的場景轉移到複雜的場景，CPB剩餘編碼量不足而畫質惡化，也會回到設定當作再試點的編碼順序圖像群的開頭，以CPB剩餘編碼量增加的方式進行再編碼，故相較於一階段編碼的習知技術a能減輕在複雜場景的畫質劣化。另外，本發明係藉由只在必要的時刻部分性地進行再編碼藉以減輕畫質劣化者，故相較於將輸入影像的全部圖框加以兩次編碼的兩階段編碼的習知技術b其運算量較少。
尤其是本發明係即使在編碼順序圖像群的編碼結束而CPB剩餘編碼量較少的情形，也可防止編碼順序圖像群的開頭的I圖像的畫質大幅劣化的情形。
另外，依據本發明，即使編碼處理從影像單純的的場景轉移到複雜的場景，CPB剩餘編碼量不足而畫質惡化，也會回到編碼順序圖像群中當作再試點設定的圖像，故相較於一階段編碼的習知技術a能減輕在複雜場景的畫質劣化。另外，本發明係藉由只在必要的時刻部分性地進行再編碼藉以減輕畫質劣化者，故相較於將輸入影像的全部圖框加以兩次編碼的兩階段編碼的習知技術b其運算量較少。另外，由於從按照於再編碼所需的記憶體量所決定的再試點進行再編碼，故變得能有效活用記憶體。
 (第一實施形態)
以下，使用圖式詳細地說明本發明之第一實施形態。第3圖係為顯示本發明第一實施形態之動態影像編碼控制方法之處理流程圖。
首先，將輸入映像訊號之編碼已結束的圖像的接下來的圖像設定當作編碼對象(步驟S1)。將當作編碼對象所設定的輸入圖像，藉由H.264及其他的預定的編碼方式加以編碼(步驟S2)。判定編碼輸入圖像時的該圖像的量化統計量是否超過預定的臨限值(步驟S3)，在量化統計量超過預定的臨限值時，處理會前進到步驟S7。
若量化統計量未超過預定的臨限值，則判定最終圖像的編碼是否結束(步驟S4)，若編碼到最終圖像為止都結束了則結束編碼處理。
若最終圖像的編碼尚未結束，則判定編碼順序圖像群的編碼是否結束(步驟S5)。若編碼順序圖像群的編碼未結束，則處理會回到步驟S1，並對接下來的圖像以相同的方式繼續編碼處理。編碼順序圖像群的編碼已結束的情形，若編碼參數在編碼順序圖像群的再編碼(再試)已被變更，則讓編碼參數回到通常的編碼時之值(步驟S6)，並使處理回到步驟S1，並從接下來的編碼順序圖像群的開頭的圖像進行編碼處理。
於步驟S3中檢測出量化統計量超過預定的臨限值時，判定現在的編碼順序圖像群是否已進行再編碼(是否已經完成再試)(步驟S7)。再試完成時，不會進一步進行再編碼，而處理會前進至步驟S4並直接繼續編碼處理。
再試未結束的情形，為了進行現在的編碼順序圖像群的再編碼，而將現在的編碼順序圖像群的開頭之圖像設定當作編碼對象(步驟S8)。接著，將兩個編碼參數(量化參數、預濾器強度)中的一個以上加以變更(量化參數時係將步階大小(step size)變更的更大，而濾波器強度時係將漸變程度變更為更大)(步驟S9)，處理會回到步驟S2，並將編碼中的編碼順序圖像群加以再編碼。
亦即，不同於將輸入影像的全部圖框予以兩階段編碼的習知技術b，僅在經編碼的圖像的量化統計量過大時，將編碼順序圖像群(例如GOP)加以兩次編碼。在第二次的編碼時，係使用CPB剩餘編碼量更增加的編碼參數，來僅對現在編碼中的編碼順序圖像群加以再編碼，藉此能在影像從單純的場景轉移到複雜的場景時的畫質的劣化加以減輕，並且相較於將輸入影像的全部圖像加以兩階段編碼的習知技術b能減少運算量。
第4圖係為顯示本實施形態的變形例之動態影像編碼控制方法之處理流程圖。本實施形態係亦能將顯示於第3圖之步驟S6的處理替換成顯示於第4圖之步驟S61至步驟S63的處理並實施。步驟S6以外的處理係與第3圖相同。
第3圖的步驟S5的處理之後，判定編碼參數是否在再試受到變更(步驟S61)。若判定編碼參數未在再試受到變更，則處理會回到第3圖的步驟S1。若編碼參數在再試受到變更，則接著判定CPB剩餘編碼量是否在預定的臨限值以上(步驟S62)。若CPB剩餘編碼量未達預定的臨限值，則將編碼參數設為在再編碼時所使用的狀態，並僅在CPB剩餘編碼量為預定的臨限值以上的情形時讓編碼參數回到原本的預設編碼參數(步驟S63)。在這之後，處理會回到第3圖的步驟S1，並轉移到接下來的編碼順序圖像群的編碼。
在顯示於第4圖的變形例中，如上文所述僅在編碼順序圖像群的編碼結束了的時間點下當CPB剩餘編碼量超過預定量的情形時，讓編碼參數回到通常的編碼時之值。這是根據下面的理由。即使編碼順序圖像群的編碼結束了，CPB剩餘編碼量較少的情形，若將編碼參數回到通常的編碼時之值，則產生編碼量會變得更多，故在接下來的編碼順序圖像群的編碼中，經編碼的圖像量化統計量超過預定的臨限值的可能性會再度提高。於第4圖的處理中，由於在CPB剩餘編碼量較少的情形時不會變更編碼參數，故相較於第3圖的處理，接下來的的編碼順序圖像群的編碼之再編碼的產生會受到抑制，而運算量會進一步地受到減少。
如上文所述在本實施形態中，係於再編碼時變更編碼參數。於此，係設為在編碼時對輸入影像運用預濾器，而就變更的編碼參數而言，設為量化參數與預濾器強度。將該兩種的編碼參數兩者都加以變更亦可，或僅將任一者加以變更亦可。
關於量化參數，係對通常的編碼時的量化參數值加上預定的補償(offset)值，而以更大的量化參數進行再編碼。
關於預濾器，於本實施形態中係設為利用高斯濾波器(Gaussian filter)者。高斯濾波器係能藉由以下式所示的高斯分佈取樣x,y來製作。
g(x，y)={1/(2πσ2 )}×exp{-(x2 +y2 )/(2σ2 )}
如從上述的式子可知，σ的值越大，則漸變程度也會變得更大。由於漸變程度越大，則高頻的成份會減少，故編碼時的產生編碼量會減少。高斯濾波器的詳細內容係記載於例如以下的非專利文獻2中。
[非專利文獻2]：奧富、小澤、清水、堀：「數位影像處理」，財團法人影像資訊教育振興協會，2006，pp. 108-110。
在σ=0時，係設為不乘上高斯濾波器者，例如預設編碼參數係設為σ0 =0，而再編碼用編碼參數係設為σ1 ＞0。此外，於本實施形態中係不論低通濾波器(low pass filter)的種類。另外，再編碼時的漸變程度的強化方法亦可事先任意地決定。例如預設編碼參數的σ0 係亦可以按照各圖像的複雜度來變更，σ1 係對σ0 加上預定的補償者的方式構成。
另外，就量化統計量而言，於本實施例中係設為利用圖像的各巨集區塊的量化參數之平均值者。
編碼係設為按照H.264的規格進行編碼者。另外，於本實施形態中，編碼順序圖像群係設為GOP，並將編碼時的GOP的概念圖顯示於第5圖。一個GOP係由10張圖像所構成，並在顯示順序設成讓I圖像在開頭B圖像與P圖像交互地排列者。
將本實施形態之裝置構成係顯示於第6圖。輸入緩衝器10係儲存所輸入的影像訊號，並且對編碼部20輸出編碼對象的影像訊號。再者，輸入緩衝器10係因為圖像的量化統計量超過預定的臨限值而從後文所述的量化統計量計算部40接受了顯示進行再編碼的資訊(再試資訊)的情形時，係從編碼中的GOP的開頭之圖像將影像訊號再度輸出到編碼部20。另外，未接受再試資訊而GOP的編碼結束的情形時，輸入緩衝器10係捨棄所儲存的該GOP的影像訊號。
編碼部20係將從輸入緩衝器10所輸入的影像訊號加以編碼，並將編碼訊息流輸出到輸出緩衝器30。另外，編碼部20係將所輸入的影像訊號加以編碼時的各巨集區塊的量化參數(量化參數資訊)輸出到量化統計量計算部40。再者，由於編碼部20在接受了來自量化統計量計算部40的再試資訊的情形時，從輸入緩衝器10再度輸入有來自編碼中的GOP的開頭圖像之影像訊號，並且從參數調整部50輸入有再編碼用編碼參數，故係利用所輸入的再編碼用編碼參數以進行再編碼。
輸出緩衝器30係在儲存有全部GOP的編碼訊息流的階段，將該GOP的編碼訊息流加以輸出，另一方面，從量化統計量計算部40接受再試資訊的情形，捨棄對於編碼中的GOP所儲存的編碼訊息流。
量化統計量計算部40係利用從編碼部20所輸入的量化參數資訊，求出以圖像單位變化的量化統計量。接著，量化統計量超過預定的臨限值時，量化統計量計算部40係將再試資訊輸出到輸入緩衝器10、編碼部20、參數調整部50及輸出緩衝器30，並通知量化統計量超過預定的臨限值。
參數調整部50係在從量化統計量計算部40接受再試資訊的情形時，如前文所述將再編碼用編碼參數輸入到編碼部20。藉此，編碼部20係變為於再編碼時對相同GOP使用產生編碼量會變小的編碼參數來進行編碼。
沿著第3圖的流程圖來說明關於本實施形態之編碼處理的流程。在以下的說明中，係以如S1、S2、…的方式，在文章中記載與第3圖的流程圖對應。
關於進行某GOP的編碼處理，係如下文所述的分成三個事例的情況來說明。
「情況1」：在GOP的編碼中，量化統計量未超過預定的臨限值。
「情況2」：在GOP的編碼中，量化統計量超過預定的臨限值，然以再編碼得以避免了量化統計量超過臨限值。
「情況3」：在GOP的編碼中，量化統計量超過預定的臨限值，即使再編碼也無法避免量化統計量超過臨限值。
「情況1的處理例」
首先，說明關於在GOP的編碼中量化統計量未超過預定的臨限值的情形之情況1。當GOP的圖像輸入到輸入緩衝器10時，輸入緩衝器10係將該圖像加以儲存，並且將該圖像當作編碼對象圖像輸入到編碼部20(S1)。接著，編碼部20係將該圖像加以編碼，並將編碼訊息流輸出到輸出緩衝器30(輸出緩衝器30係不將該編碼訊息流加以輸出而是儲存)，並且將關於該圖像的量化參數資訊輸出到量化統計量計算部40(S2)。
於此，於編碼中係利用有預設編碼參數，以對應預設編碼參數的預濾器強度對編碼對象圖像運用利用預濾器21所執行的濾波處理，在本圖像所產生的DCT(Discrete Cosine Transform；離散餘弦變換)係數係以按照預設編碼參數的量化參數，藉由量化部22被量化。
量化統計量計算部40係根據從編碼部20所輸入的量化參數資訊計算關於該圖像的量化統計量。由於在此例中量化統計量未超過預定的臨限值，故量化統計量計算部40不會進行再試資訊的輸出(S3)。若編碼對象圖像為輸入映像訊號中的最終圖像，則輸出緩衝器30係輸出所儲存的編碼訊息流，並結束編碼處理(S4)。或者，若編碼對象圖像為GOP的最終圖像，則輸出緩衝器30將所儲存的編碼訊息流加以輸出，並且輸入緩衝器10係捨棄所儲存的圖像，並轉移到接下來的GOP的最初的圖像之編碼處理(S5)。於此，由於在該GOP中係不會產生再編碼，故在不對編碼參數添加變更的情況下，轉移到接下來的GOP的最初的圖像的編碼處理(S6)。
「情況2的處理例」
接著，說明關於在GOP的編碼中，量化統計量超過預定的臨限值，然以再編碼得以避免了量化統計量超過臨限值的情形之情況2。當GOP的圖像輸入到輸入緩衝器10時，輸入緩衝器10將該圖像加以儲存，並且對編碼部20將該圖像當作編碼對象圖像輸入(S1)。接著，編碼部20係將該圖像加以編碼，並對輸出緩衝器30輸出編碼訊息流(輸出緩衝器30係不將該編碼訊息流加以輸出而是儲存)，並且將關於該圖像的量化參數資訊輸出到量化統計量計算部40(S2)。於此，於編碼中係利用有預設編碼參數。
量化統計量計算部40係根據從編碼部20所輸入的量化參數資訊計算關於該圖像的量化統計量。結果，量化統計量計算部40檢測到關於該圖像的量化統計量超過預定的臨限值時，量化統計量計算部40係將再試資訊輸出到編碼部20、參數調整部50、輸入緩衝器10、輸出緩衝器30(S3)。
對於編碼中的GOP尚未產生再試的情形(S7)，輸入緩衝器10係將儲存的編碼中的GOP的開頭圖像輸出到編碼部20(S8)，並且參數調整部50係將再編碼用編碼參數輸出到編碼部20(S9)。再者，輸出緩衝器30係捨棄編碼中的GOP的編碼訊息流。接著，編碼部20係利用再編碼用編碼參數以將所輸入的GOP的開頭圖像加以編碼。
於此，於編碼中係利用有再編碼用編碼參數，並以對應於再編碼用編碼參數的預濾器強度(較預設編碼參數漸變程度更大)對編碼對象圖像運用由預濾器21所進行的預濾處理。另外，在本圖像所產生的DCT係數，係以按照再編碼用編碼參數的量化參數(較預設編碼參數量化步階大小更大)，藉由量化部22被量化。
之後，依序從輸入緩衝器10將該GOP的圖像輸入到編碼部20，以藉由編碼部20進行編碼處理。接著，GOP的最終圖像的編碼結束的情形(S5)，從輸出緩衝器30輸出有該GOP的編碼訊息流，並且編碼部20係將編碼參數設定為預設編碼參數(S6)，並進入到接下來的GOP的編碼處理。此外，輸入影像的最終圖像的編碼結束的情形的動作，係與前述的情況1的情形相同。
將進行再編碼時的編碼參數的變更之概念圖顯示於第7圖。於第7圖的例子中，由於第二組GOP2的第六張圖像的編碼中量化統計量超過了預定的臨限值，故設定用以抑制產生編碼量的再編碼用編碼參數，以從GOP的開頭之I圖像開始再編碼。之後，因再編碼之故量化統計量未超過預定的臨限值，故於接下來的GOP3的編碼中，係將再編碼用編碼參數回到預設編碼參數，並繼續編碼處理。
將進行再編碼時的CPB剩餘編碼量的變遷之概念圖顯示於第8圖。以粗線顯示的部分為再編碼後的CPB剩餘編碼量。於再編碼中係以預濾器增強模糊的程度，由於量化參數亦設為較預設編碼參數為大，故產生編碼量會受到壓抑，CPB剩餘編碼量的變遷會成為如例如第8圖所示。結果，產生再編碼的圖像中之CPB剩餘編碼量會於再編碼時增加，而可避免在該圖像能產生大幅度的畫質劣化。
再者，於第9圖顯示進行再編碼後時的量化統計量的變遷之概念圖。如第9圖所示，由於於再編碼時變更編碼參數，故開始再編碼的圖像的量化統計量雖變得較大，然因為其影響如第8圖所示在CPB剩餘編碼量出現余裕，故在產生再編碼的圖像中，量化統計量會變得較再編碼前為小。
「情況3的處理例」
最後，說明關於在GOP的編碼中量化統計量超過預定的臨限值，即使再編碼也無法避免量化統計量超過臨限值時的情況3。
於第10圖顯示進行有再編碼，而即使再編碼也無法避免量化統計量超過臨限值時的量化統計量的變遷之概念圖。情況3係例如如第10圖所示，於開始再編碼的GOP的開頭中，量化統計量已經可能產生較大的情形。此時，藉由量化統計量計算部40檢測到量化統計量超過預定的臨限值，且進行GOP的再編碼的動作係與情況2相同。於該GOP的再編碼中量化統計量超過預定的臨限值時(S3、S7)，不進行進一步的再編碼，而是直接繼續編碼處理(處理會轉移至S4)。於第10圖中，參照符號RS10係顯示即使再編碼也無法避免量化統計量超過臨限值的狀況。
此外，於再編碼時量化參數變得較通常的編碼時為大，因此於再編碼時，亦可能發生以編碼順序且以過去的編碼使量化統計量較成為再編碼的契機的圖像超過臨限值的情形。為了減低產生這種情況的可能性，再編碼時的量化參數變得較量化統計量的臨限值為大的情形時，亦可將再編碼時的量化參數修正為與量化統計量的臨限值相等的值。然而，為了不使再編碼時的量化參數變得較通常的編碼時為小，於通常的編碼時的量化參數在量化統計量以上的情形時，將再編碼時的量化參數之值設成與通常的編碼時之值相等。
(第二實施形態)
以下，使用圖式詳細地說明本發明之第二實施形態。第11圖係顯示本實施形態之動態影響編碼控制方法之處理流程圖。
首先，將輸入影像的編碼已結束的圖像之下一張圖像設定當作編碼對象(步驟S101)。將當作編碼對象設定的輸入圖像，藉由H.264或其他的預定的編碼方式加以編碼(步驟S102)。判定編碼輸入圖像時的該圖像之量化統計量是否超過預定的臨限值(步驟S103)，而在量化統計量超過預定的臨限值時，處理會前進到S108。
若量化統計量未超過預定的臨限值，則判定最終圖像的編碼是否已經結束(步驟S104)，若編碼到最終圖像為止都結束則結束編碼處理。
若最終圖像的編碼尚未結束，則判定編碼順序圖像群的編碼是否已結束(步驟S105)。編碼順序圖像群的編碼若未結束，則處理會回到步驟S101，關於接下來的圖像同樣地繼續編碼處理。編碼順序圖像群的編碼結束時，若再試計數為1以上，則將再試計數減去1(步驟S106)。此外，再試計數之初始值為0。之後，根據再試計數設定預先按照再試計數所決定的編碼參數(步驟S107)，處理會回到步驟S101，並從接下來的編碼順序圖像群的開頭的圖像進行編碼處理。
於步驟103中檢測出量化統計量超過預定的臨限值時，判定現在的再試計數之值是否成為事先所設定最大值(步驟S108)。再試計數為最大值時，不進一步進行再編碼，而處理會前進到步驟S104而直接繼續編碼處理。
再試計數未到達最大值的情形時，為了現在的編碼順序圖像群的再編碼，而將現在的編碼順序圖像群開頭的圖像設定當作編碼對象(步驟S109)。接著，僅增加再試計數1(步驟S110)。之後，依據再試計數在兩種編碼參數(量化參數、預濾器強度)之中變更一個以上(量化參數時係將步階大小變更得更大，而濾波器強度的情形係將漸變程度變得更大)(步驟S111)，處理會回到步驟S102，並將編碼中的編碼順序圖像群加以再編碼。
本實施形態係與將輸入影像的全部圖框加以兩階段編碼的習知技術b不同，基本來說係設為一次編碼處理，只要是再編碼條件成立的情形，就會階段性地抑制產生編碼量反覆的進行編碼直到讓編碼順序圖像群(例如GOP)的各圖像再編碼條件變為不成立為止。於第二次以後的編碼時係以按照再試計數所決定的用以抑制產生編碼量的編碼參數來進行編碼。因此，相較於將輸入影像的全部圖像加以兩階段編碼的習知技術b可減少運算量，並且能縮小因為再編碼所導致的畫質的劣化。
如上文所述在實施形態中，於再編碼時將編碼參數按照再試計數進行變更。於此，係設為於再編碼時對輸入影像運用預濾器者，就變更的編碼參數而言，係設為量化參數及預濾器強度。可將兩種編碼參數的兩者加以變更，亦可僅變更其中一者。
關於量化參數係對在通常的編碼時所決定的量化參數，加上按照再試計數階段性地變大的預定的補償值，以更大的量化參數進行再編碼。
關於預濾器，於本實施形態中係設為使用高斯濾波器者。高斯濾波器係能藉由將下式所示的高斯分佈對x、y進行取樣而製作。
g(x，y)={1/(2πσ2 )}×exp{-(x2 +y2 )/(2σ2 )}
從上述的式子可知，σ的值越大，則漸變程度也會變得更大。由於漸變程度越大，則高頻的成份會減少，故編碼時的產生編碼量會減少。高斯濾波器的詳細內容係記載於例如上述的非專利文獻2中。
在σ=0時，係設為不加上高斯濾波器者，例如預設編碼參數設為σ0 =0，且再編碼用編碼參數將再試計數之值設為c時，則為σc 。σc 係設為c的值越大則為越大值。0＜σ1 ＜σ2 ＜0。此外，於本實施形態中係不論低通濾波器的種類。另外，例如預設編碼參數的σ0 係亦可以按照各圖像的複雜度來變更，且σc 係對σc-1 加上預定的補償者的方式構成。
另外，就量化統計量而言，於本實施例中係設為利用圖像的各巨集區塊的量化參數之平均值者。
在以下說明的實施形態中，就編碼方式而言，係設為遵從H.264的規格進行編碼者。另外，編碼順序圖像群係設為GOP。編碼時的GOP的概念圖係如顯示於第5圖的內容。一組GOP係由10張圖像所構成，並設為以顯示順序讓I圖像在開頭B圖像與P圖像交互地排列者。
將本實施形態之裝置構成例顯示於第12圖。輸入緩衝器110係儲存所輸入的影像訊號，並且對編碼部120輸出編碼對象的影像訊號。再者，因為圖像的量化統計量超過預定的臨限值，故輸入緩衝器110係從後文所述的量化統計量計算部140接受了用以顯示進行再編碼的資訊(再試資訊)的情形時，係從編碼中的GOP的開頭之圖像將影像訊號再度輸出到編碼部120。另外，未接受再試資訊而GOP編碼結束的情形時，輸入緩衝器110係捨棄所儲存的該GOP的影像訊號。
編碼部120係將從輸入緩衝器110所輸入的影像訊號加以編碼，並將編碼訊息流輸出到輸出緩衝器130。另外，編碼部120係將所輸入的影像訊號加以編碼時的各巨集區塊的量化參數(量化參數資訊)輸出到量化統計量計算部140。再者，由於編碼部120在接受了來自量化統計量計算部140的再試資訊時，從輸入緩衝器110再度輸入有來自編碼中的GOP的開頭圖像的影像訊號，並且從參數調整部160輸入有再編碼用編碼參數，故係利用所輸入的再編碼用編碼參數以進行再編碼。
輸出緩衝器130係在儲存有全部GOP的編碼訊息流的階段，將該GOP的編碼訊息流加以輸出，另一方面，從量化統計量計算部140接受再試資訊的情形，捨棄對於編碼中的GOP所儲存的編碼訊息流。
量化統計量計算部140係利用從編碼部120所輸入的量化參數資訊，求出以圖像單位變化的量化統計量。而且，在量化統計量超過預定的臨限值時，量化統計量計算部140係將再試資訊輸出到輸入緩衝器110、編碼部120、再試計數管理部150及輸出緩衝器130，以通知量化統計量超過預定的臨限值。
再試計數管理部150係在從量化統計量計算部140接受再試資訊的情形時，對現在的再試計數之值加1，並將更新後的再試計數通知到參數調整部160。另外，未從量化統計量計算部140接受再試資訊，而現在編碼中的GOP的編碼結束時，若再試計數之值為1以上，則再試計數管理部150係從再試計數之值減去1，並將更新後的再試計數通知到參數調整部160。GOP的編碼結束時，若再試計數之值為0，則再試計數管理部150係將再試計數=0通知到參數調整部160。
參數調整部160係當從再試計數管理部150接受再試計數時，將按照再試計數所決定的編碼參數輸入到編碼部120。藉此，編碼部120係使用對於同樣的GOP再編碼的反覆次數越多，產生編碼量會變得越少的編碼參數來進行編碼。
如上文所述，於本實施形態中，係導入所謂當再編碼產生時值會增加，而在GOP的編碼結束的時間點值會被減少的再試計數的概念，並以再試計數管理部150管理再試計數。於該再試計數，係設為例如上限值為「3」之預定的上限值，而至到達上限值為止，進行相同GOP的再編碼。再編碼時之量化參數的補償值，預濾器的濾波器強度係按照再試計數之值變化。
於再試計數為0時，係利用預設編碼參數。在再試計數為0以外的情形，例如再試計數的上限值為3的情形，亦可將分別對應再試計數的1、2、3的再編碼用編碼參數當作編碼參數表事先準備好，從此編碼參數表所獲得的編碼參數加以利用於再編碼。
依第11圖之流程圖說明關於本實施形態之編碼處理的流程。在以下的說明中，如S101、S102...等，在文章中記載與第11圖的對應情形。
關於進行某組GOP的編碼，係如下文所述分成三個情況來說明。
「情況1」：在GOP的編碼中，量化統計量未超過預定的臨限值。
「情況2」：在GOP的編碼中，複數次量化統計量超過預定的臨限值，然以再編碼得以避免了量化統計量超過臨限值。
「情況3」：在GOP的編碼中，複數次量化統計量超過預定的臨限值，即使再編碼也無法避免量化統計量超過臨限值。
「情況1的處理例」
首先，說明關於在GOP的編碼中量化統計量未超過預定的臨限值的情形之情況1。當GOP的圖像輸入到輸入緩衝器110時，輸入緩衝器110係將該圖像加以儲存，並且將該圖像當作編碼對象圖像輸入到編碼部120(S101)。接著，編碼部120係將該圖像加以編碼，並將編碼訊息流輸出到輸出緩衝器130(輸出緩衝器130係不將該編碼訊息流加以輸出而是儲存)，並且將關於該圖像的量化參數資訊輸出到量化統計量計算部140(S102)。
於此，例如當將再試計數設為初始值0之時，於編碼中係利用預設編碼參數，以對應預設編碼參數的預濾器強度對編碼對象圖像運用利用預濾器部121所進行的濾波處理。另外，在本圖像所產生的DCT係數，係以按照預設編碼參數的量化參數，藉由量化部122予以量化。在再試計數為1以上的情形，係分別藉由按照再試計數所決定的濾波器強度及量化參數的預濾器、量化處理來進行編碼。
量化統計量計算部140係根據從編碼部120所輸入的量化參數資訊計算關於該圖像的量化統計量。由於於此例中量化統計量未超過預定的臨限值，故量化統計量計算部140不會進行再試資訊的輸出(S103)。若編碼對象圖像為輸入映像訊號中的最終圖像，則輸出緩衝器130係輸出所儲存的編碼訊息流，並結束編碼處理(S104)。或者，若編碼對象圖像為GOP的最終圖像，則輸出緩衝器130將所儲存的編碼訊息流加以輸出，並且輸入緩衝器110係捨棄所儲存的圖像，並轉移到接下來的GOP的最初的圖像之編碼處理(S105至S110)。
如該情況1所述，於各圖像的編碼中量化統計量未超過預定的臨限值而GOP的編碼結束時，除了再試計數為0時，再試計數管理部150會從現在的再試計數減去1之值(S106)。在較現在編碼結束了的GOP為前的GOP進行再編碼時，有再試計數不是0的情形。再試計數管理部150係對參數調整部160通知變更後的再試計數，且參數調整部160係對編碼部120設定對應於所通知的再試計數的編碼參數，並開始接下來的GOP的開頭圖像的編碼。
「情況2的處理例」
接著，說明關於在GOP的編碼中，量化統計量超過預定的臨限值，然以再編碼得以避免了量化統計量超過臨限值的情形之情況2。於此，在開始GOP的編碼的時間點的再試計數係設為1，並說明在相同的GOP進行兩遍再編碼的情形。
當GOP的圖像輸入到輸入緩衝器110時，輸入緩衝器110係將該圖像加以儲存，並且將該圖像當作編碼對象圖像對編碼部120輸入(S101)。接著，編碼部120係將該圖像加以編碼，並對輸出緩衝器130輸出編碼訊息流(輸出緩衝器130係不將該編碼訊息流加以輸出而是儲存)，並且將關於該圖像的量化參數資訊輸出到量化統計量計算部140(S102)。於此，於再編碼中係利用對應於再試計數=1的編碼參數。
量化統計量計算部140係根據從編碼部120所輸入的量化參數資訊計算關於該圖像的量化統計量。結果，量化統計量計算部140檢測到關於該圖像量化統計量超過預定的臨限值時，量化統計量計算部140係將再試資訊輸出到編碼部120、再試計數管理部150、輸入緩衝器110、輸出緩衝器130(S103)。
現在的再試計數為1，由於未達上限值的3(S108)，故輸入緩衝器110係將儲存的編碼中的GOP的開頭圖像輸出到編碼部120(S109)。另一方面，在再試計數管理部150再試計數被增加1，而值成為2的再試計數會輸出到參數調整部160(S110)。
於參數調整部160中係將再試計數為2時的編碼參數從編碼參數表讀取出，並將此編碼參數設定到編碼部120(S111)。輸出緩衝器130係將編碼中的GOP編碼訊息流加以捨棄。
於編碼部120中只要量化統計量未超過預定的臨限值，GOP的圖像就會依序地從輸入緩衝器110輸入並進行編碼。在此編碼時，同樣地在GOP量化統計量再度超過預定的臨限值的情形時，藉由與前文所述的處理相同的處理，再試計數會增加1，而成為3。藉此，編碼參數被變更到對應於再試計數=3者的狀態下，同樣地對GOP再度地從開頭圖像依序進行編碼。
於此GOP的編碼中，量化統計量未更進一步的超過預定的臨限值時，再試計數透過再試計數管理部150被減去1，再試計數會變成2，並進入下一個的GOP的編碼。此時的輸入緩衝器110及輸出緩衝器130的動作係與前文所述的例子相同。
將此情況2的例子之再試計數、編碼參數的推移的概念顯示於第13圖。於第13圖的例子中，在再試計數為1的狀態下，於將第二組GOP加以編碼時，由於在第6張圖像的編碼中量化統計量超過預定的臨限值，故將再試計數設為2，並再度以對應於再試計數=2的編碼參數，從GOP2的開頭之I圖像開始進行再編碼。於此再編碼，在第8張圖像量化統計量超過預定的臨限值，再進一步的以對應於再試計數=3的產生編碼量較少的編碼參數來進行再編碼。由於在再度的再編碼中，量化統計量未超過預定的臨限值，故在GOP2的編碼結束時從再試計數減去1，而再試計數會使用2的編碼參數，處理會轉移到接下來的GOP3之編碼。
進行再編碼時的CPB剩餘編碼量的變遷之概念圖係如第8圖所示。以粗線顯示的部分為再編碼後的CPB剩餘編碼量。於再編碼中係以預濾器加強漸變程度，且量化參數亦較預設編碼參數加大，故產生編碼量會受到抑制，CPB剩餘編碼量的變遷係成為例如如第8圖所示。結果，在產生再編碼的圖像中CPB剩餘編碼量會於再編碼時增加，而可避免在該圖像產生較大的畫質劣化。
再者，進行再編碼時之量化統計量的變遷之概念圖係如第9圖所示。如第9圖所示，由於在再編碼時變更編碼參數，故開始再編碼的圖像量化統計量雖然會變大，但因為其影響如第8圖所示CPB剩餘編碼量會出現餘裕，故在產生再編碼的圖像中，量化統計量會變得較再編碼前為小。
「情況3的處理例」
最後，說明關於同樣於GOP的編碼中複數次量化統計量超過預定的臨限值，即使再編碼也無法避免量化統計量超過臨限值時的情況3。
於再編碼某組GOP中，與情況2圖情形相同地，將再試計數設為達到3。再者，於相同的GOP的編碼中，在藉由量化統計量計算部140檢測到量化統計量超過預定的臨限值時(S103)，在再試計數管理部150檢測到再試計數到達上限值(S108)，則不進行再編碼，而進行編碼處理。
進行再編碼，且即使再編碼也無法避免量化統計量超過臨限值時的量化統計量的變遷之概念圖係如第10圖所示。例如如第10圖所示，情況3係在開始再編碼的GOP的開頭中，可能已經在量化統計量較大的情形中生成。
此外，由於在再編碼時量化參數會變得較通常的編碼時為大，因此於再編碼時，較成為再編碼的契機的圖像，於編碼順序在過去的圖像中亦可能產生量化統計量超過臨限值。為了減低產生這種情況的可能性，對應於再試計數的各值的量化參數之補償值亦可如下文所述來決定。
將對應於再試計數的最大值(於前述之實施形態中為3)的量化參數的補償值(此係預先所決定的預定之值)加在通常的編碼時的量化參數，而在此值超過量化統計量的臨限值時，以該臨限值與值相等的方式修正對應於再試計數的最大值的量化參數的補償值。接著，根據該補償值決定對應於其他的再試計數之值的補償值(例如若為前述之實施形態的情形，將對應於再試計數的最大值的補償值設為A時，將再試計數0、1、2的補償值分別以如0、A/3、2×(A/3)的方式加以等分亦可)。然而，為使再編碼時的量化參數不會變得較通常的編碼時為小，在通常的編碼時的量化參數在量化統計量以上的情形時，係將對應於再試計數的全部之值的補償值設為0。另外，在將對應於再試計數的最大值的預先所決定的量化參數的補償值加在通常的編碼時的量化參數之值未超過量化統計量的臨限值的情形時，係只要根據該補償值決定對應於其他的再試計數之值的補償值即可。
(第三實施形態)
以下，使用圖式詳細地說明本發明之第三實施形態。第14圖係顯示本實施形態之動態影像編碼控制方法之處理流程圖。
首先，將輸入映像訊號之編碼結束了的圖像的接下來的圖像設定當作編碼對象(步驟S201)。將當作編碼對象所設定的輸入圖像，藉由H.264及其他的預定的編碼方式加以編碼(步驟S202)。判定編碼輸入圖像時的該圖像的量化統計量是否超過預定的臨限值(步驟S203)，而在量化統計量超過預定的臨限值時，處理會前進到步驟S208。
若量化統計量未超過預定的臨限值，則判定最終圖像的編碼是否結束(步驟S204)，若編碼到最終圖像為止都結束了則結束編碼處理。
若最終圖像的編碼尚未結束，則判定編碼順序圖像群的編碼是否結束(步驟S205)。若編碼順序圖像群的編碼未結束，則處理回到步驟S201，並對接下來的圖像以相同的方式繼續編碼處理。
編碼順序圖像群的編碼已結束的情形，判定是否滿足以下的條件，並只在滿足條件的情形時，將再試計數減去1(步驟S206)。
‧條件1：再試計數為1以上的情形。
‧條件2：CPB剩餘編碼量為預定的臨限值以上的情形。
在再試計數為0的情形，或者CPB剩餘編碼量較預定的臨限值為少的情形，再試計數係不會被減去而設為保持原狀。
之後，依據再試計數，事先設定按照再試計數所設定的編碼參數(步驟S207)，而處理會回到步驟S201，並從接下來的編碼順序圖像群的開頭之圖像開始進行編碼處理。
在步驟S203中檢測出量化統計量超過預定的臨限值時，判定現在的再試計數之值是否成為了事先設定的最大值(步驟S208)。再試計數為最大值的情形時，不會進行進一步的再編碼，處理會進入到步驟S204並直接繼續編碼處理。
再試計數未到達最大值時，為了進行現在的編碼順序圖像群的再編碼，將現在的編碼順序圖像群的開頭的圖像設定當作編碼對象(步驟S209)。接著，將再試計數僅增加1(步驟S210)。之後，依據再試計數，將兩個編碼參數(量化參數、預濾器強度)中的一個以上加以變更(量化參數係將步階大小變更得更大，而濾波器強度的情形係將漸變程度變更為更大)(步驟S211)，處理會回到步驟S202，並將編碼中的編碼順序圖像群加以再編碼。
本實施形態係與將輸入影像的全部圖框加以兩階段編碼的習知技術b不同，基本上係做一次編碼處理，只在再編碼條件成立的情形，就會階段性地抑制產生編碼量反覆地進行編碼直到讓編碼順序圖像群(例如GOP)的各圖像其再編碼條件變為不成立為止。於第二次以後的編碼時，係以抑制按照再試計數所決定的產生編碼量的編碼參數來進行編碼。因此，相較於將輸入影像的全部圖像加以兩階段編碼的習知技術b，可減少運算量，並且能減少因為再編碼所導致的畫質的劣化。
如上文所述在本實施形態中，於再編碼時將編碼參數按照再試計數進行變更。於此，係設為於再編碼時對輸入影像運用預濾器，就變更的編碼參數而言，係設為量化參數及預濾器強度。可將這兩種編碼參數的兩者加以變更，亦可僅變更其中任一者。
關於量化參數係對在通常的編碼時所決定的量化參數值，加上按照再試計數階段性地變大的預定的補償值，以更大的量化參數進行再編碼。
關於預濾器，於本實施形態中係設為使用高斯濾波器者。高斯濾波器係能藉由將下式所示的高斯分佈對x、y進行取樣而製作。
g(x，y)={1/(2πσ2 )}×exp{-(x2 +y2 )/(2σ2 )}
從上述的式子可知，σ的值越大，則漸變程度也會變得更大。由於漸變程度越大，高頻的成份會越減少，故編碼時的產生編碼量會減少。高斯濾波器的詳細內容係例如記載於上述的非專利文獻2中。
在σ=0時，係設為不施加高斯濾波器者，例如當預設編碼參數設為σ0 =0，再編碼用編碼參數將再試計數之值設為c時，則為σc 。σc 係設為c的值越大則為越大值。0＜σ1 ＜σ2 ＜……。此外，於本實施形態中係不論低通濾波器的種類。另外，例如預設編碼參數的σ0 係亦可以按照各圖像的複雜度來變更，σc 係對σc-1 加上預定的補償者的方式構成亦可。
另外，就量化統計量而言，於本實施例中係設為利用圖像的各巨集區塊的量化參數之平均值者。
在以下說明的實施形態中，就編碼方式而言，係設為遵從H.264的規格進行編碼者。另外，編碼順序圖像群係設為GOP。編碼時的GOP的概念圖係如顯示於第5圖的內容。一組GOP係由10張圖像所構成，在顯示順序係設為讓I圖像在開頭B圖像與P圖像交互地排列者。
將本實施形態之裝置構成例顯示於第15圖。輸入緩衝器210係儲存所輸入的影像訊號，並且對編碼部220輸出編碼對象的影像訊號。再者，輸入緩衝器210係在因為圖像的量化統計量超過預定的臨限值，而從後文所述的量化統計量計算部240接受了用以顯示進行再編碼的資訊(再試資訊)的情形時，係從編碼中的GOP的開頭之圖像將影像訊號再度輸出到編碼部220。另外，未接受再試資訊而GOP的編碼結束的情形時，輸入緩衝器210係捨棄所儲存的該GOP的影像訊號。
編碼部220係將從輸入緩衝器210所輸入的影像訊號加以編碼，並將編碼訊息流輸出到輸出緩衝器230。另外，編碼部220係將所輸入的影像訊號加以編碼時的各巨集區塊的量化參數(量化參數資訊)輸出到量化統計量計算部240。另外，編碼部220係在GOP的編碼結束的時間點，將CPB剩餘編碼量通知到CPB狀態預測部260。
再者，由於編碼部220在接受了來自量化統計量計算部240的再試資訊時，從輸入緩衝器210再度輸入有來自編碼中的GOP的開頭圖像開始的影像訊號，並且從參數調整部270輸入有再編碼用編碼參數，故係利用所輸入的再編碼用編碼參數進行再編碼。
輸出緩衝器230係在儲存有全部GOP的編碼訊息流的階段，將該GOP的編碼訊息流加以輸出，另一方面，從量化統計量計算部240接受再試資訊的情形，捨棄對於編碼中的GOP所儲存的編碼訊息流。
量化統計量計算部240係利用從編碼部220所輸入的量化參數資訊，求出以圖像單位變化的量化統計量。接著，當量化統計量超過預定的臨限值時，量化統計量計算部240係將再試資訊輸出到輸入緩衝器210、編碼部220、再試計數管理部250及輸出緩衝器230，並通知量化統計量超過預定的臨限值。
再試計數管理部250係在從量化統計量計算部240接受再試資訊的情形時，對現在的再試計數之值加1，並將更新後的再試計數通知到參數調整部270。另外，未從量化統計量計算部240接受再試資訊，而現在編碼中的GOP的編碼結束時，若再試計數之值為1以上，則再試計數管理部250係從再試計數之值減去1，並將更新後的再試計數通知到參數調整部270。然而，若從CPB狀態預測部260所通知的參數變更有無資訊顯示為「無參數變更」，則再試計數管理部250係即使再試計數為1以上，也不會從再試計數減去1。另外，即使在再試計數為0的情形時，再試計數管理部250也不會從再試計數減去1，而會將現在的再試計數之值通知到參數調整部270。
CPB狀態預測部260係在GOP的編碼結束了的時間點依據來自編碼部220所通知的CPB剩餘編碼量，來判定CPB剩餘編碼量是否在預定的臨限值以上，CPB剩餘編碼量為臨限值以上的情形，將變更當作參數變更有無資訊的編碼參數的內容通知到再試計數管理部250。另一方面，CPB剩餘編碼量較臨限值為少的情形時，CPB狀態預測部260係將編碼參數為改變的情形當作參數變更有無資訊通知到再試計數管理部250。
參數調整部270係在當從再試計數管理部250接受了再試計數時，將按照再試計數所決定的編碼參數輸入到編碼部220。藉此，編碼部220係對於同樣的GOP使用再編碼的反覆次數越多，產生編碼量會變得越小的編碼參數以進行編碼。
如上文所述，於本實施形態中，係導入所謂當再編碼產生時值會增加，而在GOP的編碼結束的時間點值會被減少的再試計數的概念，並於再試計數管理部250管理再試計數。於該再試計數，係設為例如上限值為「3」般，有預定的上限值，到達上限值為止，進行相同GOP的再編碼亦可。編碼時之量化參數的補償值，預濾器的濾波器強度係按照再試計數之值變化。
於再試計數為0之時，係利用預設編碼參數。在再試計數為0以外的情形，例如再試計數的上限值為3的情形，將分別對應再試計數的1、2、3的再編碼用編碼參數當作編碼參數表事先準備好，從此編碼參數表所獲得的編碼參數加以利用於再編碼亦可。
沿著第14圖之流程圖說明關於本實施形態之編碼處理的流程。在以下的說明中，如S201、S202...等，在文章中記載與第14圖的對應情形。
關於進行某組GOP的編碼，係分成如下文所述的到三個情況來說明。
「情況1」：在GOP的編碼中，量化統計量未超過預定的臨限值。
「情況2」：在GOP的編碼中，複數次量化統計量超過預定的臨限值，然以再編碼得以避免了量化統計量超過臨限值。
「情況3」：在GOP的編碼中，複數次量化統計量超過預定的臨限值，即使再編碼也無法避免量化統計量超過臨限值。
「情況1的處理例」
首先，說明關於在GOP的編碼中量化統計量未超過預定的臨限值的情形之情況1。當GOP的圖像輸入到輸入緩衝器210時，輸入緩衝器210係將該圖像加以儲存，並且將該圖像當作編碼對象圖像輸入到編碼部220(S201)。接著，編碼部220係將該圖像加以編碼，並將編碼訊息流輸出到輸出緩衝器230(輸出緩衝器130係不將該編碼訊息流加以輸出而是儲存)，並且將關於該圖像的量化參數資訊輸出到量化統計量計算部240(S202)。
於此，例如當將再試計數設為初始值為0時，於編碼中係利用有預設編碼參數，以對應預設編碼參數的預濾器強度對編碼對象圖像運用利用預濾器部221所進行的濾波處理。另外，在本圖像所產生的DCT係數，係以按照預設編碼參數的量化參數，藉由量化部222予以量化。在再試計數為1以上的情形，係分別藉由按照再試計數所決定的濾波器強度及量化參數的預濾器、量化處理來進行編碼。
量化統計量計算部240係根據從編碼部220所輸入的量化參數資訊計算對於該圖像的量化統計量。由於於此例中量化統計量未超過預定的臨限值，故量化統計量計算部240不會進行再試資訊的輸出(S203)。若編碼對象圖像為輸入映像訊號中的最終圖像，則輸出緩衝器230係輸出所儲存的編碼訊息流，並結束編碼處理(S204)。或者，若編碼對象圖像為GOP的最終圖像，則輸出緩衝器230將所儲存的編碼訊息流加以輸出，並且輸入緩衝器210係捨棄所儲存的圖像，並轉移到接下來的GOP的最初的圖像之編碼處理(S205至S207)。
如該情況1所述，當量化統計量未超過預定的臨限值而GOP的編碼結束時，編碼部220係在GOP的編碼結束的時間點，將CPB剩餘編碼量通知到CPB狀態預測部260。CPB狀態預測部260係判定CPB剩餘編碼量是否在預定的臨限值以上，且在CPB剩餘編碼量在臨限值以上的情形，將編碼參數的變更當作參數變更有無資訊通知到再試計數管理部250。另一方面，CPB剩餘編碼量較臨限值為少的情形，將編碼參數的未變更當作參數變更有無資訊通知到再試計數管理部250。再試計數管理部250係只要在參數變更有無資訊顯示變更編碼參數的情形，就從現在的再試計數將值減去1(S206)。
亦即，在以較現在編碼結束了的GOP更前的GOP進行再編碼，有再試計數不是0的情形。此時，再試計數管理部250係按照來自CPB狀態預測部260的參數變更有無通知，變更再試計數，並將變更後的再試計數通知到參數調整部270。參數調整部270係將對應於所通知的再試計參數的編碼參數對編碼部220設定，並開始接下來的開頭圖像的編碼。
「情況2的處理例」
接著，說明關於在GOP的編碼中，量化統計量複數次超過預定的臨限值，然以再編碼得以避免了量化統計量超過臨限值的情形之情況2。於此，在開始GOP的編碼的時間點的再試計數設為1，並說明於相同的GOP進行兩遍再編碼的情形。
當GOP的圖像輸入到輸入緩衝器210時，輸入緩衝器210係將該圖像加以儲存，並且對編碼部220將該圖像當作編碼對象圖像輸入(S201)。接著，編碼部220係將該圖像加以編碼，並對輸出緩衝器130輸出編碼訊息流(輸出緩衝器230係不將該編碼訊息流加以輸出而是儲存)，並且將關於該圖像的量化參數資訊輸出到量化統計量計算部240(S202)。於此，於再編碼中係利用有對應於再試計數=1的編碼參數。
量化統計量計算部240係根據從編碼部220所輸入的量化參數資訊計算關於該圖像的量化統計量。結果，量化統計量計算部240檢測到關於該圖像之量化統計量超過預定的臨限值時，量化統計量計算部240係將再試資訊輸出到編碼部220、再試計數管理部250、輸入緩衝器210、輸出緩衝器230(S203)。
現在的再試計數為1，由於未達到上限值的3(S208)，故輸入緩衝器210係將儲存的編碼中的GOP的開頭圖像輸出到編碼部220(S209)。另一方面，在再試計數管理部250再試計數被增加1，而使值成為2的再試計數會輸出到參數調整部270(S210)。
於參數調整部270中，係將再試計數為2時的編碼參數從編碼參數表讀取出，並將此編碼參數設定到編碼部220(S211)。輸出緩衝器230係將編碼中的GOP編碼訊息流加以捨棄。
於編碼部220中只要量化統計量不超過預定的臨限值，GOP的圖像會依序地從輸入緩衝器210輸入而進行編碼。在此編碼時，在同一的GOP量化統計量再度超過預定的臨限值的情形，藉由與前文所述的處理相同的處理，再試計數會增加1，而成為3。藉此，編碼參數被變更到對應於再試計數=3者的狀態下，對同一的GOP再度地從開頭圖像開始依序進行編碼。
於此GOP的編碼中，量化統計量未更進一步的超過預定的臨限值時，編碼部220係將CPB剩餘編碼量通知到CPB狀態預測部260。CPB狀態預測部260係在CPB剩餘編碼量為預定的臨限值以上的情形，將參數變更有無資訊設作「有變更」，在這之外的情形係將參數變更有無資訊設作「無變更」，通知到再試計數管理部250。
所通知的參數變更有無資訊為「有變更」的情形，由再試計數管理部250將再試計數減去1，而使再試計數變為2，並進行接下來的GOP的編碼。此時的輸入緩衝器210及輸出緩衝器230的動作係與前文所述的例子相同。在參數變更有無資訊為「無變更」的情形，再試計數係保持為3下，進行接下來的GOP的編碼。
此情況2的例子之再試計數，編碼參數的推移概念之圖係如第13圖所示。於第13圖的例子中，在再試計數為1的狀態下，將第二個的GOP2加以編碼時，由於在第6張圖像的編碼中量化統計量超過預定的臨限值，故將再試計數設為2，並再度以對應於再試計數=2的編碼參數，從GOP2的開頭之I圖像開始進行再編碼。於此再編碼，在第8張圖像量化統計量亦超過預定的臨限值，而進一步的以對應於再試計數=3的產生編碼量較少的編碼參數來進行再編碼。
由於在再度的再編碼中，量化統計量未超過預定的臨限值，故判定CPB剩餘編碼量是否在預定的臨限值以上。於此，由於CPB剩餘編碼量在預定的臨限值以上，故在GOP2的編碼結束時從再試計數減去1，且再試計數使用2的編碼參數，而使處理轉移到接下來的GOP3。
進行再編碼時的CPB剩餘編碼量的變遷之概念圖係如第8圖所示。以粗線顯示的部分為再編碼後的CPB剩餘編碼量。於再編碼中係以預濾器加強漸變程度，量化參數亦設成較預設編碼參數為大，故產生編碼量會受到抑制，CPB剩餘編碼量的變遷係成為例如如第8圖所示。結果，在產生再編碼的圖像中CPB剩餘編碼量會於再編碼時增加，而可避免在該圖像產生較大的畫質劣化。
再者，進行再編碼時量化統計量的變遷之概念圖係如第9圖所示。如第9圖所示，由於於再編碼時變更編碼參數，故開始再編碼的圖像量化統計量雖然會變大，但因為其影響如第8圖所示在CPB剩餘編碼量會出現餘裕，故在產生再編碼的圖像中，量化統計量會變得較再編碼前為小。
「情況3的處理例」
在最後，說明關於於同一的GOP的編碼中複數次量化統計量超過預定的臨限值，即使再編碼也無法避免量化統計量超過臨限值時的情況3。
於將某組GOP編碼中，與情況2的情形相同地將再試計數設為達到3。再者，於相同的GOP的編碼中，藉由量化統計量計算部240檢測到量化統計量超過預定的臨限值時(S203)，藉由再試計數管理部250檢測到再試計數到達上限值(S208)，則不進行再編碼，而進行編碼處理。
進行再編碼，而即使再編碼也無法避免量化統計量超過臨限值時的量化統計量的變遷之概念圖係如第10圖所示。情況3係例如如第10圖所示，在開始再編碼的GOP的開頭中，可能已經產生量化統計量較大的情形。
此外，亦可能產生於再編碼時量化參數會變得較通常的編碼時為大，因此於再編碼時，以編碼順序、過去的圖像會較成為再編碼的契機的圖像使量化統計量超過臨限值。為了減低產生這種情況的可能性，對應於再試計數的各值的量化參數之補償值亦可如下文所述來決定。
將對應於再試計數的最大值(於前述之實施形態中為3)的量化參數的補償值(此係預先所決定的預定值)加上通常的編碼時的量化參數，而在此值超過量化統計量的臨限值時，以與該臨限值相等的方式修正對應於再試計數的最大值的量化參數的補償值。接著，根據該補償值決定對應於其他的再試計數之值的補償值(例如若為前述之實施形態的情形，將對應於再試計數的最大值的補償值設為A時，將再試計數0、1、2的補償值分別以如0、A/3、2×(A/3)的方式加以等分亦可)。然而，為使再編碼時的量化參數不會變得較通常的編碼時為小，在通常的編碼時的量化參數在量化統計量以上的情形時，係將對應於再試計數的全部之值的補償值設為0。另外，對應於再試計數的最大值的將預先所決定的量化參數的補償值加上通常的編碼時的的量化參數之值在未超過量化統計量的臨限值的情形時，係只要根據該補償值決定對應於其他的再試計數之值的補償值即可。
(第四實施形態)
以下，使用圖式詳細地說明本發明之第四實施形態。第16圖係顯示本實施形態之動態影像編碼控制方法之處理流程圖。
首先，將輸入映像訊號之編碼結束了的圖像的接下來的圖像設定當作編碼對象(步驟S301)。將當作編碼對象所設定的輸入圖像，藉由H.264及其他的預定的編碼方式加以編碼(步驟S302)。判定編碼輸入圖像時的該圖像的量化統計量是否超過預定的臨限值(步驟S303)，而在量化統計量超過預定的臨限值時，處理會前進到步驟S311。
若量化統計量未超過預定的臨限值，則判定最終圖像的編碼是否結束(步驟S304)，若編碼到最終圖像為止都結束了則結束編碼處理。
若最終圖像的編碼尚未結束，則判定經編碼的圖像是否為編碼順序圖像群的開頭之I圖像(步驟S305)。現在經編碼的圖像為編碼順序圖像群的開頭之I圖像的情形，則將該I圖像設定當作再試點(步驟S306)。此係在後文所述之步驟S309中，在CPB剩餘編碼量未及預定的臨限值的情形中，再試點保持設定於前一組的編碼順序圖像群的開頭，故在接下來之I圖像確認再編碼條件(量化統計量超過預定的臨限值)未成立的情形後用以更新再試點的處理。此外，於步驟S310設定有再試點的情形中，雖變成在相同的位置再設定再試點，然在處理上不會產生缺失。之後，處理會回到步驟S301，並進入接下來的圖像之編碼。
經編碼的圖像不為編碼順序圖像群的開頭的情形，接下來判定編碼順序圖像群的編碼是否已經結束(步驟S307)。若編碼順序圖像群的編碼尚未結束，則處理會回到步驟S301，並對接下來的圖像相同地繼續編碼處理。編碼順序圖像群的編碼已結束的情形，編碼參數在編碼順序圖像群的再編碼(再試)中受到變更，則讓編碼參數回到通常的編碼時之值(步驟S308)。
另外，在編碼順序圖像群的編碼已結束的時間點，判定CPB剩餘編碼量是否在預定的臨限值以上(步驟S309)。若CPB剩餘編碼量在預定的臨限值以上，則將再試點設定為接下來的編碼順序圖像群的開頭之I圖像(步驟S310)。之後，處理會回到步驟S301，並從接下來的編碼順序圖像群的開頭開始依序地進行編碼。
在CPB剩餘編碼量未及預定的臨限值的情形係不更新再試點，而處理會回到步驟S301，並進入接下來的編碼順序圖像群的編碼。
於步驟S303中檢測出量化統計量超過預定的臨限值時，現在的編碼順序圖像群係判定是否進行了再編碼(是否再試結束)(步驟S311)。再試結束的情形時，不會再進行再編碼，而處理會進入到步驟S304並直接繼續進行編碼處理。
再試未結束的情形時，為了進行現在的編碼順序圖像群的再編碼，將再試點的圖像設定當作編碼對象(步驟S312)。接著，將兩種編碼參數(量化參數、過濾器強度)之中的一個以上加以變更(量化參數係將步階大小變更得更大，而濾波器強度的情形係將漸變程度變更為更大)(步驟S313)，處理會回到步驟S302，並將編碼中的編碼順序圖像群加以再編碼。
亦即，與將輸入影像的全部圖框加以兩次編碼的習知技術b不同，只要是量化統計量超過預定的臨限值時，就將編碼順序圖像群(例如GOP)加以兩次編碼。在第二次的編碼時，係以抑制產生編碼量的編碼參數來進行編碼。只要是再編碼條件成立的情形，就僅將該條件成立的編碼順序圖像群加以再編碼(此外，也有例外地從一組之前的編碼順序圖像群進行再編碼的方式)，藉以一邊抑制CPB欠位一邊減輕畫質劣化。因此，相較於將輸入影像的全部圖像加以兩階段編碼的習知技術b，可減少運算量。
第17圖係顯示本實施形態之變形例的動態影像編碼控制方法之處理流程圖。本實施形態係亦可將顯示於第16圖之步驟S308的處理加以置換為顯示於第17圖的步驟S381至步驟S383的處理並實施。步驟S308以外的處理係與第16圖大約相同。
第16圖的步驟S307的處理之後，會判定編碼參數是否在再試受到變更(步驟S381)。若編碼參數未在再試受到變更，則處理前進到步驟309。編碼多數若在再試受到變更，則在接下來判定CPB剩餘編碼量是否在第一臨限值以上(步驟S382)。若CPB剩餘編碼量未及預定的臨限值，則將編碼參數設為保持為使用於再編碼的狀態，而只在CPB剩餘編碼量為預定的臨限值以上的情形讓編碼參數回到原本的預設編碼參數(步驟S383)。之後，處理會進入到步驟S309，並判定CPB剩餘編碼量是否在預定的第二臨限值以上，然此處理及步驟S310的處理係與顯示於第16圖之步驟S309、S310的處理相同。此外，第一臨限值與第二臨限值為相同的值或者是相異的值皆可。
在顯示於第17圖的變形例中，如上文所述編碼順序圖像群的編碼結束了的時間點中，只在CPB剩餘編碼量超過預定量的情形，讓編碼參數回到通常的編碼時之值。這是根據下述的理由。即使編碼順序圖像群的編碼結束了，CPB剩餘編碼量較少的情形，當讓編碼參數回到通常的編碼時之值時產生編碼量會變得較多，故在接下來的編碼順序圖像群的圖像的編碼中再編碼條件成立的可能性會提高。在第17圖的處理中，CPB剩餘編碼量較少的情形係不會變更編碼參數，故相較於第16圖的處理，接下來的編碼順序圖像群的編碼之再編碼的產生會受到抑制，而運算量會變得進一步地受到減少。
如上文所述在本實施形態中係於再編碼時變更編碼參數。於此，係設為編碼時對於輸入影象運用預濾器者，就變更的編碼參數而言，係設為量化參數及預濾器強度。將此兩種編碼參數的雙方加以變更亦可，或僅變更其中一者亦可。
關於量化參數係對通常的編碼時的量化參數值，加上預定的補償值，並以更大的量化參數進行再編碼。
關於預濾器，於本實施形態中係亦設為使用高斯濾波器者。高斯濾波器係能藉由將在下式所示的高斯分佈對x、y進行取樣所製作。
g(x，y)={1/(2πσ2 )}×exp{-(x2 +y2 )/(2σ2 )}
如從上述的式子可知，σ的值越大，則漸變程度也會變得更大。由於漸變程度越大，則高頻的成份會減少，故編碼時的產生編碼量會減少。高斯濾波器的詳細內容係記載於例如上述的非專利文獻2中。
在σ=0時，係設為不施加高斯濾波器者，例如預設編碼參數係設為σ0 =0，而再編碼用編碼參數係設為σ1 ＞0。此外，於本實施形態中係不論低通濾波器的種類。另外，再編碼時漸變程度的加強方法亦可預先任意決定。例如預設編碼參數的σ0 係亦可以按照各圖像的複雜度來變更，σ1 係對σ0 加上預定的補償者的方式構成亦可。
另外，就量化統計量而言，於本實施例中係設為利用圖像的各巨集區塊的量化參數之平均值者。
編碼係設為遵從H.264的規格進行編碼者。另外，在本實施形態中編碼順序圖像群係設為GOP。編碼時的GOP的概念圖係如顯示於第5圖的內容。一組GOP係設為由10張圖像所構成，並於顯示順序讓I圖像在開頭B圖像與P圖像交互地排列者。
將本實施形態之裝置構成例顯示於第18圖。輸入緩衝器310係儲存所輸入的影像訊號，並且對編碼部320輸出編碼對象的影像訊號。再者，輸入緩衝器210係於從後文所述的量化統計量計算部340接受了因圖像的量化統計量超過了預定的臨限值，而顯示進行再編碼的資訊(再試資訊)的情形時，係從作為再試點所設定的GOP的開頭圖像將影像訊號再度輸出到編碼部320。另外，在從再試點管理部360輸入了再試點資訊的情形時，輸入緩衝器310係捨棄較再試點為先前所儲存的GOP的影像訊號。
編碼部320係將從輸入緩衝器310所輸入的影像訊號加以編碼，並將編碼訊息流輸出到輸出緩衝器330。另外，編碼部320係將所輸入的影像訊號加以編碼時所產生的量化參數(量化參數資訊)輸出到量化統計量計算部340。另外，編碼部320係在從量化統計量計算部340接受了再試資訊時，從輸入緩衝器310再度輸入有來自再試點顯示的GOP的開頭圖像的影像訊號，並且從參數調整部370輸入有再編碼用編碼參數，故利用所輸入的再編碼用編碼參數以進行再編碼。另外，編碼部320係將在GOP的編碼結束了的時間點之CPB剩餘編碼量的資訊輸出到CPB狀態預測部350。
輸出緩衝器330係依據來自再試點管理部360的再試點資訊，將已確定輸出的編碼訊息流、亦即經確定不需要再編碼的編碼結果的編碼訊息流加以輸出。在另一方面，輸出緩衝器330從量化統計量計算部340接受到再試資訊的情形，捨棄對於編碼中的GOP所儲存的編碼訊息流。
量化統計量計算部340係利用從編碼部320所輸入的量化參數資訊，求出以圖像單位變化的量化統計量。接著，在量化統計量超過預定的臨限值時，量化統計量計算部340係將再試資訊輸出到輸入緩衝器310、編碼部320、參數調整部370及輸出緩衝器330，以通知量化統計量超過預定的臨限值。
CPB狀態預測部350係進行CPB剩餘編碼量是否在預定的臨限值以上的判定，而在CPB剩餘編碼量為臨限值以上的情形，係將顯示接下來的GOP的再試點為該GOP的開頭之I圖像的資訊，當作再試點變更有無資訊通知到再試點管理部360。相反地，在CPB剩餘編碼量較臨限值為小的情形，CPB狀態預測部350係將顯示接下來的GOP的開頭圖像的再試點為該GOP前一個的GOP的開頭圖像(I圖像)的資訊，當作再試變更有無資訊通知到再試點管理部360。
再試點管理部360係在即將進行編碼的GOP的開頭圖像中，再試變更有無資訊顯示再試點為前一組GOP的開頭圖像的情形時，將該再試點通知到輸入緩衝器310，並且在開頭的圖像中未產生再編碼的情形中，將從接下來的編碼把再試點當作現在正在編碼的GOP的開頭圖像的動作通知到輸入緩衝器310。另外，再試變更有無資訊顯示再試點為該等編碼的GOP的開頭圖像的內容的情形時，再試點管理部360係將該再試點通知到輸入緩衝器310及輸出緩衝器330。於此，係將這些通知資訊稱作再試點資訊。如前文所述，輸入緩衝器310係於再編碼時從依據再試點資訊的圖像對編碼部320輸入映像訊號，而輸出緩衝器330係依據再試點資訊僅輸出經確定了要輸出的編碼訊息流。
參數調整部370係在從量化統計量計算部340接受了再試資訊時，如前文所述將再編碼用編碼參數輸入到編碼部320。藉此，編碼部320係於再編碼時，對相同的GOP使用產生編碼量變小的編碼參數進行編碼。
沿著第16圖之流程圖說明關於本實施形態之編碼處理的流程。在以下的說明中，如S301、S302...等，在文章中記載與第16圖的對應情形。
關於進行某組GOP的編碼處理，將最初的GOP當作GOP1，將接下來的GOP當作GOP2，分為下文所述的四個情況進行說明。
「情況1」：在GOP1的編碼中，所謂量化統計量超過預定臨限值的再編碼條件不成立而GOP1的編碼結束，且在接下來的GOP2的開頭圖像的編碼中再編碼條件亦不成立。
「情況2」：在GOP1的編碼結束，且在接下來的GOP2的開頭圖像的編碼中再編碼條件成立，成為需要再編碼。
「情況3」：在GOP2的中間的圖像的編碼中再編碼條件成立，而成為需要再編碼。
「情況4」：在GOP2的中間的圖像的編碼中再編碼條件成立，且即使再編碼也無法避免量化統計量超過臨限值。
「情況1的處理例」
首先，說明關於在GOP1的編碼中量化統計量未超過預定的臨限值的情形(再編碼條件不成立的情形)之情況1。當GOP1的圖像輸入到輸入緩衝器310時，輸入緩衝器310係將該圖像加以儲存，並且將該圖像當作編碼對象圖像輸入到編碼部320(S301)。接著，編碼部320係將該圖像加以編碼，並將編碼訊息流輸出到輸出緩衝器330(輸出緩衝器330係不將該編碼訊息流加以輸出而是儲存)，並且將關於該圖像的量化參數資訊輸出到量化統計量計算部340(S302)。
於此，於編碼中係利用預設編碼參數，以對應預設編碼參數的預濾器強度對編碼對象圖像運用利用預濾器部321所執行的濾波處理。另外，在本圖像所產生的DCT係數，係以按照預設編碼參數的量化參數，藉由量化部322予以量化。
量化統計量計算部340係根據從編碼部320所輸入的量化參數資訊計算對於該圖像的量化統計量。由於於此例中量化統計量未超過預定的臨限值，故量化統計量計算部340不會進行再試資訊的輸出(S303)。若編碼對象圖像為輸入映像訊號中的最終圖像，則輸出緩衝器330係輸出所儲存的編碼訊息流，並結束編碼處理(S304)。
若編碼對象圖像為GOP1的開頭圖像(S305)，則再試點管理部360係將GOP1的開頭圖像(I圖像)設定當作再試點(S306)，接著編碼部320係進入到接下來的圖像的編碼。
或者，若編碼對象圖像為GOP的最終圖像(S307)，參數調整部370係於再編碼中利用有再編碼用編碼參數的情形時，將編碼參數變更為預設編碼參數(S308)。
在另一方面，編碼部320會將CPB剩餘編碼量輸出到CPB狀態預測部350，而CPB狀態預測部350係判定CPB剩餘編碼量是否在臨限值以上(S309)。CPB狀態預測部350係將該判定結果當作前文所述之再試點變更有無資訊通知到再試點管理部360。再試點管理部360係在再試點變更有無資訊顯示未變更再試點的狀況(CPB剩餘編碼量未及臨限值)的情形，將再試點為GOP1的開頭圖像的狀況當作再試點資訊通知到輸入緩衝器310。
之後，處理係進入GOP2的開頭之I圖像的編碼處理(S302)，在該I圖像的編碼中量化統計量未超過預定的臨限值的情形(S303)，再試點管理部360係將再試點為GOP2的開頭圖像的狀況通知到輸入緩衝器310及輸出緩衝器330(S306)。亦即，於在這之後的GOP2的圖像中產生再編碼的情形，會從GOP2的開頭圖像開始進行再編碼。
在前文所述的GOP1的編碼結束了的時間點，有很多的CPB剩餘編碼量的情形，用以顯示變更再試點的再試點變更有無資訊會從CPB狀態預測部350輸出到再試點管理部360，而再試點管理部360係將再試點為GOP2的開頭圖像的狀況當作再試點資訊通知到輸入緩衝器310(S310)。此時，接著在GOP2的任一張圖像中，即使量子統計量超過預定的臨限值，也會從GOP2的開頭圖像開始進行再編碼。
「情況2的處理例」
接著，說明關於在GOP2的開頭圖像編碼中，量化統計量超過預定的臨限值，但於之後以再編碼得以避免了量化統計量超過臨限值的情形之情況2。與情況1相同地，在顯示GOP1的編碼結束了的時間點的再試點變更有無資訊因為CPB剩餘編碼量較少故不變更再試點的狀況，再試點管理部360係將再試點為GOP1的開頭之I圖像的狀況通知到輸入緩衝器310。
處理會進展到GOP2的開頭之I圖像的編碼處理，而在該圖像藉由量化統計量計算部340檢測出量化統計量超過預定的臨限值的情形(S303)，輸入緩衝器310係依據來自量化統計量計算部340的再試資訊，從GOP1的開頭圖像順序地將圖像輸入到編碼部320，並在編碼部320進行再編碼。此時編碼參數係使用從參數調整部370所設定的再編碼用編碼參數(S313)。於此再編碼中係藉由預濾器部321，以對應於再編碼用編碼參數的預濾波器強度(較預設編碼參數漸變程度更大)對編碼對象圖像運用預濾處理。另外，在本圖像所產生的DCT係數，係以按照再編碼用編碼參數的量化參數(較預設編碼參數量化步階大小更大)，藉由量化部322予以量化。
藉由該GOP1的再編碼，到GOP1的最終圖像為止的編碼結束時，利用此時的CPB剩餘編碼量，將再試點設定到GOP1的開頭圖像或GOP2的開頭圖像，接著進行GOP2的開頭圖像的編碼處理。
「情況3的處理例」
在先前的情況2，由於在GOP2的開頭圖像的編碼中，量化統計量已超過預定的臨限值，故說明了變得需要再編碼的例子。另一方面，在GOP2的開頭圖像以外的圖像中量化統計量超過了預定的臨限值的情形，係同樣地是用再編碼用編碼參數，從GOP2的開頭圖像進行再編碼。
在GOP2的中間的圖像中進行再編碼時的編碼參數的變更之概念圖，係如第7圖所示。於第7圖的例子中，由於GOP2的第六張圖像的編碼中量化統計量超過了預定的臨限值，故設定用以抑制產生編碼量的再編碼用編碼參數，以從GOP2的開頭之I圖像開始再編碼。因再編碼之故量化統計量不再超過預定的臨限值，故於接下來的GOP3的編碼中，係讓再編碼用編碼參數回到預設編碼參數，並繼續編碼處理。
將進行再編碼時的CPB剩餘編碼量的變遷之概念圖顯示於第8圖。以粗線顯示的部分為再編碼後的CPB剩餘編碼量。於再編碼中由於係以預濾器增強模糊的程度，且量化參數亦較預設編碼參數加大，故產生編碼量會受到抑制，CPB剩餘編碼量的變遷會成為如例如第8圖所示。結果，產生再編碼的圖像中之CPB剩餘編碼量會於再編碼時增加，而在該圖像能避免產生大幅度的畫質劣化。
再者，於第9圖顯示進行再編碼時的量化統計量的變遷之概念圖。如第9圖所示，由於於再編碼時變更編碼參數，故開始再編碼的圖像的量化統計量雖變得較大，然因為其影響如第8圖所示在CPB剩餘編碼量出現餘裕，故在產生再編碼的圖像中，量化統計量會變得較再編碼前為小。
「情況4的處理例」
在最後，說明關於於GOP2的中間之關係編碼中量化統計量超過預定的臨限值，即使再編碼也無法避免量化統計量超過臨限值時的情況4。
進行有再編碼，而即使再編碼也無法避免量化統計量超過臨限值時的量化統計量的變遷之概念圖係如第10圖所示。情況4係例如如第10圖所示，在開始再編碼的GOP的開頭中，可能已經產生在量化統計量較大的情形。此時，藉由量化統計量計算部340檢測到量化統計量超過預定的臨限值，進行GOP2的再編碼的動作係與情況3相同。於該GOP2的再編碼中量化統計量超過預定的臨限值的情形(S303、S311)，不會進行進一步的編碼，而會直接繼續編碼處理(轉移到S304)。
此外，於再編碼時量化參數會變得較通常的編碼時更大，因此於再編碼時，較成為再編碼的契機的圖像，以編碼順序在過去的圖像中亦可能產生量化統計量會超過臨限值。為了減低產生這種情況的可能性，再編碼時的量化參數變得較量化統計量的臨限值為大的情形，將再編碼時的量化參數修正成與量化統計量的臨限值相等亦可。但是，為使再編碼時的量化參數不會變得比通常的編碼時為小，而在通常的編碼時的量化參數在量化統計量以上的情形，係將再編碼時的量化參數之值設為與通常的編碼時之值相等。
(第五實施形態)
以下，使用圖式詳細地說明本發明之第五實施形態。第19圖係顯示本實施形態之動態影響編碼控制方法之處理流程圖。
關於在編碼順序中第M張的圖像及第N張(N＞M)的圖像，將N-M稱作圖像間距離。在最開始，依據從外部所賦予的能利用的記憶體量的資訊，於再編碼時，求出屬於在記憶體限制內最大所能回溯的圖像間距離的最大圖像間距離，並加以記憶(S400)。
接著，將輸入影像的編碼已結束的圖像之下一張圖像(於編碼開始時係輸入映像訊號的開頭圖像)設定當作編碼對象(步驟S401)。將當作編碼對象設定的輸入圖像，藉由H.264及其他的預定的編碼方式加以編碼(步驟S402)。判定編碼輸入圖像時的該圖像之量化統計量是否超過預定的臨限值(步驟S403)，而在量化統計量超過預定的臨限值時，處理會進入到S407。
若量化統計量未超過預定的臨限值，則判定最終圖像的編碼是否已經結束(步驟S404)，若編碼到最終圖像為止都結束則結束編碼處理。
若最終圖像的編碼尚未結束，則判定編碼順序圖像群的編碼是否已結束(步驟S405)。編碼順序圖像群的編碼若未結束，則處理會回到步驟S401，關於接下來的圖像同樣地繼續編碼處理。編碼順序圖像群的編碼結束時，若編碼參數在編碼順序圖像群的再編碼(再試)受到變更，則讓編碼參數回到通常的編碼時之值(S406)，處理會回到步驟S401並從接下來的編碼順序圖像群的開頭開始進行編碼處理。
於步驟403中檢測出量化統計量超過預定的臨限值時，判定現在的編碼順序圖像群是否進行了再編碼(再試是否結束)(步驟S407)。再試結束的情形時，不進一步進行再編碼，而處理會進入到步驟S404直接繼續編碼處理。
再試未結束的情形時，為了現在的編碼順序圖像群內的圖像之再編碼而設定再試點。亦即，將包含在藉由步驟S400所計算出的最大圖像間距離的範圍內的編碼中的編碼順序圖像群的最遠的圖像，設定當作編碼對象(步驟S408)。接著，在兩種編碼參數(量化參數、預濾器強度)之中變更一種以上(量化參數係將步階大小變更得更大，而濾波器強度的情形係將漸變程度變得更大)(步驟S409)，處理會回到步驟S402，並從作為再試點而所設定之編碼順序圖像群的圖像加以再編碼。
依據以上的再編碼處理，與將輸入影像的全部圖框加以兩階段編碼的習知技術b不同，只限於經編碼的圖像的量化統計量過大的情形，才會將編碼順序圖像群(例如GOP)內的複數張圖像加以兩次編碼。於第二次的編碼時係使用CPB剩餘編碼量更加增加的編碼參數，僅將現在編碼中的編碼順序圖像群內的複數張圖像加以再編碼。藉此，影像從單純的場景轉移到複雜的場景時的畫質的劣化將會減小，並且相較於將輸入影像的全部圖框加以兩階段編碼的習知技術b可減少運算量。另外，就輸入緩衝器及輸出緩衝器而言必要的記憶體亦只需要相當於預定數量的圖像的份量即可，而可謀求記憶體的減少。
第20圖係顯示本實施形態之變形例之動態影像編碼控制方法之處理流程圖。本實施形態係亦可將顯示於第19圖之步驟S406的處理加以置換為顯示於第20圖的步驟S461至步驟S463的處理並實施。步驟S406以外的處理係與第19圖相同。
第19圖的步驟S405的處理之後，會判定編碼參數是否因再試而受到變更(步驟S461)。若編碼參數未因為再試而受到變更，則處理會回到第19圖的步驟S401。若編碼參數因為再試而受到變更，則在接下來判定CPB剩餘編碼量是否在預定臨限值以上(步驟S462)。若CPB剩餘編碼量未及預定的臨限值，則將編碼參數設為於再編碼使用的狀態下，而只在CPB剩餘編碼量為預定的臨限值以上的情形讓編碼參數回到原本的預設編碼參數(步驟S463)。之後，處理會回到第19圖之步驟S401，並轉移到接下來的編碼順序圖像群的編碼。
在顯示於第20圖的變形例中，只在編碼順序圖像群的編碼結束了的時間點中，CPB剩餘編碼量超過預定量的情形，讓編碼參數回到通常的編碼時之值。這是根據下面的理由。即使編碼順序圖像群的編碼結束了，CPB剩餘編碼量較少的情形，當讓編碼參數回到通常的編碼時之值時產生編碼量會變得較多，故在接下來的編碼順序圖像群的圖像的編碼中，經編碼的圖像的量化統計量會超過預定的臨限值的可能性會再度提高。在第20圖的處理中，CPB剩餘編碼量較少的情形係不變更編碼參數，故相較於第19圖的處理，接下來的編碼順序圖像群的編碼之再編碼的產生會受到抑制，而運算量會變得進一步地受到減少。
如上文所述在本實施形態中，係於再編碼時變更編碼參數。於此，係設為再編碼時相對於輸入影像運用預濾器者，就變更的編碼參數而言，係設為量化參數及預濾器強度。將此兩種編碼參數的雙方加以變更亦可，而僅變更其中一者亦可。
關於量化參數係對通常的編碼時的量化參數值，加上預定的補償值，而以更大的量化參數進行再編碼。
關於預濾器，於本實施形態中係設為使用高斯濾波器者。高斯濾波器係能藉由將下式所示的高斯分佈對x、y進行取樣所製作。
g(x，y)={1/(2πσ2 )}×exp{-(x2 +y2 )/(2σ2 )}
如從上述的式子可知，σ的值越大，則漸變程度也會變得更大。由於漸變程度越大，則高頻的成份會減少，故編碼時的產生編碼量會減少。高斯濾波器的詳細內容係記載於例如上述的非專利文獻2中。
在σ=0時，係設為不施加高斯濾波器者，例如預設編碼參數係設為σ0 =0，而再編碼用編碼參數係設為σ1 ＞0。此外，於本實施形態中係不論低通濾波器的種類。另外，可預先任意地決定再編碼時的漸變程度的增強方式。例如，預設編碼參數的σ0 係亦可以按照各圖像的複雜度來變更，σ1 係對σ0 加上預定的補償者的方式構成亦可。
另外，就量化統計量而言，於本實施例中係設為利用圖像的各巨集區塊的量化參數之平均值者。
編碼係設為遵從H.264的規格進行編碼者。另外，在本實施形態中，編碼順序圖像群係設為GOP。編碼時的GOP的概念圖係如顯示於第5圖的內容。一組GOP係由10張圖像所構成，並設為以顯示順序讓I圖像在開頭B圖像與P圖像交互地排列者。
將本實施形態之裝置構成例顯示於第21圖。最大圖像間距離決定部500係接受到從外部能使用的記憶體量通知(能使用的記憶體量資訊)，並依據此求取於再編碼時最大可回溯的最大圖像間距離。由於於本實施形態中為了供再編碼，係於輸入緩衝器410事先儲存有編碼中的GOP的輸入映像訊號，並於輸出緩衝器430事先儲存有編碼中的GOP的編碼訊息流。最大圖像間距離決定部500係從將GOP長度設為最大圖像間距離的情形開始，一邊將最大圖像間距離之值減去，一邊求出輸入緩衝器410及輸出緩衝器430的在最差的情況中的必要的記憶體量及其他的利用記憶體量的總和成為能使用的記憶體量以下的圖像間距離，並決定最大圖像間距離。
於此顯示求出最大圖像間距離時的必要記憶體量之計算例。首先，輸入緩衝器410的必要記憶體量係如下文所述。
輸入緩衝器的必要記憶體量=(最大圖像間距離+1)×(一張圖像的資料量)
另一方面，輸出緩衝器430的必要記憶體量係設為在CPB的大小、以及位元率的限制下，不會產生CPB欠位而能產生的最大的編碼量。具體而言，在即將開始GOP的編碼前CPB剩餘編碼量的大小與CPB的大小相等的狀態下，於全部使用完在CPB按照位元率所輸入的資料的情形(在GOP編碼後CPB剩餘編碼量為0)，成為能夠產生的最大的編碼量。就以位元數的計算式而言，輸出緩衝器的必要記憶體量係如次式所示。
輸出緩衝器的必要記憶體量=(位元率/每一秒的圖像數)×(最大圖像間距離+1)+(位元數下的CPB的大小)
再者，如下文所述資料的資料量也有有計算的必要的情形。H.264的情形，有將供再編碼而在GOP的編碼中所製作的解碼影像當作參照影像予以留下的必要(未留下的情形，於再編碼時成為沒有從再試點開始編碼時的參照影像的狀態)。由於GOP內的圖像係不參照該GOP以前的圖像，故儲存於DPB(Decoded Picture Buffer；已解碼圖像緩衝器)當作參照影像的作法係在I圖像及P圖像的前提的情形，如下文所述事先確保記憶體的話，即變成在所有情況中記憶體都充足的情況。
在GOP的最後的圖像中產生再編碼的情形，相較於開始再編碼的圖像(最大圖像間距離的圖像)，只要是有達到再編碼順序中屬於過去的編碼順序圖像群內的I圖像及P圖像數量份的的記憶體即可。
於第22圖中顯示用以說明該必要記憶體量之概念圖。例如，如第22圖所示GOP係由10張圖像構成，而最大圖像間距離設為6。應保持於輸入緩衝器410的圖像數最大係成為7。另一方面，第22圖的例子的情形，為了進行再編碼，關於開頭的I圖像與接下來的P圖像的解碼影像，亦有當作參照影像保持於記憶體的必要。當與最大圖像間距離和GOP長度相等的情形比較時，在如第22圖的情形有追加並保持開頭的I圖像及第二張的P圖像的兩張圖像(第22圖的元件符號RS22)份的DPB的必要，然應保持於輸入緩衝器410的圖像數量係減少三張。亦即，雖然最大圖像間距離越小參照影像的記憶體量越會增加，然應儲存於輸入緩衝器410的圖像數量的減少量那方面會較多，故可知當將最大圖像間距離縮小即會減少必要記憶體量。
另外，於H.264中，因有參照參照影像的移動向量的情形，故有需要該移動向量用的記憶體的情形。此外，計算依存於編碼器的構成等而必要的記憶體。求出這些的總和為能夠使用的記憶體量以下的圖像間距離以決定最大圖像間距離。
此外，關於本發明之實施時，亦可不是對最大圖像間距離決定部500從外部通知能使用的記憶體量以計算最大圖像間距離，而是做成為在外部計算最大圖像間距離，並交給最大圖像間距離決定部500。
最大圖像間距離決定部500係將所決定的最大圖像間距離資訊通知到再試點管理部460。
輸入緩衝器410係儲存所輸入的影像訊號，並且對編碼部420輸出編碼對象的影像訊號。再者，輸入緩衝器410係於從後文所述的量化統計量計算部440接收到表示因量化統計量超過預定的臨限值而進行再編碼的資訊(再試資訊)的情形時，從來自再試點管理部460所通知的再試點的圖像將影像訊號再度輸出到編碼部420。另外，輸入緩衝器410當從再試點管理部460被通知再試點資訊時，將對應於已積存的再試點以前的圖像的影像訊號加以捨棄。
編碼部420係將從輸入緩衝器410所輸入的影像訊號加以編碼，並將編碼訊息流輸出到輸出緩衝器430。另外，編碼部420係於圖像的編碼結束時，將所輸入的影像訊號加以編碼時所產生的參數(量化參數資訊)輸出到量化統計量計算部440，並且將顯示圖像的編碼已結束的狀況的資訊(編碼結束圖像資訊)加以輸出到再試點管理部460。再者，編碼部420係在從量化統計量計算部440接受了再試資訊時，從輸入緩衝器410再度輸入有來自編碼中的GOP的再試點之圖像的影像訊號，並且從參數調整部450輸入有再編碼用編碼參數，故利用所輸入的再編碼用編碼參數以進行再編碼。
輸出緩衝器430係儲存屬於GOP的編碼結果的編碼訊息流，並且當從再試點管理部460被通知再試點資訊時，輸出對應於到目前為止儲存的再試點以前的圖像的編碼訊息流，並將該資料從輸出緩衝器430去除。另外，從量化統計量計算部440接受再試資訊的情形時，捨棄對於編碼中的GOP所儲存的編碼訊息流。
量化統計量計算部440係利用從編碼部420所輸入的量化參數資訊，以求出以圖像單位變化的量化統計量。而且，在量化統計量超過預定的臨限值時，量化統計量計算部440係將再試資訊輸出到輸入緩衝器410、編碼部420、參數調整部450及輸出緩衝器430，以通知量化統計量超過預定的臨限值。
參數調整部450係在從量化統計量計算部440接受再試資訊的情形時，如前文所述將再編碼用編碼參數輸入到編碼部420。藉此，編碼部420係於再編碼時對於相同的GOP使用產生編碼量會變小的編碼參數來進行編碼。
再試點管理部460係依據編碼結束圖像資訊及最大圖像間距離資訊，在接下來的圖像的編碼中量化統計量超過預定的臨限值的情形時，將表示哪邊是成為再試點的再試點資訊通知到輸入緩衝器410及輸出緩衝器430。
沿著第19圖之流程圖說明關於本實施形態之編碼處理的流程。在以下的說明中，如S401、S402...等，在文章中記載與第19圖的流程圖對應情形。
關於進行某組GOP的編碼處理，分為下文所述的三個情況進行說明。
「情況1」：在GOP的編碼中，量化統計量未超過預定的臨限值。
「情況2」：在GOP的編碼中，量化統計量超過預定的臨限值，然以再編碼得以避免了量化統計量超過臨限值。
「情況3」：在GOP的編碼中，量化統計量超過預定的臨限值，即使再編碼也無法避免量化統計量超過臨限值。
「情況1的處理例」
首先，說明關於在GOP的編碼中量化統計量未超過預定的臨限值的情形之情況1。當GOP的圖像輸入到輸入緩衝器410時，輸入緩衝器410係將該圖像加以儲存，並且將該圖像當作編碼對象圖像輸入到編碼部420(S401)。接著，編碼部420係將該圖像加以編碼，並將編碼訊息流輸出到輸出緩衝器430(輸出緩衝器430係不將該編碼訊息流加以輸出而是儲存)，並且將關於該圖像的量化參數資訊輸出到量化統計量計算部440(S402)。再者，編碼部420係對再試點管理部460輸出編碼結束圖像資訊(S402)。
於此，於再編碼中係利用有預設編碼參數，以對應預設編碼參數的預濾器強度對編碼對象圖像運用利用預濾器部421所執行的濾波處理。另外，在本圖像所產生的DCT係數，係以按照預設編碼參數的量化參數，藉由量化部422予以量化。
量化統計量計算部440係根據從編碼部420所輸入的量化參數資訊計算對於該圖像的量化統計量。由於於此例中量化統計量未超過預定的臨限值，故量化統計量計算部440不會進行再試資訊的輸出(S403)。若編碼對象圖像為輸入映像訊號中的最終圖像，則輸出緩衝器430係輸出所儲存的編碼訊息流，並結束編碼處理(S404)。或者，若編碼對象圖像為GOP的最終圖像，則輸出緩衝器430將所儲存的編碼訊息流加以輸出，並且輸入緩衝器410係捨棄所儲存的圖像，並使處理轉移到接下來的GOP的最初的圖像之編碼處理(S405)。於此，由於在該GOP中係不會產生再編碼，故不對編碼參數添加變更的情況下，轉移到接下來的GOP的最初的圖像的編碼處理。
「情況2的處理例」
接著，說明關於在GOP的編碼中，量化統計量超過預定的臨限值，然以再編碼得以避免了量化統計量超過臨限值的情形之情況2。當GOP的圖像輸入到輸入緩衝器410時，輸入緩衝器410將該圖像加以儲存，並且對編碼部420將該圖像當作編碼對象圖像輸入(S401)。接著，編碼部420係將該圖像加以編碼，並對輸出緩衝器430輸出編碼訊息流(輸出緩衝器430係不將該編碼訊息流加以輸出而是儲存)，並且將關於該圖像的量化參數資訊輸出到量化統計量計算部440(S402)。於此，於編碼中係利用有預設編碼參數。
量化統計量計算部440係根據從編碼部420所輸入的量化參數資訊計算關於該圖像的量化統計量。結果，量化統計量計算部440對於該圖像檢測到量化統計量超過預定的臨限值時，量化統計量計算部440係將再試資訊輸出到編碼部420、參數調整部450、輸入緩衝器410及輸出緩衝器430(S403)。
對於編碼中的GOP尚未產生再試的情形(S407)，輸入緩衝器410係將儲存的編碼中的GOP的表示再試點之位置的圖像輸出到編碼部420(S408)，並且參數調整部450係將再編碼用編碼參數輸出到編碼部420(S409)。再者，輸出緩衝器430係捨棄編碼中的GOP的編碼訊息流。接著，編碼部420係利用再編碼用編碼參數將所輸入的再試點之後的圖像加以編碼。
於此，於再編碼中係利用有再編碼用編碼參數，並以對應於再編碼用編碼參數的預濾器強度(較預設編碼參數漸變程度更大)對編碼對象圖像運用由預濾器部421所進行的預濾波處理。另外，在本圖像所產生的DCT係數，係以按照再編碼用編碼參數的量化參數(較預設編碼參數量化步階大小更大)，藉由量化部422予以量化。
之後，只要量化統計量不超過預定的臨限值，該GOP的圖像就會順序從輸入緩衝器410輸入到編碼部420，且藉由編碼部420進行編碼處理。接著，在GOP的最終圖像的編碼結束的情形(S405)，從輸出緩衝器430輸出有該GOP的編碼訊息流，並且編碼部420係將編碼參數設定為預設編碼參數(S406)，且處理進入到接下來的GOP的編碼處理。此外，輸入影像的最終圖像的編碼結束的情形的運作，係與前述的情況1的情形相同地運作。
進行再編碼時的編碼參數的變更之概念圖係如第7圖所示。於第7圖的例子中，由於第二組GOP2的第六張圖像的編碼中量化統計量超過了預定的臨限值，故設定用以抑制產生編碼量的再編碼用編碼參數，以從最大圖像間距離之範圍內的GOP的開頭之I圖像開始再編碼。因再編碼而使量化統計量未超過預定的臨限值，故於接下來的GOP3的編碼中，係讓再編碼用編碼參數回到預設編碼參數，並繼續編碼處理。
進行再編碼時的CPB剩餘編碼量的變遷之概念圖係如第8圖所示，以粗線所示的部分係再編碼後的CPB剩餘編碼量。在再編碼中，由於以預濾器加強漸變程度，且量化參數也做成比預設編碼參數為大，故可抑制產生編碼量，並使CPB剩餘編碼量的變遷成為例如第8圖所示。結果，在再編碼所產生的圖像中之CPB剩餘編碼量在再編碼時增加，並且可避免在該圖像產生大的畫質劣化。
進行再編碼時的量化統計量的變遷之概念圖係如第9圖所示。如第9圖所示，於再編碼時因為變更編碼參數，故已開始了再編碼的圖像的量化統計量會變大，然因為其影像如第8圖所示於CPB剩餘編碼量會產生餘裕，故在產生了再編碼的圖像中，量化統計量會變得較再編碼前為小。
第23圖係說明將再試點以最大圖像間距離來限制的所致的輸入緩衝器與輸出緩衝器的記憶體減少之圖。將藉由本實施例設定再試點時當作「情況A」說明。例如，與本實施形態不同，在量化統計量超過預定的臨限值時，也能考慮將開始再編碼時的圖像始終設為編碼順序圖像群(例如GOP)的開頭圖像。將此稱做「情況B」。當比較情況A及情況B時，例如於情況A中，現在正在編碼的圖像係如顯示於第23圖的GOP2的第九張圖像，當將最大圖像間距離設為「5」時，再試點係成為GOP2的第四張的圖像(P圖像)，在這之前從GOP2的開頭三張圖像係不會用於再編碼。因此，對應於這些圖像的輸入緩衝器410及輸出緩衝器430的資料係變得沒有予以保存的必要，而能捨棄(第23圖的元件符號RS23)。相對於此，在如情況B的情形，從GOP2的開頭圖像的編碼開始起，到GOP2的最終圖像的編碼結束為止，有在輸入緩衝器410及輸出緩衝器430保持對應於這些圖像的資料的必要，故所需的記憶體會增加。由於於本實施形態(情況A)中，係計算出最大圖像間距離以設定再試點，故較情況B更能減少記憶體量。
「情況3的處理例」
在最後，說明關於於GOP的編碼中量化統計量超過預定的臨限值，即使再編碼也無法避免量化統計量超過臨限值時的情況3。
進行有再編碼，而即使再編碼也無法避免量化統計量超過臨限值時的量化統計量的變遷之概念圖係如第10圖所示。情況3係例如第10圖所示，於開始再編碼的GOP開頭中，可能已經在量化統計量較大的情形中產生。此時，藉由量化統計量計算部440檢測到量化統計量超過預定的臨限值，而進行GOP的再編碼的動作係與情況2相同。於該GOP的再編碼中量化統計量超過預定的臨限值時(S403、S407)，不進行進一步的再編碼，而是直接繼續編碼處理(處理會往S404轉移)。
此外，於再編碼時由於量化參數變得較通常的編碼時大，因此於再編碼時，較成為再編碼的契機的圖像更可能發生以編碼順序在過去的圖像量化統計量超過臨限值的情形。為了減低產生這種情況的可能性，再編碼時的量化參數變得較量化統計量的臨限值大的情形時，可將再編碼時的量化參數修正為與量化統計量的臨限值相等的值。然而，為了不使再編碼時的量化參數變得較通常的編碼時為小，通常的編碼時的量化參數在量化統計量以上的情形時，讓再編碼時的量化參數之值與通常的編碼時之值相等。
以上所說明的動態影像編碼控制的處理，係亦能藉由電腦及軟體程式來實現，且亦可將該程式記錄於電腦能讀取的記錄媒體，或透過網路提供。
以上，參照圖式詳細地敘述了關於本發明之實施形態，然具體的構成係不限於這些實施形態者，亦包含不脫離本發明的要旨的範圍之設計等(構成的附加、省略、置換及其他的變更)。本發明係並不受到前文所述的說明之限制，僅被所附的申請專利範圍所限定。
(產業上的利用可能性)
本發明係例如能利用於用以將影像訊號加以編碼的動態影像編碼技術。依據本發明，能以虛擬解碼器之編碼圖像緩衝器等的虛擬緩衝器不會產生失敗的方式，且使畫質的劣化不會變大的方式將影像訊號加以編碼。
10．．．輸入緩衝器
20．．．編碼部
21．．．預濾器
22．．．量化部
30．．．輸出緩衝器
40．．．量化統計量計算部
50．．．參數調整部
110．．．輸入緩衝器
120．．．編碼部
121．．．預濾器部
122．．．量化部
130．．．輸出緩衝器
140．．．量化統計量計算部
150．．．再試計數管理部
160．．．參數調整部
210．．．輸入緩衝器
220．．．編碼部
221．．．預濾器部
222．．．量化部
230．．．輸出緩衝器
240．．．量化統計量計算部
250．．．再試計數管理部
260．．．CPB狀態預測部
270．．．參數調整部
310．．．輸入緩衝器
320．．．編碼部
321．．．預濾器部
322．．．量化部
330．．．輸出緩衝器
340．．．量化統計量計算部
350．．．CPB狀態預測部
360．．．再試點管理部
370．．．參數調整部
410．．．輸入緩衝器
420．．．編碼部
421．．．預濾器部
422．．．量化部
430．．．輸出緩衝器
440．．．量化統計量計算部
450．．．參數調整部
460．．．再試點管理部
500．．．最大圖像間距離決定部
第1圖係用以說明CPB欠位之圖。
第2A圖係為編碼順序圖像群之概念圖。
第2B圖係為編碼順序圖像群之概念圖。
第2C圖係為編碼順序圖像群之概念圖。
第2D圖係為編碼順序圖像群之概念圖。
第3圖係為顯示本發明第一實施形態之動態影像編碼控制方法之處理流程圖。
第4圖係為本發明第一實施形態之動態影像編碼控制方法之變形例之處理流程圖。
第5圖係為GOP之概念圖。
第6圖係為顯示本發明第一實施形態之動態影像編碼裝置之構成例圖。
第7圖係為進行再編碼時的編碼參數的變更之概念圖。
第8圖係為進行再編碼時的CPB剩餘編碼量的變遷之概念圖。
第9圖係為進行再編碼時的量化統計量的變遷之概念圖。
第10圖係為即使再編碼亦無法避免量化統計量超過預定的臨限值的情形之量化統計量的變遷之概念圖。
第11圖係為本發明第二實施形態之動態影像編碼控制方法之處理流程圖。
第12圖係為顯示本發明第二實施形態之動態影像編碼裝置的構成例圖。
第13圖係為再試計數、編碼參數的推移之概念圖。
第14圖係為本發明第三實施形態之動態影像編碼控制方法之處理流程圖。
第15圖係為顯示本發明第三實施形態之動態影像編碼控制裝置的構成例圖。
第16圖係為顯示本發明第四實施形態之動態影像編碼控制方法之處理流程圖。
第17圖係為本發明第四實施形態之動態影像編碼控制方法的變形例之處理流程圖。
第18圖係為顯示本發明第四實施形態之動態影像編碼控制裝置的構成例圖。
第19圖係為顯示本發明第五實施形態之動態影像編碼控制方法之流程圖。
第20圖係為本發明第五實施形態之動態影像編碼控制方法的變形例之處理流程圖。
第21圖係為顯示本發明第五實施形態之動態影像編碼控制裝置的構成例圖。
第22圖係為說明參照影像用的必要記憶體量之概念圖。
第23圖係為說明將再試點以最大圖像間距離限制所致的輸入緩衝器與輸出緩衝器的記憶體減少之圖。

Claims (14)

  1. 一種動態影像編碼控制方法，係以使解碼器的虛擬緩衝器不會產生失敗的方式控制產生編碼量並將輸入影像訊號加以編碼的動態影像編碼控制方法，具有以下步驟：對於由預定數量的圖像所構成，且屬於以編碼順序連續的圖像的集合的編碼順序圖像群的各圖像，按照預定的編碼參數依序加以編碼的步驟；按前述圖像的各編碼，根據於該圖像的編碼中所利用的量化參數資訊計算出該圖像的量化統計量，並檢查前述量化統計量是否超過預定的臨限值的步驟；以及在前述量化統計量超過前述預定的臨限值的情形，將前述編碼參數以因為編碼致使產生編碼量減少的方式予以變更，並從編碼中的編碼順序圖像群的開頭之圖像使用變更後的編碼參數來進行再編碼的步驟；在前述順序編碼的步驟中，按照對應於表示再編碼次數的再試計數所設定的編碼參數來將前述編碼順序圖像群的各圖像順序編碼；並且在前述再編碼步驟中係在前述量化統計量超過前述預定的臨限值的情形時，使前述再試計數增加，並將前述編碼參數變更為前述再試計數之值越大，編碼所致的產生編碼量越減少的編碼參數。
  2. 如申請專利範圍第1項所述之動態影像編碼控制方法，其中， 到前述編碼順序圖像群之最終圖像的編碼結束為止，經編碼的各圖像的量化統計量未超過前述預定的臨限值時，調查前述虛擬緩衝器的剩餘編碼量，若前述剩餘編碼量未滿預定的剩餘編碼量臨限值或者前述再試計數為0，則不變更前述再試計數之值，而若前述剩餘編碼量在前述的剩餘編碼量臨限值以上或者前述再試計數不為0，則具有使前述再試計數減少的步驟。
  3. 如申請專利範圍第1項所述之動態影像編碼控制方法，其中，到前述編碼順序圖像群之最終圖像的編碼結束為止，經編碼的各圖像的量化統計量未超過前述預定的臨限值時，具有使前述再試計數減少的步驟。
  4. 如申請專利範圍第1項至申請專利範圍第3項中任一項所述之動態影像編碼控制方法，其中，前述編碼參數係為量化參數或者對於前述輸入影像訊號的預濾器的濾波強度，或者係為這兩者，前述編碼參數為量化參數的情形時，係設定有前述再試計數之值越大，前述量化參數的階大小會越大的編碼參數，且於前述編碼參數為前述預濾器的前述濾波強度的情形時，係設定有前述再試計數之值越大，預濾器處理所導致的模糊程度越大的編碼參數。
  5. 一種動態影像編碼控制方法，係以使解碼器之虛擬緩衝器不會產生失敗的方式控制產生編碼量並將輸入影像訊號加以編碼的動態影像編碼控制方法，具有以下步 驟：對於由將畫面內預測編碼圖像當作開頭的預定數量的圖像所構成，且屬於以編碼順序連續的圖像的集合的編碼順序圖像群的各圖像，按照預定的編碼參數依序編碼的步驟；按前述圖像的各編碼，根據於該圖像的編碼中所利用的量化參數資訊計算出該圖像的量化統計量，並檢查前述量化統計量是否超過預定的臨限值的步驟；在前述量化統計量超過前述預定的臨限值時，將前述編碼參數以因編碼致使產生編碼量減少的方式予以變更，並從當作再試點所設定的編碼順序圖像群的開頭的圖像開始使用變更後的編碼參數進行再編碼的步驟；以及在前述編碼順序圖像群的編碼已結束時，調查前述虛擬緩衝器的剩餘編碼量，若前述剩餘編碼量在預定的剩餘編碼量臨限值以上，則將前述再試點設定在接下來的編碼順序圖像群的開頭圖像，而若前述虛擬緩衝器的前述剩餘編碼量未滿前述預定的剩餘編碼量，則不變更前述再試點，而在前述接下來的編碼順序圖像群的前述開頭圖像的編碼中，前述量化統計量未超過前述預定的臨限值時，將前述再試點設定在該編碼順序圖像群的開頭圖像的步驟。
  6. 一種動態影像編碼控制方法，係以使解碼器之虛擬緩衝器不會產生失敗的方式控制產生編碼量並將輸入影像 訊號加以編碼的動態影像編碼控制方法，具有以下步驟：對於由預定數量的圖像所構成，且屬於以編碼順序連續的圖像的集合的編碼順序圖像群的各圖像，按照預定的編碼參數依序編碼的步驟；按前述圖像的各編碼，根據於該圖像的編碼中所利用的量化參數資訊計算出該圖像的量化統計量，並檢查前述量化統計量是否超過預定的臨限值的步驟；在前述量化統計量超過前述預定的臨限值時，將前述編碼參數以因編碼致使產生編碼量減少的方式予以變更，並從在編碼中的編碼順序圖像群中當作再試點所設定的圖像開始使用變更後的編碼參數以進行再編碼的步驟；以及於再編碼時，根據屬於做為再編碼對象的圖像而能回溯的最大的圖像數量的最大圖像間距離，來設定表示開始前述再編碼的圖像的位置的再試點的步驟。
  7. 如申請專利範圍第1項、第5項或第6項所述之動態影像編碼控制方法，其中，在前述編碼順序圖像群的再編碼中，至該編碼順序圖像群的最終的圖像的編碼結束為止，在經編碼的各圖像的量化統計量未超過前述預定的臨限值時，讓在接下來的編碼順序圖像群之編碼所使用的編碼參數回到通常的編碼時的編碼參數值。
  8. 如申請專利範圍第1項、第5項或第6項所述之動態影 像編碼控制方法，其中，在前述編碼順序圖像群的再編碼中，至該編碼順序圖像群的最終的圖像的編碼結束為止，在前述量化統計量未超過前述預定的臨限值時，調查前述虛擬緩衝器的剩餘編碼量，若前述剩餘編碼量未滿預定的剩餘編碼量臨限值，則不變更在接下來的編碼順序圖像群的編碼使用的編碼參數，若前述剩餘編碼量在前述預定的剩餘編碼量臨限值以上，則讓前述編碼參數回到通常的編碼時的編碼參數值。
  9. 如申請專利範圍第1項、第5項或第6項所述之動態影像編碼控制方法，其中，前述編碼參數係為量化參數或者對於前述輸入影像訊號的預濾器的濾波強度，或者係為這兩者，在前述編碼順序圖像群的再編碼時中，在前述編碼參數為前述量化參數的情形時，於再編碼時擴大前述量化參數的階大小，而在前述編碼參數為前述預濾器的前述濾波強度的情形時，係進行藉由濾波處理讓模糊程度加大的編碼參數的變更。
  10. 一種動態影像編碼裝置，係以使解碼器的虛擬緩衝器不會產生失敗的方式控制產生編碼量並將輸入影像訊號加以編碼的動態影像編碼裝置，具備有：編碼部，對於由預定數量的圖像所構成，且屬於以編碼順序連續的圖像的集合的編碼順序圖像群的各圖像，按照預定的編碼參數依序加以編碼； 量化統計量計算部，按前述圖像的各編碼，根據於該圖像的編碼中所利用的量化參數資訊計算出該圖像的量化統計量，並檢查前述量化統計量是否超過預定的臨限值，而在檢測出前述量化統計量超過前述預定的臨限值的情形時輸出再試資訊；以及參數調整部，輸出有前述再試資訊的情形時，將前述編碼參數以因為編碼致使產生編碼量減少的方式予以變更，並將所變更的編碼參數通知到前述編碼部；並且前述編碼部係在輸出有前述再試資訊的情形時，從編碼中的編碼順序圖像群的開頭圖像開始，使用前述參數調整部已經變更的編碼參數進行前述輸入影像訊號的再編碼；前述編碼部係將前述編碼順序圖像群的各圖像遵從按照表示再編碼次數的再試計數所設定的編碼參數加以依序編碼；前述動態影像編碼裝置係具備有再試計數管理部，在輸出有前述再試資訊的情形時，使前述再試計數增加，並在前述編碼順序圖像群之最終圖像的編碼結束為止，前述再試資訊未被輸出的情形時，使前述再試計數減少；並且前述參數調整部係設定按照前述再試計數所決定之前述再試計數之值越大因編碼所導致的產生編碼量越減少的編碼參數，並將所設定的編碼參數通知到前述 編碼部。
  11. 如申請專利範圍第10項所述之動態影像編碼裝置，其中，具備有：緩衝器狀態預測部，到前述編碼順序圖像群之最終圖像為止，前述量化統計量未超過前述預定的臨限值而編碼結束了的情形時，輸出因前述虛擬緩衝器的剩餘編碼量是否在預定的剩餘編碼量臨限值以上而表示需要變更參數或不需要變更參數的參數變更有無資訊；並且前述再試計數管理部係在從緩衝器狀態預測部輸入有前述參數變更有無資訊時，若前述參數變更有無資訊顯示不需要變更參數或者前述再試計數為0，則不改變前述再試計數之值，若前述參數變更有無資訊顯示需要變更且前述再試計數不為0，則使前述再試計數減少。
  12. 一種動態影像編碼裝置，係以使解碼器的虛擬緩衝器不會產生失敗的方式控制產生編碼量並將輸入影像訊號加以編碼的動態影像編碼裝置，具備有：編碼部，對於由預定數量的圖像所構成，且屬於以編碼順序連續的圖像的集合的編碼順序圖像群的各圖像，按照預定的編碼參數依序加以編碼；量化統計量計算部，按前述圖像的各編碼，根據於該圖像的編碼中所利用的量化參數資訊計算出該圖像的量化統計量，並檢查前述量化統計量是否超過預定的臨限值，而在檢測出了前述量化統計量超過前述預定的臨限值的情形時輸出再試資訊； 參數調整部，輸出有前述再試資訊的情形時，將前述編碼參數以因為編碼致使產生編碼量減少的方式予以變更，並將所變更的編碼參數通知到前述編碼部；緩衝器狀態預測部，在前述編碼順序圖像群的編碼結束時，調查前述虛擬緩衝器的剩餘編碼量，以判定前述剩餘編碼量是否在預定的剩餘編碼量臨限值以上；以及再試點管理部，按照前述緩衝器狀態預測部的判定結果，若前述虛擬緩衝器的前述剩餘編碼量在前述預定的剩餘編碼量臨限值以上，則將再試點設定為接下來的編碼順序圖像群的開頭圖像，而若前述虛擬緩衝器的前述剩餘編碼量未滿前述預定的剩餘編碼量臨限值，則不變更前述再試點，而在接下來的編碼順序圖像群的開頭圖像的編碼中，前述量化統計量未超過前述預定的臨限值時，將前述再試點設定在該編碼順序圖像群的開頭圖像；並且前述編碼部係在輸出有前述再試資訊的情形時，從做為前述再試點而設定之編碼順序圖像群的開頭圖像開始，使用前述參數調整部已經變更的編碼參數進行前述輸入影像訊號的再編碼。
  13. 一種動態影像編碼裝置，係以使解碼器的虛擬緩衝器不會產生失敗的方式控制產生編碼量並將輸入影像訊號加以編碼的動態影像編碼裝置，具備有：編碼部，對於由預定數量的圖像所構成，且屬於以 編碼順序連續的圖像的集合的編碼順序圖像群的各圖像，按照預定的編碼參數依序加以編碼；量化統計量計算部，按前述圖像的各編碼，根據於該圖像的編碼中所利用的量化參數資訊計算出該圖像的量化統計量，並檢查前述量化統計量是否超過預定的臨限值，而在檢測出了前述量化統計量超過前述預定的臨限值的情形時輸出再試資訊；參數調整部，輸出有前述再試資訊的情形時，將前述編碼參數以因為編碼致使產生編碼量減少的方式變更，並將所變更的編碼參數通知到前述編碼部；以及再試點管理部，於再編碼時，根據屬於做為再編碼對象的圖像而可回溯的最大圖像數量之最大圖像間距離，設定用以表示開始前述再編碼的圖像的位置之再試點；並且前述編碼部係在輸出有前述再試資訊的情形時，從編碼中的編碼順序圖像群中做為前述再試點所設定之圖像開始，使用前述參數調整部已經變更的編碼參數進行前述輸入影像訊號的再編碼。
  14. 一種動態影像編碼程式，係用以使電腦中執行申請範圍第1項至第9項中任一項所述之動態影像編碼控制方法。
TW100115900A 2010-05-12 2011-05-06 動態影像編碼控制方法、動態影像編碼裝置及動態影像編碼程式 TWI507016B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2010109878 2010-05-12
JP2010109874 2010-05-12
JP2010109877 2010-05-12
JP2010109875 2010-05-12
JP2010109876 2010-05-12

Publications (2)

Publication Number Publication Date
TW201215150A TW201215150A (en) 2012-04-01
TWI507016B true TWI507016B (zh) 2015-11-01

Family

ID=44914347

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100115900A TWI507016B (zh) 2010-05-12 2011-05-06 動態影像編碼控制方法、動態影像編碼裝置及動態影像編碼程式

Country Status (11)

Country Link
US (1) US9179149B2 (zh)
EP (1) EP2571268B1 (zh)
JP (1) JP5286581B2 (zh)
KR (1) KR101391661B1 (zh)
CN (1) CN102870415B (zh)
BR (1) BR112012028576A2 (zh)
CA (1) CA2798354C (zh)
ES (1) ES2773329T3 (zh)
RU (1) RU2527740C2 (zh)
TW (1) TWI507016B (zh)
WO (1) WO2011142291A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130083845A1 (en) 2011-09-30 2013-04-04 Research In Motion Limited Methods and devices for data compression using a non-uniform reconstruction space
CN103517080A (zh) * 2012-06-21 2014-01-15 北京数码视讯科技股份有限公司 实时视频流编码器和实时视频流编码方法
US9374585B2 (en) 2012-12-19 2016-06-21 Qualcomm Incorporated Low-delay buffering model in video coding
US9591321B2 (en) 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
SG10201913539SA (en) * 2013-04-07 2020-02-27 Dolby Int Ab Signaling change in output layer sets
KR102071580B1 (ko) 2014-11-03 2020-01-30 삼성전자주식회사 이미지 재부호화 방법 및 그 장치
EP3125108A1 (en) * 2015-07-31 2017-02-01 ARM Limited Vector processing using loops of dynamic vector length
JP2017158183A (ja) * 2016-02-29 2017-09-07 大学共同利用機関法人情報・システム研究機構 画像処理装置
CN107426567B (zh) * 2017-05-19 2019-11-15 西安电子科技大学 基于编码顺序已知图像集的多参考图像确定方法
KR102282455B1 (ko) * 2017-07-11 2021-07-28 한화테크윈 주식회사 영상 처리 장치 및 영상 처리 방법
JP7077141B2 (ja) * 2018-05-28 2022-05-30 シャープ株式会社 画像記録装置、画像記録方法およびプログラム
WO2021030788A1 (en) 2019-08-15 2021-02-18 Bytedance Inc. Entropy coding for palette escape symbol
CN114424545B (zh) * 2019-09-19 2024-07-16 字节跳动有限公司 用于调色板模式的量化参数推导
CN112822516B (zh) * 2020-12-30 2022-07-26 北京大学 基于数据块重组的图像组传输方法、装置、设备和系统
CN113055673B (zh) * 2021-04-23 2023-06-23 北京汇钧科技有限公司 视频流的处理方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070064815A1 (en) * 2005-09-19 2007-03-22 Mobilygen Corp. Method, system and device for improving video quality through in-loop temporal pre-filtering
JP2008109259A (ja) * 2006-10-24 2008-05-08 Victor Co Of Japan Ltd 動画像符号化装置及び動画像符号化プログラム
US20090168900A1 (en) * 2007-12-27 2009-07-02 Shimoyama Hiroyasu Encoding apparatus, encoding method, and program
JP2009260595A (ja) * 2008-04-16 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> 量子化マトリクス切り換え方法，映像符号化装置，映像符号化プログラムおよびその記録媒体

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5136371A (en) 1990-03-15 1992-08-04 Thomson Consumer Electronics, Inc. Digital image coding using random scanning
US5134476A (en) 1990-03-30 1992-07-28 At&T Bell Laboratories Video signal encoding with bit rate control
US5461420A (en) 1992-09-18 1995-10-24 Sony Corporation Apparatus for coding and decoding a digital video signal derived from a motion picture film source
US5786858A (en) 1993-01-19 1998-07-28 Sony Corporation Method of encoding image signal, apparatus for encoding image signal, method of decoding image signal, apparatus for decoding image signal, and image signal recording medium
US5589884A (en) * 1993-10-01 1996-12-31 Toko Kabushiki Kaisha Adaptive quantization controlled by scene change detection
KR950030491A (ko) 1994-04-30 1995-11-24 배순훈 부호화기
JP3911035B2 (ja) 1994-08-31 2007-05-09 ソニー株式会社 動画像符号化方法及び動画像符号化装置
KR100407085B1 (ko) 1994-12-28 2004-03-20 코닌클리케 필립스 일렉트로닉스 엔.브이. 가변비트-레이트압축방법및비디오신호인코딩장치
US5606369A (en) * 1994-12-28 1997-02-25 U.S. Philips Corporation Buffering for digital video signal encoders using joint bit-rate control
KR100203637B1 (ko) 1995-09-29 1999-06-15 전주범 동영상을 부호화하는 장치
US5982436A (en) 1997-03-28 1999-11-09 Philips Electronics North America Corp. Method for seamless splicing in a video encoder
JPH10304311A (ja) * 1997-04-23 1998-11-13 Matsushita Electric Ind Co Ltd 映像符号化装置及び映像復号化装置
JPH1118083A (ja) 1997-06-25 1999-01-22 Sony Corp ディジタル信号符号化方法及び装置、信号記録媒体並びに信号伝送方法
US6301428B1 (en) * 1997-12-09 2001-10-09 Lsi Logic Corporation Compressed video editor with transition buffer matcher
US6167088A (en) * 1998-04-03 2000-12-26 Sarnoff Corporation Method and apparatus for performing adaptive encoding rate control of a video information stream including 3:2 pull-down video information
US6859496B1 (en) 1998-05-29 2005-02-22 International Business Machines Corporation Adaptively encoding multiple streams of video data in parallel for multiplexing onto a constant bit rate channel
US6310915B1 (en) 1998-11-20 2001-10-30 Harmonic Inc. Video transcoder with bitstream look ahead for rate control and statistical multiplexing
US6529558B1 (en) 1999-05-27 2003-03-04 Zenith Electronics Corporation Coding and decoding a signal modified in accordance with the feedback states of an encoder
US6493402B1 (en) 1999-05-27 2002-12-10 Zenith Electronics Corporation Mode control for trellis decoder
KR100634660B1 (ko) 1999-09-13 2006-10-16 마츠시타 덴끼 산교 가부시키가이샤 부호화장치 및 부호화방법
GB2356998A (en) 1999-12-02 2001-06-06 Sony Uk Ltd Video signal processing
US6300973B1 (en) 2000-01-13 2001-10-09 Meir Feder Method and system for multimedia communication control
US6522693B1 (en) 2000-02-23 2003-02-18 International Business Machines Corporation System and method for reencoding segments of buffer constrained video streams
US6674797B1 (en) * 2000-03-30 2004-01-06 Lucent Technologies Inc. Ensuring video buffer verifer integrity in MPEG-like encoding
US6553150B1 (en) * 2000-04-25 2003-04-22 Hewlett-Packard Development Co., Lp Image sequence compression featuring independently coded regions
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US20050193408A1 (en) 2000-07-24 2005-09-01 Vivcom, Inc. Generating, transporting, processing, storing and presenting segmentation information for audio-visual programs
US20050210145A1 (en) 2000-07-24 2005-09-22 Vivcom, Inc. Delivering and processing multimedia bookmark
JP4428680B2 (ja) 2000-11-06 2010-03-10 パナソニック株式会社 映像信号符号化方法および映像信号符号化装置
EP1231794A1 (en) 2001-02-09 2002-08-14 STMicroelectronics S.r.l. A process for changing the resolution of MPEG bitstreams, a system and a computer program product therefor
EP1231793A1 (en) 2001-02-09 2002-08-14 STMicroelectronics S.r.l. A process for changing the syntax, resolution and bitrate of MPEG bitstreams, a system and a computer program product therefor
JP3866538B2 (ja) 2001-06-29 2007-01-10 株式会社東芝 動画像符号化方法及び装置
US6804301B2 (en) 2001-08-15 2004-10-12 General Instrument Corporation First pass encoding of I and P-frame complexity for compressed digital video
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
US7356079B2 (en) 2001-11-21 2008-04-08 Vixs Systems Inc. Method and system for rate control during video transcoding
AU2003280512A1 (en) 2002-07-01 2004-01-19 E G Technology Inc. Efficient compression and transport of video over a network
CN1206864C (zh) * 2002-07-22 2005-06-15 中国科学院计算技术研究所 结合率失真优化的码率控制的方法及其装置
US20040252758A1 (en) 2002-08-14 2004-12-16 Ioannis Katsavounidis Systems and methods for adaptively filtering discrete cosine transform (DCT) coefficients in a video encoder
MY134659A (en) * 2002-11-06 2007-12-31 Nokia Corp Picture buffering for prediction references and display
US7099389B1 (en) 2002-12-10 2006-08-29 Tut Systems, Inc. Rate control with picture-based lookahead window
US8054880B2 (en) * 2004-12-10 2011-11-08 Tut Systems, Inc. Parallel rate control for digital video encoder with multi-processor architecture and picture-based look-ahead window
US7333034B2 (en) * 2003-05-21 2008-02-19 Sony Corporation Data processing device, encoding device, encoding method, decoding device decoding method, and program
US7609762B2 (en) 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US7839930B2 (en) 2003-11-13 2010-11-23 Microsoft Corporation Signaling valid entry points in a video stream
US8345754B2 (en) * 2003-09-07 2013-01-01 Microsoft Corporation Signaling buffer fullness
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7346106B1 (en) 2003-12-30 2008-03-18 Apple Inc. Robust multi-pass variable bit rate encoding
US7453938B2 (en) 2004-02-06 2008-11-18 Apple Inc. Target bitrate estimator, picture activity and buffer management in rate control for video coder
US20050201471A1 (en) 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
KR20050090841A (ko) 2004-03-10 2005-09-14 엘지전자 주식회사 비트율 제어 방법
JP4418762B2 (ja) 2004-05-07 2010-02-24 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
US8005139B2 (en) 2004-06-27 2011-08-23 Apple Inc. Encoding with visual masking
KR100909541B1 (ko) 2004-06-27 2009-07-27 애플 인크. 멀티-패스 비디오 인코딩 방법
US20090168866A1 (en) * 2004-12-02 2009-07-02 Sony Corporation Encoding device, method, and program
US7983341B2 (en) * 2005-02-24 2011-07-19 Ericsson Television Inc. Statistical content block matching scheme for pre-processing in encoding and transcoding
JP2006295535A (ja) 2005-04-11 2006-10-26 Toshiba Corp 動画像符号化装置および方法
US20060256868A1 (en) 2005-05-16 2006-11-16 Ensequence, Inc. Methods and systems for repositioning mpeg image content without recoding
EP1908303A4 (en) 2005-07-01 2011-04-06 Sonic Solutions METHOD, DEVICE AND SYSTEM FOR USE IN MULTIMEDIA SIGNAL CODING
US20070025441A1 (en) 2005-07-28 2007-02-01 Nokia Corporation Method, module, device and system for rate control provision for video encoders capable of variable bit rate encoding
JP4492484B2 (ja) 2005-08-22 2010-06-30 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US8548048B2 (en) * 2005-10-27 2013-10-01 Qualcomm Incorporated Video source rate control for video telephony
US8406309B2 (en) * 2005-10-21 2013-03-26 Qualcomm Incorporated Video rate adaptation to reverse link conditions
US8295343B2 (en) * 2005-11-18 2012-10-23 Apple Inc. Video bit rate control method
US9071844B2 (en) * 2005-12-16 2015-06-30 Texas Instruments Incorporated Motion estimation with motion vector penalty
US7826536B2 (en) 2005-12-29 2010-11-02 Nokia Corporation Tune in time reduction
JP4584871B2 (ja) 2006-06-09 2010-11-24 パナソニック株式会社 画像符号化記録装置および画像符号化記録方法
US9582060B2 (en) * 2006-08-31 2017-02-28 Advanced Silicon Technologies Llc Battery-powered device with reduced power consumption based on an application profile data
US7804435B2 (en) * 2006-08-31 2010-09-28 Ati Technologies Ulc Video decoder with reduced power consumption and method thereof
WO2008039857A2 (en) 2006-09-26 2008-04-03 Dilithium Networks Pty Ltd. Method and apparatus for compressed video bitstream conversion with reduced-algorithmic-delay
EP2067358A2 (en) * 2006-09-28 2009-06-10 Thomson Licensing Method for rho-domain frame level bit allocation for effective rate control and enhanced video coding quality
US8711929B2 (en) 2006-11-01 2014-04-29 Skyfire Labs, Inc. Network-based dynamic encoding
US20080120676A1 (en) * 2006-11-22 2008-05-22 Horizon Semiconductors Ltd. Integrated circuit, an encoder/decoder architecture, and a method for processing a media stream
KR100846512B1 (ko) 2006-12-28 2008-07-17 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
JP2008258858A (ja) * 2007-04-04 2008-10-23 Victor Co Of Japan Ltd 動画像符号化装置
US20090161766A1 (en) 2007-12-21 2009-06-25 Novafora, Inc. System and Method for Processing Video Content Having Redundant Pixel Values
US8189677B2 (en) * 2008-04-15 2012-05-29 Sony Corporation Estimation of P frame average rate quantization parameter (QP) in a group of pictures (GOP)
JP5081306B2 (ja) * 2008-09-16 2012-11-28 パナソニック株式会社 撮像装置および動画データ作成方法
JP5152402B2 (ja) 2009-02-27 2013-02-27 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
TWI387314B (zh) 2009-03-10 2013-02-21 Univ Nat Central Image processing apparatus and method thereof
US8879623B2 (en) * 2009-09-02 2014-11-04 Sony Computer Entertainment Inc. Picture-level rate control for video encoding a scene-change I picture

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070064815A1 (en) * 2005-09-19 2007-03-22 Mobilygen Corp. Method, system and device for improving video quality through in-loop temporal pre-filtering
JP2008109259A (ja) * 2006-10-24 2008-05-08 Victor Co Of Japan Ltd 動画像符号化装置及び動画像符号化プログラム
US20090168900A1 (en) * 2007-12-27 2009-07-02 Shimoyama Hiroyasu Encoding apparatus, encoding method, and program
JP2009260595A (ja) * 2008-04-16 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> 量子化マトリクス切り換え方法，映像符号化装置，映像符号化プログラムおよびその記録媒体

Also Published As

Publication number Publication date
EP2571268A4 (en) 2015-12-16
RU2012147239A (ru) 2014-06-20
CN102870415B (zh) 2015-08-26
US20130051458A1 (en) 2013-02-28
CA2798354C (en) 2016-01-26
US9179149B2 (en) 2015-11-03
ES2773329T3 (es) 2020-07-10
WO2011142291A1 (ja) 2011-11-17
BR112012028576A2 (pt) 2016-08-02
KR20130006684A (ko) 2013-01-17
EP2571268B1 (en) 2019-11-27
JPWO2011142291A1 (ja) 2013-07-22
JP5286581B2 (ja) 2013-09-11
EP2571268A1 (en) 2013-03-20
KR101391661B1 (ko) 2014-05-07
CN102870415A (zh) 2013-01-09
RU2527740C2 (ru) 2014-09-10
TW201215150A (en) 2012-04-01
CA2798354A1 (en) 2011-11-17

Similar Documents

Publication Publication Date Title
TWI507016B (zh) 動態影像編碼控制方法、動態影像編碼裝置及動態影像編碼程式
TWI483617B (zh) 動態圖像編碼控制方法、動態圖像編碼裝置及動態圖像編碼程式產品
EP1833256B1 (en) Selection of encoded data, setting of encoded data, creation of recoded data, and recoding method and device
JP4358215B2 (ja) 動画像符号化装置及びその方法
CN101485209A (zh) 在多步视频编码器中增强性能的方法和装置
CN101325698A (zh) 仅帧内视频序列编码的比特率控制方法与装置
KR100796857B1 (ko) 동화상 부호화 방법 및 장치
US8494047B2 (en) Encoding device, method for adjusting target amount of code and record medium
KR20180056382A (ko) 비디오를 인코딩하기 위한 방법 및 인코더 시스템
JP2006352198A (ja) 画像符号化装置及び画像符号化プログラム
JP2004328150A (ja) 動画像符号化装置及び方法
KR20130032807A (ko) 동영상 부호화 장치 및 방법
JPWO2008053557A1 (ja) 動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラムおよび動画像再符号化プログラムを格納した記録媒体
WO2020008858A1 (ja) 動画像符号化装置、動画像符号化方法、プログラム
JP2007020216A (ja) 符号化装置、符号化方法、フィルタ処理装置およびフィルタ処理方法
JP4582710B2 (ja) 動画像符号化装置
WO2023126568A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
JP2015019319A (ja) 符号化装置、符号化方法及びプログラム
JP2011066592A (ja) 符号化モード選択方法，符号化モード選択装置および符号化モード選択プログラム
JP2007006533A (ja) 符号化装置、符号化方法、フィルタ処理装置およびフィルタ処理方法
TW200425745A (en) Quantization matrix adjusting method for avoiding underflow of data