TW201338554A - 動畫像編碼方法、動畫像編碼裝置及動畫像編碼程式 - Google Patents

動畫像編碼方法、動畫像編碼裝置及動畫像編碼程式 Download PDF

Info

Publication number
TW201338554A
TW201338554A TW102102592A TW102102592A TW201338554A TW 201338554 A TW201338554 A TW 201338554A TW 102102592 A TW102102592 A TW 102102592A TW 102102592 A TW102102592 A TW 102102592A TW 201338554 A TW201338554 A TW 201338554A
Authority
TW
Taiwan
Prior art keywords
coding
image
encoding
region
picture
Prior art date
Application number
TW102102592A
Other languages
English (en)
Other versions
TWI493942B (zh
Inventor
Masaki Kitahara
Atsushi Shimizu
Ken Nakamura
Seisuke KYOCHI
Naoki Ono
Original Assignee
Nippon Telegraph & Telephone
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph & Telephone filed Critical Nippon Telegraph & Telephone
Publication of TW201338554A publication Critical patent/TW201338554A/zh
Application granted granted Critical
Publication of TWI493942B publication Critical patent/TWI493942B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

於畫面內圖像中，係將預定的區域設定成一般編碼區域，而針對除此之外的區域則設定成簡易編碼區域。於後續之圖像中，一般編碼區域係設定成包含先前之圖像的一般編碼區域之更大的區域，而針對除此之外的區域則設定成簡易編碼區域。於各圖像中，在一般編碼區域之區塊係進行一般編碼，而針對簡易編碼區域之區塊則進行產生編碼量及演算量比一般編碼更小之簡易編碼。

Description

動畫像編碼方法、動畫像編碼裝置及動畫像編碼程式
本案係依據2012年1月26日於日本提出申請之日本特願2012-014062號主張優先權，並於此引用其內容。
本發明關於一種動畫像編碼方法、動畫像編碼裝置及動畫像編碼程式，係切換一般的編碼方法與產生編碼量及演算量較小之簡易編碼方法而對動畫像進行編碼者。
在雙方向通信之影像編碼中，為了實現低延遲而將虛擬緩衝器(buffer)的尺寸(size)設得非常小。因此，在編碼開始時及場景變化(scene change)時之畫面內圖像(intra picture)及在此之後的畫面間圖像(inter picture)中，容易產生緩衝器下溢(buffer underflow)。
在如此之狀況中，藉由對於畫面內圖像插入時及接著之畫面間圖像應用例如專利文獻1所記載之技術，係可減低緩衝器下溢之可能性。在該方法中，當對各 區塊(block)進行編碼時，若至目前為止之累積產生編碼量較小之情形時則進行一般編碼，而在該編碼量較大之情形時則強制性地進行產生編碼量非常小之簡易編碼。
在此，所謂一般編碼係利用了藉由動態探索/模式判定/量化控制等所求出之編碼參數(parameter)(動態向量(vector)等)之編碼，所謂簡易編碼係不利用動態探索/模式判定/量化控制等的結果，而是利用以使編碼量變小之方式強制性地決定之參數之編碼。例如，在簡易編碼中，係進行將動態向量設為0且將量化間距(quantization step)設為最大之編碼。亦即，簡易編碼係編碼參數的值的限制比一般編碼更大之編碼。所謂編碼參數係構成為編碼對象之數值資料(data)，且顯示巨集區塊模式(macroblock mode)號碼、量化參數、動態向量、預測殘差量化值等。
第9圖係顯示先前技術之動畫像編碼裝置之一例之圖。區塊編碼控制部201係在輸入編碼對象之圖像(畫像)時，將其分割成屬於編碼單位之區塊，且針對分割出之各區塊，若由至目前為止之累積產生編碼量而累積產生編碼量比預定的臨限值更小之情形時，則藉由一般編碼部202來對該區塊進行一般編碼，而在該編碼量較大之情形時，則藉由簡易編碼部203來對該區塊進行簡易編碼。量化控制部204係自一般編碼部202以及簡易編碼部203接收產生編碼量之通知，而決定進行一般編碼時之量化間距，並將之通知給一般編碼部202。
第10圖係先前技術之動畫像編碼方法之處理流程圖(flowchart)。對於各輸入圖像係反覆進行步驟S401至S408之處理。再者，於分割圖像而得之各區塊中，係反覆進行步驟(步驟)S402至S407之處理。在步驟S403中，係設定對應已編碼區塊數之累積編碼產生臨限值。在步驟S404中，係判定至目前為止之累積產生編碼量是否小於在步驟S403中設定之累積產生編碼量臨限值，而在該編碼量較小時，則進入至步驟S405，而在該編碼量較大時，則進入至步驟S406。在步驟S405中，係對於編碼對象區塊進行一般編碼。在步驟S406中，係對於編碼對象區塊進行簡易編碼。對於圖像內的全部區塊反覆進行以上之處理，並在對於一個圖像之編碼結束之後，對於下一個圖像同樣地反覆進行處理。
(先前技術文獻)
(專利文獻)
專利文獻1：日本特開2005-328183號公報
若在低位元率(bit rate)且虛擬緩衝器較小之條件下應用前述之先前技術之區別一般編碼與簡易編碼來進行編碼之方法，則會成為對畫面內圖像的大部分進行簡易編碼。該畫面內圖像雖會成為接著進行編碼之畫面間圖像的參照圖像，惟由於對圖像的大部分進行了簡易編 碼，故畫質明顯地不佳。因此，在畫面間圖像進行一般編碼時，由於在動態補償中會產生大量的預測殘差(residual)，故會產生較多的編碼量。藉此，累積產生編碼量變得較多，而變得僅有畫面間圖像的一部分能夠進行一般編碼，且大部分皆進行簡易編碼。由於如此之對大部分進行簡易編碼之狀態係在接下來之畫面間圖像亦會持續進行，故會有不會從對圖像的大部分進行簡易編碼之狀態轉換至對圖像整體進行一般編碼之狀態之情形(畫質不會復原)。
此狀況之概念係如第11圖所示。於第11圖中，陰影(hatching)部分之R1係一般編碼區域，而陰影部分以外之部分R2係簡易編碼區域。如前述當對畫面內圖像(第11圖之圖像1)的大部分進行簡易編碼時，則在下一個畫面間圖像(圖像2)之編碼中係大部分會將經過簡易編碼之圖像1設為參照圖像。因此，於圖像2中，由於在參照於圖像1經過簡易編碼之區域而進行動態補償之一般編碼區塊中會產生大量的預測殘差，故會消耗大量的產生編碼量，結果在圖像2亦會有對大部分進行簡易編碼之情形。這種情況於下一個圖像2之後之圖像亦會持續，而會有畫質不會復原之情形。再者，於圖像2中，即便是參照圖像1之一般編碼區域之情形，亦會有因累積產生編碼量較多而進行簡易編碼之情形。
本發明之編碼方法之目的在於，謀求解決上述課題，即便在畫面內圖像插入後等使用較多簡易編碼之 狀態，亦可從該狀態有效率地復原畫質。
本發明之編碼方法係為了解決上述課題而採用以下之方法。
[方法1]
(1)於畫面內圖像中，係將預定地區域設定成一般編碼區域，而針對該區域以外的區域則設定成簡易編碼區域。
(2)在後續之圖像中，將一般編碼區域設定成包含前圖像的一般編碼區域之更大的區域，而針對該區域之外的區域則設定成簡易編碼區域(於第1圖例示)。
(3)於各圖像中，在一般編碼區域之區塊進行一般編碼，而針對簡易編碼區域之區塊進行簡易編碼。
在先前技術中，如第11圖所說明，當在對畫面內圖像之大部分進行簡易編碼時，則接下來的畫面間圖像亦由於會在動態補償參照簡易編碼區域而產生大量的預測殘差，而持續對圖像的大部分進行簡易編碼之狀況。
另一方面，在本發明之編碼方法中，係在畫面內圖像設定一般編碼區域，且接下來的畫面間圖像的一般編碼區域係包含前圖像的一般編碼區域。於自然影像中，時間性地連續之圖像的時間性的相關較高。亦即，編碼對象圖像之一般編碼區域之攝影對象係存在於前圖像之一般編碼區域之可能性較高。因此，與先前技術不同，在編碼對象圖像之一般編碼區域中，係於動態補償中參照前 圖像之一般編碼區域，而可減少預測殘差，且可將產生編碼量變小。因此，由於依每個圖像將一般編碼區域擴大，而能夠以預定的週期來對圖像的全部區塊進行一般編碼，故能夠作成以預定的週期來對全畫面進行一般編碼之狀態(使畫質復原)。
[方法2]
再者，在上述方法1之(3)中，至少在一般編碼區域中，若對於進行畫面間編碼之區塊，設成僅參照前圖像的一般編碼區域，則可進一步提升畫質。
其理由係如下述。在方法1中，在圖像的一般編碼區域之編碼中，由於可參照參照圖像的簡易編碼區域，故由於動態探索演算法(algorithm)而會有參照簡易編碼區域而導致畫質下降之虞。在方法2中，由於在圖像的一般編碼區域之編碼中一定會參照參照圖像的一般編碼區域，故可防止因參照簡易編碼區域而導致之畫質下降，而使畫質提升。
[方法3]
再者，在上述方法1中，於畫面內圖像之簡易編碼中，若以最大的量化間距來對各區塊的變換係數中的DC成分進行編碼，且不對該DC成分以外的變換係數進行編碼時，則可有效地抑制緩衝器下溢。
在上述方法1中，就畫面內圖像的簡易編碼之具體方法而言，雖可容易地類推出例如進行量化間距的最大化之方法，惟在該方法之情形時，會由於輸入影像而 導致產生編碼量較多，故在低位元率、緩衝器尺寸較小之條件下發生緩衝器下溢之可能性較高。在方法3中，就畫面內圖像的簡易編碼之具體方法而言，係以最大的量化間距僅對各區塊的變換係數中的DC成分進行編碼。因此，不論在哪種輸入影像中，由於在各區塊中僅對一個變換係數進行編碼，故比起前述之方法更能夠抑制緩衝器下溢。
[方法4]
在上述方法1中，於畫面間圖像之簡易編碼區域中，若以略過模式(skip mode)來對各區塊進行編碼，則可更進一步抑制緩衝器下溢。
於上述方法1中，雖可容易地類推出例如進行量化間距的最大化之方法，惟在該方法之情形時，會由於輸入影像而導致產生編碼量較多，故在低位元率、緩衝器尺寸較小之條件下產生緩衝器下溢之可能性較高。在方法4中，就畫面間圖像的簡易編碼的具體方法而言，係以略過模式來進行編碼。因此，由於無關於輸入影像，而可以最小的產生編碼量來進行編碼，故與前述之方法相比係可抑制緩衝器下溢。
[方法5]
再者，於上述方法1之(3)中，針對編碼對象圖像的一般編碼區域中之至少與前圖像的簡易編碼區域相同位置之區塊，係進行畫面內編碼。藉此，可刪減演算量。
於前述方法1至5中進行一般的模式判定(編 碼模式的率失真成本之比較)時，係對於在編碼對象圖像的一般編碼區域中之與前圖像的簡易編碼區域相同位置之區域的區塊，在大多的情形下進行畫面內編碼。此係由於，編碼對象圖像的該區域的攝影對象雖大多顯像於前圖像的相同位置，惟對前圖像的該區域進行簡易編碼而造成畫質明顯不佳，且畫面間編碼時的率失真成本會變大。
另一方面，在方法5中，在編碼對象圖像的一般編碼區域中，由於對於與前圖像的簡易編碼區域為相同位置之區域的區塊係進行畫面內編碼，故針對該區塊係可省略進行畫面間編碼來算出率失真成本之處理。因此，與方法1等相比係可刪減演算量。
[方法6]
再者，於上述方法1之量化控制中，在決定編碼對象圖像的量化間距時，僅利用已編碼圖像的一般編碼區域的產生編碼量及量化間距。
於前述方法1中，在將量化控制方法設為任意，而進行一般的量化控制之情形時，於決定編碼對象圖像的量化間距時係利用已編碼圖像的全畫面份之產生編碼量及量化間距。由於已編碼圖像的簡易編碼區域係有不會受到圖像的複雜度之影響，而抑制產生編碼量之情形，故有極度地減小量化間距之情形，而會提高緩衝器下溢之可能性。
相對於此，若使用方法6，則在決定編碼對象圖像的量化間距時利用已編碼圖像的一般編碼區域的產 生編碼量及量化間距。因此，可防止編碼對象圖像的量化間距極度地減小，而與前述之方法相比較係可抑制緩衝器下溢。
依據本發明之動畫像編碼方法，係有可從在畫面內圖像插入後之使用較多簡易編碼之狀態能夠早期地恢復畫質之效果。
再者，藉由在圖像的一般編碼區域之編碼中，一定參照參照圖像的一般編碼區域，而可使畫質提升。
再者，就畫面內圖像的簡易編碼的具體方法而言，藉由使用以最大的量化間距僅對各區塊的變換係數中的DC成分進行編碼之方法，而可抑制緩衝器下溢。
再者，就畫面間圖像的簡易編碼的具體方法而言，藉由使用以略過模式來進行編碼之方法，而可更進一步抑制緩衝器下溢。
再者，藉由對於編碼對象圖像的一般編碼區域中之與前圖像的簡易編碼區域為相同位置之區域之區塊進行畫面內編碼，即可刪減演算量。
再者，藉由在決定編碼對象圖像的量化間距時利用已編碼圖像的一般編碼區域的產生編碼量及量化間距，即可有效地抑制緩衝器下溢。
50‧‧‧CPU
51‧‧‧RAM等記憶體
52‧‧‧影像信號輸入部
53‧‧‧程式記憶裝置
54‧‧‧編碼串流輸出部
101‧‧‧一般編碼區域設定部
102‧‧‧區塊編碼控制部
103‧‧‧一般編碼部
104‧‧‧簡易編碼部
105‧‧‧量化控制部
201‧‧‧區塊編碼控制部
202‧‧‧一般編碼部
203‧‧‧簡易編碼部
204‧‧‧量化控制部
531‧‧‧動畫像編碼程式
S101至S110‧‧‧步驟
S201至S205‧‧‧步驟
S301至S305‧‧‧步驟
S401至S408‧‧‧步驟
第1圖係說明本發明實施形態之動畫像編碼方法的概 要之圖。
第2圖係顯示本實施形態之動畫像編碼方法之一般編碼區域的設定例之圖。
第3圖係本實施形態之動畫像編碼裝置構成圖。
第4圖係顯示實施例1之編碼處理之流程之流程圖。
第5圖(A)至(C)係說明本實施形態之動畫像編碼之動態探索之例之圖。
第6圖係顯示實施例2之編碼處理之流程之流程圖。
第7圖係顯示實施例3之編碼處理之流程之流程圖。
第8圖係顯示使用電腦及軟體程式來實現本發明之動畫像編碼裝置時的系統構成例之圖。
第9圖係顯示先前技術之動畫像編碼裝置之一例之圖。
第10圖係顯示先前技術之編碼處理的流程之流程圖。
第11圖係先前技術之概念圖。
以下一面參照圖式，一面針對本發明之編碼之實施形態進行說明。
設想在屬於本發明之典型的利用場景之視訊會議之利用。在如此之系統中，為了將時間性的產生編碼量的推移平滑化，畫面內圖像大多係僅設成於最初進行編碼之圖像。並且，僅在傳送端產生封包損失(packet loss)時才插入畫面內圖像。本發明之編碼方法係在以上述方式插入畫面內圖像之時間點動作，而依每個圖像將一般編碼 區域擴大，並持續至將圖像的全畫面進行一般編碼為止。
本發明之編碼方法係在極低之位元率且緩衝器尺寸較小、畫面內圖像的大部分皆無法進行一般編碼之條件下發揮其效果。在如此之條件下，必須將畫面內圖像的一般編碼區域縮小，並逐步擴大一般編碼區域。由於此係取決於圖像的解析度、圖框率、位元率、緩衝器尺寸，故對於該等具體之條件係預先決定一般編碼區域之大小來應用於本發明。
就應用本發明之編碼方法之典型例而言，係設想如以下之條件。
圖像解析度：寬1280畫素/高720畫素
圖框率：每秒30圖像
位元率：500kbps
緩衝器尺寸：50kbits(緩衝器延遲係100msec左右，為低延遲)
第1圖係說明本發明實施形態之動畫像編碼方法之概要之圖。於第1圖所示之各圖像中，陰影部分之R1係顯示一般編碼區域，而其他部分之R2係顯示簡易編碼區域。
一般編碼區域R1係如第1圖所示，係設為從圖像的左邊開始使巨集區塊行(巨集區塊為16×16畫素之區塊)連續者。在上述之條件化中，於依據H.264來進行編碼之情形，係藉由在各圖像依每二個巨集區塊行來擴大一般編碼區域，而能夠期望以不會產生緩衝器錯誤之方 式以40圖框(約1.3秒)可達成對圖像的全畫面進行一般編碼之狀態。
如此之一般編碼區域的設定例之概念圖係顯示於第2圖。於第2圖中，A、B、C、D、E、F、...係巨集區塊。
[實施例1]
第3圖係本發明實施例1之裝置構成圖。另外，針對其他實施例，其基本的裝置構成亦與實施例1相同。
一般編碼區域設定部101係因應圖像號碼而決定哪個巨集區塊為進行一般編碼之區塊，並將該資訊作為一般編碼區域資訊而輸出至區塊編碼控制部102。在實施例1中，係如前述依每個圖像並依每二個巨集區塊來擴大一般編碼區域。再者，僅最初的圖像(圖像號碼為0)成為畫面內圖像。因此，從圖像號碼為40之圖像開始係於全部巨集區塊中進行一般編碼。
區塊編碼控制部102係輸入圖像，並輸入對應於該圖像之一般編碼區域資訊。並且，依逐行掃描(raster scan)之順序，該圖像的巨集區塊若位於一般編碼區域內則將之輸出至一般編碼部103，若位於簡易編碼區域內則將之輸出至簡易編碼部104。
一般編碼部103係設為一般的H.264編碼器(encoder)，而對所輸入之巨集區塊進行一般編碼。亦即，若編碼對象圖像為畫面內圖像，則進行畫面內預測模式之 判定、預測殘差信號之正交變換/量化、熵值(entropy)編碼。若編碼對象圖像為畫面間圖像，則進行動態探索、模式判定、預測殘差信號之正交變換/量化、熵值編碼。不論在哪種狀況中，於量化中，皆利用依據因應位元率及虛擬緩衝器的緩衝器尺寸之一般的量化控制所決定之量化間距。
簡易編碼部104係對所輸入之巨集區塊進行簡易編碼。若編碼對象圖像為畫面內圖像，則將畫面內預測模式設成16×16畫素之平均值預測，以最大量化間距而僅對巨集區塊的正交變換係數之DC成分進行編碼。另一方面，若編碼對象圖像為畫面間圖像，則巨集區塊係設成略過模式。
量化控制部105係設成進行先前技術之一般的量化控制，且以產生編碼量作為輸入，將巨集區塊單位之量化間距輸出至一般編碼部。
依據第4圖所示之步驟S101至S110來說明實施例1之編碼處理的流程。
首先，從最初的圖像(圖像號碼0)之處理開始說明。一般編碼區域設定部101係由於圖像號碼為0且為畫面內圖像，故對於圖像的左端的二個巨集區塊行係將其決定為一般編碼區域，並作為一般編碼區域資訊而輸出至區塊編碼控制部(S102、S103)。
於區塊編碼控制部102係輸入有圖像號碼0之圖像，並依據一般編碼區域資訊，而依逐行掃描順序處 理巨集區塊。最初係處理第2圖之巨集區塊A。由於巨集區塊A係在一般編碼區域內，故將巨集區塊A輸出至一般編碼部103。一般編碼部103係對巨集區塊A進行一般編碼。
接著，亦對巨集區塊B進行相同之處理。關於接著處理之巨集區塊C，由於並不屬於一般編碼區域(由於屬於簡易編碼區域)，故輸出至簡易編碼部104。另外，由於編碼對象圖像為畫面內圖像，故簡易編碼部104係將畫面內預測模式設為16×16畫素之平均值預測，並以最大量化間距來僅對巨集區塊的正交變換係數之DC成分進行編碼。若上端的巨集區塊列之處理完成，則從巨集區塊D開始同樣地進行處理(S106、S107、S108)。
針對下一個圖像(圖像號碼1)之處理進行說明。一般編碼區域設定部101係由於圖像號碼為1，故對於圖像的左端之四個巨集區塊行係將其決定成一般編碼區域，並作為一般編碼區域資訊而輸出至區塊編碼控制部102(S102、S103)。
於區塊編碼控制部102係輸入有圖像號碼1之圖像，並依據一般編碼區域資訊，依逐行掃描之順序處理巨集區塊。針對巨集區塊A至D係由於位於一般編碼區域內，故將巨集區塊輸出至一般編碼部103，並由一般編碼部103進行一般編碼。針對下一個巨集區塊E，由於並不屬於一般編碼區域，故輸出至簡易編碼部104。另外，由於編碼對象圖像為畫面間圖像，故簡易編碼部104係將 該巨集區塊設成略過模式而進行編碼。若上端的巨集區塊列之處理完成，則從巨集區塊F開始同樣地進行處理(S106、S107、S108)。
[實施例2]
實施例2的基本流程雖與實施例1相同，惟一般編碼部103之動作有若干不同。具體而言，係區塊之畫面間編碼時的動作不同。
在一般的H.264之編碼器中，於區塊的畫面間編碼時的動態探索中，由於並未考量參照圖像之一般編碼區域及簡易編碼區域，故會有參照簡易編碼區域來進行畫面間編碼之情形。一般而言，在動態探索中，係探索以預定的探索中心為中心之預定的探索範圍。於第5圖(A)中係顯示該例。就H.264編碼器而言，係有以預測向量為探索中心之情形，在此情形下，由於探索範圍會包含於參照圖像的簡易編碼區域，而對於該區塊係參照簡易編碼區域來進行編碼，故會產生較多之預測殘差。另外，就預測向量而言，大多係設為編碼對象區塊的周圍之動態向量的中值(median)。
在實施例2之一般編碼部103中，係藉由在區塊的畫面間編碼時進行下一個動作而避免該情形。
第6圖係顯示實施例2之流程。首先，進行畫面內預測(S201)。在進行畫面間預測之前，係於區塊的動態探索時算出預測向量及探索範圍，並判定探索範圍是否與簡易編碼區域重複(S202)。在並未重複時，則直 接進行動態探索而進行畫面間預測，並進入編碼處理(S203、S205)。另一方面，在重複時(參照第5圖之(B))，則將探索範圍水平地移動至探索範圍不會與簡易編碼區域重複之區域(參照第5圖之(C))。並且，於經過移動之探索範圍內進行動態探索而進行畫面間預測，並進入編碼處理(S204、S205)。
[實施例3]
實施例3的基本的流程雖與實施例1相同，惟一般編碼部103之動作有若干不同。具體而言，係編碼對象圖像的一般編碼區域的巨集區塊中之與參照圖像的簡易編碼區域為相同位置之巨集區塊的編碼的動作不同。如此之巨集區塊係相當於例如第2圖之圖像1之巨集區塊C及D。
於巨集區塊之編碼中，一般係進行模式判定。在模式判定中，係比較進行畫面內編碼時的率失真成本及進行畫面間編碼時的率失真成本，並選擇使率失真成本成為最小之編碼方法。
實施例3之流程係顯示於第7圖。首先，進行畫面內預測(S301)。就實施例3的一般編碼部103而言，係判定編碼對象巨集區塊是否與參照圖像的一般編碼區域為相同位置(S302)。在編碼對象巨集區塊與參照圖像的一般編碼區域為相同位置時，則在進行畫面間預測之後(S303)，以進行與畫面內編碼及畫面間編碼相關之模式判定所決定之編碼方法來進行編碼，並輸出編碼串流 (S304)。另一方面，在編碼對象巨集區塊與參照圖像的簡易編碼區域為相同位置時，不會進行模式判定而依據畫面內編碼來輸出編碼串流(S305)。
[實施例4]
在前述之實施例1中，雖將量化控制部105設成進行先前技術之一般的量化控制者，惟在實施例4中，量化控制部105之動作係不同。就先前技術之一般的量化控制而言，係從編碼對象圖像的目標編碼量、編碼對象圖像的複雜度指標值來導出編碼對象圖像的量化間距。具體而言，係進行以下處理。
將編碼對象圖像的目標編碼量設為T。目標編碼量T係依據目標位元率、至目前為止之產生編碼量等來加以決定。依據以下公式來求出編碼對象圖像的複雜度指標值X。
X=G×Qave
G係於最近進行過編碼之相同圖像類型(picture type)之圖像的產生編碼量。另一方面，Qave係同一個已編碼圖像的平均量化間距。由以下公式來決定編碼對象圖像的量化間距。
Q=X/T
巨集區塊單位的量化間距係依據累積產生編碼量並使Q變動來加以決定。在實施例1中，G及Qave之計算亦利用簡易編碼區域的產生編碼量及量化間距。此時，由於簡易編碼區域係無關於圖像的複雜度而極端地抑 制產生編碼量，故會有X不會表示出編碼對象圖像的複雜度之虞。
在實施例4中，係以下述方式來求出複雜度指標值X。將編碼對象圖像的瞬前之同一個圖像類型之已編碼圖像之一般編碼區域的面積設為An，將圖像面積設為A，而以下述方式來表示A_Ratio。
A_Ratio=An/A
量化控制部105係依據從一般編碼部103所輸入之已編碼圖像的產生編碼量Ga及與該已編碼圖像相關之A_Ratio，以下述之方式來求得G。
G=G/A_Ratio
並且，Qave係作為在一般編碼區域的巨集區塊所利用之量化間距的平均值來加以計算。之後之處理係如前述。
以上之動畫像編碼處理係亦可藉由電腦及軟體程式來實現，亦可將該程式記錄於電腦可讀取之記錄媒體，亦可透過網路來加以提供。
第8圖係顯示藉由電腦及軟體程式來構成第3圖所示之動畫像編碼裝置時的硬體(hardware)構成例。本動畫像編碼系統係構成為以匯流排(bus)連接有：CPU50，係執行程式；RAM等記憶體51，係儲存有CPU50所存取之程式及資料；影像信號輸入部52(亦可為由碟片(disk)裝置等構成之記憶影像信號之記憶部)，係輸入來自攝影機等編碼對象的影像信號；程式記憶裝置53，係 記憶動畫像編碼程式531；以及編碼串流輸出部54(亦可為由碟片裝置等構成之記憶編碼串流之記憶部)。
CPU50係藉由執行從程式記憶裝置53載入(load)至記憶體51之動畫像編碼程式531，來對由影像信號輸入部52所輸入之輸入影像信號進行編碼，並將編碼結果之編碼串流經由編碼串流輸出部54而輸出至網路等。
以上，雖參照圖式而說明了實施例1至4作為本發明之實施形態，惟上述實施形態僅為本發明之例示，本發明明顯並非由上述實施形態所限定者。因此，亦可在不超出本發明的精神及技術範圍之範圍內進行構成要素之追加、省略、置換、以及其他變更。
(產業上之可利用性)
依據本發明，可應用於從插入畫面內圖像後等使用較多簡易編碼之狀態有效率地復原畫質之動畫像編碼。

Claims (8)

  1. 一種動畫像編碼方法，係切換第1編碼方法及編碼參數的值的限制比前述第1編碼方法更大之第2編碼方法來對動畫像進行編碼者，包括下述步驟：於畫面內圖像中，將預定區域設定成第1編碼區域，並將除此之外的區域設成第2編碼區域之步驟；於接續於前述畫面內圖像之圖像中，係將前述第1編碼區域設定成包含先前之圖像的第1編碼區域之更大的區域，而將除此之外的區域設定成第2編碼區域之步驟；第1編碼步驟，係針對各圖像之前述第1編碼區域之區塊使用前述第1編碼方法進行編碼；以及第2編碼步驟，係針對各圖像之前述第2編碼區域之區塊使用前述第2編碼方法進行編碼。
  2. 如申請專利範圍第1項所述之動畫像編碼方法，其中，在使用前述第1編碼方法進行編碼的步驟中，針對至少前述第1編碼區域中之進行畫面間編碼之區塊，係僅參照先前的圖像的第1編碼區域。
  3. 如申請專利範圍第1項或第2項所述之動畫像編碼方法，其中，在使用前述第2編碼方法進行編碼之步驟中，係以最大之量化間距來對畫面內圖像之各區塊的變換係數中之DC成分進行編碼，而除此之外之變換係數則不進行編碼。
  4. 如申請專利範圍第1項至第3項中任一項所述之動畫 像編碼方法，其中，在使用前述第2編碼方法進行編碼的步驟中，於畫面間圖像之第2編碼區域中，係以略過模式對各區塊進行編碼。
  5. 如申請專利範圍第1項至第4項中任一項所述之動畫像編碼方法，其中，在使用前述第1編碼方法進行編碼之步驟中，針對編碼對象圖像的第1編碼區域中至少與先前之圖像的第2編碼區域為相同位置之區塊，進行畫面內編碼。
  6. 如申請專利範圍第1項至第5項中任一項所述之動畫像編碼方法，其中，在使用前述第1編碼方法進行編碼之步驟中，於量化控制中係使用僅利用已編碼圖像的前述第1編碼區域的產生編碼量及量化間距所決定之量化間距來進行編碼。
  7. 一種動畫像編碼裝置，係切換第1編碼方法及編碼參數之值的限制比前述第1編碼方法更大之第2編碼方法來對動畫像進行編碼者，該動畫像編碼裝置包括：編碼區域設定部，係於畫面內圖像中，將預定區域設定成第1編碼區域，並將除此之外的區域設成第2編碼區域，且於接續於前述畫面內圖像之圖像中，係將前述第1編碼區域設定成包含先前之圖像的第1編碼區域之更大的區域，而將除此之外的區域設定成第2編碼區域；第1編碼部，係針對各圖像中之前述第1編碼區域之區塊使用前述第1編碼方法進行編碼；以及 第2編碼部，係針對各圖像中之前述第2編碼區域之區塊使用前述第2編碼方法進行編碼。
  8. 一種動畫像編碼程式，係用以使電腦執行如申請專利範圍第1項至第6項中任一項所述之動畫像編碼方法。
TW102102592A 2012-01-26 2013-01-24 動畫像編碼方法、動畫像編碼裝置及動畫像編碼程式 TWI493942B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012014062A JP5727398B2 (ja) 2012-01-26 2012-01-26 動画像符号化方法，動画像符号化装置および動画像符号化プログラム

Publications (2)

Publication Number Publication Date
TW201338554A true TW201338554A (zh) 2013-09-16
TWI493942B TWI493942B (zh) 2015-07-21

Family

ID=48873467

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102102592A TWI493942B (zh) 2012-01-26 2013-01-24 動畫像編碼方法、動畫像編碼裝置及動畫像編碼程式

Country Status (11)

Country Link
US (1) US10051270B2 (zh)
EP (2) EP2787729A4 (zh)
JP (1) JP5727398B2 (zh)
KR (1) KR101678138B1 (zh)
CN (1) CN104041037B (zh)
BR (1) BR112014017478A8 (zh)
CA (1) CA2862701A1 (zh)
ES (1) ES2850776T3 (zh)
RU (1) RU2014129006A (zh)
TW (1) TWI493942B (zh)
WO (1) WO2013111747A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160127196A1 (en) * 2014-10-29 2016-05-05 Xiaomi Inc. Device connection prompt
JP6943628B2 (ja) * 2017-05-24 2021-10-06 Ｎｔｔエレクトロニクス株式会社 映像符号化装置および映像符号化方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5001559A (en) 1989-10-12 1991-03-19 International Business Machines Corporation Transform coding using coefficient prediction techniques
KR0152034B1 (ko) * 1994-06-29 1998-10-15 김광호 인트라부호화방법
US5929916A (en) * 1995-12-26 1999-07-27 Legall; Didier J. Variable bit rate encoding
CN1140130C (zh) 1997-02-08 2004-02-25 松下电器产业株式会社 静画和动画编码的量化矩阵
US6256423B1 (en) * 1998-09-18 2001-07-03 Sarnoff Corporation Intra-frame quantizer selection for video compression
JP2001008212A (ja) * 1999-06-18 2001-01-12 Hitachi Ltd 画像伝送方法
JP3858520B2 (ja) * 1999-06-22 2006-12-13 日本ビクター株式会社 動画像符号化装置及びその方法
JP4215197B2 (ja) 2002-04-12 2009-01-28 パナソニック株式会社 画像符号化方法および画像復号化方法
FI114679B (fi) * 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
JP3513148B1 (ja) 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
WO2004064373A2 (en) * 2003-01-09 2004-07-29 The Regents Of The University Of California Video encoding methods and devices
JP4532980B2 (ja) 2004-05-12 2010-08-25 キヤノン株式会社 動画像符号化装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP4361435B2 (ja) 2004-07-14 2009-11-11 株式会社エヌ・ティ・ティ・ドコモ 動画像復号方法、動画像復号プログラム、動画像復号装置、動画像符号化方法、動画像符号化プログラム及び動画像符号化装置
WO2006112272A1 (ja) 2005-04-13 2006-10-26 Ntt Docomo, Inc. 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、および動画像復号プログラム
JP4384130B2 (ja) * 2006-03-28 2009-12-16 株式会社東芝 動画像復号方法及び装置
JP2008258953A (ja) * 2007-04-05 2008-10-23 Ibex Technology Co Ltd 符号化装置、符号化プログラムおよび符号化方法
JP2007267414A (ja) * 2007-05-24 2007-10-11 Toshiba Corp フレーム内画像符号化方法及びその装置
JP4817263B2 (ja) * 2007-09-14 2011-11-16 富士フイルム株式会社 画像処理装置、画像処理方法、およびプログラム
JP5437807B2 (ja) * 2007-09-18 2014-03-12 富士通株式会社 動画像符号化装置および動画像復号装置
US8600179B2 (en) * 2009-09-17 2013-12-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image based on skip mode
JP2011172039A (ja) * 2010-02-19 2011-09-01 Sony Corp 復号装置および方法
JP5581854B2 (ja) 2010-07-02 2014-09-03 株式会社リコー 定着装置及び画像形成装置

Also Published As

Publication number Publication date
CN104041037A (zh) 2014-09-10
EP2787729A1 (en) 2014-10-08
KR101678138B1 (ko) 2016-11-21
EP2787729A4 (en) 2015-08-19
JP5727398B2 (ja) 2015-06-03
WO2013111747A1 (ja) 2013-08-01
CN104041037B (zh) 2017-07-07
BR112014017478A8 (pt) 2017-07-04
CA2862701A1 (en) 2013-08-01
RU2014129006A (ru) 2016-03-20
TWI493942B (zh) 2015-07-21
BR112014017478A2 (pt) 2017-06-13
US20150010061A1 (en) 2015-01-08
EP3531699A1 (en) 2019-08-28
US10051270B2 (en) 2018-08-14
ES2850776T3 (es) 2021-08-31
EP3531699B1 (en) 2020-11-11
JP2013153387A (ja) 2013-08-08
KR20140110950A (ko) 2014-09-17

Similar Documents

Publication Publication Date Title
JP5133290B2 (ja) 動画像符号化装置および復号装置
JP2010130558A (ja) 動画像符号化装置および動画像符号化方法
JP4774315B2 (ja) 画像復号化装置及び画像復号化方法
US20170099491A1 (en) Apparatus, method and non-transitory medium storing program for encoding moving picture
WO2021196035A1 (zh) 视频编码的方法和装置
JP5246603B2 (ja) 同期制御方法および情報処理装置
JP2007013298A (ja) 画像符号化装置
JP2007104117A (ja) 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム
JP5748225B2 (ja) 動画像符号化方法，動画像符号化装置および動画像符号化プログラム
TWI493942B (zh) 動畫像編碼方法、動畫像編碼裝置及動畫像編碼程式
JP2014078891A (ja) 画像処理装置、画像処理方法
JP2007110409A (ja) 画像処理装置及び画像処理方法をコンピュータに実行させるためのプログラム
JP2010226528A (ja) 符号化装置およびその方法
WO2022110131A1 (zh) 帧间预测方法、装置、编码器、解码器和存储介质
JP4849441B2 (ja) 動画像符号化装置
JP2009118097A (ja) 画像符号化装置及びその制御方法、コンピュータプログラム
JP2015019319A (ja) 符号化装置、符号化方法及びプログラム
JP4160513B2 (ja) 動画像の輝度変化パラメータ推定方法，動画像の輝度変化パラメータ推定プログラムおよびその記録媒体，並びに，動画像符号化装置，動画像符号化方法，動画像符号化プログラムおよびその記録媒体
JP2008066911A (ja) 映像符号化方法、映像符号化装置、映像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP6489227B2 (ja) 映像符号化装置及び映像符号化方法
JP2014075708A (ja) 動画像符号化装置及び動画像符号化方法
WO2019187396A1 (ja) 画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラム
JP5268666B2 (ja) 画像符号化装置
JP2007194935A (ja) 動画像符号化装置および動画像符号化プログラム
JP2012054759A (ja) 符号化装置、符号化方法、およびプログラム