TW201328362A - 影像編碼方法、裝置、影像解碼方法、裝置及該等之程式 - Google Patents

影像編碼方法、裝置、影像解碼方法、裝置及該等之程式 Download PDF

Info

Publication number
TW201328362A
TW201328362A TW101138201A TW101138201A TW201328362A TW 201328362 A TW201328362 A TW 201328362A TW 101138201 A TW101138201 A TW 101138201A TW 101138201 A TW101138201 A TW 101138201A TW 201328362 A TW201328362 A TW 201328362A
Authority
TW
Taiwan
Prior art keywords
interpolation filter
interpolation
filter coefficient
parameter
decoding
Prior art date
Application number
TW101138201A
Other languages
English (en)
Inventor
Shohei Matsuo
Yukihiro Bandoh
Takeshi Ito
Seishi Takamura
Atsushi Shimizu
Hirohisa Jozawa
Original Assignee
Nippon Telegraph & Telephone
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph & Telephone filed Critical Nippon Telegraph & Telephone
Publication of TW201328362A publication Critical patent/TW201328362A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明提供一種影像編碼裝置，係減低適應內插濾波器的濾波器係數的產生編碼量。使用動態補償之影像編碼裝置係包括：動態檢測部，係進行動態探索而取得動態向量；內插濾波器係數導出部，係使用前述動態向量算出用於小數精密度畫素的內插之內插濾波器係數；內插部，係使用前述內插濾波器係數及前述動態向量來進行前述小數精密度畫素的前述內插而實施編碼；參數選擇部，係在用於前述內插濾波器係數的熵值編碼之參數中，自所指定之複數個參數中選擇內插濾波器係數的產生編碼量成為最小之參數；以及編碼處理部，係對前述所選擇之參數及所算出之前述內插濾波器係數進行編碼，並輸出經過編碼之參數及經過編碼之內插濾波器係數。

Description

影像編碼方法、裝置、影像解碼方法、裝置及該等之程式
本發明關於一種影像編碼/解碼技術，係謀求影像編碼之內插濾波器(filter)的性能改善，進而改善編碼效率者。
本案係依據2011年10月18日於日本提出申請之特願2011-228553號主張優先權，並於此引用其內容。
於影像編碼中，就在不同畫面間執行預測之畫面間預測(動作補償)編碼而言，係參照已解碼過之圖框(frame)，並求取使預測誤差能量成為最小之動態向量(vector)，且將該預測誤差信號(又稱為殘差信號)予以正交變換。之後，施加量子化，並經由熵值(entropy)編碼，在最後成為二元資料(binary data)亦即位元訊流(bit stream)。為了提高編碼效率，減低預測誤差能量係不可或缺，故要求預測精密度較高之預測方式。
於影像編碼標準方式係導入有多數的用以提高畫面間預測的精密度之工具(tool)。依據參照圖框的整數精密度畫素而使用6分接(6 tap)之濾波器對1/2精密度之畫素進行內插，再利用該畫素藉由線性內插產生1/4精密度之畫素。藉此，對於小數精密度之動作係使預測變得準確。本工具係稱為1/4畫素精密度預測。
針對策劃編碼效率比H.264/AVC更高之新一代影像編碼標準方式，國際標準化組織ISO/IEC"MPEG"(International Organization for Standardization/International Electrotechnical Commission"Moving Picture Experts Group"，國際標準化組織/國際電工委員會"動態影像專家組")及ITU-T"VCEG"(International Telecommunication Union-Telecommunication Standardization Sector"Video Coding Experts Group"，國際電信聯盟遠端通信標準化組"視訊編碼專家組")係共同設立了研討團隊(team)(Joint Collaborative Team for Video Coding(視訊編碼聯合協作團隊)：JCT-VC)。新一代標準方式係稱為高能率影像編碼方式(High Efficiency Video Coding：HEVC)，現在係由世界各國收集各種新訂編碼技術，並在JCT-VC會議中檢討。
其中，尤其提出有多數關聯於畫面間預測(動作補償)之提案，於HEVC用參照軟體(software)(HEVC test Model：HM，HEVC測試模型)，亦提案有提高小數精密度畫素的內插精密度之工具，其中依據DCT(Discrete Cosine Transform，離散餘弦變換)係數的基底來導出內插濾波器係數之DCT基底內插濾波器(DCT-based Interpolation Filter：DCT-IF)係效果較高，而採用為HM的內插濾波器候補。再者，為了提高內插精密度，亦提案有以圖框單位適應性地使內插濾波器係數變化之內插濾波器，並稱為適應內插濾波器(Adaptive Interpolation Filter：AIF)。適應內插濾波器之編碼效率改善的效果較高，而亦採用於由VCEG主導而作成之新一代影像編碼用參照軟體(Key Technical Area：KTA，關鍵技術領域)。為了提高對於提高編碼效率之貢獻，內插濾波器的性能改善係為備 受期待之領域。
針對以往的內插濾波器進行詳細之說明。
[固定性內插]
第13圖係顯示H.264/AVC之小數精密度的畫素內插方法之圖。如第13圖所示，於H.264/AVC中，係當進行1/2畫素位置的內插時，使用成為對象之內插畫素的左右各3點共計6整數畫素來進行內插。對於垂直方向係使用上下各3點共計6點整數畫素來進行內插。濾波器係數係分別成為[(1,-5,20,20,-5,1)/32]。在1/2畫素位置經過內插之後，1/4畫素位置係使用[1/2,1/2]的平均值濾波器來進行內插。由於必須一下子對1/2畫素位置全部進行內插而加以求取，故雖計算複雜度較高，但卻可進行較高性能之內插，而導致提高編碼效率。以上之固定濾波器之內插技術係揭示於非專利文獻1。
如H.264/AVC的一維6分接濾波器般對於全部輸入畫像及全部圖框使用相同值之係數值之濾波器，係稱為固定內插濾波器(Fixed Interpolation Filter)。
作為進一步改善採用於H.264/AVC之內插濾波器的性能之方法，在HEVC用參照軟體HM中，係採用DCT基底內插濾波器(DCT-IF)。將該DCT基底內插濾波器的小數精密度之畫素內插方法顯示於第14圖。如第14圖所示，將小數精密度位置之內插對象畫素設為p，將整數位置畫素設為Px，並將表示p的位置之整數位置畫素間參數(parameter)設為α(0≦α≦1)。此時，將使用於內插之整數位置的畫素數，亦即將分接長設為2M(M為1以上之整數)。依據DCT變換的定義式，式(1)係成立。
再者，依據逆DCT變換的定義，式(2)係成立。
藉由將x視為位置，小數位置α之畫素內插式係成為以下之式(3)。
若依據式(3)而決定了用於內插之分接長2M及內插對象位置α，則可唯一地導出係數。由以上之討論所得到之內插濾波器的事例係整理於表1及表2。針對上述之詳細內容，係揭示於非專利文獻2。
由於該DCT基底內插濾波器係可對應於任意的濾波器長度及內插精密度，而為高性能之內插濾波器，故採用於HEVC用測試 模型HM。
[適應性內插]
在H.264/AVC及DCT基底內插濾波器中，無關於輸入畫像條件(程序(sequence)種類/畫像大小(size)/圖框率(frame rate))及編碼條件(區塊大小(block size)/GOP(Group of Pictures，圖群)構造/QP(Quantization Parameter，量子化參數))，而濾波器係數值為固定。在濾波器係數值為固定之情形，係並未考量例如混訊(aliasing)、量子化誤差、動態推定之誤差以及攝影機雜訊(camera noise)等時間性地變化之效果。因此，就編碼效率之觀點而言，推測其性能提升係有限度。因此，在非專利文獻3中提案有使內插濾波器係數適應性地變化之方式，並稱為分離型適應內插濾波器(SAIF：Separable Adaptive Interpolation Filter)，且使用一維之6分接內插濾波器。
第15A圖至第15C圖係顯示分離型適應內插濾波器(SAIF)之小數精密度之畫素內插方法之圖。就其步驟而言，如第15B圖之步驟(Step)1所示，首先對水平方向之畫素(a,b,c)進行內插。濾波器係數之決定係使用整數精密度畫素C1至C6。將式(4)的預測誤差能量函數Eh 2最小化之水平方向濾波器係數係藉由一般熟知之最小平方法(參照非專利文獻3)而解析性地予以決定。
其中，S係顯示原畫像、P係顯示已解碼參照畫像、x及y係 分別顯示畫像中的水平及垂直方向的位置。再者，~x(~係附加於x之上部之記號；其他亦同)係~x=x+MVx-FilterOffset，MVx係顯示於事前得到之動態向量的水平成分，FilterOffset係顯示用以進行調整之變動值(offset)(將水平方向濾波器除以2之值)。對於垂直方向，係成為~y=y+MVy，而MVy係顯示動態向量的垂直成分。wci係顯示應求取之水平方向濾波器係數群ci(0≦ci<6)。
可得到與以式(4)求得之濾波器係數相同數量之一次方程式，最小化處理係按每個水平方向之小數精密度畫素位置而獨立地予以實施。經過該最小化處理而求得三種6分接濾波器係數群，並使用該濾波器係數群對小數精密度畫素a、b、c進行內插。
在完成水平方向的畫素內插之後，如第15C圖之步驟2所示，實施垂直方向的內插處理。藉由對與水平方向同樣之線性問題求解而決定垂直方向之濾波器係數。具體而言，係解析性地決定將式(5)之預測誤差能量函數Ev 2予以最小化之垂直方向濾波器係數。
其中，S係顯示原畫像、^P(^係附加於P上方之記號)係顯示解碼後朝向水平方向經過內插處理之畫像、x及y係分別顯示畫像中的水平及垂直方向的位置。再者，表現為~x=4˙(x+MVx)，MVx係顯示經過整數化之動態向量的水平成分。對於垂直方向， 係表現為~y=y+MVy-FilterOffset，MVy係顯示動態向量的垂直成分，FilterOffset係顯示用以進行調整之變動值(將濾波器長除以2之值)。wcj係顯示應求取之垂直方向濾波器係數群cj(0≦cj<6)。
最小化處理係按每個小數精密度畫素而獨立地實施，而得到12種之6分接濾波器係數。使用該濾波器係數，對殘留之小數精密度畫素進行內插。
如以上所述，必須將合計90(=6×15)個濾波器係數予以編碼並傳送至解碼側。尤其對於低解析度之編碼，由於管理負擔(overhead)變大，故使用濾波器之對稱性來將應傳送之濾波器係數刪減。例如，在第15A圖中，b、h、i、j、k之位置係就內插方向而言，從各整數精密度畫素觀看為位於中心位置，而若為水平方向，令用於左3點之係數反轉則可適用於右3點。同樣地，若為垂直方向，令用於上3點之係數反轉則可適用於下3點(c1=c6,c2=c5,c3=c4)。
另外，由於d與l之關係為隔著h而對稱，故濾波器係數亦可分別反轉加以利用。亦即，若傳送d的6係數，則該值亦可適用於l。成為c(d)1=c(l)6,c(d)2=c(l)5,c(d)3=c(l)4,c(d)4=c(l)3,c(d)5=c(l)2,c(d)6=c(l)1。該對稱性係亦可利用於e與m、f與n、以及g與o。對於a與c雖然同樣的理論亦成立，惟由於水平方向亦會影響垂直方向之內插的結果，故不使用對稱性，a與c係分別各自進行傳送。利用以上對稱性之結果，按每個圖框應進行傳送之濾波器係數係成為51(水平方向為15、垂直方向為36)。
另外，從所傳送之濾波器係數中取出算出之濾波器係數與用 於係數算出之固定內插濾波器係數之差分值，並實際對該殘差濾波器係數進行編碼。
(先前技術文獻) (非專利文獻)
非專利文獻1：大久保榮，角野真也，菊池義浩，鈴木輝彥："H.264/AVC教科書改訂三版", Impress, pp. 119-123, 2009
非專利文獻2：Ken McCann, Woo-Jin Han, Il-Koo Kim, Jung-Hye Min, Elena Alshina, Alexander Alshin, Tammy Lee, Jianle Chen, Vadim Seregin, Sunil Lee, Yoon-Mi Hong, Min-Su Cheon, Nikolay Shlyakhov, "Samsung's Response to the Call for Proposals on Video Compression Technology", JCTVC-A 124 r2, pp. 12-14, 1st JCT-VC Meeting, Dresden, Apr. 2010
非專利文獻3：S. Wittmann, T. Wedi："Separable adaptive interpolation filter for video coding", Proc. ICIP2008, IEEE International Conference on Image Processing, pp. 2500-2503, San Diego, California, USA, Oct. 2008
在欲讓內插濾波器的分接長變長，或不利用對稱性而嚴格地傳送內插濾波器係數之情形，雖殘差能量會傾向於減低的方向，惟成為管理負擔之內插濾波器係數的編碼量亦會因此而增大。若能夠減低內插濾波器係數之編碼量，則可更加為編碼效率提升帶來貢獻。
然而，就非專利文獻3而言，雖在將內插濾波器係數予以編 碼時施以熵值編碼，惟由於該熵值編碼之參數係成為固定，並以相同的條件對全部的內插位置之全部的內插係數加以編碼，故推測在性能改善上有其限度。
本發明係有鑑於以上情事所研創者，目的在於確立一種高能率之適應內插濾波器方法，係注目於適應內插濾波器內插濾波器係數的位置，並藉由導入適應性之熵值編碼方法，而減低適應內插濾波器的濾波器係數的產生編碼量。
為了達成上述目的，本發明係一種使用動態補償之影像編碼方法，係進行動態探索而取得動態向量，並使用該動態向量算出用於小數精密度畫素的內插之內插濾波器係數，且使用該內插濾波器係數及動態向量來進行小數精密度畫素的內插而實施編碼，在用於該內插濾波器係數的熵值編碼之參數中，自所指定之複數個參數中選擇內插濾波器係數的產生編碼量成為最小之參數，對所選擇之參數及所算出之內插濾波器係數進行編碼，而輸出經過編碼之參數及經過編碼之內插濾波器係數。
再者，於上述發明中，前述所指定之複數個參數係亦可因應內插濾波器係數的位置而經限制成為其選擇對象之複數個參數的範圍。
再者，本發明係一種影像解碼方法，係使用動態補償對藉由上述影像編碼方法所編碼之編碼訊流進行解碼者，其中，將用以對內插濾波器係數進行解碼之熵值編碼參數進行解碼，並使用該熵值編碼參數而對用以產生小數精密度畫素之內插濾波器係數進行解碼，對動態向量及殘差信號進行解碼，並使用已解碼之內插 濾波器係數及動態向量產生預測信號，且使用經解碼之殘差信號及前述預測信號產生解碼信號。
本發明之作用係如下述。就以往的適應內插濾波器而言，在內插濾波器係數的編碼中，用於熵值編碼之參數係為定值，且以相同條件對全部的內插濾波器進行編碼，而性能改善係有其限度。另一方面，在本發明中，係能夠適應性地選擇減低內插濾波器係數的產生編碼量之參數，而可改善編碼效率。
再者，本發明係依據所算出之內插濾波器係數的振幅，亦即依據內插濾波器的係數值愈接近成為內插對象之畫素的位置則愈大，而愈遠離則愈小之設想，來因應係數的位置而限制用於熵值編碼之參數的範圍。藉此，係對各內插位置使用適當的參數而可減低內插濾波器係數的產生編碼量，進而能夠改善編碼效率。
另外，內插濾波器係數的設定(set)及熵值編碼參數的編碼/解碼係以例如圖框單位或分層單位，或以其他任何基準所決定之由複數個區塊所構成之區域之單位來予以進行。
依據本發明，係能夠對在過去的內插濾波器未能考慮到之用於內插處理之分接長及因應其內插濾波器係數的位置之內插濾波器係數進行適應性之編碼處理，而可達成刪減內插濾波器係數的編碼量之編碼效率改善。
100‧‧‧影像編碼裝置
101、402‧‧‧畫面內預測處理部
102、403‧‧‧畫面間預測處理部
103‧‧‧預測殘差信號產生部
104‧‧‧變換處理部
105‧‧‧量子化變換處理部
106‧‧‧逆量子化處理部
107‧‧‧逆變換處理部
108‧‧‧解碼信號產生部
109、407‧‧‧圖框記憶體
110、408‧‧‧內嵌式迴圈濾波器處理部
111‧‧‧畫面間預測資訊儲存部
113‧‧‧熵值編碼處理部
201‧‧‧固定內插濾波器係數記憶部
202‧‧‧動態檢測部
203‧‧‧內插濾波器係數導出部
204‧‧‧參照畫像內插部
300‧‧‧內插濾波器係數編碼處理部
301、601‧‧‧分接長記憶部
302、602‧‧‧分接長讀取部
303、603‧‧‧係數位置設定部
304、604‧‧‧係數位置判定部
305‧‧‧熵值編碼參數設定部
306‧‧‧產生編碼量算出部
307‧‧‧判定部
308、308'‧‧‧內插濾波器係數編碼部
309、608‧‧‧係數位置判定部
310、610‧‧‧熵值編碼參數記憶部
311、611‧‧‧熵值編碼參數讀取部
400‧‧‧影像解碼裝置
401‧‧‧熵值解碼處理部
404‧‧‧逆量子化處理部
405‧‧‧逆變換處理部
406‧‧‧解碼信號產生部
409‧‧‧畫面間預測資訊儲存部
410‧‧‧畫面內預測資訊儲存部
501‧‧‧內插處理部
502‧‧‧預測信號產生部
600‧‧‧內插濾波器係數解碼處理部
601‧‧‧分接長記憶部
605‧‧‧熵值編碼參數解碼部
606‧‧‧熵值編碼參數讀取部
607、607'‧‧‧內插濾波器係數解碼部
700、800‧‧‧CPU
701、801‧‧‧記憶體
702‧‧‧影像信號輸入部
703、803‧‧‧程式記憶裝置
704‧‧‧影像編碼程式
705‧‧‧編碼訊流輸出部
802‧‧‧編碼訊流輸入部
804‧‧‧影像解碼程式
805‧‧‧解碼影像資料輸出部
第1圖係顯示使用本發明之影像編碼裝置的一構成例之圖。
第2圖係顯示影像編碼裝置之畫面間(inter)預測處理部的構成例之圖。
第3圖係畫面間預測處理之流程圖(flow chart)。
第4A圖係顯示本發明實施形態之內插濾波器係數編碼處理部的構成例之圖。
第4B圖係顯示以往方法之內插濾波器係數編碼處理部的構成例之圖。
第5圖係內插濾波器係數編碼處理的流程圖。
第6圖係顯示適用本發明之影像解碼裝置的一構成例之圖。
第7圖係顯示影像解碼裝置之畫面間預測處理部的構成例之圖。
第8圖係畫面間預測解碼處理之流程圖。
第9A圖係顯示本發明實施形態之內插濾波器係數解碼處理部的構成例之圖。
第9B圖係顯示以往方法之內插濾波器係數解碼處理部的構成例之圖。
第10圖係內插濾波器係數解碼處理的流程圖。
第11圖係顯示使用電腦(computer)及軟體程式(software)來實現影像編碼裝置之情形的系統(system)的構成例之圖。
第12圖係顯示使用電腦及軟體程式來實現影像解碼裝置之情形的系統的構成例之圖。
第13圖係顯示影像編碼標準方式(H.264/AVC)的小數精密度之畫素內插方法之圖。
第14圖係顯示DCT基底內插濾波器(DCT-IF)的小數精密度之畫素內插方法之圖。
第15A圖係分離型適應內插濾波器(SAIF)之小數精密度畫素 之內插方法之圖。
第15B圖係分離型適應內插濾波器(SAIF)之小數精密度畫素之內插方法之圖。
第15C圖係分離型適應內插濾波器(SAIF)之小數精密度畫素之內插方法之圖。
以下一面使用圖式一面針對本發明之一實施形態進行說明。
本發明係關於影像編碼裝置(第1圖)及影像解碼裝置(第6圖)之畫面間預測處理及其附加資訊的編碼及解碼之技術。在以下係先說明影像編碼裝置之畫面間預測處理，之後，再針對影像解碼裝置之畫面間預測處理進行說明。
[影像編碼裝置的構成例]
第1圖係顯示適用本發明之影像編碼裝置的一構成例之圖。於影像編碼裝置100中，本實施形態係尤其在對用於畫面間預測處理部102之內插濾波器係數進行編碼之內插濾波器係數編碼處理部300之部分為與先前技術不同之部分，其他部分與作為H.264/AVC等編碼器(encoder)所使用之以往的一般的影像編碼裝置的構成為相同。
影像編碼裝置100係輸入編碼對象之影像信號，並將輸入影像信號的圖框分割為區塊且對每個區塊進行編碼，進而輸出該位元訊流作為編碼訊流。為了進行該編碼，預測殘差信號產生部103係求取輸入影像信號與屬於畫面內(intra)預測處理部101的輸出之預測信號之差分、或與屬於畫面間預測處理部102的輸出之預測信號之差分，並輸出該差分作為預測殘差信號。變換處理部104 係對預測殘差信號進行離散餘弦變換(DCT)等正交變換，並輸出變換係數。量子化處理部105係將變換係數量子化，並輸出該經過量子化之變換係數。熵值編碼處理部113係對經過量子化之變換係數進行熵值編碼，並予以輸出作為編碼訊流。
另一方面，經過量子化之變換係數係亦會輸入於逆量子化處理部106，並由該逆量子化處理部106將其逆量子化。逆變換處理部107係將屬於逆量子化處理部106的輸出之變換係數予以逆正交變換，並輸出預測殘差解碼信號。
在解碼信號產生部108中，係將前述預測殘差解碼信號和屬於畫面內預測處理部101的輸出之預測信號、或和屬於畫面間預測處理部102的輸出之預測信號相加，而產生已編碼之編碼對象區塊的解碼信號。為了將該解碼信號作為參照畫像而用於畫面內預測處理部101或畫面間預測處理部102，係將其儲存於圖框記憶體(frame memory)109。另外，在畫面間預測處理部102參照參照畫像時，於內嵌式迴圈濾波器(in-loop filter)處理部110中係輸入儲存於圖框記憶體109之畫像，並進行減低編碼失真之濾波(filtering)處理，且將該濾波處理後之畫像當作參照畫像而予以使用。
於畫面內預測處理部101中所設定之預測模式(mode)等資訊係儲存於畫面內預測資訊儲存部112，並在熵值編碼處理部113中予以熵值編碼，而加以輸出作為編碼訊流。於畫面間預測處理部102中所設定之動態向量等資訊係儲存於畫面間預測資訊儲存部111，並在熵值編碼處理部113中予以熵值編碼，而加以輸出作為編碼訊流。尤其，熵值編碼處理部113之內插濾波器係數編碼 處理部300係針對用於畫面間預測處理部102之內插濾波器係數進行編碼。
[影像編碼之畫面間預測處理部的構成例]
第2圖係顯示第1圖所示之畫面間預測處理部102的構成例。
畫面間預測處理部102係具備：固定內插濾波器係數記憶部201、動態檢測部202、內插濾波器係數導出部203、以及參照畫像內插部204，且以原信號、解碼信號作為輸入，並輸出畫面間預測之預測信號及動態向量。
固定內插濾波器係數記憶部201係保存用以產生求取內插濾波器係數所需之動態向量之初期固定內插濾波器的係數。所保存之係數係例如可為H.264/AVC之6分接濾波器之係數，亦可為DCT基底內插濾波器的4、8、12分接濾波器的係數。
動態檢測部202係以經過內插之參照信號及原畫像作為輸入，而檢測動態向量並輸出其資訊。內插濾波器係數導出部203係以使用原信號、解碼信號、及固定內插濾波器係數記憶部201的固定內插濾波器係數所導出之動態向量作為輸入，而產生讓平方誤差能量最小化之內插濾波器係數。
參照畫像內插部204係使用固定內插濾波器係數、或適應性地求得之適應內插濾波器係數、解碼信號，而產生解析度較高之已完成內插參照畫像之信號。
內插濾波器係數編碼處理部300為關於本發明之改良點之部分，係以由內插濾波器係數導出部203所求得之內插濾波器係數作為輸入，而實施內插濾波器係數的編碼。內插濾波器係數編碼處理部300係亦對編碼所需之熵值編碼參數等附加資訊進行編 碼。
[畫面間預測編碼處理流程(flow)]
第3圖係畫面間預測編碼處理的流程圖。以下，依照第3圖針對畫面間預測編碼處理的詳細內容進行說明。
首先，在步驟(step)S101中，將圖框分割為區塊(例如16×16、8×8等以往的動態預測之區塊大小(block size))，並以區塊單位來算出最適當的動態向量。本步驟之參照畫像的小數精密度畫素的內插係使用例如以往的H.264之固定6分接濾波器。
接著，在步驟S102中，使用屬於水平方向的預測誤差能量函數之式(6)，而進行相對於水平方向的各小數精密度畫素之內插濾波器係數的最佳化處理。
其中，S係顯示原畫像，P係顯示已解碼完成參照畫像，x及y係分別顯示畫像中的水平及垂直方向之位置。再者，~x係顯示~x=x+MVx-FilterOffset，MVx係顯示事前所得到之動態向量之水平成分，FilterOffset係顯示用以進行調整之變動值(將水平方向濾波器長除以2之值)。針對垂直方向，係成為~y=y+MVy，MVy係顯示動作向量的垂直成分。wci係顯示應求取之水平方向濾波器係數群ci(0≦ci<6)。
在步驟S103中，係使用在步驟S102中所得到之水平方向之內插濾波器係數，而實施水平方向之小數精密度畫素內插(第15 圖B之a、b、c的內插)。
在步驟S104中，係使用屬於垂直方向之預測誤差能量函數之式(7)，而進行相對於垂直方向之各小數精密度畫素之內插濾波器係數的最佳化處理。
其中，S係顯示原畫像，^P係顯示在解碼後朝水平方向進行過內插處理之畫像，x及y係分別顯示畫像中的水平及垂直方向之位置。再者，係表現為~x=4˙(x+MVx)，MVx係顯示經過整整化之動態向量的水平成分。針對垂直方向，係表現為~y=y+MVy-FilterOffset，MVy係顯示動作向量的垂直成分，FilterOffset係顯示用以進行調整之變動量(將濾波器長除以2之值)。wcj係顯示應求取之垂直方向濾波器係數群cj(0≦cj<6)。
在步驟S105中，係使用在步驟S104所得到之垂直方向之內插濾波器係數，而實施垂直方向之小數精密度畫素內插(第15C圖之d至o之內插)。
在步驟S106中，係以使用在步驟S105中得到之朝垂直方向經過內插之畫像作為參照畫像，而再度進行動態向量之探索並算出動態向量。
在步驟S107中，係對各內插濾波器係數群進行編碼。
在步驟S108中，係對殘留之資訊(動作向量、量子化後DCT係數等)進行編碼。
[本發明實施形態之內插濾波器係數編碼處理部的構成例]
第4A圖係顯示本發明實施形態之內插濾波器係數編碼處理部(第1圖之內插濾波器係數編碼處理部300)的構成例。
分接長記憶部301係記憶用於內插之濾波器的分接長。分接長讀取部302係將內插濾波器係數作為輸入，而讀取由分接長記憶部301所記憶之分接長。係數位置設定部303係將內插濾波器係數、以及由分接長讀取部302所讀取之分接長作為輸入，而辨識用於內插濾波器係數的編碼之係數的位置資訊並輸出係數的位置資訊。
係數位置判定部304係以係數位置資訊作為輸入，並因應係數的位置資訊而指定由熵值編碼參數設定部305所分配之熵值編碼參數的範圍及調整用變動值，且輸出該編碼參數。此時，在對於特定的係數位置賦予預定變動值時，係賦予變動值。針對變動值之有無，只要統一成是否共通地賦予編碼裝置和解碼裝置即可。亦可對變動值進行編碼並加以傳送。
其中，就限制因應係數位置之熵值編碼參數的範圍之方法而言，係使用以下方法。例如在使用格倫布編碼(Golomb coding)作為熵值編碼時，使屬於決定該編碼表之參數之m值的指定範圍按每個係數位置產生變化。具體而言，係當內插濾波器係數的係數位置距離成為內插對象之畫素的位置為最遠之情形時，就m值的範圍而言例如設成m=2或m=3，而就距離成為內插對象之畫素的位置為最近之係數而言，則將m值的範圍設為例如m=2至8之方式來進行指定熵值編碼參數的範圍，使該範圍在內插濾波器係數的端部附近為較狹小之範圍，而在內插濾波器係數的中央附近則為較寬廣之範圍。另外，該參數係不限於格倫布編碼的參數， 例如亦可為其他熵值編碼方法之用以決定編碼表之參數，亦可使用同樣地因應係數位置來限制參數的範圍之方法。
熵值編碼參數設定部305係以由係數位置判定部304所指定之熵值編碼參數的範圍作為輸入，並在相同範圍內指定熵值編碼參數。例如，在使用格倫布編碼作為熵值編碼時，於所指定之m值的範圍內，以由小到大或由大到小之方式依序指定各m值。
產生編碼量算出部306係以由熵值編碼參數設定部305所指定之熵值編碼參數、以及位置資訊、內插濾波器係數作為輸入，而算出使用所指定之熵值編碼參數之情形時所得到之產生編碼量。
判定部307係以由產生編碼量算出部306所求得之產生編碼量、以及熵值編碼參數、熵值編碼參數的範圍作為輸入，若由熵值編碼參數設定部305所指定之熵值編碼參數與由係數位置判定部304所指定之熵值編碼參數的範圍的最終值相等，則於熵值編碼參數的範圍內輸出產生編碼量為最小之該編碼參數。若非相等之情形，則判定部307係保存產生編碼量、以及熵值編碼參數，並對熵值編碼參數設定部305指示進行處理。
內插濾波器係數編碼部308係以內插濾波器係數、以及係數的位置資訊、編碼參數作為輸入，且因應係數的位置資訊及熵值編碼參數進行內插濾波器係數的編碼並輸出位元訊流。係數位置判定部309係以係數的位置資訊、以及編碼參數作為輸入，判定係數的位置是否為最後的內插濾波器係數的位置，而在仍存有應編碼之係數時，則對係數位置設定部303指示進行處理。
[以往的內插濾波器係數編碼處理部的構成例]
作為參考，於第4B圖顯示以往的內插濾波器係數編碼處理部的構成例，並說明與本實施形態之內插濾波器係數編碼處理部之不同點。
本發明實施形態之內插濾波器係數編碼處理部與以往的內插濾波器係數編碼處理部之不同點在於第4A圖中以虛線框所表示之部分，在以往之方法中，該部分係成為熵值編碼參數記憶部310及熵值編碼參數讀取部311。
熵值編碼參數記憶部310係記憶用於內插濾波器係數的編碼之熵值編碼參數。將在編碼裝置與解碼裝置共通使用之值輸入熵值編碼參數記憶部310。其中，係不論內插位置而使用固定的值。
熵值編碼參數讀取部311係以內插濾波器係數、以及係數的位置資訊作為輸入，讀取由熵值編碼參數記憶部310所記憶之熵值編碼參數，並對內插濾波器係數編碼部308'通知內插濾波器係數、以及係數的位置資訊、編碼參數。
如此，在以往的內插濾波器係數的熵值編碼中，熵值編碼的參數係成為固定，而以相同條件對全部的內插位置之濾波器係數進行編碼，相對於此，在本實施形態中，由於係適應性地選擇減低內插濾波器係數的產生編碼量之參數，故編碼效率提升。
[內插濾波器係數編碼處理流程]
第5圖係顯示本發明實施形態之內插濾波器係數編碼處理之流程圖。在前述之第3圖的步驟S107之內插濾波器係數的編碼處理中，係執行第5圖所示之處理。
首先，在步驟S201中，係讀取用於內插處理之內插濾波器分接長。在步驟S202中，係設定編碼對象的濾波器係數的位置。在 步驟S203中，係讀取相對於在步驟S202中所指定之位置之內插濾波器係數差分值。
接下來的從步驟S204至S208為止之處理係與先前技術不同之部分。在先前技術中，當對所讀取之內插濾波器係數差分值進行編碼時，用於編碼之熵值編碼的參數係採用已知之參數。相對於此，在本實施形態中係以下述方式進行處理。
在步驟S204中，係以在步驟S202中所設定的進行編碼之內插濾波器係數的位置作為輸入，並進行位置的判定。此時，在對特定的係數位置賦予預定變動值之情形時，係賦予變動值。針對變動值之有無，只要統一成是否共通地賦予編碼裝置和解碼裝置即可。亦可對變動值進行編碼並加以傳送。
在步驟S205中，係設定用於內插濾波器係數的編碼之熵值編碼參數。該參數係例如顯示用以決定編碼表之參數。藉由本參數之設定，由於編碼對象信號值的2值表現會變動，故即便在對相同信號值進行編碼時，當參數變化時編碼量亦會變化。
在步驟S206中，係使用在步驟S205中所設定之熵值編碼參數並對在步驟S204中所讀取之內插濾波器係數值進行編碼，而計算產生編碼量。此時，考量在步驟S204中所賦予之變動值而進行編碼。
在步驟S207中，係記憶於步驟S206中所求得之產生編碼量，並判定所求得之產生編碼量是否為最小之產生編碼量。當所求得之產生編碼量為最小的產生編碼量時，係保存該編碼量之值以及賦予該編碼量之該參數。
在步驟S208中，係判定在步驟S205中所設定之熵值編碼參 數是否為最後的該參數。若所設定之熵值編碼參數為最終參數，則停止產生編碼量之計算，並輸出在到目前為止的產生編碼量的計算處理中實現最小產生編碼量之該參數。所設定之熵值編碼參數若並非最終參數，則回到步驟S205，並對下一個參數同樣地反覆進行處理。
在步驟S209中，係進行在步驟S203中所讀取之內插濾波器係數的編碼。此時，用於編碼之熵值編碼的參數係採用在步驟S207中所保存之係數的編碼量成為最小之參數。
在步驟S210中，係判定進行編碼之係數的位置是否為應編碼之最後的位置。若進行編碼之係數的位置為最後的位置，則判斷為已對最後的內插濾波器係數進行編碼，並結束處理。若進行編碼之係數的位置並非最後的位置，則判斷為存有應編碼之內插濾波器係數，並回到步驟S202，繼續殘留之內插濾波器係數的編碼。
[影像解碼裝置的構成例]
第6圖係顯示適用本發明影像解碼裝置的一構成例之圖。於影像解碼裝置400中，本實施形態係尤其對在畫面間預測處理部403所使用之內插濾波器係數進行解碼之內插濾波器係數解碼處理部600之部分為與先前技術不同之部分，其他部分係與作為H.264/AVC等解碼器(decoder)所使用之以往的一般的影像解碼裝置的構成相同。
影像解碼裝置400係藉由輸入由第1圖所示之影像編碼裝置100所編碼之編碼訊流並對其解碼而輸出解碼畫像作為影像信號。為了進行該解碼，熵值解碼處理部401輸入編碼訊流，並對解碼對象區塊的量子化變換係數進行熵值解碼。再者，熵值解碼 處理部401係對關聯於畫面內預測之資訊進行解碼，且將其儲存於畫面內預測資訊儲存部410，並對關聯於畫面間預測之資訊進行解碼，並將其儲存於畫面間預測資訊儲存部409。
逆量子化處理部404係輸入量子化變換係數，並將其逆量子化而輸出解碼變換係數。逆變換處理部405係對解碼變換係數進行逆正交變換，並輸出預測殘差解碼信號。在解碼信號產生部406將該預測殘差解碼信號與屬於畫面內預測處理部402或畫面間預測處理部403的輸出之預測信號相加，而產生解碼對象區塊的解碼信號。該解碼信號為了用於畫面內預測處理部402或畫面間預測處理部403作為參照畫像，係儲存於圖框記憶體407。另外，在畫面間預測處理部403中參照參照畫像時，於內嵌式迴圈濾波器處理部408中，係輸入儲存於圖框記憶體407之畫像，並進行減低編碼失真之濾波處理，該濾波處理後之畫像係作為參照畫像而加以使用。在最後濾波處理後之畫像係予以輸出作為影像信號。
[影像解碼之畫面間預測處理部的構成例]
第7圖係顯示第6圖所示之畫面間預測處理部403的構成例。畫面間預測處理部403係具備內插處理部501及預測信號產生部502。
內插濾波器係數解碼處理部600係以內插濾波器係數及熵值編碼參數等包含內插所需之資訊之位元訊流作為輸入，並對內插濾波器係數進行解碼而將其輸出。
內插處理部501係以由內插濾波器係數解碼處理部600所解碼之內插濾波器係數、動態向量、以及儲存於圖框記憶體407之解碼信號、或內嵌式迴圈濾波器處理部408所具有之內嵌式迴圈 濾波器處理後之解碼畫像作為輸入，而執行內插處理，並輸出內插完成之參照畫像的信號。預測信號產生部502係以由內插處理部501所產生之已內插完成之參照畫像與動態向量作為輸入，而產生預測信號並將其輸出。
[畫面間預測解碼處理流程]
第8圖係畫面間預測解碼處理之流程圖。以下，係依照第8圖針對畫面間預測解碼處理的詳細內容進行說明。
首先，在步驟S301中，係讀取位元訊流並進行內插濾波器係數的解碼。在步驟S302中，係進行動態向量的解碼，且使用在步驟S301中所解碼之內插濾波器係數來實施內插處理，並產生預測信號。在步驟S303中，係自位元訊流將量子化DCT係數值予以解碼並進行逆量子化、逆DCT變換，而取得預測誤差信號。在步驟S304中，使用在步驟S302中所產生之預測信號及在步驟S303中所解碼之預測誤差信號來產生解碼信號。
[本發明實施形態之內插濾波器係數解碼處理部的構成例]
第9A圖係顯示本發明實施形態之內插濾波器係數解碼處理部(第6圖的內插濾波器係數解碼處理部600)的構成例。
分接長記憶部601係記憶用於內插之濾波器的分接長。分接長讀取部602係以位元訊流作為輸入，而讀取記憶於分接長記憶部601之分接長。係數位置設定部603係以位元訊流、以及由分接長讀取部602所讀取之分接長作為輸入，而辨識用於內插濾波器係數之解碼之係數的位置資訊，並輸出係數的位置資訊。
係數位置判定部604係以係數的位置資訊作為輸入，而因應係數的位置資訊輸出用以調整從熵值編碼參數解碼部605得到之 熵值編碼參數(例如格倫布編碼參數)之變動值資訊。熵值編碼參數解碼部605係以包含熵值編碼參數資訊之位元訊流作為輸入，而對由係數位置設定部603所指定之位置之熵值編碼參數進行解碼。
熵值編碼參數讀取部606係以由熵值編碼參數解碼部605所解碼之編碼參數作為輸入，並使用於係數位置判定部604所得到之變動值資訊，而輸出使用於內插濾波器係數解碼部607的解碼處理之編碼參數。
內插濾波器係數解碼部607係以包含內插濾波器係數資訊之位元訊流、以及係數的位置資訊、編碼參數作為輸入，而因應係數的位置資訊及熵值編碼參數進行內插濾波器係的解碼，並輸出內插濾波器係數。
係數位置判定部608係以由係數位置設定部603所指定之係數的位置資訊、以及由內插濾波器係數解碼部607所解碼之內插濾波器係數作為輸入，並在係數的位置符合於分接長的最終係數位置時，輸出該內插濾波器係數。若並未符合時，則係數位置判定部608係對係數位置設定部603指示進行處理。
[以往的內插濾波器係數解碼處理部的構成例]
為了參考，於第9B圖顯示以往的內插濾波器係數解碼處理部的構成例，並說明與本案實施形態之內插濾波器係數解碼處理部之不同點。
本發明實施形態之內插係數解碼處理部與以往的內插濾波器係數解碼處理部之不同點在於第9A圖的虛線框所示之部分，在以往的方法中，該部分係如第9B圖所示，成為熵值編碼參數記憶 部610、及熵值編碼參數讀取部611。
熵值編碼參數記憶部610係記憶用於內插濾波器係數的解碼之熵值編碼參數。於此係輸入並記憶有共通地用於編碼裝置及解碼裝置之值。熵值編碼參數讀取部611係以位元訊流、以及係數的位置資訊作為輸入，而讀取記憶於熵值編碼參數記憶部610之熵值編碼參數，並對內插濾波器係數解碼部607'通知包含內插濾波器係數資訊之位元訊流，以及係數的位置資訊、編碼參數。
如此，在以往的內插濾波器係數的熵值解碼中，熵值編碼參數係成為固定，而以相同條件對全部的內插位置之濾波器係數進行解碼。
[內插濾波器係數解碼處理流程]
第10圖係顯示本發明實施形態之內插濾波器係數解碼處理的流程圖。在前述之第8圖之步驟S301之內插濾波器係數的解碼處理中係執行第10圖所示之處理。
首先，在步驟S401中，係讀取用於內插處理之內插濾波器分接長。當分接長經過編碼時，則對該值解碼再取得。在編碼裝置與解碼裝置使用共通的值時，係設定該值。
在步驟S402中，設定解碼對象的濾波器係數的位置。在步驟S403中，係以在步驟S402所設定之經過解碼之內插濾波器係數的位置作為輸入並進行判定。此時，對於特定的係數位置賦予預定變動量時，係賦予變動量。針對變動值之有無，只要統一成是否共通地賦予編碼裝置和解碼裝置即可。當已對變動值進行過編碼時，亦可對該變動值進行解碼。
在步驟S404中，係對在步驟S402中所設定之係數位置之熵 值編碼參數(例如格倫布編碼參數)進行解碼。由於在步驟S403中所判定之位置資訊而需要變動值時，則加入該變動值。
在步驟S405中，係讀取熵值編碼參數。在步驟S406中，係使用在步驟S405中所讀取之熵值編碼參數，而對在步驟S402中所設定之係數位置之內插濾波器係數進行解碼。
在步驟S407中，係判定所要解碼之內插濾波器的位置是否為應解碼之最後的位置。若所要解碼之內插濾波器係數的位置為最後的位置，則判斷為已對最後的內插濾波器係數進行解碼，且輸出內插濾波器係數的值並結束處理。若所要解碼之內插濾波器係數的位置並非最後的位置，則判斷仍有應解碼之內插濾波器係數，並回到步驟S402繼續進行殘留的位置之內插濾波器係數的解碼處理。
以上的影像編碼、解碼處理係亦可藉由電腦(computer)及軟體程式(software program)來實現，亦可將該程式記錄於電腦可讀取之記錄媒體，亦可透過網路(network)來提供。
第11圖係顯示藉由電腦及軟體程式來構成影像編碼裝置之情形的硬體(hardware)構成例。本系統係構成為以匯流排連接有下述構件：執行程式之CPU(Central Processing Unit，中央處理單元)700；儲存有CPU700所存取(access)之程式或資料之RAM(Random Access Memory，隨機存取記憶體)等記憶體701；影像信號輸入部702(亦可為碟片(disk)裝置等記憶影像信號之記憶部)，係輸入來自攝影機等編碼對象之影像信號；程式記憶裝置703，係儲存有使CPU700執行在本發明實施形態所說明之編碼處理之屬於軟體程式之影像編碼程式704；以及編碼訊流輸出部705(亦可為由碟片 裝置等所構成之用以記憶編碼訊流之記憶部)，係將藉由CPU700執行載入(load)至記憶體701之影像編碼程式704而產生之編碼訊流經由例如網路予以輸出。
第12圖係顯示藉由電腦及軟體程式來構成影像解碼裝置之情形的硬體構成例。本系統係構成為以匯流排連接有下述構件：執行程式之CPU800；儲存有CPU800所存取之程式或資料之RAM等記憶體801；編碼訊流輸入部802(亦可為碟片裝置等記憶編碼訊流之記憶部)，係輸入影像編碼裝置藉由本手法所編碼之編碼訊流；程式記憶裝置803，係儲存有使CPU800執行在本發明實施形態所說明之解碼處理之屬於軟體程式之影像解碼程式804；以及解碼影像資料輸出部805(亦可為由碟片裝置等所構成之用以記憶解碼影像資料之記憶部)，係將藉由CPU800執行載入至記憶體801之影像解碼程式804而對編碼訊流進行解碼所得到之解碼影像予以輸出至播放裝置等。
以上雖參照圖式說明了本發明的實施形態，惟上述實施形態係僅為本發明之例示，本發明明顯並非由上述實施形態所限定者。因此，只要在不脫離本發明的精神及技術的範圍內，亦可追加追加、省略、置換構成要素及進行其他變更。
(產業上之可利用性)
本發明係可適用於使用內插濾波器之影像編碼及影像解碼。依據本發明，係能夠進行以往的內插濾波器所未能考量之因應用於內插處理之分接長及其內插濾波器係數的位置之內插濾波器係數的適應性的編碼處理，可刪減內插濾波器係數的編碼量而達成編碼效率之改善。
300‧‧‧內插濾波器係數編碼處理部
301‧‧‧分接長記憶部
302‧‧‧分接長讀取部
303‧‧‧係數位置設定部
304‧‧‧係數位置判定部
305‧‧‧熵值編碼參數設定部
306‧‧‧產生編碼量算出部
307‧‧‧判定部
308‧‧‧內插濾波器係數編碼部
309‧‧‧係數位置判定部

Claims (8)

  1. 一種影像編碼方法，係使用動態補償之影像編碼方法，該影像編碼方法包括下述步驟：進行動態探索而取得動態向量之步驟；使用前述動態向量算出用於小數精密度畫素的內插之內插濾波器係數之步驟；使用前述內插濾波器係數及前述動態向量來進行前述小數精密度畫素的前述內插而實施編碼之步驟；在用於前述內插濾波器係數的熵值編碼之參數中，自所指定之複數個參數中選擇內插濾波器係數的產生編碼量成為最小之參數之步驟；以及對前述所選擇之參數及所算出之前述內插濾波器係數進行編碼，並輸出經過編碼之參數及經過編碼之內插濾波器係數之步驟。
  2. 如申請專利範圍第1項所述之影像編碼方法，其中，在選擇前述參數之步驟中，係使用因應內插濾波器係數的位置而經限制成為選擇對象之複數個參數的範圍者作為前述所指定之複數個參數。
  3. 一種影像編碼裝置，係使用動態補償之影像編碼裝置，係包括：動態檢測部，係進行動態探索而取得動態向量；內插濾波器係數導出部，係使用前述動態向量算出用於小數精密度畫素的內插之內插濾波器係數；內插部，係使用前述內插濾波器係數及前述動態向量來進行前述小數精密度畫素的前述內插而實施編碼； 參數選擇部，係在用於前述內插濾波器係數的熵值編碼之參數中，自所指定之複數個參數中選擇內插濾波器係數的產生編碼量成為最小之參數；以及編碼處理部，係對前述所選擇之參數及所算出之前述內插濾波器係數進行編碼，並輸出經過編碼之參數及經過編碼之內插濾波器係數。
  4. 如申請專利範圍第3項所述之影像編碼裝置，其中，前述參數選擇部係使用因應內插濾波器係數的位置而經限制成為選擇對象之複數個參數的範圍者作為前述所指定之複數個參數。
  5. 一種影像解碼方法，係輸入藉由如申請專利範圍第1項所述之影像編碼方法所編碼之編碼訊流，並使用動態補償進行解碼者，係包括有下述步驟：對用以對用於前述動態補償之內插濾波器係數進行解碼之熵值編碼參數進行解碼之步驟；使用前述熵值編碼參數來對用以產生小數精密度畫素之前述內插濾波器係數進行解碼之步驟；對動態向量及殘差信號進行解碼之步驟；使用前述已解碼之內插濾波器係數及前述動態向量來產生預測信號之步驟；以及使用經解碼之前述殘差信號及前述預測信號來產生解碼信號之步驟。
  6. 一種影像解碼裝置，係輸入藉由如申請專利範圍第3項所述之影像編碼裝置所編碼之編碼訊流，並使用動態補償進行解碼者，係包括： 熵值編碼參數解碼部，係對用以對用於前述動態補償之內插濾波器係數進行解碼之熵值編碼參數進行解碼；內插濾波器係數解碼部，係用前述熵值編碼參數來對用以產生小數精密度畫素之前述內插濾波器係數進行解碼；解碼處理部，係對動態向量及殘差信號進行解碼；預測處理部，係使用前述已解碼之內插濾波器係數及前述動態向量來產生預測信號；以及解碼信號產生部，係使用經解碼之前述殘差信號及前述預測信號來產生解碼信號。
  7. 一種影像編碼程式，係用以使電腦執行申請專利範圍第1項或第2項所述之影像編碼方法。
  8. 一種影像解碼程式，係用以使電腦執行申請專利範圍第5項所述之影像解碼方法。
TW101138201A 2011-10-18 2012-10-17 影像編碼方法、裝置、影像解碼方法、裝置及該等之程式 TW201328362A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011228553A JP5762243B2 (ja) 2011-10-18 2011-10-18 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム

Publications (1)

Publication Number Publication Date
TW201328362A true TW201328362A (zh) 2013-07-01

Family

ID=48140954

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101138201A TW201328362A (zh) 2011-10-18 2012-10-17 影像編碼方法、裝置、影像解碼方法、裝置及該等之程式

Country Status (10)

Country Link
US (1) US20140247865A1 (zh)
EP (1) EP2768221B1 (zh)
JP (1) JP5762243B2 (zh)
KR (1) KR20140062519A (zh)
CN (1) CN103875246B (zh)
BR (1) BR112014008921A2 (zh)
CA (1) CA2850743A1 (zh)
RU (1) RU2014114262A (zh)
TW (1) TW201328362A (zh)
WO (1) WO2013058311A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278231B (zh) * 2015-11-11 2024-12-10 三星电子株式会社 对视频进行解码的设备和对视频进行编码的设备
CN116170584A (zh) * 2017-01-16 2023-05-26 世宗大学校产学协力团 影像编码/解码方法
CN111010568B (zh) * 2018-10-06 2023-09-29 华为技术有限公司 插值滤波器的训练方法、装置及视频图像编解码方法、编解码器
CN117459718A (zh) 2019-04-01 2024-01-26 北京字节跳动网络技术有限公司 视频编码中的可选插值滤波器
EP3997881A4 (en) 2019-08-20 2022-09-14 Beijing Bytedance Network Technology Co., Ltd. SELECTIVE USE OF ALTERNATIVE INTERPOLATION FILTERS IN VIDEO PROCESSING
CN120321416A (zh) * 2024-01-15 2025-07-15 腾讯科技（深圳）有限公司 视频解码方法、视频编码方法、存储介质、电子设备及产品

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100452668C (zh) * 2002-07-09 2009-01-14 诺基亚有限公司 用于在视频编码中选择插值滤波器类型的方法和系统
JP2008536414A (ja) * 2005-04-13 2008-09-04 ゴットフリート・ヴィルヘルム・ライプニッツ・ウニヴェルジテート・ハノーヴァー ビデオの拡張された符号化方法及び装置
CN100455025C (zh) * 2005-07-21 2009-01-21 华为技术有限公司 一种分数像素插值方法和编解码设备
CA2671180A1 (en) * 2006-11-30 2008-06-12 Ntt Docomo, Inc. Dynamic image encoding device, dynamic image encoding method, dynamic image encoding program, dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
WO2009088340A1 (en) * 2008-01-08 2009-07-16 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive filtering
US9967590B2 (en) * 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
US8462842B2 (en) * 2008-04-10 2013-06-11 Qualcomm, Incorporated Symmetry for interpolation filtering of sub-pixel positions in video coding
US8270744B2 (en) * 2008-06-27 2012-09-18 Sony Corporation Image processing apparatus and image processing method
US20120281749A1 (en) * 2010-01-08 2012-11-08 Sharp Kabushiki Kaisha Encoder, decoder, and data configuration

Also Published As

Publication number Publication date
EP2768221B1 (en) 2021-01-06
CN103875246B (zh) 2017-03-29
KR20140062519A (ko) 2014-05-23
US20140247865A1 (en) 2014-09-04
EP2768221A1 (en) 2014-08-20
WO2013058311A1 (ja) 2013-04-25
RU2014114262A (ru) 2015-11-27
EP2768221A4 (en) 2015-03-18
JP2013090121A (ja) 2013-05-13
BR112014008921A2 (pt) 2017-04-25
JP5762243B2 (ja) 2015-08-12
CN103875246A (zh) 2014-06-18
CA2850743A1 (en) 2013-04-25

Similar Documents

Publication Publication Date Title
KR101403343B1 (ko) 부화소 움직임 추정을 이용한 인터 예측 부호화, 복호화방법 및 장치
JP5530181B2 (ja) 画像符号化方法及び画像復号方法
JP7322285B2 (ja) クロマデブロックフィルタリングのための量子化パラメータオフセット
CN103597835B (zh) 影像编码方法、装置、影像解码方法、装置
JP5649523B2 (ja) 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
US10298945B2 (en) Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, and programs thereof
JP2017508346A (ja) ビデオコーディングのための適応的な動きベクトル分解シグナリング
KR20120140592A (ko) 움직임 보상의 계산 복잡도 감소 및 부호화 효율을 증가시키는 방법 및 장치
US9609318B2 (en) Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, and programs thereof
TW201328362A (zh) 影像編碼方法、裝置、影像解碼方法、裝置及該等之程式
CN114339223B (zh) 解码方法、装置、设备及机器可读存储介质
JP5513333B2 (ja) 動画像符号化装置、動画像符号化方法、およびプログラム
AU2015255215B2 (en) Image processing apparatus and method
KR101802304B1 (ko) 하다마드 변환을 이용한 부호화 방법 및 이러한 방법을 사용하는 장치