JP5762243B2 - 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム - Google Patents

映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム Download PDF

Info

Publication number
JP5762243B2
JP5762243B2 JP2011228553A JP2011228553A JP5762243B2 JP 5762243 B2 JP5762243 B2 JP 5762243B2 JP 2011228553 A JP2011228553 A JP 2011228553A JP 2011228553 A JP2011228553 A JP 2011228553A JP 5762243 B2 JP5762243 B2 JP 5762243B2
Authority
JP
Japan
Prior art keywords
interpolation filter
decoding
filter coefficient
interpolation
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011228553A
Other languages
English (en)
Other versions
JP2013090121A (ja
Inventor
翔平 松尾
翔平 松尾
幸浩 坂東
幸浩 坂東
伊藤　健
健 伊藤
誠之 高村
誠之 高村
清水　淳
淳 清水
裕尚 如澤
裕尚 如澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011228553A priority Critical patent/JP5762243B2/ja
Priority to TW101138201A priority patent/TW201328362A/zh
Priority to US14/348,817 priority patent/US20140247865A1/en
Priority to CN201280050853.5A priority patent/CN103875246B/zh
Priority to EP12841449.7A priority patent/EP2768221B1/en
Priority to RU2014114262/08A priority patent/RU2014114262A/ru
Priority to BR112014008921A priority patent/BR112014008921A2/pt
Priority to PCT/JP2012/076929 priority patent/WO2013058311A1/ja
Priority to CA2850743A priority patent/CA2850743A1/en
Priority to KR1020147010031A priority patent/KR20140062519A/ko
Publication of JP2013090121A publication Critical patent/JP2013090121A/ja
Application granted granted Critical
Publication of JP5762243B2 publication Critical patent/JP5762243B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Description

本発明は，映像符号化における補間フィルタの性能改善を図り，符号化効率を改善する映像符号化／復号技術に関するものである。
映像符号化において，異なる画面間で予測を実行する画面間予測（動き補償）符号化では，すでに復号されたフレームを参照して，予測誤差エネルギーを最小にする動きベクトルが求められ，その予測誤差信号（残差信号とも呼ばれる）が直交変換される。その後，量子化が施され，エントロピー符号化を経て，最終的にバイナリーデータ，すなわちビットストリームとなる。符号化効率を高めるためには予測誤差エネルギーの低減が不可欠であり，予測精度の高い予測方式が求められる。
映像符号化標準方式には数多くの画面間予測の精度を高めるためのツールが導入されている。参照フレームの整数精度画素から６タップのフィルタを用いて１／２精度の画素を補間し，さらにその画素を利用して１／４精度の画素を線形補間で生成する。これにより，小数精度の動きに対して予測が当たるようになる。本ツールを１／４画素精度予測と呼ぶ。
Ｈ．２６４／ＡＶＣよりも符号化効率の高い次世代映像符号化標準方式の策定に向け，国際標準化組織ＩＳＯ／ＩＥＣ“ＭＰＥＧ”およびＩＴＵ−Ｔ“ＶＣＥＧ”が共同で検討チーム（Joint Collaborative Team for Video Coding:ＪＣＴ−ＶＣ）を設立した。次世代標準方式は，高能率映像符号化方式（High Efficiency Video Coding：ＨＥＶＣ）と呼ばれ，現在世界各国から様々な新規符号化技術が集められ，ＪＣＴ−ＶＣ会合にて審議されている。
その中で，特に画面間予測（動き補償）に関連する提案は多くなされており，ＨＥＶＣ用参照ソフトウェア（HEVC test Model:ＨＭ）には，小数精度画素の補間精度を高めるツールも提案されており，補間フィルタ係数をＤＣＴ係数の基底から導出したＤＣＴベース補間フィルタ（DCT-based Interpolation Filter: ＤＣＴ−ＩＦ）は効果が高く，ＨＭの補間フィルタ候補に採用されている。さらに補間精度を上げるため，補間フィルタ係数をフレーム単位で適応的に変化させる補間フィルタも提案されており，適応補間フィルタ（Adaptive Interpolation Filter:ＡＩＦ）と呼ばれる。適応補間フィルタは符号化効率改善の効果が高く，ＶＣＥＧ主導で作成された次世代映像符号化向け参照ソフトウェア（Key Technical Area：ＫＴＡ）にも採用されている。符号化効率向上の寄与が高いため，補間フィルタの性能改善は非常に期待される領域である。
従来の補間フィルタについて，さらに詳しく説明する。
〔固定的補間〕
図１３は，Ｈ．２６４／ＡＶＣにおける小数精度の画素補間方法を示す図である。Ｈ．２６４／ＡＶＣにおいては，図１３に示すように１／２画素位置の補間時は，対象となる補間画素の左右３点ずつ計６整数画素を用いて補間を行う。垂直方向については，上下３点ずつ計６整数画素を用いて補間する。フィルタ係数は，それぞれ［（１，−５，２０，２０，−５，１）／３２］となっている。１／２画素位置が補間された後，１／４画素位置は［１／２，１／２］の平均値フィルタを用いて補間を行う。一度，１／２画素位置をすべて補間して求める必要があるため，計算複雑度は高いものの，性能の高い補間が可能となり，符号化効率向上を導いている。以上の固定フィルタによる補間の技術は，非特許文献１等に示されている。
Ｈ．２６４／ＡＶＣの１次元６タップフィルタのように，係数値が全入力画像および全フレームに対して同じ値を用いるフィルタは，固定補間フィルタ（Fixed Interpolation Filter）と呼ばれる。
Ｈ．２６４／ＡＶＣに採用されている補間フィルタの性能をさらに改善する方式として，ＨＥＶＣ用参照ソフトウェアＨＭでは，ＤＣＴベース補間フィルタ（ＤＣＴ−ＩＦ）が採用されている。このＤＣＴベース補間フィルタの小数精度の画素補間方法を，図１４に示す。図１４のように，小数精度位置における補間対象画素をｐ，整数位置画素をｐx ，ｐの位置を示す整数位置画素間パラメータをα（０≦α≦１）とする。このとき，補間に使用する整数位置の画素数，すなわちタップ長を２Ｍ（Ｍは１以上の整数値）とする。ＤＣＴ変換の定義式より，式(1) が成立する。
Figure 0005762243
また，逆ＤＣＴ変換の定義式より，式(2) が成立する。
Figure 0005762243
ｘを位置とみなすことにより，小数位置αにおける画素補間式は以下の式(3) となる。
Figure 0005762243
式(3) より，補間に用いるタップ長２Ｍおよび補間対象位置αが定まれば，一意に係数を導出することができる。以上の議論から得られる補間フィルタの事例を表１および表２にまとめる。以上の詳細については，非特許文献２に示されている。
Figure 0005762243
Figure 0005762243
このＤＣＴベース補間フィルタは，任意のフィルタ長および補間精度に対応でき，性能の高い補間フィルタであるため，ＨＥＶＣ用テストモデルＨＭに採用されている。
〔適応的補間〕
Ｈ．２６４／ＡＶＣおよびＤＣＴベース補間フィルタでは，入力画像条件（シーケンス種類／画像サイズ／フレームレート）や符号化条件（ブロックサイズ／ＧＯＰ構造／ＱＰ）に関わらず，フィルタ係数値は一定である。フィルタ係数値が固定である場合，例えば，エイリアシング，量子化誤差，動き推定による誤差，カメラノイズといった時間的に変化する効果が考慮されていない。したがって，符号化効率の点で性能向上に限界があると考えられる。そこで，補間フィルタ係数を適応的に変化させる方式が非特許文献３では提案されており，分離型適応補間フィルタ（ＳＡＩＦ：Separable Adaptive Interpolation Filter ）と呼ばれ，１次元の６タップ補間フィルタを用いる。
図１５は，分離型適応補間フィルタ（ＳＡＩＦ）における小数精度の画素補間方法を示す図である。手順としては，図１５（Ｂ）のＳｔｅｐ１に示すように，まず水平方向の画素（ａ，ｂ，ｃ）を補間する。フィルタ係数の決定には整数精度画素Ｃ１からＣ６が用いられる。式(4) の予測誤差エネルギー関数Ｅh 2 を最小化するような水平方向フィルタ係数が，一般に知られた最小二乗法（非特許文献３参照）により，解析的に決定される。
Figure 0005762243
ここで，Ｓは原画像，Ｐは復号済参照画像，ｘおよびｙはそれぞれ画像中の水平および垂直方向の位置を示す。また，〜ｘ（〜はｘの上に付く記号；他も同様）は，
〜ｘ＝ｘ＋ＭＶx −FilterOffset
であり，ＭＶx は事前に得られた動きベクトルの水平成分， FilterOffset は調整のためのオフセット（水平方向フィルタ長を２で割った値）を示している。垂直方向については，〜ｙ＝ｙ＋ＭＶy となり，ＭＶy は動きベクトルの垂直成分を示す。ｗciは求めるべき水平方向フィルタ係数群ｃi （０≦ｃi ＜６）を示す。
式(4) を求めるフィルタ係数と同じ数の一次方程式が得られることになり，最小化処理は，水平方向の各小数画素位置ごとに独立に実施される。この最小化処理を経て，３種類の６タップフィルタ係数群が求まり，そのフィルタ係数を用いて小数画素ａ，ｂ，ｃが補間される。
水平方向の画素補間が完了した後，垂直方向の補間処理を実施する。水平方向と同様の線形問題を解くことで垂直方向のフィルタ係数を決定する。具体的には，式(5) の予測誤差エネルギー関数ＥV 2 を最小化するような垂直方向フィルタ係数が，解析的に決定される。
Figure 0005762243
ここで，Ｓは原画像，＾Ｐ（＾はＰの上に付く記号）は復号後に水平方向に補間処理された画像，ｘおよびｙはそれぞれ画像中の水平および垂直方向の位置を示す。また，〜ｘ＝４・（ｘ＋ＭＶx ）で表現され，ＭＶx は丸められた動きベクトルの水平成分を示す。垂直方向については，〜ｙ＝ｙ＋ＭＶy −FilterOffset で表現され，ＭＶy は動きベクトルの垂直成分， FilterOffset は調整のためのオフセット（フィルタ長を２で割った値）を示す。ｗcjは求めるべき垂直方向フィルタ係数群ｃj （０≦ｃj ＜６）を示す。
最小化処理は各小数精度画素ごとに独立に実施され，１２種類の６タップフィルタが得られる。このフィルタ係数を用いて，残りの小数精度画素が補間される。
以上より，合計９０（＝６×１５）のフィルタ係数を符号化して復号側に伝送する必要がある。特に低解像度の符号化については，このオーバーヘッドが大きくなるため，フィルタの対称性を用いて，伝送すべきフィルタ係数を削減している。例えば，図１５では，ｂ，ｈ，ｉ，ｊ，ｋの位置は，補間方向に関して各整数精度画素から中心に位置しており，水平方向であれば，左３点に用いる係数を反転させて右３点に適用できる。同様に，垂直方向であれば，上３点に用いる係数を反転させて下３点に適用できる（ｃ1 ＝ｃ6 ，ｃ2 ＝ｃ5 ，ｃ3 ＝ｃ4 ）。
他にもｄとｌの関係はｈを挟んで対称となっているため，フィルタ係数もそれぞれ反転して利用できる。すなわち，ｄの６係数を伝送すれば，その値をｌにも適用できる。ｃ（ｄ）1 ＝ｃ（ｌ）6 ，ｃ（ｄ）2 ＝ｃ（ｌ）5 ，ｃ（ｄ）3 ＝ｃ（ｌ）4 ，ｃ（ｄ）4 ＝ｃ（ｌ）3 ，ｃ（ｄ）5 ＝ｃ（ｌ）2 ，ｃ（ｄ）6 ＝ｃ（ｌ）1 となる。この対称性は，ｅとｍ，ｆとｎ，そしてｇとｏにも利用可能となる。ａとｃについても同様の理論が成立するが，水平方向は垂直方向の補間にも結果が影響を及ぼすため，対称性は用いずに，ａとｃはそれぞれ別々に伝送を行う。以上の対称性を利用した結果，フレームごとに伝送すべきフィルタ係数は５１（水平方向が１５，垂直方向が３６）となる。
なお，伝送するフィルタ係数は，算出されたフィルタ係数と係数算出に用いる固定補間フィルタ係数との差分値が取られ，その残差フィルタ係数が実際には符号化される。
大久保榮, 角野眞也, 菊池義浩, 鈴木輝彦："Ｈ．２６４／ＡＶＣ教科書改訂三版"，インプレス, pp.119-123，2009 Ken McCann, Woo-Jin Han, Il-Koo Kim, Jung-Hye Min, Elena Alshina, Alexander Alshin, Tammy Lee, Jianle Chen, Vadim Seregin, Sunil Lee, Yoon-Mi Hong, Min-Su Cheon, Nikolay Shlyakhov, "Samsung's Response to the Call for Proposals on Video Compression Technology", JCTVC-A124 r2, pp. 12-14, 1st JCT-VC Meeting, Dresden, Apr. 2010 S. Wittmann, T. Wedi: "Separable adaptive interpolation filter for video coding", Proc. ICIP2008, IEEE International Conference on Image Processing, pp. 2500-2503, San Diego, California, USA, Oct. 2008
補間フィルタのタップ長を長くしたり，対称性を利用せずに厳密に補間フィルタ係数を伝送しようとする場合，残差エネルギーは低減する方向に傾くが，その分，オーバーヘッドとなる補間フィルタ係数の符号量が増大する。補間フィルタ係数に係る符号量が低減できれば，符号化効率向上により貢献できる。
ところが，非特許文献３では，補間フィルタ係数を符号化する際にエントロピー符号化を施すが，そのエントロピー符号化のパラメータは固定となっており，すべての補間位置におけるすべてのフィルタ係数が同じ条件で符号化されるため，性能改善には限界があると考えられる。
本発明は以上のような事情に鑑みてなされたものであり，適応補間フィルタにおける補間フィルタ係数の位置に着目し，適応的なエントロピー符号化方法を導入することで，適応補間フィルタのフィルタ係数の発生符号量を低減し，高能率な適応補間フィルタ方法を確立することを目的とする。
上記目的を達成するための方法として，本発明は，動き補償を用いる映像符号化方法において，動き探索を行って動きベクトルを取得し，その動きベクトルを用いて小数精度画素の補間に用いる補間フィルタ係数を算出し，その補間フィルタ係数および動きベクトルを用いて，小数精度画素の補間を行って符号化を実施し，補間フィルタ係数のエントロピー符号化に用いるパラメータのうち，指定された複数のパラメータの中から補間フィルタ係数の発生符号量が最小となるパラメータを選択し，選択したパラメータおよび算出した補間フィルタ係数を符号化して出力することを特徴とする。
また，上記発明において，前記指定された複数のパラメータは，補間フィルタ係数の位置に応じて，選択対象となる複数のパラメータの範囲が制限されたものであることを特徴とする。
また，本発明は，上記映像符号化方法によって符号化された符号化ストリームを動き補償を用いて復号する映像復号方法において，補間フィルタ係数を復号するためのエントロピー符号化パラメータをフィルタ係数位置ごとに復号し，そのパラメータを用いて小数精度画素生成のための補間フィルタ係数を復号し，動きベクトルおよび残差信号を復号し，復号済みの補間フィルタ係数と動きベクトルとを用いて予測信号を生成し，復号された残差信号および前記予測信号を用いて復号信号を生成することを特徴とする。
本発明の作用は，以下のとおりである。従来の適応補間フィルタでは，補間フィルタ係数の符号化において，エントロピー符号化に用いるパラメータが固定されていて，すべての補間フィルタ係数が同じ条件で符号化されており，性能改善には限界があった。一方，本発明では，補間フィルタ係数の発生符号量を低減するパラメータを適応的に選択することを可能にし，符号化効率を改善することができる。
また，本発明は，算出された補間フィルタ係数の振幅，すなわち，補間フィルタ係数の係数値が補間対象となる画素の位置に近いほど大きく，離れると小さくなるという想定に基づき，エントロピー符号化に用いるパラメータの範囲を係数の位置に応じて制限する。これにより，各補間位置に適切なパラメータを用いて補間フィルタ係数の発生符号量を低減することが可能となり，符号化効率を改善することができる。
なお，補間フィルタ係数のセットおよびエントロピー符号化パラメータの符号化／復号は，例えばフレーム単位もしくはスライス単位，または他の何らかの規準によって定められた複数ブロックからなる領域の単位で行われる。
本発明によれば，従来の補間補間フィルタでは考慮できなかった，補間処理に用いるタップ長とその補間フィルタ係数の位置に応じた補間フィルタ係数の適応的な符号化処理が可能となり，補間フィルタ係数の符号量削減による符号化効率改善が達成できる。
本発明を適用する映像符号化装置の一構成例を示す図である。 映像符号化装置におけるインター予測処理部の構成例を示す図である。 インター予測符号化処理のフローチャートである。 補間フィルタ係数符号化処理部の構成例を示す図である。 補間フィルタ係数符号化処理のフローチャートである。 本発明を適用する映像復号装置の一構成例を示す図である。 映像復号装置におけるインター予測処理部の構成例を示す図である。 インター予測復号処理のフローチャートである。 補間フィルタ係数復号処理部の構成例を示す図である。 補間フィルタ係数復号処理のフローチャートである。 映像符号化装置をコンピュータとソフトウェアプログラムとを用いて実現する場合のシステムの構成例を示す図である。 映像復号装置をコンピュータとソフトウェアプログラムとを用いて実現する場合のシステムの構成例を示す図である。 映像符号化標準方式（Ｈ．２６４／ＡＶＣ）の小数精度の画素補間方法を示す図である。 ＤＣＴベース補間フィルタ（ＤＣＴ−ＩＦ）の小数精度の画素補間方法を示す図である。 分離型適応補間フィルタ（ＳＡＩＦ）における小数精度画素の補間方法を示す図である。
以下，図面を用いながら，本発明の一実施形態について説明する。
本発明は，映像符号化装置（図１）および映像復号装置（図６）におけるインター予測処理およびその付加情報の符号化および復号に関する技術である。以下では，映像符号化装置におけるインター予測処理を先に説明し，その後に，映像復号装置におけるインター予測処理について説明する。
〔映像符号化装置の構成例〕
図１は，本発明を適用する映像符号化装置の一構成例を示す図である。映像符号化装置１００において，本実施形態は，特にインター予測処理部１０２で用いた補間フィルタ係数を符号化する補間フィルタ係数符号化処理部３００の部分が，従来技術と異なる部分であり，他の部分は，Ｈ．２６４／ＡＶＣなどのエンコーダとして用いられている従来の一般的な映像符号化装置の構成と同様である。
映像符号化装置１００は，符号化対象の映像信号を入力し，入力映像信号のフレームをブロックに分割してブロックごとに符号化し，そのビットストリームを符号化ストリームとして出力する。この符号化のため，予測残差信号生成部１０３は，入力映像信号とイントラ予測処理部１０１あるいはインター予測処理部１０２の出力である予測信号との差分を求め，それを予測残差信号として出力する。変換処理部１０４は，予測残差信号に対して離散コサイン変換（ＤＣＴ）等の直交変換を行い，変換係数を出力する。量子化処理部１０５は，変換係数を量子化し，その量子化された変換係数を出力する。エントロピー符号化処理部１１３は，量子化された変換係数をエントロピー符号化し，符号化ストリームとして出力する。
一方，量子化された変換係数は，逆量子化処理部１０６にも入力され，ここで逆量子化される。逆変換処理部１０７は，逆量子化処理部１０６の出力である変換係数を逆直交変換し，予測残差復号信号を出力する。
復号信号生成部１０８では，前記予測残差復号信号とイントラ予測処理部１０１あるいはインター予測処理部１０２の出力である予測信号とを加算し，符号化した符号化対象ブロックの復号信号を生成する。この復号信号は，イントラ予測処理部１０１あるいはインター予測処理部１０２で参照画像として用いるために，フレームメモリ１０９に格納される。なお，インター予測処理部１０２において参照する場合には，インループフィルタ処理部１１０において，フレームメモリ１０９に格納した画像を入力して，符号化歪を低減するフィルタリング処理を行い，このフィルタリング処理後の画像を参照画像として用いる。
イントラ予測処理部１０１において設定された予測モード等の情報は，イントラ予測情報格納部１１２に格納され，さらに，エントロピー符号化処理部１１３においてエントロピー符号化され，符号化ストリームとして出力される。インター予測処理部１０２において設定された動きベクトル等の情報は，インター予測情報格納部１１１に格納され，さらに，エントロピー符号化処理部１１３においてエントロピー符号化され，符号化ストリームとして出力される。特に，エントロピー符号化処理部１１３における補間フィルタ係数符号化処理部３００は，インター予測処理部１０２で用いられた補間フィルタ係数についての符号化を行う。
〔映像符号化におけるインター予測処理部の構成例〕
図２に，図１に示すインター予測処理部１０２の構成例を示す。
インター予測処理部１０２は，固定補間フィルタ係数記憶部２０１，動き検出部２０２，補間フィルタ係数導出部２０３，参照画像補間部２０４を備え，原信号，復号信号を入力として，インター予測による予測信号，動きベクトルを出力する。
固定補間フィルタ係数記憶部２０１は，補間フィルタ係数を求めるのに必要な動きベクトルを生成するための初期固定補間フィルタの係数を保存する。例えば，Ｈ．２６４／ＡＶＣの６タップフィルタであっても，ＤＣＴベース補間フィルタの４，８，１２タップフィルタであってもよい。
動き検出部２０２は，補間された参照信号と原画像とを入力とし，動きベクトルを検出して，その情報を出力する。補間フィルタ係数導出部２０３は，原信号，復号信号，固定補間フィルタ係数記憶部２０１の固定補間フィルタを用いて導出された動きベクトルを入力として，二乗誤差エネルギーを最小化する補間フィルタ係数を生成する。
参照画像補間部２０４は，固定補間フィルタ係数ないしは適応的に求められた適応補間フィルタ係数，復号信号を用いて，解像度の高い補間済参照画像の信号を生成する。
補間フィルタ係数符号化処理部３００は，本発明の改良点に関する部分であり，補間フィルタ係数導出部２０３で求められた補間フィルタ係数を入力として，補間フィルタ係数の符号化を実施する。符号化に必要となるエントロピー符号化パラメータなどの付加情報も符号化をする。
〔インター予測符号化処理フロー〕
図３は，インター予測符号化処理のフローチャートである。以下，図３に従って，インター予測符号化処理の詳細について説明する。
まず，ステップＳ１０１では，フレームをブロック（例えば，１６×１６や８×８といった従来の動き予測のブロックサイズ）に分割し，ブロック単位で最適な動きベクトルを算出する。本ステップにおける参照画像の小数精度画素の補間には，例えば，従来のＨ．２６４による固定６タップフィルタを用いる。
次に，ステップＳ１０２では，水平方向の予測誤差エネルギー関数である式(6) を用いて，水平方向の各小数精度画素に対する補間フィルタ係数の最適化処理を行う。
Figure 0005762243
ここで，Ｓは原画像，Ｐは復号済参照画像，ｘおよびｙはそれぞれ画像中の水平および垂直方向の位置を示す。また，〜ｘは，〜ｘ＝ｘ＋ＭＶx − FilterOffset であり，ＭＶx は事前に得られた動きベクトルの水平成分， FilterOffset は調整のためのオフセット（水平方向フィルタ長を２で割った値）を示している。垂直方向については，〜ｙ＝ｙ＋ＭＶy となり，ＭＶy は動きベクトルの垂直成分を示す。ｗciは求めるべき水平方向フィルタ係数群ｃi （０≦ｃi ＜６）を示す。
ステップＳ１０３では，ステップＳ１０２で得られた水平方向の補間フィルタ係数を用いて，水平方向の小数画素補間（図１５におけるａ，ｂ，ｃの補間）を実施する。
ステップＳ１０４では，垂直方向の予測誤差エネルギー関数である式(7) を用いて，垂直方向の各小数画素に対する補間フィルタ係数の最適化処理を行う。
Figure 0005762243
ここで，Ｓは原画像，＾Ｐは復号後に水平方向に補間処理された画像，ｘおよびｙはそれぞれ画像中の水平および垂直方向の位置を示す。また，〜ｘ＝４・（ｘ＋ＭＶx ）で表現され，ＭＶx は丸められた動きベクトルの水平成分を示す。垂直方向については，〜ｙ＝ｙ＋ＭＶy −FilterOffset で表現され，ＭＶy は動きベクトルの垂直成分， FilterOffset は調整のためのオフセット（フィルタ長を２で割った値）を示す。ｗcjは求めるべき垂直方向フィルタ係数群ｃj （０≦ｃj ＜６）を示す。
ステップＳ１０５では，ステップＳ１０４で得られた垂直方向の補間フィルタ係数を用いて，垂直方向の小数画素補間（図１５におけるｄ〜ｏの補間）を実施する。
ステップＳ１０６では，ステップＳ１０５で得られた垂直方向に補間された画像を参照画像として，再度動きベクトルの探索を行い，動きベクトルを算出する。
ステップＳ１０７では，各種補間フィルタ係数群を符号化する。
ステップＳ１０８では，残りの情報（動きベクトル，量子化後ＤＣＴ係数など）の符号化を行う。
〔本発明の実施形態に係る補間フィルタ係数符号化処理部の構成例〕
図４（Ａ）に，本発明の実施形態に係る補間フィルタ係数符号化処理部（図１の補間フィルタ係数符号化処理部３００）の構成例を示す。
タップ長記憶部３０１は，補間に用いるフィルタのタップ長を記憶する。タップ長読込み部３０２は，フィルタのタップ長を入力として，タップ長記憶部３０１で記憶したタップ長を読み込む。係数位置設定部３０３は，補間フィルタ係数，およびタップ長読込み部３０２で読み込んだタップ長を入力として，補間フィルタ係数の符号化に用いる係数の位置情報を同定し，係数の位置情報を出力する。
係数位置判定部３０４は，係数の位置情報を入力とし，係数の位置情報に応じて，エントロピー符号化パラメータ設定部３０５で割り当てるエントロピー符号化パラメータの範囲および調整用オフセットを指定し，当該符号化パラメータを出力する。このとき，特定の係数位置に対して所定のオフセットを与える場合には，オフセットを与える。オフセットの有無については，符号化装置と復号装置とで共通に与えるか与えないかを統一しておけばよい。オフセットを符号化して伝送してもよい。
ここで，係数位置に応じたエントロピー符号化パラメータの範囲を制限する方法として，以下の方法を用いる。例えばエントロピー符号化としてゴロム符号化を用いる場合に，その符号表を決定するパラメータであるｍ値の値の指定範囲を，係数位置ごと変化させる。具体的には，補間フィルタ係数の係数位置が，補間対象となる画素の位置から最も遠い場合に，ｍ値の範囲として，例えばｍ＝２またはｍ＝３とし，補間対象となる画素の位置に最も近い係数では，ｍ値の範囲を例えばｍ＝２〜８とするというように，補間フィルタ係数の端部に近いほうでは狭い範囲，補間フィルタ係数の中央に近いほうでは広い範囲となるようなエントロピー符号化パラメータの範囲の指定を行う。なお，このパラメータは，ゴロム符号化のパラメータに限らず，例えば他のエントロピー符号化方法における符号表を決定するためのパラメータのようなものでもよく，同様にパラメータの範囲を係数位置に応じて制限する方法を用いてもよい。
エントロピー符号化パラメータ設定部３０５は，係数位置判定部３０４で指定されたエントロピー符号化パラメータの範囲を入力とし，同範囲内でエントロピー符号化パラメータを指定する。例えば，エントロピー符号化としてゴロム符号化を用いる場合，指定されたｍ値の範囲において，各ｍ値を昇順または降順に順番に指定する。
発生符号量算出部３０６は，エントロピー符号化パラメータ設定部３０５で指定されたエントロピー符号化パラメータ，および位置情報，補間フィルタ係数を入力とし，指定されたエントロピー符号化パラメータを用いた場合に得られる発生符号量を算出する。
判定部３０７は，発生符号量算出部３０６で求めた発生符号量，およびエントロピー符号化パラメータ，エントロピー符号化パラメータの範囲を入力とし，エントロピー符号化パラメータ設定部３０５で指定されたエントロピー符号化パラメータが，係数位置判定部３０４で指定されたエントロピー符号化パラメータの範囲の最終値と等しければ，エントロピー符号化パラメータの範囲において，発生符号量が最小となる当該符号化パラメータを出力とする。そうでなければ，発生符号量，およびエントロピー符号化パラメータを保存し，エントロピー符号化パラメータ設定部３０５の処理に移動する。
補間フィルタ係数符号化部３０８は，補間フィルタ係数，および係数の位置情報，符号化パラメータを入力として，係数の位置情報およびエントロピー符号化パラメータに応じて，補間フィルタ係数の符号化を行い，ビットストリームを出力する。係数位置判定部３０９は，係数の位置情報，および符号化パラメータを入力とし，係数の位置が最後の補間フィルタ係数の位置であるかどうかを判定し，まだ符号化すべき係数がある場合には，係数位置設定部３０３の処理に移動する。
〔従来の補間フィルタ係数符号化処理部の構成例〕
参考のために，図４（Ｂ）に，従来の補間フィルタ係数符号化処理部の構成例を示し，本実施形態による補間フィルタ係数符号化処理部との違いを説明する。
本発明の実施形態による補間フィルタ係数符号化処理部が，従来の補間フィルタ係数符号化処理部と異なるのは，図４（Ａ）に点線枠で示した部分であり，従来法では，この部分がエントロピー符号化パラメータ記憶部３１０とエントロピー符号化パラメータ読込み部３１１となっている。
エントロピー符号化パラメータ記憶部３１０は，補間フィルタ係数の符号化に用いるエントロピー符号化パラメータを記憶する。符号化装置および復号装置で共通で用いる値を入力する。ここでは，補間位置にかかわらず，一定の値を用いる。
エントロピー符号化パラメータ読込み部３１１は，補間フィルタ係数，および係数の位置情報を入力として，エントロピー符号化パラメータ記憶部３１０で記憶したエントロピー符号化パラメータを読み込み，補間フィルタ係数符号化部３０８′に対して，補間フィルタ係数，および係数の位置情報，符号化パラメータを通知する。
このように，従来の補間フィルタ係数のエントロピー符号化では，エントロピー符号化のパラメータは固定となっており，すべての補間位置におけるフィルタ係数が同じ条件で符号化されていたが，本実施形態では，補間フィルタ係数の発生符号量を低減するパラメータを適応的に選択するため，符号化効率が向上する。
〔補間フィルタ係数符号化処理フロー〕
図５に，本発明の実施形態に係る補間フィルタ係数符号化処理のフローチャートを示す。前述した図３のステップＳ１０７における補間フィルタ係数の符号化処理では，図５に示す処理を実行する。
まず，ステップＳ２０１では，補間処理に用いた補間フィルタタップ長を読み込む。ステップＳ２０２では，符号化対象のフィルタ係数の位置を設定する。ステップＳ２０３では，ステップＳ２０２で指定された位置に対する補間フィルタ係数差分値を読み込む。
次のステップＳ２０４からＳ２０８までの処理が，従来技術と異なる部分である。従来技術では，読み込まれた補間フィルタ係数差分値を符号化する際に，符号化に用いるエントロピー符号化のパラメータは，既知のパラメータを用いていた。これに対し，本実施形態では，次のように処理する。
ステップＳ２０４では，ステップＳ２０２で設定された符号化される補間フィルタ係数の位置を入力として，位置の判定を行う。このとき，特定の係数位置に対して所定のオフセットを与える場合には，オフセットを与える。オフセットの有無については，符号化装置と復号装置とで共通に与えるか与えないかを統一して決めておけばよい。オフセットを符号化して伝送してもよい。
ステップＳ２０５では，補間フィルタ係数の符号化に用いるエントロピー符号化パラメータを設定する。このパラメータとは，例えば符号表を決定するためのパラメータを示す。本パラメータの設定により，符号化対象信号値の２値表現が変わるため，同じ信号値を符号化する場合でも，パラメータが変わると符号量が変化する。
ステップＳ２０６では，ステップＳ２０５にて設定されたエントロピー符号化パラメータを用いて，ステップＳ２０４で読み込まれた補間フィルタ係数値を符号化し，発生符号量を計算する。このとき，ステップＳ２０４で与えられるオフセットを考慮して符号化を行う。
ステップＳ２０７では，ステップＳ２０５にて求まった発生符号量を記憶し，最小の発生符号量かどうかを判定する。最小の発生符号量の場合には，その符号量の値とその符号量を与える当該パラメータを保存する。
ステップＳ２０８では，ステップＳ２０５で設定したエントロピー符号化パラメータが，最後の当該パラメータなのかを判定する。最終パラメータであれば，発生符号量の計算を止め，それまでの発生符号量の計算処理の中で最小の発生符号量を実現する当該パラメータを出力する。最終パラメータでなければ，ステップＳ２０５に戻って，次のパラメータについて同様に処理を繰り返す。
ステップＳ２０９では，ステップＳ２０３で読み込まれた補間フィルタ係数の符号化を行う。このとき，符号化に用いるエントロピー符号化のパラメータは，ステップＳ２０７で保存された係数の符号量が最小となるパラメータを用いる。
ステップＳ２１０では，符号化する係数の位置が，符号化すべき最後の位置であるかどうかを判定する。もし，最後の位置となっていれば，最後の補間フィルタ係数が符号化されたと判断し，処理を終了する。最後の位置となっていなければ，符号化すべき補間フィルタ係数があると判断し，ステップＳ２０２へ戻り，残りの補間フィルタ係数の符号化処理を続ける。
〔映像復号装置の構成例〕
図６は，本発明を適用する映像復号装置の一構成例を示す図である。映像復号装置４００において，本実施形態は，特にインター予測処理部４０３で用いる補間フィルタ係数を復号する補間フィルタ係数復号処理部６００の部分が，従来技術と異なる部分であり，他の部分は，Ｈ．２６４／ＡＶＣなどのデコーダとして用いられている従来の一般的な映像復号装置の構成と同様である。
映像復号装置４００は，図１に示す映像符号化装置１００により符号化された符号化ストリームを入力して復号することにより復号画像の映像信号を出力する。この復号のため，エントロピー復号処理部４０１は，符号化ストリームを入力し，復号対象ブロックの量子化変換係数をエントロピー復号する。また，エントロピー復号処理部４０１は，イントラ予測に関する情報を復号し，イントラ予測情報格納部４１０に格納するとともに，インター予測に関する情報を復号し，インター予測情報格納部４０９に格納する。
逆量子化処理部４０４は，量子化変換係数を入力し，それを逆量子化して復号変換係数を出力する。逆変換処理部４０５は，復号変換係数に逆直交変換を施し，予測残差復号信号を出力する。この予測残差復号信号とイントラ予測処理部４０２あるいはインター予測処理部４０３の出力である予測信号とを，復号信号生成部４０６にて加算し，復号対象ブロックの復号信号を生成する。この復号信号は，イントラ予測処理部４０２あるいはインター予測処理部４０３に参照画像として用いるために，フレームメモリ４０７に格納される。なお，インター予測処理部４０３において参照する場合には，インループフィルタ処理部４０８において，フレームメモリ４０７に格納した画像を入力して，符号化歪を低減するフィルタリング処理を行い，このフィルタリング処理後の画像を参照画像として用いる。最終的にフィルタリング処理後の画像が，映像信号として出力される。
〔映像復号におけるインター予測処理部の構成例〕
図７に，図６に示すインター予測処理部４０３の構成例を示す。インター予測処理部４０３は，補間処理部５０１と予測信号生成部５０２を備える。
補間フィルタ係数復号処理部６００は，補間フィルタ係数およびエントロピー符号化パラメータなど，補間に必要な情報を含むビットストリームを入力とし，補間フィルタ係数を復号して，出力する。
補間処理部５０１は，補間フィルタ係数復号処理部６００で復号された補間フィルタ係数，動きベクトル，フレームメモリ４０７にある復号信号を入力とし，補間処理を実行し，補間済参照画像の信号を出力する。予測信号生成部５０２は，補間処理部５０１で生成された補間済参照画像と動きベクトルとを入力として，予測信号を生成し，出力する。
〔インター予測復号処理フロー〕
図８は，インター予測復号処理のフローチャートである。以下，図８に従って，インター予測復号処理の詳細について説明する。
まず，ステップＳ３０１では，ビットストリームを読み込み，補間フィルタ係数の復号を行う。ステップＳ３０２では，動きベクトルの復号を行い，ステップＳ３０１で復号された補間フィルタ係数を用いて補間処理を実施して，予測信号を生成する。ステップＳ３０３では，ビットストリームから量子化ＤＣＴ係数値を復号し，逆量子化，逆ＤＣＴ変換を行い，予測誤差信号を取得する。ステップＳ３０４では，ステップＳ３０２で生成された予測信号とステップＳ３０３で復号された予測誤差信号とを用いて，復号信号を生成する。
〔本発明の実施形態に係る補間フィルタ係数復号処理部の構成例〕
図９（Ａ）に，本発明の実施形態に係る補間フィルタ係数復号処理部（図６の補間フィルタ係数復号処理部６００）の構成例を示す。
タップ長記憶部６０１は，補間に用いるフィルタのタップ長を記憶する。タップ長読込み部６０２は，フィルタのタップ長を入力として，タップ長記憶部６０１に記憶されているタップ長を読み込む。係数位置設定部６０３は，ビットストリーム，およびタップ長読込み部６０２で読み込んだタップ長を入力として，補間フィルタ係数の復号に用いる係数の位置情報を同定し，係数の位置情報を出力する。
係数位置判定部６０４は，係数の位置情報を入力とし，係数の位置情報に応じて，エントロピー符号化パラメータ復号部６０５から得られるエントロピー符号化パラメータ（例えばゴロム符号化パラメータ）を調整するためのオフセット情報を出力する。エントロピー符号化パラメータ復号部６０５は，エントロピー符号化パラメータ情報を含むビットストリームを入力とし，係数位置設定部６０３で指定した位置におけるエントロピー符号化パラメータを復号する。
エントロピー符号化パラメータ読込み部６０６は，エントロピー符号化パラメータ復号部６０５で復号した符号化パラメータを入力とし，係数位置判定部６０４にて得られるオフセット情報を用いて，補間フィルタ係数復号部６０７の復号処理で用いる符号化パラメータを出力する。
補間フィルタ係数復号部６０７は，補間フィルタ係数情報を含むビットストリーム，および係数の位置情報，符号化パラメータを入力として，係数の位置情報およびエントロピー符号化パラメータに応じて，補間フィルタ係数の復号を行い，補間フィルタ係数を出力する。
係数位置判定部６０８は，係数位置設定部６０３で指定された係数の位置情報，および補間フィルタ係数復号部６０７で復号された補間フィルタ係数を入力とし，係数の位置がタップ長の最終係数位置に該当した場合，当該補間フィルタ係数を出力する。そうでなければ，係数位置設定部６０３の処理に移動する。
〔従来の補間フィルタ係数復号処理部の構成例〕
参考のために，図９（Ｂ）に，従来の補間フィルタ係数復号処理部の構成例を示し，本実施形態による補間フィルタ係数復号処理部との違いを説明する。
本発明の実施形態による補間係数復号処理部が，従来の補間フィルタ係数復号処理部と異なるのは，図９（Ａ）に点線枠で示した部分であり，従来法では，この部分が図９（Ｂ）に示すように，エントロピー符号化パラメータ記憶部６１０とエントロピー符号化パラメータ読込み部６１１となっている。
エントロピー符号化パラメータ記憶部６１０は，補間フィルタ係数の復号に用いるエントロピー符号化パラメータを記憶する。ここには，符号化装置および復号装置で共通に用いる値が入力され記憶されている。エントロピー符号化パラメータ読込み部６１１は，ビットストリーム，および係数の位置情報を入力として，エントロピー符号化パラメータ記憶部６１０に記憶されているエントロピー符号化パラメータを読み込み，補間フィルタ係数復号部６０７′に対して，補間フィルタ係数情報を含むビットストリーム，および係数の位置情報，符号化パラメータを通知する。
このように，従来の補間フィルタ係数のエントロピー復号では，エントロピー符号化パラメータは固定となっており，すべての補間位置におけるフィルタ係数が同じ条件で復号される。
〔補間フィルタ係数復号処理フロー〕
図１０に，本発明の実施形態に係る補間フィルタ係数復号処理のフローチャートを示す。前述した図８のステップＳ３０１における補間フィルタ係数の復号処理では，図１０に示す処理を実行する。
まず，ステップＳ４０１では，補間処理に用いる補間フィルタタップ長を読み込む。タップ長は符号化されている場合，その値を復号して取得する。符号化装置と復号装置とで共通の値を用いる場合には，その値を設定する。
ステップＳ４０２では，復号対象のフィルタ係数の位置を設定する。ステップＳ４０３では，ステップＳ４０２で設定された復号される補間フィルタ係数の位置を入力として，判定を行う。このとき，特定の係数位置に対して所定のオフセットを与える場合には，オフセットを与える。オフセットの有無については，符号化装置と復号装置とで共通に与えるか与えないかを統一しておけばよい。オフセットが符号化されている場合，そのオフセットを復号してもよい。
ステップＳ４０４では，ステップＳ４０２で設定された係数位置におけるエントロピー符号化パラメータ（例えばゴロム符号化パラメータ）を復号する。ステップＳ４０３で判定される位置情報からオフセットが必要な場合には，そのオフセットを加える。
ステップＳ４０５では，エントロピー符号化パラメータを読み込む。ステップＳ４０６では，ステップＳ４０５で読み込まれたエントロピー符号化パラメータを用いて，ステップＳ４０２で設定した係数位置における補間フィルタ係数を復号する。
ステップＳ４０７では，復号する補間フィルタ係数の位置が，復号すべき最後の位置であるかどうかを判定する。もし，最後の位置となっていれば，最後の補間フィルタ係数が復号されたと判断し，補間フィルタ係数の値を出力して，処理を終了する。最後の位置となっていなければ，復号すべき補間フィルタ係数があると判断し，ステップＳ４０２へ戻り，残りの位置における補間フィルタ係数の復号処理を続ける。
以上の映像符号化，復号の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
図１１に，映像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ７００と，ＣＰＵ７００がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ７０１と，カメラ等からの符号化対象の映像信号を入力する映像信号入力部７０２（ディスク装置等による映像信号を記憶する記憶部でもよい）と，本発明の実施形態で説明した符号化処理をＣＰＵ７００に実行させるソフトウェアプログラムである映像符号化プログラム７０４が格納されたプログラム記憶装置７０３と，ＣＰＵ７００がメモリ７０１にロードされた映像符号化プログラム７０４を実行することにより生成された符号化ストリームを，例えばネットワークを介して出力する符号化ストリーム出力部７０５（ディスク装置等による符号化ストリームを記憶する記憶部でもよい）とが，バスで接続された構成になっている。
図１２に，映像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ８００と，ＣＰＵ８００がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ８０１と，映像符号化装置が本手法により符号化した符号化ストリームを入力する符号化ストリーム入力部８０２（ディスク装置等による符号化ストリームを記憶する記憶部でもよい）と，本発明の実施形態で説明した復号処理をＣＰＵ８００に実行させるソフトウェアプログラムである映像復号プログラム８０４が格納されたプログラム記憶装置８０３と，ＣＰＵ８００がメモリ８０１にロードされた映像復号プログラム８０４を実行することにより，符号化ストリームを復号して得られた復号映像を，再生装置などに出力する復号映像データ出力部８０５（ディスク装置等による復号映像データを記憶する記憶部でもよい）とが，バスで接続された構成になっている。
以上，図面を参照して本発明の実施形態を説明してきたが，上記実施形態は本発明の例示に過ぎず，本発明が上記実施形態に限定されるものではないことは明らかである。したがって，本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加，省略，置換，その他の変更を行ってもよい。
１００ 映像符号化装置
１０２，４０３ インター予測処理部
３００ 補間フィルタ係数符号化処理部
３０１，６０１ タップ長記憶部
３０２，６０２ タップ長読込み部
３０３，６０３ 係数位置設定部
３０４，６０４ 係数位置判定部
３０５ エントロピー符号化パラメータ設定部
３０６ 発生符号量算出部
３０７ 判定部
３０８ 補間フィルタ係数符号化部
３０９，６０８ 係数位置判定部
４００ 映像復号装置
６００ 補間フィルタ係数復号処理部
６０５ エントロピー符号化パラメータ復号部
６０６ エントロピー符号化パラメータ読込み部
６０７ 補間フィルタ係数復号部

Claims (8)

  1. 動き補償を用いる映像符号化方法において，
    動き探索を行って動きベクトルを取得するステップと，
    前記動きベクトルを用いて小数精度画素の補間に用いる補間フィルタ係数を算出するステップと，
    前記補間フィルタ係数および動きベクトルを用いて，小数精度画素の補間を行って符号化を実施するステップと，
    補間フィルタ係数のエントロピー符号化に用いるパラメータのうち，指定された複数のパラメータの中から補間フィルタ係数の発生符号量が最小となるパラメータを選択するステップと，
    前記選択したパラメータおよび算出した補間フィルタ係数を符号化して出力するステップとを有する
    ことを特徴とする映像符号化方法。
  2. 請求項１記載の映像符号化方法において，
    前記パラメータを選択するステップでは，前記指定された複数のパラメータとして，補間フィルタ係数の位置に応じて，選択対象となる複数のパラメータの範囲が制限されたものを用いる
    ことを特徴とする映像符号化方法。
  3. 動き補償を用いる映像符号化装置において，
    動き探索を行って動きベクトルを取得する手段と，
    前記動きベクトルを用いて小数精度画素の補間に用いる補間フィルタ係数を算出する手段と，
    前記補間フィルタ係数および動きベクトルを用いて，小数精度画素の補間を行って符号化を実施する手段と，
    補間フィルタ係数のエントロピー符号化に用いるパラメータのうち，指定された複数のパラメータの中から補間フィルタ係数の発生符号量が最小となるパラメータを選択する手段と，
    前記選択したパラメータおよび算出した補間フィルタ係数を符号化して出力する手段とを備える
    ことを特徴とする映像符号化装置。
  4. 請求項３記載の映像符号化装置において，
    前記パラメータを選択する手段は，前記指定された複数のパラメータとして，補間フィルタ係数の位置に応じて，選択対象となる複数のパラメータの範囲が制限されたものを用いる
    ことを特徴とする映像符号化装置。
  5. 請求項１に記載の映像符号化方法により符号化された符号化ストリームを入力し，動き補償を用いて復号する映像復号方法において，
    動き補償に用いる補間フィルタ係数を復号するためのエントロピー符号化パラメータをフィルタ係数位置ごとに復号するステップと，
    前記パラメータを用いて小数精度画素生成のための補間フィルタ係数を復号するステップと，
    動きベクトルおよび残差信号を復号するステップと，
    前記復号済みの補間フィルタ係数と動きベクトルとを用いて予測信号を生成するステップと，
    復号された残差信号および前記予測信号を用いて復号信号を生成するステップとを有する
    ことを特徴とする映像復号方法。
  6. 請求項３に記載の映像符号化装置により符号化された符号化ストリームを入力し，動き補償を用いて復号する映像復号装置において，
    動き補償に用いる補間フィルタ係数を復号するためのエントロピー符号化パラメータをフィルタ係数位置ごとに復号する手段と，
    前記パラメータを用いて小数精度画素生成のための補間フィルタ係数を復号する手段と，
    動きベクトルおよび残差信号を復号する手段と，
    前記復号済みの補間フィルタ係数と動きベクトルとを用いて予測信号を生成する手段と，
    復号された残差信号および前記予測信号を用いて復号信号を生成する手段とを備える
    ことを特徴とする映像復号装置。
  7. 請求項１または請求項２に記載の映像符号化方法をコンピュータに実行させるための映像符号化プログラム。
  8. 請求項５に記載の映像復号方法をコンピュータに実行させるための映像復号プログラム。
JP2011228553A 2011-10-18 2011-10-18 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム Active JP5762243B2 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP2011228553A JP5762243B2 (ja) 2011-10-18 2011-10-18 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
TW101138201A TW201328362A (zh) 2011-10-18 2012-10-17 影像編碼方法、裝置、影像解碼方法、裝置及該等之程式
CN201280050853.5A CN103875246B (zh) 2011-10-18 2012-10-18 影像编码方法、装置、影像解码方法、装置及它们的程序
EP12841449.7A EP2768221B1 (en) 2011-10-18 2012-10-18 Video coding method, device and program for interpolation filter coefficients.
RU2014114262/08A RU2014114262A (ru) 2011-10-18 2012-10-18 Способ и устройство кодирования видеоизображения, способ и устройство декодирования видеоизображения и программа для этого
BR112014008921A BR112014008921A2 (pt) 2011-10-18 2012-10-18 método e dispositivo de codificação de vídeo, método e dispositivo de decodificação de vídeo e programas
US14/348,817 US20140247865A1 (en) 2011-10-18 2012-10-18 Video encoding method and apparatus, video decoding method and apparatus, and program therefor
PCT/JP2012/076929 WO2013058311A1 (ja) 2011-10-18 2012-10-18 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
CA2850743A CA2850743A1 (en) 2011-10-18 2012-10-18 Video encoding method and apparatus, video decoding method and apparatus, and program therefor
KR1020147010031A KR20140062519A (ko) 2011-10-18 2012-10-18 영상 부호화 방법, 장치, 영상 복호 방법, 장치 및 이들의 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011228553A JP5762243B2 (ja) 2011-10-18 2011-10-18 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム

Publications (2)

Publication Number Publication Date
JP2013090121A JP2013090121A (ja) 2013-05-13
JP5762243B2 true JP5762243B2 (ja) 2015-08-12

Family

ID=48140954

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011228553A Active JP5762243B2 (ja) 2011-10-18 2011-10-18 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム

Country Status (10)

Country Link
US (1) US20140247865A1 (ja)
EP (1) EP2768221B1 (ja)
JP (1) JP5762243B2 (ja)
KR (1) KR20140062519A (ja)
CN (1) CN103875246B (ja)
BR (1) BR112014008921A2 (ja)
CA (1) CA2850743A1 (ja)
RU (1) RU2014114262A (ja)
TW (1) TW201328362A (ja)
WO (1) WO2013058311A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3364655A4 (en) * 2015-11-11 2018-10-10 Samsung Electronics Co., Ltd. Method and apparatus for decoding video, and method and apparatus for encoding video
WO2018131986A1 (ko) * 2017-01-16 2018-07-19 세종대학교 산학협력단 영상의 부호화/복호화 방법 및 장치
CN111010568B (zh) * 2018-10-06 2023-09-29 华为技术有限公司 插值滤波器的训练方法、装置及视频图像编解码方法、编解码器
WO2020200235A1 (en) 2019-04-01 2020-10-08 Beijing Bytedance Network Technology Co., Ltd. Half-pel interpolation filter in intra block copy coding mode
KR102635319B1 (ko) 2019-08-20 2024-02-07 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 프로세싱에서 대안적 보간 필터들의 선택적 사용

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7349473B2 (en) * 2002-07-09 2008-03-25 Nokia Corporation Method and system for selecting interpolation filter type in video coding
JP2008536414A (ja) * 2005-04-13 2008-09-04 ゴットフリート・ヴィルヘルム・ライプニッツ・ウニヴェルジテート・ハノーヴァー ビデオの拡張された符号化方法及び装置
CN100455025C (zh) * 2005-07-21 2009-01-21 华为技术有限公司 一种分数像素插值方法和编解码设备
JP4956550B2 (ja) * 2006-11-30 2012-06-20 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法及び動画像復号化プログラム
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
US8576906B2 (en) * 2008-01-08 2013-11-05 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filtering
US8462842B2 (en) * 2008-04-10 2013-06-11 Qualcomm, Incorporated Symmetry for interpolation filtering of sub-pixel positions in video coding
US9967590B2 (en) * 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
JP5472105B2 (ja) * 2008-06-27 2014-04-16 ソニー株式会社 画像処理装置及び画像処理方法
WO2011083666A1 (ja) * 2010-01-08 2011-07-14 シャープ株式会社 符号化装置、復号装置、および、データ構造

Also Published As

Publication number Publication date
CN103875246B (zh) 2017-03-29
TW201328362A (zh) 2013-07-01
EP2768221B1 (en) 2021-01-06
EP2768221A4 (en) 2015-03-18
KR20140062519A (ko) 2014-05-23
RU2014114262A (ru) 2015-11-27
CA2850743A1 (en) 2013-04-25
JP2013090121A (ja) 2013-05-13
EP2768221A1 (en) 2014-08-20
CN103875246A (zh) 2014-06-18
US20140247865A1 (en) 2014-09-04
WO2013058311A1 (ja) 2013-04-25
BR112014008921A2 (pt) 2017-04-25

Similar Documents

Publication Publication Date Title
JP6545838B2 (ja) マージ候補ブロック誘導方法及びこのような方法を用いる装置
JP5649523B2 (ja) 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
JP5563403B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
US10298945B2 (en) Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, and programs thereof
KR20170116850A (ko) 인트라 예측 기반의 비디오 신호 처리 방법 및 장치
JP5649524B2 (ja) 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
JP5552092B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP5762243B2 (ja) 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
US9609318B2 (en) Video encoding method, video decoding method, video encoding apparatus, video decoding apparatus, and programs thereof
JP2011082725A (ja) 映像符号化方法，映像符号化装置，映像復号方法，映像復号装置，映像符号化・復号方法，およびプログラム
JP5571542B2 (ja) 映像符号化方法、及び映像復号方法
JP5488684B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP5937926B2 (ja) 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP6102977B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP2014135742A (ja) 画像処理装置および方法、並びに記録媒体
JP2014112941A (ja) 画像処理装置および方法、並びに記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150609

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150609

R150 Certificate of patent or registration of utility model

Ref document number: 5762243

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150