JPWO2010113524A1 - 動画像符号化方法、動画像復号方法、動画像符号化装置および動画像復号装置 - Google Patents

動画像符号化方法、動画像復号方法、動画像符号化装置および動画像復号装置 Download PDF

Info

Publication number
JPWO2010113524A1
JPWO2010113524A1 JP2011507043A JP2011507043A JPWO2010113524A1 JP WO2010113524 A1 JPWO2010113524 A1 JP WO2010113524A1 JP 2011507043 A JP2011507043 A JP 2011507043A JP 2011507043 A JP2011507043 A JP 2011507043A JP WO2010113524 A1 JPWO2010113524 A1 JP WO2010113524A1
Authority
JP
Japan
Prior art keywords
filter
signal
data
prediction
filter data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011507043A
Other languages
English (en)
Other versions
JP5485983B2 (ja
Inventor
ナロスキ マティアス
ナロスキ マティアス
ヴェディ トーマス
ヴェディ トーマス
ウィットマン ステファン
ウィットマン ステファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2010113524A1 publication Critical patent/JPWO2010113524A1/ja
Application granted granted Critical
Publication of JP5485983B2 publication Critical patent/JP5485983B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Medicines That Contain Protein Lipid Enzymes And Other Medicines (AREA)
  • Medicines Containing Material From Animals Or Micro-Organisms (AREA)
  • Fats And Perfumes (AREA)

Abstract

符号化効率の低下を抑え、復号される動画像の画質を向上させることができる動画像符号化方法は、動画像信号を予測することにより予測信号を生成し（Ｓ１００）、動画像信号と予測信号との差分を予測誤差信号として算出し（Ｓ１１０）、予測信号および予測誤差信号に基づいて動画像信号を再構築することによって再構築動画像信号を生成し（Ｓ１２０）、予測信号、前記予測誤差信号および前記再構築動画像信号のうちの少なくとも２つの信号のそれぞれに対して、その信号をフィルタリングするためのフィルタデータを決定し（Ｓ１３０）、決定されたフィルタデータ間の相互相関に基づいて、決定されたフィルタデータを符号化する（Ｓ１４０）。

Description

本発明は、動画像信号を符号化し、符号化された動画像信号を復号する動画像符号化方法および動画像復号方法などに関し、特に、符号化または復号において生成される信号をフィルタリングするためのフィルタを用いて符号化および復号する方法などに関する。
現在、標準的な動画像符号化アルゴリズムの大多数はハイブリッド動画像符号化に基づくものである。典型的には、ハイブリッド動画像符号化方法は、所望の圧縮成果を達成するために、それぞれ異なるロスが生じない圧縮方式とロスが生じる圧縮方式とを組み合わせたものである。ハイブリッド動画像符号化は、ＩＳＯ／ＩＥＣ標準規格（ＭＰＥＧ‐１、ＭＰＥＧ‐２、ＭＰＥＧ‐４のようなＭＰＥＧ−Ｘ標準規格）と同様に、ＩＴＵ‐Ｔ標準規格（Ｈ．２６１やＨ．２６３のようなＨ．２６ｘ標準規格）の基礎でもある。最新の動画像符号化標準規格は、Ｈ．２６４／ＭＰＥＧ‐４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）と称されるものであり、これは、ジョイントビデオチーム（ＪＶＴ）、ＩＴＵ‐Ｔのジョイントチーム、およびＩＳＯ／ＩＥＣ ＭＰＥＧグループによる標準化活動の成果である。
エンコーダへ入力される動画像信号は、フレームと呼ばれる画像のシーケンスであり、各フレームは２次元マトリクスの画素からなる。ハイブリッド動画像符号化に基づく上述の標準規格の全てにおいて、個々の動画像フレームは複数の画素からなる小ブロックへ細分化される。典型的には、マクロブロック（通常は１６×１６画素からなるブロックを意味する）が基本的な画像エレメントであり、これに対して符号化がおこなわれる。しかしながら、より小さい画像エレメントに対してさまざまな特定の符号化ステップがおこなわれる場合があり、例として８×８、４×４、１６×８画素などのサイズのサブマクロブロックや単なるブロックが挙げられる。
典型的には、ハイブリッド動画像符号化における符号化ステップには、空間的および／または時間的予測が含まれる。したがって、各符号化対象ブロックは、まず、既に符号化された動画像フレームから空間的に隣接したブロックか、時間的に隣接したブロックかを用いて予測される。符号化対象ブロックと予測結果との差分であるブロックが予測残差または予測誤差信号として、次に求められる。次の符号化ステップでは、残差ブロック（予測誤差信号）が空間（画素）領域から周波数領域へ変換される。変換の目的は、残差ブロックの冗長性を削減することである。次の符号化ステップにおいて、変換係数が量子化される。このステップにおいて、実質的にロスが生じる（不可逆的な）圧縮がおこなわれる。通常、圧縮変換係数値（量子化係数）は、エントロピー符号化によって（ロスを生じさせずに）さらに圧縮される。さらに、符号化動画像信号を再構築するために必要な補助情報が符号化され、符号化動画像信号とともに提供される。この情報は、例えば、空間的および／または時間的予測や量子化量に関するものである。
図１は、Ｈ．２６４／ＭＰＥＧ‐４ ＡＶＣ標準規格に準拠した、典型的な動画像符号化装置（エンコーダ）１００の一例を示すブロック図である。Ｈ．２６４／ＭＰＥＧ‐４ ＡＶＣ標準規格は、上述の符号化ステップの全てを組み合わせたものである。減算器１０５は、まず入力動画像（入力信号）の符号化対象ブロックと、対応する予測ブロック（予測信号）との差分を特定する。この差分は、符号化対象ブロックの予測に用いられるものである。Ｈ．２６４／ＭＰＥＧ ＡＶＣにおける予測信号は、時間的予測か空間的予測によって取得される。予測タイプは、フレーム単位またはマクロブロック単位で異ならせることができる。時間的予測（画面間予測）で予測されたマクロブロックは、インター符号化マクロブロックと呼ばれ、空間的予測（画面内予測）で予測されたマクロブロックは、イントラ符号化マクロブロックと呼ばれる。可能な限り高い圧縮成果を達成するために、動画像フレームの予測タイプは、ユーザが設定することもでき、動画像符号化装置１００に選択させることもできる。選択された予測タイプにしたがって、イントラ／インタースイッチ１７５は、対応する予測信号を減算器１０５へ提供する。時間的予測を用いて得られた予測信号は、メモリ１４０に格納されている再構築画像（再構築画像信号）から算出される。空間的予測を用いて得られた予測信号は、符号化および復号されてメモリ１４０に格納された隣接ブロック内の境界画素の値から算出される。よって、メモリ１４０は、符号化対象の信号値と、過去の信号値から生成された予測信号との比較を可能とするための遅延手段として動作する。メモリ１４０は、複数の符号化動画像フレームを格納可能である。入力信号と予測信号との差分は予測誤差信号または残差と称され、変換／量子化部１１０は、その予測誤差信号を周波数成分の係数に変換して量子化する。ロスが生じない方法でデータ量をさらに削減するために、エントロピー符号化部１９０は、量子化係数に対してエントロピー符号化を行う。主に、値の発生確率に基づいて長さが決められる複数の符号語を用いる可変長符号化によりデータ量が削減される。
イントラ符号化画像（Ｉピクチャ、Ｉタイプ画像またはＩフレームとも呼ばれる）は、イントラ符号化されたマクロブロックのみからなる。つまり、イントラ符号化された画像は、他の復号画像を参照することなく復号可能である。イントラ符号化画像は、符号化動画像シーケンスに対しエラー耐性を与える。なぜなら、時間的予測によって動画像シーケンス内でフレームからフレームへ伝播する可能性があるエラーを取り除く（リフレッシュする）からである。さらに、Ｉフレームは、符号化動画像シーケンス内でランダムアクセスを可能にする。画面内予測では、基本的には、既に符号化された隣接マクロブロックの境界に位置する画素を用いて対象マクロブロックを予測する、予め定められたイントラ予測モードの組が用いられる。空間的イントラ予測モードが異なるということは、適用された２次元予測の方向が異なるということである。これにより、様々なエッジ方向において空間的イントラ予測を効率的に行うことができる。イントラ予測によって得られた予測信号は、次に、上述の減算器１０５によって、入力信号から減算される。また、空間的イントラ予測モードを示す情報は、エントロピー符号化され、符号化動画像信号とともに提供される。
動画像符号化装置１００内には、復号動画像信号を取得する復号手段が備えられている。符号化ステップに準拠して、復号ステップの処理を実行する逆量子化／逆変換部１２０が含まれる。逆量子化／逆変換部１２０は、量子化係数に対して逆量子化および逆変換を行うことにより量子化予測誤差信号を生成する。量子化予測誤差信号は、量子化ノイズとも呼ばれる量子化誤差が原因で原予測誤差信号とは異なる。加算器１２５は、量子化予測誤差信号を予測信号に加算することにより、再構築信号を生成する。エンコーダ（動画像符号化装置１００）側とデコーダ（動画像復号装置）側の互換性を保つために、符号化された後に復号された動画像信号である再構築信号を用いて、エンコーダおよびデコーダの双方に知られる予測信号を求める。量子化によって、量子化ノイズがその再構築信号に重畳されている。ブロック単位での符号化により、重畳されたノイズはしばしば、ブロッキング特性を有し、特に強い量子化がおこなわれた場合は、再構築信号によって示される復号画像のブロック境界が目立つ結果になる。ブロッキングアーチファクト（ブロック歪み）は、人間の視覚的認識においてマイナスの効果がある。
アーチファクトを削減するために、デブロッキングフィルタ１３０は、復号画像のブロックごとにデブロッキングフィルタ処理を適用する。デブロッキングフィルタ処理は、予測信号と量子化予測誤差信号との加算結果である再構築信号に適用される。デブロッキングフィルタ処理後の再構築信号である再構築動画像信号は、通常は（ポストフィルタリングが適用されなければ）デコーダ側で表示される復号信号である。Ｈ．２６４／ＭＰＥＧ‐４ ＡＶＣにおけるデブロッキングフィルタは、局所的に適用可能なものである。ブロッキングノイズの程度が高い場合は、強い（帯域幅が狭い）ローパスフィルタが適用され、ブロッキングノイズの程度が低い場合は、弱い（帯域幅が広い）ローパスフィルタが適用される。ローパスフィルタの強度は、予測信号および量子化予測誤差信号によって定まる。デブロッキングフィルタは、通常、ブロックのエッジを平滑化して復号画像の主観的画質を改善する。さらに、画像内のフィルタリング済みの部分が次の画像の動き補償予測に用いられるため、フィルタリングによって予測誤差が削減され、符号化効率を改善することができる。
イントラ符号化マクロブロックは表示される前にフィルタリングされるが、イントラ予測はフィルタリング前の再構築信号の示すマクロブロックを用いて行われる。
図２は、デブロッキングフィルタ１３０の処理を説明するための図である。デブロッキングフィルタ１３０は、左側における第１ブロック３０１のサンプルｐ３、ｐ２、ｐ１、ｐ０と、右側における第２ブロック３０２のサンプルｑ３、ｑ２、ｑ１、ｑ０とに分離し、垂直ブロック境界線３１０においてデブロッキングフィルタ処理を行う。４つの係数を有する線形デブロッキングフィルタ処理を、入力サンプルｐ２、ｐ１、ｐ０、ｑ０、ｑ１、ｑ２に適用すると、デブロッキングフィルタ処理されたサンプルとして、以下の「ｐ０, new」および「ｑ０, new」が出力される。
p0,new = (p2 - (p1 << 1) + (p0 + q0 + 1) >> 1) >> 1,
q0,new = (q2 - (q1 << 1) + (q0 + p0 + 1) >> 1) >> 1
そして、再構築動画像信号はメモリ１４０に格納される。
インター符号化画像を復号するには、符号化された後に復号された画像が必要である。時間的予測は、単一方向にて（すなわち、時間的順序において、符号化対象フレームより前の動画像フレームのみを用いて）行ってもよく、また双方向にて（すなわち、符号化対象フレームより前および後の動画像フレームを用いて）行ってもよい。単一方向の時間予測を行えば、Ｐフレーム（Ｐピクチャ）と呼ばれるインター符号化画像が得られ、双方向の時間的予測を行えば、Ｂフレーム（Ｂピクチャ）と呼ばれるインター符号化画像が得られる。通常、インター符号化画像は、ＰタイプマクロブロックとＢタイプマクロブロックとＩタイプマクロブロックのいずれかから構成される。
動き補償予測部１６０は、インター符号化マクロブロック（ＰまたはＢタイプマクロブロック）を予測する。まず、動き検出部１６５は、符号化された後に復号された動画像フレーム内で、符号化対象ブロックに最適なブロックを検出する。予測信号はこの最適ブロックを示し、動き検出部１６５は、符号化対象ブロックと最適ブロック間の相対的なずれ（動き）を、符号化動画像信号とともに提供される補助情報内に含められる３次元動きベクトルという形式で、動きデータとして出力する。３次元とは、２つの空間次元と、１つの時間次元とからなる。予測精度を最適化するために、１／２画素解像度や１／４画素解像度などの空間小数画素解像度で動きベクトルを特定してもよい。空間小数画素精度の動きベクトルは、復号された動画像フレーム内の、小数画素位置のように画素値が実存しない位置を指してもよい。よって、動き補償予測を行うためには、そのような画素値の空間的補間が必要である。補間フィルタ１５０は、そのような空間的な画素値の補間を行う。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準規格にしたがって、水平方向と垂直方向とで別々に小数画素位置の画素値を得るために、固定フィルタ係数を用いた６タップ・ウィナー補間フィルタとバイナリフィルタが適用される。
イントラ符号化モードおよびインター符号化モードにおいて、変換／量子化部１１０は、入力信号と予測信号間の差分である予測誤差信号を変換して量子化し、量子化係数を生成する。一般的に、変換には、２次元離散コサイン変換（ＤＣＴ）またはその整数版のような直交変換が採用される。なぜなら、これにより自然な動画像の冗長性を効率的に削減できるからである。変換後、通常、低周波数成分は高周波成分よりも画質にとって重要であるため、高周波数の符号化よりも低周波数の符号化に多くのビットが費やされる。エントロピー符号化部１９０は、２次元マトリクスの量子化係数を１次元配列に変換する。典型的には、いわゆるジグザグ走査によって変換する。ジグザグ走査においては、２次元マトリクスの左上隅のＤＣ係数から右下隅のＡＣ係数まで所定の順序で走査される。典型的には、エネルギーは低周波に相当する、２次元係数マトリクスの左上部分に集中するため、ジグザグ走査をおこなうと、最後のほうでゼロ値が続く配列になる。これにより、実際のエントロピー符号化の一部として、またはそれ以前の段階で、ランレングス符号を用いた効率的な符号化をおこなうことが可能になる。
Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣは、量子化パラメータ（ＱＰ）およびカスタマイズ可能な量子化マトリクス（ＱＭ）によって制御可能なスカラ量子化を採用している。量子化パラメータにより、５２の量子化器のうちの１つがマクロブロック毎に選択される。加えて、量子化マトリクスは、画質の損失を避けるため、特に、ソース内で特定の周波数を保つように設計される。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣにおける量子化マトリクスは、動画像シーケンスに適応可能であり、符号化動画像信号と共に送信される。
Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準規格には、動画像符号化層（ＶＣＬ）とネットワーク抽象レイヤ（ＮＡＬ）という２つの機能層がある。ＶＣＬは、既に簡単に触れた符号化機能を提供する。ＮＡＬは、チャネル上での伝送や格納手段への格納といった、さらなるアプリケーションにしたがって、動画像の復号時に必要な補助情報とともに符号化された予測誤差信号を、ＮＡＬユニットと呼ばれる標準単位にカプセル化する。圧縮動画像データおよびその関連情報を含むＶＣＬ ＮＡＬユニットと呼ばれるものがある。また、付加データをカプセル化する非ＶＣＬユニットと呼ばれるものもある。付加データは、例えば、動画像シーケンス全体に関するパラメータセットや、復号性能を改善するために用いることができる付加情報を提供する、最近追加された補助的拡張情報（ＳＥＩ）などである。
画質を改善するために、ポストフィルタ２８０（図３参照）と呼ばれるものを、デコーダ（動画像復号装置２００）で適用してもよい。Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準規格においては、補助的拡張情報（ＳＥＩ）メッセージを通して、ポストフィルタリングのためのフィルタデータを送信することが可能である。ポストフィルタ設計部１８０は、フィルタデータ（いわゆるポストフィルタリングのフィルタヒント）を、ローカル復号信号（再構築動画像信号）と入力信号とを比較することによって特定する。一般的にフィルタデータは、適したフィルタ条件をデコーダが設定するための情報である。フィルタデータは、例えばフィルタ係数を直接含んでいてもよい。しかし、フィルタ設定を可能にする他の情報を含んでいてもよい。例えば、非圧縮信号に関する相互相関情報や、入力画像と復号画像間の相互相関情報や、復号画像と量子化ノイズ間の相互相関情報などである。この相互相関情報を用いてフィルタ係数を算出することができる。ポストフィルタ設計部１８０より出力されるフィルタデータは、エントロピー符号化部１９０に送られ、符号化されて符号化動画像信号に挿入される。
デコーダは、フィルタデータを、復号信号（復号動画像信号）を表示する前にその復号信号に対して適用してもよい。
図３は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ動画像符号化標準規格に準拠した例示的な動画像復号装置（デコーダ）２００のブロック図である。符号化動画像信号である入力信号は、まずエントロピー復号部２９０へ送信される。エントロピー復号部２９０は、入力信号に対してエントロピー復号を行う。その結果、量子化係数と、動きデータおよび予測モードなどの復号に必要な情報エレメントと、フィルタデータとが復号される。一次元に配列された量子化係数は、逆走査されて２次元マトリクスとなり、逆量子化／逆変換部２２０へ送信される。逆量子化／逆変換部２２０は、２次元マトリクスの量子化係数に対して逆量子化および逆変換を行うことにより、量子化予測誤差信号を生成する。これは、量子化ノイズが発生しない場合において、エンコーダへ入力された入力信号から予測信号を減算して得られた差分に相当する。
予測信号は、動き補償予測部２６０または画面内予測部２７０からそれぞれ得られる。イントラ／インタースイッチ２７５は、エンコーダで適用された予測タイプを示す情報エレメントにしたがって、加算器２２５に出力される予測信号を切り替える。情報エレメントは、さらに、イントラ予測の場合には、イントラ予測モードなどの予測に必要な情報を含み、動き補償予測の場合には、動きデータなどの予測に必要な情報を含む。動きベクトルの値によっては、動き補償予測を行うために画素値を補間する必要がある。補間は、補間フィルタ２５０によっておこなわれる。加算器２２５は、空間領域の量子化予測誤差信号を、動き補償予測部２６０か画面内予測部２７０から得られる予測信号へ加算することにより、再構築信号を生成する。さらに、加算器２２５は再構築信号をデブロッキングフィルタ２３０へ送信する。デブロッキングフィルタ２３０は、再構築信号に対してデブロッキングフィルタ処理を行うことにより再構築動画像信号を生成し、その再構築動画像信号をメモリ２４０に格納する。この再構築動画像信号は、後続ブロックの時間的予測または空間的予測に用いられる。
ポストフィルタ２８０は、エントロピー復号部２９０によってエントロピー復号されたフィルタデータを取得し、そのフィルタデータに応じたフィルタ係数などのフィルタリングの条件を設定する。さらに画質を改善するために、ポストフィルタ２８０は、その条件に従ったフィルタリングをその再構築動画像信号に適用する。これにより、ポストフィルタ２８０は、エンコーダへ入力される動画像信号の特性に適応する能力を備える。
要約すると、最新のＨ．２６４／ＡＶＣ標準規格で用いられるフィルタは以下の３種類である。すなわち、補間フィルタ、デブロッキングフィルタ、及びポストフィルタである。一般に、あるフィルタが適切かどうかは、フィルタリング対象の画像内容で決まる。それゆえ、画像の特性に適応可能なフィルタ設計は有利である。フィルタ係数を、ウィナーフィルタ係数として設計してもよい。
図４は、ノイズを削減するためのウィナーフィルタ４００を用いた信号の流れを説明する図である。ノイズｎが入力信号ｓに加算されると、フィルタリング対象のノイズを含む信号ｓ’になる。ノイズｎを削減するという目的は、信号ｓ’にウィナーフィルタ４００を適用してフィルタリング済み信号ｓ”を得ることである。ウィナーフィルタ４００は、所望の信号である入力信号ｓとフィルタリング済み信号ｓ”との間の平均二乗誤差を最小限にするよう設計される。したがってウィナーフィルタ係数wはＷｉｅｎｅｒ−Ｈｏｐｆ方程式と呼ばれるシステムとして表現される最適化問題「ａｒｇＷ ｍｉｎ Ｅ［（ｓ−ｓ”）２］」の解に相当する。演算子Ｅ［ｘ］は期待値ｘを示すものである。解は「ｗ＝Ｒ−１・ｐ」で求められる。
ここで、ｗは、正の整数であるＭ桁の最適ウィナーフィルタ係数を含むＭ×１のベクトルである。Ｒ−１は、フィルタリング対象のノイズを含む信号ｓ’のＭ×Ｍの自己相関マトリクスＲの逆数を表す。ｐは、フィルタリング対象のノイズを含む信号ｓ’と原信号ｓとの間のＭ×１の相互相関ベクトルを表す。適応的フィルタ設計に関する詳細については、非特許文献１を参照のこと。これをここに引用して援用する。
よって、ウィナーフィルタ４００のメリットの１つは、破損した（ノイズを含む）信号の自己相関と、破損信号と所望の信号間の相互相関とを用いて、フィルタ係数を求めることができるという点である。動画像符号化の際に、量子化ステップにおいて、量子化ノイズが原（入力）動画像信号に重畳される。動画像符号化のコンテキストにおけるウィナーフィルタリングは、フィルタリングされた再構築動画像信号と原動画像信号との平均二乗誤差を最小化するために、重畳された量子化ノイズを削減することを目的としている。
エンコーダからデコーダへ送信されるフィルタ情報は、算出されたフィルタ係数そのものか、デコーダでは求めることができない、ウィナーフィルタの算出に必要な相互相関ベクトルｐである。そのような補助情報を送信すれば、フィルタリングの質を改善することができる。また、例えば、フィルタの次数を増やすことによって、または動画像信号の各部分に対して別々にフィルタ係数を決定および／または適用させることによって、フィルタリングの質をさらに改善し、動画質をさらに向上することができる（例えば、特許文献１参照）。
欧州特許出願公開第２０４８８８６号明細書
S. Haykin, "Adaptive Filter Theory", Fourth Edition, Prentice Hall Information and System Sciences Series, Prentice Hall, 2002,
しかしながら、従来の動画像符号化方法および動画像復号方法では、画質の向上を図るためにフィルタ係数の数を増やせば、それらのフィルタ係数をデコーダに設定させるためにデコーダに送信されるべきフィルタデータのデータ量が多くなるという問題がある。その結果、符号化効率が低下するとともに、符号化動画像信号の送信には、広い通信帯域が必要になり、符号化動画像信号の格納には、大きいメモリ容量が必要になる。
本発明の根底にある課題は、動画像フィルタリングの質のさらなる向上には、通常、フィルタデータを符号化動画像信号とともに提供するために必要な帯域幅の条件の増加が結びついていることに基づく。
そこで、本発明は、かかる問題に鑑みてなされたものであって、符号化効率の低下を抑え、復号される動画像の画質を向上させる動画像符号化方法および動画像復号方法を提供することを目的とする。
上記目的を達成するために、本発明の一態様の動画像符号化方法は、少なくとも１つのピクチャを含む動画像信号を符号化する動画像符号化方法であって、空間的または時間的に前記動画像信号を予測することにより予測信号を生成し、前記動画像信号と前記予測信号との差分を予測誤差信号として算出し、前記予測信号および前記予測誤差信号に基づいて前記動画像信号を再構築することによって再構築動画像信号を生成し、前記予測信号、前記予測誤差信号および前記再構築動画像信号のうちの少なくとも２つの信号のそれぞれに対して、当該信号をフィルタリングするためのフィルタデータを決定し、決定された前記フィルタデータ間の相互相関に基づいて、決定された前記フィルタデータを符号化する。
これにより、予測信号、予測誤差信号および再構築動画像信号のうちの少なくとも２つの信号のそれぞれに対してフィルタ係数などのフィルタデータが決定されるため、動画像復号装置では、それらのフィルタデータを取得して、予測信号、予測誤差信号および再構築動画像信号のうちの少なくとも２つの信号にそれらのフィルタデータを適用すれば、元の動画像信号と同一またはそれにより近い信号を生成することができ、復号される動画像の画質を向上することができる。また、フィルタデータ間の相互相関に基づいて、それらのフィルタデータが符号化されるため、フィルタデータのデータ量を少なくすることができ、符号化効率の低下を抑えることができる。
また、前記フィルタデータを符号化する際には、決定された２つのフィルタデータのうちの第１のフィルタデータから、前記第１のフィルタデータ以外の第２のフィルタデータを予測することによって、前記第２のフィルタデータの予測データを特定し、前記第２のフィルタデータと前記予測データとの差分を算出することによって、前記第２のフィルタデータを符号化してもよい。例えば、前記予測データを特定する際には、前記第１のフィルタデータを前記予測データとして特定する。また、第１のフィルタデータは例えば再構築動画像信号に対するフィルタデータであり、第２のフィルタデータは例えば予測信号に対するフィルタデータである。
これにより、いわゆるフィルタデータ（フィルタ係数）の予測符号化が実現される。つまり、第２のフィルタと予測データとの差分が、符号化された第２のフィルタデータとなるため、予測データが第２のフィルタデータに似ていれば似ているほど、符号化された第２のフィルタデータのデータ量を少なくすることができ、符号化効率を向上することができる。また、第１のフィルタデータが第２のフィルタデータに似ている傾向があれば、第１のフィルタデータを予測データとすることによって、符号化効率の向上が可能な予測データを簡単に特定することができ、処理負担の軽減を図ることができる。
また、前記フィルタデータを符号化する際には、前記フィルタデータを量子化し、前記量子化の精度を示す精度情報を符号化してもよい。
これにより、フィルタデータが量子化されるため、フィルタデータのデータ量をさらに少なくすることができ、符号化効率をさらに向上することができる。また、精度情報（例えば、filter_precision[c]）が符号化されるため、動画像復号装置では、その符号化された精度情報を取得することによって、量子化されたフィルタデータを適切に逆量子化することができる。
また、前記精度情報を符号化する際には、前記精度情報の示す精度が低いほど短い符号語が当該精度情報に割り当てられるように、前記精度情報を符号化してもよい。
これにより、符号化効率をさらに向上することができる。
また、前記フィルタデータを決定する際には、前記フィルタデータのそれぞれを色成分ごとに決定し、前記フィルタデータを符号化する際には、前記色成分として第１の色成分と第２の色成分がある場合、前記第１の色成分の前記フィルタデータと、前記第２の色成分のフィルタデータとの間の相互相関に基づいて、前記第１の色成分の前記フィルタデータを符号化してもよい。
例えば、第１の色成分のフィルタデータと第２の色成分のフィルタデータとの差分を、符号化された第１の色成分のフィルタデータとすることによって、フィルタデータのデータ量をさらに少なくすることができ、符号化効率をさらに向上することができる。
また、前記動画像符号化方法は、さらに、前記予測誤差信号に基づいて符号化動画像信号をビットストリームとして生成し、符号化された前記フィルタデータを前記ビットストリームに含め、前記ビットストリームに符号化された前記フィルタデータを含めるときには、前記ビットストリーム内において、前記フィルタデータを用いたフィルタリングが適用されるべき画像信号の前に、符号化された前記フィルタデータを配置してもよい。
符号化されたフィルタデータが、そのフィルタデータが適用される画像信号の前に配置されるため、ビットストリームに配列される順序にしたがって、その符号化されたフィルタデータとその画像信号とを生成すれば、生成されたそれらのデータを一時的に格納しておく必要が無く、メモリ容量の削減を図ることができる。この場合には、そのフィルタデータを用いて画像信号を生成することができるため、いわゆるループ内フィルタを実現することができる。つまり、予測信号に対してそのフィルタデータを用いたフィルタリングを行い、そのフィルタリングされた予測信号から画像信号を生成することができる。
また、前記フィルタデータを決定する際には、前記少なくとも２つの信号のそれぞれに対して、フィルタ係数のサイズを選択し、選択されたサイズを特定するためのシンタックスエレメントおよび前記フィルタ係数を含む前記フィルタデータを決定してもよい。
これにより、フィルタ係数のサイズ（フィルタサイズ）を例えばフレームまたはスライスごとに変更することができ、例えば、上述のサイズによって定められる範囲の中心位置のフィルタデータ（フィルタ係数）だけが相互相関に基づいて符号化（予測符号化）されるような場合には、状況に応じてサイズを小さくすることによって符号化効率を向上することができる。
また、上記目的を達成するために、本発明の一態様の動画像復号方法は、少なくとも１つのピクチャを含む動画像信号が符号化された符号化動画像信号を復号する動画像復号方法であって、前記符号化動画像信号から予測誤差信号を生成し、空間的または時間的に前記動画像信号を予測することにより予測信号を生成し、前記予測信号および前記予測誤差信号に基づいて前記動画像信号を再構築することによって再構築動画像信号を生成し、前記予測信号、前記予測誤差信号および前記再構築動画像信号のうちの少なくとも２つの信号のそれぞれに対して決定されたフィルタデータが符号化された符号化フィルタデータを取得し、前記フィルタデータ間の相互相関に基づいて、前記少なくとも２つの信号のそれぞれに対する前記符号化フィルタデータを復号することによってフィルタデータを生成し、前記少なくとも２つの信号のそれぞれに対して、生成された前記フィルタデータを用いたフィルタリングを行う。
これにより、上記本発明の一態様の動画像符号化方法によって符号化されたフィルタデータを適切に復号することができ、そのフィルタデータを用いたフィルタリングが行われることによって、元の動画像信号が示す画像により近い復号画像を生成することができ、復号画像の画質を向上することができる。
なお、本発明は、このような動画像符号化方法および動画像復号方法として実現することができるだけでなく、その方法にしたがって処理動作する装置もしくは集積回路、その方法にしたがった処理動作をコンピュータに実行させるプログラム、または、そのプログラムを格納する記録媒体としても実現することができる。
また、予測動画像信号と、予測誤差信号と、再構築動画像信号とのうち少なくとも２つを考慮してフィルタデータの決定およびフィルタリングを行うこと、そして上記少なくとも２つの信号に対するフィルタデータを、当該フィルタデータ間の統計的関係（相互相関）を利用して符号化することは、本発明に特有の手法である。
このような手法により、一方ではフィルタリング性能を向上させることができ、他方ではフィルタデータの送信に要する帯域幅の削減が可能である。したがって、符号化動画像信号の格納／送信に要する特定のレートに対して、復号動画像信号の質を向上させることができる。
本発明の一態様によれば、少なくとも１つの動画像フレームを含む動画像信号を符号化するための方法を提供する。空間的または時間的に動画像信号を予測し、予測結果に基づき予測誤差信号を算出する。前記予測動画像信号および前記予測誤差信号に基づき、動画像信号を再構築する。前記予測動画像信号と、前記予測誤差信号と、再構築動画像信号とのうち少なくとも２つの信号をフィルタリングするためのフィルタデータを決定し、符号化する。前記符号化は、前記予測動画像信号と、前記予測誤差信号と、前記再構築動画像信号とのうち前記少なくとも２つの信号に対するフィルタデータ間の統計的関係（相互相関）に基づきおこなう。
本発明の別の態様によれば、少なくとも１つの動画像フレームを含む符号化動画像信号を復号する方法を提供する。空間的または時間的に動画像信号を予測し、エンコーダ側から予測誤差信号を取得する。前記予測動画像信号および前記予測誤差信号に基づき、動画像信号を再構築する。前記予測動画像信号と、前記予測誤差信号と、再構築動画像信号とのうち少なくとも２つの信号に対するフィルタデータ間の統計的関係に基づき、フィルタデータを復号する。これにより、前記復号フィルタデータに応じてフィルタを設定し、前記予測信号と、前記予測誤差信号と、前記再構築動画像信号とのうち前記少なくとも２つの信号をフィルタリングする。
本発明のさらに別の態様によれば、少なくとも１つの動画像フレームを含む動画像信号を符号化する符号化装置を提供する。前記符号化装置は、空間的または時間的に動画像信号を予測する予測器と、予測動画像信号に基づき予測誤差信号を算出する減算器と、前記予測動画像信号および前記予測誤差信号に基づき動画像信号を再構築する再構築器とを備える。
さらに、前記予測動画像信号と、前記予測誤差信号と、再構築動画像信号とのうち少なくとも２つの信号をフィルタリングするためのフィルタデータを決定するフィルタ設計手段と、前記予測動画像信号と、前記予測誤差信号と、前記再構築動画像信号とのうち前記少なくとも２つの信号に対するフィルタデータ間の統計的関係（相互相関）に基づき、前記決定されたフィルタデータを符号化するフィルタデータエンコーダとを備える。
本発明のさらに別の態様によれば、少なくとも１つの動画像フレームを含む符号化動画像信号を復号する復号装置を提供する。前記復号装置は、空間的または時間的に動画像信号を予測する予測器と、予測動画像信号および前記装置がエンコーダ側から取得可能な予測誤差信号に基づき動画像信号を再構築する再構築器とを備える。前記復号装置は、さらに、前記予測動画像信号と、前記予測誤差信号と、再構築動画像信号とのうち少なくとも２つの信号に対するフィルタデータ間の統計的関係（相互相関）に基づき、フィルタデータを復号するデコーダと、前記復号フィルタデータに応じてフィルタを設定し、前記予測動画像信号と、前記予測誤差信号と、前記再構築動画像信号とのうち前記少なくとも２つの信号をフィルタリングするフィルタ設計手段とを備える。
好ましくは、符号化ステップは、予測誤差信号を量子化するステップをさらに備え、フィルタデータを、予測動画像信号と、量子化予測誤差信号と、再構築動画像信号と、エンコーダに入力される動画像信号とに基づいて、ウィナーフィルタとして算出する。通常、符号化はさらに、変換や色空間変換など、他の符号化ステップを備えてもよい。フィルタデータの決定はウィナーフィルタに限定されるものではなく、例えば平均２乗誤差を最小化すること以外の最適化問題を解決するなど、他の方法で設計してもよい。
好ましくは、フィルタデータは、予測符号化と、変換符号化と、ベクトル量子化および符号化と、マルコフモデルおよび／または状態遷移図に基づく符号化とのうち少なくともひとつを用いて符号化される。しかしながら、予測信号および／または量子化予測誤差信号および／または再構築信号に対するフィルタデータ間の統計的依存関係を利用できる符号化ならば、他の符号化を用いてもよい。例えば、ランレングス符号化、または符号化済みデータに応じて符号化テーブルを切り替える可変長符号化、または異なる動画像信号および／または色成分に対するフィルタデータの組み合わせを１符号語として符号化できるジョイントエントロピー符号化を用いてもよい。
本発明の好ましい実施の形態によれば、予測動画像信号と、予測誤差信号と、再構築動画像信号とに対するフィルタデータを、予測符号化を用いて符号化する。特に、予測動画像信号に対するフィルタデータを、再構築動画像信号に対するフィルタデータから予測し、および／または量子化予測誤差信号に対するフィルタデータを、予測動画像信号に対するフィルタデータから予測する。予測は、例えば、予測動画像信号に対するフィルタデータと、予測誤差信号に対するフィルタデータとは同等であることを前提に行ってもよい。フィルタ係数の予測もまた、例えば、予測動画像信号に対するフィルタ係数と、再構築動画像信号に対するフィルタ係数との合計が、固定値（１など）に同等することを前提に行ってもよい。そして、フィルタデータとその予測結果との誤差を符号化することにより、符号化を行う。しかしながら、上記信号のうちひとつに対するフィルタデータの予測を、残りの信号に対するフィルタデータの別の関数を用いて行ってもよい。例えば、再構築動画像信号に対するフィルタデータを、予測動画像信号に対するフィルタデータと予測誤差信号に対するフィルタデータとの関数として予測してもよい。上記に対応して、デコーダは、上記信号に対するフィルタデータ間の統計的関係を用いて、それらを復号する。
特に、予測符号化を用いてフィルタデータを符号化する場合、予測の種類を信号送信することで、符号化対象のフィルタデータの特性に予測を適応させてもよい。同様に、変換およびマルコフモデルを、例えばシーケンス、フレーム、またはスライスヘッダに含めてエンコーダからデコーダ側へ適応的に信号送信してもよい。ベクトル量子化および関連するベクトル符号化を用いる場合、代表ベクトルを、例えばシーケンス、フレーム、またはスライスヘッダに含めてエンコーダからデコーダ側へ適応的に信号送信してもよい。
好ましくは、フィルタデータを、各色成分に対して別々に決定し、第１の色成分に対するフィルタデータを、当該第１の色成分に対するフィルタデータと、別の色成分に対するフィルタデータとの間の統計的関係に基づき符号化する。これにより、フィルタリング済み信号の色成分間の統計的関係を用いることができるようになる。
特に、前記フィルタデータは、フィルタ係数、フィルタ長、オフセット、フィルタデータの符号化タイプ、並びにエンコーダに入力される動画像信号と、前記予測信号、前記予測誤差信号、前記再構築動画像信号のうち少なくとも１つとの相互相関の少なくとも１つを含む。また、量子化ノイズと、予測信号、予測誤差信号および再構築動画像信号のうち少なくとも１つとの相互相関を送信することも可能である。相互相関情報は、デコーダがフィルタ係数を決定するために用いられてもよい。概して、デコーダ側でフィルタ係数を決定するために用いることのできる情報ならば、いずれの情報をフィルタデータとして信号送信してもよい。典型的に、そのような情報は、エンコーダに入力された原動画像信号または量子化ノイズに関連し、デコーダ側では知られていない情報であることが好ましい。
好ましくは、フィルタデータの符号化は、符号化動画像信号の全体ビットレートに関して行われる。特に、全体ビットレートが低いほど、フィルタデータの符号化には低いレートが選択され、全体ビットレートが高いほど、フィルタデータの符号化には高いレートが選択される。フィルタデータは、フィルタデータ量子化情報を含んでもよい。フィルタデータ量子化情報は、符号化されフィルタデータに含められる、オフセット、フィルタ係数、並びにエンコーダに入力される動画像信号と、予測信号、予測誤差信号、再構築動画像信号のうち少なくとも１つとの相互相関のうち少なくとも１つの正確さ（精度）を示す。精度が低いほど、データはより粗く量子化される。好ましくは、フィルタデータ量子化情報は、フィルタデータ量子化情報値が示す精度が低いほど、短い符号語を用いて符号化される。これにより、レートが低い符号化動画像データに対して、フィルタデータの信号送信によるオーバーヘッドを低く維持できるという効果がある。フィルタデータ量子化情報を適応的に符号化してもよく、符号語テーブルは、ビットストリームに含めて信号送信する情報に基づき信号送信または算出してもよい。
本発明の実施の形態によれば、動画像信号領域に関するフィルタデータは、ビットストリームにおいて符号化動画像信号領域の後に含められる。これにより、関連するフィルタデータを含むヘッダを符号化動画像ストリームに添付するという目的のために当該符号化動画像ストリームをエンコーダに格納する必要がないため、エンコーダにおけるメモリ条件を減らすことができる。
本発明の他の実施の形態によれば、動画像信号領域に関するフィルタデータは、ビットストリームにおいて符号化動画像信号領域の前に含められる。これにより、符号化／復号動画像ストリーム全体を、フィルタを設定および適用できるまで格納する必要がないため、デコーダにおけるメモリ条件を減らすことができる。
好ましくは、ヘッダ情報と、フィルタデータと、マクロブロックデータとを、ヘッダ情報と、フィルタデータと、マクロブロックデータとに対して個々の符号語を提供するように、算術符号を用いて符号化する。よって、エンコーダおよび対応するデコーダは、ヘッダ情報と、フィルタデータと、マクロブロックデータとのそれぞれを符号化する前に再起動する。これにより、これらの種類の異なるデータを別々に扱うことができるようになる。しかしながら、ヘッダ情報と、フィルタデータと、マクロブロックデータとを、エンコーダおよびデコーダを再起動させることなく、単一の符号語として符号化してもよい。また、算術符号化とは異なる符号化を用いてもよい。
符号化フィルタデータとともにフラグを設けることで、予測信号と、予測誤差信号と、再構築動画像信号とのうちいずれに対してフィルタデータが符号化されるのかを信号送信してもよい。別のフラグを設けて、オフセットが符号化されるのか否かを信号送信してもよい。
好ましくは、動画像信号は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ標準規格に基づき符号化および／または復号され、フィルタデータは、補助的拡張情報（ＳＥＩ）メッセージ内に含められる。
しかしながら、本発明はＨ．２６４／ＭＰＥＧ−４ ＡＶＣ標準規格、その規格を拡張したもの、およびその規格に続くものに限定されず、標準化または特許化された動画像符号化メカニズムに用いてもよい。
本発明のさらに別の態様によれば、本発明を実施するように適応した、コンピュータ読み取り可能なプログラムコードを実装したコンピュータ読み取り可能媒体を備えるコンピュータプログラム製品を提供する。
本発明の他の態様によれば、エンコーダ側からデコーダ側へ動画像信号を送信するためのシステムが提供される。このシステムは、上述のエンコーダと、符号化動画像信号を格納または送信するためのチャネルと、上述のデコーダとを備える。本発明の実施の形態によれば、このチャネルは記憶媒体に相当し、例えば、揮発性または不揮発性のメモリや、ＣＤ、ＤＶＤ、ＢＤまたはハードディスクのような光学または磁気記憶手段、フラッシュメモリ、またはその他の記憶手段である。本発明の他の実施の形態において、チャネルは伝送媒体である。これは、インターネット、ＷＬＡＮ、ＵＭＴＳ、ＩＳＤＮ、ｘＤＳＬなどの標準化または特許化された伝送技術／システムに準拠した、無線システム、有線システム、またはその両方の組み合わせのリソースによって形成可能である。
本発明の目的および特徴は、上記以外のものも含め、付随する図面を参照しながら以下に説明される記述および好ましい実施の形態によりさらに明確になる。
本発明の動画像符号化方法および動画像復号方法は、符号化効率の低下を抑え、復号される動画像の画質を向上させることができる。
図１は、従来のＨ．２６４／ＭＰＥＧ−４ ＡＶＣに準拠した動画像符号化装置を示すブロック図である。 図２は、２つのブロック間の垂直境界線におけるデブロッキングフィルタ処理を示す概略図である。 図３は、従来のＨ．２６４／ＭＰＥＧ−４ ＡＶＣに準拠した動画像復号装置を示すブロック図である。 図４は、ウィナーフィルタを備える伝送システムを示す概略図である。 図５は、本発明の実施の形態における動画像符号化装置のブロック図である。 図６Ａは、同上の動画像符号化装置の処理動作を示すフローチャートである。 図６Ｂは、同上のフィルタデータの符号化の詳細な処理動作を示すフローチャートである。 図７は、同上の動画像復号装置のブロック図である。 図８Ａは、同上の動画像復号装置の処理動作を示すフローチャートである。 図８Ｂは、同上の符号化フィルタデータの復号の詳細な処理動作を示すフローチャートである。 図９は、同上の周波数領域においてフィルタ設計を行う動画像符号化装置のブロック図である。 図１０は、同上の周波数領域においてフィルタリングを行う動画像復号装置のブロック図である。 図１１Ａは、同上の符号化動画像信号（ビットストリーム）におけるスライスまたはフレームに対応する部分の構成の一例を示す図である。 図１１Ｂは、同上の符号化動画像信号（ビットストリーム）の一部分の構成の他の例を示す図である。 図１１Ｃは、同上の符号化動画像信号（ビットストリーム）の一部分の構成の他の例を示す図である。 図１２Ａは、同上のシーケンスヘッダのシンタックスを示す図である。 図１２Ｂは、同上のフレームのシンタックスを示す図である。 図１３Ａは、同上のdecode_post_filter(c)のシンタックスを示す図である。 図１３Ｂは、同上のdecode_post_filter(c)の他のシンタックスを示す図である。 図１４は、同上のfilter_hint_type[c]の値とフィルタヒントの種類との関係を示す図である。 図１５は、同上のfilter_precision[c]とWiener_Filter_Precision[c]との対応関係を示す図である。 図１６は、同上のfilter_precision[c]（Wiener_Filter_Precision[c]）に割り当てられる単進符号を示す図である。 図１７は、同上のfilter_precision[c]（Wiener_Filter_Precision[c]）に割り当てられるゴロム符号の一例を示す図である。 図１８は、同上のfilter_precision[c]（Wiener_Filter_Precision[c]）に割り当てられるゴロム符号の他の例を示す図である。 図１９は、同上のfilter_precision[c]（Wiener_Filter_Precision[c]）に割り当てられる固定長符号を示す図である。 図２０Ａは、同上の再構築動画像信号に対するフィルタ係数の算出式を示す図である。 図２０Ｂは、同上の予測信号に対するフィルタ係数の算出式を示す図である。 図２０Ｃは、同上の量子化予測誤差信号に対するフィルタ係数の算出式を示す図である。 図２１は、同上の復号動画像信号の算出式を示す図である。 図２２Ａは、同上の標準化およびクリッピングの算出式を示す図である。 図２２Ｂは、同上の標準化およびクリッピングの他の算出式を示す図である。 図２３Ａは、同上の予測信号に対する中心位置におけるフィルタ係数の算出式を示す図である。 図２３Ｂは、同上の予測信号に対する中心位置以外の位置におけるフィルタ係数の算出式を示す図である。 図２３Ｃは、同上の量子化予測誤差信号に対するフィルタ係数の算出式を示す図である。 図２４Ａは、同上の再構築動画像信号に対するフィルタ係数の算出式を示す図である。 図２４Ｂは、同上の予測信号に対するフィルタ係数の算出式を示す図である。 図２４Ｃは、同上の量子化予測誤差信号に対するフィルタ係数の算出式を示す図である。 図２５は、同上の水平フィルタリングを示す図である。 図２６は、同上の水平フィルタリング済み信号に対する標準化およびクリッピングの算出式を示す図である。 図２７は、同上の垂直フィルタリングを示す図である。 図２８は、同上の水平および垂直フィルタリング済み信号に対する標準化およびクリッピングの算出式を示す図である。 図２９Ａは、同上の再構築動画像信号に対応する相互相関行列のエレメントの算出式を示す図である。 図２９Ｂは、同上の予測信号に対応する相互相関行列のエレメントの算出式を示す図である。 図２９Ｃは、同上の量子化予測誤差信号に対応する相互相関行列のエレメントの算出式を示す図である。 図３０Ａは、同上の再構築動画像信号に対応する水平相互相関ベクトルのエレメントの算出式を示す図である。 図３０Ｂは、同上の再構築動画像信号に対応する垂直相互相関ベクトルのエレメントの算出式を示す図である。 図３０Ｃは、同上の予測信号に対応する水平相互相関ベクトルのエレメントの算出式を示す図である。 図３０Ｄは、同上の予測信号に対応する垂直相互相関ベクトルのエレメントの算出式を示す図である。 図３０Ｅは、同上の量子化予測誤差信号に対応する水平相互相関ベクトルのエレメントの算出式を示す図である。 図３０Ｆは、同上の量子化予測誤差信号に対応する垂直相互相関ベクトルのエレメントの算出式を示す図である。 図３１は、同上の符号化／復号の対象ブロックに隣接する周辺ブロックを示す図である。 図３２は、同上のシステムを示す図である。 図３３は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成の一例を示す模式図である。 図３４は、携帯電話の外観を示す図である。 図３５は、携帯電話の構成例を示すブロック図である。 図３６は、デジタル放送用システムの全体構成の一例を示す模式図である。 図３７は、テレビの構成例を示すブロック図である。 図３８は、光ディスクである記録メディアに情報の読み書きを行う情報再生記録部の構成例を示すブロック図である。 図３９は、光ディスクである記録メディアの構造例を示す図である。 図４０は、各実施の形態に係る画像符号化方法および画像復号方法を実現する集積回路の構成例を示すブロック図である。
本発明によれば、空間領域または周波数領域におけるフィルタ条件を設計するためには、予測信号と、予測誤差信号と、再構築動画像信号とを考慮することができる。これにより、これら３つの信号それぞれのノイズを個々に考慮することが可能になる。これらの信号のうち少なくとも２つに対してフィルタデータを決定し、そのフィルタデータを、当該少なくとも２つの信号のフィルタデータ間の相互相関を用いて符号化する。
これにより、本発明は、効率的なフィルタリング手法を提供することができ、符号化動画像ストリームを伝送するために必要なデータ量を削減しつつ、フィルタリングされたデータの質を高めることが可能になる。つまり、符号化効率の低下を抑えて復号動画像の画質を向上させることができる。
以下、本発明の実施の形態について説明する。
（実施の形態１）
図５は、本実施の形態における、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣに基づく例示的なエンコーダたる動画像符号化装置５００のブロック図である。
本実施の形態における動画像符号化装置５００は、減算器１０５、変換／量子化部１１０、逆量子化／逆変換部１２０、加算器１２５、デブロッキングフィルタ１３０、メモリ１４０、補間フィルタ１５０、動き補償予測部１６０、動き検出部１６５、画面内予測部１７０、イントラ／インタースイッチ１７５、ポストフィルタ設計部５４０およびエントロピー符号化部５９０を備える。本実施の形態における動画像符号化装置５００では、ポストフィルタ設計部５４０の処理動作に特徴がある。
減算器１０５は、入力信号である動画像信号から予測信号を減算することにより予測誤差信号を生成する。
変換／量子化部１１０は、減算器１０５によって生成された予測誤差信号に対して、ＤＣＴなどの直交変換および量子化を行うことによって、量子化係数を生成する。
逆量子化／逆変換部１２０は、変換／量子化部１１０によって生成された量子化係数に対して、逆量子化を行うとともに逆ＤＣＴなどの逆直交変換を行うことによって、量子化予測誤差信号を生成する。
加算器１２５は、予測信号に対応する量子化予測誤差信号に、その予測信号を加算することによって、再構築信号を生成する。
デブロッキングフィルタ１３０は、再構築信号の示す画像に含まれるブロック歪みを取り除き、ブロック歪みが除去された再構築信号である再構築動画像信号をメモリ１４０に格納する。なお、本実施の形態では、加算器１２５およびデブロッキングフィルタ１３０から再構築部が構成される。
補間フィルタ１５０は、メモリ１４０に格納されている再構築動画像信号によって示される参照画像を読み出し、その参照画像に対して小数画素を補間する。
画面内予測部１７０は、画面内予測により符号化対象ブロックの予測画像を生成し、その予測画像を示す予測信号を出力する。
動き検出部１６５は、メモリ１４０に格納されている再構築動画像信号によって示される参照画像を参照し、動画像信号に含まれるブロックに対して動きベクトルを検出する。そして、動き検出部１６５は、その動きベクトルを動きデータとして動き補償予測部１６０およびエントロピー符号化部５９０に出力する。
動き補償予測部１６０は、補間フィルタ１５０によって小数画素が補間された参照画像と、動き検出部１６５から出力された動きデータとを用いて動き補償を行う。これにより、動き補償予測部１６０は、画面間予測により符号化対象ブロックの予測画像を生成し、その予測画像を示す予測信号を出力する。
イントラ／インタースイッチ１７５は、符号化対象ブロックの符号化タイプに応じて、画面内予測部１７０によって生成された予測信号と、動き補償予測部１６０によって生成された予測信号とを切り換えて、減算器１０５および加算器１２５に出力する。例えば、符号化対象ブロックが画面内予測符号化される場合には、イントラ／インタースイッチ１７５は、画面内予測部１７０によって生成された予測信号を減算器１０５および加算器１２５に出力する。一方、符号化対象ブロックが画面間予測符号化される場合には、イントラ／インタースイッチ１７５は、動き補償予測部１６０によって生成された予測信号を減算器１０５および加算器１２５に出力する。
ポストフィルタ設計部５４０は、ポストフィルタリングについてのフィルタ係数などのフィルタ条件を設計する。つまり、ポストフィルタ設計部５４０は、入力信号である動画像信号と、再構築動画像信号と、予測信号と、量子化予測誤差信号とに基づいて、再構築動画像信号、予測信号および量子化予測誤差信号のそれぞれに対するフィルタ係数を算出する。次に、ポストフィルタ設計部５４０は、それらのフィルタ係数をデコーダ側において復元するためのフィルタヒントを、フィルタ係数間の相互相関に基づいて生成し、フィルタヒントを含む新たなフィルタデータ（差分フィルタデータ）をエントロピー符号化部５９０に出力する。つまり、ポストフィルタ設計部５４０は、再構築動画像信号、予測信号および量子化予測誤差信号のそれぞれに対して、フィルタ係数を含むフィルタデータを決定し、フィルタデータ間の相互相関に基づいてフィルタヒント（差分フィルタデータ）を生成する。なお、上述のフィルタヒントは、再構築動画像信号、予測信号および量子化予測誤差信号のそれぞれに対して生成され、フィルタ係数そのものであっても、フィルタ係数と異なるものであってもよい。また、フィルタデータは、例えば相互相関ベクトルなど、いかなる情報であってもよい。
エントロピー符号化部５９０は、量子化係数および動きデータと共にその差分フィルタデータをエントロピー符号化（例えば、算術符号化）し、エントロピー符号化された差分フィルタデータを含む符号化動画像信号を出力する。なお、本実施の形態では、ポストフィルタ設計部５４０のフィルタデータを決定する機能部分が決定部として構成され、ポストフィルタ設計部５４０のフィルタヒント（差分フィルタデータ）を生成する機能部分と、エントロピー符号化部５９０とが符号化部として構成されている。
例えば、ポストフィルタ設計部５４０は、入力信号である所望の信号ｓとフィルタリング済み信号ｓ’との間の平均二乗誤差が最小になるようにフィルタ係数を算出する。
Figure 2010113524
上記（式１）において、ｗ１，・・・，ｗＭ はポストフィルタリングのＭ個のフィルタ係数であり、Ｍ個の予測サンプル（予測信号）ｐ１，・・・，ｐＭに適用される。また、ｗＭ＋１，・・・，ｗＭ＋ＮはポストフィルタリングのＮ個のフィルタ係数であり、Ｎ個の量子化予測誤差サンプル（量子化予測誤差信号）ｅ１，・・・，ｅＮに適用される。また、ｗＭ＋Ｎ＋１，・・・，ｗＭ＋Ｎ＋ＯはポストフィルタリングのＯ個のフィルタ係数であり、Ｏ個の再構築動画像サンプル（再構築動画像信号）ｒ１，・・・，ｒＯに適用される。ｗＭ＋Ｎ＋Ｏ＋１はオフセットである。
図４に関して上述したように、所望の信号sとフィルタリング済み信号s’との間の平均二乗誤差を最小化するフィルタ係数は、Ｗｉｅｎｅｒ−Ｈｏｐｆ方程式を解くことにより決定してもよい。
図６Ａは、本実施の形態における動画像符号化装置５００の処理動作を示すフローチャートである。
動画像符号化装置５００の画面内予測部１７０または動き補償予測部１６０は、予測信号を生成する（ステップＳ１００）。次に、減算器１０５は、動画像信号から予測信号を減算することによって予測誤差信号を生成し、変換／量子化部１１０および逆量子化／逆変換部１２０は、その予測誤差信号に対して量子化および逆量子化を行うことによって量子化予測誤差信号を生成する（ステップＳ１１０）。さらに、加算器１２５は、量子化予測誤差信号を予測信号に加算することによって再構築信号を生成し、デブロッキングフィルタ１３０は、その再構築信号からブロック歪みを除去することによって再構築動画像信号を生成する（ステップＳ１２０）。
ポストフィルタ設計部５４０は、ステップＳ１００，Ｓ１１０，Ｓ１２０で生成された各信号に対してフィルタデータを決定する（ステップＳ１３０）。このとき、ポストフィルタ設計部５４０は、上記（式１）に基づく演算を行い、平均二乗誤差が最小になるようにフィルタ係数を決定する。つまり、ポストフィルタ設計部５４０は、予測信号、量子化予測誤差信号および再構築動画像信号のそれぞれが示す画像よりも、動画像信号の示す画像に近い画像（復号画像）が得られるように、フィルタ係数を含むフィルタデータを決定する。そして、ポストフィルタ設計部５４０およびエントロピー符号化部５９０は、決定されたフィルタデータ間の相互相関に基づいて、その決定されたフィルタデータを符号化する（ステップＳ１４０）。
図６Ｂは、フィルタデータの符号化（ステップＳ１４０）の詳細な処理動作を示すフローチャートである。
ポストフィルタ設計部５４０は、決定された２つのフィルタデータのうちの一方のフィルタデータから、他方のフィルタデータを予測することによって、他方のフィルタデータの予測データを特定する（ステップＳ１４２）。次に、ポストフィルタ設計部５４０は、その他方のフィルタデータと予測データとの差分を算出することよって、差分フィルタデータ（フィルタヒント）を算出する（ステップＳ１４４）。そして、エントロピー符号化部５９０は、その差分フィルタデータをエントロピー符号化する（ステップＳ１４６）。このように、他方のフィルタデータに対して、差分の算出およびエントロピー符号化が行われることによって、その他方のフィルタデータは符号化される。つまり、符号化フィルタデータが生成される。
なお、フィルタデータは、典型的にはフィルタ係数であり、差分フィルタデータは、典型的には、２つのフィルタ係数間の差分を示す差分フィルタ係数であり、その差分フィルタ係数がフィルタヒントとして扱われる。また、上述の予測データは、典型的には、一方のフィルタデータ、すなわち一方のフィルタ係数そのものである。
具体的には、ポストフィルタ設計部５４０は、ステップＳ１２０で、再構築動画像信号に対するフィルタ係数と、予測信号に対するフィルタ係数と、量子化予測誤差信号に対するフィルタ係数とを決定する。そして、ポストフィルタ設計部５４０は、ステップＳ１４２で、再構築動画像信号に対するフィルタ係数から、予測信号に対するフィルタ係数を予測することによって、その予測信号に対する予測データ（予測フィルタ係数）を特定する。次に、ポストフィルタ設計部５４０は、ステップＳ１４４，Ｓ１４６で、予測信号に対するフィルタ係数と予測フィルタ係数との差分を算出し、エントロピー符号化することによって、予測信号に対するフィルタ係数を符号化する。また、ポストフィルタ設計部５４０は、ステップＳ１４２では、例えば、再構築動画像信号に対するフィルタ係数を予測フィルタ係数として特定する。
また、ポストフィルタ設計部５４０は、ステップＳ１３０で決定した、予測信号、量子化予測誤差信号および再構築動画像信号のそれぞれのフィルタ係数（フィルタデータ）を量子化し、その量子化されたフィルタ係数から差分フィルタ係数を算出してもよい。または、ポストフィルタ設計部５４０は、フィルタ係数を量子化せずに、差分フィルタ係数を算出し、その差分フィルタ係数を量子化してもよい。また、予測信号、量子化予測誤差信号および再構築動画像信号のうち、何れか１つまたは２つの信号に対するフィルタ係数のみを量子化してもよい。このような量子化が行われる場合には、ポストフィルタ設計部５４０は、その量子化の精度（Wiener_Filter_Precision[c]）を示す情報（filter_precision[c]）を差分フィルタデータに含める。
また、ポストフィルタ設計部５４０は、フィルタ係数を決定する際には、フィルタ係数のそれぞれを色成分ごとに決定し、第１の色成分（例えばｃ＝１に対応する色成分）のフィルタ係数と、第２の色成分（例えばｃ＝２に対応する色成分）のフィルタ係数との間の相互相関に基づいて、第１の色成分のフィルタ係数を符号化してもよい。
図７は、本実施の形態におけるデコーダたる動画像復号装置６００のブロック図である。
本実施の形態における動画像復号装置６００は、動画像符号化装置５００から出力された出力信号である符号化動画像信号を入力信号として取得し、その入力信号を復号する。この動画像復号装置６００は、エントロピー復号部６００、逆量子化／逆変換部２２０、加算器２２５、デブロッキングフィルタ２３０、メモリ２４０、補間フィルタ２５０、画面内予測部２７０、イントラ／インタースイッチ２７５、動き補償予測部２６０およびポストフィルタ６４０を備える。本実施の形態における動画像復号装置６００では、ポストフィルタ６４０に特徴がある。
エントロピー復号部６９０は、入力信号である符号化動画像信号に対してエントロピー復号（例えば、算術復号）を行うことにより、動きデータ、量子化係数およびフィルタデータ（差分フィルタデータ）をそれぞれ、動き補償予測部２６０、逆量子化／逆変換部２２０およびポストフィルタ６４０に出力する。このとき、符号化動画像信号に含まれていた符号化フィルタデータは、エントロピー復号され、差分フィルタデータに変換される。
逆量子化／逆変換部２２０は、エントロピー復号部６９０から出力された量子化係数に対して、逆量子化を行うとともに逆ＤＣＴなどの逆直交変換を行うことによって、量子化予測誤差信号を生成する。なお、本実施の形態では、エントロピー復号部６９０および逆量子化／逆変換部２２０から予測誤差信号生成部が構成されている。また、エントロピー復号部６９０から取得部が構成されている。
加算器２２５は、逆量子化／逆変換部２２０によって生成された量子化予測誤差信号に、その量子化予測誤差信号に対応する予測信号を加算することにより、再構築信号を生成する。
デブロッキングフィルタ２３０は、再構築信号の示す画像に含まれるブロック歪みを取り除き、ブロック歪みが除去された再構築信号である再構築動画像信号をメモリ２４０に格納する。なお、本実施の形態では、加算器２２５およびデブロッキングフィルタ２３０から再構築部が構成されている。
補間フィルタ２５０は、メモリ２４０に格納されている再構築動画像信号によって示される参照画像を読み出し、その参照画像に対して小数画素を補間する。
画面内予測部２７０は、画面内予測により符号化対象ブロックの予測画像を生成し、その予測画像を示す予測信号を出力する。
動き補償予測部２６０は、補間フィルタ２５０によって小数画素が補間された参照画像と、エントロピー復号部６９０から出力された動きデータとを用いて動き補償を行う。これにより、動き補償予測部２６０は、画面間予測により符号化対象ブロックの予測画像を生成し、その予測画像を示す予測信号を出力する。
イントラ／インタースイッチ２７５は、符号化対象ブロックの符号化タイプに応じて、画面内予測部２７０によって生成された予測信号と、動き補償予測部２６０によって生成された予測信号とを切り換えて、加算器２２５に出力する。例えば、符号化対象ブロックが画面内予測符号化されている場合には、イントラ／インタースイッチ２７５は、画面内予測部２７０によって生成された予測信号を加算器２２５に出力する。一方、符号化対象ブロックが画面間予測符号化されている場合には、イントラ／インタースイッチ２７５は、動き補償予測部２６０によって生成された予測信号を加算器２２５に出力する。
ポストフィルタ６４０は、エントロピー復号部６９０からフィルタデータ（差分フィルタデータ）を取得し、その差分フィルタデータに基づいてフィルタ係数などのフィルタ条件を設定する。この差分フィルタデータには、量子化予測誤差信号、予測信号および再構築動画像信号のそれぞれに対して適用されるべきフィルタ係数を復元するためのフィルタヒントが含まれている。つまり、ポストフィルタ６４０は、それらのフィルタデータ（フィルタ係数）間の相互相関に基づいて、量子化予測誤差信号、予測信号および再構築動画像信号のそれぞれに対して適用されるべきフィルタ係数をフィルタヒントから復元する。さらに、ポストフィルタ６４０は、量子化予測誤差信号、予測信号および再構築動画像信号のそれぞれに対して復元されたフィルタ係数を適用することにより、つまりポストフィルタリングを行うことにより、復号画像を示す復号動画像信号を生成し、その復号動画像信号を出力信号として出力する。
なお、本実施の形態では、エントロピー復号部６９０のエントロピー復号を行う機能部分と、ポストフィルタ６４０のフィルタ係数を復元する機能部分とから、フィルタデータ復号部が構成されている。さらに、ポストフィルタ６４０のフィルタリングを行う機能部分からフィルタが構成されている。
図８Ａは、本実施の形態における動画像復号装置６００の処理動作を示すフローチャートである。
動画像復号装置７００のエントロピー復号部６９０は、符号化動画像信号に対してエントロピー復号を行うことによって量子化係数を生成し、逆量子化／逆変換部２２０は、その量子化係数に対して逆量子化および逆直交変換を行うことによって量子化予測誤差信号を生成する（ステップＳ２００）。次に、画面内予測部２７０または動き補償予測部２６０は予測信号を生成する（ステップＳ２１０）。そして、加算器２２５は、量子化予測誤差信号に予測信号を加算することによって再構築信号を生成し、デブロッキングフィルタは、その再構築信号からブロック歪みを除去することによって再構築動画像信号を生成する（ステップＳ２２０）。
さらに、エントロピー復号部６９０は、符号化動画像信号から、量子化予測誤差信号、予測信号および再構築動画像信号のそれぞれに対する符号化フィルタデータを取得する（ステップＳ２３０）。エントロピー復号部６９０およびポストフィルタ６４０は、フィルタデータ間の相互相関に基づいて、それらの符号化フィルタデータを復号する（ステップＳ２４０）。
そして、ポストフィルタ６４０は、量子化予測誤差信号、予測信号および再構築動画像信号のそれぞれに対してフィルタデータを適用することによってフィルタリングを行い、出力信号である復号動画像信号を出力する（ステップＳ２６０）。
図８Ｂは、符号化フィルタデータの復号（ステップＳ２４０）の詳細な処理動作を示すフローチャートである。
エントロピー復号部６９０は、符号化フィルタデータをエントロピー復号することにより、量子化予測誤差信号、予測信号および再構築動画像信号のうち何れかの信号に対する差分フィルタデータ（フィルタヒント）を取得して、ポストフィルタ６４０に出力する（ステップＳ２４２）。
ポストフィルタ６４０は、その差分フィルタデータを取得すると、その差分フィルタデータに対応する元のフィルタデータ（典型的にはフィルタ係数）を予測する（ステップＳ２４４）。このときポストフィルタ６４０は、既に算出された他のフィルタデータ（典型的にはフィルタ係数）を用いて、上述の差分フィルタデータに対応する元のフィルタデータを予測する。これにより、予測データが特定される。次に、ポストフィルタ６４０は、差分フィルタデータ（フィルタヒント）に予測データを加算することによって、その差分フィルタデータに対応する元のフィルタデータを算出する（ステップＳ２４６）。このように、符号化フィルタデータに対して、エントロピー復号および加算が行われることによって、その符号化フィルタデータは復号される。なお、上述の予測データは、典型的には、既に算出された他のフィルタデータ、すなわち他のフィルタ係数そのものである。
また、差分フィルタデータに、量子化の精度（Wiener_Filter_Precision[c]）を示す情報（filter_precision[c]）が含まれている場合には、ポストフィルタ６４０は、その情報の示す精度にしたがって、予測信号、量子化予測誤差信号および再構築動画像信号のそれぞれに対するフィルタ係数または差分フィルタ係数を逆量子化する。
また、フィルタ条件の設計および／または適用は、周波数領域において効果的である。動画像信号の周波数領域におけるフィルタリングのためのフィルタが特に効果的なのは、ノイズが周波数領域でも付加される場合である。これは、周波数領域に変換された動画像信号を量子化および伝送／格納するための今日の動画像符号化方法の大半の場合がそうである。
図９は、周波数領域においてフィルタ設計を行う動画像符号化装置７００のブロック図である。
動画像符号化装置７００は、動画像符号化装置５００のポストフィルタ設計部５４０の代わりに周波数領域ポストフィルタ設計部７３０を備えるエンコーダである。この周波数領域ポストフィルタ設計部７３０は、周波数領域においてポストフィルタリングのフィルタ条件を設計する。具体的には、周波数領域ポストフィルタ設計部７３０は、動画像信号、予測信号、量子化予測誤差信号および再構築動画像信号をそれぞれ直交変換する。これにより、それぞれの信号の領域が空間領域から周波数領域に変換される。さらに、周波数領域ポストフィルタ設計部７３０は、ポストフィルタ設計部５４０による処理と同様、周波数領域の上記各信号に基づいてフィルタ係数を決定し、それらのフィルタ係数からフィルタヒントを算出する。そして、周波数領域ポストフィルタ設計部７３０は、フィルタヒントを含む差分フィルタデータをエントロピー符号化部５９０に出力する。
図１０は、周波数領域においてフィルタリングを行う動画像復号装置８００のブロック図である。
動画像復号装置８００は、動画像復号装置６００のポストフィルタ６４０の代わりに周波数領域ポストフィルタ８４０を備えるデコーダである。周波数領域ポストフィルタ８４０は、ポストフィルタ６４０と同様、エントロピー復号部６９０から差分フィルタデータを取得し、その差分フィルタデータに基づいてフィルタ係数などのフィルタ条件を設定する。さらに、周波数領域ポストフィルタ８４０は、予測信号、量子化予測誤差信号および再構築動画像信号を取得し、それらの信号を直交変換する。これにより、それぞれの信号の領域が空間領域から周波数領域に変換される。次に、周波数領域ポストフィルタ８４０は、周波数領域で表される量子化予測誤差信号、予測信号および再構築動画像信号のそれぞれに対して設定されたフィルタ係数を適用することにより、周波数領域で表される復号動画像信号を生成する。そして、周波数領域ポストフィルタ８４０は、その復号動画像信号に対して逆直交変換を行う。これにより、復号動画像信号の領域が周波数領域から空間領域に変換される。周波数領域ポストフィルタ８４０は、その空間領域で表される復号動画像信号を出力信号として出力する。
なお、周波数領域ポストフィルタ８４０で設定されるフィルタ条件は、周波数領域ポストフィルタ設計部７３０によって設計されるフィルタ条件と同一であっても類似していてもよい。
例えば、予測信号と、量子化予測誤差信号と、再構築動画像信号とは、フィルタ条件の設計またはフィルタリングの前に、周波数領域に変換され、それぞれの信号に対してＫ個のフィルタ係数が決定される。フィルタリングが行われるときには、周波数領域の各信号に対して各フィルタ係数が個々に適用される。例えば、フィルタ条件の設計に対する最適化基準として、通常、入力信号の周波数係数である所望の周波数係数ｃｋとフィルタリング済み周波数係数ｃｋ’との間の最小平均二乗誤差を用いてもよい。フィルタリング済み周波数係数ｃｋ’は以下の（式２）より求められる。
Figure 2010113524
上記（式２）において、ｗｋ、１，・・・，ｗｋ、ＭはポストフィルタリングのＭ個のフィルタ係数であり、予測信号のＭ個の周波数係数ｃｋ，ｐ，１，・・・，ｃｋ，ｐ，Ｍに適用される。また、ｗｋ、Ｍ＋１，・・・，ｗｋ、Ｍ＋ＮはポストフィルタリングのＮ個のフィルタ係数であり、量子化予測誤差信号のＮ個の周波数係数ｃｋ，ｅ，１，・・・，ｃｋ，ｅ，Ｎに適用される。また、ｗｋ、Ｍ＋Ｎ＋１，・・・，ｗｋ、Ｍ＋Ｎ＋ＯはポストフィルタリングのＯ個のフィルタ係数であり、再構築動画像信号のＯ個の周波数係数ｃｋ，ｒ，１，・・・，ｃｋ，ｒ，Ｏに適用される。ｗｋ，Ｍ＋Ｎ＋Ｏ＋１はオフセットである。
ここにおいても、所望の周波数係数ｃｋとフィルタリング済み周波数係数ｃｋ’との間の平均二乗誤差を最小化するフィルタ係数は、Ｗｉｅｎｅｒ−Ｈｏｐｆ方程式を適用することにより求めることができる。
フィルタ係数およびオフセットは符号化され、デコーダへ伝送される必要がある。もしくは、デコーダにおいてフィルタ係数の算出に必要な情報および／またはオフセットを、デコーダ側に提供してもよい。そのような情報は、エンコーダに入力された原動画像信号に何らかの関連性があり、デコーダ側では入手不可能な情報であることが好ましい。例えば、予測信号と、（量子化）予測誤差信号と、再構築動画像信号とのうち少なくとも１つと、原動画像信号との相互相関がフィルタデータに含まれる。また、予測信号と、（量子化）予測誤差信号と、再構築動画像信号とのうち少なくとも１つと、量子化誤差信号との相互相関がフィルタデータに含まれてもよい。
動画像シーケンス（符号化動画像信号）のうち、数枚のピクチャ、ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）、フレーム、スライスまたはブロックなどの小さな部分に対するフィルタデータを提供することにより、フィルタリング済みの信号の質を高めることがある。しかしながらその結果、符号化動画像信号（ビットストリーム）にそのようなフィルタデータを埋め込むために必要な帯域幅を増加させてしまう。
よって、本発明が提供する方式は、上述したような、個々のフィルタ係数が予測信号と、量子化予測誤差信号と、再構築動画像信号とのそれぞれに対応して伝送される多種のフィルタリング方式において必要とされるフィルタデータ（フィルタ係数やオフセットなど）を効率的に符号化する方式である。高い符号化効率を実現するために、この符号化方式では、符号化および伝送対象の係数とオフセットとの統計的依存関係を利用する。
本発明は他のフィルタリング方式に適用してもよい。例えば、予測信号と、量子化予測誤差信号と、再構築動画像信号との３つすべてを考慮しなくてもよい。動画像信号に適用される差分パルス符号変調方式にしたがって、予測信号および予測誤差信号が符号化対象動画像信号から算出される。次に、第１のフィルタデータを予測信号の統計的特性に基づき求めてもよく、第２のフィルタデータを予測誤差信号の統計的特性に基づき算出する。各フィルタデータの決定には、ウィナーフィルタまたは他の方法を用いてもよい。そして、第１のフィルタデータおよび第２のフィルタデータは両方、相互統計的特性を利用して符号化される。
また、異なる色成分に対応する信号など、他の信号を個々に考慮してもよい。
フィルタデータはフィルタ係数およびオフセットから構成されてもよい。しかし、フィルタ長または他のデータを含んでもよい。フィルタ係数を信号送信する代わりに、エンコーダに入力される原動画像信号と、複数のフィルタリング対象動画像信号のうちいずれかとの間の相互相関など、フィルタ係数の算出に必要な情報を信号送信してもよく、これにより、フィルタ係数をデコーダ側において算出できる。
フィルタリングはポストフィルタリングであってもよいが、それに限られない。本発明は、補間フィルタおよび／またはデブロッキングフィルタに適用してもよい。
また、参照フレームの整数画素位置に適用する予測フィルタにも適用可能である。 さらに、例えば、予測誤差信号のフィルタデータを複数のフィルタ（例えば、ポストフィルタリングおよび補間フィルタ）の設計に用いてもよい。これらの場合、異なるフィルタのフィルタデータ間における統計的依存関係を符号化に利用してもよい。
フィルタデータの符号化において、より高い符号化効率を実現するために、フィルタリング済み信号のフィルタデータ（フィルタ係数および／またはオフセットなど）間の統計的依存関係を利用する。これは以下のような様々な符号化技術を利用することにより達成する。
−フィルタデータの予測を用いた符号化
−フィルタデータの変換符号化または、
−マルコフモデルを用いたフィルタデータの符号化または、
−ベクトル量子化およびジョイントエントロピー符号化
これらの符号化技術は、フィルタデータがフィルタ係数およびオフセットからなる、空間領域フィルタリングに関する下記の例において説明する。
フィルタリング済み信号のフィルタ係数とオフセットとの間の統計的依存関係を利用するには、本発明の一実施の形態に係る予測符号化を行う。これにより、フィルタ係数ｗ１，・・・，ｗＭ＋Ｎ＋Ｏ＋１は、以下の（式３）のように予測される。
Figure 2010113524
上記（式３）は予測フィルタ係数を示す。フィルタ係数 と予測フィルタ係数 との差分に相当する、残りの予測誤差である差分フィルタ係数ｅｗ１，・・・，ｅｗＭ＋Ｎ＋Ｏ＋１を符号化する。一般的に、フィルタ係数ｗ１，・・・，ｗＭ＋Ｎ＋Ｏ＋１を符号化するよりも、差分フィルタ係数ｅｗ１，・・・，ｅｗＭ＋Ｎ＋Ｏ＋１を符号化する方が符号化効率が高い。
エンコーダ（デコーダ）における対象フィルタ係数は、符号化（または復号）済みフィルタ係数に基づき予測される。しかし、伝送されたフィルタ係数以外の、デコーダにおいてすでに利用可能な情報も考慮して予測を行ってもよい。
例えば、予測フィルタ係数は、以下の（式４）から得られる。
Figure 2010113524
上記（式４）において、インデックスｔは時間インスタンスを示す。時間インスタンスは相対復号順序に関連している。すなわち、ｔより小さな時間インデックスを有する情報は符号化済みである。例えば、時間インスタンスｔは、フィルタ係数が決定される領域に応じて、ピクチャまたは１ブロックの符号化（または復号）に関連してもよい。関数Ｆｉは通常、すべての符号化済みフィルタ係数に応じて決まる関数である。
特に、線形予測因子をフィルタ係数およびオフセットの予測に用いてもよい。例えば、関数Ｆｉは以下の（式５）のように示される。
Figure 2010113524
上記（式５）において、αｉは定数値である。予測係数αｊ，ｔ ，・・・，αｊ，ｔ−１ ，・・・，αｊ，ｔ−２ ，・・・およびαｉは、固定されていても、または適応的に変化してもよい。適応的な予測係数の場合、その予測係数をデコーダ側に提供してもよい。すなわち、適応的な予測係数を、例えばシーケンスヘッダまたはフレームヘッダにおける符号化動画像信号に含める。また、受信済みのデータからデコーダにおいて算出することもできる。また、予測係数αｊ，ｔ ，・・・，αｊ，ｔ−１ ，・・・，αｊ，ｔ−２ ，・・・およびαｉを、スライスまたはブロック等の、一枚のピクチャの任意部分（領域）に対して適応化させてもよい。
帯域幅をさらに縮小するには、ハフマン符号、算術符号、ゴロム（Ｇｏｌｏｍｂ）符号、イライアス（Ｅｌｉａｓ）符号などの可変長符号、または他の可変長符号により差分フィルタ係数（予測誤差）を符号化してもよい。また、差分フィルタ係数を固定長符号化してもよい。
再構築動画像信号は予測信号および（量子化）予測誤差信号に基づくため、フィルタデータを予測符号化することは効果的である。したがって、通常、特に再構築動画像信号と、予測信号および（量子化）予測誤差信号のそれぞれとの間に統計的関係が存在する。多くの場合、再構築動画像信号に対して決定されたフィルタデータと、予測信号に対して決定されたフィルタデータは同一もしくは類似の値を有する。その場合、例えば予測信号のフィルタデータを、再構築動画像信号のフィルタデータの値によって予測するだけで、符号化動画像信号に必要な帯域幅を効率的に縮小できる。例えば予測信号のフィルタデータを用いるなどして、（量子化）予測誤差信号のフィルタデータも同様に予測してもよい。しかし、１つの信号のフィルタデータは必ずしもペア単位で（つまり他の信号のフィルタデータから）予測されない。一般的に、１つの信号のフィルタデータを予測するには、複数の他の信号に対して決定されたフィルタデータにおける任意の関数を用いる。例えば、再構築動画像信号のフィルタデータの予測には、（量子化）予測誤差信号のフィルタデータおよび予測信号のフィルタデータにおける関数のいずれを用いてもよい。
また、フィルタ係数間およびオフセット間の線形統計的依存関係は、変換符号化においても利用可能である。つまり、フィルタ係数ｗ１，・・・，ｗＭ＋Ｎ＋Ｏ＋１を、変換係数ｃｗ１，・・・，ｃｗＭ＋Ｎ＋Ｏ＋１に変換し、これをさらに符号化してもよい。通常、変換係数ｃｗ１，・・・，ｃｗＭ＋Ｎ＋Ｏ＋１の符号化は、フィルタ係数及びオフセットｗ１，・・・，ｗＭ＋Ｎ＋Ｏ＋１を直接符号化するよりも効率が高い。変換処理は以下の（式６）のように行う。
Figure 2010113524
上記（式６）において、ＣＷｔは、変換係数ｃｗ１，・・・，ｃｗＭ＋Ｎ＋Ｏ＋１を含むベクトルであり、Ｗｔは、フィルタ係数ｗ１，・・・，ｗＭ＋Ｎ＋Ｏ＋１を含むベクトルであり、Ｔｔは、時間インスタンスｔにおける変換行列である。入力される静止画像／動画像の特性によっては、各時間インスタンスにおいて同一もしくは異なる変換処理を行うことにより効果をもたらすことがある。離散コサイン変換（ＤＣＴ）、高速フーリエ変換（ＦＦＴ）または固定係数を用いたＫａｒｈｕｎｅｎ−Ｌｏｅｖｅ変換（ＫＬＴ）など、適用される変換は固定的であってもよい。しかしながら、適応的であってもよい。適応的変換の場合、変換情報を例えばシーケンスヘッダ、フレームまたはスライスヘッダに挿入してデコーダへ伝送することができる。変換情報には、変換行列または変換行列を取得するための情報を含んでいてもよい。
変換係数ｃｗ１，・・・，ｃｗＭ＋Ｎ＋Ｏ＋１を符号化するには、可変長符号を適用することが好ましい。しかしながら、固定長符号を適用してもよい。
また、フィルタ係数間およびオフセット間の統計的依存関係は、マルコフソースを前提とした符号化方式においても利用可能である。これにより、フィルタ係数またはオフセットｗｉ，ｔを、以下の（式７）に示すように、（可能な限りすべての）符号化および伝送済みフィルタ係数またはオフセットを条件とする符号語を用いて符号化する。
Figure 2010113524
符号化方式や入力される静止画像／動画像によっては、符号化済みのフィルタ係数またはオフセットのサブセットのみを条件として考慮することにより効果を奏することがある。
マルコフソースを前提とした符号化方式は、ソースモデルに関する知識を必要とする。このモデルは固定的でも適応的でもよい。このような符号化方式は、例えば状態遷移図を用いて説明してもよい。適応的モデルの場合、モデル（例えば状態遷移図）を符号化し、例えばシーケンスヘッダ、フレームまたはスライスヘッダに挿入してデコーダ側へ伝送することができる。
マルコフソースを用いてフィルタ係数およびオフセットを符号化した後、符号化フィルタ係数およびオフセットを可変長符号または固定長符号を用いてさらに符号化してもよい。
上記３つの符号化方法は、符号化データ間の統計的関係を利用する符号化方式の例である。しかし、本発明は符号化対象データ間の統計的関係を考慮する他の方法を用いてもよい。例えば、ランレングス符号化、符号化済みデータの値に基づくテーブル切り替えを用いた可変長符号化、異なる信号に対するフィルタデータの組み合わせを１符号語として符号化する可変長符号化などである。
また、本実施の形態では、符号化動画像信号（ビットストリーム）に符号化フィルタデータを挿入する。当該ビットストリームのシンタックスおよびセマンティックは、将来の動画像符号化標準規格の主題となり得る。
以下、本発明に係る符号化方式を将来の動画像符号化標準規格に組み込んだ場合の例を説明する。この例においては、図５および図７を参照して上述した空間領域のフィルタリングを適用することと、フィルタデータには、予測方式が適用されるフィルタ係数を含むこととを前提とする。
シンタックスエレメントは、標準規格によって指定される符号を用いて符号化してもよい。例えば固定長符号や可変長符号などである。可能性のひとつとしては、確率モデルを特定のシンタックスエレメントに適応させることのできる算術符号化を使用する。別の可能性としては、ハフマン符号による符号語を用いる。しかし、単進符号(unary code)またはゴロム符号、指数ゴロム符号、イライアス符号など、（汎用）整数符号を用いてもよい。
フィルタデータ（例えばフィルタ係数）をそれに関連するデータ（例えばフレームデータ全体またはスライスデータなど）の最後に挿入して伝送することが好ましい。これにより、次のような効果が得られる。すなわち、エンコーダにおけるフィルタデータは、一般的に、フィルタデータが決定されるフレーム、スライスまたは任意の画像領域の符号化および復号の後に推定される。フィルタデータが推定されたデータを含むフレームまたはスライスのヘッダにそのフィルタデータが含まれている場合は、フィルタデータが算出されてビットストリームに挿入されるまで、当該ビットストリーム全体を格納しておく必要がある。全データを算術符号化する場合、フィルタデータを符号化した後、ビットストリームだけでなく符号化対象のシンタックスエレメントすべてを格納および符号化する必要がある。フレームまたはスライスデータの後に、ビットストリームに挿入したフィルタデータを伝送する場合は、符号化が行われている間はビットストリームやシンタックスエレメントを格納しなくてもよい。これにより、メモリサイズに対する条件を減らすことができる。
したがって、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣに準拠したＳＥＩメッセージなど、別のＮＡＬユニットによってフィルタデータを伝送することが好ましい。
フィルタデータをフレームまたはスライスのヘッダに挿入して伝送する場合、算術符号器（エントロピー符号化部５９０）を終了そして再起動させると有益である。これにより、すべてのシンタックスエレメントではなくビットストリームのみをエンコーダに格納すればよいという効果が得られる。
符号化動画像信号（ビットストリーム）内で、フィルタデータをどこに配置するかに関しては、可能性がさらにある。特に、符号化動画像信号においてフィルタデータに関連する部分の前または後ろにそのフィルタデータを含めてもよい。
本実施の形態においてビットストリームの構成は、デコーダに対して最適化される。特に、フィルタデータに関連するフレームまたはスライスのフレームヘッダまたはスライスヘッダに、そのフィルタデータを含める。この場合、デコーダは、当該スライスまたはフレームのブロックを復号する前にポストフィルタリングに関する情報全体を知ることとなる。これにより、メモリの削減やメモリ割り当ての削減、デコーダにおける格納作業の削減などの利点がある。よって、より高速かつ安価に復号処理を行うことができる。
例えば、ポストフィルタリングは、スライスまたはフレーム内のブロックをある一定の数だけ復号および格納した後に行ってもよい。ポストフィルタリングを開始する前に格納しておく必要のあるブロックの数は、ポストフィルタのフィルタサイズによって決まる。ポストフィルタリング開始前に、スライスまたはフレーム（すなわち再構築動画像信号および／または量子化予測誤差信号および／または予測信号）内の全ブロックを復号および格納する必要はない。
スライスヘッダにおいて、フラグ（post_filter_flag[c]）は、ある特定の色成分がポストフィルタリングにおいて考慮されるか否かを示してもよい。ある色成分に対してポストフィルタリングを行うべきでない場合、デコーダはいずれの信号（すなわち再構築動画像信号および／または量子化予測誤差信号および／または予測信号）もポストフィルタリング目的で格納する必要がない。
さらに、フィルタリング対象の信号（例えば再構築動画像信号、量子化予測誤差信号および予測信号）に関連するフィルタ係数がすべてゼロの場合、当該信号をポストフィルタリング目的で格納する必要はない。
算術符号化と組み合わせると、エンコーダは、ヘッダと、フィルタデータと、残りのマクロブロックデータとに対し、個々の符号語を生成するとさらに有益である。個々の符号語を生成するとは、算術符号器を、包括ヘッダの後に終了させ、フィルタデータの符号化前に再起動させその後終了させ、残りのマクロブロックデータの符号化前にまた再起動させその後終了させるという意味である。アーキテクチャによっては、算術符号化の符号語は、整数バイトの長さを有することが好ましい（例えばバイト配列を用いたアーキテクチャの場合）。個々の符号語を有することによって、再符号化をせずとも符号語を格納および並び替えできるという利点がある。配列された（例えばバイト配列された）符号語を用いることにより、エンコーダにおけるビットストリーム部分の格納および並び替えをさらに容易にできる。
図１１Ａは、符号化動画像信号（ビットストリーム）におけるスライスまたはフレームに対応する部分の構成の一例を示す図である。まず、ヘッダ９０１がビットストリームに含まれ、その後に、必要であれば配列データが続く。次に、フィルタデータ９０２がビットストリームに含まれ、その後に、必要であれば配列データが続く。最後に、マクロブロックの画像を示すマクロブロックデータ９０３が配列データ（必要であれば）とともにビットストリームに含まれる。
つまり、フィルタデータ９０２が、そのフィルタデータ９０２が適用される画像信号（マクロブロックデータ９０３）の前に配置されるため、ビットストリームに配列される順序にしたがって、そのフィルタデータ９０２とその画像信号とを生成すれば、生成されたそれらのデータを一時的に格納しておく必要が無く、メモリ容量の削減を図ることができる。この場合には、そのフィルタデータ９０２を用いて画像信号（マクロブロックデータ９０３）を生成することができるため、いわゆるループ内フィルタを実現することができる。つまり、減算器１０５→変換／量子化部１１０→逆量子化／逆変換部１２０→加算器１２５→デブロッキングフィルタ１３０→メモリ１４０→画面内予測部１７０（補間フィルタ１５０→動き補償予測部１６０）→減算器１０５によって構成されるループ内において、フィルタデータ９０３を用いたフィルタリングを予測信号に対して実行することができ、そのフィルタリングされた予測信号から量子化係数からなる画像信号（マクロブロックデータ９０３）を生成することができる。
本実施の形態では、ビットストリームの構成は、エンコーダに対して最適化されてもよい。特に、ビットストリームにおいて、関連するマクロブロックデータの後にフィルタデータを含めてもよい。この場合、スライスまたはフレームのブロックを符号化した後に、ポストフィルタリングに関する情報全体を生成することができる。これにより、メモリの削減やメモリ割り当ての削減、エンコーダにおける格納動作の削減などの利点がある。よって、より高速かつ安価に符号化処理を行うことができる。
ポストフィルタリングの最適ウィナーフィルタ係数を算出するには、フィルタリングが機能するためのすべてのデータが必要である。本実施の形態の場合、再構築動画像信号および／または量子化予測誤差信号および／または予測信号の全体が必要である。エンコーダでは、このデータは、スライスまたはフレームの符号化および復号を完了した後にのみ利用可能である。符号化を完了する間、ビットストリームはすでに生成および格納および／または伝送されている。したがって、マクロブロックデータの前にフィルタデータを含めるには、ビットストリーム全体を格納する必要がある。１符号語のみを用いて算術符号化を行う場合は（スライスまたはフレームの終わりに終了）、全シンタックスエレメントの格納およびそれらに対する再符号化の完了も必要となる。マクロブロックデータの後にフィルタ情報を含める場合は、上記のような格納作業は不要である。
図１１Ｂは、符号化動画像信号（ビットストリーム）の一部分の構成の他の例を示す図である。
ヘッダ９１１と、マクロブロックデータ９１２と、フィルタデータ９１３とは、算術符号器（エントロピー符号化部５９０）においてそれぞれ１符号語として符号化される。すなわち、ビットストリームの異なる部分を符号化するごとに、符号化処理は再開始されることなく継続して行われる。
図１１Ｃは、符号化動画像信号（ビットストリーム）の一部分の構成の他の例を示す図である。
ヘッダ９２１と、マクロブロックデータ９２２と、フィルタデータ９２３とはそれぞれ、算術符号器（エントロピー符号化部５９０）において別々の符号語として、個々に符号化されてもよい。
しかしながら、本発明は算術符号化の使用に限定されるものではなく、他種の符号化を用いることも可能である。シーケンスヘッダおよびフレームに対する、ビットストリーム内の好ましい情報エレメントのシンタックスを以下に説明する。
図１２Ａは、シーケンスヘッダのシンタックスを示す図である。
図１２Ａ中の「postfilter」は、フレームレベルでポストフィルタを適用できるかを示す。
post_filter_initial_probabilitiesは、フィルタデータの符号を制御するための初期確率を示す。
図１２Ｂは、フレームのシンタックスを示す図である。
post_filter_flag[c]は、色成分ｃに対してポストフィルタリングを適用するかを示す。ｃ＝０は輝度成分に対応し、ｃ＝１およびｃ＝２は２つの色差成分に対応する。
シンタックスエレメントdecode_post_filter(c)は、さらに複数のシンタックスエレメントを含む。
図１３Ａおよび図１３Ｂは、decode_post_filter(c)のシンタックスを示す図である。
filter_hint_type[c]は、色成分ｃに対する、伝送されたフィルタヒントの種類を示す。ｃ＝０は輝度成分に対応し、ｃ＝１およびｃ＝２は２つの色差成分に対応する。取り得る値は、図１４に示すとおり０〜３である。
図１４は、filter_hint_type[c]の値とフィルタヒントの種類との関係を示す図である。
filter_hint_type[c]の値が０のときは、そのfilter_hint_type[c]は、フィルタヒントの種類として、１つの２次元ＦＩＲフィルタの係数を示す。filter_hint_type[c]の値が１のときは、そのfilter_hint_type[c]は、フィルタヒントの種類として、相互相関行列を示す。filter_hint_type[c]の値が２のときは、そのfilter_hint_type[c]は、フィルタヒントの種類として、２つの１次元ＦＩＲフィルタの係数を示す。filter_hint_type[c]の値が３のときは、そのfilter_hint_type[c]は、フィルタヒントの種類として、２つの相互相関ベクトルを示す。つまり、filter_hint_type[c]＝０または１のときには、そのfilter_hint_type[c]はフィルタリングの範囲が２次元配列（図１３Ａまたは図１３Ｂ中の「２Ｄ」）であることを示し、filter_hint_type[c]＝２または３のときには、そのfilter_hint_type[c]はフィルタリングの範囲が１次元配列（図１３Ａまたは図１３Ｂ中の「１Ｄ」）であることを示す。
図１３Ａに示すシンタックスにおいて各シンタックスエレメントのセマンティックは以下のとおりである。
filter_hint_size_rec_xは、再構築動画像信号に対するフィルタ係数配列または相互相関配列の水平方向サイズ（フィルタサイズ）を示す。
filter_hint_size_rec_yは、再構築動画像信号に対するフィルタ係数配列または相互相関配列の垂直方向サイズ（フィルタサイズ）を示す。
filter_hint_size_pred_xは、予測信号に対するフィルタ係数配列または相互相関配列の水平方向サイズ（フィルタサイズ）を示す。
filter_hint_size_pred_yは、予測信号に対するフィルタ係数配列または相互相関配列の垂直方向サイズ（フィルタサイズ）を示す。
filter_hint_size_qpe_xは、量子化予測誤差信号に対するフィルタ係数配列または相互相関配列の水平方向サイズ（フィルタサイズ）を示す。
filter_hint_size_qpe_yは、量子化予測誤差信号に対するフィルタ係数配列または相互相関配列の垂直方向サイズ（フィルタサイズ）を示す。
filter_hint_rec[c][cy][cx]は、再構築動画像信号に対するフィルタ係数行列のエレメント、または原信号（動画像信号）と再構築動画像信号との間の相互相関行列のエレメントを示す。ｃ＝０は輝度成分に対応し、ｃ＝１およびｃ＝２は２つの色差成分に対応する。ｃｙは垂直方向のカウンタを表し、ｃｘは水平方向のカウンタを表す。
filter_hint_pred[c][cy][cx]は、予測信号に対するフィルタ係数行列のエレメント、または原信号（動画像信号）と予測信号との間の相互相関行列のエレメントを示す。ｃ＝０は輝度成分に対応し、ｃ＝１およびｃ＝２は２つの色差成分に対応する。ｃｙは垂直方向のカウンタを表し、ｃｘは水平方向のカウンタを表す。
filter_hint_qpe[c][cy][cx]は、量子化予測誤差信号に対するフィルタ係数行列のエレメント、または原信号（動画像信号）と量子化予測誤差信号との間の相互相関行列のエレメントを示す。ｃ＝０は輝度成分に対応し、ｃ＝１およびｃ＝２は２つの色差成分に対応する。ｃｙは垂直方向のカウンタを表し、ｃｘは水平方向のカウンタを表す。
filter_hint_rec_x[c][cx]は、再構築動画像信号に対する水平方向フィルタリングのフィルタ係数ベクトルのエレメント、または原信号（動画像信号）と再構築動画像信号との間の水平相互相関ベクトルのエレメントを示す。ｃ＝０は輝度成分に対応し、ｃ＝１およびｃ＝２は２つの色差成分に対応する。ｃｘは水平方向のカウンタを表す。
filter_hint_pred_x[c][cx]は、予測信号に対する水平方向フィルタリングのフィルタ係数ベクトルのエレメント、または原信号（動画像信号）と予測信号との間の水平相互相関ベクトルのエレメントを示す。ｃ＝０は輝度成分に対応し、ｃ＝１およびｃ＝２は２つの色差成分に対応する。ｃｘは水平方向のカウンタを表す。
filter_hint_qpe_x[c][cx]は、量子化予測誤差信号に対する水平方向フィルタリングのフィルタ係数ベクトルのエレメント、または原信号（動画像信号）と量子化予測誤差信号との間の水平相互相関ベクトルのエレメントを示す。ｃ＝０は輝度成分に対応し、ｃ＝１およびｃ＝２は２つの色差成分に対応する。ｃｘは水平方向のカウンタを表す。
filter_hint_rec_y[c][cy]は、再構築動画像信号に対する垂直方向フィルタリングのフィルタ係数ベクトルのエレメント、または原信号（動画像信号）と再構築動画像信号との間の垂直相互相関ベクトルのエレメントを示す。ｃ＝０は輝度成分に対応し、ｃ＝１およびｃ＝２は２つの色差成分に対応する。ｃｙは垂直方向のカウンタを表す。
filter_hint_pred_y[c][cy]は、予測信号に対する垂直方向フィルタリングのフィルタ係数ベクトルのエレメント、または原信号（動画像信号）と予測信号との間の垂直相互相関ベクトルのエレメントを示す。ｃ＝０は輝度成分に対応し、ｃ＝１およびｃ＝２は２つの色差成分に対応する。ｃｙは垂直方向のカウンタを表す。
filter_hint_qpe_y[c][cy]は、量子化予測誤差信号に対する垂直方向フィルタリングのフィルタ係数ベクトルのエレメント、または原信号（動画像信号）と量子化予測誤差信号との間の垂直相互相関ベクトルのエレメントを示す。ｃ＝０は輝度成分に対応し、ｃ＝１およびｃ＝２は２つの色差成分に対応する。ｃｙは垂直方向のカウンタを表す。
filter_hint_offset[c]はオフセット値を示す。ｃ＝０は輝度成分に対応し、ｃ＝１およびｃ＝２は２つの色差成分に対応する。
上述のシンタックスエレメントであるfilter_hint_rec、filter_hint_pred、filter_hint_qpe、filter_hint_rec_x、filter_hint_pred_x、filter_hint_qpe_x、filter_hint_rec_y、filter_hint_pred_y、およびfilter_hint_qpe_yは、それぞれフィルタ係数または差分フィルタ係数を示し、フィルタヒントとして扱われる。
filter_precision[c]は、フィルタデータ（フィルタ係数）の量子化の精度を示す。各色成分ｃに対し、シンタックスエレメントfilter_precision[c]の値は、その値に対応する精度Wiener_Filter_Precision[c]の値を示す。
図１３Ｂに示すシンタックスにおいて、上記各シンタックスエレメントと異なるシンタックスエレメントのセマンティックは以下のとおりである。
filter_hint_size_rec_idxは、再構築動画像信号に対する２次元のフィルタ係数配列または相互相関配列のサイズ（フィルタサイズ）を特定するためのインデックスであって、０以上の整数を示す。このインデックスによって特定されるフィルタサイズは、水平方向および垂直方向に同一のサイズである。
filter_hint_size_pred_idxは、予測信号に対する２次元のフィルタ係数配列または相互相関配列のサイズ（フィルタサイズ）を特定するためのインデックスであって、０以上の整数を示す。このインデックスによって特定されるフィルタサイズは、水平方向および垂直方向に同一のサイズである。
filter_hint_size_qpe_idxは、量子化予測誤差信号に対する２次元のフィルタ係数配列または相互相関配列のサイズ（フィルタサイズ）を特定するためのインデックスであって、０以上の整数を示す。このインデックスによって特定されるフィルタサイズは、水平方向および垂直方向に同一のサイズである。
filter_hint_size_recは、再構築動画像信号に対する２次元のフィルタ係数配列または相互相関配列の、水平方向および垂直方向に同一のフィルタサイズを示す。このフィルタサイズは、インデックスfilter_hint_size_rec_idxによって特定される。つまり、filter_hint_size_recは、filter_hint_size_rec＝２×（filter_hint_size_rec_idx）＋１によって示される、１以上の奇数である。
filter_hint_size_predは、予測信号に対する２次元のフィルタ係数配列または相互相関配列の、水平方向および垂直方向に同一のフィルタサイズを示す。このフィルタサイズは、インデックスfilter_hint_size_pred_idxによって特定される。つまり、filter_hint_size_predは、filter_hint_size_pred＝２×（filter_hint_size_pred_idx）＋１によって示される、１以上の奇数である。
filter_hint_size_qpeは、量子化予測誤差信号に対する２次元のフィルタ係数配列または相互相関配列の、水平方向および垂直方法に同一のフィルタサイズを示す。このフィルタサイズは、インデックスfilter_hint_size_qpe_idxによって特定される。つまり、filter_hint_size_qpeは、filter_hint_size_qpe＝２×（filter_hint_size_qpe_idx）＋１によって示される、１以上の奇数である。
filter_hint_size_rec_x_idxは、再構築動画像信号に対する１次元（水平方向）の配列であるフィルタ係数ベクトルまたは相互相関ベクトルのフィルタサイズ（長さ）を特定するためのインデックスであって、０以上の整数を示す。この場合、filter_hint_size_rec_xは、filter_hint_size_rec_x＝２×（filter_hint_size_rec_x_idx）＋１によって示される、１以上の奇数である。
filter_hint_size_rec_y_idxは、再構築動画像信号に対する１次元（垂直方向）の配列であるフィルタ係数ベクトルまたは相互相関ベクトルのフィルタサイズ（長さ）を特定するためのインデックスであって、０以上の整数を示す。この場合、filter_hint_size_rec_yは、filter_hint_size_rec_y＝２×（filter_hint_size_rec_y_idx）＋１によって示される、１以上の奇数である。
filter_hint_size_pred_x_idxは、予測信号に対する１次元（水平方向）の配列であるフィルタ係数ベクトルまたは相互相関ベクトルのフィルタサイズ（長さ）を特定するためのインデックスであって、０以上の整数を示す。この場合、filter_hint_size_pred_xは、filter_hint_size_pred_x＝２×（filter_hint_size_pred_x_idx）＋１によって示される、１以上の奇数である。
filter_hint_size_pred_y_idxは、予測信号に対する１次元（垂直方向）の配列であるフィルタ係数ベクトルまたは相互相関ベクトルのフィルタサイズ（長さ）を特定するためのインデックスであって、０以上の整数を示す。この場合、filter_hint_size_pred_yは、filter_hint_size_pred_y＝２×（filter_hint_size_pred_y_idx）＋１によって示される、１以上の奇数である。
filter_hint_size_qpe_x_idxは、量子化予測誤差信号に対する１次元（水平方向）の配列であるフィルタ係数ベクトルまたは相互相関ベクトルのフィルタサイズ（長さ）を特定するためのインデックスであって、０以上の整数を示す。この場合、filter_hint_size_qpe_xは、filter_hint_size_qpe_x＝２×（filter_hint_size_qpe_x_idx）＋１によって示される、１以上の奇数である。
filter_hint_size_qpe_y_idxは、量子化予測誤差信号に対する１次元（垂直方向）の配列であるフィルタ係数ベクトルまたは相互相関ベクトルのフィルタサイズ（長さ）を特定するためのインデックスであって、０以上の整数を示す。この場合、filter_hint_size_qpe_yは、filter_hint_size_qpe_y＝２×（filter_hint_size_qpe_y_idx）＋１によって示される、１以上の奇数である。
図１３Ａに示すシンタックスでは、フィルタリングの範囲が１次元配列であるか２次元配列であるかに関わらず、予測信号、量子化予測誤差信号および再構築動画像信号のそれぞれに対する水平方向のフィルタサイズと垂直方向のフィルタサイズとが差分フィルタデータに含められてデコーダに送信される。
一方、図１３Ｂに示すシンタックスでは、インデックスが差分フィルタデータに含められてデコーダに送信される。この場合には、デコーダは、そのインデックスと２との積に１を加算することによってフィルタサイズを算出する。ここで、この図１３Ｂに示すシンタックスでは、フィルタリングの範囲が２次元配列の場合には、予測信号、量子化予測誤差信号および再構築動画像信号のそれぞれに対して、水平方向および垂直方向に共通のインデックスが差分フィルタデータに含められる。また、フィルタリングの範囲が１次元配列の場合には、予測信号、量子化予測誤差信号および再構築動画像信号のそれぞれに対して、水平方向のインデックスと垂直方向のインデックスとが差分フィルタデータに含められる。
このように、図１３Ｂに示すシンタックスでは、フィルタサイズはインデックスとして差分フィルタデータに含められてデコーダに送信されるため、フィルタサイズの送信に要するビット量を削減することができる。また、フィルタリングの範囲が２次元配列の場合には、水平方向および垂直方向に共通のインデックスが差分フィルタデータに含められるため、フィルタサイズの送信に要するビット量をさらに削減することができる。
また、動画像符号化装置５００のポストフィルタ設計部５４０は、スライス、フレームまたはシーケンスごとに、フィルタサイズを固定にしても変えてもよい。フィルタサイズを可変にする場合には、ポストフィルタ設計部５４０は、変更されたフィルタサイズを選択し、図１３Ａおよび図１３Ｂのシンタックスに示すように、その変更されたフィルタサイズまたは、そのフィルタサイズに対応するインデックス（シンタックスエレメント）を差分フィルタデータに含める。
なお、上述の説明では、フィルタサイズを１以上の奇数としたが、０となり得る値としてもよい。フィルタサイズが０の場合は、フィルタリングは行われない。つまり、フィルタ係数（差分フィルタ係数を示すフィルタヒント）は、差分フィルタデータに含められず、デコーダに送信されることはない。
このように、フィルタサイズが０となり得る値の場合、フィルタサイズは、インデックスを用いて、max｛０，２×（インデックス−１）+１｝のように算出される。ここで、max｛Ａ，Ｂ｝は、ＡおよびＢのうちの最大の値を示す。具体的には、フィルタリングの範囲が２次元配列であるか１次元配列であるかに応じて、各フィルタサイズは以下に示す式によって算出される。
また、再構築動画像信号、予測信号、および量子化予測誤差信号のそれぞれに対して、フィルタ係数が０となるようなフィルタヒントをデコーダに送ることで、それぞれの信号がフィルタリングに使用されないようにしてもよい。この場合、フィルタサイズ＝１となるようなインデックスを指定すれば符号量を抑制することができる。
２次元配列のフィルタサイズ：
・filter_hint_size_rec＝max｛０，２×（filter_hint_size_rec_idx−１）＋１｝
・filter_hint_size_pred＝max｛０，２×（filter_hint_size_pred_idx−１）＋１｝
・filter_hint_size_qpe＝max｛０， ２×（filter_hint_size_qpe_idx−１）＋１｝
１次元配列のフィルタサイズ：
・filter_hint_size_rec_x＝max｛０，２×（filter_hint_size_rec_x_idx−１）＋１｝
・filter_hint_size_rec_y＝max｛０，２×（filter_hint_size_rec_y_idx−１）＋１｝
・filter_hint_size_pred_x＝max｛０，２×（filter_hint_size_pred_x_idx−１）＋１｝
・filter_hint_size_pred_y＝max｛０，２×（filter_hint_size_pred_y_idx−１）＋１｝
・filter_hint_size_qpe_x＝max｛０，２×（filter_hint_size_qpe_x_idx−１）＋１｝
・filter_hint_size_qpe_y＝max｛０，２×（filter_hint_size_qpe_y_idx−１）＋１｝
デコーダである動画像復号装置６００のポストフィルタ６４０は、上述のような式を用いて、差分フィルタデータに含まれているインデックスからフィルタサイズを算出し、フィルタサイズが０のときには、ポストフィルタリングを実行せず、フィルタサイズが１以上の奇数であるときには、そのフィルタサイズにしたがったポストフィルタリングを実行する。
なお、上述の説明では、フィルタサイズを、max｛０，２×（インデックス−１）+１｝として算出したが、max｛０，２×インデックス−１｝であってもよく、max｛０，２×（インデックス−１）−１｝であってもよい。また、フィルタサイズが０或いは正の奇数となるような、数式とインデックスの組合せであれば、どのような組合せを用いてもよい。
このように、エンコーダおよびデコーダは、フィルタサイズを０とするか１以上の奇数にするかに応じて、フィルタリングの有無を切り換えることができる。
なお、ある信号に対するフィルタヒントをデコーダに送らない場合には、フィルタヒントから算出される各信号に対するフィルタ係数のいずれか又は全てが不定とならないように、デコーダは、フィルタヒントを０などの規定値とみなして各信号に対するフィルタ係数を算出してもよい。
図１５は、filter_precision[c]とWiener_Filter_Precision[c]との対応関係を示す図である。
Wiener_Filter_Precision[c]は、フィルタ係数の精度を定めるフィルタデータ量子化情報を示す。
本発明において、filter_precision[c]およびWiener_Filter_Precision[c]の取り得る値の数は１２個に限定されるものではない。より多くの、もしくはより少ない数の値を取り得るとすることも可能である。シンタックスエレメント（filter_precision[c]）の値の割り当ては、フィルタ精度（Wiener_Filter_Precision[c]）の値の割り当てと異なってもよい。例えば、そのシンタックスエレメントの値が低いほど、フィルタ精度の値が高くなるように対応付けられてもよい。また、シンタックスエレメントの値とフィルタ精度の値との間の特定のマッピングを選択することによっても効果を奏する場合がある。全体として好ましい符号化効率を達成するために、マッピングと、filter_precision[c]の値を符号化するために用いる符号とをあわせて設計してもよい。Wiener_Filter_Precision[c]の取り得る値の数を信号送信してもよい。例えば、固定長符号または可変長符号を用いて符号化してもよい。
シンタックスエレメント（filter_precision[c]）と、フィルタ精度（Wiener_Filter_Precision[c]）との間のマッピングを信号送信してもよい。しかしながら、そのような信号送信に必要な帯域幅を縮小するには、例えば、Wiener_Filter_Precision[c]の値はすべて２のべき乗としてもよい。その場合、Wiener_Filter_Precision[c]の最小値（図１５の例では８）および取り得るすべての値の数（図１５の例では１２）が分かるだけで、Wiener_Filter_Precision[c]の値をエンコーダ側でもデコーダ側でも同様に算出することができる。この場合、取り得るすべての値の数とWiener_Filter_Precision[c]の値の１つ（例えば最小値）のみを符号化すればよい。
Wiener_Filter_Precision[c]の値が低いほど、フィルタデータの精度は低く、それを伝送するために必要なレートも低い。
符号化動画像信号の全体のビットレートが低い場合、フィルタ精度（シンタックスエレメント）の符号化に用いるビットの相対量は多い。符号化動画像信号の全体のビットレートが高い場合、フィルタ精度の符号化に用いるビットの相対量はごくわずかである。
したがって、全体のビットレートが低い場合は、フィルタ精度（シンタックスエレメント）の符号化には非常に低いビットレートが望ましい。全体のビットレートが高い場合は、フィルタ精度の符号化には高ビットレートでも許容可能である。この条件を満たすには、フィルタ精度（シンタックスエレメント）のビットレートを全体のビットレートに適応させて（例えば低い全体ビットレートに最適化して）、符号化方式を適用することが好ましい。図１５に示すfilter_precision[c]とWiener_Filter_Precision[c]とのマッピングでは、Wiener_Filter_Precision[c]の値が低いとフィルタデータ（例えばフィルタ係数）が粗く量子化される。その結果、符号化動画像信号のビットレートが低いほど、シンタックスエレメントfilter_precision[c]としての符号化パラメータ（フィルタ精度）Wiener_Filter_Precisionを含む符号化フィルタデータに必要なビットレートを低減させる。
例えば、低いWiener_Filter_Precision[c]を信号送信するには短い符号語を割り当て、高いWiener_Filter_Precision[c]を信号送信するには長い符号語を割り当てることにより、Wiener_Filter_Precision[c]の低い値を符号化するために必要なビットレートを低減できる。例えば、図１６に示すように、単進符号を用いてもよい。
図１６は、filter_precision[c]（Wiener_Filter_Precision[c]）に割り当てられる単進符号を示す図である。
単進符号以外の可変長符号を用いてもよく、符号化方式は適切に選択される。例えば、図１７に示すようにゴロム符号を用いてもよい。
図１７は、filter_precision[c]（Wiener_Filter_Precision[c]）に割り当てられるゴロム符号の一例を示す図である。
また、例えば、図１８に示すように他のゴロム符号を用いてもよい。
図１８は、filter_precision[c]（Wiener_Filter_Precision[c]）に割り当てられるゴロム符号の他の例を示す図である。
当然のことながら、取り得る値の数が１６個ある場合などでは、固定符号語長を用いてもよい。
図１９は、filter_precision[c]（Wiener_Filter_Precision[c]）に割り当てられる固定長符号を示す図である。
また、図１６〜図１９に示す符号表とは別の符号語表に切り替えることも可能である。符号語表の選択内容もエンコーダにより符号化し、デコーダへ信号送信することもできる。この場合、量子化ステップサイズをすぐに復号できるようにするため、filter_precision[c]の前に選択内容を信号送信することが好ましい。
さらに、固定規則にしたがって、複数の適切な符号語表からひとつを選択することもできる。固定規則とは、対象フレームまたはスライスの復号にすでに用いられたビットの数に基づくものでもよい。また、対象フレームまたはスライスの復号開始時に用いられる量子化パラメータ、または対象フレームまたはスライスの復号に平均的に用いられる量子化パラメータに基づくものでもよい。また、量子化予測誤差信号、例えばその分散、に基づくものでもよい。また、予測信号、例えばその分散、に基づくもの、または予測信号および／または予測誤差信号をもとに求められた他の基準に基づくものでもよい。
シンタックスエレメントfilter_precision[c]を表す２値記号の符号化には、算術符号化を用いることもできる。ここで、各２値記号の符号化には、同じまたは別々の符号を用いることができる。また、符号は状況に応じて決めることもできる。符号化は条件付であるため、符号化効率はさらに高まる。可能性のひとつとしては、filter_precision[i+1]および／またはfilter_precision[i+2]の符号化条件として、filter_precision[i]の値を用いる。また、各成分の係数に対して、異なるフィルタ精度を符号化、伝送および使用することも可能である。つまり、filter_precisionの個々の値は、再構築動画像信号と、予測信号と、量子化予測誤差信号とのそれぞれに対応するフィルタデータに用いられるという意味である。また、これらの信号それぞれに応じたフィルタデータに異なるフィルタ精度を用いることも可能である。例えば、フィルタデータに含まれるfilter_hint_rec_y[c][cy]のｃおよびｃｙそれぞれに個々のフィルタ精度を用いる。
エンコーダでは、全体ビットレートのラグランジュアン・コスト、および原画像信号（動画像信号）とフィルタリング後の画像信号（復号動画像信号）との間の平均二乗再構築誤差を最小化することにより、Wiener_Filter_Precision[c]の値を有効に決定することができる。Wiener_Filter_Precision[c]の、ある値に対するラグランジュアン・コストの決定は、例えば、必要なビットの符号化および測定を完了することにより、そしてその結果得られる平均二乗再構築誤差の符号化および測定を完了することにより、行ってもよい。別の可能性としては、レートおよび平均二乗再構築誤差を推測することにより行う。平均二乗再構築誤差の推測は、画像信号の、あるサブセットのみをフィルタリングすることにより、そして当該サブセットに対する平均二乗再構築誤差は画像信号全体の平均二乗再構築誤差に近似すると仮定することにより行ってもよい。また、例えばフレームまたはスライスの量子化パラメータ値に応じて、Wiener_Filter_Precision[c]が取り得る値のサブセットのみをテストすることも可能である。
エンコーダ側からデコーダ側に提供されたフィルタデータ（差分フィルタデータ）は、動画像信号の復号に用いられる。特に、以下では、符号化フィルタデータの復号方法と、動画像信号の復号におけるフィルタデータの利用方法との例を示す。
第１および第２の例では、フィルタ係数およびオフセットを使用して復号画像（再構築動画像信号）の色成分をポストフィルタリングする。相互相関およびオフセットが伝送され、復号される場合は、第３および第４の例にて示すように、当該相互相関およびオフセットを用いてフィルタ条件を設定し、復号画像の色成分をポストフィルタリングしてもよい。
フィルタデータが予測符号化されていた場合は、まず、予測データ（予測フィルタ係数）を加えることによりフィルタ係数と、オフセットおよび／または相互相関情報とを再構築する。
第１の例（filter_hint_type[c]＝０）は、１つの２次元ＦＩＲフィルタの係数が伝送される場合のポストフィルタ設計および処理に関連するものである。
再構築動画像信号、予測信号および量子化予測誤差信号をポストフィルタリングするためのフィルタ係数は、図２０Ａ〜図２０Ｃの（式８）〜（式１０）にそれぞれ示すように、受信した差分フィルタデータから算出される。つまり、動画像復号装置６００のポストフィルタ６４０は、（式８）〜（式１０）にしたがってフィルタ係数を算出する。
図２０Ａは、再構築動画像信号に対するフィルタ係数の算出式を示す図である。
図２０Ａの（式８）に示すように、再構築動画像信号に対するフィルタ係数である再構築信号フィルタ係数coeff_rec[c][cy][cx]は、フィルタデータ（差分フィルタデータ）に含まれるfilter_hint_rec[c][cy][cx]、filter_hint_size_rec_xおよびfilter_hint_size_rec_yと、Wiener_Filter_Precision[c]の値とに基づいて算出される。Wiener_Filter_Precision[c]は符号化されてビットストリームに含められるが、Wiener_Filter_Precision[c]＝１６３８４のように、可能であれば色成分cの値それぞれに対して、固定的に指定されてもよい。Wiener_Filter_Precision[c]は、いずれかの色成分、および／または予測信号と、量子化予測誤差信号と、再構築動画像信号とのいずれかに対して符号化され、ビットストリームに含められてもよい。
図２０Ｂは、予測信号に対するフィルタ係数の算出式を示す図である。
図２０Ｂの（式９）に示すように、予測信号に対するフィルタ係数である予測信号フィルタ係数coeff_pred[c][cy][cx]は、再構築信号フィルタ係数coeff_rec[c][oy][ox]と、Wiener_Filter_Precision[c]の値と、フィルタデータ（差分フィルタデータ）に含まれるfilter_hint_pred[c][cy][cx]、filter_hint_size_pred_x、filter_hint_size_pred_y、filter_hint_size_rec_x、およびfilter_hint_size_rec_yとに基づいて算出される。なお、oxは、再構築動画像信号に対するフィルタ係数配列の水平方向サイズ（水平方向のフィルタリング範囲）の中心位置を示し、oyは、再構築動画像信号に対するフィルタ係数配列の垂直方向サイズ（垂直方向のフィルタリング範囲）の中心位置を示す。
図２０Ｃは、量子化予測誤差信号に対するフィルタ係数の算出式を示す図である。
図２０Ｃの（式１０）に示すように、量子化予測誤差信号に対するフィルタ係数である予測誤差信号フィルタ係数coeff_qpe[c][cy][cx]は、予測信号フィルタ係数coeff_pred[c][oy][ox]と、フィルタデータ（差分フィルタデータ）に含まれるfilter_hint_qpe[c][cy][cx]、filter_hint_size_qpe_x、filter_hint_size_qpe_y、filter_hint_size_pred_x、およびfilter_hint_size_pred_yとに基づいて算出される。なお、oxは、予測信号に対するフィルタ係数配列の水平方向サイズ（水平方向のフィルタリング範囲）の中心位置を示し、oyは、予測信号に対するフィルタ係数配列の垂直方向サイズ（垂直方向のフィルタリング範囲）の中心位置を示す。
なお、図２０Ａ〜図２０Ｃに示すフィルタ係数の算出式では、再構築動画像信号に対するフィルタサイズ（フィルタリング範囲）と、予測信号に対するフィルタサイズと、量子化予測誤差信号に対するフィルタサイズとが異なる場合であっても、適切なフィルタ係数を算出することができる。また、図２０Ａ〜図２０Ｃに示すフィルタ係数の算出式では、フィルタリング範囲の中心位置のフィルタ係数だけが差分フィルタ係数として符号化されており、その差分フィルタ係数と他のフィルタ係数との加算または減算によって、フィルタ係数が算出される。例えば、中心位置の予測信号フィルタ係数coeff_pred[c][cy][cx]は、差分フィルタ係数であるfilter_hint_pred[c][cy][cx]から、他のフィルタ係数である中心位置の再構築信号フィルタ係数coeff_rec[c][oy][ox]を減算し、Wiener_Filter_Precision[c]を加算することによって算出される。
以下に示す３つの傾向がある場合、このようにフィルタリング範囲の中心位置のフィルタ係数だけが差分フィルタ係数として符号化すると符号化効率が高くなりえる。第１の傾向は、中心位置の再構築信号フィルタ係数coeff_recが常に略同じ値になることである。第２の傾向は、中心位置の再構築信号フィルタ係数coeff_recと、中心位置の予測信号フィルタ係数coeff_predとの和が常に略同じ値になることである。第３の傾向は、中心位置の予測信号フィルタ係数coeff_predと、中心位置の予測誤差信号フィルタ係数coeff_qpeとが略同じ値になることである。また、フィルタ係数の伝送に必要な符号量とフィルタの画質改善効果とのトレードオフの関係などに応じて、フィルタサイズ（フィルタリング範囲）が動的に変更されることがあるが、その結果、中心位置以外のフィルタ係数（フィルタヒント）が不要になる場合があるため、フィルタリング範囲の中心位置のフィルタ係数だけが差分フィルタ係数として符号化される。つまり、フィルタサイズが１×１の場合には、中心位置以外のフィルタ係数は存在せず、中心位置以外のフィルタ係数（フィルタヒント）をフィルタデータに含めてデコーダに送信する必要がない。このようなフィルタサイズの動的な変更に簡単に対応し得るように、フィルタリング範囲の中心位置のフィルタ係数だけが差分フィルタ係数として符号化される。
そして、ポストフィルタ６４０は、図２１の（式１１）に示すように、算出されたフィルタ係数を再構築動画像信号、予測信号および量子化予測誤差信号にそれぞれ適用することによって、つまりポストフィルタリングを行うことによって、復号動画像信号を生成して出力する。
図２１は、復号動画像信号の算出式を示す図である。
図２１の（式１１）に示すように、復号動画像信号によって示される、色成分ｃの位置（ｘ，ｙ）におけるポストフィルタリング処理後の値（filtered_image[c][y][x]）は、フィルタ係数coeff_rec[c][j][i]、coeff_pred[c][j][i]およびcoeff_qpe[c][j][i]と、rec_image[c]、pred_image[c]およびqpe_image[c]とに基づいて算出される。なお、rec_image[c]は再構築動画像信号の色成分ｃに対応する値であり、pred_imageは予測信号の色成分ｃに対応する値であり、qpe_imageは量子化予測誤差信号の色成分ｃに対応する値である。ｃ＝０は輝度成分に対応し、ｃ＝１およびｃ＝２は２つの色差成分それぞれに対応する。ＹＵＶ以外の色空間を用いる場合、この対応関係は、用いる色空間に基づくものでもよい。 例えばＲＧＢ色空間の場合、ｃ＝０は赤（Ｒ）成分に、ｃ＝１は緑（Ｇ）成分に、ｃ＝２は青（Ｂ）成分に対応してもよい。
次に、ポストフィルタ６４０は、図２２Ａの（式１２）に示すように、復号動画像信号であるフィルタリング済み信号（filtered_image[c][y][x]）に対して標準化およびクリッピングを行う。
図２２Ａは、標準化およびクリッピングの算出式を示す図である。
図２２Ａの（式１２）に示すように、標準化およびクリッピングされたフィルタリング済み信号（filtered_image_clipped[c][y][x]）は、filtered_image[c][y][x]に対して逆量子化およびフロア関数が適用され、０〜２５５の値に設定される。
ここで、Wiener_Filter_Precision[c]におけるステップサイズは、以下の（式１４）によって示され、例えばハードウェアまたはソフトウェアの実施において非常に有益なものである。
Figure 2010113524
なぜならば、ビットシフト（１ビットだけ右にシフト）により、以下の（式１５）の除算を非常に効率よく実現することができるからである。
Figure 2010113524
つまり、以下の（式１６）の関係が成り立つ。
Figure 2010113524
さらに、ビットシフト（αビットだけ右にシフト）により、２のα条の除算を非常に効率よく実現することができるからである。
したがって、ポストフィルタ６４０は、図２２Ｂの（式１３）に示す演算を行うことにより、フィルタリング済み信号（filtered_image[c][y][x]）に対して標準化およびクリッピングを行ってもよい。
図２２Ｂは、標準化およびクリッピングの他の算出式を示す図である。
Wiener_Filter_Precision[c]が２のべき乗で示される場合には、（式１３）による演算は、（式１２）と同様の利点が得られる。
ここで、予測信号フィルタ係数coeff_pred[c][cy][cx]を、図２０Ｂの（式９）以外の式から求めてもよい。
図２３Ａは、予測信号に対する中心位置におけるフィルタ係数の算出式を示す図である。
図２３Ａの（式１７）に示すように、予測信号におけるポストフィルタリングの範囲の中心位置では、ポストフィルタ６４０は、（式１８）に示す算出式によって予測信号フィルタ係数coeff_pred[c][cy][cx]を算出する。
図２３Ｂは、予測信号に対する中心位置以外の位置におけるフィルタ係数の算出式を示す図である。
図２３Ｂの（式１９）に示すように、予測信号におけるポストフィルタリングの範囲の中心位置以外の位置では、ポストフィルタ６４０は、（式２０）に示す算出式によって予測信号フィルタ係数coeff_pred[c][cy][cx]を算出する。（式２０）に示すように、中心位置以外の予測信号フィルタ係数coeff_pred[c][cy][cx]も、中心位置の予測信号フィルタ係数coeff_pred[c][cy][cx]と同様、所定の条件下において、差分フィルタ係数として符号化されており、その差分フィルタ係数であるfilter_hint_pred[c][cy][cx]と再構築信号フィルタ係数coeff_rec[c][oy][ox]との和によって算出される。
また、（式１７）〜（式２０）にしたがって予測信号フィルタ係数coeff_pred[c][cy][cx]を算出した場合には、ポストフィルタ６４０は、図２３Ｃの（式２１）にしたがって予測誤差信号フィルタ係数coeff_qpe[c][cy][cx]を算出する。
図２３Ｃは、量子化予測誤差信号に対するフィルタ係数の算出式を示す図である。
図２３Ｃの（式２１）に示すように、予測誤差信号フィルタ係数coeff_qpe[c][cy][cx]は、中心位置のフィルタ係数であるか否かに関わらず、所定の条件下において、差分フィルタ係数として符号化されており、その差分フィルタ係数であるfilter_hint_qpe[c][cy][cx]と予測信号フィルタ係数coeff_pred[c][oy][ox]との和によって算出される。
このような、図２３Ａ〜図２３Ｃの（式１７）〜（式２１）にしたがってフィルタ係数が算出される場合の符号化効率は、いくつかの傾向があれば、図２０Ｂおよび図２０Ｃの（式９）および（式１０）にしたがってフィルタ係数が算出される場合の符号化効率よりも高くなりえる。そのいくつかの傾向は、上述の第１〜第３の傾向と、以下に示す第４の傾向および第５の傾向とである。第４の傾向は、中心位置以外の再構築信号フィルタ係数coeff_recと、中心位置以外の予測信号フィルタ係数coeff_predとが常に略同じ値になることである。第５の傾向は、中心位置以外の予測誤差信号フィルタ係数coeff_qpeと、中心位置以外の予測信号フィルタ係数coeff_predとが常に略同じ値になることである。
第２の例（filter_hint_type[c]＝２）は、２つの１次元ＦＩＲフィルタの係数が伝送される場合のポストフィルタ設計および処理に関連するものである。
再構築動画像信号、予測信号および量子化予測誤差信号をポストフィルタリングするためのフィルタ係数は、図２４Ａ〜図２４Ｃの（式２２）〜（式２７）にそれぞれ示すように、受信した差分フィルタデータから算出される。つまり、動画像復号装置６００のポストフィルタ６４０は、（式２２）〜（式２７）にしたがってフィルタ係数を算出する。
図２４Ａは、再構築動画像信号に対するフィルタ係数の算出式を示す図である。
図２４Ａの（式２２）に示すように、再構築動画像信号に対するフィルタ係数である再構築信号フィルタ係数のｘ成分（coeff_rec_x[c][cx]）は、差分フィルタデータに含まれるfilter_hint_rec_x[c][cx]およびfilter_hint_size_rec_xと、Wiener_Filter_Precision[c]の値とに基づいて算出される。
また、図２４Ａの（式２３）に示すように、再構築動画像信号に対するフィルタ係数である再構築信号フィルタ係数のｙ成分（coeff_rec_y[c][cy]）は、差分フィルタデータに含まれるfilter_hint_rec_y[c][cy]およびfilter_hint_size_rec_yと、Wiener_Filter_Precision[c]の値とに基づいて算出される。
図２４Ｂは、予測信号に対するフィルタ係数の算出式を示す図である。
図２４Ｂの（式２４）に示すように、予測信号に対するフィルタ係数である予測信号フィルタ係数のｘ成分（coeff_pred_x[c][cx]）は、再構築信号フィルタ係数のｘ成分（coeff_rec_x[c][ox]）と、Wiener_Filter_Precision[c]の値と、差分フィルタデータに含まれる差分フィルタ係数filter_hint_pred_x[c][cx]、filter_hint_size_pred_xおよびfilter_hint_size_rec_xとに基づいて算出される。
また、図２４Ｂの（式２５）に示すように、予測信号に対するフィルタ係数である予測信号フィルタ係数のｙ成分（coeff_pred_y[c][cy]）は、再構築信号フィルタ係数のｙ成分（coeff_rec_y[c][oy]）と、Wiener_Filter_Precision[c]の値と、差分フィルタデータに含まれる差分フィルタ係数filter_hint_pred_y[c][cy]、filter_hint_size_pred_yおよびfilter_hint_size_rec_yとに基づいて算出される。
図２４Ｃは、量子化予測誤差信号に対するフィルタ係数の算出式を示す図である。
図２４Ｃの（式２６）に示すように、量子化予測誤差信号に対するフィルタ係数である予測誤差信号フィルタ係数のｘ成分（coeff_qpe_x[c][cx]）は、予測信号フィルタ係数のｘ成分（coeff_pred_x[c][ox]）と、差分フィルタデータに含まれる差分フィルタ係数filter_hint_qpe_x[c][cx]、filter_hint_size_qpe_x、およびfilter_hint_size_pred_xとに基づいて算出される。
図２４Ｃの（式２７）に示すように、量子化予測誤差信号に対するフィルタ係数である予測誤差信号フィルタ係数のｙ成分（coeff_qpe_y[c][cx]）は、予測信号フィルタ係数のｙ成分（coeff_pred_y[c][ox]）と、差分フィルタデータに含まれる差分フィルタ係数filter_hint_qpe_y[c][cx]、filter_hint_size_qpe_y、およびfilter_hint_size_pred_yとに基づいて算出される。
ポストフィルタ６４０は、上記の第１の例と同様に、再構築動画像信号（変数名における“rec”）をフィルタリングするためのフィルタ係数（変数名における“coeff”）をまず算出し、それに基づき予測信号（変数名における“pred”）をフィルタリングするためのフィルタ係数を算出し、後者に基づき量子化予測誤差信号（変数名における“qpe”）をフィルタリングするためのフィルタ係数を算出する。また、ポストフィルタ６４０は、各フィルタ係数を算出するときには、水平方向（変数名において“_x”と示す）フィルタリングのフィルタ係数と、垂直方向（変数名において“_y”と示す）フィルタリングのフィルタ係数とで、分けて算出する。
次に、ポストフィルタ６４０は、算出されたフィルタ係数を用いてポストフィルタリングの水平フィルタリングを行う。
図２５は、水平フィルタリングを示す図である。
図２５の（式２８）に示すように、ポストフィルタリングの水平フィルタリングが適用された、色成分ｃの位置（ｘ，ｙ）における値（filtered_image_x[c][y][x]）は、フィルタ係数のｘ成分であるcoeff_rec_x[c][i]、coeff_pred_x[c][i]およびcoeff_qpe_x[c][i]と、rec_image[c]、pred_image[c]およびqpe_image[c]と、filter_hint_size_rec_x、filter_hint_size_pred_xおよびfilter_hint_size_qpe_xとに基づいて算出される。
次に、ポストフィルタ６４０は、図２６の（式２９）に示すように、水平フィルタリング済み信号（filtered_image_x[c][y][x]）に対して標準化およびクリッピングを行う。
図２６は、水平フィルタリング済み信号に対する標準化およびクリッピングの算出式を示す図である。
図２６の（式２９）に示すように、標準化およびクリッピングされた水平フィルタリング済み信号（filtered_image_clipped_x[c][y][x]）は、filtered_image_x[c][y][x]に対して逆量子化およびフロア関数が適用され、０〜２５５の値に設定される。
次に、ポストフィルタ６４０は、ポストフィルタリングの垂直フィルタリングを行う。
図２７は、垂直フィルタリングを示す図である。
図２７の（式３０）に示すように、ポストフィルタリングの垂直フィルタリングが適用された、色成分ｃの位置（ｘ，ｙ）における値（filtered_image_xy[c][y][x]）は、フィルタ係数のｙ成分であるcoeff_rec_y[c][j]、coeff_pred_y[c][j]およびcoeff_qpe_y[c][j]と、標準化およびクリッピングされた水平フィルタリング済み信号（filtered_image_clipped_x[c]）と、pred_image[c]およびqpe_image[c]と、filter_hint_size_rec_y、filter_hint_size_pred_yおよびfilter_hint_size_qpe_yと、オフセット（filter_hint_offset[c]）とに基づいて算出される。
次に、ポストフィルタ６４０は、図２８の（式３１）に示すように、水平および垂直フィルタリング済み信号（filtered_image_xy[c][y][x]）に対して標準化およびクリッピングを行う。
図２８は、水平および垂直フィルタリング済み信号に対する標準化およびクリッピングの算出式を示す図である。
図２８の（式３１）に示すように、標準化およびクリッピングされた水平および垂直フィルタリング済み信号（filtered_image_clipped_x[c][y][x]）は、filtered_image_xy[c][y][x]に対して逆量子化およびフロア関数が適用され、０〜２５５の値に設定される。
なお、上記各式において、filtered_image[c]は、ポストフィルタリング処理後の色成分ｃに対応する値であり、rec_image[c]は、再構築動画像信号の色成分ｃに対応する値であり、pred_image[c]は、予測信号の色成分ｃに対応する値であり、qpe_image[c]は、量子化予測誤差信号の色成分ｃに対応する値である。値ｃ＝０は輝度成分に対応し、ｃ＝１およびｃ＝２は２つの色差成分それぞれに対応する。
第３の例（filter_hint_type[c]＝１）は、相互相関行列が伝送される場合のポストフィルタ設計および処理に関連するものである。
まず、ポストフィルタ６４０は、図２９Ａの（式３２）に示すように、原画像（動画像信号）と復号画像（再構築動画像信号）との間の相互相関行列のエレメントを算出する。
図２９Ａは、再構築動画像信号に対応する相互相関行列のエレメントの算出式を示す図である。
動画像信号と再構築動画像信号との間の相互相関行列cc_recのエレメントは、図２９Ａの（式３２）に示すように、再構築動画像信号のフィルタリング範囲の中心位置と、その他の位置とで異なる算出式により算出される。
次に、ポストフィルタ６４０は、図２９Ｂの（式３３）に示すように、原画像（動画像信号）と予測画像（予測信号）との間の相互相関行列のエレメントを算出する。
図２９Ｂは、予測信号に対応する相互相関行列のエレメントの算出式を示す図である。
動画像信号と予測信号との間の相互相関行列cc_predのエレメントは、図２９Ｂの（式３３）に示すように、予測信号のフィルタリング範囲の中心位置と、その他の位置とで異なる算出式により算出される。また、中心位置では、（式３２）で算出された相互相関行列cc_recのエレメントを用いて相互相関行列cc_predのエレメントが算出される。
次に、ポストフィルタ６４０は、図２９Ｃの（式３４）に示すように、原画像（動画像信号）と量子化予測誤差画像（量子化予測誤差信号）との間の相互相関行列のエレメントを算出する。
図２９Ｃは、量子化予測誤差信号に対応する相互相関行列のエレメントの算出式を示す図である。
動画像信号と量子化予測誤差信号との間の相互相関行列cc_qpeのエレメントは、図２９Ｃの（式３４）に示すように、量子化予測誤差信号のフィルタリング範囲の中心位置と、その他の位置とで異なる算出式により算出される。また、中心位置では、（式３３）で算出された相互相関行列cc_predのエレメントを用いて相互相関行列cc_qpeのエレメントが算出される。
このように算出されたそれぞれの相互相関行列を用いることにより、ウィナーフィルタであるポストフィルタのフィルタ係数を求めることができ、求めたフィルタ係数とfilter_hint_offset[c]とをあわせて用いることにより、上述した２次元ＦＩＲフィルタによるフィルタリングを行うことができる。
第４の例（filter_hint_type[c]＝３）は、２つの相互相関ベクトルが伝送される場合のポストフィルタ設計および処理に関連するものである。
まず、ポストフィルタ６４０は、原画像（動画像信号）と復号画像（再構築動画像信号）との間の２つの相互相関ベクトル（水平相互相関ベクトルおよび垂直相互相関ベクトル）のエレメントを算出する。
図３０Ａは、再構築動画像信号に対応する水平相互相関ベクトルのエレメントの算出式を示す図である。
動画像信号と再構築動画像信号との間の水平相互相関ベクトルcc_rec_xのエレメントは、図３０Ａの（式３５）に示すように、再構築動画像信号のフィルタリング範囲の中心位置と、その他の位置とで異なる算出式により算出される。
図３０Ｂは、再構築動画像信号に対応する垂直相互相関ベクトルのエレメントの算出式を示す図である。
動画像信号と再構築動画像信号との間の垂直相互相関ベクトルcc_rec_yのエレメントは、図３０Ｂの（式３６）に示すように、再構築動画像信号のフィルタリング範囲の中心位置と、その他の位置とで異なる算出式により算出される。
次に、ポストフィルタ６４０は、原画像（動画像信号）と予測画像（予測信号）との間の２つの相互相関ベクトル（水平相互相関ベクトルおよび垂直相互相関ベクトル）のエレメントを算出する。
図３０Ｃは、予測信号に対応する水平相互相関ベクトルのエレメントの算出式を示す図である。
動画像信号と予測信号との間の水平相互相関ベクトルcc_pred_xのエレメントは、図３０Ｃの（式３７）に示すように、予測信号のフィルタリング範囲の中心位置と、その他の位置とで異なる算出式により算出される。また、中心位置では、（式３５）で算出された水平相互相関ベクトルcc_rec_xのエレメントを用いて水平相互相関ベクトルcc_pred_xのエレメントが算出される。
図３０Ｄは、予測信号に対応する垂直相互相関ベクトルのエレメントの算出式を示す図である。
動画像信号と予測信号との間の垂直相互相関ベクトルcc_pred_yのエレメントは、図３０Ｄの（式３８）に示すように、予測信号のフィルタリング範囲の中心位置と、その他の位置とで異なる算出式により算出される。また、中心位置では、（式３６）で算出された垂直相互相関ベクトルcc_rec_yのエレメントを用いて垂直相互相関ベクトルcc_pred_yのエレメントが算出される。
次に、ポストフィルタ６４０は、原画像（動画像信号）と量子化予測誤差画像（量子化予測誤差信号）との間の２つの相互相関ベクトル（水平相互相関ベクトルおよび垂直相互相関ベクトル）のエレメントを算出する。
図３０Ｅは、量子化予測誤差信号に対応する水平相互相関ベクトルのエレメントの算出式を示す図である。
動画像信号と量子化予測誤差信号との間の水平相互相関ベクトルcc_qpe_xのエレメントは、図３０Ｅの（式３９）に示すように、量子化予測誤差信号のフィルタリング範囲の中心位置と、その他の位置とで異なる算出式により算出される。また、中心位置では、（式３７）で算出された水平相互相関ベクトルcc_pred_xのエレメントを用いて水平相互相関ベクトルcc_qpe_xのエレメントが算出される。
図３０Ｆは、量子化予測誤差信号に対応する垂直相互相関ベクトルのエレメントの算出式を示す図である。
動画像信号と量子化予測誤差信号との間の垂直相互相関ベクトルcc_qpe_yのエレメントは、図３０Ｆの（式４０）に示すように、量子化予測誤差信号のフィルタリング範囲の中心位置と、その他の位置とで異なる算出式により算出される。また、中心位置では、（式３８）で算出された垂直相互相関ベクトルcc_pred_yのエレメントを用いて垂直相互相関ベクトルcc_qpe_yのエレメントが算出される。
このように算出されたそれぞれの相互相関ベクトルを用いることにより、水平方向のウィナーフィルタであるポストフィルタのフィルタ係数と、垂直方向のウィナーフィルタであるポストフィルタのフィルタ係数とを求めることができ、求めたフィルタ係数とfilter_hint_offset[c]とをあわせて用いることにより、上述した２つの１次元ＦＩＲフィルタによるフィルタリングを行うことができる。
上記例では、再構築動画像信号のフィルタ係数をまず算出し、それに基づき予測信号のフィルタ係数を算出し、後者に基づき量子化予測誤差信号のフィルタ係数を算出した。しかし、他の順序で各フィルタ係数を算出してもよい。例えば、最初に量子化予測誤差信号のフィルタ係数を算出してもよく、または、再構築動画像信号のフィルタ係数に基づいて量子化予測誤差信号のフィルタ係数を算出してもよい。他の依存関係や順序にてフィルタ係数の算出処理を行うことも可能である。
エンコーダでは、フィルタ係数と相互相関データとを、符号化および伝送する前に量子化する必要がある。エンコーダが、例えばフィルタ係数または相互相関データなどの例示的値coeff_doubleを、浮動小数点で表す場合、量子化を以下の（式４１）にしたがって行う。ここで、そのフィルタ係数が整数となるように量子化してもよい。また、エンコーダは、再構築動画像信号、予測信号および量子化予測誤差信号のそれぞれに対応する全てのフィルタ係数（フィルタヒント）を量子化して送信してもよい。
Figure 2010113524
前述したシンタックス、セマンティック、およびデコーダにおけるフィルタデータの適用は、一例にすぎない。一般的に、フィルタデータを信号送信するためのシンタックスエレメントは本例と異なることがある。特に、フィルタデータはフレームごとに提供される必要はない。数フレームごとに定期的に送ってもよいし、フレームにおけるフィルタデータの存在を、信号伝達用フラグにより不定期的に信号送信してもよい。さらに、フィルタデータは、スライス、既定のマクロブロックセット、マクロブロックまたはブロックなど、動画像フレームのある部分に対して信号送信してもよい。フィルタ特性を局所的に適応させることにより、品質の向上が可能になる。特に、実質的に異なる空間的および／または時間的特性を有する部分を持つ画像において、品質の向上が可能になる。
フィルタ係数間（またはオフセット間もしくは相関情報間）の統計的関係（相互相関）の利用は、単一の色成分に対するフィルタ係数に限られたことではない。複数の異なる色成分に対するフィルタ係数間の統計的依存関係（相互相関）も利用してよい。色成分の信号は通常互いに相関関係を有し、相関性のあるフィルタデータをもたらすことがあるからである。したがって、複数の異なる色成分に対するフィルタ情報（データ）もこれらの依存関係を用いて、例えば予測符号化、変換符号化またはマルコフモデルに基づいた符号化により、符号化してもよい。色成分間の統計的関係を利用した他の符号化を用いてもよい。例えば、ランレングス符号化や、符号語テーブルを切り替える、または複数のフィルタデータエレメントの組み合わせを単一の符号語に符号化するエントロピー符号化などである。
さらに、フィルタデータの符号化には、異なる画像領域のフィルタデータ間における統計的依存関係（相互相関）を用いてもよい。
図３１は、符号化／復号の対象ブロックに隣接する周辺ブロックを示す図である。
ブロックごとにフィルタデータを決定する場合、対象ブロックと、対象ブロックに隣接し復号済みの周辺ブロック（ブロックm＝２，…，５など）とにおける統計的関係（相互相関）を用いて、対象ブロックのフィルタデータを符号化してもよい。しかしながら、ブロック以外の領域に対してフィルタデータを決定してもよく、それらの領域に対応するフィルタデータ間の依存関係を用いて上記のように、例えば、予測や変換などを用いて、符号化を行ってもよい。さらに、統計的関係を用いてフィルタデータを符号化するこのような画像領域は、別々の画像に位置していてもよい（例えば、対応する位置または動き補償をおこなう位置）。
各信号／全ての信号、および／または色成分に対して、フィルタ精度（Wiener_Filter_Precision）もフィルタデータの量子化情報として符号化し、Wiener_Filter_Precision[c]としてデコーダに伝送してもよい。しかしながら、精度は固定的に定義づけられてもよい。フィルタ係数を予測するための信号予測方式もまた信号送信されてよい。これは、適応的予測方式を適用する場合に特に効果的である。
通常、フィルタデータは、ＦＩＲ（有限インパルス応答）フィルタまたはＩＩＲ（無限インパルス応答）フィルタを用いたフィルタリングにおいて使用するために決定される。フィルタは２次元の非分離可能フィルタまたは１次元の分離可能フィルタであってもよい。
複数の異なる色成分および／または信号（予測信号、量子化予測誤差信号、再構築信号）をフィルタリングためのフィルタは、フィルタリング順序を繰り返し信号送信することを避けるために、同じ固定長を有してもよい。しかしながら、色成分毎に、および量子化予測誤差信号と、予測信号と、再構築動画像信号とのそれぞれに対して個々に、フィルタ長を符号化してもよい。フィルタ長の符号化には、複数の異なる信号および／または色成分をフィルタリングするためのフィルタ長の統計的関係（相互相関）を用いてもよい。したがって、予測符号化、変換符号化、マルコフ符号化、または他のいかなる符号化も、フィルタ長情報に適用できる。
予測（動画像）信号および量子化予測誤差信号に対するフィルタ係数は、ジョイントエンコーダの最適化により同一であってもよく、そのため伝送は１回のみでよい。その場合、フィルタ係数が同じであるということを信号送信してもよい。
フィルタリング対象の複数の異なる信号および／または複数の異なる色成分に対するフィルタデータの選択肢は、信号送信するフィルタデータのサイズを縮小するために、制限を設けてもよい。一例を挙げれば、少なくとも１つのフィルタリング対象信号（再構築動画像信号、予測信号、量子化予測誤差信号）および／または色成分信号に対して対称フィルタを用いるように制限を設ける。別の例では、３つの信号（復号信号、予測信号、量子化予測誤差信号）および／または色成分のうち２つもしくは３つに対して同等フィルタを用いるように制限を設ける。
または、フィルタ係数によっては固定的に設定されていてもよい。固定フィルタ係数の値を信号送信する頻度は、例えばシーケンスヘッダにおいてのみなど、可変フィルタ係数を信号送信する頻度より低くてもよい。
シンタックスに関して、符号語を符号化動画像信号およびフィルタデータに加えることで、３つの信号（再構築動画像信号、予測信号、量子化予測誤差信号）のうちいずれに対してフィルタ係数を符号化および伝送するのかを信号送信してもよい。例えば、３ビットにより符号語を構成することで、３ビットのそれぞれが再構築動画像信号、予測信号または量子化予測誤差信号に対するフィルタデータの有無を信号送信してもよい。このような信号送信は、例えばシーケンス、フレームまたはスライスヘッダにおいて行ってもよい。
将来の拡張のために、符号語“additional_extension_flag”を含めてもよい。
図３２は、本実施の形態に係るシステムを示す図である。
このシステムでは、エンコーダ１５０１側からデコーダ１５０３側へ符号化動画像信号が送信される。エンコーダ１５０１は、動画像符号化装置５００または７００であり、デコーダ１５０３は、動画像復号装置６００または８００である。入力信号である動画像信号は、エンコーダ１５０１によって符号化され、チャネル１５０２へ提供される。上述したように、エンコーダ１５０１は、本発明の任意の実施の形態に係るエンコーダである。チャネル１５０２は、格納手段か伝送チャネルである。格納手段は、例えば、任意の揮発性または不揮発性メモリや、任意の磁気または光学媒体や、大容量格納手段などである。無線あるいは有線、固定的あるいは移動可能な、ｘＤＳＬ、ＩＳＤＮ、ＷＬＡＮ、ＧＰＲＳ、ＵＭＴＳ、Ｉｎｔｅｒｎｅｔなどの任意の伝送システムや、標準化または特許化されたシステムの物理的リソースによって、伝送チャネルを形成してもよい。エンコーダ側は、エンコーダ以外にも、フォーマット変換などの動画像信号に対する前処理をおこなう前処理手段および／またはチャネル１５０２を通して符号化動画像信号を伝送するトランスミッタ、または符号化動画像信号を格納手段に送信するためのアプリケーションプログラムを含んでもよい。符号化動画像信号は、チャネル１５０２を通じてデコーダ１５０３によって取得される。上述したように、デコーダ１５０３は、本発明の任意の実施の形態に係るデコーダである。デコーダは、符号化動画像信号を復号する。デコーダ側は、デコーダ以外にも、さらに、伝送チャネルから符号化動画像信号を受信するためのレシーバまたは格納手段からの符号化動画像信号を抽出するためのアプリケーションプログラム、さらに／または、フォーマット変換など復号動画像信号に対する後処理をおこなう後処理手段を備えてもよい。
なお、本実施の形態のポストフィルタ設計部５４０，７３０は、再構築動画像信号、予測信号、および量子化予測誤差信号を用いてフィルタデータまたはフィルタ係数を決定したが、それらの信号のうちの少なくとも２つの信号を用いてフィルタデータまたはフィルタ係数を決定してもよい。また、量子化予測誤差信号の代わりに予測誤差信号を用いてもよい。同様に、本実施の形態のポストフィルタ６４０，８４０は、再構築動画像信号、予測信号、および量子化予測誤差信号に対してフィルタデータまたはフィルタ係数を適用したが、それらの信号のうちの少なくとも２つの信号に対してフィルタデータまたはフィルタ係数を適用してもよい。また、量子化予測誤差信号の代わりに予測誤差信号に対してフィルタデータまたはフィルタ係数を適用してもよい。
（実施の形態２）
上記実施の形態で示した動画像符号化装置、動画像復号装置またはそれらの方法を実現するためのプログラムを記憶メディアに記録することにより、上記実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。
さらにここで、上記実施の形態で示した動画像符号化装置、動画像復号装置またはそれらの方法の応用例とそれらを用いたシステムを説明する。
図３３は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６〜ｅｘ１１０が設置されている。
このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および、基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。
しかし、コンテンツ供給システムｅｘ１００は図３３のような構成に限定されず、いずれかの要素を組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、もしくはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）の携帯電話機、または、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。
なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。
また、これら符号化処理および復号処理は、一般的にコンピュータｅｘ１１１および各機器が有するＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）ｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、画像符号化用および画像復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化処理および復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。
また、ストリーミングサーバｅｘ１０３は複数のサーバまたは複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。
以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利または設備を有さないユーザでも個人放送を実現できる。
このコンテンツ供給システムを構成する各機器の符号化、復号には上記実施の形態で示した動画像符号化方法あるいは動画像復号方法を用いるようにすればよい。
その一例として携帯電話ｅｘ１１４について説明する。
図３４は、上記実施の形態で説明した動画像符号化装置、動画像復号装置またはそれらの方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ６０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ６０３、カメラ部ｅｘ６０３で撮影した映像、アンテナｅｘ６０１で受信した映像等が復号されたデータを表示する液晶ディスプレイ等の表示部ｅｘ６０２、操作キーｅｘ６０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ６０８、音声入力をするためのマイク等の音声入力部ｅｘ６０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号されたデータを保存するための記録メディアｅｘ６０７、携帯電話ｅｘ１１４に記録メディアｅｘ６０７を装着可能とするためのスロット部ｅｘ６０６を有している。記録メディアｅｘ６０７はＳＤカード等のプラスチックケース内に電気的に書換えおよび消去が可能な不揮発性メモリであるＥＥＰＲＯＭの一種であるフラッシュメモリ素子を格納したものである。
さらに、携帯電話ｅｘ１１４について図３５を用いて説明する。携帯電話ｅｘ１１４は表示部ｅｘ６０２および操作キーｅｘ６０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ７１１に対して、電源回路部ｅｘ７１０、操作入力制御部ｅｘ７０４、画像符号化部ｅｘ７１２、カメラインターフェース部ｅｘ７０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ７０２、画像復号部ｅｘ７０９、多重分離部ｅｘ７０８、記録再生部ｅｘ７０７、変復調回路部ｅｘ７０６および音声処理部ｅｘ７０５が同期バスｅｘ７１３を介して互いに接続されている。
電源回路部ｅｘ７１０は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ｅｘ１１４を動作可能な状態に起動する。
携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭおよびＲＡＭ等でなる主制御部ｅｘ７１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ６０５で集音した音声信号を音声処理部ｅｘ７０５によってデジタル音声データに変換し、これを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ６０１で受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、音声処理部ｅｘ７０５によってアナログ音声データに変換した後、音声出力部ｅｘ６０８を介してこれを出力する。
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ６０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ７０４を介して主制御部ｅｘ７１１に送出される。主制御部ｅｘ７１１は、テキストデータを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して基地局ｅｘ１１０へ送信する。
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ６０３で撮像された画像データを、カメラインターフェース部ｅｘ７０３を介して画像符号化部ｅｘ７１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ６０３で撮像した画像データをカメラインターフェース部ｅｘ７０３およびＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に直接表示することも可能である。
画像符号化部ｅｘ７１２は、本願発明で説明した動画像符号化装置を備えた構成であり、カメラ部ｅｘ６０３から供給された画像データを上記実施の形態で示した動画像符号化装置に用いた動画像符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ７０８に送出する。また、このとき同時に携帯電話ｅｘ１１４は、カメラ部ｅｘ６０３で撮像中に音声入力部ｅｘ６０５で集音した音声を、音声処理部ｅｘ７０５を介してデジタルの音声データとして多重分離部ｅｘ７０８に送出する。
多重分離部ｅｘ７０８は、画像符号化部ｅｘ７１２から供給された符号化画像データと音声処理部ｅｘ７０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ６０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ７０８に送出する。
また、アンテナｅｘ６０１を介して受信された多重化データを復号するには、多重分離部ｅｘ７０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ７１３を介して当該符号化画像データを画像復号部ｅｘ７０９に供給すると共に当該音声データを音声処理部ｅｘ７０５に供給する。
次に、画像復号部ｅｘ７０９は、本願で説明した動画像復号装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した動画像符号化方法に対応した動画像復号方法で復号することにより再生動画像データを生成し、これを、ＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ７０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ６０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる音声データが再生される。
なお、上記システムの例に限られず、最近は衛星、地上波によるデジタル放送が話題となっており、図３６に示すようにデジタル放送用システムにも上記実施の形態の少なくとも動画像符号化装置または動画像復号装置を組み込むことができる。具体的には、放送局ｅｘ２０１では音声データ、映像データまたはそれらのデータが多重化されたビットストリームが電波を介して通信または放送衛星ｅｘ２０２に伝送される。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、衛星放送受信設備をもつ家庭のアンテナｅｘ２０４はこの電波を受信し、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７などの装置はビットストリームを復号してこれを再生する。また、記録媒体であるＣＤおよびＤＶＤ等の記録メディアｅｘ２１５、ｅｘ２１６に記録した画像データと、音声データが多重化されたビットストリームを読み取り、復号するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した動画像復号装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号装置を実装し、これをテレビのモニタｅｘ２１９で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に動画像復号装置を組み込んでも良い。また、アンテナｅｘ２０５を有する車ｅｘ２１０で、衛星ｅｘ２０２または基地局等から信号を受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。
また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した音声データ、映像データまたはそれらのデータが多重化された符号化ビットストリームを読み取り復号する、または、記録メディアｅｘ２１５に、音声データ、映像データまたはそれらのデータを符号化し、多重化データとして記録するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した動画像復号装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、符号化ビットストリームが記録された記録メディアｅｘ２１５により、他の装置およびシステム等は、映像信号を再生することができる。例えば、他の再生装置ｅｘ２１２は、符号化ビットストリームがコピーされた記録メディアｅｘ２１４を用いて、モニタｅｘ２１３に映像信号を再生することができる。
また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号装置を組み込んでもよい。
図３７は、上記実施の形態で説明した動画像符号化装置、動画像復号装置またはそれらの方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像情報のビットストリームを取得、または、出力するチューナｅｘ３０１と、受信した符号化データを復調する、または、生成された符号化データを外部に送信するために変調する変調／復調部ｅｘ３０２と、復調した映像データと音声データとを分離する、または、符号化された映像データと音声データとを多重化する多重／分離部ｅｘ３０３を備える。また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、または、それぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号された音声信号を出力するスピーカｅｘ３０７、復号された映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインターフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インターフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。
まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記実施の形態で説明した動画像復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。次に、テレビｅｘ３００が音声信号および映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記実施の形態で説明した動画像符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、一つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２と多重／分離部ｅｘ３０３との間等でもシステムのオーバフローおよびアンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。
また、テレビｅｘ３００は、放送および記録メディア等から音声データおよび映像データを取得する以外に、マイクおよびカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は、上記の符号化処理、多重化、および、外部出力ができる構成として説明したが、これらのすべての処理を行うことはできず、上記受信、復号処理、および、外部出力のうちいずれかのみが可能な構成であってもよい。
また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、または、書き込む場合には、上記復号処理または符号化処理はテレビｅｘ３００およびリーダ／レコーダｅｘ２１８のうちいずれかで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８とが互いに分担して行ってもよい。
一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図３８に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しおよび書き込みの処理は、システム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成および追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３およびサーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は、例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。
以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。
図３９に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、あらかじめグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録および再生を行う装置は、情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３の内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した符号化データの読み書きを行う。
以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりするなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。
また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図１７に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１および携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器および復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。
このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号方法を上述したいずれの機器およびシステムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
また、本発明は、上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
（実施の形態３）
上記各実施の形態で示した動画像符号化方法および装置、動画像復号方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図４０に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。
例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３およびストリームコントローラｅｘ５０４等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７およびカメラｅｘ１１３等からＡＶ信号の入力を受け付ける。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ、信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声信号の符号化および／または映像信号の符号化を行う。ここで映像信号の符号化処理は、上記実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、または、記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。
また、例えば復号処理を行う場合には、ＬＳＩｅｘ５００は、制御部ｅｘ５０１の制御に基づいて、ストリームＩ／Ｏｅｘ５０６によって基地局ｅｘ１０７を介して得た符号化データ、または、記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声データの復号および／または映像データの復号を行う。ここで映像信号の復号処理は、上記実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦バッファｅｘ５０８等に蓄積するとよい。復号された出力信号は、メモリｅｘ５１１等を適宜介しながら、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５およびテレビｅｘ３００等の各出力部から出力される。
なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も一つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
以上、本発明に係る動画像符号化方法、動画像符号化装置、動画像復号方法および動画像復号装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施した形態、および、異なる実施の形態における構成要素およびステップ等を組み合わせて構築される別の形態も、本発明の範囲内に含まれる。
Ｈ．２６４／ＡＶＣに基づく動画像符号化システムに関連して上述の例の大半を概要説明した。用語は、主として、Ｈ．２６４／ＡＶＣの用語に関連したものである。しかしながら、Ｈ．２６４／ＡＶＣに基づく符号化に対するさまざまな実施の形態の用語および記述は、本発明の原理および考えを、当該システムに限定することを意図しない。Ｈ．２６４／ＡＶＣ標準規格に準拠した符号化および復号に関する詳細な説明は、ここで説明した例示的な実施の形態についての理解を深めることを意図しており、動画像符号化におけるプロセスおよび機能を、説明した特定の実施態様に本発明が限定されるように理解されるべきではない。一方、ここで提案した改良策は、動画像符号化において容易に応用可能であろう。さらに、本発明のコンセプトは、ＪＶＴによって現在討議されているＨ．２６４／ＡＶＣの拡張符号化においても容易に利用可能であろう。
要約すると、本発明に係る動画像信号の復号では、エンコーダ側から提供されるフィルタデータに基づいて、予測信号と、予測誤差信号と、再構築動画像信号とのうち少なくとも２つの信号に対して個々にフィルタリングし、本発明に係る動画像信号の符号化では、フィルタデータを、予測信号と、予測誤差信号と、再構築動画像信号とのうち前記少なくとも２つの信号間の統計的依存関係を利用して符号化する。
本発明に係る動画像符号化方法および動画像復号方法は、符号化効率の低下を抑え、復号される動画像の画質を向上させることができるという効果を奏し、例えば、ビデオカメラ、携帯電話またはパーソナルコンピュータなどに適用することができる。
１０５ 減算器
１１０ 変換／量子化部
１２０ 逆量子化／逆変換部
１２５ 加算器
１３０ デブロッキングフィルタ
１４０ メモリ
１５０ 補間フィルタ
１６０ 動き補償予測部
１７０ 画面内予測部
１７５ イントラ／インタースイッチ
２２０ 逆量子化／逆変換部
２２５ 加算器
２３０ デブロッキングフィルタ
２４０ メモリ
２５０ 補間フィルタ
２６０ 動き補償予測部
２７０ 画面内予測部
２７５ イントラ／インタースイッチ
５００ 動画像符号化装置
５４０ ポストフィルタ設計部
５９０ エントロピー符号化部
６００ 動画像復号装置
６４０ ポストフィルタ
６９０ エントロピー復号部
７００ 動画像符号化装置
７３０ 周波数領域ポストフィルタ設計部
８００ 動画像復号装置
８４０ 周波数領域ポストフィルタ
上記目的を達成するために、本発明の一態様の動画像符号化方法は、動画像信号を符号化する動画像符号化方法であって、空間的または時間的に前記動画像信号を予測することにより予測信号を生成し、前記動画像信号と前記予測信号との差分を予測誤差信号として算出し、前記予測信号および前記予測誤差信号に基づいて前記動画像信号を再構築することによって再構築動画像信号を生成し、前記再構築動画像信号をフィルタリングするためのフィルタデータを決定し、算術符号器による前記フィルタデータおよび前記予測誤差信号に対する算術符号化を伴って、当該フィルタデータおよび当該予測誤差信号を符号化し、前記フィルタデータおよび前記予測誤差信号を符号化する際には、前記フィルタデータに対する算術符号化が終了した後に、前記算術符号器を再起動させ、再起動後に、前記予測誤差信号に対する算術符号化を算術符号器に開始させる。
また、上記目的を達成するために、本発明の一態様の動画像符号化方法は、少なくとも１つのピクチャを含む動画像信号を符号化する動画像符号化方法であって、空間的または時間的に前記動画像信号を予測することにより予測信号を生成し、前記動画像信号と前記予測信号との差分を予測誤差信号として算出し、前記予測信号および前記予測誤差信号に基づいて前記動画像信号を再構築することによって再構築動画像信号を生成し、前記予測信号、前記予測誤差信号および前記再構築動画像信号のうちの少なくとも２つの信号のそれぞれに対して、当該信号をフィルタリングするためのフィルタデータを決定し、決定された前記フィルタデータ間の相互相関に基づいて、決定された前記フィルタデータを符号化する。

Claims (20)

  1. 少なくとも１つのピクチャを含む動画像信号を符号化する動画像符号化方法であって、
    空間的または時間的に前記動画像信号を予測することにより予測信号を生成し、
    前記動画像信号と前記予測信号との差分を予測誤差信号として算出し、
    前記予測信号および前記予測誤差信号に基づいて前記動画像信号を再構築することによって再構築動画像信号を生成し、
    前記予測信号、前記予測誤差信号および前記再構築動画像信号のうちの少なくとも２つの信号のそれぞれに対して、当該信号をフィルタリングするためのフィルタデータを決定し、
    決定された前記フィルタデータ間の相互相関に基づいて、決定された前記フィルタデータを符号化する
    動画像符号化方法。
  2. 前記フィルタデータを符号化する際には、
    決定された少なくとも２つのフィルタデータのうちの第１のフィルタデータから、前記第１のフィルタデータ以外の第２のフィルタデータを予測することによって、前記第２のフィルタデータの予測データを特定し、
    前記第２のフィルタデータと前記予測データとの差分を算出することによって、前記第２のフィルタデータを符号化する、
    請求項１に記載の動画像符号化方法。
  3. 前記フィルタデータを決定する際には、
    前記再構築動画像信号に対する前記第１のフィルタデータと、前記予測信号に対する前記第２のフィルタデータとを決定し、
    前記フィルタデータを符号化する際には、
    前記再構築動画像信号に対する前記第１のフィルタデータから、前記予測信号に対する前記第２のフィルタデータを予測することによって、前記第２のフィルタデータの予測データを特定し、
    前記予測信号に対する前記第２のフィルタデータと前記予測データとの差分を算出することによって、前記予測信号に対する前記第２のフィルタデータを符号化する、
    請求項２に記載の動画像符号化方法。
  4. 前記予測データを特定する際には、
    前記再構築動画像信号に対する前記第１のフィルタデータを前記予測データとして特定する、
    請求項３に記載の動画像符号化方法。
  5. 前記フィルタデータを符号化する際には、
    前記フィルタデータを量子化し、
    前記量子化の精度を示す精度情報を符号化する、
    請求項１〜４の何れか１項に記載の動画像符号化方法。
  6. 前記精度情報を符号化する際には、
    前記精度情報の示す精度が低いほど短い符号語が当該精度情報に割り当てられるように、前記精度情報を符号化する、
    請求項５記載の動画像符号化方法。
  7. 前記フィルタデータを決定する際には、
    前記予測信号、前記予測誤差信号および前記再構築動画像信号のうちの少なくとも２つの信号のそれぞれに対して前記フィルタデータを適用した場合に、前記２つの信号の示す画像よりも、前記動画像信号の示す画像に近い画像が得られるように、前記フィルタデータを決定する、
    請求項１〜６の何れか１項に記載の動画像符号化方法。
  8. 前記フィルタデータを決定する際には、
    前記フィルタデータのそれぞれを色成分ごとに決定し、
    前記フィルタデータを符号化する際には、
    前記色成分として第１の色成分と第２の色成分がある場合、前記第１の色成分の前記フィルタデータと、前記第２の色成分のフィルタデータとの間の相互相関に基づいて、前記第１の色成分の前記フィルタデータを符号化する、
    請求項１〜７の何れか１項に記載の動画像符号化方法。
  9. 前記フィルタデータは、
    オフセット値、フィルタ係数のサイズ、前記フィルタ係数の量子化の精度、および前記フィルタ係数の符号化の種別、のうちの少なくとも１つを示す情報を含む、
    請求項１〜８の何れか１項に記載の動画像符号化方法。
  10. 前記動画像符号化方法は、さらに、
    前記予測誤差信号に基づいて符号化動画像信号をビットストリームとして生成し、
    符号化された前記フィルタデータを前記ビットストリームに含め、
    前記ビットストリームに符号化された前記フィルタデータを含めるときには、
    前記ビットストリーム内において、前記フィルタデータを用いたフィルタリングが適用されるべき画像信号の前に、符号化された前記フィルタデータを配置する、
    請求項１〜９の何れか１項に記載の動画像符号化方法。
  11. 前記動画像符号化方法は、さらに、
    前記予測誤差信号を量子化および逆量子化することにより量子化予測誤差信号を生成し、
    前記フィルタデータを決定する際には、
    前記動画像信号に基づいて、前記予測信号、前記量子化予測誤差信号および前記再構築動画像信号のうちの少なくとも２つの信号のそれぞれに対して前記フィルタデータを決定する、
    請求項１に記載の動画像符号化方法。
  12. 前記フィルタデータを決定する際には、
    前記予測信号、前記量子化予測誤差信号および前記再構築動画像信号のそれぞれに対してフィルタデータを決定し、
    前記フィルタデータを符号化する際には、
    決定された３つのフィルタデータを符号化する、
    請求項１１に記載の動画像符号化方法。
  13. 前記フィルタデータを決定する際には、
    前記少なくとも２つの信号のそれぞれに対して、フィルタ係数のサイズを選択し、選択されたサイズを特定するためのシンタックスエレメントおよび前記フィルタ係数を含む前記フィルタデータを決定する、
    請求項１〜１２の何れか１項に記載の動画像符号化方法。
  14. 少なくとも１つのピクチャを含む動画像信号が符号化された符号化動画像信号を復号する動画像復号方法であって、
    前記符号化動画像信号から予測誤差信号を生成し、
    空間的または時間的に前記動画像信号を予測することにより予測信号を生成し、
    前記予測信号および前記予測誤差信号に基づいて前記動画像信号を再構築することによって再構築動画像信号を生成し、
    前記予測信号、前記予測誤差信号および前記再構築動画像信号のうちの少なくとも２つの信号のそれぞれに対して決定されたフィルタデータが符号化された符号化フィルタデータを取得し、
    前記フィルタデータ間の相互相関に基づいて、前記少なくとも２つの信号のそれぞれに対する前記符号化フィルタデータを復号することによってフィルタデータを生成し、
    前記少なくとも２つの信号のそれぞれに対して、生成された前記フィルタデータを用いたフィルタリングを行う
    動画像復号方法。
  15. 前記フィルタデータを生成する際には、
    少なくとも２つの符号化フィルタデータのうちの第１の符号化フィルタデータから、前記第１の符号化フィルタデータ以外の第２の符号化フィルタデータが復号された第２のフィルタデータを予測することによって、前記第２のフィルタデータの予測データを特定し、
    前記第２の符号化フィルタデータに前記予測データを加算することによって、前記第２の符号化フィルタデータを復号し、前記復号によって前記第２のフィルタデータを生成する、
    請求項１４記載の動画像復号方法。
  16. 前記符号化フィルタデータを取得する際には、
    前記再構築動画像信号に対する前記第１の符号化フィルタデータと、前記予測信号に対する前記第２の符号化フィルタデータとを取得し、
    前記フィルタデータを生成する際には、
    前記再構築動画像信号に対する前記第１の符号化フィルタデータから、前記予測信号に対する前記第２のフィルタデータを予測することによって、前記第２のフィルタデータの予測データを特定し、
    前記予測信号に対する前記第２の符号化フィルタデータに前記予測データを加算することによって、前記予測信号に対する前記第２の符号化フィルタデータを復号し、前記復号によって前記第２のフィルタデータに生成する、
    請求項１５記載の動画像復号方法。
  17. 前記フィルタデータを生成する際には、
    量子化の精度を示す符号化精度情報を復号することによって精度情報を取得し、
    前記精度情報の示す精度に従った逆量子化を前記符号化フィルタに対して行う、
    請求項１４〜１６の何れか１項に記載の動画像復号方法。
  18. 前記フィルタデータは、
    オフセット値、フィルタ係数のサイズ、前記フィルタ係数の量子化の精度、および前記フィルタ係数の符号化の種別、のうちの少なくとも１つを示す情報を含む、
    請求項１４〜１７の何れか１項に記載の動画像復号方法。
  19. 少なくとも１つのピクチャを含む動画像信号を符号化する動画像符号化装置であって、
    空間的または時間的に前記動画像信号を予測することにより予測信号を生成する予測部と、
    前記動画像信号と前記予測信号との差分を予測誤差信号として算出する減算部と、
    前記予測信号および前記予測誤差信号に基づいて前記動画像信号を再構築することによって再構築動画像信号を生成する再構築部と、
    前記予測信号、前記予測誤差信号および前記再構築動画像信号のうちの少なくとも２つの信号のそれぞれに対して、当該信号をフィルタリングするためのフィルタデータを決定する決定部と、
    決定された前記フィルタデータ間の相互相関に基づいて、決定された前記フィルタデータを符号化する符号化部と
    を備える動画像符号化装置。
  20. 少なくとも１つのピクチャを含む動画像信号が符号化された符号化動画像信号を復号する動画像復号装置であって、
    前記符号化動画像信号から予測誤差信号を生成する予測誤差信号生成部と、
    空間的または時間的に前記動画像信号を予測することにより予測信号を生成する予測部と、
    前記予測信号および前記予測誤差信号に基づいて前記動画像信号を再構築することによって再構築動画像信号を生成する再構築部と、
    前記予測信号、前記予測誤差信号および前記再構築動画像信号のうちの少なくとも２つの信号のそれぞれに対して決定されたフィルタデータが符号化された符号化フィルタデータを取得する取得部と、
    前記フィルタデータ間の相互相関に基づいて、前記少なくとも２つの信号のそれぞれに対する前記符号化フィルタデータを復号することによってフィルタデータを生成するフィルタデータ復号部と、
    前記少なくとも２つの信号のそれぞれに対して、生成された前記フィルタデータを用いたフィルタリングを行うフィルタと
    を備える動画像復号装置。
JP2011507043A 2009-04-03 2010-04-02 動画像符号化方法、動画像復号方法、動画像符号化装置および動画像復号装置 Active JP5485983B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP09005012.1 2009-04-03
EP09005012A EP2237557A1 (en) 2009-04-03 2009-04-03 Coding for filter coefficients
EP09165804A EP2237558A1 (en) 2009-04-03 2009-07-17 Coding for filter coefficients
EP09165804.7 2009-07-17
PCT/JP2010/002431 WO2010113524A1 (ja) 2009-04-03 2010-04-02 動画像符号化方法、動画像復号方法、動画像符号化装置および動画像復号装置

Publications (2)

Publication Number Publication Date
JPWO2010113524A1 true JPWO2010113524A1 (ja) 2012-10-04
JP5485983B2 JP5485983B2 (ja) 2014-05-07

Family

ID=40937559

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011507043A Active JP5485983B2 (ja) 2009-04-03 2010-04-02 動画像符号化方法、動画像復号方法、動画像符号化装置および動画像復号装置

Country Status (11)

Country Link
US (1) US9232236B2 (ja)
EP (3) EP2237557A1 (ja)
JP (1) JP5485983B2 (ja)
KR (1) KR20120003863A (ja)
CN (1) CN102365868A (ja)
AU (1) AU2010230952A1 (ja)
CA (1) CA2756100A1 (ja)
MX (1) MX2011010116A (ja)
MY (1) MY156357A (ja)
TW (1) TW201119412A (ja)
WO (1) WO2010113524A1 (ja)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1944974A1 (en) * 2007-01-09 2008-07-16 Matsushita Electric Industrial Co., Ltd. Position dependent post-filter hints
KR101517768B1 (ko) 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9485299B2 (en) * 2009-03-09 2016-11-01 Arris Canada, Inc. Progressive download gateway
CA2711311C (en) 2009-08-10 2016-08-23 Seawell Networks Inc. Methods and systems for scalable video chunking
US20120281749A1 (en) * 2010-01-08 2012-11-08 Sharp Kabushiki Kaisha Encoder, decoder, and data configuration
US9020043B2 (en) 2010-05-10 2015-04-28 Google Inc. Pathway indexing in flexible partitioning
US11284081B2 (en) 2010-11-25 2022-03-22 Lg Electronics Inc. Method for signaling image information, and method for decoding image information using same
KR101505755B1 (ko) 2010-11-25 2015-03-24 엘지전자 주식회사 영상 정보의 시그널링 방법 및 이를 이용한 영상 정보의 복호화 방법
JP2014099672A (ja) * 2011-03-09 2014-05-29 Sharp Corp 復号装置、符号化装置、および、データ構造
WO2012134046A2 (ko) * 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
US8891627B1 (en) 2011-04-18 2014-11-18 Google Inc. System and method for coding video using color segmentation
KR20120118782A (ko) * 2011-04-19 2012-10-29 삼성전자주식회사 적응적 필터링을 이용한 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US9008180B2 (en) * 2011-04-21 2015-04-14 Intellectual Discovery Co., Ltd. Method and apparatus for encoding/decoding images using a prediction method adopting in-loop filtering
US9008170B2 (en) 2011-05-10 2015-04-14 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset
AU2012267007B2 (en) * 2011-06-10 2016-03-17 Mediatek Inc. Method and apparatus of scalable video coding
KR101672662B1 (ko) * 2011-06-20 2016-11-03 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램, 또한 화상 복호 장치, 화상 복호 방법 및 화상 복호 프로그램
MX2013013912A (es) * 2011-06-27 2013-12-16 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de decodificacion de imagenes y aparato de codificacion-decodificacio n de imagenes.
US9948938B2 (en) * 2011-07-21 2018-04-17 Texas Instruments Incorporated Methods and systems for chroma residual data prediction
US20130083844A1 (en) * 2011-09-30 2013-04-04 In Suk Chong Coefficient coding for sample adaptive offset and adaptive loop filter
US9807403B2 (en) 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
GB201119206D0 (en) * 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
SI3703371T1 (sl) * 2011-12-16 2021-11-30 Jvckenwood Corporation Naprava za kodiranje dinamičnih slik, postopek za kodiranje dinamičnih slik, program za kodiranje dinamičnih slik, naprava za dekodiranje dinamičnih slik, postopek za dekodiranje dinamičnih slik in program za dekodiranje dinamičnih slik
CN107592542B (zh) * 2011-12-28 2020-05-22 Jvc 建伍株式会社 动图像解码装置以及动图像解码方法
US9185405B2 (en) * 2012-03-23 2015-11-10 Qualcomm Incorporated Coded block flag inference in video coding
US9451258B2 (en) 2012-04-03 2016-09-20 Qualcomm Incorporated Chroma slice-level QP offset and deblocking
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
WO2013175736A1 (ja) 2012-05-25 2013-11-28 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置、および、動画像符号化復号装置
CA3217710A1 (en) 2012-05-25 2013-11-28 Sun Patent Trust Image encoding and decoding using context adaptive binary arithmetic coding with a bypass mode
KR102132917B1 (ko) 2012-05-25 2020-07-10 선 페이턴트 트러스트 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 및 동화상 부호화 복호 장치
BR112013032418B1 (pt) 2012-06-04 2023-04-11 Sun Patent Trust Método e aparelho de codificação de imagem em movimento, método e aparelho de decodificação de imagem em movimento, e aparelho de codificação e decodificação de imagem em movimento
US20130336386A1 (en) * 2012-06-18 2013-12-19 Qualcomm Incorporated Sample adaptive offset (sao) coding
TWI618404B (zh) * 2012-06-27 2018-03-11 Sony Corp Image processing device and method
US10333547B2 (en) 2012-08-13 2019-06-25 Gurologic Microsystems Oy Encoder and method for encoding input data using a plurality of different transformations or combinations of transformations
US9258389B2 (en) * 2012-08-13 2016-02-09 Gurulogic Microsystems Oy Encoder and method
US8675731B2 (en) * 2012-08-13 2014-03-18 Gurulogic Microsystems Oy Encoder and method
BR112015004140A8 (pt) 2012-09-26 2023-01-24 Velos Media Int Ltd Método de codificação de imagem, método de decodificação de imagem, aparelho de codificação de imagem, aparelho de decodificação de imagem e aparelho de codificação e decodificação de imagem
CN113259681B (zh) * 2013-04-08 2024-08-23 Ge视频压缩有限责任公司 分量间预测
US9609336B2 (en) * 2013-04-16 2017-03-28 Fastvdo Llc Adaptive coding, transmission and efficient display of multimedia (acted)
WO2015082298A1 (en) 2013-12-02 2015-06-11 Dolby International Ab Method for bitrate signaling and bitstream format enabling such method
WO2015085449A1 (en) 2013-12-13 2015-06-18 Qualcomm Incorporated Signaling of simplified depth coding (sdc) for depth intra-and inter – prediction modes in 3d video coding
JP6730191B2 (ja) * 2013-12-22 2020-07-29 エルジー エレクトロニクス インコーポレイティド 予測された信号と変換コーディングされた信号とを用いたビデオ信号の予測方法及び装置
US10298326B2 (en) 2014-02-14 2019-05-21 Signify Holding B.V. Coded light
US9589363B2 (en) * 2014-03-25 2017-03-07 Intel Corporation Object tracking in encoded video streams
US9392272B1 (en) 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning
US9578324B1 (en) 2014-06-27 2017-02-21 Google Inc. Video coding using statistical-based spatially differentiated partitioning
US10051279B2 (en) * 2014-07-01 2018-08-14 Samsung Display Co., Ltd. High quality display system combining compressed frame buffer and temporal compensation technique
US10505826B2 (en) * 2014-09-26 2019-12-10 Oracle International Corporation Statistical pattern correlation of events in cloud deployments using codebook approach
US10080028B2 (en) * 2014-11-26 2018-09-18 Samsung Display Co., Ltd. System and method of compensating for image compression errors
US10349064B2 (en) 2015-03-10 2019-07-09 Apple Inc. Adaptive chroma downsampling and color space conversion techniques
US20170244981A1 (en) 2016-02-24 2017-08-24 Mediatek Inc. Reconfigurable interpolation filter and associated interpolation filtering method
EP3454557A4 (en) 2016-05-02 2019-03-13 Sony Corporation IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
US10652583B2 (en) * 2016-08-19 2020-05-12 Apple Inc. Compression of image assets
CN106162108A (zh) * 2016-08-29 2016-11-23 合肥康胜达智能科技有限公司 一种视频监控系统
EP3570543A4 (en) 2017-01-12 2019-12-25 Sony Corporation IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
US20180343449A1 (en) * 2017-05-26 2018-11-29 Ati Technologies Ulc Application specific filters for high-quality video playback
US10687083B2 (en) * 2018-06-06 2020-06-16 Intel Corporation Loop restoration filtering for super resolution video coding
KR20210055698A (ko) * 2018-09-11 2021-05-17 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 3차원 데이터 부호화 방법, 3차원 데이터 복호 방법, 3차원 데이터 부호화 장치, 및 3차원 데이터 복호 장치
CN110365583B (zh) * 2019-07-17 2020-05-22 南京航空航天大学 一种基于桥接域迁移学习的符号预测方法及系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867602A (en) * 1994-09-21 1999-02-02 Ricoh Corporation Reversible wavelet transform and embedded codestream manipulation
JP4284265B2 (ja) * 2004-11-02 2009-06-24 株式会社東芝 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
JP2006211152A (ja) * 2005-01-26 2006-08-10 Hokkaido Univ 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化用プログラム、画像復号用プログラム
EP1886502A2 (en) * 2005-04-13 2008-02-13 Universität Hannover Method and apparatus for enhanced video coding
KR101353689B1 (ko) * 2006-03-27 2014-01-21 파나소닉 주식회사 화상 부호화 장치 및 화상 복호화 장치
EP1841230A1 (en) * 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding
EP2041981B1 (en) * 2006-07-18 2013-09-04 Thomson Licensing Methods and apparatus for adaptive reference filtering
EP2123051B1 (en) 2006-12-18 2010-11-10 Koninklijke Philips Electronics N.V. Image compression and decompression
EP2127391A2 (en) * 2007-01-09 2009-12-02 Nokia Corporation Adaptive interpolation filters for video coding
EP2003896A1 (en) * 2007-06-12 2008-12-17 Panasonic Corporation Statistical image enhancement
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
US20090154567A1 (en) * 2007-12-13 2009-06-18 Shaw-Min Lei In-loop fidelity enhancement for video compression
US8195001B2 (en) * 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
US8548041B2 (en) * 2008-09-25 2013-10-01 Mediatek Inc. Adaptive filter
US20110188571A1 (en) * 2010-02-04 2011-08-04 Sony Corporation Recursive adaptive interpolation filters (raif)
WO2011126759A1 (en) * 2010-04-09 2011-10-13 Sony Corporation Optimal separable adaptive loop filter

Also Published As

Publication number Publication date
JP5485983B2 (ja) 2014-05-07
US9232236B2 (en) 2016-01-05
EP2237557A1 (en) 2010-10-06
US20120027083A1 (en) 2012-02-02
MX2011010116A (es) 2011-10-11
EP2237558A1 (en) 2010-10-06
CA2756100A1 (en) 2010-10-07
EP2416575A1 (en) 2012-02-08
CN102365868A (zh) 2012-02-29
AU2010230952A1 (en) 2011-10-20
KR20120003863A (ko) 2012-01-11
MY156357A (en) 2016-02-15
TW201119412A (en) 2011-06-01
WO2010113524A1 (ja) 2010-10-07

Similar Documents

Publication Publication Date Title
JP5485983B2 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置および動画像復号装置
JP7246008B2 (ja) 復号装置および符号化装置
EP2442568A1 (en) Image encoding method, image decoding method, and devices therefor
KR101746251B1 (ko) 필터 위치 결정 및 선택
WO2010061607A1 (ja) 動画像復号方法、動画像符号化方法、動画像復号装置、動画像符号化方法、プログラム、及び集積回路
EP2393296A1 (en) Image coding method and image decoding method
WO2010026770A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、システム、プログラム、及び集積回路
WO2010050156A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、集積回路およびプログラム
JP5659160B2 (ja) 動画像復号装置、動画像符号化装置、動画像復号回路及び動画像復号方法
EP2533537A1 (en) Transmission of picture size for image or video coding
WO2010150486A1 (ja) 画像符号化方法及び画像符号化装置
KR101863397B1 (ko) 디블로킹을 위한 효율적인 결정
WO2011134642A1 (en) Predictive coding with block shapes derived from a prediction error
WO2011128023A1 (en) Complexity reduction for 1/8-pel interpolation
JP5546044B2 (ja) 画像復号装置、画像符号化装置、画像復号回路及び画像復号方法
EP2375745A1 (en) Efficient storing of picture representation using adaptive non-uniform quantizer
WO2011089865A1 (ja) 画像符号化方法、画像復号方法、それらの装置、プログラムおよび集積回路
WO2012013327A1 (en) Quantized prediction error signal for three-input-wiener-filter
WO2012167927A1 (en) Coding of control data for adaptive loop filters

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140220

R151 Written notification of patent or utility model registration

Ref document number: 5485983

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S131 Request for trust registration of transfer of right

Free format text: JAPANESE INTERMEDIATE CODE: R313133

SZ02 Written request for trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z02

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250