JP4722234B2 - 復号化システム - Google Patents

Description

本発明は、復号化システム、画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置、それをソフトウェアで実施するためのプログラムおよび当該プログラムが記録された記録媒体に関する。

近年、マルチメディアアプリケーションの発展に伴い、画像・音声・テキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。このとき、全てのメディアをディジタル化することにより統一的にメディアを扱うことが可能になる。しかしながら、ディジタル化された画像は膨大なデータ量を持つため、蓄積・伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ勧告（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、ＩＳＯ（国際標準化機構）のＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４などがある。

図２３は、従来の画像符号化装置１００の構成を示すブロック図である。なお、本発明では、１枚の画像を構成する単位をピクチャと呼ぶ。インタレース画像信号ではピクチャはフィールドもしくはフレームを意味し、プログレッシブ画像信号ではピクチャはフレームのことを意味する。

画像符号化装置１００は、差分器１０１、画像符号化部１０２、可変長符号化部１０３、画像復号化部１０４、加算器１０５、画素間フィルタ１０６、画像メモリ１０７、ピクチャ間予測部１０８およびピクチャ間予測推定部１０９を備える。差分器１０１は、正入力端子に入力される入力画像から、負入力端子に入力される予測画像を減算して、その差分画像を出力する。画像符号化部１０２は、入力される差分画像を符号化する。例えば、入力されるデータをＤＣＴ変換などを用いて周波数変換し、変換結果の周波数データを量子化することによって符号化する。可変長符号化部１０３は、符号化された差分画像とピクチャ間予測推定部１０９からの予測パラメータとを可変長符号化し、その結果得られた符号化データに、その符号化データに関連する情報を記述したヘッダなどの関連データを付加した上、出力符号化ビットストリームのフォーマットに整えて画像符号化装置１００の外部に出力する。画像復号化部１０４は、画像符号化部１０２によって符号化された差分画像に対し、画像符号化部１０２による符号化の逆処理を施すことによって符号化された差分画像を復号化し、復号化する。例えば、符号化された差分画像に対し、逆量子化処理を施した後、例えば逆ＤＣＴ変換などの逆周波数変換を施し、入力画像と予測画像との差分を復号化する。加算器１０５は、復号化された差分画像と予測画像とを加算し、入力画像を復号化する。画素間フィルタ１０６は、例えば、復号化された入力画像の高周波成分の符号化ノイズを抑圧するなどのフィルタリングを行う（例えば、特許文献１参照）。画像メモリ１０７は、加算器１０５において復号化された画像の少なくとも１ピクチャ分の画像データを参照画像として保持する。ピクチャ間予測部１０８は、ピクチャ間予測推定部１０９による予測結果に基づいて、画像メモリ１０７内の参照画像から予測画像を読み出す。ピクチャ間予測推定部１０９は、参照画像に対する入力画像の動きの変化量である予測パラメータPredParamを導出する。

より具体的には、画像符号化装置１００には、外部から画像データImgが入力される。画像データImgは差分器１０１の正入力端子に入力される。差分器１０１は、この画像データImgと、負入力端子に入力された予測画像データPredとの画素値の差分を求め、差分画像データResとして出力する。この予測画像データPredは以下のようにして得られる。

まず、既に符号化されたピクチャの画像であって、一旦符号化された後復号化され、１ピクチャ分の画像に復号化された参照画像データRefが画像メモリ１０７に格納される。次に、この参照画像データRefから、予測パラメータPredParamに基づいて、入力された画像データImgのブロックごとに、対応してブロックの画像を表すデータが切り出される。このブロックの画像をあらわすデータが予測画像データPredである。画像符号化装置１００は、符号化済みのピクチャの何枚かを予測用の参照画像データRefとして画像メモリ１０７に格納しており、ピクチャ間予測部１０８は画像メモリ１０７に格納された参照画像データRefから予測画像データPredを生成する。ピクチャ間予測推定部１０９は、入力画像データImgと参照画像データRefから予測に使用する予測パラメータデータPredParam（例えば、ＭＰＥＧの画像符号化方式で使用される動きベクトル情報など）を求める。なお、画面内符号化の場合には予測画像の画素値は“０”とする。

画像符号化部１０２は、差分画像データResを符号化し、差分画像符号化データCodedResとして出力する。画像復号化部１０４は、符号化された差分画像符号化データCodedResから元の画像を復号化して、ピクチャ間予測の参照画像として使用するために、差分画像符号化データCodedResを復号化し、復号化差分画像データReconResとして出力する。この復号化差分画像データReconResが示す画素値と、予測画像データPredが示す画素値とが加算器１０５において加算され、復号化画像データReconとして出力される。画素間フィルタ１０６は、復号化画像データReconをフィルタ演算処理し、フィルタ済復号化画像データFilteredImgとして画像メモリ１０７に格納する。

画素間フィルタ１０６には、復号化画像データReconの符号化ノイズを低減し、その画像を参照画像として使用した場合に予測効率を向上させる効果がある。画素間フィルタ１０６の例としては、ＩＴＵ−Ｔ勧告のＨ．２６１のループ・フィルタがある。画素間フィルタ１０６により画素間フィルタ演算が行われたフィルタ済復号化画像データFilteredImgは、画像メモリ１０７に格納され、以降のピクチャを符号化する際に参照画像として使用される。可変長符号化部１０３は、差分画像符号化データCodedResと予測パラメータデータPredParamとを可変長符号化して、１つの符号化データBitstreamにまとめて画像符号化装置１００の外部へ出力する。

図２４は、従来の画像復号化装置２００の構成を示すブロック図である。画像復号化装置２００は、可変長復号化部２０１、画像復号化部２０２、加算器２０３、画素間フィルタ２０４、画像メモリ２０５およびピクチャ間予測部２０６を備える。画像復号化装置２００には、外部から符号化データBitstreamが入力される。可変長復号化部２０１は、入力された符号化データBitstreamを可変長復号化し、差分画像符号化データCodedResと予測パラメータデータPredParamに分離する。画像復号化部２０２は、差分画像符号化データCodedResを復号化し、復号化差分画像データReconResとして出力する。なお、復号化差分画像データReconResとして出力されるピクチャに参照された、すなわち、画像符号化装置１００において参照画像データRefに相当するピクチャは、既に復号化され画像メモリ１０７に格納されている。そこで、ピクチャ間予測部２０６は、予測パラメータデータPredParamに基づいて参照画像データRefから、予測画像データPredを生成する。加算器２０３は予測画像データPredと復号化差分画像データReconResとを加算し、復号化画像データReconとして出力する。画素間フィルタ２０４は、復号化画像データReconに画素間フィルタ演算を施し、フィルタ済復号化画像データFilteredImgとして画像復号化装置２００の外部に出力する。画像復号化装置２００の外部とは、例えば、テレビなどの表示装置である。また、フィルタ済復号化画像データFilteredImgは、画像メモリ２０５に格納され、以降のピクチャの参照画像データRefとして参照される。

特開平８−６５６６７号公報

しかしながら、例えば、携帯電話機などを用いて動画像を伝送する場合などを考慮すると、携帯機器では１回の充電で長時間使用できるように機器全体での消費電力を抑えることが望まれるため、画像処理のために大きな電力が必要な高性能な処理能力を備えることは好ましくない。従って、画像処理のために処理能力が低い演算器しか使用できない携帯機器を対象とすると、要求される処理量が小さい画素間フィルタしか使用できない場合がある。一方、高画質な動画像の伝送および高い符号化効率に対する要求が強いアプリケーションでは、演算器に要求される処理量が大きいが、性能が高い画素間フィルタを使用したい場合もある。符号化方式がこれらの要求に柔軟に対応できれば、当該符号化方式、当該復号化方式に従う画像符号化装置および画像復号化装置などの運用範囲が広がり有益である。

本発明は、このような従来の問題点に鑑みてなされたものであって、多様な状況に応じて画素間フィルタを選択的に使用し符号化データを生成する画像符号化方法、およびその画像符号化データを提供することを目的とする。

本発明の一形態に係る復号化システムは、入力画像を符号化した符号化ピクチャと、他の情報とを含む符号化データと、音声信号を符号化した音声データとが多重化された多重化データが記録された記録媒体と、前記記録媒体から前記多重化データを復号化する復号化装置とから構成される復号化システムであって、前記記録媒体に記録された前記多重化データに含まれる前記符号化データと、前記音声データは、符号化装置により符号化されており、前記符号化装置は、前記入力画像を符号化して符号化ピクチャを生成する符号化手段と、前記符号化ピクチャを復号化して復号化画像を生成する第１の復号化手段と、前記第１の復号化手段で得られた復号化画像が参照画像として使用される場合は画素間フィルタを用いて前記復号化画像をフィルタリングして出力し、前記第１の復号化手段で得られた復号化画像が参照画像として使用されない場合は前記復号化画像をフィルタリングしないで出力する第１のフィルタリング制御手段と、前記第１のフィルタリング制御手段でフィルタリングされた復号化画像を参照画像として記憶する第１の記憶手段と、前記第１のフィルタリング制御手段で用いた画素間フィルタに関する情報であるフィルタ情報を含む符号化データを生成して出力する可変長符号化手段と、音声信号を符号化し音声データを生成して出力する音声符号化手段とを備え、前記復号化装置は、前記符号化データを復号化して復号化画像を生成する第２の復号化手段と、前記第２の復号化手段で得られた復号化画像を、画素間フィルタを切り替えてフィルタリングする第２のフィルタリング制御手段と、前記第２のフィルタリング制御手段でフィルタリングされた復号化画像を参照画像として記憶する第２の記憶手段と、前記音声データを復号化して音声信号を生成する音声復号化手段とを備え、前記第２のフィルタリング制御手段は、前記第２の復号化手段で得られた復号化画像が参照画像として使用されない場合には前記フィルタリングを行わず、前記第２の復号化手段で得られた復号化画像が参照画像として使用される場合に前記フィルタリングを行うことを特徴とする。

本発明に係る画像復号化装置は、符号化画像を分割したブロック画像を復号化する画像復号化装置であって、前記符号化画像を復号化して復号化画像を復元する復号化手段と、前記復号化画像を、画素間フィルタを切り替えてフィルタリングするフィルタリング手段と、前記フィルタリング手段で得られたフィルタ済みの復号化画像を、後続の符号化画像を復号化するための参照画像として記憶する記憶手段とを有し、前記フィルタリング手段は、前記復号化画像が参照画像として使用されない場合はフィルタリングを行わず、前記復号化画像が参照画像として使用される場合であって、前記復号化画像内の隣接する２つのブロック境界の画素値の差分が所定の閾値未満である場合はフィルタリングを行い、前記復号化画像が参照画像として使用される場合であって、前記差分が前記閾値以上である場合はフィルタリングを行わない。

本発明に係る画像符号化方法は、画像データを符号化する画像符号化方法であって、入力画像を符号化して符号化データを生成する符号化ステップと、前記符号化データを復号化して、参照画像に基づいて生成される予測画像を用いて、あるいは前記予測画像を用いないで、復号化画像を復元する復号化ステップと、前記復号化ステップにおいて予測画像を用いて復号化画像を復元するかあるいは予測画像を用いないで復号化画像を復元するかを示す情報に基づいて、前記復元された復号化画像を画素間フィルタリングしてフィルタ画像を生成するフィルタステップと、前記フィルタステップにおいて生成されたフィルタ画像が参照画像の場合、前記フィルタ画像を後続の符号化データを復号化するための参照画像として記憶する記憶ステップとを備えることを特徴とする。

また、本発明に係る画像符号化データは、画像データを符号化して生成された画像符号化データであって、予測画像を用いて復号化画像を復元するかあるいは予測画像を用いないで復号化画像を復元するかを示す情報を含み、復号化装置において、参照画像に基づいて生成される予測画像を用いて、あるいは前記予測画像を用いないで、復号化画像として復元され、前記復号化画像は、前記予測画像を用いて復号化画像を復元するかあるいは予測画像を用いないで復号化画像を復元するかを示す情報に基づいて、前記復元された復号化画像を画素間フィルタリングされ、前記フィルタリングされた画像は、前記画像符号化データにおける後続の画像符号化データを復号化するための参照画像として記憶されることを特徴とする。

さらに、本発明に係る画像符号化装置（及び画像復号化装置）は、繰り返し入力されるフレーム画像を符号化する画像符号化装置等であって、フレーム画像に所定の変換処理を施すことによって符号化を行う符号化手段と、前記符号化手段によって符号化されたフレーム画像に前記変換処理の逆の変換処理を施す逆変換手段と、フレーム画像にフィルタ処理を施すフィルタ手段と、フレーム画像を記憶するための記憶手段と、前記逆変換手段による逆変換処理で得られたフレーム画像に対して、前記フィルタ手段によるフィルタ処理を施した後に当該フレーム画像を前記記憶手段に格納するか、又は、前記フィルタ手段によるフィルタ処理を施さずに当該フレーム画像を前記記憶手段に格納するように制御する制御手段とを備え、前記符号化手段は、前記記憶手段に格納された過去のフレーム画像を参照しながら前記フレーム画像を符号化することを特徴とする。

ここで、前記制御手段は、前記フレーム画像の重要度が高い場合に、当該フレーム画像に対して前記フィルタ処理を施し、前記フレーム画像の重要度が低い場合に、当該フレーム画像に対して前記フィルタ処理を施さないように制御してもよい。例えば、前記制御手段は、前記フレーム画像が前記符号化手段によって面内符号化が行われたものである場合に、当該フレームの重要度が高いと判断し、当該フレーム画像に対して前記フィルタ処理を施し、前記フレーム画像が前記符号化手段によって面間符号化が行われたものである場合に、当該フレームの重要度が低いと判断し、当該フレーム画像に対して前記フィルタ処理を施さないように制御したり、前記フレーム画像が前記符号化手段によって前方向予測符号化が行われたものである場合に、当該フレームの重要度が高いと判断し、当該フレーム画像に対して前記フィルタ処理を施し、前記フレーム画像が前記符号化手段によって双方向予測符号化が行われたものである場合に、当該フレームの重要度が低いと判断し、当該フレーム画像に対して前記フィルタ処理を施さないように制御したり、前記フレーム画像が前記符号化手段によってベース・レイヤ符号化が行われたものである場合に、当該フレームの重要度が高いと判断し、当該フレーム画像に対して前記フィルタ処理を施し、前記フレーム画像が前記符号化手段によってエンハンスメント・レイヤ符号化が行われたものである場合に、当該フレームの重要度が低いと判断し、当該フレーム画像に対して前記フィルタ処理を施さないように制御してもよい。

また、前記制御手段は、当該画像符号化装置（画像復号化装置）の処理能力についての余裕を監視し、余裕がある場合には、より重要度の低いフレーム画像までフィルタ処理を施し、余裕がない場合には、より重要度の高いフレーム画像までフィルタ処理を施さないように制御してもよい。例えば、前記フレーム画像には、前記重要度に対応する優先順位が対応付けられ、前記制御手段は、当該画像符号化装置が備えるＣＰＵの稼働率を監視することによって前記余裕を監視し、前記稼働率が高い場合には、優先度の高いフレーム画像だけフィルタ処理を施し、前記稼働率が低い場合には、優先度の低いフレーム画像までフィルタ処理を施すように制御してもよい。

本発明に係る画像符号化装置は、入力画像を表す入力画像データと、前記入力画像のピクチャに対する予測画像を表す予測画像データとの差分である差分画像データを符号化して符号化画像データを生成する画像符号化装置であって、前記差分画像データを符号化した後、前記符号化した差分画像データを復号化して前記予測画像データと加算する復号化手段と、前記復号化手段で得られた復号化画像データに対して画素間フィルタ演算を施す複数の画素間フィルタと、前記画素間フィルタのうちから、１つを選択する選択手段と、選択された前記画素間フィルタで得られたフィルタ済み復号化画像データを参照画像データとして用いて、入力画像データに対する予測画像データを生成する予測画像生成手段とを備えることを特徴とする。

したがって、本発明に係る画像符号化装置は、画像符号化装置側での処理能力や、符号化信号を受信する画像復号化装置側での処理能力、もしくは符号化対象の画像の性質や圧縮率等に応じて適切な画素間フィルタを切り替えて符号化信号を作成することができるという効果がある。

また、本発明に係る画像復号化装置は、動画像中のピクチャを表す画像データと動画中の他のピクチャを表す予測画像データとの差分を符号化して得られた符号化画像データから、元の動画像を表す複数の画像データを復号化する画像復号化装置であって、前記符号化画像データの復号化結果と、当該符号化画像データに対応する、すでに復号化された予測画像データとを加算して、元のピクチャを表す画像データを復号化する復号手段と、復号化された前記画像データに対して画素間フィルタ演算を施す複数の画素間フィルタのうちから１つを選択する選択手段と、選択された前記画素間フィルタによる前記演算が施された画像データから、別の符号化画像データに対応する予測画像データを生成する予測画像生成手段とを備えることを特徴とする。

従って、本発明に係る画像復号化装置では、画像復号化装置の処理能力や画像の参照の有無に応じて画素間フィルタを選択し、予測画像を生成することができるという効果がある。また、画像符号化装置で画素間フィルタを切り替えた場合は、画像復号化装置でも対応する画素間フィルタを用いて正しく復号化できる。

さらに、本発明に係る画像符号化装置（及び画像復号化装置）は、繰り返し入力されるフレーム画像を符号化する画像符号化装置等であって、フレーム画像に所定の変換処理を施すことによって符号化を行う符号化手段と、前記符号化手段によって符号化されたフレーム画像に前記変換処理の逆の変換処理を施す逆変換手段と、フレーム画像にフィルタ処理を施すフィルタ手段と、フレーム画像を記憶するための記憶手段と、前記逆変換手段による逆変換処理で得られたフレーム画像に対して、前記フィルタ手段によるフィルタ処理を施した後に当該フレーム画像を前記記憶手段に格納するか、又は、前記フィルタ手段によるフィルタ処理を施さずに当該フレーム画像を前記記憶手段に格納するように制御する制御手段とを備え、前記符号化手段は、前記記憶手段に格納された過去のフレーム画像を参照しながら前記フレーム画像を符号化することを特徴とする。

これによって、画像符号化（及び画像復号化）において、常に、ノイズ除去等の画素間フィルタをかけるのではなく、必要に応じて、選択的に画素間フィルタをかけることができるので、例えば、画質に大きく影響するフレーム画像だけに対して画素間フィルタをかけることで、処理能力が小さい画像符号化装置（画像復号化装置）であっても画素間フィルタを採用することが可能となり、低ビットレートで高い画質改善効果が得られる。

ここで、前記制御手段は、前記フレーム画像の重要度が高い場合に、当該フレーム画像に対して前記フィルタ処理を施し、前記フレーム画像の重要度が低い場合に、当該フレーム画像に対して前記フィルタ処理を施さないように制御してもよい。例えば、前記制御手段は、前記フレーム画像が前記符号化手段によって面内符号化が行われたものである場合に、当該フレームの重要度が高いと判断し、当該フレーム画像に対して前記フィルタ処理を施し、前記フレーム画像が前記符号化手段によって面間符号化が行われたものである場合に、当該フレームの重要度が低いと判断し、当該フレーム画像に対して前記フィルタ処理を施さないように制御したり、前記フレーム画像が前記符号化手段によって前方向予測符号化が行われたものである場合に、当該フレームの重要度が高いと判断し、当該フレーム画像に対して前記フィルタ処理を施し、前記フレーム画像が前記符号化手段によって双方向予測符号化が行われたものである場合に、当該フレームの重要度が低いと判断し、当該フレーム画像に対して前記フィルタ処理を施さないように制御したり、前記フレーム画像が前記符号化手段によってベース・レイヤ符号化が行われたものである場合に、当該フレームの重要度が高いと判断し、当該フレーム画像に対して前記フィルタ処理を施し、前記フレーム画像が前記符号化手段によってエンハンスメント・レイヤ符号化が行われたものである場合に、当該フレームの重要度が低いと判断し、当該フレーム画像に対して前記フィルタ処理を施さないように制御してもよい。

これによって、他のフレーム画像に対して大きい影響度を持つフレーム画像、つまり、面内符号化フレーム画像、前方向予測符号化フレーム画像、ベース・レイヤフレーム画像等について優先的に画素間フィルタが施されるので、同じ処理負荷の増大に対して、より有効に画素間フィルタによるノイズ除去等の画質改善効果を得ることができる。

また、前記制御手段は、当該画像符号化装置（画像復号化装置）の処理能力についての余裕を監視し、余裕がある場合には、より重要度の低いフレーム画像までフィルタ処理を施し、余裕がない場合には、より重要度の高いフレーム画像までフィルタ処理を施さないように制御してもよい。例えば、前記フレーム画像には、前記重要度に対応する優先順位が対応付けられ、前記制御手段は、当該画像符号化装置が備えるＣＰＵの稼働率を監視することによって前記余裕を監視し、前記稼働率が高い場合には、優先度の高いフレーム画像だけフィルタ処理を施し、前記稼働率が低い場合には、優先度の低いフレーム画像までフィルタ処理を施すように制御してもよい。

これによって、画像符号化装置（画像復号化装置）の処理能力がフルに発揮されるように、フィルタ処理のＯＮ／ＯＦＦを制御することができるので、高い効率でＣＰＵが使用されることとなり、同じハードウェア資源であっても、高画質の符号化（復号化）が実現される。

以上のように、本発明により、低ビットレート（高圧縮率）で高画質の画像符号化及び画像復号化が実現され、特に、限られたハードウェア資源下でのソフトウェアによる画像符号化処理及び画像復号化処理における高い画質改善効果が発揮され、情報通信技術とコンピュータが広く普及した今日における実用的価値は極めて高いと言える。

本発明の第１の実施の形態に係る画像符号化装置の構成を示すブロック図である。 入力画像のスライスごとに画素間フィルタを切り替える画像符号化装置の構成を示すブロック図である。 （ａ）は、本発明の画像符号化装置が出力する符号化データBitstreamのストリーム構成を示す図である。（ｂ）は、本発明の画像符号化装置が画素間フィルタをスライスを単位として切り替えた場合に出力される符号化データBitstreamのストリーム構成を示す図である。 本実施の形態１に係る画像符号化装置によって生成された符号化データBitstream1を復号化する画像復号化装置の構成を示すブロック図である。 指定された画素間フィルタが内部に備えられていない場合には、備えられている画素間フィルタを代用する画像復号化装置の構成を示すブロック図である。 本発明の第２の実施の形態に係る画像符号化装置の構成を示すブロック図である。 図６に示した画素間フィルタの一例であるデブロック・フィルタの演算内容を示す図である。（ａ）は、フィルタリング前におけるブロック境界付近の画素値を示す図である。（ｂ）は、フィルタリング後におけるブロック境界付近の画素値を示す図である。 画素間フィルタのフィルタリング処理の流れを示すフローチャートである。 画素間フィルタ処理を行うか行わないかを選択できる画像復号化装置の構成を示すブロック図である。 さらに出力段に選択可能な画素間フィルタを備えた画像復号化装置の構成を示すブロック図である。 各フレームのピクチャタイプに応じて画素間フィルタを選択することができる画像復号化装置の構成を示すブロック図である。 本発明の実施の形態３に係る画像符号化装置の機能構成を示すブロック図である。 図１２に示される優先順位決定部の詳細な機能構成を示すブロック図である。 図１２に示されるフィルタ処理制御部の詳細な機能構成を示すブロック図である。 図１２に示される画像メモリに格納されているフレーム画像の参照関係を示す図である。 図１４に示されるスイッチ切換処理部が実行するスイッチ駆動処理を示すフローチャートである。 本発明の実施の形態４に係る画像復号化装置の機能構成を示すブロック図である。 上記実施の形態１から実施の形態３の画像符号化方法または画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示す図である。（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す図である。 コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。 携帯電話の外観の一例を示す図である。 携帯電話の構成を示すブロック図である。 上記実施の形態で示した符号化処理または復号化処理を行う機器、およびこの機器を用いたシステムを説明する図である。 従来の画像符号化装置の構成を示すブロック図である。 従来の画像復号化装置の構成を示すブロック図である。

（実施の形態１）
以下、本発明の具体的な実施の形態について、図面を参照しながら説明する。図１は、本発明の実施の形態１に係る画像符号化装置３００の構成を示すブロック図である。同図において、図２３に示した従来の画像符号化装置１００と同様の構成要素およびデータについてはすでに説明しているので、同一の符号を付し、説明を省略する。以降の図においても同様に、すでに説明した既出の構成要素およびデータについては、同一の符号を付し、説明を省略する。画像符号化装置３００は、差分器１０１、画像符号化部１０２、可変長符号化部３０５、画像復号化部１０４、加算器１０５、画像メモリ１０７、ピクチャ間予測部１０８、ピクチャ間予測推定部１０９、スイッチ３０１、スイッチ３０２、画素間フィルタＡ３０３および画素間フィルタＢ３０４を備える。スイッチ３０１とスイッチ３０２とは、それぞれ、フィルタ種別データFilterType1の値に応じて、端子１と端子２とのいずれかを選択的に接続するスイッチである。スイッチ３０１は、加算器１０５の出力端子と、画素間フィルタＡ３０３および画素間フィルタＢ３０４の入力端子との間に設けられる。また、スイッチ３０２は、画像メモリ１０７の入力端子と、画素間フィルタＡ３０３および画素間フィルタＢ３０４の出力端子との間に設けられている。画素間フィルタＡ３０３と画素間フィルタＢ３０４とは、例えば、ブロック間の境界付近における高周波ノイズを平滑化し、ブロックひずみを除去するデブロック・フィルタで、それぞれ平滑化の度合いが異なる。また、平滑化の度合いに対応して、平滑化のための演算処理量が異なる。なお、スイッチ３０１やスイッチ３０２等、図示する構成はハードウェアとして実装しても、ソフトウェアとして実装してもどちらでもよい。また、他の図面でも同様である。

可変長符号化部３０５は、入力されるフィルタ種別データFilterType1と差分画像符号化データCodedResと予測パラメータデータPredParamとを、それぞれ可変長符号化、例えば、ハフマン符号化して、１つの符号化データBitstream1にまとめて画像符号化装置３００の外部へ出力する。

以上のように構成される画像符号化装置３００の動作を、従来の画像符号化装置１００と比較して新たに構成された部分についてより具体的に説明する。まず、画像符号化装置３００には、外部からフィルタ種別データFilterType1が入力される。ここで、外部からの入力とは、例えば、画像符号化装置の外部からのユーザによるキーボード等のユーザインターフェースを用いた入力であったり、あるいは、装置で固定のデータであって、装置でビットレート（圧縮率）や画像サイズに応じて決定される値である。このフィルタ種別データFilterType1は、スイッチ３０１とスイッチ３０２とに入力される。当該スイッチ３０１とスイッチ３０２とは、このフィルタ種別データFilterType1の値に応じて端子“１”と端子“２”とのいずれかに接続を切り替える。例えば、フィルタ種別データFilterType1の値が“１”の場合には、スイッチ３０１とスイッチ３０２とはいずれも端子“１”を接続する。このとき加算器１０５から出力される復号化画像データReconに対しては、画素間フィルタＡ３０３によるフィルタリングが適用される。フィルタ種別データFilterType1の値が“２”の場合には、スイッチ３０１とスイッチ３０２とは端子“２”側に切り替わり、加算器１０５から出力される復号化画像データReconに対して、画素間フィルタＢ３０４によるフィルタリングが適用される。このように画素間フィルタＡ３０３または画素間フィルタＢ３０４のフィルタリングが施されたフィルタ済復号化画像データFilteredImg1は画像メモリ１０７に格納され、以降のピクチャの予測符号化における参照画像として使用される。また、画素間フィルタを特定するフィルタ種別データFilterType1は、同一ピクチャの差分画像符号化データCodedResおよび予測パラメータデータPredParamとともに可変長符号化部３０５に入力され、それぞれ可変長符号化される。フィルタ種別データFilterType1の可変長符号化結果は、当該差分画像符号化データCodedResと予測パラメータデータPredParamとの可変長符号化結果に対応付けて、符号化データBitstream1に格納され、記録媒体に記録されたり、画像復号化装置に伝送されたりする。すなわち、各ピクチャの復号化画像データReconに対して適用された画素間フィルタの種別が、符号化データBitstream1に格納されたフィルタ種別データFilterType1によって画像復号化装置に通知される。これにより、符号化データBitstream1を復号化する画像復号化装置では、画像符号化装置３００において各ピクチャの復号化画像データReconに適用された画素間フィルタを特定することができるので、各ピクチャの復号化画像に対してそれと同一のフィルタを使用することができる。なお、上記説明においてフィルタ種別データFilterType1の値を“１”、“２”としたが、これは説明の便宜上定義した値であって、複数のフィルタを区別できる値であればどのような値でもよい。

以上のように画像符号化装置３００では、画素間フィルタとして異なる予測性能・処理量の画素間フィルタを複数個備え、それらを外部から入力されるフィルタ種別データFilterType1に応じて切り替えて使用することができる。このように異なる予測性能・処理量の画素間フィルタを切り替えて使用することには次の利点がある。まず、説明のため、画素間フィルタＡ３０３は画素間フィルタＢ３０４に比べて処理量は少なく、一方、画素間フィルタＢ３０４は画素間フィルタＡ３０３に比べてノイズ抑圧効果が高く予測符号化効率が向上するとする。本発明の画像符号化装置３００が出力する符号化データを復号化する画像復号化装置として、画素間フィルタＡ３０３のみを備えた画像復号化装置Ａと、画素間フィルタＡ３０３および画素間フィルタＢ３０４の双方を備えた画像復号化装置Ｂとの２種類の画像復号化装置を考える。前者の画像復号化装置Ａは要求される処理量が小さく、処理能力が低い機器に適している。後者の画像復号化装置Ｂは処理量が大きい機器に適している。後者の画像復号化装置Ｂは、画素間フィルタＡ３０３と画素間フィルタＢ３０４とのいずれの画素間フィルタを使用した符号化データも復号化可能であり、前者の画像復号化装置Ａに対して上位互換性を持つ。このような場合に、画像符号化装置３００は、上記２種類のいずれの画像復号化装置にも対応する画像符号化装置として機能することができる。つまり、上記の説明のように画像符号化装置３００において、対象とする画像復号化装置の処理能力に応じて適切な予測性能・処理量の画素間フィルタを選択できるようにしておくことにより、幅広い種類の機器に対して、画像符号化装置３００において適用されたものと同じ画素間フィルタを使用した符号化方式を適用する（符号化データBitstream1を復号化させる）ことができる。

また、画像復号化装置の処理能力に応じた符号化データの生成という用途以外にも、画像符号化装置３００の処理能力に応じて画素間フィルタを切り替えることができる。例えば、符号化する画像サイズやピクチャレートが大きい場合には、符号化処理全体に要する処理量が大きくなる。従って、符号化する画像サイズやピクチャレートが一定値以下の場合には要求される処理能力が高い画素間フィルタＢ３０４を使用し、符号化する画像サイズやピクチャレートが一定値以上の場合には、要求される処理能力が低い画素間フィルタＡ３０３を使用して、符号化処理全体に要する処理量が高くならないようにすることができる。また、複数の処理を１台の装置で時分割して実行するタイムシェアリングシステム上で画像符号化を実現する場合には、他の処理の影響で画像符号化に費やせる処理量が動的に変化する可能性がある。そこで、画像符号化に費やせる処理量が一定以上の場合には処理量が高い画素間フィルタＢ３０４を使用し、画像符号化に費やせる処理量が一定以下の場合には処理量が画素間フィルタＢ３０４より少ない画素間フィルタＡ３０３を使用することができる。

画素間フィルタの切り替えのタイミングは、特定の性質の画像に適した画素間フィルタを複数備えて、各画像の性質に応じてピクチャ単位に画素間フィルタを切り替えるようにしてもよい。例えば、文字などエッジ情報が重要な場合にはエッジの保存性に優れた画素間フィルタを使用する。この切り替えは、エッジ検出や文字検出等の画像処理技術によって自動的に判断して行うことや、ユーザが明示的に自然画像に適した画素間フィルタ、文字に適した画素間フィルタ、エッジに適した画素間フィルタから選択してもよい。このように複数の画素間フィルタの切り替えが可能になれば、画像の性質に適切なフィルタを選択できるため、予測効率をより向上することができる。すなわち、処理量に応じて切り替えるのではなく、画質を向上するようにフィルタを切り替えることも有効である。従って、本実施の形態では処理量に応じて切り替える説明を行ったが、画質がよくなるようにフィルタを切り替えてもよい。

また、画素間フィルタを切り替える単位は、ピクチャ単位とは限らず、画像内の部分によっても画像の性質が異なる可能性があるため、例えば、ＭＰＥＧのスライス、マクロブロックおよびブロックなどのピクチャより小さい画像領域を単位としてもよく、少なくとも１画素以上が集合した領域を単位として画素間フィルタを切り替えるようにしてもよい。

図２は、入力画像のスライスごとに画素間フィルタを切り替える画像符号化装置４００の構成を示すブロック図である。画像符号化装置４００は、ＭＰＥＧのスライス単位で画素間フィルタを切り替えて復号化画像のフィルタリングを行う画像符号化装置であって、差分器１０１、画像符号化部１０２、画像復号化部１０４、加算器１０５、画像メモリ１０７、ピクチャ間予測部１０８、ピクチャ間予測推定部１０９、スイッチ４０３、スイッチ４０４、画素間フィルタＡ３０３、画素間フィルタＢ３０４、可変長符号化部３０５、フィルタ切り替え位置判定部４０１およびスイッチ４０２を備える。フィルタ切り替え位置判定部４０１は、外部から入力される画像データImgから入力画像のスライスを検出し、検出されたスライスが切り替わるごとに、例えば、１個のパルスを出力するようなフィルタ切り替え制御データSetFTypeをスイッチ４０２に出力する。スイッチ４０２は、フィルタ切り替え制御データSetFTypeが出力されていない間は端子間の接続が遮断されているスイッチであって、フィルタ切り替え制御データSetFTypeが出力されている瞬間、ごくわずかの時間だけ、外部から入力されるフィルタ種別データFilterType1をスイッチ４０３とスイッチ４０４とに導通する。スイッチ４０３とスイッチ４０４とは、いずれも入力画像データImgのスライスが切り替わるごとに瞬間的に入力されるフィルタ種別データFilterType1の値に応じて、端子“１”または端子“２”のいずれかを接続し、その状態を保持する。すなわち、スイッチ４０２の接続が遮断されている間には、画素間フィルタは切り替わらない。その結果、入力画像データImgのスライスの切り替わりごとに、フィルタ種別データFilterType1によって新たな画素間フィルタが選択され、スライスの途中で画素間フィルタが切り替えられることを防止することができる。

以上説明したように、本発明の画像符号化装置により、本発明の画像符号化装置が出力する符号化データを再生する画像復号化装置の処理能力に応じた画素間フィルタを用いた符号化データを作成することが可能になる。また、画像符号化装置の処理能力に応じて画素間フィルタを選択することができる。

なお、本実施の形態の画像符号化装置の備える画素間フィルタは２つであるが、３つ以上の画素間フィルタを備えてもよい。本実施の形態と同様に、３つ以上の画素間フィルタのいずれかを選択して使用し、使用した画素間フィルタの種別を示すフィルタ種別データを符号化データに含めればよい。また、処理量に応じて切り替えるのではなく、画質を向上するようにフィルタを切り替えてもよい。

なお、画像符号化装置４００では、フィルタ切り替え制御データSetFTypeを、検出されるスライスの切り替わりごとに値“１”を示し、それ以外の間は値“０”を示すパルス波形としたが、本発明はこれに限定されず、例えば、スライスの切り替わりごとに反転する矩形波などであってもよいし、その他の波形であってもよい。また、スイッチ４０２をフィルタ切り替え制御データSetFTypeが同位相の間は端子間の接続が遮断されているスイッチとしたが、本発明はこれに限定されず、フィルタ切り替え位置でない場合には、フィルタ切り替え位置判定部４０１は、スイッチ４０２を遮断するための値を示すフィルタ切り替え制御データSetFTypeを出力するとしてもよい。また、画像符号化装置４００では、画像データImgのスライス単位で画素間フィルタを切り替えるとしたが、ピクチャ単位に画素間フィルタを切り替えるとしてもよく、また、ブロック、マクロブロックまたは一定複数画素ずつを単位に画素間フィルタを切り替えるとしてもよい。

図３（ａ）は、本発明の画像符号化装置が出力する符号化データBitstreamのストリーム構成を示す図である。図３（ｂ）は、本発明の画像符号化装置が画素間フィルタをスライスを単位として切り替えた場合に出力される符号化データBitstreamのストリーム構成を示す図である。本発明の符号化データの特徴は、複数の画素間フィルタの１つを特定するフィルタ種別データFilterTypeを符号化データBitstreamに含むことである。このストリーム構成により、本発明の符号化データBitstreamを復号化する画像復号化装置では、符号化データBitstreamに含まれているフィルタ種別データFilterTypeを調べることにより、符号化の際に使用された画素間フィルタと同一の画素間フィルタを使用することができる。

図３（ａ）に示した符号化データBitstreamでは、符号化データBitstream全体に付されるヘッダ９０１の中（例えば、斜線部）に、各ピクチャのフィルタリングに用いられた画素間フィルタを示すフィルタ種別データFilterTypeの値が記述されている。この符号化データBitstreamは、図１に示した画像符号化装置３００から出力される符号化データBitstream1に対応している。また、図３（ｂ）に示した符号化データBitstreamでは、スライスごとに設けられるスライスヘッダ９０２の中（例えば、斜線部）に、当該スライスのフィルタリングに用いられた画素間フィルタを示すフィルタ種別データFilterTypeの値が記述される。この符号化データBitstreamは、図２に示した画像符号化装置４００から出力される符号化データBitstream1に対応している。このように、フィルタ種別データFilterTypeを符号化データBitstreamの先頭部分であるヘッダ９０１や、データの記録・伝送の基本単位であり誤り訂正・修整の単位でもあるスライスの先頭となるスライスヘッダ９０２などに格納することによって、画像復号化装置では、ヘッダ９０１もしくはスライスから符号化データBitstreamを入力することにより、当該スライスの復号化前にそのスライスのフィルタリング種別を特定することができる。

なお、ここではスライス単位で画素間フィルタを切り替えると説明したが、スライス単位だけでなく、スライスより小さい画像領域単位（１画素以上が集合した領域であればよい、例えば、ＭＰＥＧのマクロブロック・ブロックなど）で画素間フィルタを切り替えてもよい。また、スライスより大きい画像領域の単位であるピクチャで切り替えてもよい。この場合、図３（ａ）に示したヘッダ９０１の中（例えば、斜線部）に記述する以外に、例えば、ピクチャ符号化データごとに設けられるピクチャヘッダの中に、各ピクチャに対応するフィルタ種別データFilterType1の値を記述してもよい。また、マクロブロックまたはブロックをフィルタリング方法の切り替え単位とする場合には、各マクロブロックまたは各ブロックのフィルタ種別データFilterType1の値をスライスごとにまとめて、スライスヘッダに記述しておけばよい。

更に、パケット等で伝送する場合はヘッダ部とデータ部を分離して別に伝送してもよい。その場合は、図３のようにヘッダ部とデータ部が１つのビットストリームとなることはない。しかしながら、パケットの場合は、伝送する順序が多少前後することがあっても、対応するデータ部に対応するヘッダ部が別のパケットで伝送されるだけであり、１つのビットストリームとなっていなくても、概念は図３で説明したビットストリームの場合と同じである。

以上説明したように、本発明の画像符号化装置に入力されるフィルタ種別データFilterType1の値を、画像復号化装置の処理能力に応じた画素間フィルタを選択するよう設定しておくことにより、本発明の画像符号化装置が出力する符号化データを再生する画像復号化装置の処理能力に応じた符号化データを作成することが可能になる。また、画像符号化装置の処理能力に応じて画素間フィルタを選択することができる。また、処理量に応じて切り替えるのではなく、画質を向上するようにフィルタを切り替えてもよい。

図４は、本実施の形態１に係る画像符号化装置によって生成された符号化データBitstream1を復号化する画像復号化装置１０００の構成を示すブロック図である。画像復号化装置１０００は、入力される符号化データBitstream1のヘッダに記述されているフィルタ種別データFilterType1に従ってピクチャごとまたはスライスごとに画素間フィルタを切り替え、符号化データBitstream1の符号化データを復号化する画像復号化装置であって、可変長復号化部２０１、画像復号化部２０２、加算器２０３、画像メモリ２０５、ピクチャ間予測部２０６、スイッチ１００１、スイッチ１００２、画素間フィルタＡ１００３および画素間フィルタＢ１００４を備える。

画像復号化装置１０００には、外部から符号化データBitstream1が入力される。この符号化データBitstream1は、例えば実施の形態１における画像符号化装置３００または画像符号化装置４００によって符号化されたものである。可変長復号化部２０１は、入力された符号化データBitstream1を可変長復号化し、差分画像符号化データCodedResと予測パラメータデータPredParamとフィルタ種別データFilterType1とに分離し、差分画像符号化データCodedResを画像復号化部２０２に、予測パラメータデータPredParamをピクチャ間予測部２０６に、フィルタ種別データFilterType1をスイッチ１００１とスイッチ１００２とにそれぞれ出力する。スイッチ１００１およびスイッチ１００２は、フィルタ種別データFilterType1として値“１”が入力された場合には、端子“１”側に切り替わり、復号化像データReconに画素間フィルタＡ１００３によるフィルタリングを適用する。フィルタ種別データFilterType1として値“２”が入力された場合には、スイッチ１００１およびスイッチ１００２は、端子“２”側に切り替わり、復号化画像データReconに画素間フィルタＢ１００４によるフィルタリングを適用する。いずれの画素間フィルタにより画素間フィルタ演算が施された場合にも、フィルタ済復号化画像データFilteredImg1は画像メモリ２０５に格納されるとともに、画像復号化装置１０００の外部、例えば、表示装置などに出力される。

以上説明したように、本発明の画像復号化装置１０００によれば、ヘッダ部に画素間フィルタの種別を特定するフィルタ種別データFilterType1を含んだ符号化データBitstream1を復号化することが可能になる。

なお、本実施の形態の画像復号化装置の備える画素間フィルタは２つであるが、３つ以上の画素間フィルタを備えてもよい。この場合、本実施の形態と同様に、符号化データBitstream内のフィルタ種別データに従い３つ以上の画素間フィルタのいずれかを選択し、使用すればよい。

なお、実施の形態１で示したように、フィルタ種別がピクチャ単位、或いは、ピクチャより小さい画像領域の単位で切り替わる場合には、フィルタ種別が変更された時点で画素間フィルタを切り替える。

図５は、指定された画素間フィルタが内部に備えられていない場合には、備えられている画素間フィルタを代用する画像復号化装置１１００の構成を示すブロック図である。画像復号化装置１１００は、符号化データ中に含まれるフィルタ種別データで選択された画素間フィルタが画像復号化装置１１００内に備えられていない場合には、画像符号化装置１１００に備えられているいずれかの画素間フィルタを代わりに用いることを特徴とする。この画像復号化装置１１００は、可変長復号化部２０１、画像復号化部２０２、加算器２０３、画像メモリ２０５、ピクチャ間予測部２０６、スイッチ１００１、スイッチ１００２、画素間フィルタＡ１００３、画素間フィルタＢ１００４およびフィルタ種別データ変換部１１０１を備える。

例えば、画像復号化装置１１００には、フィルタ種別データFilterType1の値“１”と値“２”とが示す２種類の画素間フィルタＡ１００３と、画素間フィルタＢ１００４としか備えられていないとする。画像復号化装置１１００には、外部から符号化データBitstream3が入力される。可変長復号化部２０１は、入力される符号化データBitstream3を可変長復号化し、差分画像符号化データCodedResと予測パラメータデータPredParamとフィルタ種別データFilterType3とに分離し、差分画像符号化データCodedResを画像復号化部２０２に、予測パラメータデータPredParamをピクチャ間予測部２０６に、フィルタ種別データFilterType3をフィルタ種別データ変換部１１０１にそれぞれ出力する。フィルタ種別データ変換部１１０１は、フィルタ種別データFilterType3の値が画像復号化装置１１００に備えられていない画素間フィルタを示す値“３”をとる場合には、フィルタ種別データFilterType3の値“３”を、例えば画像復号化装置１１００に備えられている画素間フィルタのうち、指定された画素間フィルタと平滑度が最も近似する画素間フィルタを示す“２”の値に変換して、フィルタ種別データFilterType4として出力する。

この変換処理を行うことにより、画像復号化装置１１００において、符号化時とは異なる画素間フィルタを用いるため多少の画質劣化は生じるが本来の復号化画像に近い復号化処理が可能であるため、簡易的な画像復号機能としては十分有効性がある。フィルタ種別データFilterType4として値“１”が入力された場合には、スイッチ１００１とスイッチ１００２とは、いずれも端子“１”側に切り替わり、復号化画像データReconに対して画素間フィルタＡ１００３によるフィルタリングを適用する。フィルタ種別データFilterType4として値“２”が入力された場合には、スイッチ１００１とスイッチ１００２とは、いずれも端子“２”側に切り替わり、復号化画像データReconに対して画素間フィルタＢ１００４によるフィルタリングを適用する。画素間フィルタによる処理結果であるフィルタ済復号化画像データFilteredImg3は、画像復号化装置１１００外の表示装置などに出力される。

以上説明したように、画像復号化装置１１００によれば、画像復号化装置１１００に備えられていない画素間フィルタを指定したフィルタ種別データFilterType3が、入力符号化データBitstream3に含まれている場合でも、内部に備えられている画素間フィルタを代用して復号化を行うことができる。したがって、大幅な画質の劣化を招くことなく、符号化データBitstreamを復号化することができる。

なお、画像復号化装置１１００が備えている画素間フィルタ（画素間フィルタ演算なしも含む）が１つの場合には強制的にその画素間フィルタを使用することで復号化を行うことができる。

なお、本実施の形態の画像復号化装置では、２個の画素間フィルタ（画素間フィルタ演算なしも１つのフィルタとして数える）を備えているが３個以上の画素間フィルタがあっても同様の処理が可能である。すなわち、画素間フィルタの１つとして、画素間フィルタ演算を行わず復号化画像データReconをそのまま画像メモリ２０５に格納する処理を含めてもよい。

なお、実施の形態１で示したように、フィルタ種別がピクチャ単位、或いは、ピクチャより小さい画像領域の単位で切り替わる場合には、フィルタ種別が変更された時点で画素間フィルタを切り替える。

画素間フィルタ３０３、３０４、１００３、１００４の動作について図７および図８を用いてより詳細に説明する。図７は、画素間フィルタの一例であるデブロック・フィルタの演算内容を示す図である。図７（ａ）は、フィルタリング前におけるブロック境界付近の画素値を示す図である。図７（ｂ）は、フィルタリング後におけるブロック境界付近の画素値を示す図である。図８は、画素間フィルタのフィルタリング処理の流れを示すフローチャートである。図７（ａ）は、同一水平走査線上の画素６０１〜画素６０８におけるそれぞれの画素値を示している。画素６０１〜画素６０４はいずれもブロック６１０内の画素であるが、画素６０５〜画素６０８はブロック６１０に隣接するブロック６１１内の画素である。画素６０１〜画素６０４の画素値は、それぞれｐ３、ｐ２、ｐ１およびｐ０であり、画素６０５〜画素６０８の画素値は、それぞれｑ０、ｑ１、ｑ２およびｑ３である。画像符号化装置において、ピクチャ間予測、画像符号化、可変長符号化および画像復号化などの処理は一般に、ブロック（またはマクロブロック）などを単位として行われる。このため、隣接ブロック（またはマクロブロック）間の境界、例えばブロック６１０とブロック６１１との境界をまたぐ画素間、例えば画素６０４と画素６０５とで高周波数に符号化ノイズが生じやすい。例えば、図７（ａ）に示す画素６０４の画素値ｐ０と画素６０５の画素値ｑ０とでは符号化ノイズの影響によって画素値の差が大きくなり易いという傾向がある。このため、画素間フィルタは、複数のパラメータを用いてフィルタを決定することができ、例えばフィルタを決定するパラメータα、βに対応したフィルタであり、この画素間フィルタによりブロック境界をまたぐ画素群の画素値をフィルタリングする。

図８に示すように、画素間フィルタは、まず、ブロック境界をまたぐ画素６０４と画素６０５との画素値の差（ｐ０−ｑ０）の絶対値を求め、求められた絶対値がパラメータαの値未満であるか否かを判定する（Ｓ７０１）。判定の結果、画素値の差（ｐ０−ｑ０）の絶対値がパラメータαの値以上であれば、画素間フィルタは、復号化画像データReconで表される画素値に対してデブロック・フィルタ処理を行わない（Ｓ７０４）。一方、ステップＳ７０１における判定の結果、ブロック境界をまたぐ隣接画素間の画素値の差（ｐ０−ｑ０）の絶対値がパラメータαの値未満であれば、画素間フィルタはさらに、画素６０４と画素６０３との画素値の差（ｐ１−ｐ０）の絶対値を求め、求められた絶対値が、パラメータβの値未満であるか否かを判定する（Ｓ７０２）。ここで、画素６０４と画素６０３とは、同一ブロック６１０内の隣接画素である。判定の結果、画素値の差（ｐ１−ｐ０）の絶対値がパラメータβの値以上であれば、画素間フィルタ５０３は、復号化画像データReconで表される画素値に対してデブロック・フィルタ処理を行わない（Ｓ７０４）。また、判定の結果、画素値の差（ｐ１−ｐ０）の絶対値がパラメータβの値未満であれば、さらに、画素６０５と画素６０６との画素値の差（ｑ１−ｑ０）の絶対値を求め、求められた絶対値が、パラメータβの値未満であるか否かを判定する（Ｓ７０３）。ここで、画素６０５と画素６０６とは、同一ブロック６１１内の隣接画素である。判定の結果、画素値の差（ｑ１−ｑ０）の絶対値がパラメータβの値以上であれば、画素間フィルタは復号化画像データReconで表される画素値に対してデブロック・フィルタ処理を行わない（Ｓ７０４）。一方、画素値の差（ｑ１−ｑ０）の絶対値がパラメータβの値未満であれば、画素間フィルタ５０３は、復号化画像データReconに対してフィルタリングを行って符号化ノイズを除去し、処理を終了する。画素間フィルタは、以上の処理をブロック境界をまたぐ水平走査線方向および垂直走査線方向の各画素列について繰り返す。このように、３組の隣接画素の画素値の差のいずれかが一定値未満の場合にデブロック・フィルタ処理を施すことでブロック歪みを除去する。

なお、上記ステップＳ７０４におけるデブロック・フィルタ処理では、境界近傍の画素に平滑化フィルタ（高域周波数成分抑圧フィルタ）を行う。例えば、平滑化による画素６０４の新たな画素値Ｐ０は、画素６０４の画素値ｐ０、画素６０５の画素値ｑ０、画素６０３の画素値ｐ１および画素６０６の画素値ｑ１に高域周波数成分を抑圧する低域通過フィルタ（Low Pass Filter）を用いて生成することができる。

（実施の形態２）
図６は、第２の実施の形態に係る画像符号化装置５００の構成を示すブロック図である。画像符号化装置５００が画像符号化装置３００と異なるのは、画素間フィルタ処理として、復号化画像データReconをそのまま参照画像データRefとして画像メモリ１０７に格納することを選択できることである。画像符号化装置５００は、差分器１０１、画像符号化部１０２、画像復号化部１０４、加算器１０５、画像メモリ１０７、ピクチャ間予測部１０８、ピクチャ間予測推定部１０９、スイッチ５０１、スイッチ５０２、画素間フィルタ５０３、テーブル保持部５０４および可変長符号化部５０５を備える。

スイッチ５０１とスイッチ５０２とは、フィルタ種別データFilterType2の値が“０”のとき、いずれも端子“０”側に切り替わり、加算器１０５から出力される復号化画像データReconをそのまま画像メモリ１０７に格納する。スイッチ５０１とスイッチ５０２とは、フィルタ種別データFilterType2の値が“１”のとき、いずれも端子“１”側に切り替わり、加算器１０５から出力された復号化画像データReconを画素間フィルタ５０３に導通する。画素間フィルタ５０３は、画素値のフィルタリングに用いられるフィルタで、例えば、ブロック境界における高周波成分の符号化ノイズを抑圧するデブロック・フィルタである。画素間フィルタ５０３により画素間フィルタ演算されたフィルタ済復号化画像データFilteredImg2は画像メモリ１０７に格納される。可変長符号化部５０５は、このフィルタ種別データFilterType2と差分画像符号化データCodedResと予測パラメータデータPredParamとを可変長符号化して図３（ａ）に示したような１つの符号化データBitstream2にまとめ、画像符号化装置５００の外部へ出力する。

なお、画像符号化装置５００の備える画素間フィルタは１つであるが、２つ以上の画素間フィルタを備えてもよい。２つ以上の画素間フィルタのいずれか、もしくは、画素間フィルタ演算なしを選択して使用し、使用した画素間フィルタの種別（画素間フィルタ演算なしを含む）を示すフィルタ種別データを符号化データに含めればよい。また、画像符号化装置５００では、テーブル保持部５０４を省略し、テーブル保持部５０４の機能を画素間フィルタ５０３の内部に備えるようにしてもよい。

以上説明したように、本発明の画像符号化装置５００では、当該画像符号化装置５００から出力された符号化データBitstream2を再生する画像復号化装置の処理能力に応じた画素間フィルタを用いて符号化データを作成することが可能になる。また、画像符号化装置５００の処理能力に応じて画素間フィルタを選択することもできる。また、フィルタ種別をピクチャ単位またはピクチャより小さい画像領域の単位で切り替えるとしてもよい。

図９は、画素間フィルタ処理を行うか行わないかを選択できる実施の形態２に係る画像復号化装置１２００の構成を示すブロック図である。画像復号化装置１２００が図４の画像復号化装置１０００と異なる点は、画素間フィルタ処理として画素間フィルタ演算を行わず、復号化画像データReconをそのまま参照画像データRefとして画像メモリ２０５に格納することが選択できることである。画像復号化装置１２００は、可変長復号化部２０１、画像復号化部２０２、加算器２０３、画像メモリ２０５、ピクチャ間予測部２０６、スイッチ１２０１、スイッチ１２０２および画素間フィルタ１２０３を備える。

画像復号化装置１２００には、例えば、図６の画像符号化装置５００によって符号化された図７（ａ）の符号化データのように、ヘッダ内に符号化の際に適用された画素間フィルタを示すフィルタ種別データFilterType2が含まれている符号化データBitstream2が入力される。フィルタ種別データFilterType2には、フィルタ種別として“画素間フィルタ演算なし”を示す値が含まれている。可変長復号化部２０１は、入力された符号化データBitstream2を可変長復号化し、差分画像符号化データCodedResと予測パラメータデータPredParamとフィルタ種別データFilterType2とに分離する。分離された差分画像符号化データCodedResと予測パラメータデータPredParamとフィルタ種別データFilterType2とは、それぞれ、画像復号化部２０２とピクチャ間予測部２０６とスイッチ１２０１およびスイッチ１２０２とに出力される。

スイッチ１２０１およびスイッチ１２０２は、いずれも、フィルタ種別データFilterType2として値“０”が入力された場合には、端子“０”側に切り替わり、加算器２０３から出力された復号化画像データReconは、そのまま画像メモリ２０５に格納される。スイッチ１２０１とスイッチ１２０２とは、フィルタ種別データFilterType2として値“１”が入力された場合には、いずれも端子“１”側に切り替わり、復号化画像データReconに対して画素間フィルタ１２０３によるフィルタリングを適用する。

また、フィルタ種別データから、参照画像となる復号化画像に画素間フィルタを使用しないと判断される場合には、その復号化画像を参照画像として画像メモリに格納するときには画素間フィルタによるフィルタリングを行わず、画像復号化装置の外部に出力するときのみ画素間フィルタを使用するとしてもよい。図１０は、さらに画像出力部に選択可能な画素間フィルタを備えた画像復号化装置１３００の構成を示すブロック図である。すでに説明したように、画像復号化装置１３００は、加算器２０３から出力される復号化画像に対して、画素間フィルタによるフィルタリングを行わないことをフィルタ種別データFilterType2が示している場合には、画像メモリに格納される復号化画像にはフィルタリングせず、外部に出力される復号化画像には出力側に設けた画素間フィルタによってフィルタリングを行う画像復号化装置であって、可変長復号化部２０１、画像復号化部２０２、加算器２０３、画像メモリ２０５、ピクチャ間予測部２０６、スイッチ１２０１、スイッチ１２０２、画素間フィルタ１２０３、スイッチ１３０１、スイッチ１３０２および画素間フィルタ１３０３を備える。

スイッチ１２０１、スイッチ１２０２、スイッチ１３０１、スイッチ１３０２は、フィルタ種別データFilterType2の値が“１”の場合には全て端子“１”側に切り替わる。この場合には、スイッチ１２０１とスイッチ１２０２とは、加算器２０３の出力と、画素間フィルタ１２０３と、画像メモリ２０５とを導通し、スイッチ１３０２は、スイッチ１２０２の出力と画素間フィルタ１３０３との導通を遮断してスイッチ１３０１と短絡する。したがって、画素間フィルタ１２０３が復号化画像データReconに対してフィルタ演算を行い、フィルタ済復号化画像データFilterdImg3を出力する。フィルタ済復号化画像データFilteredImg3は、そのまま、すなわち、重ねて画素間フィルタ１３０３でフィルタリングされることなく、出力画像OutImgとして画像復号化装置外の表示装置などに出力される。フィルタ種別データFilterType2の値が“０”の場合には、スイッチ１２０１、スイッチ１２０２、スイッチ１３０１およびスイッチ１３０２は全て端子“０”側に切り替わる。この場合には、スイッチ１２０１は、加算器２０３の出力と、画素間フィルタ１２０３との導通を遮断し、スイッチ１２０２と短絡する。一方、スイッチ１３０２は、スイッチ１２０２の出力と画素間フィルタ１３０３とスイッチ１３０１の外部出力端子とを導通する。したがって、加算器２０３から出力された復号化画像データReconは、画素間フィルタ１２０３では画素間フィルタ演算されず、そのまま、画像メモリ２０５に参照画像として格納される。スイッチ１２０２の出力側から取り出された復号化画像データRecon、すなわち、実際にはフィルタリングされていないフィルタ済復号化画像データFilteredImg3は、画素間フィルタ１３０３によって画素間フィルタ演算が施され、出力画像OutImgとして画像復号化装置１３００外の表示装置などに出力される。

なお、ここでは説明のために、画素間フィルタ１２０３と画素間フィルタ１３０３とは異なる構成要素として記載したが、実装上は同じ画素間フィルタを使用してもよい（２つの画素間フィルタは同時に動作することがないため、同じ画素間フィルタを用いても問題はない）。また、画素間フィルタ１２０３と画素間フィルタ１３０３とは従来の画素間フィルタ１０６であってもよいし、図６に示したテーブル保持部５０４を内蔵する画素間フィルタ５０３であってもよい。またさらに、複数のパラメータ表６２０を保持するテーブル保持部５０４を内蔵した画素間フィルタ５０３であってもよい。ただし、この場合には、画素間フィルタ５０３にもフィルタ種別データFilterType2'が入力される必要がある。

以上説明したように、画像復号化装置１３００によれば、参照画像となる復号化画像に対してフィルタリングを施さない場合であっても、その復号化画像に対して画素間フィルタによるフィルタリングを施すことができるので、画像復号化装置１３００から出力される出力画像OutImgを表示する表示装置では、より高画質の動画像を表示することができる。これは、参照画像となる復号化画像に対してフィルタリングを施さない場合には処理能力に余裕がある機器の場合に特に有効である。

なお、実施の形態１で示したように、フィルタ種別データFilterType2で示される画素間フィルタの種別がピクチャ単位、或いは、ピクチャより小さい画像領域の単位で切り替わる場合には、フィルタ種別が変更された時点で画素間フィルタを切り替える。

図１１は、各ピクチャのピクチャタイプに応じて画素間フィルタ１２０３を選択することができる画像復号化装置１４００の構成を示すブロック図である。画像復号化装置１４００は、復号化済みのピクチャが参照画像として使用されるか否かの情報、例えば、各ピクチャのピクチャタイプなどを含む符号化データを復号化する画像復号化装置であって、画像復号化部２０２、加算器２０３、画像メモリ２０５、ピクチャ間予測部２０６、画素間フィルタ１２０３、可変長復号化部１４０１、スイッチ１４０２、スイッチ１４０３およびピクチャ種別データ変換部１４０４を備える。

可変長復号化部１４０１は、外部から入力される符号化データBitstream4を可変長復号化し、ピクチャ種別データPTypeと差分画像符号化データCodedResと予測パラメータデータPredParamとに分離する。分離されたピクチャ種別データPTypeはピクチャ種別データ変換部１４０４に、差分画像符号化データCodedResは画像復号化部２０２に、予測パラメータデータPredParamはピクチャ間予測部２０６に、それぞれ、出力される。ピクチャ種別データPTypeは、当該ピクチャが参照画像として使用されるか否かを示す情報である。例えば、国際標準規格であるＭＰＥＧ−１、２では、フレーム毎にピクチャタイプと呼ばれる情報が符号化データに含まれており、Ｂピクチャと呼ばれるフレームは参照画像として使用されることはない。従って、符号化データに含まれているこのピクチャタイプを本実施の形態のピクチャ種別データPTypeとして用いてもよい。参照画像として使用されないピクチャには、画素間フィルタによるフィルタリングを行わなくとも、他のピクチャの復号化にはあまり悪影響を与えない。

ここで、画像復号化装置１４００は、当該ピクチャが参照画像として使用されない場合には画素間フィルタを行わない。例えば、画像復号化装置１４００の処理能力が低く、再生時刻に間に合った復号化を実行できない場合には、参照画像として使用されないピクチャに画素間フィルタによるフィルタリングを行わないことによって画像復号化装置１４００の処理量を軽減することができる。図１１のブロック図を用いて説明すると、まず、ピクチャ種別データ変換部１４０４は、入力されるピクチャタイプデータPTypeがＢピクチャ以外のピクチャを示していれば、すなわち、当該ピクチャが参照画像として使用されることを示していれば、スイッチ１４０２とスイッチ１４０３とは、いずれも端子“１”に切り替わる。これにより画像復号化装置１４００は、画素間フィルタ１２０３を使用して復号化画像データReconに画素間フィルタ演算を行い、演算結果を、フィルタ済復号化画像データFilteredImg5として画像メモリ２０５に格納するとともに、画像復号化装置１４００外の表示装置などに出力する。一方、ピクチャタイプデータPTypeが、当該ピクチャがＢピクチャであることを示していれば、すなわち、当該ピクチャが参照画像として使用されないことを示していれば、スイッチ１４０２とスイッチ１４０３とは端子“０”に切り替わり、画素間フィルタ１２０３は使用されず、加算器１０５から出力された復号化画像データReconは、そのまま外部に出力される。

以上のように、画像復号化装置１４００によれば、あまり他のピクチャに参照されることがないＢピクチャに対して画素間フィルタ１２０３によるフィルタリングを省略するので、他のピクチャの復号化に大きな影響を与えることなく、符号化データBitstreamの復号化に要求される処理量を軽減することができる。また、このように画像復号化装置１４００は、符号化データのピクチャタイプに応じて画素間フィルタを選択するので、ピクチャヘッダなどのヘッダ情報の中に画素間フィルタの選択情報が入っていない、従来の画像符号化装置から出力される符号化データに対しても、参照されない画像に対してフィルタリング処理を省略して、フィルタリング処理の負荷を軽減することができる。

なお、参照されないピクチャはフィルタリング処理をするしないに関わらず、例えば図１１で示せば画像メモリ２０５には保存する必要がない。よって、参照されるピクチャのみ、画像メモリ２０５にフィルタリング処理をしたデータを保存すればよい。

なお、厳密にはＢピクチャは参照されない画像を意味するのではなく、Ｂピクチャを参照するような画像符号化方法も考えられる。従って、ピクチャタイプによって単純に画素間フィルタを選択するのではなく、実際に参照されるピクチャであるかどうかを判断すれば、Ｂピクチャを参照する場合でもより適切な処理が可能である。ただし、Ｂピクチャを参照する場合でも、実装を簡単化するために、単純にピクチャタイプで切り替えてもよい。

また、画素間フィルタを行うかどうかを切り替えるのでなく、図４または図５に示すように、画素間フィルタ１００３、画素間フィルタ１００４と２つのフィルタをピクチャタイプ、もしくは参照されるピクチャかどうかによって切り替えてもよい。

更に、ピクチャタイプ、およびピクチャが参照されるかどうかによって画素間フィルタを切り替える画像復号化装置の例を説明したが、この切り替えを画像符号化装置でも同様に行うことができる。

（実施の形態３）
図１２は、本発明の実施の形態３に係る画像符号化装置１５００の機能構成を示すブロック図である。画像符号化装置１５００は、ＣＰＵ、メモリ、画像符号化のためのプログラムをインストールしたハードディスク（ＨＤ）等を備えるコンピュータ装置により実現され、その機能として、操作受付部１５０５、前処理部１５１０、減算部１５１２、直交変換部１５１３、量子化部１５１４、可変長符号化部１５１７、後処理部１５２０、逆量子化部１５２１、逆直交変換部１５２２、加算部１５２４、スイッチ部１５３０、画素間フィルタ１５４０、画像メモリ１５４１、動き検出部１５４２、動き補償部１５４３、優先順位決定部１５５０およびフィルタ処理制御部１５６０を備える。

操作受付部１５０５は、操作者の入力操作を受け付ける。前処理部１５１０は、入力された画像信号を操作受付部１５０５の操作で指定され空間解像度にフォーマット変換するフォーマット変換部、およびピクチャタイプに合わせてピクチャを並べ替えるピクチャ並べ替え部等を備え、ピクチャタイプおよびフレームごとのフレーム画像等を順次出力する。

なお、ピクチャタイプには、画面内符号化モード時に作成される、参照画像のないＩピクチャ（Ｉｎｔｒａ Ｐｉｃｔｕｒｅ：面内符号化画像）と、画面間符号化モード時に作成され１つのピクチャのみを参照するＰピクチャ（Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ：予測符号化画像）及び後方画像も参照できるＢピクチャ（Ｂｉ Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ：複数予測画像）とがあり、画面間符号化モード時における動き検出の際に、画像メモリ１５４１に格納された、動き検出部１５４２によって同時に参照可能な復号化画像の枚数が制限される。

また、フレーム画像を符号化する場合、３つのピクチャタイプを使用して符号化する場合のモード（このモードを以下、「ＩＰＢ符号化モード」とも記す。）と、Ｉピクチャ及びＰピクチャの２つだけを使用して符号化する場合のモードとがある。このＩピクチャ及びＰピクチャの２つだけを使用して符号化する場合のモードには、参照の可能性があるＰピクチャ及び可能性のないＰピクチャについて符号化するモード（このモードを以下、「第１ＩＰ符号化モード」とも記す。）と、階層符号化における基本レイアのＰピクチャ、補強レイアで参照の可能性があるＰピクチャ及び可能性のないＰピクチャについて符号化するモード（このモードを以下、「第２ＩＰ符号化モード」とも記す。）とがある。階層符号化とは、ピクチャを基本レイアと補強レイアの２つに分類し、基本レイアは基本レイアのピクチャ群のみで単独で再生できるまとまりであり、補強レイアは符号化・復号化のためにベースラインのピクチャ群が必要となるピクチャ群である。基本レイアのみだとビット数が少なく、基本レイアと補強レイアを合わせるとビット数が多いがピクチャ数が多くなることから、ベースラインは全ての場合に記録・伝送し、補強レイアは高画質が必要な場合のみ記録・伝送することで、２通りの用途が容易に実現できるのが階層符号化の特徴である。

第１ＩＰ符号化モードの場合には、フレーム画像に「可能性あり」あるいは「可能性なし」の情報が付加されると共に、ピクチャタイプに「可能性あり」あるいは「可能性なし」の情報が付加される。また、第２符号化モードの場合には、フレーム画像に「基本」、「可能性あり」あるいは「可能性なし」の情報が付加されると共に、ピクチャタイプに「基本」、「可能性あり」あるいは「可能性なし」の情報が付加される。

減算部１５１２は、画面内符号化モード時には前処理部１５１０から出力されたフレーム画像をそのまま出力し、画面間符号化モード時にはフレーム画像と、動き補償部１５４３から出力された動き補償画像との差分値である動き補償誤差（残差画像）を計算する。

直交変換部１５１３は、減算部１５１２から出力された画面内符号化モード時のフレーム画像及び画面間符号化モード時の動き補償誤差に対してそれぞれ離散コサイン変換等の直交変換を行うことにより、周波数領域に変換した周波数成分を出力する。量子化部１５１４は、直交変換部１５１３から出力された周波数成分を量子化することにより、量子化値を出力する。可変長符号化部１５１７は、量子化部１５１４から出力された量子化値に対してその発生頻度に応じた符号長を割り当てる可変長符号（ハフマン符号）を用いることで、さらなる情報圧縮を施した符号化信号を出力する。後処理部１５２０は、符号化信号等を一時的に記憶するバッファや、量子化部１５１４における量子化幅を制御するためのレート制御部等を備え、上記動きベクトル、ピクチャタイプ等や、可変長符号化部１５１７から出力された符号化信号をビットストリームの符号化信号に変換して出力する。

逆量子化部１５２１は、量子化部１５１４によって生成された量子化値を逆量子化することにより周波数成分を復号化する。逆直交変換部１５２２は、逆量子化部１５２１によって復号化された周波数成分を逆直交変換することにより、画面内符号化モード時にはフレーム画像を、画面間符号化モード時には画素の差分値である動き補償誤差（残差画像）を復号化する。加算部１５２４は、画面内符号化モード時には逆直交変換部１５２２によって復号化されたフレーム画像（復号化画像）をそのまま出力し、画面間符号化モード時には逆直交変換部１５２２によって復号化された残差画像と、動き補償部１５４３によって生成された動き補償画像とを加算することによりフレーム画像を復号化する。

スイッチ部１５３０は、フィルタ処理制御部１５６０によるピクチャごとのスイッチＯＮ／ＯＦＦ制御によりスイッチング態様を同期して切り替える一対のスイッチ１５３１，１５３２からなり、画素間フィルタ１５４０をループ内に組み入れたり、ループから外したり、すなわち、画素間フィルタ１５４０による処理をスキップさせたりする。画素間フィルタ１５４０は、スイッチ１５３１，１５３２のＯＮ時に、加算部１５２４から出力された復号化画像に対してブロック単位で空間的な低域通過フィルタ処理を行い、ブロック歪み等のない復号化画像を生成する。例えば、ある画素とその周囲の画素と平均値を算出し、ある画素と周囲の画素との差が所定の範囲内であれば、そのある画素を算出した平均値に置き換える処理をブロック境界付近の画素に対して１つずつ実行する。

画像メモリ１５４１は、スイッチ部１５３０から出力された復号化画像を複数フレーム分、記憶する。これにより、後処理部１５２０から出力される符号化信号を復号化する画像復号化装置と同じ状態で復号化画像をモニタしたり、復号化画像を画面間符号化モード時における参照画像として用いることが可能になる。なお、第１ＩＰ符号化モード及び第２ＩＰ符号化モードにおいて、参照の可能性ありの情報が付加されたＰピクチャの復号化画像は画像メモリ１５４１に必ず格納され、参照の可能性なしの情報が付加されたＰピクチャの復号化画像は画像メモリ１５４１に格納される必要はない。このため、可能性あり／なしの情報は、復号化画像を画像メモリ１５４１に格納する／しないと同じ意味を表している。

動き検出部１５４２は、画面間符号化モード時に画像メモリ１５４１に格納されている復号化画像の中から前処理部１５１０から出力されたフレーム画像と差分が最も小さい参照画像をサーチし、差分画素の動き量である動きベクトルを出力する。なお、動きベクトル出力の際に、参照する画像が前方画像であるか、後方画像であるか、両画像の平均値であるかをブロック予測タイプを出力する。動き補償部１５４３は、動きベクトル及びブロック予測タイプで示される演算を行い、動き補償画像を生成する。優先順位決定部１５５０は、ピクチャタイプや、基本レイヤ、補強レイヤに応じてそのピクチャの優先度を出力する。フィルタ処理制御部１５６０は、優先順位決定部１５５０から出力された優先度またはＣＰＵ稼働率に応じてスイッチ１５３１，１５３２をＯＮ／ＯＦＦ制御する。

図１３は、図１２に示される優先順位決定部１５５０の詳細な機能構成を示すブロック図である。同図に示されるように、優先順位決定部１５５０は、ピクチャタイプ及び基本レイア、補強レイアに応じてそのピクチャの優先度を出力するものであり、図１３に示されるように、３つのテーブル１５５１〜１５５３と、セレクタ１５５４と、決定処理部１５５５とからなる。なお、第２ＩＰ符号化モードにおけるＰピクチャの場合には、そのピクチャタイプに「基本」、「参照される可能性のあり」又は「なし」を示す情報も付加されている。

テーブル１５５１は、操作受付部１５０５の操作によってＩＰＢ符号化モードが指定された場合に選択され、フレーム画像のピクチャタイプと優先度とを対応付けたテーブルであって、Ｉピクチャでは優先度が「０」、Ｐピクチャでは優先度が「１」、Ｂピクチャでは優先度が「２」に設定されている。なお、数値が大きくなるに従って、優先度が低くなるように定められている。

テーブル１５５２は、操作受付部１５０５の操作によって第１ＩＰ符号化モードが指定された場合に選択され、フレーム画像のピクチャタイプと優先度とを対応付けたテーブルであって、Ｉピクチャでは優先度が「０」、Ｐ（参照される可能性あり）ピクチャでは優先度が「１」、Ｐ（参照される可能性なし）ピクチャでは優先度が「２」に設定されている。

テーブル１５５３は、第２ＩＰ符号化モードＩ、Ｐ（基本、参照の可能性あり、参照の可能性なし）符号化モードが指定された場合に選択されるテーブルであって、Ｉピクチャでは優先度が「０」、Ｐ（基本）ピクチャでは優先度が「１」、Ｐ（参照される可能性あり）ピクチャでは優先度が「２」、Ｐ（参照される可能性なし）ピクチャでは優先度が「３」に設定されている。

セレクタ１５５４は、操作受付部１５０５により指定された符号化モード（ＩＰＢ符号化モード、第１ＩＰ符号化モード）に基づいて、テーブル１５５１〜１５５３のいずれか１つを選択する。決定処理部１５５５は、セレクタ１５５４によって選択されたテーブルを参照し、前処理部１５１０から出力されたピクチャタイプ及び基本レイヤ、補強レイヤに応じた優先度を決定し、決定した優先度を出力する。具体的には、ＩＰＢ符号化モードが指定されている場合、セレクタ１５５４はテーブル１５５１を選択しており、決定処理部１５５５は、前処理部１５１０からピクチャタイプが出力されるごとに、Ｉピクチャ、Ｐピクチャ、Ｂピクチャに対応付けられた優先度を出力する。また、第１ＩＰ符号化モードが指定されている場合、セレクタ１５５４はテーブル１５５２を選択しており、決定処理部１５５５は、ピクチャタイプと、Ｐピクチャに付加されているデータ（「可能性あり」、「可能性なし」）に基づいて、優先度を出力する。さらに、第２ＩＰ符号化モードが指定されている場合、セレクタ１５５４はテーブル１５５３を選択しており、決定処理部１５５５は、ピクチャタイプと、Ｐピクチャタイプに付加されているデータ（参照の「基本」、「可能性あり」、「可能性なし」）に基づいて、優先度を出力する。

図１４は、図１２に示されるフィルタ処理制御部１５６０の詳細な機能構成を示すブロック図である。同図に示されるように、フィルタ処理制御部１５６０は、優先順位決定部１５５０から出力された優先度及びＣＰＵ稼働率に応じてスイッチ１５３１，１５３２をＯＮ／ＯＦＦ制御するものであり、図１４に示されるように、３つのテーブル１５６１〜１５６３と、セレクタ１５６４と、スイッチ切換処理部１５６５とからなる。テーブル１５６１は、ＩＰＢ符号化モードが指定される場合に選択され、フィルタ処理を施す場合の優先度とＣＰＵの稼働率との組み合わせを示すテーブルであって、ＣＰＵの稼働率が７０％未満では優先度が０〜２の場合にスイッチＯＮし、ＣＰＵの稼働率が７０％以上８０％未満では優先度が０と１の場合にだけスイッチＯＮし、ＣＰＵの稼働率が８０％以上では優先度が０の場合にだけスイッチＯＮするように設定されている。

テーブル１５６２は、第１ＩＰ符号化モードが指定される場合に選択され、フィルタ処理を施す場合の優先度とＣＰＵの稼働率との組み合わせを示すテーブルであって、ＣＰＵの稼働率が７０％未満では優先度が０〜２の場合にスイッチＯＮし、ＣＰＵの稼働率が７０％以上８０％未満では優先度が０と１の場合にだけスイッチＯＮし、ＣＰＵの稼働率が８０％以上では優先度が０の場合にだけスイッチＯＮするように設定されている。

テーブル１５６３は、第２ＩＰ符号化モードが指定される場合に選択され、フィルタ処理を施す場合の優先度とＣＰＵの稼働率との組み合わせを示すテーブルであって、ＣＰＵの稼働率が７０％未満では優先度が０〜３の場合にスイッチＯＮし、ＣＰＵの稼働率が７０％以上８０％未満では優先度が０と１と２の場合にだけスイッチＯＮし、ＣＰＵの稼働率が８０％以上では優先度が０と１の場合にだけスイッチＯＮするように設定されている。

セレクタ１５６４は、操作受付部１５０５により指定された符号化モード（ＩＰＢ符号化モード、新第１ＩＰ符号化モード）に基づいて、テーブル１５６１〜１５６３のいずれか１つを選択する。スイッチ切換処理部１５６５は、セレクタ１５６４によって選択されたテーブルを参照し、優先順位決定部１５５０から出力された優先度及びピクチャごとに取得したＣＰＵ稼働率に基づいて、スイッチＯＮあるいはＯＦＦの信号を出力し、スイッチ部１５３０のスイッチ１５３１，１５３２をＯＮ／ＯＦＦ制御する。

具体的には、ＩＰＢ符号化モードが指定されている場合、セレクタ１５６４はテーブル１５６１を選択しており、スイッチ切換処理部１５６５は、ＣＰＵ稼働率が７０％未満の場合、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの全てについてスイッチＯＮの信号を出力する。また、ＣＰＵ稼働率が７０％以上で８０％未満の場合、スイッチ切換処理部１５６５は、Ｉピクチャと、Ｐピクチャとの場合にだけ、スイッチＯＮの信号を出力する。また、ＣＰＵ稼働率が８０％以上の場合、スイッチ切換処理部１５６５は、Ｉピクチャの場合にだけ、スイッチＯＮの信号を出力する。

また、第１ＩＰ符号化モードが指定されている場合、セレクタ１５６４はテーブル１５６２を選択しており、スイッチ切換処理部１５６５は、ＣＰＵ稼働率が７０％未満の場合、Ｉピクチャ、Ｐピクチャ（可能性あり）、Ｐピクチャ（可能性なし）の全てについてスイッチＯＮの信号を出力する。また、ＣＰＵ稼働率が７０％以上で８０％未満の場合、スイッチ切換処理部１５６５は、Ｉピクチャと、Ｐピクチャ（可能性あり）との場合にだけ、スイッチＯＮの信号を出力する。また、ＣＰＵ稼働率が８０％以上の場合、スイッチ切換処理部１５６５は、Ｉピクチャの場合にだけ、スイッチＯＮの信号を出力する。

さらに、第２ＩＰ符号化モードが指定されている場合、セレクタ１５６４はテーブル１５６３を選択しており、スイッチ切換処理部１５６５は、Ｉピクチャ、Ｐピクチャ（ベース）、Ｐピクチャ（可能性あり）、Ｐピクチャ（可能性なし）の全てについてスイッチＯＮの信号を出力する。また、ＣＰＵ稼働率が７０％以上で８０％未満の場合、スイッチ切換処理部１５６５は、Ｉピクチャと、Ｐピクチャ（ベース）と、Ｐピクチャ（可能性あり）との場合にだけ、スイッチＯＮの信号を出力する。また、ＣＰＵ稼働率が８０％以上の場合、スイッチ切換処理部１５６５は、Ｉピクチャと、Ｐピクチャ（ベース）との場合にだけ、スイッチＯＮの信号を出力する。

次いで、このように構成された画像符号化装置１５００の動作を説明する。

フレーム画像をＩピクチャとして符号化する画面内符号化モード時には、前処理部１５１０から出力されたフレーム画像は、直交変換部１５１３による直交変換によって周波数成分に圧縮符号化され、量子化部１５１４による量子化によって量子化値に圧縮符号化される。この量子化値は、可変長符号化部１５１７による可変長符号化によって可変長に圧縮符号化され、後処理部１５２０によってＩピクチャのビットストリームの符号化信号に変換され、ハードディスク等の記憶媒体に格納される。

一方、量子化部１５１４から出力された量子化値は、逆量子化部１５２１による逆直交変換によって周波数成分に復号化され、逆直交変換部１５２２による逆直交変換によってフレーム画像に復号化される。この復号化されたフレーム画像（復号化画像）は、フィルタ処理制御部１５６０の制御によりスイッチ１５３１，１５３２がＯＮされている場合には画素間フィルタ１５４０によってブロック歪みを除去するフィルタ処理が施された後、画像メモリ１５４１に格納され、スイッチ１５３１，１５３２がＯＦＦされている場合にはフィルタ処理が施されることなく画像メモリ１５４１に格納される。

また、フレーム画像をＰピクチャ及びＢピクチャとして符号化する画面間符号化モード時には、動き検出部１５４２によって動きベクトルが生成され、動き補償部１５４３によって動き補償画像（予測画像）が生成され、減算部１５１２によって動き補償誤差（差分画像）が生成される。なお、動き検出部１５４２は、画像メモリ１５４１に格納されている復号化画像の中から前処理部１５１０から出力されたフレーム画像と差分が最も小さい予測画像を、前方または後方の１つもしくは複数の参照画像から探索する。

図１５は、画像メモリ１５４１に格納されているフレーム画像の参照関係を示す図である。特に、図１５（ａ）はＩＰＢ方式の場合の予測における参照画像を示す図であり、図１５（ｂ）は第１ＩＰ方式の場合の予測における参照画像を示す図であり、図１５（ｃ）は第２ＩＰ方式の場合の予測における参照画像を示す図である。なお、各方式の各ピクチャの下欄にそのピクチャに対応付けられた優先順位（優先度）が示されている。

図１５（ａ）のＩＰＢ方式の場合におけるＰピクチャの予測では、前方のＩピクチャ及びＰピクチャを参照することができる。Ｂピクチャの予測では、前方のＩピクチャ又はＰピクチャを参照することができると共に、後方で時間的に最も近いＩピクチャ又はＰピクチャを１つ参照することができる。

なお、Ｈ．２６ＬのＢピクチャの予測では、Ｉピクチャ、Ｐピクチャに加え、Ｂピクチャを前方画像として参照することもできるようになっている。このＢピクチャを参照画像として用いるモードの場合には、Ｂピクチャのフレーム画像に「可能性あり」あるいは「可能性なし」の情報が付加されると共に、ピクチャタイプに「可能性あり」あるいは「可能性なし」の情報が付加される。そして、このモードにおいて、参照の可能性ありの情報が付加されたＢピクチャの復号化画像は必ず画像メモリ１５４１に格納され、参照の可能性なしの情報が付加されたＢピクチャの復号化画像は画像メモリ１５４１に格納される必要はない。

図１５（ｂ）の第１ＩＰ方式の場合におけるＰ（参照の可能性あり）ピクチャの予測では、前方のＩピクチャ及びＰ（参照の可能性あり）ピクチャを参照することができる。Ｐ（参照の可能性なし）ピクチャの予測では、前方のＩピクチャ又はＰ（参照の可能性あり）ピクチャを参照することができる。

図１５（ｃ）の第２ＩＰ方式の場合におけるＰ（ベース）ピクチャの予測では、前方のＩピクチャ及びＰ（ベース）ピクチャを参照することができる。Ｐ（参照の可能性あり）ピクチャの予測では、前方のＩピクチャ及びＰ（ベース）ピクチャを参照することができる。Ｐ（参照の可能性なし）ピクチャの予測では、前方のＩピクチャ、Ｐ（ベース）ピクチャ又はＰ（参照の可能性あり）ピクチャを複数参照することができる。

なお、説明の便宜上、ＩＰＢ符号化モードが指定されている場合について説明する。

このような制限下、動き検出部１５４２は、サーチした参照画像と前処理部１５１０から出力されたフレーム画像との差分画素の動き量を動きベクトルとして出力すると共に、参照する画像が前方画像であるか、後方画像であるか、双方向画像の平均値であるかを示すブロック予測タイプを出力する。また、動き補償部１５４３は、動き検出部１５４２から出力された動きベクトルと、ブロック予測タイプとで示される演算を差分画素に対して行い、動き補償画像を生成する。そして、減算部１５１２は、前処理部１５１０から出力されたフレーム画像と動き補償部１５４３によって生成された動き補償画像とを減算することにより、動き補償誤差（差分画像）を生成する。

減算部１５１２から出力された動き補償誤差（差分画像）は、直交変換部１５１３による直交変換によって周波数成分に圧縮符号化され、量子化部１５１４による量子化によって量子化値に圧縮符号化される。この量子化値は、可変長符号化部１５１７による可変長符号化によって可変長に圧縮符号化され、後処理部１５２０によって動きベクトル等と共にＰピクチャ又はＢピクチャのビットストリームの符号化信号に変換され、ハードディスク等の記憶媒体に格納される。

一方、量子化部１５１４から出力された参照の可能性を有するＰピクチャ又はＢピクチャの量子化値は、逆量子化部１５２１による逆直交変換によって周波数成分に復号化され、逆直交変換部１５２２による逆直交変換によって動き補償誤差（差分画像）に復号化される。そして、加算部１５２４によって、動き補償誤差（差分画像）と動き補償画像とを加算することにより、フレーム画像に復号化される。この復号化されたフレーム画像（復号化画像）は、フィルタ処理制御部１５６０の制御によりスイッチ１５３１，１５３２がＯＮされている場合には画素間フィルタ１５４０によってブロック歪みを除去するフィルタ処理が施された後、画像メモリ１５４１に格納され、スイッチ１５３１，１５３２がＯＦＦされている場合にはフィルタ処理が施されることなく画像メモリ１５４１に格納される。

ここで、フィルタ処理制御部１５６０によるスイッチ１５３１，１５３２のＯＮ／ＯＦＦ制御をより詳細に説明する。

図１６は、フィルタ処理制御部１５６０のスイッチ切換処理部１５６５が実行するスイッチ駆動処理を示すフローチャートである。

ところで、優先順位決定部１５５０の決定処理部１５５５は、セレクタ１５５４によって選択されたテーブル１５５１を参照し、前処理部１５１０から出力されたピクチャごとにピクチャタイプに応じた優先度を決定し、決定した優先度を出力している。具体的には、ＩＰＢ符号化モードが指定されている場合、セレクタ１５５４はテーブル１５５１を選択しており、決定処理部１５５５は、前処理部１５１０からピクチャタイプが出力されるごとに、Ｉピクチャの場合には優先度「０」を、Ｐピクチャの場合には「１」を、Ｂピクチャの場合には優先度「２」を出力する。

フィルタ処理制御部１５６０のスイッチ切換処理部１５６５は、ピクチャの符号化ごとにそのピクチャの優先度と、この画像符号化装置１５００が備えるＣＰＵの稼働率とを取得し（Ｓ２１）、テーブル（図１４の例では、テーブル１５６１）の参照するエントリーを決定する（Ｓ２２）。

具体的には、ＣＰＵ稼働率が７０％未満であれば、参照するエントリーを１行目と決定し、ＣＰＵ稼働率が７０％以上で８０％未満であれば、参照するエントリーを２行目と決定し、ＣＰＵ稼働率が８０％以上であれば、参照するエントリーを３行目と決定する。

参照するエントリーを決定し終わると、スイッチ切換処理部１５６５は、そのエントリーの右欄を読み出し（Ｓ２３）、復号化画像のピクチャタイプに設定された優先度が右欄にあるかどうか判断する（Ｓ２４）。右欄にあれば（Ｓ２４でＹｅｓ）、スイッチ切換処理部１５６５は、スイッチオンの信号をスイッチ１５３１，１５３２に出力する（Ｓ２５）。これにより復号化画像にフィルタ処理が施され、フィルタ処理が施された復号化画像が画像メモリ１５４１に格納される。

これに対して、右欄になければ（Ｓ２４でＮｏ）、スイッチ切換処理部１５６５は、スイッチオフの信号をスイッチ１５３１，１５３２に出力する（Ｓ２６）。これにより復号化画像に対するフィルタ処理がスキップされ、フィルタ処理を施さずに復号化画像が画像メモリ１５４１に格納される。

このような制御がピクチャごとに行われ、フィルタ処理が施された復号化画像やフィルタ処理が施されない復号化画像が順次画像メモリ１５４１に格納される。従って、画像符号化において、常に、ノイズ除去等の画素間フィルタをかけるのではなく、必要に応じて、選択的に画素間フィルタをかけることができるので、例えば、画質に大きく影響するフレーム画像だけに対して画素間フィルタをかけることで、処理能力が小さい画像符号化装置であっても画像メモリに格納される重要なフレームの画質を維持し、画像メモリに格納された復号化画像にブロック歪みが蓄積されることが少なくなり、動き補償部による予測効率が向上され、ＭＰＥＧの技術よりも画質劣化を減少させることができ、低ビットレートで高い画質改善効果が得られる。

すなわち、他のフレーム画像に対して大きい影響度を持つフレーム画像、つまり、画面内符号化フレーム画像、前方向予測符号化フレーム画像、基本レイヤのフレーム画像等について優先的に画素間フィルタが施されるので、同じ処理負荷の増大に対して、より有効に画素間フィルタによるノイズ除去等の画質改善効果を得ることができる。

また、画像符号化装置の処理能力がフルに発揮されるように、フィルタ処理のＯＮ／ＯＦＦを制御することができるので、高い効率でＣＰＵが使用されることとなり、同じハードウェア資源であっても、高画質の符号化が実現される。

（実施の形態４）
次いで、本発明の実施の形態に係る画像復号化装置について説明する。図１７は、本発明の実施の形態４に係る画像復号化装置１６００の機能構成を示すブロック図である。

この画像復号化装置１６００は、図１２に示される画像符号化装置１５００で符号化された符号化信号を復号化するものであって、ＣＰＵ、メモリ、画像復号化のためのプログラムをインストールしたハードディスク（ＨＤ）等を備えるコンピュータ装置により実現され、その機能として、前処理部１６１０と、可変長復号化部１６１７と、逆量子化部１６２１と、逆直交変換部１６２２と、加算部１６２４と、スイッチ部１６３０と、画素間フィルタ１６４０と、後処理部１６７０と、画像メモリ１６４１と、動き補償部１６４３と、優先順位決定部１６５０と、フィルタ処理制御部１６６０とからなる。

前処理部１６１０は、符号化信号を一時的に格納するバッファ等を備え、符号化信号に含まれるピクチャタイプ、動きベクトル、画像自体の符号化信号を分離して出力する。なお、画像の符号化信号が第１ＩＰ符号化モードの場合には、フレーム画像に「可能性あり」あるいは「可能性なし」の情報が付加されると共に、ピクチャタイプに「可能性あり」あるいは「可能性なし」の情報が付加される。また、第２ＩＰ符号化モードの場合には、フレーム画像に「基本」、「可能性あり」あるいは「可能性なし」の情報が付加されると共に、ピクチャタイプに「基本」、「可能性あり」あるいは「可能性なし」の情報が付加される。

可変長復号化部１６１７は、前処理部１６１０から出力された符号化信号に対して復号化（ハフマン復号化）することにより、固定長の量子化値を出力する。逆量子化部１６２１は、可変長復号化部１６１７から出力された量子化値を逆量子化することにより周波数成分を復号化する。逆直交変換部１６２２は、逆量子化部１６２１によって復号化された周波数成分を逆直交変換することにより、画面内符号化モード時にはフレーム画像を、画面間符号化モード時には画素の差分値である動き補償誤差（残差画像）を復号化する。

加算部１６２４は、画面内符号化モード時には逆直交変換部１６２２によって復号化されたフレーム画像（復号化画像）をそのまま出力し、画面間符号化モード時には逆直交変換部１６２２によって復号化された動き補償誤差（残差画像）と動き補償部１６４３によって生成された動き補償画像とを加算することによりフレーム画像を復号化する。スイッチ部１６３０は、フィルタ処理制御部１６６０によるピクチャごとのスイッチＯＮ／ＯＦＦ制御によりスイッチング態様を同期して切り替える一対のスイッチ１６３１，１６３２からなり、画素間フィルタ１６４０をループ内に組み入れたり、ループから外したり、すなわち、画素間フィルタ１６４０による処理をスキップさせたりする。

画素間フィルタ１６４０は、スイッチ１６３１，１６３２のＯＮ時に、加算部１６２４から出力された復号化画像に対してブロック単位で空間的な低域通過フィルタ処理を行い、ブロック歪み等のない復号化画像を生成する。例えば、ある画素とその周囲の画素と平均値を算出し、ある画素と周囲の画素との差が所定の範囲内であれば、そのある画素を算出した平均値に置き換える処理をブロック境界付近の画素に対して１つずつ実行する。

後処理部１６７０は、所定の空間解像度にフォーマット変換するフォーマット変換部や、ピクチャタイプに合わせて並べ替えられた画面を元の順序に戻す画面順序戻し部等を備え、復号化画像をモニタ等に出力する。画像メモリ１６４１は、スイッチ部１６３０から出力された参照の可能性を有する復号化画像を複数フレーム分記憶する。動き補償部１６４３は、前処理部１６１０から出力された動きベクトル及びブロック予測タイプで示される演算を画像メモリ１６４１に格納されている復号化画像に対して行い、動き補償画像を生成する。優先順位決定部１６５０は、図１３に示される優先順位決定部１５５０と同構成であって、前処理部１６１０から出力されたピクチャタイプや、基本レイヤ、補強レイヤに応じてそのピクチャの優先度を出力する。フィルタ処理制御部１６６０は、図１４に示されるフィルタ処理制御部１５６０と同構成であって、優先順位決定部１６５０から出力された優先度及び監視によって得られたＣＰＵ稼働率に応じてスイッチ部１６３０のスイッチ１６３１，１６３２をＯＮ／ＯＦＦ制御する。

次いで、このように構成された画像復号化装置１６００の動作を説明する。なお、画像符号化装置１５００と合わせて説明する便宜上、ＩＰＢ符号化モードが指定されている場合について説明する。

Ｉピクチャの符号化信号をフレーム画像に復号化する画面内符号化モード時には、前処理部１６１０から出力された符号化信号は、可変長復号化部１６１７によって可変長復号化され量子化値に復号化され、逆量子化部１６２１による逆直交変換によって周波数成分に伸張復号化され、逆直交変換部１６２２による逆直交変換によってフレーム画像（復号化画像）に復号化される。この復号化されたフレーム画像（復号化画像）は、フィルタ処理制御部１６６０の制御によりスイッチ１６３１，１６３２がＯＮされている場合には画素間フィルタ１６４０によってブロック歪みを除去するフィルタ処理が施された後、画像メモリ１６４１に格納されると共に、後処理部１６７０において画像の順番が元に戻されたり、フォーマット変換され、モニタ等に出力される。これに対して、スイッチ１６３１，１６３２がＯＦＦされている場合には、復号化画像は、フィルタ処理が施されることなく画像メモリ１６４１に格納されると共に、後処理部１６７０において画像の順番が元に戻されたり、フォーマット変換され、モニタ等に出力される。

また、Ｐピクチャ及びＢピクチャの符号化信号をフレーム画像に復号化する画面間符号化モード時には、前処理部１６１０から出力された符号化信号は、可変長復号化部１６１７によって可変長復号化され量子化値に復号化され、逆量子化部１６２１による逆直交変換によって周波数成分に伸張復号化され、逆直交変換部１６２２による逆直交変換によって動き補償誤差（差分画像）に復号化される。

一方、動き補償部１６４３によって動き補償画像（予測画像）が生成される。なお、動き補償部１６４３は、前処理部１６１０から出力された動きベクトルと、ブロック予測タイプとで示される演算を画像メモリ１６４１から読み出した参照画像の差分画素に対して行い、動き補償画像を生成する。

そして、加算部１６２４によって、動き補償誤差（差分画像）と動き補償画像とを加算することにより、フレーム画像に復号化される。この復号化されたフレーム画像（復号化画像）は、フィルタ処理制御部１６６０の制御によりスイッチ１６３１，１６３２がＯＮされている場合には画素間フィルタ１６４０によってブロック歪みを除去するフィルタ処理が施された後、後処理部１６７０において画像の順番が元に戻されたり、フォーマット変換され、モニタ等に出力されると共に、参照可能性を有する復号化画像は画像メモリ１６４１に格納される。これに対してスイッチ１６３１，１６３２がＯＦＦされている場合にはフィルタ処理が施されることなく、後処理部１６７０において画像の順番が元に戻されたり、フォーマット変換され、モニタ等に出力されると共に、参照可能性を有する復号化画像は、画像メモリ１６４１に格納される。ここで、画像符号化装置１５００のスイッチ１５３１，１５３２の場合と同様に、スイッチ１６３１，１６３２は、フィルタ処理制御部１６６０によりＯＮ／ＯＦＦ制御されている。

すなわち、フィルタ処理制御部１６６０のスイッチ切換処理部は、ピクチャの符号化ごとにそのピクチャの優先度と、この画像復号化装置１６００が備えるＣＰＵの稼働率とを取得し、ＩＰＢ符号化モード用のテーブルの参照するエントリーを決定し、そのエントリーの右欄を読み出し、復号化画像のピクチャタイプに設定された優先度が右欄にあるかどうか判断する。右欄にあれば、フィルタ処理制御部１６６０のスイッチ切換処理部は、スイッチオンの信号をスイッチ１６３１，１６３２に出力する。これにより復号化画像にフィルタ処理が施され、フィルタ処理が施された復号化画像が画像メモリ１６４１に格納される。これに対して、右欄になければ、フィルタ処理制御部１６６０のスイッチ切換処理部は、スイッチオフの信号をスイッチ１６３１，１６３２に出力する。これにより復号化画像に対するフィルタ処理がスキップされ、フィルタ処理を施さずに復号化画像が画像メモリ１６４１に格納される。

このような制御がピクチャごとに行われ、フィルタ処理が施された復号化画像やフィルタ処理が施されない復号化画像が順次画像メモリ１６４１に格納される。

従って、画像復号化において、常に、ノイズ除去等の画素間フィルタをかけるのではなく、必要に応じて、選択的に画素間フィルタをかけることができるので、例えば、画質に大きく影響するフレーム画像だけに対して画素間フィルタをかけることで、処理能力が小さい画像復号化装置であっても画像メモリに格納される重要なフレームの画質を維持し、画像メモリに格納された復号化画像にブロック歪みが蓄積されることが少なくなり、動き補償部による予測効率が向上され、ＭＰＥＧの技術よりも画質劣化を減少させることができ、低ビットレートで高い画質改善効果が得られる。

すなわち、他のフレーム画像に対して大きい影響度を持つフレーム画像、つまり、画面内符号化フレーム画像、前方向予測符号化フレーム画像、ベース・レイヤフレーム画像等について優先的に画素間フィルタが施されるので、同じ処理負荷の増大に対して、より有効に画素間フィルタによるノイズ除去等の画質改善効果を得ることができる。

また、画像復号化装置の処理能力がフルに発揮されるように、フィルタ処理のＯＮ／ＯＦＦを制御することができるので、高い効率でＣＰＵが使用されることとなり、同じハードウェア資源であっても、高画質の復号化が実現される。

なお、本発明は、このような画像符号化装置や画像復号化装置として実現することができるだけでなく、これらの装置が備える特徴的な手段をステップとする画像符号化方法や画像復号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

（実施の形態５）
さらに、上記各実施の形態で示した画像符号化方法または画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図１８は、上記実施の形態１から実施の形態２の画像符号化方法または画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。

図１８（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１８（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての画像符号化方法が記録されている。

また、図１８（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての画像符号化方法または画像復号化方法をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

図１９から図２２は、上記実施の形態で示した符号化処理または復号化処理を行う機器、およびこの機器を用いたシステムを説明する図である。

図１９は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４を介して、コンピュータex１１１、ＰＤＡ（Personal Digital Assistant）ex１１２、カメラex１１３、携帯電話ex１１４が接続される。しかし、コンテンツ供給システムex１００は図１９のような組み合わせに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、電話網ex１０４に直接接続されてもよい。

カメラex１１３はディジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はディジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

図２０は、携帯電話ex１１５の一例を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キー群から構成される本体部ex２０４、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記憶メディアex２０７、携帯電話ex１１５に記憶メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記憶メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

さらに、携帯電話ex１１５について図２１を用いて説明する。携帯電話ex１１５は表示部ex２０２及び本体部ex２０４の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声データを音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声データに変換した後、これを音声出力部２０８を介して出力する。さらに、データ通信モード時に電子メールを送信する場合、本体部ex２０４の操作キーの操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、カメラ部ex２０３から供給された画像データを上記実施の形態で示した符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信データを変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。

また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより符号化画像データと音声データとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、符号化画像データを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２２に示すようにディジタル放送用システムにも上記実施の形態の少なくとも符号化方法または復号化方法いずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクex４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダex４２０がある。更にＳＤカードex４２２に記録することもできる。レコーダex４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクex４２１やＳＤカードex４２２に記録した画像信号を再生し、モニタex４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図２１に示す携帯電話機ex１１５と同様であるが、図２１に示した構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ex３１２を除いた構成が考えられる。同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。

また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、本明細書に示した符号化方法、復号化方法を実装することにより本実施の形態で示したいずれの装置・システムに関しても実現可能になる。

１０１ 差分器
１０２ 画像符号化部
１０４ 画像復号化部
１０５ 加算器
１０７ 画像メモリ
１０８ ピクチャ間予測部
１０９ ピクチャ間予測推定部
３００ 画像符号化装置
３０１ スイッチ
３０２ スイッチ
３０３ 画素間フィルタＡ
３０４ 画素間フィルタＢ
３０５ 可変長符号化部
Img 画像データ
FilterType1 フィルタ種別データ
Res 差分画像データ
Bitstream1 符号化データ
PredParam 予測パラメータデータ
CodedRes 差分画像符号化データ
FilteredImg1 フィルタ済復号化画像データ
Ref 参照画像データ
Recon 復号化画像データ

Claims (1)

1. 入力画像を符号化した符号化ピクチャと、他の情報とを含む符号化データと、音声信号を符号化した音声データとが多重化された多重化データが記録された記録媒体と、前記記録媒体から前記多重化データを復号化する復号化装置とから構成される復号化システムであって、
   前記記録媒体に記録された前記多重化データに含まれる前記符号化データと、前記音声データは、符号化装置により符号化されており、
   前記符号化装置は、
   前記入力画像を符号化して符号化ピクチャを生成する符号化手段と、
   前記符号化ピクチャを復号化して復号化画像を生成する第１の復号化手段と、
   前記第１の復号化手段で得られた復号化画像が参照画像として使用される場合は画素間フィルタを用いて前記復号化画像をフィルタリングして出力し、前記第１の復号化手段で得られた復号化画像が参照画像として使用されない場合は前記復号化画像をフィルタリングしないで出力する第１のフィルタリング制御手段と、
   前記第１のフィルタリング制御手段でフィルタリングされた復号化画像を参照画像として記憶する第１の記憶手段と、
   前記第１のフィルタリング制御手段で用いた画素間フィルタに関する情報であるフィルタ情報を含む符号化データを生成して出力する可変長符号化手段と、
   音声信号を符号化し音声データを生成して出力する音声符号化手段とを備え、
   前記復号化装置は、
   前記符号化データを復号化して復号化画像を生成する第２の復号化手段と、
   前記第２の復号化手段で得られた復号化画像を、画素間フィルタを切り替えてフィルタリングする第２のフィルタリング制御手段と、
   前記第２のフィルタリング制御手段でフィルタリングされた復号化画像を参照画像として記憶する第２の記憶手段と、
   前記音声データを復号化して音声信号を生成する音声復号化手段とを備え、
   前記第２のフィルタリング制御手段は、前記第２の復号化手段で得られた復号化画像が参照画像として使用されない場合には前記フィルタリングを行わず、前記第２の復号化手段で得られた復号化画像が参照画像として使用される場合に前記フィルタリングを行う
   ことを特徴とする復号化システム。

Images