JP4244901B2 - 符号化装置及び符号化プログラム - Google Patents

Description

本発明は符号化装置及び符号化プログラムに係り、特に動画像に対して符号化を行う際に、動画像の時間方向に存在するフレーム間に対して動き補償を行うと共に、フレーム間のサブバンド分割を行う、動き補償時間方向フィルタ処理（以降、ＭＣＴＦ）により符号化信号を得る符号化装置及び符号化プログラムに関する。

従来の動画像符号化に代表されるＭＰＥＧ（Moving Picture Experts Group）−１，ＭＰＥＧ−２，ＭＰＥＧ−４などで用いられる動き補償は、ＭＰＥＧ−４ Ｐａｒｔ１０のように複数の参照フレームを持つことで参照フレームの選択に自由度を持たせ、符号化効率の向上を図っているが、特定のフレーム間の動き補償を行った後に差分を符号化するという基本的な構成において大きな変化を遂げてはいない。

近年、３次元ＤＣＴ（Discrete Cosine Transform:離散コサイン変換）や３次元ウェーブレット変換（wavelet transformation）などに代表されるように、動き補償予測を行いつつ、時間方向の直交変換を行う符号化方式の検討が各種行われている（例えば、特許文献１、特許文献２参照）。

更に、従来の構成とは違う構成によってフレーム間の符号化を行う動き補償時間方向フィルタ処理（ＭＣＴＦ）という方法が検討されている（例えば、非特許文献１、非特許文献２参照）。このＭＣＴＦは、複数のフレームによって構成されたＧＯＰ（Group of Picture）を単位として処理を行い、このＧＯＰに対してフレーム間の動き補償、及びフレーム間のサブバンド分割を行うことにより、より効率的な符号化を目指している。

図１４は、従来の一般的なＭＣＴＦを用いた符号化装置のブロック図を示す。同図に示すように、従来の符号化装置は、少なくとも入力管理部１０２、ＭＣＴＦ部１０３、量子化部１０４、エントロピー符号化部１０５及び多重化（ＭＵＸ）部１０６より構成される。

入力管理部１０２は、入力される動画像フレーム１０１の管理を行う機能を有する。一般に、この入力管理部１０２は、入力される動画像フレーム１０１からＧＯＰを構成するために必要なフレーム数を取得し、後述するＭＣＴＦ部１０３に対して処理対象となるフレームを通知する機能を有する。

ＭＣＴＦ部１０３は、入力管理部１０２によって管理されているＧＯＰ内のフレームから処理対象となる少なくとも２枚のフレーム（Ｎ−１フレームとＮフレーム）を取得する機能を有する。ここで、Ｎ−１フレーム側は動き補償される側のフレームであるものとし、Ｎフレーム側は動き推定（以降、ＭＥとする）及び動き補償（以降、ＭＣとする）を行う際の基準となるフレームであるものとする。

また、ＭＣＴＦ部１０３は、Ｎ−１フレーム、Ｎフレームに対してＭＥを行うことで、動きベクトル情報を取得する機能と、取得した動きベクトル情報を、後述のエントロピー符号化部１０５に通知する機能とを有する。更に、ＭＣＴＦ部１０３は、取得した動きベクトルを用いてＮ−１フレームからＭＣを行い、動画像の時間方向に存在するＮ−１フレーム内の各画素とＮフレーム内の各画素との対応関係を求めた後、この対応関係にある各画素に対してフレーム間のサブバンド分割を行う。

そして、ＭＣＴＦ部１０３は、サブバンド分割によって得られるＬ成分をＮ−１フレームの対応する位置に格納し、Ｈ成分をＮフレームの対応する位置に格納する操作をフレーム内の全画素に対して行うことでＭＣＴＦの処理を完了する。次の処理対象となる少なくとも２枚のフレームが存在する場合には、入力管理部１０２から取得し、上述の処理を繰り返すことでＭＣＴＦの処理を継続する。

量子化部１０４は、ＭＣＴＦ部１０３から出力されるＭＣＴＦ後の係数情報に対して、所定の量子化を行う機能と、量子化後の係数情報を後述のエントロピー符号化部１０５に通知する機能を有する。

エントロピー符号化部１０５は、量子化部１０４から通知される量子化後の係数情報と、ＭＣＴＦ部１０３から通知される動きベクトル情報とを取得し、取得した量子化後の係数情報と動きベクトル情報に対してエントロピー符号化を行い、係数情報ビット列、動きベクトル情報ビット列を生成する。エントロピー符号化部１０５は、生成した係数情報ビット列、動きベクトル情報ビット列を後述のＭＵＸ部１０６に通知する。ＭＵＸ部１０６は、取得した係数情報ビット列、動きベクトル情報ビット列と、復号時に必要となる各種の制御情報を多重化してビットストリームを生成し、符号化出力する。

図１５は、図１４に示した従来の一般的なＭＣＴＦを用いた符号化装置の動作を説明するフローチャートである。以下に図１４に示す従来の一般的なＭＣＴＦを用いた符号化装置の動作を図１５と共に説明する。まず、入力管理部１０２は、入力される動画像フレーム１０１から１ＧＯＰを満たす分の動画像フレームを蓄積する（ステップＳ１０１）。入力管理部１０２は、１ＧＯＰの処理に必要なフレーム数を蓄積すると、ＭＣＴＦ部１０３に処理対象となる少なくとも２フレームを通知する。

ＭＣＴＦ部１０３は、入力管理部１０２から処理対象となる少なくとも２フレーム（Ｎ−１フレームとＮフレーム）を取得し、ＭＣＴＦ処理を行う（ステップＳ１０２）。１ＧＯＰ内で必要なＭＣＴＦ処理が完了すると、ＭＣＴＦ部１０３は、サブバンド分割後の係数情報を量子化部１０４に供給すると共に、ＭＥによって取得した動きベクトル情報を、エントロピー符号化部１０５に供給する。

量子化部１０４は、ＭＣＴＦ部１０３から取得したサブバンド分割後の係数情報の量子化を行う（ステップＳ１０３）。量子化後の係数情報は、エントロピー符号化部１０５に供給される。

エントロピー符号化部１０５は、量子化部１０４から量子化後の係数情報を取得すると共に、ＭＣＴＦ部１０３から動きベクトル情報を取得し、それぞれの情報に対して所定のエントロピー符号化を行う（ステップＳ１０４）。その後、エントロピー符号化部１０５は、エントロピー符号化によって得られる係数情報ビット列と動きベクトル情報ビット列とをＭＵＸ部１０６に供給する。

ＭＵＸ部１０６は、エントロピー符号化部１０５から取得した係数情報ビット列及び動きベクトル情報ビット列に、復号時に必要となる各種の制御情報を多重化してビットストリームを生成する（ステップＳ１０５）。ＭＵＸ部１０６は、生成したビットストリームを符号化結果として出力することで、一連の符号化処理が完了する。

特開平６−１４１３０１号公報 特開平６−２１７２９１号公報 Jens-Rainer Ohm,鄭dvanced Packet Video Coding Based on Layered VQ and SBC Techniques IEEE Trans.Circuits Syst.Video Technol.,VOL.3,JUNE 1993 Seung-Jong Choi and John W.Woods,溺otion-Compensated 3-D Subband Coding of Video IEEE TRANSACTIONS ON IMAGE PROCESSING,VOL.8,NO.2,FEBRUARY 1999

従来の符号化装置のＭＣＴＦ部１０３による動き補償時間方向フィルタ処理（ＭＣＴＦ）においては、Ｎ−１フレーム側が動き補償（ＭＣ）される側のフレーム、Ｎフレーム側が動き推定（ＭＥ）及びＭＣを行う際の基準となるフレームであるものとすると、まず、Ｎ−１フレーム、Ｎフレームに対してＭＥを行うことで、動きベクトル情報を取得する。次に、取得した動きベクトル情報を用いてＮ−１フレームからＭＣを行い、Ｎ−１フレーム内の各画素とＮフレーム内の各画素との対応関係を求める。その後、この対応関係にある各画素に対してサブバンド分割を行う。サブバンド分割によって得られるＬ成分の係数情報をＮ−１フレームの対応する位置に格納し、Ｈ成分の係数情報をＮフレームの対応する位置に格納する。この操作をフレーム内の全画素に対して行う。

ここで、Ｌ成分の係数情報をＮ−１フレームに対応する位置に格納する際に、Ｎ−１フレーム内の同じ位置の画素に対して、複数のＬ成分の係数情報が対応している場合がある。これは、ＭＣを行う際に、Ｎ−１フレーム内の同じ領域が、ＭＣによって多重に参照されて、Ｎフレーム内の複数の領域との対応関係をもつことに起因する。このような多重参照領域において、サブバンド分割によって得られる複数のＬ成分の係数情報は、一般に、複数のＬ成分の係数情報から所定の選択方法に基づいて選択され、多重参照領域に格納される。

この場合、通常は、格納先となる多重参照領域の画素に対して、空間方向の位置に最も近いＮフレーム内の画素とサブバンド分割を行って生成したＬ成分の係数情報を格納する。Ｈ成分の係数情報はＮフレーム側に格納する。このようにして、Ｌ成分の係数情報が格納されたＬ成分フレームであるＮ−１フレームと、Ｈ成分の係数情報が格納されたＨ成分フレームであるＮフレームをＭＣＴＦの結果として出力する。

次に、多重参照領域に対して上述の方法を採用して符号化を行い、復号化を行うことを考える。復号化側では、多重参照領域に関係する動きベクトル情報を全て特定した後に、空間方向の位置から最も近い領域を示す動きベクトル情報を特定し、多重参照領域に最も近いＮフレーム側の対応する画素とサブバンド合成を行う。その後、残りの多重参照領域に関係するＮフレーム間のＨ成分の係数情報に対しては、サブバンド合成の変換式を変形して利用することで、既に復号化されたＮ−１フレーム側の画素と、対応するＮフレーム側のＨ成分の係数情報とからＮフレーム側の画素を合成することで、可逆復号を可能にしている。

このように、従来は復号化におけるサブバンド合成を行う際に、多重参照関係にある画素間や係数情報間には、ある特定の係数間で処理を行った後、その結果を利用して他の係数間の処理を行うといった処理の依存関係が存在する。

よって、従来は、ある特定の係数間での処理が完了するまでは、その結果を利用しなければならない他の係数間の処理を行うことはできないため、通常行われる画面の左上から右下方向のラスタ順によって各領域に対して順次サブバンド合成を行うことができないという問題が生じる。同様に、このような処理の依存関係により、それぞれの領域を単独でサブバンド合成することが困難であるという問題が生じる。

また、従来は、ある特定の係数間での処理が完了するまで他の処理を待避させる必要があるため、単独でサブバンド合成を行う場合と比較してメモリの利用効率が低下するという問題が生じる。また、それぞれの領域を単独でサブバンド合成することが困難であるため、復号化時の処理の流れや復号化装置の構成が複雑になる。

更に、それぞれの領域を単独でサブバンド合成することが困難であるため、サブバンド合成の処理を並列化することが難しく、並列化によって単位時間当りの処理量を増やして復号化処理の高速化を図ることができないという問題が生じる。

本発明は以上の点に鑑みなされたもので、サブバンド合成を行う際に、多重参照関係にある画素間や係数情報間に存在する処理の依存関係を考慮することなく、各領域のサブバンド合成を単独で行うことができる符号化装置及び符号化プログラムを提供することを目的とする。

また、本発明の他の目的は、ＭＣＴＦを行う際に、対応する画素間が多重参照している部分に対して予め多重参照によって生じる誤差成分を考慮して、時間方向に対するサブバンド分割を行う際に、この誤差成分をサブバンド分割後の係数に反映し、復号時に発生する誤差を相殺することで、復号化側で逆ＭＣＴＦを行った場合でも可逆復号を可能とする構成を維持しつつ、サブバンド合成を行う際に、多重参照関係にある画素間や係数情報間に存在する処理の依存関係を考慮することなく、各領域のサブバンド合成を単独で行うことができる符号化装置及び符号化プログラムを提供することにある。

本発明の符号化装置は上記の目的を達成するため、符号化対象の動画像信号の時間方向に存在する異なる２つのフレームの一方を基準フレームとして他方のフレームの動き補償を行い、動き補償後の他方のフレームと基準フレームの対応する画素同士で直交変換して、２つの分割周波数帯域にサブバンド分割された低域側分割周波数帯域のＬ成分フレームと高域側分割周波数帯域のＨ成分フレームとからなるフレーム列信号を得る動き補償時間方向フィルタ処理を行い、フレーム列信号に対して量子化を行う符号化装置であって、異なる２つのフレームの一方を基準フレームとして他方のフレームの動きを推定して、基準フレームと他方のフレームの対応する各ブロックの相対位置関係を示す動きベクトル情報を取得する動き推定手段と、動きベクトル情報に基づいて、他方のフレームの動きを補償する動き補償手段と、動き補償後の他方のフレームと基準フレームの対応する画素同士で直交変換して、２つの分割周波数帯域にサブバンド分割された、低域側分割周波数帯域のＬ成分の係数情報を格納したＬ成分フレームと高域側分割周波数帯域のＨ成分の係数情報を格納したＨ成分フレームを生成するフレーム間符号化手段と、Ｌ成分フレームに対して、動き推定手段によって取得した動きベクトル情報を逆方向に適用して動き補償すると共に、当該逆方向の動き補償によって画素が配置されていない領域に関する画素補間領域情報を出力する逆動き補償手段と、逆動き補償手段からの逆方向の動き補償されたＬ成分フレームと、画素補間領域情報とを入力として受け、逆方向の動き補償されたＬ成分フレームの、画素補間領域情報により特定された逆方向の動き補償によって画素が配置されていない領域に、所定の補間方法により画素を補間する画素補間手段と、画素補間手段により画素補間された逆方向の動き補償されたＬ成分フレームと、フレーム間符号化手段により生成されたＨ成分フレームとからなるフレーム列信号を出力する出力手段とを有することを特徴とする。

この発明では、Ｌ成分フレームについてはそれぞれのフレームが属していたフレーム位置の状態に戻すために動きベクトルを逆方向に適用した逆方向の動き補償を行ってから画素補間し、このＬ成分フレームとＨ成分フレームとからなるフレーム列信号を符号化のための信号として出力するようにしているため、復号化装置側でサブバンド合成を行う場合は、多重参照関係にある画素間や係数情報間に存在する処理の依存関係を考慮することなく、上記のＬ成分フレームとＨ成分フレームとを互いに並行して処理してサブバンド合成できる。

また、上記の目的を達成するため、本発明の符号化装置は、動き推定手段から取得した動きベクトル情報と基準フレームとに基づいて、動き推定手段により他方のフレームの動き補償を行った際に多重参照される基準フレームの領域を特定して多重参照領域情報を生成する重なり判定手段と、フレーム間符号化手段により生成されたＬ成分フレームに含まれる、多重参照領域情報に基づいて検出した多重参照された領域内の各画素のうち、逆動き補償手段によって逆方向の動き補償されたＬ成分フレームの重なり領域部に格納される画素に相当する第１のＬ成分の係数情報と、重なり領域部に格納されなかった画素に相当する第２のＬ成分の係数情報との差である誤差情報を求め、その誤差情報を第２のＬ成分の係数情報に対応するＨ成分の係数情報に付加することによって誤差の補正されたＨ成分フレームを得る誤差補正手段とを更に有し、出力手段は画素補間手段により画素補間された逆方向の動き補償されたＬ成分フレームと、誤差補正手段により誤差の補正されたＨ成分フレームとからなるフレーム列信号を出力する構成としたものである。

この発明では、ＭＣＴＦを行う際に画素間の多重参照によって生じる誤差成分を考慮して、時間方向に対するサブバンド分割による帯域分割を行う際に、この誤差成分を帯域分割法の係数に反映し、復号時に発生する誤差を相殺することができる。

また、上記の目的を達成するため、本発明の符号化プログラムは、符号化対象の動画像信号の時間方向に存在する異なる２つのフレームの一方を基準フレームとして他方のフレームの動き補償を行い、動き補償後の他方のフレームと基準フレームの対応する画素同士で直交変換して、２つの分割周波数帯域にサブバンド分割された低域側分割周波数帯域のＬ成分フレームと高域側分割周波数帯域のＨ成分フレームとからなるフレーム列信号を得る動き補償時間方向フィルタ処理を行い、フレーム列信号に対して量子化を行う符号化装置を実現するための符号化プログラムであって、第１の発明又は第２の発明の符号化装置を構成する各手段をコンピュータにより機能させることを特徴とする。

本発明によれば、復号化装置側で合成を行う際に、多重参照関係にある画素間や係数情報間に存在する処理の依存関係を考慮することなく、各領域のサブバンド合成を単独で行うことができるような符号化信号出力を得られるため、処理の依存関係により、それぞれの領域を単独でサブバンド合成することを困難にするという従来の問題を解決できると共に、所定の順序で順次サブバンド合成ができる。

また、本発明によれば、従来のような、ある特定の係数間での処理が完了するまで他の処理を待避させることを不要としたため、従来に比べてメモリの利用効率を向上できる。また、本発明によれば、それぞれの領域を単独でサブバンド合成することができるため、復号化時の処理の流れや復号化装置の構成が簡単にすることができる。

また、本発明によれば、サブバンド合成の処理を並列化することできるため、並列化によって単位時間当りの処理量を増やして復号化処理の高速化を図ることができる。

また、本発明によれば、ＭＣＴＦを行う際に、対応する画素間が多重参照している部分に対して予め多重参照によって生じる誤差成分を考慮して、時間方向に対するサブバンド分割を行う際に、この誤差成分をサブバンド分割後の係数に反映し、復号時に発生する誤差を相殺するようにしたため、復号化側で逆ＭＣＴＦを行った場合でも可逆復号を維持しつつ、サブバンド合成を行う際に、多重参照関係にある画素間や係数情報間に存在する処理の依存関係を考慮することなく、各領域のサブバンド合成を単独で行うことができるため、通常行われる左上から右下にかけてラスタ順によって各領域に対して順次サブバンド合成を行うことができる。

更に、本発明によれば、処理の依存関係がないため、復号化側で逆ＭＣＴＦを行った場合でも、可逆復号を維持しつつ、それぞれの領域を単独でサブバンド合成ができ、メモリの利用効率を向上でき、復号化装置を簡単な構成にでき、更に並列化によって単位時間当りの処理量を増やして復号化処理の高速化を実現できる。

次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる符号化装置の一実施の形態のブロック図を示す。同図中、図１４と同一構成部分には同一符号を付してある。本実施の形態は、動き補償時間方向フィルタ処理（ＭＣＴＦ）を行う符号化装置において、ＭＣＴＦ部２００の構成に特徴がある。

本実施の形態の符号化装置は、図１に示すように、入力管理部１０２、ＭＣＴＦ部２００、量子化部１０４、エントロピー符号化部１０５及びＭＵＸ部１０６から構成されている。また、ＭＣＴＦ部２００は、ＭＥ部２０１、ＭＣ部２０２、フレーム間符号化部２０３、制御部２０４、重なり特定部２０５、誤差補正部２０６、フレーム間符号化管理部２０７、逆ＭＣ部２０８及び画素補間部２０９によって構成される。

図２は本発明になる符号化装置の他の実施の形態のブロック図を示す。同図中、図１と同一構成部分には同一符号を付し、その説明を省略する。図２に示す他の実施の形態の符号化装置は、必ずしも復号時に可逆復号である必要がない場合の符号化装置である。この図２の符号化装置のＭＣＴＦ部３００は、図１のＭＣＴＦ部２００において設けられている重なり特定部２０５及び誤差補正部２０６を有しておらず、ＭＥ部２０１の出力信号は直接フレーム間符号化管理部３０２に供給され、制御部３０１には誤差補正部２０６の出力信号は供給されない。

必ずしも可逆復号である必要がない場合の図２の符号化装置においては、図１に示される重なり特定部２０５、誤差補正部２０６に関する処理を省略することで本発明を実現することができるため、図２の構成についての説明は省略し、以後の説明は、復号化側において可逆復号が必要となる場合の、図１の符号化装置の構成について行う。

図１において、入力管理部１０２は、入力される動画像フレーム１０１の管理を行う機能を有する。一般に、この入力管理部１０２は、入力される動画像フレーム１０１からＧＯＰを構成するために必要なフレーム数を取得し、後述するＭＥ部２０１、ＭＣ部２０２、フレーム間符号化部２０３、画素補間部２０９に対して、処理対象となるフレームを供給する機能を有する。

ＭＥ部２０１は、入力管理部１０２から取得した少なくとも２フレーム（Ｎ−１フレームとＮフレーム）を利用して、動き推定（ＭＥ）を行う。ここで、Ｎ−１フレーム側は動き推定を行う際に動きベクトル探索される側のフレームであるものとし、Ｎフレーム側は動き推定を行う際の基準となるフレームであるものとする。一般に、ＭＥ部２０１は、動き推定（ＭＥ）を行う際に、Ｎ−１フレームに対して領域外参照を許容するために、フレームの外側の領域を拡張するための所定のパディング処理を行う。しかし、動き推定（ＭＥ）を行う際に領域外参照を禁止するようにしてもよい。領域外参照を禁止した場合には、必ずしも所定のパディング処理を行わなくてもよい。

また、ＭＥ部２０１は、Ｎフレーム側では、フレームを所定の領域分割方法に基づいて各領域間が重複しないように複数の基準領域に分割する。所定の領域分割方法によって分割される基準領域の形状は、一般には所定の矩形ブロックであり、基準フレームは、この複数に分割された矩形ブロック基準領域の集合で表現できる。そして、ＭＥ部２０１は、このＮフレーム側で分割した各基準領域に対して、対応する領域の位置をＮ−１フレーム内からそれぞれの基準領域に対して最も適合した領域を探索することで動きベクトル情報を求める。

ＭＥ部２０１は、求めた動きベクトル情報をＭＣ部２０２、重なり特定部２０５、逆ＭＣ部２０８、エントロピー符号化部１０５にそれぞれ供給する。また、ＭＥ部２０１は、パディング処理後のＮ−１フレームをＭＣ部２０２、逆ＭＣ部２０８に供給する機能を有してもよい。更に、ＭＥ部２０１は、Ｎフレームにおける基準領域の形状に関する情報をＭＣ部２０２、重なり特定部２０５、逆ＭＣ部２０８にそれぞれ供給する機能を有してもよい。

ただし、ここでは以後の説明を簡単にするため、基準領域の形状は予め符号化装置及び復号化装置で決められた所定の４画素×４画素のブロック形状であるものとし、基準領域の形状情報の授受に関しては言及する必要がないものとする。

ＭＣ部２０２は、入力管理部１０２からＮフレームとＮ−１フレームを取得する機能と、ＭＥ部２０１から動きベクトル情報を取得する機能を有する。また、ＭＣ部２０２は、必要であれば、ＭＥ部２０１からパディング処理後のＮ−１フレームを取得する機能を有してもよい。また、ＭＣ部２０２は、通常は、領域外参照を許容するために、フレームの外側の領域を拡張するための所定のパディング処理を、取得したＮ−１フレームに対して行う。しかし、領域外参照を禁止してもよく、その場合には、必ずしも所定のパディング処理を行わなくてもよく、入力管理部１０２から取得したＮ−１フレームをパディング後のＮ−１フレームとして利用する。

ＭＣ部２０２は、パディング処理後のＮ−１フレーム、対応する領域の形状情報、動きベクトル情報に基づいて動き補償フレーム（以降、ＭＣフレーム）を生成する機能を有する。ＭＣ部２０２は、フレーム間符号化部２０３に対してＮ−１フレームを基に生成したＭＣフレームを供給する機能を有する。

フレーム間符号化部２０３は、入力管理部１０２からＮフレーム、ＭＣ部２０２からＭＣフレームを取得し、その取得したＭＣフレームとＮフレームに対して、所定のサブバンド分割によって帯域分割（ここでは、２分割）を行うと共に、得られるＬ成分をＭＣフレーム側に格納し、得られるＨ成分をＮフレーム側に格納する。更に、フレーム間符号化部２０３は、Ｎフレーム側に格納したＨ成分フレームを誤差補正部２０６に通知すると共に、ＭＣフレーム側に格納したＬ成分フレームを逆ＭＣ部２０８に通知する。

制御部２０４は、少なくともフレーム間符号化部２０３、誤差補正部２０６、フレーム間符号化管理部２０７、逆ＭＣ部２０８、画素補間部２０９の動作をそれぞれ制御する機能を有する。制御部２０４は、誤差補正部２０６と逆ＭＣ部２０８に対しては、逆ＭＣする際の各基準領域の重なり順序情報を通知する機能を有してもよい。ただし、ここでは以後の説明を簡単にするため、各基準領域の重なり順序情報は、予め符号化装置及び復号化装置で決められた所定の順序であるものとし、各基準領域の重なり順序情報の授受に関しては言及する必要がないものとする。ここでの所定の順序は、画面の左上に配置される基準領域から右下に向かってラスタ順に処理を行うものとする。

制御部２０４は、現在処理しているフレームのＧＯＰ内の位置とフレーム間の帯域分割の状態から、処理後のフレームの格納位置を管理する。また、制御部２０４は、フレーム間符号化管理部２０７に対して、帯域分割の状態を示す帯域分割状態情報とフレーム格納位置情報を通知する。制御部２０４は、画素補間部２０９に対して、画素を補間する方法を切り替えるための画素補間モード情報を通知してもよい。

ただし、ここでは以後の説明を簡単にするため、画素補間モード情報は、予め符号化装置及び復号化装置で決められた所定の画素補間方法であるものとし、画素補間モード情報の授受に関しては言及する必要がないものとする。ここでの画素補間方法は、Ｎ−１フレーム側の補間対象となる位置の画素を用いるものとする。

重なり特定部２０５は、入力管理部１０２からＮフレーム、ＭＥ部２０１から動きベクトル情報を取得し、その取得した動きベクトル情報と基準領域の形状情報から、ＭＥ部２０１でＮ−１フレームの動き補償を行った際に、多重参照される領域（以降、多重参照領域とする）を特定し、多重参照領域情報を生成する。

また、重なり特定部２０５は、サブバンド分割された２つの分割周波数帯域のうちの低域分割周波数帯域のＬ成分フレームに対して、取得した動きベクトル情報を逆方向に適用した動き補償、つまり逆動き補償（以降、逆ＭＣ）を行った際に、どの基準領域が、どの多重参照領域に逆ＭＣされるかを特定し、対応する多重参照領域と複数の基準領域との関連を表すための情報である多重参照領域−基準領域関係情報を生成する。

更に、重なり特定部２０５は、多重参照領域に逆ＭＣされる各基準領域において、各基準領域内におけるどの部分が多重参照領域に関与しているかを特定し、後述する誤差補正部２０６が誤差を補正する対象となる部分を示すための情報として誤差補正対象領域情報を生成する。重なり特定部２０５は、このようにして生成した多重参照領域情報、多重参照領域−基準領域関係情報及び誤差補正対象領域情報を、それぞれ誤差補正部２０６に供給する。

誤差補正部２０６は、重なり特定部２０５から供給された多重参照領域情報、多重参照領域−基準領域関係情報及び誤差補正対象領域情報を入力として受け、これらの入力情報からサブバンド分割された２つの分割周波数帯域のうちの高域分割周波数帯域のＨ成分フレームの多重参照領域と関係している基準領域中の誤差補正対象領域に対して、誤差を補正するための誤差情報を算出する。誤差情報の算出過程の詳細は後述するためここでは省略する。

また、誤差補正部２０６は、算出した誤差情報を、フレーム間符号化部２０３から取得したＨ成分フレームの誤差補正が必要な領域に対して付加し、その誤差補正を行ったＨ成分フレームをフレーム間符号化管理部２０７に通知する。

フレーム間符号化管理部２０７は、誤差補正部２０６から誤差補正を行ったＨ成分フレームを取得し、画素補間部２０９から画素補間を行ったＬ成分フレームを取得し、制御部２０４から帯域分割状態情報とフレーム格納位置情報とを取得する。その後、フレーム間符号化管理部２０７は、帯域分割状態情報とフレーム格納位置情報とに基づいて、Ｌ成分フレーム、Ｈ成分フレームの正しい位置への格納及び通知を行う。

フレーム間符号化管理部２０７は、上記の各フレームの通知先を帯域分割状態情報に基づいて決定し、ＧＯＰ内のフレーム間に対して帯域分割を行う必要がある場合には、再度入力フレームとして入力管理部１０２に通知し、帯域分割を行う必要がない場合には出力フレームとして量子化部１０４に通知する。

逆ＭＣ部２０８は、入力管理部１０２からＮフレーム、ＭＥ部２０１から動きベクトル情報、フレーム間符号化部２０３からＬ成分フレームを取得し、取得した動きベクトル情報と基準領域の形状情報から、帯域分割後のＬ成分フレームに対して、所定の各基準領域の重なり順序に基づき、取得した動きベクトル情報を逆方向に適用して動き補償を行う機能、つまり逆ＭＣを行い、逆ＭＣ後のＬ成分フレームを生成する。ここで、逆ＭＣを行う際に用いる各基準領域の重なり順序情報を、制御部２０４から取得するようにしてもよい。

そして、逆ＭＣ部２０８は、生成した逆ＭＣ後のＬ成分フレームを画素補間部２０９に供給する。逆ＭＣによって画素が埋められていない（配置されていない）領域に対しては、画素補間部２０９に対して画素補間領域情報を供給するようにしてもよい。ここでは、処理を簡単にするために、画素補間領域情報は、逆ＭＣ後のＬ成分フレームに−１の値を格納し、画素補間部２０９では、この情報を基にして画素補間領域情報を取得することとする。後述において、この画素補間領域情報の授受に関しては言及する必要がないものとする。

画素補間部２０９は、入力管理部１０２からＮ−１フレーム、逆ＭＣ部２０８から逆ＭＣ後のＬ成分フレームを取得し、その取得した逆ＭＣ後のＬ成分フレームにおいて、逆ＭＣによって画素が埋められていない領域に関する情報である画素補間領域情報に基づいて画素の補間を行う。画素が埋められていない領域の判定は、制御部２０４から取得する、もしくは逆ＭＣ部２０８から前記画素補間領域情報を取得してもよい。画素補間部２０９による画素補間後のＬ成分フレームは、フレーム間符号化管理部２０７に供給される。

量子化部１０４は、フレーム間符号化管理部２０７から出力フレームとして得られる係数情報を取得し、その取得した係数情報に対して、所定の量子化を行う。量子化後の係数情報は、エントロピー符号化部１０５に出力される。

エントロピー符号化部１０５は、量子化部１０４からの量子化後の係数情報と、ＭＥ部２０１からの動きベクトル情報とを入力として受け、その入力された各情報に対して各所定のエントロピー符号化を行い、係数情報ビット列、動きベクトル情報ビット列を生成した後、ＭＵＸ部１０６に対して生成した係数情報ビット列及び動きベクトル情報ビット列を出力する。

ＭＵＸ部１０６は、エントロピー符号化部１０５から出力された係数情報ビット列と動きベクトル情報ビット列を取得し、その取得した係数情報ビット列と動きベクトル情報ビット列とに、復号時に必要となる各種の制御情報を多重化（ＭＵＸ）してビットストリーム１０７を生成し、符号化装置の出力信号として出力する。

図３は図１に示した本発明の符号化装置の一実施の形態の動作説明用フローチャートを示す。次に、この図３を用いて図１に示した本発明の符号化装置の一実施の形態の動作を説明する。まず、図１の入力管理部１０２は、入力される動画像フレーム１０１から動画像フレームを取得し（ステップＳ２０１）、１ＧＯＰを満たす分の動画像フレームを蓄積する（ステップＳ２０２）。

続いて、入力管理部１０２は、ＭＣＴＦの対象となるフレーム群であるＮ−１フレームとＮフレームをセットし（ステップＳ２０３）、それらをＭＥ部２０１、ＭＣ部２０２、フレーム間符号化部２０３、重なり特定部２０５、逆ＭＣ部２０８及び画素補間部２０９にそれぞれ供給する。

ＭＥ部２０１は、入力管理部１０２から取得したＮ−１フレームとＮフレームを用いてＭＥを行い、動きベクトルを求める（ステップＳ２０４）。ここで、Ｎ−１フレーム側は動き推定を行う際に動きベクトル探索される側のフレームであるものとし、Ｎフレーム側は動き推定を行う際の基準となるフレームであるものとする。ＭＥ部２０１によって求めた動きベクトル情報は、ＭＣ部２０２、重なり特定部２０５、逆ＭＣ部２０８及びエントロピー符号化部２１２にそれぞれ出力される。

ＭＥ部２０１によって動きベクトル情報が求まると、ＭＣ部２０２は、ＭＥ部２０１から取得した動きベクトル情報に基づいて、入力管理部１０２から取得したＮ−１フレームに対して必要に応じてパディング処理を行った後に、ＭＣを行ってＭＣフレームを作成する（ステップＳ２０５）。ＭＣ部２０２は、作成したＭＣフレームをフレーム間符号化部２０３に出力する。

フレーム間符号化部２０３は、ＭＣ部２０２から供給されたＭＣフレームと、入力管理部１０２から取得したＮフレームとを用いてフレーム間符号化を行い、Ｌ成分フレームとＨ成分フレームを生成する（ステップＳ２０６）。生成したＨ成分フレームは、誤差補正部２０６に供給され、生成したＬ成分フレームは、逆ＭＣ部２０８に供給される。

重なり特定部２０５は、入力管理部１０２からＮフレーム、ＭＥ部２０１から動きベクトル情報を取得する。必要であれば、Ｎフレームを用いて基準領域の形状情報を求める。これらの情報から重なり特定部２０５は、多重参照領域を特定し（ステップＳ２０７）、多重参照領域情報、多重参照領域−基準領域関係情報及び誤差補正対象領域情報をそれぞれ生成する。その後、重なり特定部２０５は、生成した多重参照領域情報、多重参照領域−基準領域関係情報及び誤差補正対象領域情報を誤差補正部２０６に出力する。

次に、誤差補正部２０６は、重なり特定部２０５から取得した各情報に基づき、フレーム間符号化部２０３からのＨ成分フレームの多重参照領域内の画素に対して誤差成分の補正を行う（ステップＳ２０８）。誤差成分の補正を行う際に、必要であれば、制御部２０４から逆ＭＣする際の各基準領域の重なり順序情報を取得し、各基準領域の重なり順序情報を用いて誤差成分の補正を行う。誤差補正部２０６は、誤差成分の補正を行ったＨ成分フレームをフレーム間符号化管理部２０７に出力する。

その後、フレーム間符号化部２０３によって生成された帯域分割後のＬ成分フレームに対して、逆ＭＣ部２０８は、ＭＥ部２０１から取得した動きベクトル情報を逆方向に適用して動き補償を行い（つまり、逆ＭＣを行い）、逆ＭＣ後のＬ成分フレームを生成する（ステップＳ２０９）。ここで、逆ＭＣ部２０８は、逆ＭＣによって画素が埋められていない領域に対しては、逆ＭＣ後のＬ成分フレームに−１の値を格納したものを画素補間領域情報として出力する。逆ＭＣを行う際に、必要であれば、制御部２０４から逆ＭＣする際の各基準領域の重なり順序情報を取得し、各基準領域の重なり順序情報に従って逆ＭＣを行う。逆ＭＣ部２０８は、逆ＭＣ後のＬ成分フレーム及び画素補間領域情報を画素補間部２０９に出力する。

これにより、画素補間部２０９は、逆ＭＣ部２０８から取得した逆ＭＣ後のＬ成分フレームに対して、逆ＭＣで埋めきれなかった画素の補間を行う（ステップＳ２１０）。すなわち、画素補間部２０９は、逆ＭＣ後のＬ成分フレームにおいて、−１の値が格納された位置に対して画素の補間を行う。画素補間部２０９は、画素補間後のＬ成分フレームをフレーム間符号化管理部２０７に供給する。

フレーム間符号化管理部２０７は、誤差補正部２０６からの誤差補正後のＨ成分フレームと、画素補間部２０９からの画素補間後のＬ成分フレームとを取得すると、制御部２０４から取得した帯域分割状態情報とフレーム格納位置情報のうち、帯域分割状態情報に基づいてＬ成分フレーム、Ｈ成分フレームの正しい位置への通知先を決定して格納し、フレーム格納位置情報に基づいて、ＧＯＰ内のフレーム間に対して帯域分割を行うかどうか、すなわち、所定のオクターブ分割数であるかを判定する（ステップＳ２１１）。

フレーム間符号化管理部２０７は、所定のオクターブ分割数に達していない場合には、再度入力フレームとして入力管理部１０２に通知する。また、所定のオクターブ分割数に達しており帯域分割を行う必要がない場合には、係数情報を出力フレームとして量子化部１０４に通知する。

量子化部１０４は、フレーム間符号化管理部２０７から取得した出力フレームとして得られる係数情報に対して、所定の量子化を行う（ステップＳ２１２）。エントロピー符号化部１０５は、ＭＥ部２０１から入力された動きベクトル情報と、量子化部１０４から入力された量子化後の係数情報に対してそれぞれ所定のエントロピー符号化を行い（ステップＳ２１３）、動きベクトル情報ビット列と係数情報ビット列とを生成して、それら生成した動きベクトル情報ビット列と係数情報ビット列をＭＵＸ部１０６に供給する。

ＭＵＸ部１０６は、動きベクトル情報ビット列と係数情報ビット列とを、復号時に必要となる各種の制御情報と共に、符号化出力を行うために多重化し、ビットストリーム１０７を構成する（ステップＳ２１４）。ＭＵＸ部１０６は、生成したビットストリーム１０７を出力することで、一連の符号化処理が完了する。

以上のようなステップＳ２０１〜Ｓ２１４からなる符号化方法に基づいて動作する、図１のような構成を備えた符号化装置を提供することで、ＭＣＴＦを行う際に画素間の多重参照によって生じる誤差成分を考慮して、時間方向に対するサブバンド分割による帯域分割を行う際に、この誤差成分を帯域分割法の係数に反映し、復号時に発生する誤差を相殺することで、復号化側で逆ＭＣＴＦを行った場合でも可逆復号を可能とする構成を維持しつつ、復号時に係数間の依存関係を極力排除できるような符号化出力を得ることができる符号化装置を提供することが可能となる。

次に、フレーム間に対して行われるサブバンド分割において、直交ウェーブレット（ｗａｖｅｌｅｔ）変換のＨａａｒ基底を用いた場合の一般的なオクターブ分割の過程について、図４と共に説明する。まず、図４（Ａ）から同図（Ｃ）までがオクターブ分割の１階分解を行う際の処理過程を示している。ここで、図４に示されているフレームは、０から７番目までの８フレームを１ＧＯＰとし、フレーム間のオクターブ分割はこの１ＧＯＰを単位として行うものとする。また、最初のオクターブ分割１階分解を行う際の対象となるフレーム区間は、１ＧＯＰ全体であるものとする。

まず、ここではｗａｖｅｌｅｔの直交基底にＨａａｒ基底を用いているため、図４（Ａ）において、２フレームを単位として対応する空間位置同士の画素間で直交変換を行う。この直交変換により、Ｌ成分フレームとＨ成分フレームが、図４（Ｂ）に示すように生成される。ここで、「Ｌ１」はオクターブ分割１階分解のＬ成分フレームであり、「Ｈ１」はオクターブ分割１階分解のＨ成分フレームであることを表し、その後の「−番号」は、ＧＯＰ内のフレーム位置を表す。

従って、例えば、「Ｌ１−０」は、Ｌ成分フレーム、オクターブ分割１階分解、ＧＯＰ内の０番目のフレームであり、また、例えば、「Ｈ１−３」は、Ｈ成分フレーム、オクターブ分割１階分解、ＧＯＰ内の３番目のフレームであることを表す。通常、Ｈａａｒ基底による直交変換では、２フレームを単位として変換を行い、図４（Ｂ）に示すように、偶数番目（フレーム位置が０を含む偶数番号）のフレームにＬ成分、奇数番目（フレーム位置が奇数番号）のフレームにＨ成分を格納する。

その後、必要であれば、フレームインターリーブを行う。フレームインターリーブは、図４（Ｃ）に示すように、偶数番目に格納されているＬ成分フレームを現在オクターブ分割の対象となっているフレーム区間の半分から前半に配置し、奇数番目に格納されているＨ成分フレームを現在オクターブ分割の対象となっているフレーム区間の後半に配置する。その後、次のオクターブ分割の対象となるフレーム区間を、図４（Ｄ）に示すようにＬ成分フレームが格納されている０から３フレーム目までとする。

次の、図４（Ｄ）から同図（Ｆ）までは、オクターブ２階分解の処理過程を示している。このオクターブ２階分解では、オクターブ１階分解の場合と同様に、図４（Ｄ）に示す４フレーム分のＬ成分フレームに対して、２フレームを単位として対応する空間位置同士の画素間で直交変換を行い、図４（Ｅ）に示すようにＬ２−０、Ｈ２−１、Ｌ２−２、Ｈ２−３を生成する。

その後、必要であれば、フレームインターリーブを行う。このフレームインターリーブは、図４（Ｆ）に示すように偶数番目に格納されているＬ成分フレームを現在オクターブ分割の対象となっているフレーム区間の半分から前半に配置し、奇数番目に格納されているＨ成分フレームを現在オクターブ分割の対象区間となっているフレーム区間の後半に配置する。

以下同様に、図４（Ｇ）、（Ｈ）に示すようにＬ成分フレームＬ２−０及びＬ２−１に対してオクターブ３階分解を行い、最終的に図４（Ｉ）に示すような１つのＬ成分フレームＬ３−０と７つのＨ成分フレームＨ３−１、Ｈ２−１、Ｈ２−３、Ｈ１−１、Ｈ１−３、Ｈ１−５及びＨ１−７からなる１ＧＯＰ分の係数フレーム列を得ることで、１ＧＯＰのフレーム間符号化が完了する。

次に、本発明のＭＣＴＦの処理過程について図５と共に説明する。図５では、図４に示したような一般的なオクターブ分割の処理過程とは異なり、図５（Ａ）に示すように２フレームを単位として、まず偶数フレームに対して奇数フレームを利用してＭＥ及びＭＣを行う。なお、ここでは、図４と同様に、０から７番目までの８フレームを１ＧＯＰとする。

図５（Ａ）に示す１ＧＯＰを構成する８フレームに対してＭＥ及びＭＣを行い、そのうちＭＣ後のフレームは、図５（Ｂ）に示すように、偶数番号０，２，４，６のフレーム位置に格納する。その後は、ＭＥ及びＭＣを行った後の８フレームに対して、図４で示した通常のオクターブ分割と同様に２フレームを単位として直交変換を行って図５（Ｃ）に示すように、４つのＬ成分フレームと４つのＨ成分フレームを得る。ここで、偶数番号０，２，４，６のフレーム位置のＬ成分フレームは、図５（Ｂ）に示したように偶数番号のフレーム位置に格納されたＭＣ後のフレームである。

その後、図５（Ｄ）に示すようにフレームインターリーブを行う。このフレームインターリーブにより、偶数番号のフレーム位置に格納されているＬ成分フレームが、現在ＭＣＴＦの対象となっているフレーム区間の半分から前半に配置され、奇数番号のフレーム位置に格納されているＨ成分フレームが、現在ＭＣＴＦの対象となっているフレーム区間の半分から後半に配置される。

次に、図５（Ｅ）に示すように、フレームインターリーブ後のＬ成分フレーム列に対して２フレームを単位として逆ＭＣを行う。続いて、この逆ＭＣ後のＬ成分フレーム列に対して、上記と同様にしてＭＥ及びＭＣ、直交変換、フレームインターリーブ、逆ＭＣの処理を繰り返すことで、最終的に図５（Ｆ）に示すような、１つのＬ成分フレームＬ３−０と７つのＨ成分フレームＨ３−１、Ｈ２−１、Ｈ２−３、Ｈ１−１、Ｈ１−３、Ｈ１−５及びＨ１−７からなる１ＧＯＰ分の係数フレーム列を得ることで、１ＧＯＰのフレーム間符号化が完了する。

ここで、従来法との主な相違は、フレーム間の直交変換を行う前後にＭＥ／ＭＣ及び逆ＭＣを行うところにある。オクターブ分割後のＬ成分フレーム列を利用して、時間方向のスケーラビリティを実現しようとした場合、従来法が生成するＬ成分フレームは、フレーム間の動きを考慮して直交変換が行われないため、フレーム間で動きが大きかった部分では輪郭がはっきりとしない、ぶれた画像となるため、フレームレートを落として表示する際のフレームとしては必ずしも有効なフレームとはいえなかった。

これに対し、本発明では、ＭＥ／ＭＣが行われたフレーム間の直交変換を行うことでフレーム間の動きによる影響を最小限に止めると共に、直交変換後のＬ成分フレームに対してそれぞれのフレームが属していたフレーム位置、ここでは偶数番目のフレームの状態に戻すために逆ＭＣを行う。このＭＥ／ＭＣ及び逆ＭＣにより直交変換後のフレーム内の劣化を抑え、逆ＭＣ後のＬ成分フレームは、ぶれのない良好な画像を得ることができる。このようにして生成した逆ＭＣ後のＬ成分フレーム列は、従来法と比べてフレームレートを落として表示する際のフレームとして、より適したフレームとなる。

次に、ＭＣＴＦの処理過程について、図６及び図７を用いて更に詳細に説明する。図６は、ＭＣＴＦの処理過程において、Ｎ−１フレームに対してＭＣを行い、ＭＣ後のフレームとＮフレーム間において空間方向のフレーム間で対応するブロック内の対応する画素同士を直交変換するまでの過程を表す。

図６（Ａ）において、元のＮ−１フレーム６０１の周囲に、フレームの領域外参照を可能にするために拡張したパディング領域６０２がある。このＮ−１フレーム６０１、パディング領域６０２は、ＭＣフレームを作成する際に参照される側のフレームである。一方、図６（Ｂ）はＮフレーム６０７を示しており、ブロック６０８、６１０などを含む。

図６（Ａ）に示すＮ−１フレーム６０１には、ＭＥにより特定したＮフレーム６０７内のブロック６０８の参照領域６０３や、ＭＥにより特定したＮフレーム６０７内のブロック６１０の参照領域６０４がある。また、参照領域６０３と６０４には共に参照する多重参照領域６０５がある。また、Ｎ−１フレーム６０１には、Ｎフレーム６０７の各基準領域によって参照されることのない非参照領域６０６がある。この非参照領域６０６は、逆ＭＣ後に画素の補間が行われる領域である。

一方、図６（Ｂ）に示すＮフレーム６０７は、ＭＣを行う際の基準となるフレームである。Ｎフレーム６０７内のブロック６０８は参照領域６０３に対する基準領域、ブロック６１０は参照領域６０４に対する基準領域である。ここで説明を簡単にするために、基準領域の形状は４画素×４画素の矩形形状であるものとする。

Ｎ−１フレーム６０１に対してＭＣを行った後のフレームは、図６（Ｃ）に６１２で示される。このＭＣ後のフレーム６１２内の領域６１３は、参照領域６０３がＭＣによって再配置された領域であり、領域６１５は、参照領域６０４がＭＣによって再配置された領域である。また、ＭＣ後のフレーム６１２内の領域６１４、６１６は、それぞれＭＣによって多重参照領域６０５が複製された領域である。

また、図６（Ｂ）に示すＮフレーム６０７内の領域６０９は、上記の多重参照領域複製領域６１４に対応する領域であり、複製された多重参照領域と直交変換を行う基準領域である。同様に、Ｎフレーム６０７内の領域６１１は、上記の多重参照領域複製領域６１６に対応する領域であり、複製された多重参照領域と直交変換を行う基準領域である。

以上のような各領域に対し、まず、図６（Ａ）に示すＮ−１フレーム６０１に対してＭＣを行うと、図６（Ｃ）に６１２で示すようなＭＣフレームを得る。ＭＣでは、Ｎフレーム６０７の基準領域６０８に対応する参照領域６０３を、ＭＥによって求めた動きベクトルにより特定し、基準領域６０８に対応する空間位置の領域６１３に再配置する。同様に、基準領域６１０に対応する参照領域６０４を、基準領域６１０に対応する空間位置の領域６１５に再配置する。Ｎフレーム６０７に含まれる各基準領域に対して同様にＭＣを行うことにより、ＭＣフレーム６１２を得ることができる。

このようにして得られたＭＣフレーム６１２と、Ｎフレーム６０７に対して、対応するブロックの画素同士を直交変換する。直交変換後のＬ成分及びＨ成分の格納や、逆ＭＣの処理過程については、図７を用いて説明する。

図７において、直交変換後のＨ成分の係数情報を格納したフレーム（Ｈ成分フレーム）は（Ｂ）に７０１で示され、図６のＮフレーム６０７の位置に格納する。図７（Ｂ）の各領域７０２〜７０５の空間位置は、図６（Ｂ）の各領域６０８〜６１１に対応し、図７の領域７０２は領域６０８に、領域７０３は領域６０９に、領域７０４は領域６１０に、領域７０５は領域６１１にそれぞれ対応する。格納されている情報は、直交変換後のＨ成分の係数情報となっている。

また、直交変換後のＬ成分の係数情報を格納したフレーム（Ｌ成分フレーム）は、図７（Ｃ）に７０６で示され、図６（Ｃ）に示したＭＣ後のフレーム６１２に格納しているものとする。Ｌ成分フレーム７０６の各領域７０７〜７１０の空間位置は、図６（Ｃ）に示したＭＣ後のフレーム６１２の各領域６１３〜６１５に対応し、領域７０７は領域６１３に、領域７０８は領域６１４に、領域７０９は領域６１５に、領域７１０は領域６１６にそれぞれ対応する。Ｌ成分フレーム７０６の各領域７０７〜７１０に格納されている情報は、直交変換後のＬ成分の係数情報となっている。

また、Ｌ成分フレーム７０６を逆ＭＣして生成したＬ成分フレームは、図７（Ａ）に７１１で示され、そのＬ成分フレーム７１１内の領域７１２、７１３、７１４及び７１５のうち、領域７１２は、Ｌ成分フレーム７０６内の領域７０７が逆ＭＣによって再配置された領域であり、領域７１３は、領域７０９が逆ＭＣによって再配置された領域である。また、領域７１４は、ＭＣを行う前のＮ−１フレームの多重参照領域６０５に対応する領域であり、逆ＭＣを行う際に、この領域に対して領域７０８及び７１０の領域が重複する領域である。また、領域７１５は、逆ＭＣによって領域が再配置されず、何らかの画素補間が必要な領域である。

図６（Ｃ）、（Ｂ）に示したＭＣフレーム６１２とＮフレーム６０７との間で、対応するブロックの画素同士で直交変換を行い、直交変換によって生成したＬ成分は、図７（Ｃ）に示すＬ成分フレーム７０６に格納する。また、直交変換によって生成したＨ成分は、図７（Ｂ）に示すＨ成分フレーム７０１に格納する。その後、Ｌ成分フレーム７０６に対して逆ＭＣを行うと、図７（Ａ）に７１１で示すような逆ＭＣ後のＬ成分フレームが得られる。逆ＭＣでは、ＭＥによって求めた動きベクトルをＭＣの時とは逆方向に利用することでＬ成分フレーム７０６内の領域７０７を再配置先である領域７１２に格納する。同様に、Ｌ成分フレーム７０６内の領域７０９を再配置先である領域７１３に格納する。

ここで、逆ＭＣによって領域７０７と領域７０９が重複する領域７１４は、重複している領域７０８と領域７１０に基づいて所定の方法により重複領域７１４に格納する係数情報を決定し、重複領域７１４に格納する。通常は、逆ＭＣによって再配置する領域の所定の重ね合わせ順序に従って、重複領域７１４に対応する領域の画素は上書きすることで格納する係数情報を決定する。

本発明において、逆ＭＣによって再配置する領域の所定の重ね合わせ順序は、画面では左上に配置される基準領域から右下に配置される基準領域へ向かってラスタ順に処理を行うものとする。よって、重複領域７１４は、所定の重ね合わせ順序がラスタ順であるため、領域７０８が格納された後、領域７１０によって上書きされることで格納する係数情報が確定する。その後、領域７１５のような領域に対して、所定の画素補間方法に基づいて画素補間を行う。ここでは、元のＮ−１フレーム６０１内に存在する、領域７１５と同じ空間方向の位置に対応する非参照領域６０６の画素を補間画素として利用する。以上のような処理を行うことで、フレーム間のＭＣＴＦ符号化が完了する。

次に、本発明におけるＭＣＴＦの多重参照領域に対する処理過程について、従来法との違いを明確にするため、図８から図１２を用いて説明する。まず、従来法による多重参照領域の処理過程について、図８、図９、図１０を用いて以下に説明する。図８は、従来法におけるＭＣＴＦ符号化の処理過程を表している。図８（Ａ）は２つの基準領域８０１と８０２からなるＮ−１フレームを示しており、このＮ−１フレームに対してＭＣを行うと、図８（Ｂ）に示すようになる。

ここで、図８（Ａ）に示すＮ−１フレームは、２つの基準領域８０１及び８０２から参照されているため、多重参照領域が存在する。この多重参照領域内のある１画素をここではｄとする。この画素ｄは、多重参照領域内の画素であるため、ＭＣにより図８（Ｂ）に示すように、ｄ_ａとｄ_ｂに複製される。これらの画素ｄ、ｄ_ａ及びｄ_ｂの間では次式の関係が成り立つ。

ｄ＝ｄ_ａ＝ｄ_ｂ （１）
一方、図８（Ｃ）に示すＮフレームの画素のうち、図８（Ｂ）に示したＭＣ後のＮ−１フレーム中の画素ｄ_ａ及びｄ_ｂに対応する画素を、それぞれａ及びｂとすると、それらの画素ａ及びｂの間には、通常、次式（２）が成り立っているものとして話を進める。

ａ≠ｂ （２）
ここで、図８（Ｂ）に示したＭＣ後のＮ−１フレームと、図８（Ｃ）に示したＮフレームとの間で直交変換を行うと、ｄ_ａとａ、ｄ_ｂとｂとの間で直交変換が行われる。それぞれのＬ成分及びＨ成分は、式（３）〜式（６）を適用してｄ_ａとａからはＬａとＨａ、ｄ_ｂとｂからはＬｂとＨｂがそれぞれ求まる。

ここで、直交変換の変換基底はＨａａｒ基底であるものとする。求めたＬ成分は図８（Ｄ）に示すように、Ｌａ、Ｌｂの位置に格納する。また、求めたＨ成分は図８（Ｅ）に示すように、Ｈａ、Ｈｂの位置に格納する。ここで、式（１）及び式（２）であることから、ＬａとＬｂの間には式（７）が成り立つ。また、ＨａとＨｂの間には、式（８）が成り立つ。

Ｌａ≠Ｌｂ （７）
Ｈａ≠Ｈｂ （８）
その後、図８（Ｄ）に示した直交変換後のＬ成分フレームに対して逆ＭＣを行う。この逆ＭＣを行う際に、ＬａとＬｂは格納先が重複するため、所定の方法により重複領域に格納する係数情報を決定する。図８（Ｆ）は、重複領域に格納する係数情報としてＬａを採用した場合のＬ成分フレームである。また、図８（Ｇ）は、重複領域に格納する係数情報としてＬｂを採用した場合のＬ成分フレームである。以上のような符号化処理を行うことで、従来法におけるＭＣＴＦ符号化が完了する。

図９は従来法のＭＣＴＦ復号化において、重複領域の係数情報としてＬａを採用した場合の処理過程を示す図である。図９（Ａ）は、（Ｎ−１）フレーム側のＬ成分フレームを示しており、このＬ成分フレームに対してＭＣを行うと、図９（Ｂ）に示すようになる。ここで、図９（Ａ）のＬ成分フレーム中の画素Ｌａは、符号化時に複数の領域から格納される多重領域に格納された画素であるため、図９（Ｂ）に９０２で示すようにＭＣによってＬａが複製される。本来であれば、画素９０１の右側の画素９０２はＬｂであるが、符号化の逆ＭＣによりＬａとなっている。

一方、図９（Ｃ）は、Ｎフレーム側のＨ成分フレームを示しており、領域９０３内の画素Ｈａと領域９０４内の画素Ｈｂは、それぞれ図９（Ｃ）の画素９０１、９０２のＬａに対応する。ここで、図９（Ｂ）及び（Ｃ）に示したフレーム間で逆直交変換を行うと、画素９０１のＬａと領域９０３内の画素Ｈａとの間で、画素９０２のＬａと領域９０４内の画素Ｈｂとの間でそれぞれ逆直交変換が行われる。

この場合、それぞれの逆直交変換後の各画素は、通常、次式（９）〜（１２）を適用することで求まる。

しかし、本来の対応関係ではないＬａとＨｂからは、正しい復号結果を得ることができない。そこで、まず、正しい対応関係である画素９０１のＬａと領域９０３の対応する画素Ｈａとから、式（１０）を適用して図９（Ｄ）に示すように、ｄ_ａを復号化する。同様に、正しい対応関係である画素９０１のＬａと領域９０３の対応する画素Ｈａとから、式（９）を適用して図９（Ｅ）に示すように、ａを復号化する。このようにして得られたｄ_ａを次式（１３）を適用することでｂを復号化することができる。

ここで、式（１０）及び式（９）は本来の逆直交変換の式であるが、式（１３）はｄ_ａからｂを復号化するために、本来の逆直交変換の式（１１）を変形したものになっているため、従来の逆直交変換をそのまま利用することが難しい。また、復号化する際に、復号する係数の順序に依存関係が存在するという問題がある。

上記の逆直交変換が完了すると、図９（Ｄ）に示したフレームに対して逆ＭＣを行うことにより、図９（Ｆ）に示したようなフレームを得る。逆ＭＣを行う際に、重複領域に対しては、復号化したｄ_ａを採用するような所定の方法により重複領域に格納する係数情報を決定する必要がある。以上のような処理を行うことで、従来法のＭＣＴＦ復号化において、重複領域の係数情報としてＬａを採用した場合の復号化が完了する。

次に、従来法のＭＣＴＦ復号化において、重複領域の係数情報としてＬｂを採用した場合の処理過程について、図１０と共に説明する。図１０（Ａ）は、（Ｎ−１）フレーム側のＬ成分フレームを示しており、このＬ成分フレームに対してＭＣを行うと、図１０（Ｂ）に示すようになる。ここで、図１０（Ａ）のＬ成分フレーム中の画素Ｌｂは、符号化時に複数の領域から格納される多重領域に格納された画素である。Ｌｂは多重領域の画素であるため、図１０（Ｂ）に示す画素１００２としてＭＣによってＬｂが複製される。本来であれば、画素１００２の左側の画素１００１はＬａであるが、符号化の逆ＭＣによりＬｂとなっている。

一方、図１０（Ｃ）は、Ｎフレーム側のＨ成分フレームを示しており、領域１００３内の画素Ｈａと領域１００４内の画素Ｈｂは、それぞれ図１０（Ｃ）の画素１００１、１００２のＬｂに対応する。ここで、図１０（Ｂ）及び（Ｃ）に示したフレーム間で逆直交変換を行うと、画素１００１のＬｂと領域１００３内の画素Ｈａとの間で、画素１００２のＬｂと領域１００４内の画素Ｈｂとの間でそれぞれ逆直交変換が行われる。

この場合、それぞれの逆直交変換後の各画素は、通常、前記式（９）〜（１２）を適用することで求まる。しかし、本来の対応関係ではないＬｂとＨａからは、正しい復号結果を得ることができない。そこで、まず、正しい対応関係である画素１００２のＬｂと領域１００４の対応する画素Ｈｂとから、式（１２）を適用して図１０（Ｄ）に示すように、ｄ_ｂを復号化する。同様に、正しい対応関係である画素１００２のＬｂと領域１００４の対応する画素Ｈｂとから、式（１１）を適用して図１０（Ｅ）に示すように、ｂを復号化する。

このようにして得られたｄ_ｂを次式（１４）を適用することでａを復号化することができる。

ここで、式（１２）及び式（１１）は本来の逆直交変換の式であるが、式（１４）はｄ_ｂからａを復号化するために、本来の逆直交変換の式（９）を変形したものになっているため、従来の逆直交変換をそのまま利用することが難しい。また、復号化する際に、復号する係数の順序に依存関係が存在するという問題がある。

ここでは、逆直交変換を行う際に、復号順序がラスタ順で行われているとすると、ａの復号を何らかの手段で一時的に処理をスキップしなければならないことを検知し、処理をスキップした上でｄ_ｂとｂを復号化し、ａの復号を行うための情報が得られたことを確認する何らかの手段によって復号できるかどうかを判定した後に、復号化を行わなければならない。

逆直交変換が完了すると、図１０（Ｄ）に示した逆直交変換されたフレームに対して逆ＭＣを行って同図（Ｆ）に示す復号化されたフレームを得る。ここで、逆ＭＣを行う際に、重複領域に対しては、復号化したｄ_ｂを採用するような所定の方法により重複領域に格納する係数情報を決定する必要がある。以上のような処理を行うことで、従来法のＭＣＴＦ復号化において、重複領域の係数情報としてＬｂを採用した場合の復号化が完了する。

上述した従来法のＭＣＴＦ符号化及びＭＣＴＦ復号化における各種の問題を改善するため、本発明では、図１のようなＭＣＴＦ符号化装置の構成をとると共に、多重参照領域部分に対して図１１及び図１２のようなＭＣＴＦ処理を行う。

図１１（Ａ）は２つの基準領域１１０１と１１０２からなるＮ−１フレームを示しており、このＮ−１フレームに対してＭＣを行うと、図１１（Ｂ）に示すようになる。ここで、図１１（Ａ）に示すＮ−１フレームは、２つの基準領域１１０１及び１１０２から参照されているため、多重参照領域が存在する。この多重参照領域内のある１画素を、ここでは図１１（Ａ）に示すようにｄとする。この画素ｄは、多重参照領域内の画素であるため、ＭＣにより図１１（Ｂ）に示すように、ｄ_ａとｄ_ｂに複製される。これらの画素ｄ、ｄ_ａ及びｄ_ｂの間では、前記式（１）の関係が成り立つ。

一方、図１１（Ｃ）に示すＮフレームの画素のうち、図１１（Ｂ）に示したＭＣ後のＮ−１フレーム中の画素ｄ_ａ及びｄ_ｂに対応する画素を、それぞれａ及びｂとすると、それらの画素ａ及びｂの間には、通常、前記式（２）が成り立っているものとして話を進める。

ここで、図１１（Ｂ）に示したＭＣ後のＮ−１フレームと、図１１（Ｃ）に示したＮフレームとの間で直交変換を行うと、ｄ_ａとａ、ｄ_ｂとｂとの間で直交変換が行われる。それぞれのＬ成分及びＨ成分は、前記式（３）〜式（６）を適用してｄ_ａとａからはＬａとＨａ、ｄ_ｂとｂからはＬｂとＨｂがそれぞれ求まる。ここで、直交変換の変換基底はＨａａｒ基底であるものとする。求めたＬ成分は図１１（Ｄ）に示すように、Ｌａ、Ｌｂの位置に格納し、求めたＨ成分は図１１（Ｅ）に示すように、Ｈａ、Ｈｂの位置に格納する。ここで、図８の場合と同様に、式（１）及び式（２）であることから、ＬａとＬｂの間には前記式（７）が成り立ち、ＨａとＨｂの間には、前記式（８）が成り立つ。

その後、図１１（Ｄ）に示した直交変換後のＬ成分フレームに対して逆ＭＣを行う。この逆ＭＣを行う際に、ＬａとＬｂは格納先が重複するため、所定の方法により重複領域に格納する係数情報を決定する。図１１（Ｆ）は、重複領域に格納する係数情報としてＬａを採用した場合のＬ成分フレームである。

本来であれば、復号化時にＬｂとＨｂに対して逆直交変換を行うことでｄ_ｂとｂを得ることができるが、Ｌａを採用したことにより、次式（１５）で表わされる誤差ｅ_ｂが生じる。

そこで、式（１５）を用いて誤差ｅ_ｂを求め、この誤差ｅ_ｂをＨｂに対して次式（１６）を用いて補正することでＨｂ’を得る。

Ｈｂ’＝Ｈｂ＋ｅ_ｂ （１６）
その後、補正後のＨｂ’を図１１（Ｇ）に示すように、元のＨｂの位置に格納する。このような誤差補正処理を行うことで、復号化時に発生する誤差を相殺することができる。

図１２は図１１の逆ＭＣを行う際の重複領域にＬｂを採用した場合の処理過程を示した図である。同図中、図１１と同一部分には同一符号を付し、その説明を省略する。図１２（Ｆ）は、重複領域に格納する係数情報としてＬｂを採用した場合のＬ成分フレームを示す。

本来であれば、復号化時にＬａとＨａに対して逆直交変換を行うことでｄ_ａとａを得ることができるが、Ｌｂを採用したことにより、次式（１７）で表わされる誤差ｅ_ａが生じる。

そこで、式（１７）を用いて誤差ｅ_ａを求め、この誤差ｅ_ａをＨａに対して次式（１８）を用いて補正することでＨａ’を得る。

Ｈａ’＝Ｈａ＋ｅ_ａ （１８）
その後、補正後のＨａ’を図１２（Ｇ）に示すように、元のＨａの位置に格納する。このような誤差補正処理を行うことで、復号化時に発生する誤差を相殺することができる。以上のような符号化処理を行うことで、本発明におけるＭＣＴＦ符号化が完了する。

図１３は本発明になる符号化装置の他の実施の形態を備えた情報処理装置の一例のブロック図を示す。同図において、情報処理装置１３００は、入力装置１３０１、出力装置１３０２、中央処理制御装置１３０３、外部記憶装置１３０４、一時記憶装置１３０５、通信装置１３０６から構成されており、コンピュータである中央処理制御装置１３０３によりＭＣＴＦ処理を行う符号化装置の機能をプログラムにより実現させるものである。

ここで、上記のプログラムは、記録媒体から読み取られて中央処理制御装置１３０３に取り込まれてもよいし、ネットワークを介して通信装置１３０６により受信されて中央処理制御装置１３０３に取り込まれてもよい。

中央処理制御装置１３０３は、上記のプログラムにより、入力管理部１０２に相当する入力管理手段１４０１、ＭＥ部２０１に相当するＭＥ手段１４０２、ＭＣ部２０２に相当するＭＣ手段１４０３、フレーム間符号化部２０３に相当するフレーム間符号化手段１４０４、制御部２０４に相当する制御手段１４０５、重なり特定部２０５に相当する重なり判定手段１４０６、誤差補正部２０６に相当する誤差補正手段１４０７、フレーム間符号化管理部２０７に相当するフレーム間符号化管理手段１４０８、逆ＭＣ部２０８に相当する逆ＭＣ手段１４０９、画素補間部２０９に相当する画素補間手段１４１０、量子化部１０４に相当する量子化手段１４１１、エントロピー符号化部１０５に相当するエントロピー符号化手段１４１２及びＭＵＸ部１０６に相当するＭＵＸ手段１４１３をソフトウェア処理にて実現する。

本発明の符号化装置の一実施の形態のブロック図である。 本発明の符号化装置の他の実施の形態のブロック図である。 本発明の符号化装置の一実施の形態の動作説明用フローチャートである。 Ｈａａｒ基底を用いたフレーム間のオクターブ分割の一例の説明図である。 本発明におけるＭＣＴＦの処理過程の一例の説明図である。 本発明におけるＭＣＴＦの処理過程の説明図（その１）である。 本発明におけるＭＣＴＦの処理過程の説明図（その２）である。 逆ＭＣを利用した従来法による多重参照領域の符号化を行う過程の一例を示す図である。 逆ＭＣを利用した従来法による多重参照領域の復号化を行う過程の一例を示す図（その１）である。 逆ＭＣを利用した従来法による多重参照領域の復号化を行う過程の一例を示す図（その２）である。 逆ＭＣを利用した本発明による多重参照領域の符号化を行う過程の一例を示す図（その１）である。 逆ＭＣを利用した本発明による多重参照領域の符号化を行う過程の一例を示す図（その２）である。 本発明の符号化プログラムを実行する情報処理装置の一例のブロック図である。 従来の符号化装置の一例のブロック図である。 従来の符号化装置の基本動作説明用フローチャートである。

符号の説明

１０１ 動画像フレーム
１０２ 入力管理部
１０４ 量子化部
１０５ エントロピー符号化部
１０６ ＭＵＸ部
２００、３００ ＭＣＴＦ部
２０１ ＭＥ部
２０２ ＭＣ部
２０３ フレーム間符号化部
２０４、３０１ 制御部
２０５ 重なり特定部
２０６ 誤差補正部
２０７、３０２ フレーム間符号化管理部
２０８ 逆ＭＣ部
２０９ 画素補間部
１３００ 情報処理装置
１３０３ 中央処理制御装置
１４０１ 入力管理手段
１４０２ ＭＥ手段
１４０３ ＭＣ手段
１４０４ フレーム間符号化手段
１４０５ 制御手段
１４０６ 重なり判定手段
１４０７ 誤差補正手段
１４０８ フレーム間符号化管理手段
１４０９ 逆ＭＣ手段
１４１０ 画素補間手段

Claims (4)

1. 符号化対象の動画像信号の時間方向に存在する異なる２つのフレームの一方を基準フレームとして他方のフレームの動き補償を行い、動き補償後の前記他方のフレームと前記基準フレームの対応する画素同士で直交変換して、２つの分割周波数帯域にサブバンド分割された低域側分割周波数帯域のＬ成分フレームと高域側分割周波数帯域のＨ成分フレームとからなるフレーム列信号を得る動き補償時間方向フィルタ処理を行い、前記フレーム列信号に対して量子化を行う符号化装置であって、
   前記異なる２つのフレームの一方を基準フレームとして他方のフレームの動きを推定して、前記基準フレームと前記他方のフレームの対応する各ブロックの相対位置関係を示す動きベクトル情報を取得する動き推定手段と、
   前記動きベクトル情報に基づいて、前記他方のフレームの動きを補償する動き補償手段と、
   動き補償後の前記他方のフレームと前記基準フレームの対応する画素同士で直交変換して、２つの分割周波数帯域にサブバンド分割された、低域側分割周波数帯域のＬ成分の係数情報を格納した前記Ｌ成分フレームと高域側分割周波数帯域のＨ成分の係数情報を格納した前記Ｈ成分フレームを生成するフレーム間符号化手段と、
   前記Ｌ成分フレームに対して、前記動き推定手段によって取得した前記動きベクトル情報を逆方向に適用して動き補償すると共に、当該逆方向の動き補償によって画素が配置されていない領域に関する画素補間領域情報を出力する逆動き補償手段と、
   前記逆動き補償手段からの逆方向の動き補償された前記Ｌ成分フレームと、前記画素補間領域情報とを入力として受け、前記逆方向の動き補償されたＬ成分フレームの、前記画素補間領域情報により特定された前記逆方向の動き補償によって画素が配置されていない領域に、所定の補間方法により画素を補間する画素補間手段と、
   前記画素補間手段により画素補間された前記逆方向の動き補償されたＬ成分フレームと、前記フレーム間符号化手段により生成された前記Ｈ成分フレームとからなるフレーム列信号を出力する出力手段と
   を有することを特徴とする符号化装置。
2. 前記動き推定手段から取得した前記動きベクトル情報と前記基準フレームとに基づいて、前記動き推定手段により前記他方のフレームの動き補償を行った際に多重参照される前記基準フレームの領域を特定して多重参照領域情報を生成する重なり判定手段と、
   前記フレーム間符号化手段により生成された前記Ｌ成分フレームに含まれる、前記多重参照領域情報に基づいて検出した多重参照された領域内の各画素のうち、前記逆動き補償手段によって逆方向の動き補償された前記Ｌ成分フレームの重なり領域部に格納される画素に相当する第１のＬ成分の係数情報と、前記重なり領域部に格納されなかった画素に相当する第２のＬ成分の係数情報との差である誤差情報を求め、その誤差情報を前記第２のＬ成分の係数情報に対応するＨ成分の係数情報に付加することによって誤差の補正された前記Ｈ成分フレームを得る誤差補正手段と
   を更に有し、前記出力手段は前記画素補間手段により画素補間された前記逆方向の動き補償されたＬ成分フレームと、前記誤差補正手段により誤差の補正された前記Ｈ成分フレームとからなるフレーム列信号を出力することを特徴とする請求項１記載の符号化装置。
3. 符号化対象の動画像信号の時間方向に存在する異なる２つのフレームの一方を基準フレームとして他方のフレームの動き補償を行い、動き補償後の前記他方のフレームと前記基準フレームの対応する画素同士で直交変換して、２つの分割周波数帯域にサブバンド分割された低域側分割周波数帯域のＬ成分フレームと高域側分割周波数帯域のＨ成分フレームとからなるフレーム列信号を得る動き補償時間方向フィルタ処理を行い、前記フレーム列信号に対して量子化を行う符号化装置をコンピュータにより実現させるための符号化プログラムであって、
   前記コンピュータを、
   前記異なる２つのフレームの一方を基準フレームとして他方のフレームの動きを推定して、前記基準フレームと前記他方のフレームの対応する各ブロックの相対位置関係を示す動きベクトル情報を取得する動き推定手段と、
   前記動きベクトル情報に基づいて、前記他方のフレームの動きを補償する動き補償手段と、
   動き補償後の前記他方のフレームと前記基準フレームの対応する画素同士で直交変換して、２つの分割周波数帯域にサブバンド分割された、低域側分割周波数帯域のＬ成分の係数情報を格納した前記Ｌ成分フレームと高域側分割周波数帯域のＨ成分の係数情報を格納した前記Ｈ成分フレームを生成するフレーム間符号化手段と、
   前記Ｌ成分フレームに対して、前記動き推定手段によって取得した前記動きベクトル情報を逆方向に適用して動き補償すると共に、当該逆方向の動き補償によって画素が配置されていない領域に関する画素補間領域情報を出力する逆動き補償手段と、
   前記逆動き補償手段からの逆方向の動き補償された前記Ｌ成分フレームと、前記画素補間領域情報とを入力として受け、前記逆方向の動き補償されたＬ成分フレームの、前記画素補間領域情報により特定された前記逆方向の動き補償によって画素が配置されていない領域に、所定の補間方法により画素を補間する画素補間手段と、
   前記画素補間手段により画素補間された前記逆方向の動き補償されたＬ成分フレームと、前記フレーム間符号化手段により生成された前記Ｈ成分フレームとからなるフレーム列信号を出力する出力手段と
   して機能させることを特徴とする符号化プログラム。
4. 前記コンピュータを、
   前記動き推定手段から取得した前記動きベクトル情報と前記基準フレームとに基づいて、前記動き推定手段により前記他方のフレームの動き補償を行った際に多重参照される前記基準フレームの領域を特定して多重参照領域情報を生成する重なり判定手段と、
   前記フレーム間符号化手段により生成された前記Ｌ成分フレームに含まれる、前記多重参照領域情報に基づいて検出した多重参照された領域内の各画素のうち、前記逆動き補償手段によって逆方向の動き補償された前記Ｌ成分フレームの重なり領域部に格納される画素に相当する第１のＬ成分の係数情報と、前記重なり領域部に格納されなかった画素に相当する第２のＬ成分の係数情報との差である誤差情報を求め、その誤差情報を前記第２のＬ成分の係数情報に対応するＨ成分の係数情報に付加することによって誤差の補正された前記Ｈ成分フレームを得る誤差補正手段と
   して更に機能させ、前記出力手段が前記画素補間手段により画素補間された前記逆方向の動き補償されたＬ成分フレームと、前記誤差補正手段により誤差の補正された前記Ｈ成分フレームとからなるフレーム列信号を出力する手段となるように前記コンピュータを機能させることを特徴とする請求項３記載の符号化プログラム。

Images