JP4251291B2 - 動画像符号化装置、動画像符号化方法 - Google Patents
動画像符号化装置、動画像符号化方法 Download PDFInfo
- Publication number
- JP4251291B2 JP4251291B2 JP2004370808A JP2004370808A JP4251291B2 JP 4251291 B2 JP4251291 B2 JP 4251291B2 JP 2004370808 A JP2004370808 A JP 2004370808A JP 2004370808 A JP2004370808 A JP 2004370808A JP 4251291 B2 JP4251291 B2 JP 4251291B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- unit
- information
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、動画像に対して符号化を行う際に、動画像の時間方向に存在するフレーム間に対して動き補償を行うとともに、フレーム間のサブバンド分割を行う、動き補償時間方向フィルタ処理を行う動画像符号化装置、動画像符号化方法に関する。
最近になり、ＢＳデジタル放送や地上波ディジタル放送などで圧縮符号化された動画像信号が放送されるようになってきた。日本の地上波ディジタル放送の場合は、車載などの移動用と家庭などで行われる固定受信用の放送をセグメント分割されたＯＦＤＭ（Orthogonal Frequency Division Multiplexing）により送信している。固定受信ではＨＤＴＶ（High Definition TV）画質により、移動受信では強力な誤り訂正能力により安定度の高い画像が受信できている。
現在の放送に用いられる動画像符号化はＭＰＥＧ（moving picture experts group）−２によ圧縮符号化されており、最近になりＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）とか、Ｈ．２６４と呼ばれる圧縮符号化方式の採用も検討されている。ＭＰＥＧ−４ ＡＶＣでは複数の参照フレームを持つことにより参照フレームの選択に自由度を持たせている。固定フレームレート信号の符号化方式として符号化効率の向上を図っている。
現在の放送に用いられる動画像符号化はＭＰＥＧ（moving picture experts group）−２によ圧縮符号化されており、最近になりＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）とか、Ｈ．２６４と呼ばれる圧縮符号化方式の採用も検討されている。ＭＰＥＧ−４ ＡＶＣでは複数の参照フレームを持つことにより参照フレームの選択に自由度を持たせている。固定フレームレート信号の符号化方式として符号化効率の向上を図っている。
特許文献１や特許文献２には、可変フレームレートで符号化する方式として３次元ＤＣＴ（discrete cosine transform）や３次元ｗａｖｅｌｅｔなどに代表されるように、動き補償予測を行いつつ、時間方向の直交変換を行う符号化方式の開示がなされている。
さらに、特許文献３、非特許文献１、及び非特許文献２には、従来の構成とは異なる構成によってフレーム間の符号化を行う動き補償時間方向フィルタ処理（以降、ＭＣＴＦ；Motion Compensated Temporal Filtering）という方法が開示されている。そのＭＣＴＦは、複数のフレームによって構成されたＧＯＰ（Group of Picture）を単位として処理を行い、そのＧＯＰに対してフレーム間の動き補償、およびフレーム間のサブバンド分割を行うことにより、より効率的な符号化を行おうとしている。
特開平６−１４１３０１号公報
特開平６−２１７２９１号公報
特表２００３−５０４９８７号公報
J.-R. Ohm,"Advanced packet-video coding based on layered VQ and SBC techniques"IEEE Trans. Circuits Syst. Video Technol.,VOL.3, JUNE １993
Seung-Jong Choi , W.Woods,"Motion-Compensated 3-D Subband Coding of Video"IEEE TRANSACTIONS ON IMAGE PROCESSINGVOL.8, NO.2, FEBRUARY １999
さらに、特許文献３、非特許文献１、及び非特許文献２には、従来の構成とは異なる構成によってフレーム間の符号化を行う動き補償時間方向フィルタ処理（以降、ＭＣＴＦ；Motion Compensated Temporal Filtering）という方法が開示されている。そのＭＣＴＦは、複数のフレームによって構成されたＧＯＰ（Group of Picture）を単位として処理を行い、そのＧＯＰに対してフレーム間の動き補償、およびフレーム間のサブバンド分割を行うことにより、より効率的な符号化を行おうとしている。
しかしながら、従来法による動き補償時間方向フィルタ処理では、２Ｎ番目のフレーム（Ｎは自然数、以降、２Ｎフレーム）と、２Ｎ＋１番目のフレーム（以降、２Ｎ＋１フレーム）の２フレームを単位として動き推定（以降、ＭＥ）や動き補償（以降、ＭＣ）を行っている。２Ｎフレーム内の画素を利用して２Ｎ＋１フレームの予測フレームとなるようにＭＥやＭＣを行うことでＭＣ画像を得る。得られたＭＣ画像と２Ｎ＋１フレームとの間でフレーム間のサブバンド分割を行う。その後、逆ＭＣ及び非結合領域に対する補間処理を行って得られるＬ（低域）成分フレームに対して、所定のフレーム間サブバンド分割数になるまでＭＣＴＦ処理を繰り返している。
時間方向のスケーラビリティ（階層化）という点で考えると、ＭＣＴＦ後のＬ成分フレームを再生動画像として利用することで、ＭＣＴＦのサブバンド分割の階層が上がるたびに、フレームレートを１／２、１／４、１／８などのように、フレーム間に対して再帰的に２：１ずつ等間隔にデシメーションした結果が得られることになる。例えば、入力された動画像が等間隔の３０ｆｐｓ（frames per second：毎秒フレーム数）であるとすると、ＭＣＴＦのフレーム間サブバンド符号化が１階層進む度に半分のフレームレート、つまり１５ｆｐｓ、７．５ｆｐｓなどのＬ成分フレームのフレームレートの画像が得られる。ＭＣＴＦ後のＬ成分フレームを再生動画像として用いることで、時間方向のスケーラビリティを得ることができる。
しかしながら、従来法におけるＭＣＴＦを用いて時間方向のスケーラビリティを実現する場合では、フレームレートを落としていく段階の初期であっても、フレーム間隔が規則的に等間隔とされるデシメーションによっており、視聴上重要な動画像情報を含むフレーム画像が欠落してしまうといった問題が生じる。
また、従来法でのＭＣＴＦでは、上記と同様に本来は重要である画像フレームがデシメーションにより次のＭＣＴＦで用いられない場合があり、符号化効率の面でもＧＯＰ内のフレーム間の相関を十分活かしきれていなく、効率的な符号化がなされていなかった。
また、従来法でのＭＣＴＦでは、上記と同様に本来は重要である画像フレームがデシメーションにより次のＭＣＴＦで用いられない場合があり、符号化効率の面でもＧＯＰ内のフレーム間の相関を十分活かしきれていなく、効率的な符号化がなされていなかった。
そこで、本発明は、上記のような問題点を解消するためになされたもので、動き補償時間方向フィルタ処理を行うに際し、過去のフレーム画像及び未来のフレーム画像に注目することにより、低い周波数のフレームレートに変換された低域成分及び高域成分の画像のうち、低域成分の画像の方に、視覚上必要とされる画像成分を残すようにした、圧縮符号化効率の高いサブバンド符号化出力が得られる動画像符号化装置、動画像符号化方法、動画像復号化装置及び動画像復号化方法を提供することを目的とする。
本願発明における第１の発明は、高速レートで伝送されてくる動画像を低速レート伝送が可能なように圧縮を行う動画像符号化装置において、
前記動画像を並列出力する並列入力部と、
前記並列出力された前記動画像のうちの１つのフレームを第１参照画像、前記第１参照画像の直後の１フレームを第１ターゲット画像とした場合に、前記第１参照画像から前記第１ターゲット画像の動きを推定して順方向の動きベクトル情報を取得する順方向動き推定部と、
前記第１参照画像と前記第１ターゲット画像を入れ替えて、前記第１参照画像を第２ターゲット画像とし、前記第１ターゲット画像を第２参照画像とした場合に、前記第２参照画像から前記第２ターゲット画像の動きを推定して逆方向の動きベクトル情報を取得する逆方向動き推定部と、
前記順方向の動きベクトル情報に基づいて、前記第１参照画像と前記第１ターゲット画像間の動きを補償するための順方向動き補償画像を得る順方向動き補償部と、
前記逆方向の動きベクトル情報に基づいて、前記第２参照画像と前記第２ターゲット画像の動きを補償するための逆方向動き補償画像を得る逆方向動き補償部と、
前記順方向動き補償部で得られた前記順方向動き補償画像と前記第１ターゲット画像との類似度と、前記逆方向動き補償部で得られた前記逆方向動き補償画像と前記第２ターゲット画像との類似度を比較し、前記類似度が高い方はいずれであるかを判定する類似度判定部と、
前記類似度判定部で前記類似度が高いと判定された方の前記順方向動き補償部或いは前記逆方向動き補償部に切り替える切り替え部と、
前記切り替え部で切り替えられた前記順方向動き補償部或いは前記逆方向動き補償部から出力される前記順方向動き補償画像と前記第１ターゲット画像或いは前記逆方向動き補償画像と前記第２ターゲット画像とを加算して前記動画像よりも低レートな圧縮画像を得る一方、前記第１或いは第２参照画像と前記圧縮画像とを減算して前記圧縮画像から前記第１参照画像と前記第１ターゲット画像或いは前記第２参照画像と前記第２ターゲット画像に復元する復元用補助画像を得るフレーム間サブバンド符号化部と、を有することを特徴とする動画像符号化装置を提供する。
第２の発明は、高速レートで伝送されてくる動画像を低速レート伝送が可能なように圧縮を行う動画像符号化方法において、前記動画像を並列出力し、並列出力された前記動画像のうちの１つのフレームを第１参照画像、前記第１参照画像の直後の１フレームを第１ターゲット画像とした場合に、前記第１参照画像から前記第１ターゲット画像の動きを推定して順方向の動きベクトル情報を取得する一方、前記第１参照画像と前記第１ターゲット画像を入れ替えて、前記第１参照画像を第２ターゲット画像とし、前記第１ターゲット画像を第２参照画像とした場合に、前記第２参照画像から前記第２ターゲット画像の動きを推定して逆方向の動きベクトル情報を取得し、前記順方向の動きベクトル情報に基づいて、前記第１参照画像と前記第１ターゲット画像間の動きを補償するための順方向動き補償画像を得ると共に、前記逆方向の動きベクトル情報に基づいて、前記第２参照画像と前記第２ターゲット画像の動きを補償するための逆方向動き補償画像を得、前記順方向動き補償画像と前記第１ターゲット画像との類似度と、前記逆方向動き補償部で得られた前記逆方向動き補償画像と前記第２ターゲット画像との類似度を比較し、前記類似度が高い方はいずれであるかを判定し、前記類似度が高いと判定された方の前記順方向動き補償部或いは前記逆方向動き補償部に切り替え、切り替えられて得られる前記順方向動き補償部或いは前記逆方向動き補償部から出力される、前記順方向動き補償画像と前記第１ターゲット画像或いは前記逆方向動き補償画像と前記第２ターゲット画像とを加算して前記動画像よりも低レートな圧縮画像を得る一方、前記第１或いは第２参照画像と前記圧縮画像とを減算して前記圧縮画像から前記第１参照画像と前記第１ターゲット画像或いは前記第２参照画像と前記第２ターゲット画像に復元する復元用補助画像を得ることを特徴とする動画像符号化方法を提供する。
前記動画像を並列出力する並列入力部と、
前記並列出力された前記動画像のうちの１つのフレームを第１参照画像、前記第１参照画像の直後の１フレームを第１ターゲット画像とした場合に、前記第１参照画像から前記第１ターゲット画像の動きを推定して順方向の動きベクトル情報を取得する順方向動き推定部と、
前記第１参照画像と前記第１ターゲット画像を入れ替えて、前記第１参照画像を第２ターゲット画像とし、前記第１ターゲット画像を第２参照画像とした場合に、前記第２参照画像から前記第２ターゲット画像の動きを推定して逆方向の動きベクトル情報を取得する逆方向動き推定部と、
前記順方向の動きベクトル情報に基づいて、前記第１参照画像と前記第１ターゲット画像間の動きを補償するための順方向動き補償画像を得る順方向動き補償部と、
前記逆方向の動きベクトル情報に基づいて、前記第２参照画像と前記第２ターゲット画像の動きを補償するための逆方向動き補償画像を得る逆方向動き補償部と、
前記順方向動き補償部で得られた前記順方向動き補償画像と前記第１ターゲット画像との類似度と、前記逆方向動き補償部で得られた前記逆方向動き補償画像と前記第２ターゲット画像との類似度を比較し、前記類似度が高い方はいずれであるかを判定する類似度判定部と、
前記類似度判定部で前記類似度が高いと判定された方の前記順方向動き補償部或いは前記逆方向動き補償部に切り替える切り替え部と、
前記切り替え部で切り替えられた前記順方向動き補償部或いは前記逆方向動き補償部から出力される前記順方向動き補償画像と前記第１ターゲット画像或いは前記逆方向動き補償画像と前記第２ターゲット画像とを加算して前記動画像よりも低レートな圧縮画像を得る一方、前記第１或いは第２参照画像と前記圧縮画像とを減算して前記圧縮画像から前記第１参照画像と前記第１ターゲット画像或いは前記第２参照画像と前記第２ターゲット画像に復元する復元用補助画像を得るフレーム間サブバンド符号化部と、を有することを特徴とする動画像符号化装置を提供する。
第２の発明は、高速レートで伝送されてくる動画像を低速レート伝送が可能なように圧縮を行う動画像符号化方法において、前記動画像を並列出力し、並列出力された前記動画像のうちの１つのフレームを第１参照画像、前記第１参照画像の直後の１フレームを第１ターゲット画像とした場合に、前記第１参照画像から前記第１ターゲット画像の動きを推定して順方向の動きベクトル情報を取得する一方、前記第１参照画像と前記第１ターゲット画像を入れ替えて、前記第１参照画像を第２ターゲット画像とし、前記第１ターゲット画像を第２参照画像とした場合に、前記第２参照画像から前記第２ターゲット画像の動きを推定して逆方向の動きベクトル情報を取得し、前記順方向の動きベクトル情報に基づいて、前記第１参照画像と前記第１ターゲット画像間の動きを補償するための順方向動き補償画像を得ると共に、前記逆方向の動きベクトル情報に基づいて、前記第２参照画像と前記第２ターゲット画像の動きを補償するための逆方向動き補償画像を得、前記順方向動き補償画像と前記第１ターゲット画像との類似度と、前記逆方向動き補償部で得られた前記逆方向動き補償画像と前記第２ターゲット画像との類似度を比較し、前記類似度が高い方はいずれであるかを判定し、前記類似度が高いと判定された方の前記順方向動き補償部或いは前記逆方向動き補償部に切り替え、切り替えられて得られる前記順方向動き補償部或いは前記逆方向動き補償部から出力される、前記順方向動き補償画像と前記第１ターゲット画像或いは前記逆方向動き補償画像と前記第２ターゲット画像とを加算して前記動画像よりも低レートな圧縮画像を得る一方、前記第１或いは第２参照画像と前記圧縮画像とを減算して前記圧縮画像から前記第１参照画像と前記第１ターゲット画像或いは前記第２参照画像と前記第２ターゲット画像に復元する復元用補助画像を得ることを特徴とする動画像符号化方法を提供する。
本発明によれば、動画像を並列出力する並列入力部と、前記並列出力された前記動画像のうちの１つのフレームを第１参照画像、前記第１参照画像の直後の１フレームを第１ターゲット画像とした場合に、前記第１参照画像から前記第１ターゲット画像の動きを推定して順方向の動きベクトル情報を取得する順方向動き推定部と、前記第１参照画像と前記第１ターゲット画像を入れ替えて、前記第１参照画像を第２ターゲット画像とし、前記第１ターゲット画像を第２参照画像とした場合に、前記第２参照画像から前記第２ターゲット画像の動きを推定して逆方向の動きベクトル情報を取得する逆方向動き推定部と、前記順方向の動きベクトル情報に基づいて、前記第１参照画像と前記第１ターゲット画像間の動きを補償するための順方向動き補償画像を得る順方向動き補償部と、前記逆方向の動きベクトル情報に基づいて、前記第２参照画像と前記第２ターゲット画像の動きを補償するための逆方向動き補償画像を得る逆方向動き補償部と、前記順方向動き補償部で得られた前記順方向動き補償画像と前記第１ターゲット画像との類似度と、前記逆方向動き補償部で得られた前記逆方向動き補償画像と前記第２ターゲット画像との類似度を比較し、前記類似度が高い方はいずれであるかを判定する類似度判定部と、前記類似度判定部で前記類似度が高いと判定された方の前記順方向動き補償部或いは前記逆方向動き補償部に切り替える切り替え部と、前記切り替え部で切り替えられた前記順方向動き補償部或いは前記逆方向動き補償部から出力される前記順方向動き補償画像と前記第１ターゲット画像或いは前記逆方向動き補償画像と前記第２ターゲット画像とを加算して前記動画像よりも低レートな圧縮画像を得る一方、前記第１或いは第２参照画像と前記圧縮画像とを減算して前記圧縮画像から前記第１参照画像と前記第１ターゲット画像或いは前記第２参照画像と前記第２ターゲット画像に復元する復元用補助画像を得るフレーム間サブバンド符号化部とを有する格別な構成があるので、動き補償時間方向フィルタ処理を行うに際し、過去のフレーム画像及び未来のフレーム画像に注目することにより、低い周波数のフレームレートに変換された低域成分及び高域成分の画像のうち、低域成分の画像の方に、視覚上必要とされる画像成分を残すようにした、圧縮符号化効率の高いサブバンド符号化出力が得られる動画像符号化装置及び動画像符号化方法を実現できる。
以下に本発明の動画像符号化装置、動画像符号化方法、動画像復号化装置及び動画像復号化方法の実施例に係る動画像符号化装置について図１〜図５を用いて概説する。
図１は、本発明の実施に係る動画像符号化装置の構成例を示すブロック図である。
図２は、本発明の実施に係る動画像符号化装置の符号化の流れを示す図である。
図３は、本発明の実施に係る動画像符号化装置の符号化の方法を示す図である。
図４は、本発明の実施に係る動画像符号化装置の符号化方法の説明図である。
図５は、本発明の実施に係る動画像符号化装置の符号化方法の説明図である。
図１は、本発明の実施に係る動画像符号化装置の構成例を示すブロック図である。
図２は、本発明の実施に係る動画像符号化装置の符号化の流れを示す図である。
図３は、本発明の実施に係る動画像符号化装置の符号化の方法を示す図である。
図４は、本発明の実施に係る動画像符号化装置の符号化方法の説明図である。
図５は、本発明の実施に係る動画像符号化装置の符号化方法の説明図である。
その動画像符号化装置は動き補償時間方向フィルタ処理を行うに際し、過去のフレーム画像及び未来のフレーム画像に注目することにより、低い周波数のフレームレートに変換された低域成分及び高域成分の画像のうち、低域成分の画像の方に、視覚上必要とされる画像成分を残すようにした、圧縮符号化効率の高いサブバンド符号化出力が得られる動画像符号化装置を実現するという目的を、動画像を並列出力する並列入力部と、前記並列出力された前記動画像のうちの１つのフレームを第１参照画像、前記第１参照画像の直後の１フレームを第１ターゲット画像とした場合に、前記第１参照画像から前記第１ターゲット画像の動きを推定して順方向の動きベクトル情報を取得する順方向動き推定部と、前記第１参照画像と前記第１ターゲット画像を入れ替えて、前記第１参照画像を第２ターゲット画像とし、前記第１ターゲット画像を第２参照画像とした場合に、前記第２参照画像から前記第２ターゲット画像の動きを推定して逆方向の動きベクトル情報を取得する逆方向動き推定部と、前記順方向の動きベクトル情報に基づいて、前記第１参照画像と前記第１ターゲット画像間の動きを補償するための順方向動き補償画像を得る順方向動き補償部と、前記逆方向の動きベクトル情報に基づいて、前記第２参照画像と前記第２ターゲット画像の動きを補償するための逆方向動き補償画像を得る逆方向動き補償部と、前記順方向動き補償部で得られた前記順方向動き補償画像と前記第１ターゲット画像との類似度と、前記逆方向動き補償部で得られた前記逆方向動き補償画像と前記第２ターゲット画像との類似度を比較し、前記類似度が高い方はいずれであるかを判定する類似度判定部と、前記類似度判定部で前記類似度が高いと判定された方の前記順方向動き補償部或いは前記逆方向動き補償部に切り替える切り替え部と、前記切り替え部で切り替えられた前記順方向動き補償部或いは前記逆方向動き補償部から出力される前記順方向動き補償画像と前記第１ターゲット画像或いは前記逆方向動き補償画像と前記第２ターゲット画像とを加算して前記動画像よりも低レートな圧縮画像を得る一方、前記第１或いは第２参照画像と前記圧縮画像とを減算して前記圧縮画像から前記第１参照画像と前記第１ターゲット画像或いは前記第２参照画像と前記第２ターゲット画像に復元する復元用補助画像を得るフレーム間サブバンド符号化部とを有するようにして実現した。
動画像符号化装置の構成について述べる。
図１に示す動画像符号化装置１は、入力管理部１２、順方向動き推定部１３、逆方向動き推定部１４、順方向動き補償部１５、逆方向動き補償部１６、類似度判定部１７、スイッチ１８、スイッチ１９、フレーム間サブバンド符号化部２１、量子化部２５、エントロピ符号化部２６、及び多重化部２７より構成される。入力管理部１２には動画像が入力される。多重化部２７からは符号化信号が出力される。
図１に示す動画像符号化装置１は、入力管理部１２、順方向動き推定部１３、逆方向動き推定部１４、順方向動き補償部１５、逆方向動き補償部１６、類似度判定部１７、スイッチ１８、スイッチ１９、フレーム間サブバンド符号化部２１、量子化部２５、エントロピ符号化部２６、及び多重化部２７より構成される。入力管理部１２には動画像が入力される。多重化部２７からは符号化信号が出力される。
動画像符号化装置１の動作について述べる。
まず、入力管理部に入力された動画像は、そこでＧＯＰ(Group of Picture)が構成される。ここでは、説明を平易にするために１ＧＯＰが８フレームごとの画像に分割される場合について述べる。分割されたフレーム画の入力された順に０〜７の番号が付される。順方向動き推定部１３により番号が０番と１番の画像データが取得される。そこでは、０番の画像を参照画像、１番の画像をターゲット画像とし参照画像からターゲット画像を予測するための動きベクトルが検出される。動きベクトルの検出はＭＰＥＧなどで行われている動ベクトルの検出方法と同様に行われる。次に、順方向動き補償部１５により、０番の画像、１番の画像、及び検出された動きベクトルが取得される。そこでは、検出された動ベクトルを基に動き補償画像が生成される。
逆方向動き推定部１４及び逆方向動き補償部１６では順方向動き推定部１３及び順方向動き補償部１５でなされたと同様の動作がなされる。ただし、逆方向動き推定部１４及び逆方向動き補償部１６での動作は順方向動き推定部１３及び順方向動き補償部１５での動作に比して、０番の画像がターゲット画像とされ、１番の画像が参照画像とされる点で異なっている。即ち、順方向動き補償部１５では順方向動き補償画像が生成されるのに比し、
逆方向動き補償部１６では未来の画像を基にして過去の画像が生成されるいわゆる逆方向動き補償画像が生成される。
まず、入力管理部に入力された動画像は、そこでＧＯＰ(Group of Picture)が構成される。ここでは、説明を平易にするために１ＧＯＰが８フレームごとの画像に分割される場合について述べる。分割されたフレーム画の入力された順に０〜７の番号が付される。順方向動き推定部１３により番号が０番と１番の画像データが取得される。そこでは、０番の画像を参照画像、１番の画像をターゲット画像とし参照画像からターゲット画像を予測するための動きベクトルが検出される。動きベクトルの検出はＭＰＥＧなどで行われている動ベクトルの検出方法と同様に行われる。次に、順方向動き補償部１５により、０番の画像、１番の画像、及び検出された動きベクトルが取得される。そこでは、検出された動ベクトルを基に動き補償画像が生成される。
逆方向動き推定部１４及び逆方向動き補償部１６では順方向動き推定部１３及び順方向動き補償部１５でなされたと同様の動作がなされる。ただし、逆方向動き推定部１４及び逆方向動き補償部１６での動作は順方向動き推定部１３及び順方向動き補償部１５での動作に比して、０番の画像がターゲット画像とされ、１番の画像が参照画像とされる点で異なっている。即ち、順方向動き補償部１５では順方向動き補償画像が生成されるのに比し、
逆方向動き補償部１６では未来の画像を基にして過去の画像が生成されるいわゆる逆方向動き補償画像が生成される。
類似度判定部１７では、順方向動き補償部１５で生成された動き補償画像と１番のターゲット画像の類似度と、逆方向動き補償部１６で生成された動き補償画像と０番のターゲット画像との類似度が比較され、どちらの動き補償部で生成された動き補償画像の方が類似しているかが判定される。判定の方法は、例えば動き補償画像とターゲット画像とのピクセルごとの平均二乗誤差を求め、比較して誤差の少ない方を類似度が高いとして判定する。類似度判定部１７でなされた判定結果を基に、スイッチ１９は類似度が高い動き画像が得られる方の端子に切り換えられる。
フレーム間サブバンド符号化部２１では、スイッチ１９を介して参照画像、タ−ゲット画像及び動き補償画像が得られる。入力されるタ−ゲット画像と動き補償画像とが加算されて低域成分画像が生成される。参照画像から低域成分画像が減算されて高域成分画像が生成される。
フレーム間サブバンド符号化部２１では、スイッチ１９を介して参照画像、タ−ゲット画像及び動き補償画像が得られる。入力されるタ−ゲット画像と動き補償画像とが加算されて低域成分画像が生成される。参照画像から低域成分画像が減算されて高域成分画像が生成される。
量子化部２５では低域成分画像及び高域成分画像のそれぞれが量子化され、量子化データが得られる。エントロピ符号化部２６では量子化データに含まれる冗長度が削減される。視覚上冗長であるとされる符号化データも削減される。
エントロピ符号化部２６には順方向動き推定部１３で得られた動きベクトル、又は逆方向動き推定部１４で得られた動きベクトルのうち、類似度判定部１７で類似するとして判定された方の動きベクトルがスイッチ１８で切り換えられて入力されて、符号化される。多重化部２７では、符号化された低域成分画像、高域成分画像、及び動きベクトルは時分割多重され符号化信号として生成されて出力される。
次に、２番の画像を参照画像、３番の画像をターゲット画像として動き補償画像を求め、及び２番の画像をターゲット画像、３番の画像を参照画像として動き補償画像を求め上記と同様に類似度の判定を行い生成された符号化信号を生成する。同様に４〜５番、及び６〜７番のそれぞれのペアの画像について符号化信号を生成する。
エントロピ符号化部２６には順方向動き推定部１３で得られた動きベクトル、又は逆方向動き推定部１４で得られた動きベクトルのうち、類似度判定部１７で類似するとして判定された方の動きベクトルがスイッチ１８で切り換えられて入力されて、符号化される。多重化部２７では、符号化された低域成分画像、高域成分画像、及び動きベクトルは時分割多重され符号化信号として生成されて出力される。
次に、２番の画像を参照画像、３番の画像をターゲット画像として動き補償画像を求め、及び２番の画像をターゲット画像、３番の画像を参照画像として動き補償画像を求め上記と同様に類似度の判定を行い生成された符号化信号を生成する。同様に４〜５番、及び６〜７番のそれぞれのペアの画像について符号化信号を生成する。
図２を参照して符号化データの階層化について述べる。
同図の（１）において、０番の画像と１番の画像から生成された低域成分画像（以降、Ｌ画像と記述することがある。）をＬ１０とし、０番の画像と１番の画像から生成された高域成分画像（以降、Ｈ画像と記述することがある。）をＨ１４として表している。２番及び３番の画像よりＬ１１とＨ１５が生成される。同様に、Ｌ１２、Ｈ１６、Ｌ１３、及びＨ１７が生成される。ここで生成されたＬ１０〜Ｌ１３及びＨ１４〜Ｈ１７は階層化が１次の画像データである。
Ｌ１０及びＬ１１を動画像符号化装置１に入力してＬＬ２０とＬＨ２２を生成できる。Ｌ１２及びＬ１３からＬＬ２１とＬＨ２３を生成できる。ここで生成されたデータは２次の階層化画像データである。
生成された２次の階層化画像データを動画像符号化装置１に入力して、ＬＬＬ３０及びＬＬＨ３１である３次の階層化画像データを生成できる。
同図の（１）において、０番の画像と１番の画像から生成された低域成分画像（以降、Ｌ画像と記述することがある。）をＬ１０とし、０番の画像と１番の画像から生成された高域成分画像（以降、Ｈ画像と記述することがある。）をＨ１４として表している。２番及び３番の画像よりＬ１１とＨ１５が生成される。同様に、Ｌ１２、Ｈ１６、Ｌ１３、及びＨ１７が生成される。ここで生成されたＬ１０〜Ｌ１３及びＨ１４〜Ｈ１７は階層化が１次の画像データである。
Ｌ１０及びＬ１１を動画像符号化装置１に入力してＬＬ２０とＬＨ２２を生成できる。Ｌ１２及びＬ１３からＬＬ２１とＬＨ２３を生成できる。ここで生成されたデータは２次の階層化画像データである。
生成された２次の階層化画像データを動画像符号化装置１に入力して、ＬＬＬ３０及びＬＬＨ３１である３次の階層化画像データを生成できる。
図２の（２）に、１次から３次の階層化画像データの伝送方法を示す。
それぞれがパケット構造とされる符号化信号はＬＬＬ３０、ＬＬＨ３１、ＬＨ２２、ＬＨ２３、Ｈ１４、Ｈ１５、Ｈ１６、そしてＨ１７の順に伝送される。ここで、ＬＬＬ３０はフレームレートが１／８の画像信号である。ＬＬＬ３０は特に強力な誤り訂正符号が付されて伝送される。車載などの移動用受信装置はＬＬＬ３０を受信する。高速に伝播状態の変化する劣悪な伝送路で送信される信号でありながら、伝送レートが低く、且つ強力な誤り訂正符号の付されるデータは正常な受信が可能である。毎秒３．７５（３０／２3）枚の画像で受像される。
それぞれがパケット構造とされる符号化信号はＬＬＬ３０、ＬＬＨ３１、ＬＨ２２、ＬＨ２３、Ｈ１４、Ｈ１５、Ｈ１６、そしてＨ１７の順に伝送される。ここで、ＬＬＬ３０はフレームレートが１／８の画像信号である。ＬＬＬ３０は特に強力な誤り訂正符号が付されて伝送される。車載などの移動用受信装置はＬＬＬ３０を受信する。高速に伝播状態の変化する劣悪な伝送路で送信される信号でありながら、伝送レートが低く、且つ強力な誤り訂正符号の付されるデータは正常な受信が可能である。毎秒３．７５（３０／２3）枚の画像で受像される。
一方、家庭に設置される固定の受信装置は伝送されるＬＬＬ３０〜Ｈ１７の全ての信号を受信する。画像データＨ１４〜Ｈ１７には標準的な誤り訂正符号が付され、通常の伝送レートで送信される。地上高を有する固定アンテナにより安定した受信がなされる。
ＬＬＬ３０〜Ｈ１７の信号を受信した受信機では、ＬＬＬ３０とＬＬＨ３１を用いてＬＬ２０とＬＬ２１を復号化する。復号化されたＬＬ２０及びＬＬ２１と、受信して得られるＬＨ２２及びＬＨ２３を用いてＬ１０〜Ｌ１３を復号化する。それに受信されるＨ１４〜Ｈ１７を用いて画像０〜画像７を復号化する。固定受信においてフレームレートが毎秒３０枚の画像で受像される。
ＬＬＬ３０〜Ｈ１７の信号を受信した受信機では、ＬＬＬ３０とＬＬＨ３１を用いてＬＬ２０とＬＬ２１を復号化する。復号化されたＬＬ２０及びＬＬ２１と、受信して得られるＬＨ２２及びＬＨ２３を用いてＬ１０〜Ｌ１３を復号化する。それに受信されるＨ１４〜Ｈ１７を用いて画像０〜画像７を復号化する。固定受信においてフレームレートが毎秒３０枚の画像で受像される。
図３を参照して順方向及び逆方向の、動き推定部及び動き補償部について説明する。
同図に示す（１）は時間的に過去の方の画像Ａを参照画像とし、未来方向の画像Ｂをターゲット画像として行う順方向動き推定部１３及び順方向動き補償部１５での動作時間関係を示している。（２）は逆方向動き推定部１４及び逆方向動き補償部１６での動作の時間関係を示している。順方向及び逆方向の動き予測及び動き補償を行うことにより得られるそれぞれのＬ画像及びＨ画像は画面を構成する小画像の動き方により変わる場合と変わらない場合とがある。
同図に示す（１）は時間的に過去の方の画像Ａを参照画像とし、未来方向の画像Ｂをターゲット画像として行う順方向動き推定部１３及び順方向動き補償部１５での動作時間関係を示している。（２）は逆方向動き推定部１４及び逆方向動き補償部１６での動作の時間関係を示している。順方向及び逆方向の動き予測及び動き補償を行うことにより得られるそれぞれのＬ画像及びＨ画像は画面を構成する小画像の動き方により変わる場合と変わらない場合とがある。
図４を参照して参照画像とターゲット画像について説明する。
同図において、画像０が（１ａ）に示す円が左側にある画像で、画像１が（１ｂ）に示す円が右側にある画像である。Ｌ画像は画面（１ａ）の画像と画面（１ｂ）の画像とを加算して生成する。このままで加算すると円が２つ並んだＬ画像が得られる。通常の画像の場合では輪郭のぼけた画像となり、好ましくない。そこで（１ａ）の円を（１ｂ）と重なる位置まで右に移動する。そのときの移動量が動きベクトルであり、動かして生成される画像が動き補償画像である。動き補償画像と（１ｂ）の画像を加算すると劣化の無い画像がＬ画像として得られる。Ｈ画像は参照画像からＬ画像を減じた画像である。順方向動き予測と動き補償された画像を用いてＬ画像及びＨ画像を得るサブバンド符号化がなされた例である。
この動作は（１ａ）をターゲット画像、（１ｂ）を参照画像とする場合であっても同様にして重なりの無いＬ画像が得られる。
同図において、画像０が（１ａ）に示す円が左側にある画像で、画像１が（１ｂ）に示す円が右側にある画像である。Ｌ画像は画面（１ａ）の画像と画面（１ｂ）の画像とを加算して生成する。このままで加算すると円が２つ並んだＬ画像が得られる。通常の画像の場合では輪郭のぼけた画像となり、好ましくない。そこで（１ａ）の円を（１ｂ）と重なる位置まで右に移動する。そのときの移動量が動きベクトルであり、動かして生成される画像が動き補償画像である。動き補償画像と（１ｂ）の画像を加算すると劣化の無い画像がＬ画像として得られる。Ｈ画像は参照画像からＬ画像を減じた画像である。順方向動き予測と動き補償された画像を用いてＬ画像及びＨ画像を得るサブバンド符号化がなされた例である。
この動作は（１ａ）をターゲット画像、（１ｂ）を参照画像とする場合であっても同様にして重なりの無いＬ画像が得られる。
画像０が（２ａ）で、画像１が（２ｂ）である場合について述べる。
ここで四角形は両者とも同じ位置にある。四角形の背後にある黒色の三角形は移動している。この場合の四角形の動きベクトルは０であり、三角形の動きベクトルのみが変化する。しかし、動ベクトルの検出としては三角形が移動していると検出されるよりは、新たな黒い三角形が表れているとして検出される。（２ａ）には小面積の三角形しかなく、それにより大面積の三角形の動き予測を行うことは出来ない。従って、正確な動きベクトルを求めることは出来なく好適な動き補償画像を生成できない。（２ａ）を参照画像とする場合はターゲット画像（２ｂ）に対する動き補償画像の作成が困難である。
（２ｂ）を参照画像とし、（２ａ）をターゲット画像とする場合は、（２ｂ）の黒い三角形の一部を用いてターゲット画像（２ａ）に対する動き補償画像の作成が可能である。即ち、画面上に周囲と異なるテクスチャの画像が出現する場合には、異なるテクスチャの情報を多く有する画像の方を参照画像に選定した方が動き補償画像の作成が容易である。
ここで四角形は両者とも同じ位置にある。四角形の背後にある黒色の三角形は移動している。この場合の四角形の動きベクトルは０であり、三角形の動きベクトルのみが変化する。しかし、動ベクトルの検出としては三角形が移動していると検出されるよりは、新たな黒い三角形が表れているとして検出される。（２ａ）には小面積の三角形しかなく、それにより大面積の三角形の動き予測を行うことは出来ない。従って、正確な動きベクトルを求めることは出来なく好適な動き補償画像を生成できない。（２ａ）を参照画像とする場合はターゲット画像（２ｂ）に対する動き補償画像の作成が困難である。
（２ｂ）を参照画像とし、（２ａ）をターゲット画像とする場合は、（２ｂ）の黒い三角形の一部を用いてターゲット画像（２ａ）に対する動き補償画像の作成が可能である。即ち、画面上に周囲と異なるテクスチャの画像が出現する場合には、異なるテクスチャの情報を多く有する画像の方を参照画像に選定した方が動き補償画像の作成が容易である。
（３ａ）はズームアウトしている画像に対し、過去の画像を参照画像として動き補償画像を生成するときに用いられる、ターゲット画像（３ｂ）を予測するために用いられた参照画像の位置を示したものである。（４ｂ）は未来の画像を参照画像とし、過去の（４ａ）に示す画像をターゲット画像として動き補償画像を生成するときの参照画像の位置を示している。ここで、（３ａ）及び（４ｂ）において参照されなかった画像の位置を網点で示している。この場合に生成されるＨ画像の情報量は、網点部分が少ない方を参照画像とした方が少なくなる傾向にある。Ｌ画像に多くの情報が取り込まれたことになる。
図５を参照して参照画像とターゲット画像の位置の好ましい関係について更に述べる。
ここで、画像０が（４ａ）で、画像１が（４ｂ）であるとする。
（５ａ）は、画像（４ａ）を参照画像とし、ターゲット画像（４ｂ）に対する動き補償画像を生成するときに用いられる参照画像部分はクロス線で示される領域である。（６ａ）はその結果得られる動き補償画像である。左下がりの斜線で示される領域は網点の領域とされるべきところが白の領域として生成された誤り領域である。
（５ｂ）は画像（４ｂ）を参照画像、画像（４ａ）をターゲット画像とする場合に用いられる画像の参照される部分を示している。画像（６ｂ）が動き補償画像として得られる。この画像は、画像（４ａ）と同一である。即ち、ターゲット画像と同一の動き補償画像が得られている。
ここで、画像０が（４ａ）で、画像１が（４ｂ）であるとする。
（５ａ）は、画像（４ａ）を参照画像とし、ターゲット画像（４ｂ）に対する動き補償画像を生成するときに用いられる参照画像部分はクロス線で示される領域である。（６ａ）はその結果得られる動き補償画像である。左下がりの斜線で示される領域は網点の領域とされるべきところが白の領域として生成された誤り領域である。
（５ｂ）は画像（４ｂ）を参照画像、画像（４ａ）をターゲット画像とする場合に用いられる画像の参照される部分を示している。画像（６ｂ）が動き補償画像として得られる。この画像は、画像（４ａ）と同一である。即ち、ターゲット画像と同一の動き補償画像が得られている。
以上のように、ターゲット画像に対して誤差の少ない動き補償画像が得られる場合は、その動き補償画像とターゲット画像を加算して歪の少ない低域成分画像（Ｌ画像）が得られる。参照画像から低域成分画像を減算して得られる高域成分画像（Ｈ画像）のデータ量は、Ｌ画像に含まれる歪成分が少ないのに対応して情報量も少なく出来る。サブバンド符号化における符号化効率を高く出来る。
その動画像符号化装置１は、動画像を並列出力する並列入力部１２と、前記並列出力された前記動画像のうちの１つのフレームを第１参照画像、前記第１参照画像の直後の１フレームを第１ターゲット画像とした場合に、前記第１参照画像から前記第１ターゲット画像の動きを推定して順方向の動きベクトル情報を取得する順方向動き推定部１３と、前記第１参照画像と前記第１ターゲット画像を入れ替えて、前記第１参照画像を第２ターゲット画像とし、前記第１ターゲット画像を第２参照画像とした場合に、前記第２参照画像から前記第２ターゲット画像の動きを推定して逆方向の動きベクトル情報を取得する逆方向動き推定部１４と、前記順方向の動きベクトル情報に基づいて、前記第１参照画像と前記第１ターゲット画像間の動きを補償するための順方向動き補償画像を得る順方向動き補償部１５と、前記逆方向の動きベクトル情報に基づいて、前記第２参照画像と前記第２ターゲット画像の動きを補償するための逆方向動き補償画像を得る逆方向動き補償部１６と、前記順方向動き補償部で得られた前記順方向動き補償画像と前記第１ターゲット画像との類似度と、前記逆方向動き補償部で得られた前記逆方向動き補償画像と前記第２ターゲット画像との類似度を比較し、前記類似度が高い方はいずれであるかを判定する類似度判定部１７と、前記類似度判定部で前記類似度が高いと判定された方の前記順方向動き補償部或いは前記逆方向動き補償部に切り替える切り替え部１９と、前記切り替え部で切り替えられた前記順方向動き補償部或いは前記逆方向動き補償部から出力される前記順方向動き補償画像と前記第１ターゲット画像或いは前記逆方向動き補償画像と前記第２ターゲット画像とを加算して前記動画像よりも低レートな圧縮画像を得る一方、前記第１或いは第２参照画像と前記圧縮画像とを減算して前記圧縮画像から前記第１参照画像と前記第１ターゲット画像或いは前記第２参照画像と前記第２ターゲット画像に復元する復元用補助画像を得るフレーム間サブバンド符号化部２１とを有しているので、動き補償時間方向フィルタ処理を行うに際し、過去のフレーム画像及び未来のフレーム画像に注目することにより、低い周波数のフレームレートに変換された低域成分及び高域成分の画像のうち、低域成分の画像の方に、視覚上必要とされる画像成分を残すようにした、圧縮符号化効率の高いサブバンド符号化出力が得られる動画像符号化装置を実現できる。
≪動画像符号化の詳細説明≫
以下、動画像符号化装置、動画像符号化方法、動画像復号化装置及び動画像復号化方法について図６〜図２７を用いて詳述する。
図６から図８は、動き補償時間方向フィルタ処理（以降、ＭＣＴＦ）の処理過程を示した概念図である。
図９は、基本ＭＣＴＦ処理について表したフローチャートである。
図１０は、１ＧＯＰ分の動画像フレームに対する一連のＭＣＴＦ符号化処理を表したフローチャートである。
以下、動画像符号化装置、動画像符号化方法、動画像復号化装置及び動画像復号化方法について図６〜図２７を用いて詳述する。
図６から図８は、動き補償時間方向フィルタ処理（以降、ＭＣＴＦ）の処理過程を示した概念図である。
図９は、基本ＭＣＴＦ処理について表したフローチャートである。
図１０は、１ＧＯＰ分の動画像フレームに対する一連のＭＣＴＦ符号化処理を表したフローチャートである。
まず、ＭＣＴＦ符号化の一連の処理過程について図１０を用いて説明する。
始めに、符号化対象となる動画像フレームを取得する（ステップＳ４０１）。その後、１ＧＯＰ分の動画像フレームを蓄積する（ステップＳ４０２）。ここで１ＧＯＰは、話を簡単にするため８フレームであるものとする。１ＧＯＰ分の動画像フレームから、ＭＣＴＦの対象となるフレーム群をセットする（ステップＳ４０３）。ここでは、Ｌ成分フレームに対するオクターブ分割が行われていないため、１ＧＯＰの全てのフレームがＭＣＴＦの対象となるフレーム群となる。
このようなフレーム群に対して、基本ＭＣＴＦ処理を行う（ステップＳ４０４）。ここで、基本ＭＣＴＦ処理についての詳しい説明は、後述のためここでは割愛する。その後、基本ＭＣＴＦ処理によって得られるＬ成分フレームを整列し、次のオクターブ分割対象のフレーム群とする（ステップＳ４０５）。
始めに、符号化対象となる動画像フレームを取得する（ステップＳ４０１）。その後、１ＧＯＰ分の動画像フレームを蓄積する（ステップＳ４０２）。ここで１ＧＯＰは、話を簡単にするため８フレームであるものとする。１ＧＯＰ分の動画像フレームから、ＭＣＴＦの対象となるフレーム群をセットする（ステップＳ４０３）。ここでは、Ｌ成分フレームに対するオクターブ分割が行われていないため、１ＧＯＰの全てのフレームがＭＣＴＦの対象となるフレーム群となる。
このようなフレーム群に対して、基本ＭＣＴＦ処理を行う（ステップＳ４０４）。ここで、基本ＭＣＴＦ処理についての詳しい説明は、後述のためここでは割愛する。その後、基本ＭＣＴＦ処理によって得られるＬ成分フレームを整列し、次のオクターブ分割対象のフレーム群とする（ステップＳ４０５）。
ＭＣＴＦにおいて、所定のオクターブ分割数に達したかを判定する（ステップＳ４０６）。
所定のオクターブ分割数に達していない場合には、ステップＳ４０３に進み、得られたＬ成分フレーム群を次のＭＣＴＦの対象となるフレーム群として処理を繰り返す。
所定のオクターブ分割数に達している場合には、基本ＭＣＴＦ処理によって得られたＬ成分フレームとＨ成分フレームであるサブバンド係数情報に対して量子化を行う（ステップＳ４０７）。
量子化後のサブバンド係数情報、およびＭＣＴＦのＭＥによって求められた動きベクトル情報などに対して所定のエントロピー符号化を行い（ステップＳ４０８）、得られた符号化出力のＭＵＸを行うことでビットストリームを構成する（ステップＳ４０９）ことで、１ＧＯＰの動画像入力に対する一連のＭＣＴＦ符号化処理が完了する。
ここで、ＭＵＸの際に、１ＧＯＰ毎に１ＧＯＰを構成する際に必要な情報を格納したＧＯＰヘッダを付加するようにすると良い。ＧＯＰヘッダには、少なくとも１ＧＯＰ内のフレーム数、サブバンド符号化のオクターブ分割数に関する情報を含むようにすると良い。また、ＧＯＰヘッダには、さらに後述する順序情報ヘッダを含むようにすると良い。
所定のオクターブ分割数に達していない場合には、ステップＳ４０３に進み、得られたＬ成分フレーム群を次のＭＣＴＦの対象となるフレーム群として処理を繰り返す。
所定のオクターブ分割数に達している場合には、基本ＭＣＴＦ処理によって得られたＬ成分フレームとＨ成分フレームであるサブバンド係数情報に対して量子化を行う（ステップＳ４０７）。
量子化後のサブバンド係数情報、およびＭＣＴＦのＭＥによって求められた動きベクトル情報などに対して所定のエントロピー符号化を行い（ステップＳ４０８）、得られた符号化出力のＭＵＸを行うことでビットストリームを構成する（ステップＳ４０９）ことで、１ＧＯＰの動画像入力に対する一連のＭＣＴＦ符号化処理が完了する。
ここで、ＭＵＸの際に、１ＧＯＰ毎に１ＧＯＰを構成する際に必要な情報を格納したＧＯＰヘッダを付加するようにすると良い。ＧＯＰヘッダには、少なくとも１ＧＯＰ内のフレーム数、サブバンド符号化のオクターブ分割数に関する情報を含むようにすると良い。また、ＧＯＰヘッダには、さらに後述する順序情報ヘッダを含むようにすると良い。
次に、基本ＭＣＴＦ処理について図９および図６から図８を用いて説明する。
図６は、ＭＣＴＦのサブバンド分割においてＬ成分フレームに対して再帰的に行うオクターブ分解の１階分解目の処理過程を示すものである。
基本ＭＣＴＦの対象となるフレーム群をセットする（ステップＳ３０１）ため、図６の６０１が示すような１ＧＯＰ分の０フレームから７フレームに対して、図６の６０２から６０５のようにそれぞれ２Ｎフレーム、２Ｎ＋１フレームの２フレームが処理単位となるようにセットする。ここで、Ｎは０から始まる正整数であるものとする。通常はサブバンド分割によって得られるＬ成分のサブバンド係数情報を格納したＬ成分フレームが対象となるフレーム群となるが、ここではサブバンド分割が初回であるため、１ＧＯＰ分として蓄積したフレームを対象となるフレーム群としてセットする。
まず、図６の６０２の２フレームに対して図６の６０６が示すように、順方向および逆方向に対してそれぞれＭＥを行い、動きベクトルを求める（ステップＳ３０２）。ここで、順方向とは１フレーム側を基準とし、０フレーム側を探索して動きベクトルを求めることを指す。同様に、逆方向とは０フレーム側を基準とし、１フレーム側を探索して動きベクトルを求めることを指す。
順方向および逆方向に対して、それぞれの方向で求めた動きベクトルに基づいてＭＣを行う（ステップＳ３０３）。ここでは、図６の６０６が示すように、順方向では０フレーム側がＭＣ画像、１フレーム側がＭＥ／ＭＣを行う際の基準となっている。逆方向では、１フレーム側がＭＣ画像、０フレーム側がＭＥ／ＭＣを行う際の基準となっている。
図６は、ＭＣＴＦのサブバンド分割においてＬ成分フレームに対して再帰的に行うオクターブ分解の１階分解目の処理過程を示すものである。
基本ＭＣＴＦの対象となるフレーム群をセットする（ステップＳ３０１）ため、図６の６０１が示すような１ＧＯＰ分の０フレームから７フレームに対して、図６の６０２から６０５のようにそれぞれ２Ｎフレーム、２Ｎ＋１フレームの２フレームが処理単位となるようにセットする。ここで、Ｎは０から始まる正整数であるものとする。通常はサブバンド分割によって得られるＬ成分のサブバンド係数情報を格納したＬ成分フレームが対象となるフレーム群となるが、ここではサブバンド分割が初回であるため、１ＧＯＰ分として蓄積したフレームを対象となるフレーム群としてセットする。
まず、図６の６０２の２フレームに対して図６の６０６が示すように、順方向および逆方向に対してそれぞれＭＥを行い、動きベクトルを求める（ステップＳ３０２）。ここで、順方向とは１フレーム側を基準とし、０フレーム側を探索して動きベクトルを求めることを指す。同様に、逆方向とは０フレーム側を基準とし、１フレーム側を探索して動きベクトルを求めることを指す。
順方向および逆方向に対して、それぞれの方向で求めた動きベクトルに基づいてＭＣを行う（ステップＳ３０３）。ここでは、図６の６０６が示すように、順方向では０フレーム側がＭＣ画像、１フレーム側がＭＥ／ＭＣを行う際の基準となっている。逆方向では、１フレーム側がＭＣ画像、０フレーム側がＭＥ／ＭＣを行う際の基準となっている。
その後、順方向および逆方向に対して作成したＭＣ画像とＭＣを行った際の基準となっている対象フレームとの類似度を求める（ステップＳ３０４）。ここで類似度を判定するために、一般にＭＳＥ（Mean Square Error）を測定し、この値がより小さいことにより類似度を判定する方法がとられる。また類似度の判定には、単純にフレーム間の差分の絶対値の総和をフレーム間の誤差として測定し、この値がより小さいことにより類似度を判定しても良い。類似度は、ＭＣを行った際の非結合領域の画素数を測定し、この値がより小さいことにより類似度を判定してもよい。ここでは誤差の優劣が判定できるものであれば特に限定されるものではないことに注意する。
順方向におけるＭＣ画像と基準となる対象フレームとの類似度と、逆方向におけるＭＣ画像と基準となる対象フレームとの類似度において、どちらの方向がより類似度が高いかを判定する。ここでは類似度が高いのは順方向であるか（ステップＳ３０５）を判定する。
順方向の方がより類似度が高いと判定された場合には、順方向のＭＥ／ＭＣによって得られたＭＣ画像および動きベクトルを採用し、採用した方向が順方向であることを示す順序情報を出力する（ステップＳ３０６）。ここで、順序情報は、図６の６０６では順方向に対しては１フレーム側の＋記号、逆方向に対しては０フレーム側の−記号で表現している。
順方向におけるＭＣ画像と基準となる対象フレームとの類似度と、逆方向におけるＭＣ画像と基準となる対象フレームとの類似度において、どちらの方向がより類似度が高いかを判定する。ここでは類似度が高いのは順方向であるか（ステップＳ３０５）を判定する。
順方向の方がより類似度が高いと判定された場合には、順方向のＭＥ／ＭＣによって得られたＭＣ画像および動きベクトルを採用し、採用した方向が順方向であることを示す順序情報を出力する（ステップＳ３０６）。ここで、順序情報は、図６の６０６では順方向に対しては１フレーム側の＋記号、逆方向に対しては０フレーム側の−記号で表現している。
逆方向の方がより類似度が高いと判定された場合には、逆方向のＭＥ／ＭＣによって得られたＭＣ画像および動きベクトルを採用し、採用した方向が逆方向であることを示す順序情報を出力する（ステップＳ３０７）。ここでは、図６の６０７が示すように、逆方向が選択されたものとして話を進める。
その後、選択されたＭＣ画像と基準となった対象フレームを用いてフレーム間サブバンド符号化を行う（ステップＳ３０８）。符号化後の出力であるサブバンド係数情報は、順序情報に基づいて格納先が制御される。順序情報が順方向を表すものである場合には、Ｌ成分のサブバンド係数情報は０フレーム側、Ｈ成分のサブバンド係数情報は１フレーム側に格納するように格納先を制御する。同様に、順序情報が逆方向を表すものである場合には、Ｌ成分のサブバンド係数情報は１フレーム側、Ｈ成分のサブバンド係数情報は０フレーム側に格納するように格納先を制御する。ここでは順序情報は逆方向を表すものであるため、０フレーム側は対象フレーム、１フレーム側はＭＣ画像であり、この２フレームに対して直交変換であるフレーム間のサブバンド符号化を行い、図６の６０８が示すように、順序情報に基づいて０フレーム側にＨ成分のサブバンド係数情報を格納したＨ成分フレーム、１フレーム側にＬ成分のサブバンド係数情報を格納したＬ成分フレームとなるように符号化後のサブバンド係数情報の格納先を制御する。
その後、選択されたＭＣ画像と基準となった対象フレームを用いてフレーム間サブバンド符号化を行う（ステップＳ３０８）。符号化後の出力であるサブバンド係数情報は、順序情報に基づいて格納先が制御される。順序情報が順方向を表すものである場合には、Ｌ成分のサブバンド係数情報は０フレーム側、Ｈ成分のサブバンド係数情報は１フレーム側に格納するように格納先を制御する。同様に、順序情報が逆方向を表すものである場合には、Ｌ成分のサブバンド係数情報は１フレーム側、Ｈ成分のサブバンド係数情報は０フレーム側に格納するように格納先を制御する。ここでは順序情報は逆方向を表すものであるため、０フレーム側は対象フレーム、１フレーム側はＭＣ画像であり、この２フレームに対して直交変換であるフレーム間のサブバンド符号化を行い、図６の６０８が示すように、順序情報に基づいて０フレーム側にＨ成分のサブバンド係数情報を格納したＨ成分フレーム、１フレーム側にＬ成分のサブバンド係数情報を格納したＬ成分フレームとなるように符号化後のサブバンド係数情報の格納先を制御する。
次に、図６の６０９が示すように、動きベクトル情報に基づいて逆ＭＣを行う（ステップＳ３０９）。利用する動きベクトル情報は順序情報に応じたものであり、ここでは逆方向のＭＥによって得られた動きベクトル情報を逆方向に利用することで逆ＭＣを行う。また、逆ＭＣを行う対象となるフレームは、Ｌ成分フレームであり、ここでは順序情報によって格納先が１フレーム側に制御されたＬ成分フレームに対して行う。
その後、逆ＭＣで埋めきれなかった画素の補間を行う（ステップＳ３１０）。一般に、この逆ＭＣで埋めきれなかった画素の領域は、ＭＥの際に０フレームと１フレームとの間で関係付けられなかった非結合領域である。そこで通常は、この非結合領域の位置と同じ位置にある領域内の画素を元のフレーム、つまりここでは１フレームから取得し、画素の補間を行う。
このようにして得られた逆ＭＣ後のＬ成分フレームが次の基本ＭＣＴＦ処理の候補となる。そして、現在のオクターブ分割において処理対象となるフレームが存在するかを判定する（ステップＳ３１１）。現在のオクターブ分割の処理対象となるフレームが存在しない場合には、基本ＭＣＴＦ処理を完了する。ここでは、現在のオクターブ分割において処理対象となるフレームが２フレームから７フレームまで残っているため、ステップＳ３０１に戻り、次の基本ＭＣＴＦ処理の対象となるフレーム群である２フレームと３フレームをセットする。
その後、逆ＭＣで埋めきれなかった画素の補間を行う（ステップＳ３１０）。一般に、この逆ＭＣで埋めきれなかった画素の領域は、ＭＥの際に０フレームと１フレームとの間で関係付けられなかった非結合領域である。そこで通常は、この非結合領域の位置と同じ位置にある領域内の画素を元のフレーム、つまりここでは１フレームから取得し、画素の補間を行う。
このようにして得られた逆ＭＣ後のＬ成分フレームが次の基本ＭＣＴＦ処理の候補となる。そして、現在のオクターブ分割において処理対象となるフレームが存在するかを判定する（ステップＳ３１１）。現在のオクターブ分割の処理対象となるフレームが存在しない場合には、基本ＭＣＴＦ処理を完了する。ここでは、現在のオクターブ分割において処理対象となるフレームが２フレームから７フレームまで残っているため、ステップＳ３０１に戻り、次の基本ＭＣＴＦ処理の対象となるフレーム群である２フレームと３フレームをセットする。
その後、同様に基本ＭＣＴＦ処理が行われ、２フレームと３フレームとの間では、順方向およぴ逆方向の選択において逆方向を選択し、３フレーム側に逆ＭＣ後のＬ成分フレームを生成する。４フレームと５フレームとの間では、順方向および逆方向の選択において順方向を選択し、４フレーム側に逆ＭＣ後のＬ成分フレームを生成する。６フレームと７フレームとの間では、順方向および逆方向の選択において順方向を選択し、６フレーム側に逆ＭＣ後のＬ成分フレームを生成する。
このようにして現在のオクターブ分割の処理対象となるフレームが存在しなくなるまで基本ＭＣＴＦ処理を繰り返し、図６の６１０、６１５、６２０、６２５のような逆ＭＣ後のＬ成分フレームを得ることで、基本ＭＣＴＦ処理を完了する。ここで、得られたＨ成分フレーム、動きベクトル情報、順序情報などに対しては、その後の量子化やエントロピー符号化にまわされる。また、この基本ＭＣＴＦ処理によって得られた図６の６１０、６１５、６２０、６２５が示す逆ＭＣ後のＬ成分フレーム群は、次のＭＣＴＦのオクターブ分割の対象となるフレーム群としてセットされる。
ここで、１ＧＯＰが本実施例のように８フレームであるものとすると、従来のＭＣＴＦでは０、２、４、６番目のフレームもしくは１，３，５，７番目のフレームといったように、フレーム間隔が等間隔になるようにフレームを出力する。しかし、ＭＣＴＦでは、各サブバンド分割毎に得られる逆ＭＣ後のＬ成分フレーム群は、本実施例において１，３，４，６番目のフレームといったように、フレーム間隔が不等間隔になるようにフレームを出力する。この不等間隔のフレーム出力は、順方向のＭＥ／ＭＣと、逆方向のＭＥ／ＭＣを行い、それぞれの方向に対して得られたＭＣ画像とＭＣ対象となったフレームとの類似度を求め、この類似度の高かった方向のＭＥ／ＭＣの結果を利用してその後のＭＣＴＦ処理を行うことによって生じる効果である。
このようにして現在のオクターブ分割の処理対象となるフレームが存在しなくなるまで基本ＭＣＴＦ処理を繰り返し、図６の６１０、６１５、６２０、６２５のような逆ＭＣ後のＬ成分フレームを得ることで、基本ＭＣＴＦ処理を完了する。ここで、得られたＨ成分フレーム、動きベクトル情報、順序情報などに対しては、その後の量子化やエントロピー符号化にまわされる。また、この基本ＭＣＴＦ処理によって得られた図６の６１０、６１５、６２０、６２５が示す逆ＭＣ後のＬ成分フレーム群は、次のＭＣＴＦのオクターブ分割の対象となるフレーム群としてセットされる。
ここで、１ＧＯＰが本実施例のように８フレームであるものとすると、従来のＭＣＴＦでは０、２、４、６番目のフレームもしくは１，３，５，７番目のフレームといったように、フレーム間隔が等間隔になるようにフレームを出力する。しかし、ＭＣＴＦでは、各サブバンド分割毎に得られる逆ＭＣ後のＬ成分フレーム群は、本実施例において１，３，４，６番目のフレームといったように、フレーム間隔が不等間隔になるようにフレームを出力する。この不等間隔のフレーム出力は、順方向のＭＥ／ＭＣと、逆方向のＭＥ／ＭＣを行い、それぞれの方向に対して得られたＭＣ画像とＭＣ対象となったフレームとの類似度を求め、この類似度の高かった方向のＭＥ／ＭＣの結果を利用してその後のＭＣＴＦ処理を行うことによって生じる効果である。
図７は、ＭＣＴＦのサブバンド分割においてＬ成分フレームに対して再帰的に行うオクターブ分解の２階分解目の処理過程を示すものである。
基本的な処理の流れは、図６が示す基本ＭＣＴＦ処理と同じである。
まず、図７の７０１が示すように、図６の６１０、６１５、６２０、６２５が示す逆ＭＣ後のＬ成分フレーム群が、２階分解目のオクターブ分割の対象となるフレーム群としてセットされる。その後、１フレームと３フレーム、４フレームと６フレームを基本ＭＣＴＦ処理の対象となるフレーム群としてセットする。
その後、同様に基本ＭＣＴＦ処理が行われ、１フレームと３フレームとの間では、順方向およぴ逆方向の選択において逆方向を選択し、３フレーム側に逆ＭＣ後のＬ成分フレームを生成する。４フレームと６フレームとの間では、順方向および逆方向の選択において順方向を選択し、４フレーム側に逆ＭＣ後のＬ成分フレームを生成する。
このようにして現在のオクターブ分割の処理対象となるフレームが存在しなくなるまで基本ＭＣＴＦ処理を繰り返し、図７の７０８、７１３のような逆ＭＣ後のＬ成分フレームを得ることで、基本ＭＣＴＦ処理を完了する。
基本的な処理の流れは、図６が示す基本ＭＣＴＦ処理と同じである。
まず、図７の７０１が示すように、図６の６１０、６１５、６２０、６２５が示す逆ＭＣ後のＬ成分フレーム群が、２階分解目のオクターブ分割の対象となるフレーム群としてセットされる。その後、１フレームと３フレーム、４フレームと６フレームを基本ＭＣＴＦ処理の対象となるフレーム群としてセットする。
その後、同様に基本ＭＣＴＦ処理が行われ、１フレームと３フレームとの間では、順方向およぴ逆方向の選択において逆方向を選択し、３フレーム側に逆ＭＣ後のＬ成分フレームを生成する。４フレームと６フレームとの間では、順方向および逆方向の選択において順方向を選択し、４フレーム側に逆ＭＣ後のＬ成分フレームを生成する。
このようにして現在のオクターブ分割の処理対象となるフレームが存在しなくなるまで基本ＭＣＴＦ処理を繰り返し、図７の７０８、７１３のような逆ＭＣ後のＬ成分フレームを得ることで、基本ＭＣＴＦ処理を完了する。
図８は、ＭＣＴＦのサブバンド分割においてＬ成分フレームに対して再帰的に行うオクターブ分解の３階分解目の処理過程を示すものである。
基本的な処理の流れは、図６および図７が示す基本ＭＣＴＦ処理と同じである。
まず、図８の８０１が示すように、図７の７０８、７１３が示す逆ＭＣ後のＬ成分フレーム群が、３階分解目のオクターブ分割の対象となるフレーム群としてセットされる。その後、３フレームと４フレームを基本ＭＣＴＦ処理の対象となるフレーム群としてセットする。
その後、同様に基本ＭＣＴＦ処理が行われ、３フレームと４フレームとの間では、順方向および逆方向の選択において順方向を選択し、３フレーム側に逆ＭＣ後のＬ成分フレームを生成する。
このようにして現在のオクターブ分割の処理対象となるフレームが存在しなくなるまで基本ＭＣＴＦ処理を繰り返し、図８の８０７のような逆ＭＣ後のＬ成分フレームを得ることで、基本ＭＣＴＦ処理を完了する。
基本的な処理の流れは、図６および図７が示す基本ＭＣＴＦ処理と同じである。
まず、図８の８０１が示すように、図７の７０８、７１３が示す逆ＭＣ後のＬ成分フレーム群が、３階分解目のオクターブ分割の対象となるフレーム群としてセットされる。その後、３フレームと４フレームを基本ＭＣＴＦ処理の対象となるフレーム群としてセットする。
その後、同様に基本ＭＣＴＦ処理が行われ、３フレームと４フレームとの間では、順方向および逆方向の選択において順方向を選択し、３フレーム側に逆ＭＣ後のＬ成分フレームを生成する。
このようにして現在のオクターブ分割の処理対象となるフレームが存在しなくなるまで基本ＭＣＴＦ処理を繰り返し、図８の８０７のような逆ＭＣ後のＬ成分フレームを得ることで、基本ＭＣＴＦ処理を完了する。
図１５は、基本逆ＭＣＴＦ処理について表したフローチャートである。
図１６は、ビットストリームから１ＧＯＰ分の動画像フレームを得るまでの一連のＭＣＴＦ復号化処理を表したフローチャートである。
まず、ＭＣＴＦ復号化の一連の処理過程について図１６を用いて説明する。
図１６では、復号するためのビットストリームを取得する（ステップＳ６０１）。
その後、取得したビットストリームに対してＤＥＭＵＸを行う（ステップＳ６０２）ことで、サブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列を取得する。
ＤＥＭＵＸによって得られるサブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列に対してエントロピー復号化を行う（ステップＳ６０３）ことで、Ｌ成分およびＨ成分のサブバンド係数情報、動きベクトル情報、順序情報を得る。
Ｌ成分およびＨ成分のサブバンド係数情報に対して逆量子化を行う（ステップＳ６０４）。
図１６は、ビットストリームから１ＧＯＰ分の動画像フレームを得るまでの一連のＭＣＴＦ復号化処理を表したフローチャートである。
まず、ＭＣＴＦ復号化の一連の処理過程について図１６を用いて説明する。
図１６では、復号するためのビットストリームを取得する（ステップＳ６０１）。
その後、取得したビットストリームに対してＤＥＭＵＸを行う（ステップＳ６０２）ことで、サブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列を取得する。
ＤＥＭＵＸによって得られるサブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列に対してエントロピー復号化を行う（ステップＳ６０３）ことで、Ｌ成分およびＨ成分のサブバンド係数情報、動きベクトル情報、順序情報を得る。
Ｌ成分およびＨ成分のサブバンド係数情報に対して逆量子化を行う（ステップＳ６０４）。
１ＧＯＰを構成するための情報を蓄積する（ステップＳ６０５）。ここでは、１ＧＯＰを構成するために必要なＬ成分フレーム、Ｈ成分フレーム、動きベクトル情報、順序情報を逆量子化およびエントロピー復号化から取得する。
基本逆ＭＣＴＦ処理の対象となる情報群をセットする（ステップＳ６０６）。
その後、基本ＭＣＴＦ処理を行う（ステップＳ６０７）。
その後、所定のオクターブ分割数であるかを判定する（ステップＳ６０８）。
所定のオクターブ分割数に達していない場合には、基本逆ＭＣＴＦ処理によって合成されたＬ成分フレーム群を次の基本逆ＭＣＴＦ処理の対象としてセットした後に基本逆ＭＣＴＦ処理を行うことを所定のオクターブ分割数になるまで繰り返す。
所定のオクターブ分割数に達した場合には、得られたＬ成分フレーム群を復号動画像として出力する。ここで、オクターブ分割数が０の状態のＬ成分フレームは、全てのＬ成分フレームとＨ成分フレームに対して復号化を行った後の完全な復号動画像となる。
基本逆ＭＣＴＦ処理の対象となる情報群をセットする（ステップＳ６０６）。
その後、基本ＭＣＴＦ処理を行う（ステップＳ６０７）。
その後、所定のオクターブ分割数であるかを判定する（ステップＳ６０８）。
所定のオクターブ分割数に達していない場合には、基本逆ＭＣＴＦ処理によって合成されたＬ成分フレーム群を次の基本逆ＭＣＴＦ処理の対象としてセットした後に基本逆ＭＣＴＦ処理を行うことを所定のオクターブ分割数になるまで繰り返す。
所定のオクターブ分割数に達した場合には、得られたＬ成分フレーム群を復号動画像として出力する。ここで、オクターブ分割数が０の状態のＬ成分フレームは、全てのＬ成分フレームとＨ成分フレームに対して復号化を行った後の完全な復号動画像となる。
次に、基本逆ＭＣＴＦ処理について図１１および図１５を用いて説明する。ここでは、順序情報が各Ｈ成分フレーム毎に取得できるものとして話を進める。
まず、処理対象となっているフレームに関する順序情報を取得する（ステップＳ５０１）。ここでは、順序情報は順方向であるものとする。図１１では、順序情報において順方向を「＋」、逆方向を「−」で表している。
また、基本逆ＭＣＴＦ処理を行うために、逆ＭＣＴＦの対象となる情報群をセットする（ステップＳ５０２）。ここでは、１ＧＯＰは８フレームであり、符号化側で行われたサブバンド符号化のオクターブ分割数は３階分解されているものとする。また、図１１の右上のフレーム群が示すようなＬ３−３，Ｈ３−４，Ｈ２−１，Ｈ２−６，Ｈ１−０，Ｈ１−２，Ｈ１−５，Ｈ１−７といった順序で各成分フレームが入力され、オクターブ分割数が高い順に基本逆ＭＣＴＦ処理の処理対象となるようにセットされる。ここで、Ｌ３−３は、「Ｌ３」がオクターブ分割数が３階分解のＬ成分フレームであることを表し、「−３」は、符号化時に格納されていた１ＧＯＰ内のフレーム位置が３フレーム目であったことを表す。また、Ｈ３−４は、「Ｈ３」がオクターブ分割数が３階分解のＨ成分フレームであることを表し、「−４」は、符号化時に格納されていた１ＧＯＰ内のフレーム位置が４フレーム目であったことを表す。以降、Ｈ２−１，Ｈ２−６，Ｈ１−０，Ｈ１−２，Ｈ１−５，Ｈ１−７も同様である。ただし、ここでの復号化側では、順序情報は各Ｈ成分フレーム毎に取得するため、復号化が全て完了するまで元の正確なフレーム位置を特定できないことに注意しなければならない。
まず、処理対象となっているフレームに関する順序情報を取得する（ステップＳ５０１）。ここでは、順序情報は順方向であるものとする。図１１では、順序情報において順方向を「＋」、逆方向を「−」で表している。
また、基本逆ＭＣＴＦ処理を行うために、逆ＭＣＴＦの対象となる情報群をセットする（ステップＳ５０２）。ここでは、１ＧＯＰは８フレームであり、符号化側で行われたサブバンド符号化のオクターブ分割数は３階分解されているものとする。また、図１１の右上のフレーム群が示すようなＬ３−３，Ｈ３−４，Ｈ２−１，Ｈ２−６，Ｈ１−０，Ｈ１−２，Ｈ１−５，Ｈ１−７といった順序で各成分フレームが入力され、オクターブ分割数が高い順に基本逆ＭＣＴＦ処理の処理対象となるようにセットされる。ここで、Ｌ３−３は、「Ｌ３」がオクターブ分割数が３階分解のＬ成分フレームであることを表し、「−３」は、符号化時に格納されていた１ＧＯＰ内のフレーム位置が３フレーム目であったことを表す。また、Ｈ３−４は、「Ｈ３」がオクターブ分割数が３階分解のＨ成分フレームであることを表し、「−４」は、符号化時に格納されていた１ＧＯＰ内のフレーム位置が４フレーム目であったことを表す。以降、Ｈ２−１，Ｈ２−６，Ｈ１−０，Ｈ１−２，Ｈ１−５，Ｈ１−７も同様である。ただし、ここでの復号化側では、順序情報は各Ｈ成分フレーム毎に取得するため、復号化が全て完了するまで元の正確なフレーム位置を特定できないことに注意しなければならない。
図１１の１１０１から１１２１が示す各領域は、復号したフレームをスケーラブル後の再生動画像として表示する際に、１フレームが占めるＧＯＰ内の時間間隔を視覚的に示したものである。
時間方向のスケーラビリティとしてＬ成分フレームを動画像再生とする場合には、図１１の１０１に格納されたＬ３−３のタイミングで動画像再生を行うことになる。ここでは、まだ格納位置までは特定できないため、図１１の１１０１が示す時間間隔の中央に配置したものとして再生する。
基本逆ＭＣＴＦ処理を行うためのフレーム群のセットは、まずオクターブ分割数が３階分解のフレームに対して復号を行うために、Ｌ３−３フレームおよびＨ３−４フレームを取得する。次に、図１１の１１０２と１１０３に注目し、順序情報が順方向である場合には、Ｌ成分フレームをフレーム位置０フレームに近い方、Ｈ成分フレームをフレーム位置７フレームに近いほうに格納する。順序情報が逆方向である場合には、Ｌ成分フレームとＨ成分フレームの位置を逆にした位置に格納する。ここでは、順序情報が順方向であるため、Ｌ成分フレームは図１１の１１０２に格納し、Ｈ成分フレームは図１１の１１０３に格納する。
時間方向のスケーラビリティとしてＬ成分フレームを動画像再生とする場合には、図１１の１０１に格納されたＬ３−３のタイミングで動画像再生を行うことになる。ここでは、まだ格納位置までは特定できないため、図１１の１１０１が示す時間間隔の中央に配置したものとして再生する。
基本逆ＭＣＴＦ処理を行うためのフレーム群のセットは、まずオクターブ分割数が３階分解のフレームに対して復号を行うために、Ｌ３−３フレームおよびＨ３−４フレームを取得する。次に、図１１の１１０２と１１０３に注目し、順序情報が順方向である場合には、Ｌ成分フレームをフレーム位置０フレームに近い方、Ｈ成分フレームをフレーム位置７フレームに近いほうに格納する。順序情報が逆方向である場合には、Ｌ成分フレームとＨ成分フレームの位置を逆にした位置に格納する。ここでは、順序情報が順方向であるため、Ｌ成分フレームは図１１の１１０２に格納し、Ｈ成分フレームは図１１の１１０３に格納する。
その後、順序情報および動きベクトル情報に基づいて、Ｌ成分フレームに対してＭＣを行う（ステップＳ５０３）。ここでは、図１１の１１０１のＬ３−３フレームは、図１１の１１０２に再配置し、その後動きベクトル情報に従ってＭＣを行うことでＭＣ画像を得る。
順序情報および動きベクトル情報に基づいて作成したＭＣ画像を用いて、図１１の１１０３に格納したＨ成分フレームとの間でフレーム間サブバンド復号化を行う（ステップＳ５０４）。
その後、ＭＣ画像側の復号化で得られたＬ成分フレーム、つまり図１１の１１０４に対して、順序情報および動きベクトル情報に基づいて逆ＭＣを行う（ステップＳ５０５）とともに、逆ＭＣで埋めきれなかった画素の補間を行う（ステップＳ５０６）。
以上のような処理過程を経ることで、３階分解のＬ成分フレームとＨ成分フレームから図１１の１１０４および１１０５に格納されている２階分解のＬ成分フレームを得ることができる。
その後、現在のオクターブ分割において処理対象となるフレームが存在するかどうか判定する（ステップＳ５０７）。今回は、オクターブ分割の３階分解から２階分解への復号化であり、処理対象となるフレームは存在しないため、基本逆ＭＣＴＦ処理を完了する。
この段階で時間方向のスケーラビリティとしてＬ成分フレームを動画像再生とする場合には、図１１の１１０４および１１０５に格納されたＬ成分フレームのタイミングで動画像再生を行うことになる。ここでは、まだ格納位置までは特定できないため、図１１の１１０４および１１０５が示す時間間隔の中央に配置したものとして再生する。
順序情報および動きベクトル情報に基づいて作成したＭＣ画像を用いて、図１１の１１０３に格納したＨ成分フレームとの間でフレーム間サブバンド復号化を行う（ステップＳ５０４）。
その後、ＭＣ画像側の復号化で得られたＬ成分フレーム、つまり図１１の１１０４に対して、順序情報および動きベクトル情報に基づいて逆ＭＣを行う（ステップＳ５０５）とともに、逆ＭＣで埋めきれなかった画素の補間を行う（ステップＳ５０６）。
以上のような処理過程を経ることで、３階分解のＬ成分フレームとＨ成分フレームから図１１の１１０４および１１０５に格納されている２階分解のＬ成分フレームを得ることができる。
その後、現在のオクターブ分割において処理対象となるフレームが存在するかどうか判定する（ステップＳ５０７）。今回は、オクターブ分割の３階分解から２階分解への復号化であり、処理対象となるフレームは存在しないため、基本逆ＭＣＴＦ処理を完了する。
この段階で時間方向のスケーラビリティとしてＬ成分フレームを動画像再生とする場合には、図１１の１１０４および１１０５に格納されたＬ成分フレームのタイミングで動画像再生を行うことになる。ここでは、まだ格納位置までは特定できないため、図１１の１１０４および１１０５が示す時間間隔の中央に配置したものとして再生する。
次に、オクターブ分割が２階分解のフレームに対して復号を行うために、図１１の１１０４および１１０５のＬ成分フレームに注目するとともに、Ｈ２−１フレームを取得するとともに、付随する順序情報を取得する。ここで、Ｈ２−１フレームに対応する順序情報は逆方向である。また、図１１の１１０４が示す時間間隔を等分し、図１１の１１０６および１１０７を格納対象となる時間間隔であるものとする。
その後、図１１の１１０４のＬ成分フレームとＨ２−１フレームを、順序情報に従って格納する。図１１の１１０４のＬ成分フレームは、順序情報が逆方向であるため、図１１の１１０４を等分してできた区間である図１１の１１０６と１１０７のうち、図１１の１１０７側に格納する。対応するＨ成分フレームであるＨ２−１フレームは、図１１の１１０６側に格納する。
その後、通常の基本逆ＭＣＴＦ処理である順序情報および動きベクトル情報に基づいたＭＣ、フレーム間サブバンド復号化、逆ＭＣ、逆ＭＣで埋めきれなかった画素の補間を行う。
その後、現在のオクターブ分割において処理対象となるフレームが存在するかどうか判定する。今回は、オクターブ分割の２階分解から１階分解への復号化であり、処理対象となる図１１の１１０５のＬ成分フレームとＨ成分フレームであるＨ２−６フレームが存在するため基本逆ＭＣＴＦ処理を継続し、図１１の１１１２及び１１１３のような復号化後のＬ成分フレームを取得した時点で、オクターブ分割が２階分解のフレームに対する逆ＭＣＴＦ処理を完了する。
その後、図１１の１１０４のＬ成分フレームとＨ２−１フレームを、順序情報に従って格納する。図１１の１１０４のＬ成分フレームは、順序情報が逆方向であるため、図１１の１１０４を等分してできた区間である図１１の１１０６と１１０７のうち、図１１の１１０７側に格納する。対応するＨ成分フレームであるＨ２−１フレームは、図１１の１１０６側に格納する。
その後、通常の基本逆ＭＣＴＦ処理である順序情報および動きベクトル情報に基づいたＭＣ、フレーム間サブバンド復号化、逆ＭＣ、逆ＭＣで埋めきれなかった画素の補間を行う。
その後、現在のオクターブ分割において処理対象となるフレームが存在するかどうか判定する。今回は、オクターブ分割の２階分解から１階分解への復号化であり、処理対象となる図１１の１１０５のＬ成分フレームとＨ成分フレームであるＨ２−６フレームが存在するため基本逆ＭＣＴＦ処理を継続し、図１１の１１１２及び１１１３のような復号化後のＬ成分フレームを取得した時点で、オクターブ分割が２階分解のフレームに対する逆ＭＣＴＦ処理を完了する。
この段階で時間方向のスケーラビリティとしてＬ成分フレームを動画像再生とする場合には、図１１の１１１０から１１１３に格納されたＬ成分フレームのタイミングで動画像再生を行うことになる。ここでは、まだ格納位置までは特定できないため、図１１の１１１０から１１１３が示す時間間隔の中央に配置したものとして再生する。
同様に、オクターブ分割が１階分解のフレームに対して処理対象のフレームがなくなるまで基本逆ＭＣＴＦ処理を繰り返すことで、最終的な復号フレームを得ることができる。
得られた各Ｌ成分フレームのフレーム位置は、図１１の１１１４から１１２１の時間間隔が元のフレーム間の時間間隔となるため、この段階での再生動画像は、正しい位置および正しいフレームレートで再生される。
同様に、オクターブ分割が１階分解のフレームに対して処理対象のフレームがなくなるまで基本逆ＭＣＴＦ処理を繰り返すことで、最終的な復号フレームを得ることができる。
得られた各Ｌ成分フレームのフレーム位置は、図１１の１１１４から１１２１の時間間隔が元のフレーム間の時間間隔となるため、この段階での再生動画像は、正しい位置および正しいフレームレートで再生される。
このように、逆ＭＣＴＦにおいて、順序情報を各Ｈ成分フレーム毎に取得するような構成の場合、復号化処理自体に問題は生じないが、時間方向のスケーラビリティを実現する際に、符号化時にフレーム間隔を不等間隔で符号化したにもかかわらず、復号化側では本来の復号化フレームの位置ではない、等間隔での表示となる。
そこで符号化側において、各Ｈ成分フレームに対応する順序情報を出力する際に、図１２に示すような情報に変換することで順序情報ヘッダを生成し、１ＧＯＰ毎に伝送するようにすると良い。
ここでは図１２が示すように、まず各Ｈ成分フレームに対応する順序情報に対して、順方向を「０」、逆方向を「１」といった順序情報ビットに変換する。その後、オクターブ分割数が小さい順、つまりオクターブ分割を１階分解した際に得られるＨ１成分フレームに対応する順序情報ビットから順に、Ｈ２成分フレームに対応する順序情報ビット、Ｈ３成分フレームに対応する順序情報ビットと整列する。このように整列した順序情報ビット列を順序情報ヘッダとして１ＧＯＰのヘッダ内に組み込むことで、１ＧＯＰの復号化を行う際に、１ＧＯＰ全体のフレームに関する順序情報を得ることができるようになる。
そこで符号化側において、各Ｈ成分フレームに対応する順序情報を出力する際に、図１２に示すような情報に変換することで順序情報ヘッダを生成し、１ＧＯＰ毎に伝送するようにすると良い。
ここでは図１２が示すように、まず各Ｈ成分フレームに対応する順序情報に対して、順方向を「０」、逆方向を「１」といった順序情報ビットに変換する。その後、オクターブ分割数が小さい順、つまりオクターブ分割を１階分解した際に得られるＨ１成分フレームに対応する順序情報ビットから順に、Ｈ２成分フレームに対応する順序情報ビット、Ｈ３成分フレームに対応する順序情報ビットと整列する。このように整列した順序情報ビット列を順序情報ヘッダとして１ＧＯＰのヘッダ内に組み込むことで、１ＧＯＰの復号化を行う際に、１ＧＯＰ全体のフレームに関する順序情報を得ることができるようになる。
次に、符号化側で生成した順序情報ヘッダから、符号化側で不等間隔に符号化した各フレームの位置を特定する方法について図１３を用いて説明する。
図１３の１３０１は、１ＧＯＰを構成する際に必要な情報が格納されているＧＯＰヘッダから取得した順序情報ヘッダである。また、ＧＯＰヘッダからは、１ＧＯＰのフレーム数、サブバンド符号化のオクターブ分割数が取得できるものとする。ここでは、１ＧＯＰのフレーム数は８フレーム、オクターブ分割数は３階分解であるものとして話を進める。
まず、取得した順序情報ヘッダ内の順序情報ビット列において、各オクターブ分割数の時のＨ成分フレームに対応する順序情報がそれぞれ何ビット分かを「１ＧＯＰのフレーム数／（２＾現在のオクターブ分割数）」を計算することによって特定する。ここでは、１ＧＯＰのフレーム数が８フレームで、オクターブ分割数が３階分解であることから、図１３の１３０１が示すように、オクターブ分割数が１階分解の時のＨ成分フレームに対応する順序情報であるＨ１の順序情報のビット数は、８／（２＾１）＝４ビットである。同様に、オクターブ分割数が２階分解の時のＨ成分フレームに対応する順序情報であるＨ２の順序情報のビット数は、８／（２＾２）＝２ビット、オクターブ分割数が３階分解の時のＨ成分フレームに対応する順序情報であるＨ３の順序情報のビット数は、８／（２＾３）＝１ビットである。このようにしてＨ１の順序情報ビット列１３０６、Ｈ２の順序情報ビット列１３１２、Ｈ３の順序情報ビット列１３１６を順序情報ヘッダ１３０１に格納されている順序情報ビット列から特定する。
図１３の１３０１は、１ＧＯＰを構成する際に必要な情報が格納されているＧＯＰヘッダから取得した順序情報ヘッダである。また、ＧＯＰヘッダからは、１ＧＯＰのフレーム数、サブバンド符号化のオクターブ分割数が取得できるものとする。ここでは、１ＧＯＰのフレーム数は８フレーム、オクターブ分割数は３階分解であるものとして話を進める。
まず、取得した順序情報ヘッダ内の順序情報ビット列において、各オクターブ分割数の時のＨ成分フレームに対応する順序情報がそれぞれ何ビット分かを「１ＧＯＰのフレーム数／（２＾現在のオクターブ分割数）」を計算することによって特定する。ここでは、１ＧＯＰのフレーム数が８フレームで、オクターブ分割数が３階分解であることから、図１３の１３０１が示すように、オクターブ分割数が１階分解の時のＨ成分フレームに対応する順序情報であるＨ１の順序情報のビット数は、８／（２＾１）＝４ビットである。同様に、オクターブ分割数が２階分解の時のＨ成分フレームに対応する順序情報であるＨ２の順序情報のビット数は、８／（２＾２）＝２ビット、オクターブ分割数が３階分解の時のＨ成分フレームに対応する順序情報であるＨ３の順序情報のビット数は、８／（２＾３）＝１ビットである。このようにしてＨ１の順序情報ビット列１３０６、Ｈ２の順序情報ビット列１３１２、Ｈ３の順序情報ビット列１３１６を順序情報ヘッダ１３０１に格納されている順序情報ビット列から特定する。
次に、図１３の１３０２から１３０５が示すように、Ｌ０からＬ３までのフレーム位置を特定するためのフレーム位置特定用メモリを確保する。図１３の１３０２から１３０５が表すそれぞれのブロックには、１ＧＯＰのフレーム位置を示す整数を格納することができるものとする。ここでは、各ブロックには０から７までの正整数を格納することができる。また、各フレーム位置特定用メモリは、「１ＧＯＰのフレーム数／（２＾現在のオクターブ分割数）」ブロック分確保するものとする。
まず、Ｌ０フレームの位置を特定するための情報を取得する。これは、単純に０から７までを図１３の１３０７が示すように格納することで得られる。
その後、Ｈ１の順序情報１３０６の各順序情報ビットを図１３の１３０７が示すように、Ｌ０フレーム位置特定用メモリの２ブロック毎に対して順序情報ビットを１ビット毎対応させる。
まず、Ｌ０フレームの位置を特定するための情報を取得する。これは、単純に０から７までを図１３の１３０７が示すように格納することで得られる。
その後、Ｈ１の順序情報１３０６の各順序情報ビットを図１３の１３０７が示すように、Ｌ０フレーム位置特定用メモリの２ブロック毎に対して順序情報ビットを１ビット毎対応させる。
その後、対応付けた順序情報ビットに応じて、順序情報ビットが「０」であれば対応付けた２ブロックの右側に格納されている値を採用し、順序情報ビットが「１」であれば対応付けた２ブロックの左側に格納されている値を採用する。図１３では採用した値が図１３の１３０８から１３１１に対応する。この値を図１３の１３１３が示すようにＬ１フレーム位置特定用メモリに格納する。
同様に、Ｌ１フレーム位置特定用メモリに対してＨ２の順序情報１３１２を適用することで図１３の１３１４、１３１５を採用し、図１３の１３１７が示すようにＬ２フレーム位置特定用メモリに格納する。
更に、Ｌ２フレーム位置特定用メモリに対してＨ３の順序情報１３１６を適用することで図１３の１３１８を採用し、図１３の１３１９が示すようにＬ３フレーム位置特定用メモリに格納する。
このような過程を経ることで、順序情報ヘッダの順序情報ビット列から、サブバンド復号化の各オクターブ分割数におけるＬ成分フレームの格納位置をあらかじめ特定することができる。
同様に、Ｌ１フレーム位置特定用メモリに対してＨ２の順序情報１３１２を適用することで図１３の１３１４、１３１５を採用し、図１３の１３１７が示すようにＬ２フレーム位置特定用メモリに格納する。
更に、Ｌ２フレーム位置特定用メモリに対してＨ３の順序情報１３１６を適用することで図１３の１３１８を採用し、図１３の１３１９が示すようにＬ３フレーム位置特定用メモリに格納する。
このような過程を経ることで、順序情報ヘッダの順序情報ビット列から、サブバンド復号化の各オクターブ分割数におけるＬ成分フレームの格納位置をあらかじめ特定することができる。
このような復号時のフレーム格納位置情報を順序情報ヘッダから取得することで、図１１で示された復号時のフレーム格納位置は、図１４のように確定することができる。
まず、図１４の１４０１では、Ｌ３−３フレームをＧＯＰ内のフレーム位置に格納するために図１３のＬ３フレーム位置特定用メモリ１３１９の内容を参照する。ここでは、３であることから、Ｌ３−３フレームをＧＯＰ内の３フレーム目の位置に格納することができる。また、Ｈ３−４フレームを格納する際には、基本逆ＭＣＴＦ処理後のオクターブ分割数は２階分解であることから、図１３のＬ２フレーム位置特定用メモリの２ブロックを参照し、まだ格納されていない４フレーム目にＨ３−４フレームを格納する。
このように、図１３のフレーム位置特定用メモリの内容は、それぞれ図１４の１４０１から１４２１で示される各フレーム間隔内で格納すべきフレーム位置を示している。つまり、図１３のＬ３フレーム位置特定用メモリ１３１９の内容は、図１４の１４０１におけるフレーム格納位置を示す。また、図１３のＬ２フレーム位置特定用メモリ１３１７は、図１４の１４０２と１４０３および１４０４と１４０５におけるフレーム格納位置を示す。さらに、図１３のＬ１フレーム位置特定用メモリ１３１３の内容は、図１４の１４０６から１４０９および１４１０から１４１３におけるフレーム格納位置を示す。
以上のように、ＧＯＰヘッダから順序情報ヘッダを取得できる場合には、符号化時において不等間隔で符号化した際のフレーム位置を、復号化側でも正しいフレーム位置のフレームを正しいフレーム間隔で表示することができるようになる。
まず、図１４の１４０１では、Ｌ３−３フレームをＧＯＰ内のフレーム位置に格納するために図１３のＬ３フレーム位置特定用メモリ１３１９の内容を参照する。ここでは、３であることから、Ｌ３−３フレームをＧＯＰ内の３フレーム目の位置に格納することができる。また、Ｈ３−４フレームを格納する際には、基本逆ＭＣＴＦ処理後のオクターブ分割数は２階分解であることから、図１３のＬ２フレーム位置特定用メモリの２ブロックを参照し、まだ格納されていない４フレーム目にＨ３−４フレームを格納する。
このように、図１３のフレーム位置特定用メモリの内容は、それぞれ図１４の１４０１から１４２１で示される各フレーム間隔内で格納すべきフレーム位置を示している。つまり、図１３のＬ３フレーム位置特定用メモリ１３１９の内容は、図１４の１４０１におけるフレーム格納位置を示す。また、図１３のＬ２フレーム位置特定用メモリ１３１７は、図１４の１４０２と１４０３および１４０４と１４０５におけるフレーム格納位置を示す。さらに、図１３のＬ１フレーム位置特定用メモリ１３１３の内容は、図１４の１４０６から１４０９および１４１０から１４１３におけるフレーム格納位置を示す。
以上のように、ＧＯＰヘッダから順序情報ヘッダを取得できる場合には、符号化時において不等間隔で符号化した際のフレーム位置を、復号化側でも正しいフレーム位置のフレームを正しいフレーム間隔で表示することができるようになる。
図１７は、符号化装置の詳細構成である。
図１７は、少なくとも、入力管理部１７０２、順方向ＭＥ部１７０３、逆方向ＭＥ部１７０４、順方向ＭＣ部１７０５、逆方向ＭＣ部１７０６、類似度判定部１７０７、スイッチ１（１７０８）、スイッチ２（１７０９）、制御部１７１０、フレーム間サブバンド符号化部１７１１、逆ＭＣ部１７１２、画素補間部１７１３、フレーム間サブバンド符号化管理部１７１４、量子化部１７１５、エントロピー符号化部１７１６、ＭＵＸ部１７１７により構成される。
入力管理部１７０２は、入力される動画像フレームの管理を行う機能を有する。一般に、この入力管理部１７０２は、ＧＯＰを構成するために必要なフレーム数を入力される動画像フレームから取得し、後述する順方向ＭＥ部１７０３、逆方向ＭＥ部１７０４、順方向ＭＣ部１７０５、逆方向ＭＣ部１７０６、類似度判定部１７０７、フレーム間サブバンド符号化部１７１１、逆ＭＣ部１７１２、画素補間部１７１３に対して処理対象となるフレームを通知する機能を有する。
図１７は、少なくとも、入力管理部１７０２、順方向ＭＥ部１７０３、逆方向ＭＥ部１７０４、順方向ＭＣ部１７０５、逆方向ＭＣ部１７０６、類似度判定部１７０７、スイッチ１（１７０８）、スイッチ２（１７０９）、制御部１７１０、フレーム間サブバンド符号化部１７１１、逆ＭＣ部１７１２、画素補間部１７１３、フレーム間サブバンド符号化管理部１７１４、量子化部１７１５、エントロピー符号化部１７１６、ＭＵＸ部１７１７により構成される。
入力管理部１７０２は、入力される動画像フレームの管理を行う機能を有する。一般に、この入力管理部１７０２は、ＧＯＰを構成するために必要なフレーム数を入力される動画像フレームから取得し、後述する順方向ＭＥ部１７０３、逆方向ＭＥ部１７０４、順方向ＭＣ部１７０５、逆方向ＭＣ部１７０６、類似度判定部１７０７、フレーム間サブバンド符号化部１７１１、逆ＭＣ部１７１２、画素補間部１７１３に対して処理対象となるフレームを通知する機能を有する。
順方向ＭＥ部１７０３は、入力管理部１７０２によって管理されているＧＯＰ内のフレームから処理対象となる少なくとも２枚のフレーム，２Ｎフレーム、２Ｎ＋１フレームを取得する機能を有する。ここで、Ｎは０から始まる正整数であるものとする。順方向ＭＥ部１７０３は、入力管理部１７０２から取得した少なくとも２枚のフレーム、２Ｎフレーム、２Ｎ＋１フレームに対して順方向のＭＥを行い、動きベクトル情報を取得する機能を有する。順方向のＭＥは、２Ｎフレーム側を動きベクトルを特定するために探索される側のフレームであるものとし、２Ｎ＋１フレーム側はＭＥを行う際の基準となるフレームであるものとして処理を行う。また、順方向ＭＥ部１７０３は、順方向ＭＣ部１７０５に対して少なくとも取得した動きベクトル情報を通知する機能を有する。さらに、スイッチ１（１７０８）を介して逆ＭＣ部１７１２、エントロピー符号化部１７１６に取得した動きベクトル情報を通知する機能を有する。
逆方向ＭＥ部１７０４は、入力管理部１７０２によって管理されているＧＯＰ内のフレームから処理対象となる少なくとも２枚のフレーム，２Ｎフレーム、２Ｎ＋１フレームを取得する機能を有する。ここで、Ｎは０から始まる正整数であるものとする。逆方向ＭＥ部１７０４は、入力管理部１７０２から取得した少なくとも２枚のフレーム、２Ｎフレーム、２Ｎ＋１フレームに対して逆方向のＭＥを行い、動きベクトル情報を取得する機能を有する。逆方向のＭＥは、２Ｎ+１フレーム側を動きベクトルを特定するために探索される側のフレームであるものとし、２Ｎフレーム側はＭＥを行う際の基準となるフレームであるものとして処理を行う。また、逆方向ＭＥ部１７０４は、逆方向ＭＣ部１７０６に対して少なくとも取得した動きベクトル情報を通知する機能を有する。さらに、スイッチ１（１７０８）を介して逆ＭＣ部１７１２、エントロピー符号化部１７１６に取得した動きベクトル情報を通知する機能を有する。
順方向ＭＣ部１７０５は、入力管理部１７０２によって管理されているＧＯＰ内のフレームから処理対象となる少なくとも２枚のフレーム，２Ｎフレーム、２Ｎ＋１フレームを取得する機能を有する。また、順方向ＭＥ部１７０３から順方向ＭＥによって得られた動きベクトル情報を取得する機能を有する。順方向ＭＣ部１７０５は、取得した動きベクトル情報に基づいて、２Ｎフレーム、２Ｎ＋１フレームに対して順方向のＭＣを行い、順方向のＭＣ画像を取得する機能を有する。順方向のＭＣは、２Ｎフレーム側を動きベクトル情報に基づいてＭＣを行うことでＭＣ画像を取得する側のフレームであるものとし、２Ｎ＋１フレーム側はＭＥを行う際の基準となったフレームであるものとして処理を行う。取得した順方向のＭＣ画像は、類似度判定部１７０７に通知する機能を有する。また、スイッチ２（１７０９）を介して順方向のＭＣ画像をフレーム間サブバンド符号化部１７１１に通知する機能を有する。
逆方向ＭＣ部１７０６は、入力管理部１７０２によって管理されているＧＯＰ内のフレームから処理対象となる少なくとも２枚のフレーム，２Ｎフレーム、２Ｎ＋１フレームを取得する機能を有する。また、逆方向ＭＥ部１７０４から逆方向ＭＥによって得られた動きベクトル情報を取得する機能を有する。逆方向ＭＣ部１７０６は、取得した動きベクトル情報に基づいて、２Ｎフレーム、２Ｎ＋１フレームに対して逆方向のＭＣを行い、逆方向のＭＣ画像を取得する機能を有する。逆方向のＭＣは、２Ｎ+１フレーム側を動きベクトル情報に基づいてＭＣを行うことでＭＣ画像を取得する側のフレームであるものとし、２Ｎフレーム側はＭＥを行う際の基準となったフレームであるものとして処理を行う。取得した逆方向のＭＣ画像は、類似度判定部１７０７に通知する機能を有する。また、スイッチ２（１７０９）を介して逆方向のＭＣ画像をフレーム間サブバンド符号化部１７１１に通知する機能を有する。
類似度判定部１７０７は、入力管理部１７０２によって管理されているＧＯＰ内のフレームから処理対象となる少なくとも２枚のフレーム，２Ｎフレーム、２Ｎ＋１フレームを取得する機能を有する。また、順方向ＭＣ部１７０５から順方向のＭＣ画像、逆方向ＭＣ部１７０６から逆方向のＭＣ画像を取得する機能を有する。類似度判定部１７０７は、順方向のＭＣ画像と２Ｎ＋１フレームとの間から順方向の類似度を求める機能を有する。また、２Ｎフレームと逆方向のＭＣ画像との間から逆方向の類似度を求める機能を有する。ここで、類似度の測定は、一般にＭＳＥ（Mean Square Error）を測定し、この値がより小さいことにより類似度を判定する方法がとられる。また類似度の判定には、単純にフレーム間の差分の絶対値の総和をフレーム間の誤差として測定し、この値がより小さいことにより類似度を判定しても良い。類似度は、ＭＣを行った際の非結合領域の画素数を測定し、この値がより小さいことにより類似度を判定してもよい。ここでは誤差の優劣が判定できるものであれば特に限定されるものではないことに注意する。さらに、類似度判定部１７０７は、測定した順方向の類似度と逆方向の類似度を比較し、より類似度の高いＭＣ画像を特定する機能を有する。また、特定したＭＣ画像の方向が順方向であれば、スイッチ１（１７０８）およびスイッチ２（１７０９）をそれぞれの端子ａ側に切り替え、特定したＭＣ画像の方向が逆方向であれば、スイッチ１（１７０８）およびスイッチ２（１７０９）をそれぞれの端子ｂ側に切り替える機能を有する。類似度判定部１７０７は、選択したＭＣ画像が順方向によるものか逆方向によるものかを示すための順序情報を、制御部１７１０、エントロピー符号化部１７１６に通知する機能を有する。
スイッチ１（１７０８）は、順方向ＭＥ部１７０３および逆方向ＭＥ部１７０４から通知される動きベクトル情報を類似度判定部１７０７に応じて選択するためのものである。
スイッチ２（１７０９）は、順方向ＭＣ部１７０５および逆方向ＭＣ部１７０６から通知される動きベクトル情報を類似度判定部１７０７に応じて選択するためのものである。
制御部１７１０は、類似度判定部１７０７から選択したＭＣ画像が順方向によるものか逆方向によるものかを示すための順序情報を取得する機能を有する。また、少なくともフレーム間サブバンド符号化部１７１１、逆ＭＣ部１７１２、画素補間部１７１３、フレーム間サブバンド符号化管理部１７１４の動作を制御する機能を有する。逆ＭＣ部１７１２に対しては、逆ＭＣする際の各基準領域の重なり順序情報を通知する機能を有しても良い。ただし、ここでは以後の説明を簡単にするため、各規準領域の重なり順序情報は、あらかじめ符号化装置および復号化装置で決められた所定の順序であるものとし、各基準領域の重なり順序情報の授受に関しては言及する必要がないものとする。ここでの所定の順序は、左上に配置された基準領域から右下に向かってラスタ順に処理を行うものとする。制御部１７１０は、画素補間部１７１３に対して画素を補間する方法を切り替えるための画素補間モード情報を通知する機能を有しても良い。ただし、ここでは以後の説明を簡単にするため、画素補間モード情報は、あらかじめ符号化装置および復号化装置で決められた所定の画素補間方法であるものとし、画素補間モード情報の授受に関しては言及する必要がないものとする。ここでの画素補間方法は、類似度判定部１７０７から取得した順序情報に基づいて補間元のフレームを特定し、補間元のフレームの補間対象となる位置の画素を用いるものとする。制御部１７１０は、現在処理しているフレームのＧＯＰ内の位置とフレーム間の帯域分割の状態から、処理後のフレームの格納位置を管理する機能を有する。また、制御部１７１０は、フレーム間サブバンド符号化管理部１７１４に対して、帯域分割の状態を示す帯域分割状態情報、フレーム格納位置情報を通知する機能を有する。制御部１７１０は、少なくともフレーム間サブバンド符号化部１７１１、逆ＭＣ部１７１２、画素補間部１７１３、フレーム間サブバンド符号化管理部１７１４の動作を制御する際に、類似度判定部１７０７から取得した順序情報を通知する機能を備えると良い。
スイッチ２（１７０９）は、順方向ＭＣ部１７０５および逆方向ＭＣ部１７０６から通知される動きベクトル情報を類似度判定部１７０７に応じて選択するためのものである。
制御部１７１０は、類似度判定部１７０７から選択したＭＣ画像が順方向によるものか逆方向によるものかを示すための順序情報を取得する機能を有する。また、少なくともフレーム間サブバンド符号化部１７１１、逆ＭＣ部１７１２、画素補間部１７１３、フレーム間サブバンド符号化管理部１７１４の動作を制御する機能を有する。逆ＭＣ部１７１２に対しては、逆ＭＣする際の各基準領域の重なり順序情報を通知する機能を有しても良い。ただし、ここでは以後の説明を簡単にするため、各規準領域の重なり順序情報は、あらかじめ符号化装置および復号化装置で決められた所定の順序であるものとし、各基準領域の重なり順序情報の授受に関しては言及する必要がないものとする。ここでの所定の順序は、左上に配置された基準領域から右下に向かってラスタ順に処理を行うものとする。制御部１７１０は、画素補間部１７１３に対して画素を補間する方法を切り替えるための画素補間モード情報を通知する機能を有しても良い。ただし、ここでは以後の説明を簡単にするため、画素補間モード情報は、あらかじめ符号化装置および復号化装置で決められた所定の画素補間方法であるものとし、画素補間モード情報の授受に関しては言及する必要がないものとする。ここでの画素補間方法は、類似度判定部１７０７から取得した順序情報に基づいて補間元のフレームを特定し、補間元のフレームの補間対象となる位置の画素を用いるものとする。制御部１７１０は、現在処理しているフレームのＧＯＰ内の位置とフレーム間の帯域分割の状態から、処理後のフレームの格納位置を管理する機能を有する。また、制御部１７１０は、フレーム間サブバンド符号化管理部１７１４に対して、帯域分割の状態を示す帯域分割状態情報、フレーム格納位置情報を通知する機能を有する。制御部１７１０は、少なくともフレーム間サブバンド符号化部１７１１、逆ＭＣ部１７１２、画素補間部１７１３、フレーム間サブバンド符号化管理部１７１４の動作を制御する際に、類似度判定部１７０７から取得した順序情報を通知する機能を備えると良い。
フレーム間サブバンド符号化部１７１１は、入力管理部１７０２によって管理されているＧＯＰ内のフレームから処理対象となる少なくとも２枚のフレーム，２Ｎフレーム、２Ｎ＋１フレームを取得できる機能を有する。ここで、制御部１７１０から得られる順序情報に基づいて、２Ｎフレーム、２Ｎ＋１フレームのうちＭＣの対象となったフレームの方を選択的に取得するような機能を備えても良い。また、スイッチ２（１７０９）を介してＭＣ画像を取得する機能を有する。フレーム間サブバンド符号化部１７１１は、取得した順序情報から、２Ｎフレーム、２Ｎ＋１フレームのうちどちらがＭＣ画像を作成する際の対象フレームであったかを特定する機能を備えるとともに、ＭＣ画像とＭＣ画像を作成する際の対象となった対象フレームとの間で所定のフレーム間のサブバンド符号化を行う機能を有する。また、得られるサブバンド係数情報のＬ成分をＭＣ画像側に格納することでＬ成分フレームとし、得られるサブバンド係数情報のＨ成分を順序情報によって特定した対象フレーム側に格納することでＨ成分フレームとする機能を有する。生成したＬ成分フレームを逆ＭＣ部１７１２に通知するとともに、生成したＨ成分フレームをフレーム間サブバンド符号化管理部１７１４に通知する機能を有する。
逆ＭＣ部１７１２は、制御部１７１０から順序情報を取得する機能を有する。フレーム間サブバンド符号化部１７１１からＬ成分フレームを取得する機能を有する。スイッチ１（１７０８）を介して動きベクトル情報を取得する機能を有する。取得した動きベクトル情報を逆方向に適用して動き補償を行う機能、つまり逆ＭＣを行い、逆ＭＣ後のＬ成分フレームを生成する機能を有する。逆ＭＣ部１７１２は、生成した逆ＭＣ後のＬ成分フレームを画素補間部１７１３に通知する機能を有する。逆ＭＣによって画素が埋められていない領域に対しては、画素補間部１７１３に対して画素補間領域情報を通知する機能を有しても良い。ここでは、処理を簡単にするために、画素補間領域情報は、逆ＭＣ後のＬ成分フレームに補間が必要であることを示す値、例えば「−１」の値を格納し、画素補間部１７１３では、この情報を元にして画素補間領域情報を取得することとする。後述において、この画素補間領域情報の授受に関しては言及する必要がないものとする。
画素補間部１７１３は、制御部１７１０から順序情報を取得する機能を有する。逆ＭＣ部１７１２から逆ＭＣ後のＬ成分フレームを取得する機能を有する。入力管理部１７０２によって管理されているＧＯＰ内のフレームから処理対象となる少なくとも２枚のフレーム，２Ｎフレーム、２Ｎ＋１フレームを処理前のフレームとして取得できる機能を有する。ここで、制御部１７１０から得られる順序情報に基づいて、２Ｎフレーム、２Ｎ＋１フレームのうちＭＣが行われるフレームの方を処理前のフレームとして選択的に取得するような機能を備えても良い。画素補間部１７１３では、取得した逆ＭＣ後のＬ成分フレームにおいて、逆ＭＣによって画素が埋められていない領域に関する情報である画素補間領域情報に基づいて画素の補間を行う機能を有する。画素が埋められていない領域の判定は、通常、制御部１７１０から取得する。もしくは逆ＭＣ部１７１２から画素補間領域情報を取得する機能を有しても良い。処理を簡単にするために、ここで画素補間領域情報は、逆ＭＣ後のＬ成分フレームに補間が必要であることを示す値、例えば「−１」の値が格納されるものとし、この情報を元にして画素補間領域情報を取得することとする。後述において、この画素補間領域情報の授受に関しては言及する必要がないものとする。画素補間後のＬ成分フレームは、フレーム間サブバンド符号化管理部１７１４に通知する機能を有する。
フレーム間サブバンド符号化管理部１７１４は、フレーム間サブバンド符号化部１７１１からＨ成分フレーム、画素補間部１７１３から画素補間を行ったＬ成分フレームを取得する機能を有する。また、制御部１７１０から帯域分割状態情報、フレーム格納位置情報を取得する機能を有する。帯域分割状態情報、フレーム格納位置情報に基づいて、Ｌ成分フレーム、Ｈ成分フレームを正しい位置へ格納および通知する機能を有する。各フレームの通知先は、帯域分割状態情報に基づいて決定し、ＧＯＰ内のフレーム間に対して帯域分割を行う必要がある場合には、再度入力フレームとして入力管理部１７０２に通知し、帯域分割を行う必要がない場合には、出力フレームとして量子化部１７１５に通知する機能を有する。
フレーム間サブバンド符号化管理部１７１４は、フレーム間サブバンド符号化部１７１１からＨ成分フレーム、画素補間部１７１３から画素補間を行ったＬ成分フレームを取得する機能を有する。また、制御部１７１０から帯域分割状態情報、フレーム格納位置情報を取得する機能を有する。帯域分割状態情報、フレーム格納位置情報に基づいて、Ｌ成分フレーム、Ｈ成分フレームを正しい位置へ格納および通知する機能を有する。各フレームの通知先は、帯域分割状態情報に基づいて決定し、ＧＯＰ内のフレーム間に対して帯域分割を行う必要がある場合には、再度入力フレームとして入力管理部１７０２に通知し、帯域分割を行う必要がない場合には、出力フレームとして量子化部１７１５に通知する機能を有する。
量子化部１７１５は、フレーム間サブバンド符号化管理部１７１４から取得するサブバンド係数情報であるＬ成分フレーム、Ｈ成分フレームに対して所定の量子化を行う機能を有する。量子化後のサブバンド係数情報を後述のエントロピー符号化部１７１６に通知する機能を有する。
エントロピー符号化部１７１６は、少なくとも量子化部１７１５から取得するＬ成分フレーム、Ｈ成分フレームといったサブバンド係数情報と、スイッチ１（１７０４）を介して取得する動きベクトル情報と、類似度判定部１７０７から取得する順序情報に対して所定のエントロピー符号化を行い、サブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列を生成する機能を有する。生成したサブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列を後述のＭＵＸ部１７１７に通知する機能を有する。
ＭＵＸ部１７１７は、取得したサブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列と、復号時に必要となる各種の制御情報を多重化してビットストリームを生成し、符号化出力する機能を有する。
エントロピー符号化部１７１６は、少なくとも量子化部１７１５から取得するＬ成分フレーム、Ｈ成分フレームといったサブバンド係数情報と、スイッチ１（１７０４）を介して取得する動きベクトル情報と、類似度判定部１７０７から取得する順序情報に対して所定のエントロピー符号化を行い、サブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列を生成する機能を有する。生成したサブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列を後述のＭＵＸ部１７１７に通知する機能を有する。
ＭＵＸ部１７１７は、取得したサブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列と、復号時に必要となる各種の制御情報を多重化してビットストリームを生成し、符号化出力する機能を有する。
次に、図９および図１０のフローチャートが示す各ステップを交えて、図１７が示す符号化装置における動作を以下に説明する。
まず入力管理部１７０２は、符号化対象となる動画像フレーム１７０１を取得し（ステップＳ４０１）、１ＧＯＰ分の動画像フレームを蓄積する（ステップＳ４０２）。ここでは、話を簡単にするため、１ＧＯＰは８フレームで構成されるものとする。
次に、ＭＣＴＦを行う際のサブバンド符号化のオクターブ分割において、フレーム間のサブバンド符号化対象となるフレーム群をセットする（ステップＳ４０３）。ここでは、サブバンド分割は初回であるため、処理対象となるフレーム群は処理後のＬ成分フレームではなく、取得した１ＧＯＰ分の動画像フレームを適用する。次回以降は、フレーム間サブバンド符号化管理部１７１４から取得する処理後のＬ成分フレーム群を処理対象となるフレーム群として適用する。その後、基本ＭＣＴＦ処理を行う（ステップＳ４０４）ため、基本ＭＣＴＦ処理の対象となるフレーム群をセットする（ステップＳ３０１）。ここでは、入力管理部１７０２から、基本ＭＣＴＦ処理の対象となるフレーム群である１ＧＯＰ内の２フレームである２Ｎフレーム、２Ｎ＋１フレームを順方向ＭＥ部１７０３、逆方向ＭＥ部１７０４、順方向ＭＣ部１７０５、逆方向ＭＣ部１７０６、類似度判定部１７０７、フレーム間サブバンド符号化部１７１１、画素補間部１７１３が取得できるように入力管理部１７０２はセットする。
まず入力管理部１７０２は、符号化対象となる動画像フレーム１７０１を取得し（ステップＳ４０１）、１ＧＯＰ分の動画像フレームを蓄積する（ステップＳ４０２）。ここでは、話を簡単にするため、１ＧＯＰは８フレームで構成されるものとする。
次に、ＭＣＴＦを行う際のサブバンド符号化のオクターブ分割において、フレーム間のサブバンド符号化対象となるフレーム群をセットする（ステップＳ４０３）。ここでは、サブバンド分割は初回であるため、処理対象となるフレーム群は処理後のＬ成分フレームではなく、取得した１ＧＯＰ分の動画像フレームを適用する。次回以降は、フレーム間サブバンド符号化管理部１７１４から取得する処理後のＬ成分フレーム群を処理対象となるフレーム群として適用する。その後、基本ＭＣＴＦ処理を行う（ステップＳ４０４）ため、基本ＭＣＴＦ処理の対象となるフレーム群をセットする（ステップＳ３０１）。ここでは、入力管理部１７０２から、基本ＭＣＴＦ処理の対象となるフレーム群である１ＧＯＰ内の２フレームである２Ｎフレーム、２Ｎ＋１フレームを順方向ＭＥ部１７０３、逆方向ＭＥ部１７０４、順方向ＭＣ部１７０５、逆方向ＭＣ部１７０６、類似度判定部１７０７、フレーム間サブバンド符号化部１７１１、画素補間部１７１３が取得できるように入力管理部１７０２はセットする。
順方向ＭＥ部１７０３は、入力管理部１７０２から処理対象となるフレーム群である２Ｎフレーム、２Ｎ＋１フレームを取得し、順方向に対してＭＥを行うことで順方向の動きベクトル情報を求める。その後、順方向ＭＣ部１７０５に求めた動きベクトル情報を通知するとともに、スイッチ１（１７０８）を介して逆ＭＣ部１７１２、エントロピー符号化部１７１６に通知する。逆方向ＭＥ部１７０４は、入力管理部１７０２から処理対象となるフレーム群である２Ｎフレーム、２Ｎ＋１フレームを取得し、逆方向に対してＭＥを行うことで逆方向の動きベクトル情報を求める。その後、逆方向ＭＣ部１７０６に動きベクトル情報を通知するとともに、スイッチ１（１７０８）を介して逆ＭＣ部１７１２、エントロピー符号化部１７１６に通知する。このような過程を経ることで、順方向／逆方向に対してＭＥを行い、動きベクトルを求める（ステップＳ３０２）ことができる。
その後、順方向ＭＣ部１７０５は、順方向ＭＥ部１７０３から順方向の動きベクトル情報を取得する。また、入力管理部１７０２から順方向ＭＣを行う側のフレームである２Ｎフレームを取得する。この順方向の動きベクトル情報と２Ｎフレームから順方向のＭＣを行い、順方向のＭＣ画像を生成する。生成した順方向のＭＣ画像は、類似度判定部１７０７に通知するとともに、スイッチ２（１７０９）を介してフレーム間サブバンド符号化部１７１１に通知する。逆方向ＭＣ部１７０６は、逆方向ＭＥ部１７０４から逆方向の動きベクトル情報を取得する。また、入力管理部１７０２から逆方向ＭＣを行う側のフレームである２Ｎ＋１フレームを取得する。この逆方向の動きベクトル情報と２Ｎ＋１フレームから逆方向のＭＣを行い、逆方向のＭＣ画像を生成する。生成した逆方向のＭＣ画像は、類似度判定部１７０７に通知するとともに、スイッチ２（１７０９）を介してフレーム間サブバンド符号化部１７１１に通知する。このような過程を経ることで、順方向／逆方向に対して動きベクトル情報に基づいてＭＣを行う（ステップＳ３０３）ことができる。
その後、順方向ＭＣ部１７０５は、順方向ＭＥ部１７０３から順方向の動きベクトル情報を取得する。また、入力管理部１７０２から順方向ＭＣを行う側のフレームである２Ｎフレームを取得する。この順方向の動きベクトル情報と２Ｎフレームから順方向のＭＣを行い、順方向のＭＣ画像を生成する。生成した順方向のＭＣ画像は、類似度判定部１７０７に通知するとともに、スイッチ２（１７０９）を介してフレーム間サブバンド符号化部１７１１に通知する。逆方向ＭＣ部１７０６は、逆方向ＭＥ部１７０４から逆方向の動きベクトル情報を取得する。また、入力管理部１７０２から逆方向ＭＣを行う側のフレームである２Ｎ＋１フレームを取得する。この逆方向の動きベクトル情報と２Ｎ＋１フレームから逆方向のＭＣを行い、逆方向のＭＣ画像を生成する。生成した逆方向のＭＣ画像は、類似度判定部１７０７に通知するとともに、スイッチ２（１７０９）を介してフレーム間サブバンド符号化部１７１１に通知する。このような過程を経ることで、順方向／逆方向に対して動きベクトル情報に基づいてＭＣを行う（ステップＳ３０３）ことができる。
各方向のＭＣ画像が求まると、類似度判定部１７０７は、順方向ＭＣ部１７０５から順方向のＭＣ画像を取得し、入力管理部１７０２から順方向のＭＣ画像を作成する際に基準とした対象フレームである２Ｎ＋１フレームを取得する。この順方向のＭＣ画像と２Ｎ＋１フレームとの間で順方向の類似度を求める。また、逆方向ＭＣ部１７０６から逆方向のＭＣ画像を取得し、入力管理部１７０２から逆方向のＭＣ画像を作成する際に基準とした対象フレームである２Ｎフレームを取得する。この逆方向のＭＣ画像と２Ｎフレームとの間で逆方向の類似度を求める。このような過程を経ることで、順方向／逆方向に対して作成したＭＣ画像とＭＣを行った際の対象フレームとの類似度を求める（ステップＳ３０４）ことができる。
その後、順方向の類似度と逆方向の類似度とを比較して（ステップＳ３０５）、より類似度が高い方、つまり誤差が少ない方のＭＣ画像を採用する。また、採用した方向を示すための順序情報を生成し、制御部１７１０およびエントロピー符号化部１７１６に通知する（ステップＳ３０６、またはステップＳ３０７）。採用した方向のＭＣ画像および動きベクトル情報を各部に通知するため、類似度判定部１７０７は、スイッチ１（１７０８）、スイッチ２（１７０９）を切り替える。順方向のＭＣ画像を選択した場合には、スイッチ１（１７０８）、スイッチ２（１７０９）ともにａ端子側にスイッチを切り替える。逆方向のＭＣ画像を選択した場合には、スイッチ１（１７０８）、スイッチ２（１７０９）ともにｂ端子側にスイッチを切り替える。
その後、順方向の類似度と逆方向の類似度とを比較して（ステップＳ３０５）、より類似度が高い方、つまり誤差が少ない方のＭＣ画像を採用する。また、採用した方向を示すための順序情報を生成し、制御部１７１０およびエントロピー符号化部１７１６に通知する（ステップＳ３０６、またはステップＳ３０７）。採用した方向のＭＣ画像および動きベクトル情報を各部に通知するため、類似度判定部１７０７は、スイッチ１（１７０８）、スイッチ２（１７０９）を切り替える。順方向のＭＣ画像を選択した場合には、スイッチ１（１７０８）、スイッチ２（１７０９）ともにａ端子側にスイッチを切り替える。逆方向のＭＣ画像を選択した場合には、スイッチ１（１７０８）、スイッチ２（１７０９）ともにｂ端子側にスイッチを切り替える。
類似度判定部１７０７が、スイッチ１（１７０８）、スイッチ２（１７０９）を切り替えた後、制御部１７１０は、類似度判定部１７０７から順序情報を取得する。
制御部１７１０は、帯域分割の状態を示す帯域分割状態情報、フレーム格納位置情報に基づいて、フレーム間サブバンド符号化部１７１１に対して符号化要求を行うとともに、順序情報を通知する。
フレーム間サブバンド符号化部１７１１は、制御部１７１０から順序情報を取得する。また、スイッチ２（１７０９）を介してＭＣ画像を取得する。順序情報から取得したＭＣ画像が順方向によるものか逆方向によるものかを特定し、ＭＣの基準となった対象フレームを入力管理部１７０２から取得する。取得したＭＣ画像および対象フレームに対して、フレーム間のサブバンド符号化を行い（ステップＳ３０８）、Ｌ成分のサブバンド係数情報をＭＣ画像側のフレーム位置としてＬ成分フレームを生成し、Ｈ成分のサブバンド係数情報を対象フレーム側のフレーム位置としてＨ成分フレームを生成する。生成したＬ成分フレームは，逆ＭＣ部１７１２に通知する。また、Ｈ成分フレームは、フレーム間サブバンド符号化管理部１７１４に通知する。
その後、制御部１７１０は、逆ＭＣ部１７１２に対して逆ＭＣ要求を行うとともに、順序情報を通知する。
制御部１７１０は、帯域分割の状態を示す帯域分割状態情報、フレーム格納位置情報に基づいて、フレーム間サブバンド符号化部１７１１に対して符号化要求を行うとともに、順序情報を通知する。
フレーム間サブバンド符号化部１７１１は、制御部１７１０から順序情報を取得する。また、スイッチ２（１７０９）を介してＭＣ画像を取得する。順序情報から取得したＭＣ画像が順方向によるものか逆方向によるものかを特定し、ＭＣの基準となった対象フレームを入力管理部１７０２から取得する。取得したＭＣ画像および対象フレームに対して、フレーム間のサブバンド符号化を行い（ステップＳ３０８）、Ｌ成分のサブバンド係数情報をＭＣ画像側のフレーム位置としてＬ成分フレームを生成し、Ｈ成分のサブバンド係数情報を対象フレーム側のフレーム位置としてＨ成分フレームを生成する。生成したＬ成分フレームは，逆ＭＣ部１７１２に通知する。また、Ｈ成分フレームは、フレーム間サブバンド符号化管理部１７１４に通知する。
その後、制御部１７１０は、逆ＭＣ部１７１２に対して逆ＭＣ要求を行うとともに、順序情報を通知する。
逆ＭＣ部１７１２は、フレーム間サブバンド符号化部１７１１から符号化後のＬ成分フレームを取得する。また、スイッチ１（１７０８）を介して動きベクトル情報を取得する。その後、取得した動きベクトル情報を逆方向に適用して動き補償を行う機能、つまり逆ＭＣを行い（ステップＳ３０９）、逆ＭＣ後のＬ成分フレームを画素補間部１７１３に通知する。
その後、制御部１７１０は、画素補間部１７１３に対して、画素の補間要求を行うとともに、順序情報を通知する。
その後、制御部１７１０は、画素補間部１７１３に対して、画素の補間要求を行うとともに、順序情報を通知する。
画素補間部１７１３は、逆ＭＣ部１７１２から逆ＭＣ後のＬ成分フレームを取得する。また、制御部１７１０から順序情報を取得する。取得した順序情報から、逆ＭＣ後のＬ成分フレームと同じ位置のフレーム、つまりＭＣされる側の符号化処理前の補間元となるフレームを入力管理部１７０２から取得する。その後、画素補間領域情報に基づいて対応する画素補間領域の画素を補間元となるフレームから特定し、逆ＭＣ後のＬ成分フレームに対して、逆ＭＣで埋めきれなかった画素の補間を行い（ステップＳ３１０）、画素補間後のＬ成分フレームをフレーム間サブバンド符号化管理部１７１４に通知する。
フレーム間サブバンド符号化管理部１７１４は、画素補間部１７１３からＬ成分フレーム、フレーム間サブバンド符号化部１７１１からＨ成分フレームを取得する。その後、現在のオクターブ分割において処理対象となっているフレームが存在するかどうかを判定する（ステップＳ３１１）。オクターブ分割が所定の分割数に達していない場合には、Ｌ成分フレームを再度入力管理部１７０２に通知する。所定のオクターブ分割数に達した場合には、Ｌ成分フレームおよび今まで取得した各オクターブ分割で生成したＨ成分フレーム群をサブバンド符号化後のサブバンド係数情報として量子化部１７１５に通知する。
量子化部１７１５では、Ｌ成分フレームおよび各オクターブ分割で生成したＨ成分フレーム群に対して量子化を行い（ステップＳ４０７）、量子化後のサブバンド係数情報を後述のエントロピー符号化部１７１６に通知する。
フレーム間サブバンド符号化管理部１７１４は、画素補間部１７１３からＬ成分フレーム、フレーム間サブバンド符号化部１７１１からＨ成分フレームを取得する。その後、現在のオクターブ分割において処理対象となっているフレームが存在するかどうかを判定する（ステップＳ３１１）。オクターブ分割が所定の分割数に達していない場合には、Ｌ成分フレームを再度入力管理部１７０２に通知する。所定のオクターブ分割数に達した場合には、Ｌ成分フレームおよび今まで取得した各オクターブ分割で生成したＨ成分フレーム群をサブバンド符号化後のサブバンド係数情報として量子化部１７１５に通知する。
量子化部１７１５では、Ｌ成分フレームおよび各オクターブ分割で生成したＨ成分フレーム群に対して量子化を行い（ステップＳ４０７）、量子化後のサブバンド係数情報を後述のエントロピー符号化部１７１６に通知する。
エントロピー符号化部１７１６は、少なくとも量子化部１７１５から取得するＬ成分フレーム、Ｈ成分フレームといったサブバンド係数情報と、スイッチ１（１７０４）を介して取得する動きベクトル情報と、類似度判定部１７０７から取得する順序情報に対して所定のエントロピー符号化を行い（ステップＳ４０８）、サブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列を生成する。生成したサブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列を後述のＭＵＸ部１７１７に通知する。
ＭＵＸ部１７１７は、取得したサブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列と、復号時に必要となる各種の制御情報を多重化してビットストリームを構成し（ステップＳ４０９）、符号化出力する。
以上のような処理を行うことで、一連の符号化装置の動作を完了することができる。
ＭＵＸ部１７１７は、取得したサブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列と、復号時に必要となる各種の制御情報を多重化してビットストリームを構成し（ステップＳ４０９）、符号化出力する。
以上のような処理を行うことで、一連の符号化装置の動作を完了することができる。
≪符号化装置の応用例≫
図１８は、符号化装置の応用例における構成である。図１７が示す符号化装置との違いは、重なり判定部１８０１、誤差補正部１８０２を新たに備えることにある。
以下、機能的に変更がある部、および新たに追加した部について説明する。
入力管理部１７０２は、処理対象となるフレームを重なり特定部１８０２に通知する機能を新たに備える。
制御部１７１０は、重なり特定部１８０１、誤差補正部１８０２の制御を行う機能を新たに備える。また、重なり特定部１８０１、誤差補正部１８０２に対して順序情報を通知する機能を新たに備える。
フレーム間サブバンド符号化部１７１１は、Ｈ成分フレームを通知する機能の通知先を誤差補正部１８０２に変更する。
フレーム間サブバンド符号化管理部１７１４は、フレーム間サブバンド符号化部１７１１からＨ成分フレームを取得する機能を誤差補正部１８０２からＨ成分フレームを取得するように変更する。
図１８は、符号化装置の応用例における構成である。図１７が示す符号化装置との違いは、重なり判定部１８０１、誤差補正部１８０２を新たに備えることにある。
以下、機能的に変更がある部、および新たに追加した部について説明する。
入力管理部１７０２は、処理対象となるフレームを重なり特定部１８０２に通知する機能を新たに備える。
制御部１７１０は、重なり特定部１８０１、誤差補正部１８０２の制御を行う機能を新たに備える。また、重なり特定部１８０１、誤差補正部１８０２に対して順序情報を通知する機能を新たに備える。
フレーム間サブバンド符号化部１７１１は、Ｈ成分フレームを通知する機能の通知先を誤差補正部１８０２に変更する。
フレーム間サブバンド符号化管理部１７１４は、フレーム間サブバンド符号化部１７１１からＨ成分フレームを取得する機能を誤差補正部１８０２からＨ成分フレームを取得するように変更する。
重なり特定部１８０１は、制御部１７１０から順序情報を取得する。重なり特定部１８０１は、入力管理部１７０２から２Ｎフレーム、２Ｎ＋１フレーム、スイッチ１（１７０８）を介して動きベクトル情報を取得する機能を有する。取得した順序情報に基づいて、取得した動きベクトル情報と基準領域の形状情報から、動き補償を行った際に多重参照される領域（以降、多重参照領域とする）を特定し、多重参照領域情報を生成する機能を有する。帯域分割後のＬ成分フレームに対して、取得した動きベクトル情報を逆方向に適用して動き補償、つまり逆動き補償（以降、逆ＭＣ）を行った際に、どの基準領域が、どの多重参照領域に逆ＭＣされるかを特定し、対応する多重参照領域と複数の基準領域との関連を表すための情報である多重参照領域−基準領域関係情報を生成する機能を有する。更に、多重参照領域に逆ＭＣされる各基準領域において、各基準領域内におけるどの部分が多重参照領域に関与しているかを特定し、後述する誤差補正部１８０２が誤差を補正する対象となる部分を示すための情報として誤差補正対象領域情報を生成する機能を有する。重なり特定部１８０１は、多重参照領域情報、多重参照領域−基準領域関係情報、誤差補正対象領域情報を誤差補正部１８０２に通知する機能を有する。
誤差補正部１８０２は、重なり判定部１８０１から多重参照領域情報、多重参照領域−基準領域関係情報、誤差補正対象領域情報を取得する機能を有する。誤差補正部２０８は、取得した情報からＨ成分フレームの多重参照領域と関係している基準領域中の誤差補正対象領域に対して、誤差を補正するための誤差情報を算出する機能を有する。算出した誤差情報を、フレーム間サブバンド符号化部１７１１から取得したＨ成分フレームの誤差補正が必要な領域に対して付加する機能を有する。誤差補正を行ったＨ成分フレームをフレーム間サブバンド符号化管理部１７１４に通知する機能を有する。
以上のような各部の機能を備えることで、従来の復号化装置において問題となっていた復号化処理の依存関係を排除し、復号化装置の構成を容易にすることができる。
誤差補正部１８０２は、重なり判定部１８０１から多重参照領域情報、多重参照領域−基準領域関係情報、誤差補正対象領域情報を取得する機能を有する。誤差補正部２０８は、取得した情報からＨ成分フレームの多重参照領域と関係している基準領域中の誤差補正対象領域に対して、誤差を補正するための誤差情報を算出する機能を有する。算出した誤差情報を、フレーム間サブバンド符号化部１７１１から取得したＨ成分フレームの誤差補正が必要な領域に対して付加する機能を有する。誤差補正を行ったＨ成分フレームをフレーム間サブバンド符号化管理部１７１４に通知する機能を有する。
以上のような各部の機能を備えることで、従来の復号化装置において問題となっていた復号化処理の依存関係を排除し、復号化装置の構成を容易にすることができる。
次に、図２５および図１０のフローチャートが示す各ステップを交えて、図１８が示す符号化装置の応用例における動作を以下に説明する。ただし、図１０が示す動作に関しては、図１７のに示した構成と同じであるため、ここでは省略する。また、図１０のステップＳ４０４は、図２５に対応する。
図１８において、図２５のステップＳ７０１からステップＳ７０７までの動作は、図１７の動作と同じであるため、ここでは省略する。
類似度判定部１７０７による処理が完了すると、制御部１７１０は、図１７の構成と同様にフレーム間サブバンド符号化部１７１１に対して符号化要求を行い、フレーム間サブバンド符号化部１７１１は、取得した各フレーム間でサブバンド符号化を行う（ステップＳ７０８）。生成したＬ成分フレームは逆ＭＣ部１７１２に通知し、Ｈ成分フレームは、誤差補正部１８０２に通知する。
図１８において、図２５のステップＳ７０１からステップＳ７０７までの動作は、図１７の動作と同じであるため、ここでは省略する。
類似度判定部１７０７による処理が完了すると、制御部１７１０は、図１７の構成と同様にフレーム間サブバンド符号化部１７１１に対して符号化要求を行い、フレーム間サブバンド符号化部１７１１は、取得した各フレーム間でサブバンド符号化を行う（ステップＳ７０８）。生成したＬ成分フレームは逆ＭＣ部１７１２に通知し、Ｈ成分フレームは、誤差補正部１８０２に通知する。
その後、制御部１７１０は、重なり特定部１８０１に対して順序情報を通知する。
重なり特定部１８０１は、制御部１７１０から順序情報を取得する。また、スイッチ１（１７０８）を介して動きベクトル情報を取得する。更に、順序情報に基づいて、入力管理部１７０２から２Ｎフレーム、２Ｎ＋１フレームを取得する。取得した動きベクトル情報と基準領域の形状情報から、多重参照領域情報を生成する（ステップＳ７０９）。帯域分割後のＬ成分フレームに対して、取得した動きベクトル情報を逆方向に適用して動き補償、つまり逆動き補償（以降、逆ＭＣ）を行った際に、どの基準領域が、どの多重参照領域に逆ＭＣされるかを特定し、対応する多重参照領域と複数の基準領域との関連を表すための情報である多重参照領域−基準領域関係情報を生成する。更に、多重参照領域に逆ＭＣされる各基準領域において、各基準領域内におけるどの部分が多重参照領域に関与しているかを特定し、後述する誤差補正部１８０２が誤差を補正する対象となる部分を示すための情報として誤差補正対象領域情報を生成する。このような過程を経た後に、重なり特定部１８０１は、多重参照領域情報、多重参照領域−基準領域関係情報、誤差補正対象領域情報を誤差補正部１８０２に通知する。
重なり特定部１８０１は、制御部１７１０から順序情報を取得する。また、スイッチ１（１７０８）を介して動きベクトル情報を取得する。更に、順序情報に基づいて、入力管理部１７０２から２Ｎフレーム、２Ｎ＋１フレームを取得する。取得した動きベクトル情報と基準領域の形状情報から、多重参照領域情報を生成する（ステップＳ７０９）。帯域分割後のＬ成分フレームに対して、取得した動きベクトル情報を逆方向に適用して動き補償、つまり逆動き補償（以降、逆ＭＣ）を行った際に、どの基準領域が、どの多重参照領域に逆ＭＣされるかを特定し、対応する多重参照領域と複数の基準領域との関連を表すための情報である多重参照領域−基準領域関係情報を生成する。更に、多重参照領域に逆ＭＣされる各基準領域において、各基準領域内におけるどの部分が多重参照領域に関与しているかを特定し、後述する誤差補正部１８０２が誤差を補正する対象となる部分を示すための情報として誤差補正対象領域情報を生成する。このような過程を経た後に、重なり特定部１８０１は、多重参照領域情報、多重参照領域−基準領域関係情報、誤差補正対象領域情報を誤差補正部１８０２に通知する。
誤差補正部１８０２は、重なり判定部１８０１から多重参照領域情報、多重参照領域−基準領域関係情報、誤差補正対象領域情報を取得する。また、フレーム間サブバンド符号化部１７１１からＨ成分フレームを取得する。取得した多重参照領域情報、多重参照領域−基準領域関係情報、誤差補正対象領域情報からＨ成分フレームの多重参照領域と関係している基準領域中の誤差補正対象領域に対して、誤差を補正するための誤差情報を算出する。算出した誤差情報を、取得したＨ成分フレームの誤差補正が必要な領域に対して付加する。誤差補正を行ったＨ成分フレームをフレーム間サブバンド符号化管理部１７１４に通知する。このような処理を経ることで、多重参照領域内の画素に対して誤差成分の補正を行う（ステップＳ７１０）。
その後、図１７の構成と同様に、逆ＭＣ部１７１２により動きベクトル情報に基づいて逆ＭＣ（ステップＳ７１１）、画素補間部１７１３により逆ＭＣで埋めきれなかったがその補間を行う（ステップＳ７１２）。
その後、フレーム間サブバンド符号化管理部１７１４は、画素補間部１７１３からＬ成分フレーム、誤差補正部１８０２からＨ成分フレームを取得する。そして、現在のオクターブ分割において処理対象となっているフレームが存在するかどうかを判定する（ステップＳ７１３）。オクターブ分割が所定の分割数に達していない場合には、Ｌ成分フレームを再度入力管理部１７０２に通知する。所定のオクターブ分割数に達した場合には、Ｌ成分フレームおよび今まで取得した各オクターブ分割で生成したＨ成分フレーム群をサブバンド符号化後のサブバンド係数情報として量子化部１７１５に通知する。
以後の処理は、図１７と同様であるため省略する。
以上のような処理を行うことで、本発明の一連の符号化装置の動作を完了することができる。
なお、本発明は、上記の符号化装置の機能を図１９に示すコンピュータである中央処理制御装置１９０３に実現させるためのプログラムを含むものである。このプログラムは、記録媒体から読み取られて中央処理制御装置１９０３に取り込まれても良いし、通信ネットワークを介して伝送され中央処理制御装置１９０３に取り込まれても良い。
その後、図１７の構成と同様に、逆ＭＣ部１７１２により動きベクトル情報に基づいて逆ＭＣ（ステップＳ７１１）、画素補間部１７１３により逆ＭＣで埋めきれなかったがその補間を行う（ステップＳ７１２）。
その後、フレーム間サブバンド符号化管理部１７１４は、画素補間部１７１３からＬ成分フレーム、誤差補正部１８０２からＨ成分フレームを取得する。そして、現在のオクターブ分割において処理対象となっているフレームが存在するかどうかを判定する（ステップＳ７１３）。オクターブ分割が所定の分割数に達していない場合には、Ｌ成分フレームを再度入力管理部１７０２に通知する。所定のオクターブ分割数に達した場合には、Ｌ成分フレームおよび今まで取得した各オクターブ分割で生成したＨ成分フレーム群をサブバンド符号化後のサブバンド係数情報として量子化部１７１５に通知する。
以後の処理は、図１７と同様であるため省略する。
以上のような処理を行うことで、本発明の一連の符号化装置の動作を完了することができる。
なお、本発明は、上記の符号化装置の機能を図１９に示すコンピュータである中央処理制御装置１９０３に実現させるためのプログラムを含むものである。このプログラムは、記録媒体から読み取られて中央処理制御装置１９０３に取り込まれても良いし、通信ネットワークを介して伝送され中央処理制御装置１９０３に取り込まれても良い。
≪復号化装置≫
次に、ＭＣＴＦ復号化装置の構成について説明するため、まず従来のＭＣＴＦ復号化装置の構成について以下に説明する。
図２０は、従来の一般的な逆ＭＣＴＦを用いた復号化装置の構成例を示した機能ブロック図である。
図２０は、少なくとも、ＤＥＭＵＸ部２００２、エントロピー復号化部２００３、逆量子化部２００４、入力管理部２００５、対応関係特定部２００６、第１フレーム間復号化部２００７、第２フレーム間復号化部２００８、画素補間部２００９、フレーム間復号化管理部２０１０により構成される。
ＤＥＭＵＸ部２００２は、取得したビットストリームを多重化分離（以後、ＤＥＭＵＸ）して、サブバンド分割後の係数情報ビット列（以後、サブバンド係数情報ビット列）、動きベクトル情報ビット列と、復号時に必要となる各種の制御情報を生成し、サブバンド係数情報ビット列、動きベクトル情報ビット列を後述するエントロピー復号化部２００３に通知する機能を有する。
エントロピー復号化部２００３は、ＤＥＭＵＸ部２００２から通知されるサブバンド係数情報ビット列、動きベクトル情報ビット列を取得する機能を有する。取得したサブバンド係数情報ビット列、動きベクトル情報ビット列に対してエントロピー復号化を行い、サブバンド分割後の係数情報（以後、サブバンド係数情報）、動きベクトル情報を生成する機能を有する。生成したサブバンド係数情報を後述する逆量子化部２００４に通知する機能を有する。また、生成した動きベクトル情報を対応関係特定部２００６に通知する機能を有する。
次に、ＭＣＴＦ復号化装置の構成について説明するため、まず従来のＭＣＴＦ復号化装置の構成について以下に説明する。
図２０は、従来の一般的な逆ＭＣＴＦを用いた復号化装置の構成例を示した機能ブロック図である。
図２０は、少なくとも、ＤＥＭＵＸ部２００２、エントロピー復号化部２００３、逆量子化部２００４、入力管理部２００５、対応関係特定部２００６、第１フレーム間復号化部２００７、第２フレーム間復号化部２００８、画素補間部２００９、フレーム間復号化管理部２０１０により構成される。
ＤＥＭＵＸ部２００２は、取得したビットストリームを多重化分離（以後、ＤＥＭＵＸ）して、サブバンド分割後の係数情報ビット列（以後、サブバンド係数情報ビット列）、動きベクトル情報ビット列と、復号時に必要となる各種の制御情報を生成し、サブバンド係数情報ビット列、動きベクトル情報ビット列を後述するエントロピー復号化部２００３に通知する機能を有する。
エントロピー復号化部２００３は、ＤＥＭＵＸ部２００２から通知されるサブバンド係数情報ビット列、動きベクトル情報ビット列を取得する機能を有する。取得したサブバンド係数情報ビット列、動きベクトル情報ビット列に対してエントロピー復号化を行い、サブバンド分割後の係数情報（以後、サブバンド係数情報）、動きベクトル情報を生成する機能を有する。生成したサブバンド係数情報を後述する逆量子化部２００４に通知する機能を有する。また、生成した動きベクトル情報を対応関係特定部２００６に通知する機能を有する。
逆量子化部２００４は、エントロピー復号化部２００３からサブバンド係数情報を取得する機能を有する。取得したサブバンド係数情報に対して所定の逆量子化を行う機能を有する。逆量子化後のサブバンド係数情報を後述の入力管理部２００５に通知する機能を有する。
入力管理部２００５は、逆量子化部２００４から逆量子化後のサブバンド係数情報を取得する機能を有する。取得した逆量子化後のサブバンド係数情報は、サブバンド分割後のＬ成分情報を含むＬ成分フレームとＨ成分情報を含むＨ成分フレームとするとともに、各成分フレームを復号後のＧＯＰ内のフレーム位置に対応付けて管理する機能を有する。一般に、この入力管理部２００５は、ＧＯＰを再構成するために必要なフレーム数を構成できるだけのサブバンド係数情報を逆量子化部２００４から取得し、後述する対応関係特定部２００６、画素補間部２００９に対して処理対象となるフレームを通知する機能を有する。
入力管理部２００５は、逆量子化部２００４から逆量子化後のサブバンド係数情報を取得する機能を有する。取得した逆量子化後のサブバンド係数情報は、サブバンド分割後のＬ成分情報を含むＬ成分フレームとＨ成分情報を含むＨ成分フレームとするとともに、各成分フレームを復号後のＧＯＰ内のフレーム位置に対応付けて管理する機能を有する。一般に、この入力管理部２００５は、ＧＯＰを再構成するために必要なフレーム数を構成できるだけのサブバンド係数情報を逆量子化部２００４から取得し、後述する対応関係特定部２００６、画素補間部２００９に対して処理対象となるフレームを通知する機能を有する。
対応関係特定部２００６は、エントロピー復号化部２００３から動きベクトル情報を取得する機能を有する。また、入力管理部２００５から復号対象となるサブバンド分割後のＬ成分のサブバンド係数情報が格納されているＬ成分フレームと、Ｈ成分のサブバンド係数情報が格納されているＨ成分フレームを取得する機能を有する。ここで、Ｌ成分フレームは復号後の２Ｎフレーム側の位置に対応し、Ｈ成分フレームは復号後の２Ｎ＋１フレーム側の位置に対応しているものとする。取得した動きベクトル情報を利用してＨ成分フレーム内の各Ｈ成分のサブバンド係数情報が、Ｌ成分フレーム内のどのＬ成分のサブバンド係数情報と対応関係にあるかを特定し、サブバンド係数対応関係情報を生成する機能を有する。ここで、サブバンド係数対応関係情報には、各Ｌ成分のサブバンド係数情報がＬ成分フレーム内の空間位置を保持することで、復号後のサブバンド係数情報の格納位置を特定できるようにする。同様に、対応関係にある各Ｈ成分のサブバンド係数情報がＨ成分フレーム内の空間位置を保持することで、復号後のサブバンド係数情報の格納位置を特定できるようにする。また、ある特定のＬ成分のサブバンド係数情報が複数のＨ成分のサブバンド係数情報との間に多重参照関係がある場合には、所定の方法に基づいて最初に復号すべきＬ成分のサブバンド係数情報とＨ成分のサブバンド係数情報を特定し、サブバンド係数対応関係情報に復号化を行う際の優先順位を反映する機能を有する。対応関係特定部２００６は、取得したＬ成分フレーム、Ｈ成分フレームおよび生成したサブバンド係数対応関係情報を第１フレーム間復号化部２００７に通知する機能を有する。
第１フレーム間復号化部２００７は、対応関係特定部２００６から２Ｎフレーム側のＬ成分フレーム、２Ｎ＋１フレーム側のＨ成分フレームおよび生成したサブバンド係数対応関係情報を取得する機能を有する。取得したサブバンド係数対応関係情報から最初に復号すべきＬ成分のサブバンド係数情報と、２Ｎ＋１フレーム側のＨ成分のサブバンド係数情報を特定し、所定のサブバンド合成によって帯域合成を行うとともに、帯域合成によって得られる時間方向に異なる２つのＬ成分のサブバンド係数情報を、サブバンド係数対応関係情報に基づいて２Ｎフレーム側、２Ｎ＋１フレーム側の対応する空間位置に格納する機能を有する。帯域合成後の２Ｎフレーム側および２Ｎ＋１フレーム側に格納したＬ成分のサブバンド係数情報、帯域合成を行っていないサブバンド係数情報、サブバンド係数対応関係情報を第２フレーム間復号化部２００８に通知する機能を有する。
第２フレーム間復号化部２００８は、第１フレーム間復号化部２００７から帯域合成後の２Ｎフレーム側および２Ｎ＋１フレーム側に格納したＬ成分のサブバンド係数情報、帯域合成を行っていないサブバンド係数情報、サブバンド係数対応関係情報を取得する機能を有する。第１フレーム間復号化部２００７によって既に復号した２Ｎフレーム側のＬ成分のサブバンド係数情報と、第１フレーム間復号化部２００７で復号対象とならなかったＨ成分のサブバンド係数情報との対応関係をサブバンド係数対応関係情報から特定し、所定のサブバンド合成によって帯域合成を行うとともに、帯域合成によって得られる時間方向に異なる２つのＬ成分のサブバンド係数情報を、サブバンド係数対応関係情報に基づいて２Ｎフレーム側、２Ｎ＋１フレーム側の対応する空間位置に格納する機能を有する。帯域合成後の２Ｎフレーム側に格納したＬ成分のサブバンド係数情報を、画素補間部２００９に通知する機能を有する。２Ｎ＋１フレーム側に格納したＬ成分のサブバンド係数情報をフレーム間復号化管理部２０１０に通知する機能を有する。
第２フレーム間復号化部２００８は、第１フレーム間復号化部２００７から帯域合成後の２Ｎフレーム側および２Ｎ＋１フレーム側に格納したＬ成分のサブバンド係数情報、帯域合成を行っていないサブバンド係数情報、サブバンド係数対応関係情報を取得する機能を有する。第１フレーム間復号化部２００７によって既に復号した２Ｎフレーム側のＬ成分のサブバンド係数情報と、第１フレーム間復号化部２００７で復号対象とならなかったＨ成分のサブバンド係数情報との対応関係をサブバンド係数対応関係情報から特定し、所定のサブバンド合成によって帯域合成を行うとともに、帯域合成によって得られる時間方向に異なる２つのＬ成分のサブバンド係数情報を、サブバンド係数対応関係情報に基づいて２Ｎフレーム側、２Ｎ＋１フレーム側の対応する空間位置に格納する機能を有する。帯域合成後の２Ｎフレーム側に格納したＬ成分のサブバンド係数情報を、画素補間部２００９に通知する機能を有する。２Ｎ＋１フレーム側に格納したＬ成分のサブバンド係数情報をフレーム間復号化管理部２０１０に通知する機能を有する。
画素補間部２００９は、第２フレーム間復号化部２００８から２Ｎフレーム側に格納したＬ成分のサブバンド係数情報を取得する機能を有する。画素補間部２００９は、２Ｎフレーム内においてサブバンド合成による復号が行われていない画素補間領域を特定し、所定の画素補間方法に基づいて画素を補間する機能を有する。生成した２Ｎフレームをフレーム間復号化管理部２０１０に通知する機能を有する。
フレーム間復号化管理部２０１０は、画素補間部２００９から画素補間を行った２Ｎフレームを取得する機能を有する。第２フレーム間復号化部２００８から２Ｎ＋１フレームを取得する機能を有する。フレーム間復号化管理部２０１０は、帯域合成を継続するかどうか判定し、ＧＯＰ内のフレーム間に対して帯域合成を行う必要がある場合には、２Ｎフレーム、２Ｎ＋１フレームを再度ＧＯＰ内の入力フレームとして扱うために入力管理部２００５に通知し、帯域合成を行う必要がない場合には復号結果として動画像フレームを出力する機能を有する。
フレーム間復号化管理部２０１０は、画素補間部２００９から画素補間を行った２Ｎフレームを取得する機能を有する。第２フレーム間復号化部２００８から２Ｎ＋１フレームを取得する機能を有する。フレーム間復号化管理部２０１０は、帯域合成を継続するかどうか判定し、ＧＯＰ内のフレーム間に対して帯域合成を行う必要がある場合には、２Ｎフレーム、２Ｎ＋１フレームを再度ＧＯＰ内の入力フレームとして扱うために入力管理部２００５に通知し、帯域合成を行う必要がない場合には復号結果として動画像フレームを出力する機能を有する。
図２６は、図２０に示す従来の一般的な逆ＭＣＴＦを用いた復号化装置の動作を表すフローチャートである。以下に図２６を用いて図２０に示す従来の一般的な逆ＭＣＴＦを用いた復号化装置の動作を説明する。
まず、ＤＥＭＵＸ部２００２は、入力されるビットストリームを取得する（ステップＳ８０１）。取得したビットストリームに対してＤＥＭＵＸを行い（ステップＳ８０２）、生成したサブバンド係数情報ビット列、動きベクトル情報ビット列をエントロピー復号化部２００３に通知する。
次に、エントロピー復号化部２００３は、ＤＥＭＵＸ部２００２からサブバンド係数情報ビット列、動きベクトル情報ビット列を取得し、それぞれの情報に対して所定のエントロピー復号化を行う（ステップＳ８０３）。その後、エントロピー符号化後に得られるサブバンド係数情報を逆量子化部２００４に通知する。また、動きベクトル情報を対応関係特定部２００６に通知する。
その後、逆量子化部２００４は、エントロピー復号化部２００３から取得したサブバンド係数情報に対して逆量子化を行う（ステップＳ８０４）。逆量子化後のサブバンド係数情報は、入力管理部２００５に通知する。
まず、ＤＥＭＵＸ部２００２は、入力されるビットストリームを取得する（ステップＳ８０１）。取得したビットストリームに対してＤＥＭＵＸを行い（ステップＳ８０２）、生成したサブバンド係数情報ビット列、動きベクトル情報ビット列をエントロピー復号化部２００３に通知する。
次に、エントロピー復号化部２００３は、ＤＥＭＵＸ部２００２からサブバンド係数情報ビット列、動きベクトル情報ビット列を取得し、それぞれの情報に対して所定のエントロピー復号化を行う（ステップＳ８０３）。その後、エントロピー符号化後に得られるサブバンド係数情報を逆量子化部２００４に通知する。また、動きベクトル情報を対応関係特定部２００６に通知する。
その後、逆量子化部２００４は、エントロピー復号化部２００３から取得したサブバンド係数情報に対して逆量子化を行う（ステップＳ８０４）。逆量子化後のサブバンド係数情報は、入力管理部２００５に通知する。
入力管理部２００５は、逆量子化部２００４から逆量子化後のサブバンド係数情報を取得し、サブバンド分割後のＬ成分情報を含むＬ成分フレームとＨ成分情報を含むＨ成分フレームとするとともに、これらのフレームを１ＧＯＰ分の情報として蓄積する（ステップＳ８０５）ことで、各成分フレームを復号後のＧＯＰ内のフレーム位置に対応付けて管理する。その後、対応関係特定部２００６、画素補間部２００９に対して処理対象となるフレームを通知する（ステップＳ８０６）。
その後、対応関係特定部２００６は、エントロピー復号化部２００３から動きベクトル情報を取得する。また、入力管理部２００５から復号対象となるサブバンド分割後のＬ成分のサブバンド係数情報が格納されているＬ成分フレームと、Ｈ成分のサブバンド係数情報が格納されているＨ成分フレームを取得する。取得した動きベクトル情報を利用してＨ成分フレーム内の各Ｈ成分のサブバンド係数情報が、Ｌ成分フレーム内のどのＬ成分のサブバンド係数情報と対応関係にあるかを特定し（ステップＳ８０７）、サブバンド係数対応関係情報を生成する。ここで、サブバンド係数対応関係情報には、各Ｌ成分のサブバンド係数情報がＬ成分フレーム内の空間位置を保持することで、復号後のサブバンド係数情報の格納位置を特定できるようにする。同様に、対応関係にある各Ｈ成分のサブバンド係数情報がＨ成分フレーム内の空間位置を保持することで、復号後のサブバンド係数情報の格納位置を特定できるようにする。また、ある特定のＬ成分のサブバンド係数情報が複数のＨ成分のサブバンド係数情報との間に多重参照関係がある場合には、所定の方法に基づいて最初に復号すべきＬ成分のサブバンド係数情報とＨ成分のサブバンド係数情報を特定し、サブバンド係数対応関係情報に復号化を行う際の優先順位を反映する。対応関係特定部２００６は、取得したＬ成分フレーム、Ｈ成分フレームおよび生成したサブバンド係数対応関係情報を第１フレーム間復号化部２００７に通知する。
その後、対応関係特定部２００６は、エントロピー復号化部２００３から動きベクトル情報を取得する。また、入力管理部２００５から復号対象となるサブバンド分割後のＬ成分のサブバンド係数情報が格納されているＬ成分フレームと、Ｈ成分のサブバンド係数情報が格納されているＨ成分フレームを取得する。取得した動きベクトル情報を利用してＨ成分フレーム内の各Ｈ成分のサブバンド係数情報が、Ｌ成分フレーム内のどのＬ成分のサブバンド係数情報と対応関係にあるかを特定し（ステップＳ８０７）、サブバンド係数対応関係情報を生成する。ここで、サブバンド係数対応関係情報には、各Ｌ成分のサブバンド係数情報がＬ成分フレーム内の空間位置を保持することで、復号後のサブバンド係数情報の格納位置を特定できるようにする。同様に、対応関係にある各Ｈ成分のサブバンド係数情報がＨ成分フレーム内の空間位置を保持することで、復号後のサブバンド係数情報の格納位置を特定できるようにする。また、ある特定のＬ成分のサブバンド係数情報が複数のＨ成分のサブバンド係数情報との間に多重参照関係がある場合には、所定の方法に基づいて最初に復号すべきＬ成分のサブバンド係数情報とＨ成分のサブバンド係数情報を特定し、サブバンド係数対応関係情報に復号化を行う際の優先順位を反映する。対応関係特定部２００６は、取得したＬ成分フレーム、Ｈ成分フレームおよび生成したサブバンド係数対応関係情報を第１フレーム間復号化部２００７に通知する。
次に、第１フレーム間復号化部２００７は、対応関係特定部２００６から２Ｎフレーム側のＬ成分フレーム、２Ｎ＋１フレーム側のＨ成分フレームおよび生成したサブバンド係数対応関係情報を取得する。取得したサブバンド係数対応関係情報から最初に復号すべきＬ成分のサブバンド係数情報と、２Ｎ＋１フレーム側のＨ成分のサブバンド係数情報を特定し、所定のサブバンド合成によって帯域合成を行うことで、第１のフレーム間復号化を行う（ステップＳ８０８）とともに、帯域合成によって得られる時間方向に異なる２つのＬ成分のサブバンド係数情報を、サブバンド係数対応関係情報に基づいて２Ｎフレーム側、２Ｎ＋１フレーム側の対応する空間位置に格納する。帯域合成後の２Ｎフレーム側および２Ｎ＋１フレーム側に格納したＬ成分のサブバンド係数情報、帯域合成を行っていないサブバンド係数情報、サブバンド係数対応関係情報を第２フレーム間復号化部２００８に通知する。
そして、第２フレーム間復号化部２００８は、第１フレーム間復号化部２００７から帯域合成後の２Ｎフレーム側および２Ｎ＋１フレーム側に格納したＬ成分のサブバンド係数情報、帯域合成を行っていないサブバンド係数情報、サブバンド係数対応関係情報を取得する。第１フレーム間復号化部２００７によって既に復号した２Ｎフレーム側のＬ成分のサブバンド係数情報と、第１フレーム間復号化部２００７で復号対象とならなかったＨ成分のサブバンド係数情報との対応関係をサブバンド係数対応関係情報から特定し、所定のサブバンド合成によって帯域合成を行うことで、第１のフレーム間復号化の結果を利用して第２のフレーム間復号化を行う（ステップＳ８０９）とともに、帯域合成によって得られる時間方向に異なる２つのＬ成分のサブバンド係数情報を、サブバンド係数対応関係情報に基づいて２Ｎフレーム側、２Ｎ＋１フレーム側の対応する空間位置に格納する。その後、帯域合成後の２Ｎフレーム側に格納したＬ成分のサブバンド係数情報を、画素補間部２００９に通知する。また、２Ｎ＋１フレーム側に格納したＬ成分のサブバンド係数情報をフレーム間復号化管理部２０１０に通知する。
次に、画素補間部２００９は、第２フレーム間復号化部２００８から２Ｎフレーム側に格納したＬ成分のサブバンド係数情報を取得する。画素補間部２００９は、２Ｎフレーム内においてサブバンド合成による復号が行われていない画素補間領域を特定し、所定の画素補間方法に基づいて画素を補間することで、第１のフレーム間復号化で埋めきれなかった画素の補間を行う（ステップＳ８１０）。生成した２Ｎフレームをフレーム間復号化管理部２０１０に通知する。
その後、フレーム間復号化管理部２０１０は、画素補間部２００９から画素補間を行った２Ｎフレームを取得するとともに、第２フレーム間復号化部２００８から２Ｎ＋１フレームを取得する。フレーム間復号化管理部２０１０は、帯域合成を継続するかどうか判定し、ＧＯＰ内のフレーム間に対して帯域合成を行う必要がある場合には、２Ｎフレーム、２Ｎ＋１フレームを再度ＧＯＰ内の入力フレームとして扱うために入力管理部２００５に通知し、帯域合成を行う必要がない場合には復号結果として動画像フレームを出力する。
以上のような処理を行うことで、一連の逆ＭＣＴＦを用いた復号化処理が完了する。
その後、フレーム間復号化管理部２０１０は、画素補間部２００９から画素補間を行った２Ｎフレームを取得するとともに、第２フレーム間復号化部２００８から２Ｎ＋１フレームを取得する。フレーム間復号化管理部２０１０は、帯域合成を継続するかどうか判定し、ＧＯＰ内のフレーム間に対して帯域合成を行う必要がある場合には、２Ｎフレーム、２Ｎ＋１フレームを再度ＧＯＰ内の入力フレームとして扱うために入力管理部２００５に通知し、帯域合成を行う必要がない場合には復号結果として動画像フレームを出力する。
以上のような処理を行うことで、一連の逆ＭＣＴＦを用いた復号化処理が完了する。
次に、ＭＣＴＦ復号化装置の構成について説明する。
図２１が示すＭＣＴＦ復号化装置は、図２０が示す従来のＭＣＴＦ復号化装置の構成に対して、さらに少なくとも、順序情報解析部２１０１を備えることで実現する。
順序情報解析部２１０１は、エントロピー復号化部２００３から順序情報ヘッダを取得する機能を有する。もしくは、順序情報ヘッダが取得できない場合には、各Ｈ成分フレーム毎に付加された順序情報を取得するようにしても良い。この順序情報から、図１３に示すような解析を行うことで、各オクターブ分割毎での１ＧＯＰ内における復号後のＬ成分フレームの順序関係およびフレーム格納位置を特定するためのフレーム格納位置特定情報を生成する機能を有する。生成したフレーム格納位置情報は、対応関係特定部２００６、フレーム間復号化管理部２０１０に通知する機能を有する。
図２１が示すＭＣＴＦ復号化装置は、図２０が示す従来のＭＣＴＦ復号化装置の構成に対して、さらに少なくとも、順序情報解析部２１０１を備えることで実現する。
順序情報解析部２１０１は、エントロピー復号化部２００３から順序情報ヘッダを取得する機能を有する。もしくは、順序情報ヘッダが取得できない場合には、各Ｈ成分フレーム毎に付加された順序情報を取得するようにしても良い。この順序情報から、図１３に示すような解析を行うことで、各オクターブ分割毎での１ＧＯＰ内における復号後のＬ成分フレームの順序関係およびフレーム格納位置を特定するためのフレーム格納位置特定情報を生成する機能を有する。生成したフレーム格納位置情報は、対応関係特定部２００６、フレーム間復号化管理部２０１０に通知する機能を有する。
対応関係特定部２００６は、更に順序情報解析部２１０１からフレーム格納位置特定情報を取得する機能を有する。取得したフレーム格納位置特定情報に基づいて、入力管理部２００５から復号対象となるサブバンド分割後のＬ成分のサブバンド係数情報が格納されているＬ成分フレームと、Ｈ成分のサブバンド係数情報が格納されているＨ成分フレームを取得する機能を有する。ここで、取得したフレーム格納位置情報から現在処理しようとしているフレームが順方向のＭＥ／ＭＣをされたものであるか、逆方向のＭＥ／ＭＣをされたものであるかを特定する機能を有する。順方向の場合は、Ｌ成分フレームは復号後の２Ｎフレーム側の位置に対応し、Ｈ成分フレームは復号後の２Ｎ＋１フレーム側の位置に対応しているものとする。逆方向であれば、Ｌ成分フレームは復号後の２Ｎ＋１フレーム側の位置に対応し、Ｈ成分フレームは復号後の２Ｎフレーム側の位置に対応しているものとする。取得した動きベクトル情報を利用してＨ成分フレーム内の各Ｈ成分のサブバンド係数情報が、Ｌ成分フレーム内のどのＬ成分のサブバンド係数情報と対応関係にあるかを特定し、サブバンド係数対応関係情報を生成する機能を有する。ここで、サブバンド係数対応関係情報には、各Ｌ成分のサブバンド係数情報がＬ成分フレーム内の空間位置を保持することで、復号後のサブバンド係数情報の格納位置を特定できるようにする。同様に、対応関係にある各Ｈ成分のサブバンド係数情報がＨ成分フレーム内の空間位置を保持することで、復号後のサブバンド係数情報の格納位置を特定できるようにする。また、ある特定のＬ成分のサブバンド係数情報が複数のＨ成分のサブバンド係数情報との間に多重参照関係がある場合には、所定の方法に基づいて最初に復号すべきＬ成分のサブバンド係数情報とＨ成分のサブバンド係数情報を特定し、サブバンド係数対応関係情報に復号化を行う際の優先順位を反映する機能を有する。対応関係特定部２００６は、取得したＬ成分フレーム、Ｈ成分フレームおよび生成したサブバンド係数対応関係情報を第１フレーム間復号化部２００７に通知する機能を有する。
図２７は、図２１に示す逆ＭＣＴＦを用いた復号化装置の動作を表すフローチャートである。以下に図２７を用いて図２１に示す復号化装置の動作を説明する。
まず、ＤＥＭＵＸ部２００２は、入力されるビットストリームを取得する（ステップＳ９０１）。取得したビットストリームに対してＤＥＭＵＸを行い（ステップＳ９０２）、生成したサブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列をエントロピー復号化部２００３に通知する。
次に、エントロピー復号化部２００３は、ＤＥＭＵＸ部２００２からサブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列を取得し、それぞれの情報に対して所定のエントロピー復号化を行う（ステップＳ９０３）。その後、エントロピー符号化後に得られるサブバンド係数情報を逆量子化部２００４に通知する。また、動きベクトル情報を対応関係特定部２００６に通知する。順序情報ビット列は、順序情報解析部２１０１に通知する。
その後、逆量子化部２００４は、エントロピー復号化部２００３から取得したサブバンド係数情報に対して逆量子化を行う（ステップＳ９０４）。逆量子化後のサブバンド係数情報は、入力管理部２００５に通知する。
まず、ＤＥＭＵＸ部２００２は、入力されるビットストリームを取得する（ステップＳ９０１）。取得したビットストリームに対してＤＥＭＵＸを行い（ステップＳ９０２）、生成したサブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列をエントロピー復号化部２００３に通知する。
次に、エントロピー復号化部２００３は、ＤＥＭＵＸ部２００２からサブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列を取得し、それぞれの情報に対して所定のエントロピー復号化を行う（ステップＳ９０３）。その後、エントロピー符号化後に得られるサブバンド係数情報を逆量子化部２００４に通知する。また、動きベクトル情報を対応関係特定部２００６に通知する。順序情報ビット列は、順序情報解析部２１０１に通知する。
その後、逆量子化部２００４は、エントロピー復号化部２００３から取得したサブバンド係数情報に対して逆量子化を行う（ステップＳ９０４）。逆量子化後のサブバンド係数情報は、入力管理部２００５に通知する。
入力管理部２００５は、逆量子化部２００４から逆量子化後のサブバンド係数情報を取得し、サブバンド分割後のＬ成分情報を含むＬ成分フレームとＨ成分情報を含むＨ成分フレームとするとともに、これらのフレームを１ＧＯＰ分の情報として蓄積する（ステップＳ９０５）ことで、各成分フレームを復号後のＧＯＰ内のフレーム位置に対応付けて管理する。
順序情報解析部２１０１は、エントロピー復号化部２００３から順序情報ヘッダの内容である順序情報ビット列を取得する（ステップＳ９０６）。取得した順序情報ビット列に対して図１３に示すような解析を行うことで、各オクターブ分割毎での１ＧＯＰ内における復号後のＬ成分フレームの順序関係およびフレーム格納位置を特定するためのフレーム格納位置特定情報を生成する。生成したフレーム格納位置情報は、対応関係特定部２００６、フレーム間復号化管理部２０１０に通知する。
その後、入力管理部２００５は、対応関係特定部２００６、画素補間部２００９に対して処理対象となるフレームを通知する（ステップＳ９０７）。
順序情報解析部２１０１は、エントロピー復号化部２００３から順序情報ヘッダの内容である順序情報ビット列を取得する（ステップＳ９０６）。取得した順序情報ビット列に対して図１３に示すような解析を行うことで、各オクターブ分割毎での１ＧＯＰ内における復号後のＬ成分フレームの順序関係およびフレーム格納位置を特定するためのフレーム格納位置特定情報を生成する。生成したフレーム格納位置情報は、対応関係特定部２００６、フレーム間復号化管理部２０１０に通知する。
その後、入力管理部２００５は、対応関係特定部２００６、画素補間部２００９に対して処理対象となるフレームを通知する（ステップＳ９０７）。
その後、対応関係特定部２００６は、エントロピー復号化部２００３から動きベクトル情報を取得する。また、順序情報解析部２１０１からフレーム格納位置特定情報を取得する。取得したフレーム格納位置特定情報に基づいて、入力管理部２００５から復号対象となるサブバンド分割後のＬ成分のサブバンド係数情報が格納されているＬ成分フレームと、Ｈ成分のサブバンド係数情報が格納されているＨ成分フレームを取得する。ここで、取得したフレーム格納位置情報から現在処理しようとしているフレームが順方向のＭＥ／ＭＣをされたものであるか、逆方向のＭＥ／ＭＣをされたものであるかを特定する。順方向の場合は、Ｌ成分フレームは復号後の２Ｎフレーム側の位置に対応し、Ｈ成分フレームは復号後の２Ｎ＋１フレーム側の位置に対応しているものとする。逆方向であれば、Ｌ成分フレームは復号後の２Ｎ＋１フレーム側の位置に対応し、Ｈ成分フレームは復号後の２Ｎフレーム側の位置に対応しているものとする。取得した動きベクトル情報を利用してＨ成分フレーム内の各Ｈ成分のサブバンド係数情報が、Ｌ成分フレーム内のどのＬ成分のサブバンド係数情報と対応関係にあるかを特定し（ステップＳ９０８）、サブバンド係数対応関係情報を生成する。ここで、サブバンド係数対応関係情報には、各Ｌ成分のサブバンド係数情報がＬ成分フレーム内の空間位置を保持することで、復号後のサブバンド係数情報の格納位置を特定できるようにする。同様に、対応関係にある各Ｈ成分のサブバンド係数情報がＨ成分フレーム内の空間位置を保持することで、復号後のサブバンド係数情報の格納位置を特定できるようにする。また、ある特定のＬ成分のサブバンド係数情報が複数のＨ成分のサブバンド係数情報との間に多重参照関係がある場合には、所定の方法に基づいて最初に復号すべきＬ成分のサブバンド係数情報とＨ成分のサブバンド係数情報を特定し、サブバンド係数対応関係情報に復号化を行う際の優先順位を反映する。対応関係特定部２００６は、取得したＬ成分フレーム、Ｈ成分フレームおよび生成したサブバンド係数対応関係情報を第１フレーム間復号化部２００７に通知する。
次に、第１フレーム間復号化部２００７は、対応関係特定部２００６から、順方向であれば、２Ｎフレーム側のＬ成分フレーム、２Ｎ＋１フレーム側のＨ成分フレームおよび生成したサブバンド係数対応関係情報を取得する。逆方向であれば、２Ｎ＋１フレーム側のＬ成分フレーム、２Ｎフレーム側のＨ成分フレームおよび生成したサブバンド係数対応関係情報を取得する。取得したサブバンド係数対応関係情報から最初に復号すべきＬ成分のサブバンド係数情報と、順方向であれば２Ｎ＋１フレーム側、逆方向であれば２Ｎフレーム側のＨ成分のサブバンド係数情報を特定し、所定のサブバンド合成によって帯域合成を行うことで、第１のフレーム間復号化を行う（ステップＳ９０９）とともに、帯域合成によって得られる時間方向に異なる２つのＬ成分のサブバンド係数情報を、サブバンド係数対応関係情報に基づいて２Ｎフレーム側、２Ｎ＋１フレーム側の対応する空間位置に格納する。帯域合成後の２Ｎフレーム側および２Ｎ＋１フレーム側に格納したＬ成分のサブバンド係数情報、帯域合成を行っていないサブバンド係数情報、サブバンド係数対応関係情報を第２フレーム間復号化部２００８に通知する。
そして、第２フレーム間復号化部２００８は、第１フレーム間復号化部２００７から帯域合成後の２Ｎフレーム側および２Ｎ＋１フレーム側に格納したＬ成分のサブバンド係数情報、帯域合成を行っていないサブバンド係数情報、サブバンド係数対応関係情報を取得する。第１フレーム間復号化部２００７によって既に復号した、順方向であれば２Ｎフレーム側、逆方向であれば２Ｎ＋１フレーム側のＬ成分のサブバンド係数情報と、第１フレーム間復号化部２００７で復号対象とならなかったＨ成分のサブバンド係数情報との対応関係をサブバンド係数対応関係情報から特定し、所定のサブバンド合成によって帯域合成を行うことで、第１のフレーム間復号化の結果を利用して第２のフレーム間復号化を行う（ステップＳ９１０）とともに、帯域合成によって得られる時間方向に異なる２つのＬ成分のサブバンド係数情報を、サブバンド係数対応関係情報に基づいて２Ｎフレーム側、２Ｎ＋１フレーム側の対応する空間位置に格納する。その後、帯域合成後の順方向であれば２Ｎフレーム側、逆方向であれば２Ｎ＋１フレーム側に格納したＬ成分のサブバンド係数情報を、画素補間部２００９に通知する。また、順方向であれば２Ｎ＋１フレーム側、逆方向であれば２Ｎフレーム側に格納したＬ成分のサブバンド係数情報をフレーム間復号化管理部２０１０に通知する。
次に、画素補間部２００９は、第２フレーム間復号化部２００８から順方向であれば２Ｎフレーム側、逆方向であれば２Ｎ＋１フレーム側に格納したＬ成分のサブバンド係数情報を取得する。画素補間部２００９は、順方向であれば２Ｎフレーム、逆方向であれば２Ｎ＋１フレーム内においてサブバンド合成による復号が行われていない画素補間領域を特定し、所定の画素補間方法に基づいて画素を補間することで、第１のフレーム間復号化で埋めきれなかった画素の補間を行う（ステップＳ９１１）。生成した順方向であれば２Ｎフレーム、逆方向であれば２Ｎ＋１フレームをフレーム間復号化管理部２０１０に通知する。
その後、フレーム間復号化管理部２０１０は、画素補間部２００９から画素補間を行った順方向であれば２Ｎフレーム、逆方向であれば２Ｎ＋１フレームを取得するとともに、第２フレーム間復号化部２００８から順方向であれば２Ｎ＋１フレーム、逆方向であれば２Ｎフレームを取得する。また、順序情報解析部２１０１からフレーム格納位置情報を取得する機能を有する。取得したフレーム格納位置情報を用いて、取得した２Ｎフレーム、２Ｎ＋１フレームを１ＧＯＰ内のフレーム格納位置に格納する機能を有する。フレーム間復号化管理部２０１０は、帯域合成を継続するかどうか判定し、ＧＯＰ内のフレーム間に対して帯域合成を行う必要がある場合には、２Ｎフレーム、２Ｎ＋１フレームを再度ＧＯＰ内の入力フレームとして扱うために入力管理部２００５に通知し、帯域合成を行う必要がない場合には復号結果として動画像フレームを出力する。
以上のような処理を行うことで、一連の逆ＭＣＴＦを用いた復号化処理が完了する。
なお、本発明は、上記の復号化装置の機能を図２２に示すコンピュータである中央処理制御装置２２０３に実現させるためのプログラムを含むものである。このプログラムは、記録媒体から読み取られて中央処理制御装置２２０３に取り込まれても良いし、通信ネットワークを介して伝送され中央処理制御装置２２０３に取り込まれても良い。
その後、フレーム間復号化管理部２０１０は、画素補間部２００９から画素補間を行った順方向であれば２Ｎフレーム、逆方向であれば２Ｎ＋１フレームを取得するとともに、第２フレーム間復号化部２００８から順方向であれば２Ｎ＋１フレーム、逆方向であれば２Ｎフレームを取得する。また、順序情報解析部２１０１からフレーム格納位置情報を取得する機能を有する。取得したフレーム格納位置情報を用いて、取得した２Ｎフレーム、２Ｎ＋１フレームを１ＧＯＰ内のフレーム格納位置に格納する機能を有する。フレーム間復号化管理部２０１０は、帯域合成を継続するかどうか判定し、ＧＯＰ内のフレーム間に対して帯域合成を行う必要がある場合には、２Ｎフレーム、２Ｎ＋１フレームを再度ＧＯＰ内の入力フレームとして扱うために入力管理部２００５に通知し、帯域合成を行う必要がない場合には復号結果として動画像フレームを出力する。
以上のような処理を行うことで、一連の逆ＭＣＴＦを用いた復号化処理が完了する。
なお、本発明は、上記の復号化装置の機能を図２２に示すコンピュータである中央処理制御装置２２０３に実現させるためのプログラムを含むものである。このプログラムは、記録媒体から読み取られて中央処理制御装置２２０３に取り込まれても良いし、通信ネットワークを介して伝送され中央処理制御装置２２０３に取り込まれても良い。
≪復号化装置の応用例≫
図２３は、ＭＣＴＦ復号化装置の応用例において、ビットストリームの入力から復号化後の動画像フレームを出力するまでを示した機能ブロック図である。以下に、図２３に示す各ブロックの機能を示す。
復号化装置の応用例は、図２３に示すように、ＤＥＭＵＸ部２００２、エントロピー復号化部２００３、逆量子化部２００４、入力管理部２３０１、ＭＣ部２３０２、フレーム間サブバンド復号化部２３０３、重なり順序制御部２３０４、逆ＭＣ部２３０５、画素補間部２３０６、フレーム間サブバンド復号化管理部２３０７、順序情報解析部３２０８によって少なくとも構成される。
ＤＥＭＵＸ部２００２は、取得したビットストリームを多重化分離（以後、ＤＥＭＵＸ）して、サブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列と、復号時に必要となる各種の制御情報を生成し、サブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列を後述するエントロピー復号化部２００３に通知する機能を有する。
図２３は、ＭＣＴＦ復号化装置の応用例において、ビットストリームの入力から復号化後の動画像フレームを出力するまでを示した機能ブロック図である。以下に、図２３に示す各ブロックの機能を示す。
復号化装置の応用例は、図２３に示すように、ＤＥＭＵＸ部２００２、エントロピー復号化部２００３、逆量子化部２００４、入力管理部２３０１、ＭＣ部２３０２、フレーム間サブバンド復号化部２３０３、重なり順序制御部２３０４、逆ＭＣ部２３０５、画素補間部２３０６、フレーム間サブバンド復号化管理部２３０７、順序情報解析部３２０８によって少なくとも構成される。
ＤＥＭＵＸ部２００２は、取得したビットストリームを多重化分離（以後、ＤＥＭＵＸ）して、サブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列と、復号時に必要となる各種の制御情報を生成し、サブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列を後述するエントロピー復号化部２００３に通知する機能を有する。
エントロピー復号化部２００３は、ＤＥＭＵＸ部２００２から通知されるサブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列を取得する機能を有する。取得したサブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列に対してエントロピー復号化を行い、サブバンド係数情報、動きベクトル情報、順序情報を生成する機能を有する。生成したサブバンド係数情報を後述する逆量子化部２００４に通知する機能を有する。また、生成した動きベクトル情報を後述するＭＣ部２３０２、逆ＭＣ部２３０５に通知する機能を有する。さらに、生成した順序情報を順序情報解析部２３０８に通知する機能を有する。
逆量子化部２００４は、エントロピー復号化部２００３からサブバンド係数情報を取得する機能を有する。取得したサブバンド係数情報に対して所定の逆量子化を行う機能を有する。逆量子化後のサブバンド係数情報を後述の入力管理部２３０１に通知する機能を有する。
入力管理部２３０１は、逆量子化部２００４から逆量子化後のサブバンド係数情報を取得する機能を有する。取得した逆量子化後のサブバンド係数情報は、サブバンド分割後のＬ成分情報を含むＬ成分フレームとＨ成分情報を含むＨ成分フレームとして管理する機能を有する。一般に、この入力管理部２３０１は、ＧＯＰを再構成するために必要なフレーム数を構成できるだけのサブバンド係数情報を逆量子化部２００４から取得し、後述するＭＣ部２３０２、フレーム間サブバンド復号化部２３０３、画素補間部２３０６に対して処理対象となるフレームを通知する機能を有する。
逆量子化部２００４は、エントロピー復号化部２００３からサブバンド係数情報を取得する機能を有する。取得したサブバンド係数情報に対して所定の逆量子化を行う機能を有する。逆量子化後のサブバンド係数情報を後述の入力管理部２３０１に通知する機能を有する。
入力管理部２３０１は、逆量子化部２００４から逆量子化後のサブバンド係数情報を取得する機能を有する。取得した逆量子化後のサブバンド係数情報は、サブバンド分割後のＬ成分情報を含むＬ成分フレームとＨ成分情報を含むＨ成分フレームとして管理する機能を有する。一般に、この入力管理部２３０１は、ＧＯＰを再構成するために必要なフレーム数を構成できるだけのサブバンド係数情報を逆量子化部２００４から取得し、後述するＭＣ部２３０２、フレーム間サブバンド復号化部２３０３、画素補間部２３０６に対して処理対象となるフレームを通知する機能を有する。
ＭＣ部２３０２は、順序情報解析部２３０８からフレーム格納位置特定情報を取得する機能を有する。取得したフレーム格納位置特定情報に基づいて、入力管理部２３０１から復号対象となるサブバンド分割後のＬ成分のサブバンド係数情報が格納されているＬ成分フレームと、Ｈ成分のサブバンド係数情報が格納されているＨ成分フレームを取得する機能を有する。ここで、取得したフレーム格納位置情報から現在処理しようとしているフレームが順方向のＭＥ／ＭＣをされたものであるか、逆方向のＭＥ／ＭＣをされたものであるかを特定する機能を有する。順方向の場合は、Ｌ成分フレームは復号後の２Ｎフレーム側の位置に対応し、Ｈ成分フレームは復号後の２Ｎ＋１フレーム側の位置に対応しているものとする。逆方向であれば、Ｌ成分フレームは復号後の２Ｎ＋１フレーム側の位置に対応し、Ｈ成分フレームは復号後の２Ｎフレーム側の位置に対応しているものとする。順方向であれば、２Ｎフレームは符号化側において、動き推定を行う際に動きベクトル探索される側のフレームであるものとする。また、２Ｎ＋１フレームは符号化側において、動き推定を行う際の基準となるフレームであるものとする。逆方向であれば、２Ｎ＋１フレームは符号化側において、動き推定を行う際に動きベクトル探索される側のフレームであるものとする。また、２Ｎフレームは符号化側において、動き推定を行う際の基準となるフレームであるものとする。ＭＣ部２３０２は、通常、順方向であれば２Ｎフレーム、逆方向であれば２Ｎ＋１フレームに対応するＬ成分フレーム対して領域外参照を許容するためにフレームの外側の領域を拡張するための所定のパディング処理を行う機能を有する。ここで、符号化側において領域外参照を禁止した場合には、ＭＣ部２３０２において領域外参照を禁止するようにしてもよい。領域外参照を禁止した場合には、必ずしも所定のパディング処理を行わなくてもよい。ＭＣ部２３０２は、エントロピー復号化部２００３から動きベクトル情報を取得する機能を有する。ＭＣ部２３０２は、パディング後のＬ成分フレーム、対応する領域の形状情報、動きベクトル情報に基づいて動き補償フレーム（以降、ＭＣフレーム）を生成する機能を有する。ここで、ＭＣを行う際に利用する基準領域の形状情報は、符号化側の動き推定部（以降、ＭＥ部とする）において、順方向であれば２Ｎ＋１フレーム、逆方向であれば２Ｎフレームを所定の領域分割方法に基づいて各領域間が重複しないように複数の基準領域に分割するため、この基準領域の形状情報を取得する必要がある。ただし、ここでは以後の説明を簡単にするため、基準領域の形状はあらかじめ符号化装置および復号化装置で決められた所定の４×４のブロック形状であるものとし、基準領域の形状情報の授受に関しては言及する必要がないものとする。ＭＣ部２３０２は、フレーム間サブバンド復号化部２３０３に対してＬ成分フレームを元に生成したＭＣフレームを通知する機能を有する。
フレーム間サブバンド復号化部２３０３は、入力管理部２３０１から復号化時の順方向であれば２Ｎ＋１フレーム、逆方向であれば２Ｎフレームに対応するＨ成分フレーム、ＭＣ部２３０２からＬ成分フレームに対してＭＣを行ったＭＣフレームを取得する機能を有する。取得したＭＣフレームとＨ成分フレームに対して、所定のサブバンド合成によって帯域合成を行うとともに、帯域合成によって得られる時間方向に異なる２フレームのＬ成分フレームを対応する２Ｎフレーム、２Ｎ＋１フレームに格納する機能を有する。順方向であれば２Ｎフレーム、逆方向であれば２Ｎ＋１フレームを後述する逆ＭＣ部２３０５に通知するとともに、順方向であれば２Ｎ＋１フレーム、逆方向であれば２Ｎフレームを後述するフレーム間サブバンド復号化管理部２３０７に通知する機能を有する。
重なり順序制御部２３０４は、逆ＭＣ部２３０５に対して、逆ＭＣする際の各基準領域の重なり順序情報を通知する機能を有する。ただし、ここでは以後の説明を簡単にするため、各基準領域の重なり順序情報は、あらかじめ符号化装置および復号化装置で決められた所定の順序であるものとし、各基準領域の重なり順序情報の授受に関しては言及する必要がないものとする。ここでの所定の順序は、左上に配置された基準領域から右下に向かってラスタ順に処理を行うようにすることで、重なり順序制御部２３０４は逆ＭＣ部２３０５を制御するものとする。
重なり順序制御部２３０４は、逆ＭＣ部２３０５に対して、逆ＭＣする際の各基準領域の重なり順序情報を通知する機能を有する。ただし、ここでは以後の説明を簡単にするため、各基準領域の重なり順序情報は、あらかじめ符号化装置および復号化装置で決められた所定の順序であるものとし、各基準領域の重なり順序情報の授受に関しては言及する必要がないものとする。ここでの所定の順序は、左上に配置された基準領域から右下に向かってラスタ順に処理を行うようにすることで、重なり順序制御部２３０４は逆ＭＣ部２３０５を制御するものとする。
逆ＭＣ部２３０５は、エントロピー復号化部２００３から動きベクトル情報、フレーム間サブバンド復号化部２３０３から順方向であれば２Ｎフレーム、逆方向であれば２Ｎ＋１フレームを取得する機能を有する。取得した動きベクトル情報、基準領域の形状情報から、帯域合成後の順方向であれば２Ｎフレーム、逆方向であれば２Ｎ＋１フレームに対して、所定の各基準領域の重なり順序に基づいて制御する重なり順序制御部２３０４の制御に応じて、取得した動きベクトル情報を逆方向に適用して動き補償を行う機能、つまり逆ＭＣを行い、逆ＭＣ後の順方向であれば２Ｎフレーム、逆方向であれば２Ｎ＋１フレームを生成する機能を有する。逆ＭＣ部２３０５は、生成した逆ＭＣ後の順方向であれば２Ｎフレーム、逆方向であれば２Ｎ＋１フレームを画素補間部２３０６に通知する機能を有する。逆ＭＣによって画素が埋められていない領域に対しては、画素補間部２３０６に対して画素補間領域情報を通知する機能を有してもよい。ここでは、処理を簡単にするために、画素補間領域情報は、逆ＭＣ後の順方向であれば２Ｎフレーム、逆方向であれば２Ｎ＋１フレームに補間が必要であることを示す値、例えば「−１」の値を格納し、画素補間部２３０６では、この情報を元にして画素補間領域情報を取得することとする。後述において、この画素補間領域情報の授受に関しては言及する必要がないものとする。
画素補間部２３０６は、入力管理部２３０１から復号前の順方向であれば２Ｎフレーム、逆方向であれば２Ｎ＋１フレームに対応するＬ成分フレーム、逆ＭＣ部２３０５から逆ＭＣ後の順方向であれば２Ｎフレーム、逆方向であれば２Ｎ＋１フレームを取得する機能を有する。画素補間部２３０６は、取得した逆ＭＣ後の順方向であれば２Ｎフレーム、逆方向であれば２Ｎ＋１フレームにおいて、逆ＭＣによって画素が埋められていない領域に関する情報である画素補間領域情報に基づいて画素の補間を行う機能を有する。画素が埋められていない領域の判定は、逆ＭＣ部２３０５から画素補間領域情報を取得する機能を有してもよい。処理を簡単にするために、ここで画素補間領域情報は、逆ＭＣ後の順方向であれば２Ｎフレーム、逆方向であれば２Ｎ＋１フレームに補間が必要であることを示す値、例えば「−１」の値が格納されるものとし、この情報を元にして画素補間領域情報を取得することとする。後述において、この画素補間領域情報の授受に関しては言及する必要がないものとする。画素補間後の順方向であれば２Ｎフレーム、逆方向であれば２Ｎ＋１フレームは、フレーム間サブバンド復号化管理部２３０７に通知する機能を有する。
フレーム間サブバンド復号化管理部２３０７は、画素補間部２３０６から画素補間を行った順方向であれば２Ｎフレーム、逆方向であれば２Ｎ＋１フレームを取得する機能を有する。また、フレーム間サブバンド復号化部２３０３から順方向であれば２Ｎ＋１フレーム、逆方向であれば２Ｎフレームを取得する機能を有する。また、順序情報解析部２３０８からフレーム格納位置情報を取得する機能を有する。取得したフレーム格納位置情報を用いて、取得した２Ｎフレーム、２Ｎ＋１フレームを１ＧＯＰ内のフレーム格納位置に格納する機能を有する。フレーム間サブバンド復号化管理部２３０７は、帯域合成を継続するかどうか判定し、ＧＯＰ内のフレーム間に対して帯域合成を行う必要がある場合には、２Ｎフレーム、２Ｎ＋１フレームを再度ＧＯＰ内の入力フレームとして扱うために入力管理部２３０１に通知し、帯域合成を行う必要がない場合には復号結果として動画像フレームを出力する機能を有する。
順序情報解析部３２０８は、エントロピー復号化部２００３から順序情報ヘッダを取得する機能を有する。もしくは、順序情報ヘッダが取得できない場合には、各Ｈ成分フレーム毎に付加された順序情報を取得するようにしても良い。この順序情報から、図１３に示すような解析を行うことで、各オクターブ分割毎での１ＧＯＰ内における復号後のＬ成分フレームの順序関係およびフレーム格納位置を特定するためのフレーム格納位置特定情報を生成する機能を有する。生成したフレーム格納位置情報は、ＭＣ部２３０２、フレーム間サブバンド復号化管理部２３０７に通知する機能を有する。
順序情報解析部３２０８は、エントロピー復号化部２００３から順序情報ヘッダを取得する機能を有する。もしくは、順序情報ヘッダが取得できない場合には、各Ｈ成分フレーム毎に付加された順序情報を取得するようにしても良い。この順序情報から、図１３に示すような解析を行うことで、各オクターブ分割毎での１ＧＯＰ内における復号後のＬ成分フレームの順序関係およびフレーム格納位置を特定するためのフレーム格納位置特定情報を生成する機能を有する。生成したフレーム格納位置情報は、ＭＣ部２３０２、フレーム間サブバンド復号化管理部２３０７に通知する機能を有する。
図１５および図１６は、図２３に示す復号化装置の応用例の動作を表すフローチャートである。以下に図１５、図１６を用いて図２３に示す復号化装置の動作を説明する。
まず、ＤＥＭＵＸ部２００２は、入力されるビットストリームを取得する（ステップＳ６０１）。その後、取得したビットストリームに対してＤＥＭＵＸを行う（ステップＳ６０２）ことで、サブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列と、復号時に必要となる各種の制御情報を生成し、サブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列を後述するエントロピー復号化部２００３に通知する。
エントロピー復号化部２００３は、ＤＥＭＵＸ部２００２から通知されるサブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列を取得し、各情報に対してエントロピー復号化を行う（ステップＳ６０３）。エントロピー復号化により生成したサブバンド係数情報は、逆量子化部２００４に通知し、生成した動きベクトル情報はＭＣ部２３０２、逆ＭＣ部２３０５に通知する。さらに、生成した順序情報は、順序情報解析部２３０８に通知する。
その後、逆量子化部２００４において、エントロピー復号化部２００３からサブバンド係数情報を取得し、逆量子化を行う（ステップＳ６０４）。逆量子化後のサブバンド係数情報は、入力管理部２３０１に通知する。
まず、ＤＥＭＵＸ部２００２は、入力されるビットストリームを取得する（ステップＳ６０１）。その後、取得したビットストリームに対してＤＥＭＵＸを行う（ステップＳ６０２）ことで、サブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列と、復号時に必要となる各種の制御情報を生成し、サブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列を後述するエントロピー復号化部２００３に通知する。
エントロピー復号化部２００３は、ＤＥＭＵＸ部２００２から通知されるサブバンド係数情報ビット列、動きベクトル情報ビット列、順序情報ビット列を取得し、各情報に対してエントロピー復号化を行う（ステップＳ６０３）。エントロピー復号化により生成したサブバンド係数情報は、逆量子化部２００４に通知し、生成した動きベクトル情報はＭＣ部２３０２、逆ＭＣ部２３０５に通知する。さらに、生成した順序情報は、順序情報解析部２３０８に通知する。
その後、逆量子化部２００４において、エントロピー復号化部２００３からサブバンド係数情報を取得し、逆量子化を行う（ステップＳ６０４）。逆量子化後のサブバンド係数情報は、入力管理部２３０１に通知する。
入力管理部２３０１は、逆量子化部２００４から逆量子化後のサブバンド係数情報を取得し、サブバンド分割後のＬ成分情報を含むＬ成分フレームとＨ成分情報を含むＨ成分フレームとして管理する。また、入力管理部２３０１は、ＧＯＰを再構成するために必要なフレーム数を構成できるだけのサブバンド係数情報を逆量子化部２００４から取得することで、１ＧＯＰを構成するための情報を蓄積する（ステップＳ６０５）。その後、ＭＣ部２３０２、フレーム間サブバンド復号化部２３０３、逆ＭＣ部２３０５、画素補間部２３０６に対して逆ＭＣＴＦの処理対象となるフレームを通知する（ステップＳ６０６）。
順序情報解析部３２０８は、エントロピー復号化部２００３から順序情報ヘッダを取得する（ステップＳ５０１）。もしくは、順序情報ヘッダが取得できない場合には、各Ｈ成分フレーム毎に付加された順序情報を取得するようにしても良い。この順序情報から、図１３に示すような解析を行うことで、各オクターブ分割毎での１ＧＯＰ内における復号後のＬ成分フレームの順序関係およびフレーム格納位置を特定するためのフレーム格納位置特定情報を生成する。生成したフレーム格納位置情報は、ＭＣ部２３０２、フレーム間サブバンド復号化管理部２３０７に通知する。
入力管理部２３０１は、基本逆ＭＣＴＦ処理を行うために、逆ＭＣＴＦの対象となる情報群をセットする（ステップＳ５０２）。ここでは、基本逆ＭＣＴＦ処理の対象となるＬ成分フレームとＨ成分フレームを特定し、セットする。
順序情報解析部３２０８は、エントロピー復号化部２００３から順序情報ヘッダを取得する（ステップＳ５０１）。もしくは、順序情報ヘッダが取得できない場合には、各Ｈ成分フレーム毎に付加された順序情報を取得するようにしても良い。この順序情報から、図１３に示すような解析を行うことで、各オクターブ分割毎での１ＧＯＰ内における復号後のＬ成分フレームの順序関係およびフレーム格納位置を特定するためのフレーム格納位置特定情報を生成する。生成したフレーム格納位置情報は、ＭＣ部２３０２、フレーム間サブバンド復号化管理部２３０７に通知する。
入力管理部２３０１は、基本逆ＭＣＴＦ処理を行うために、逆ＭＣＴＦの対象となる情報群をセットする（ステップＳ５０２）。ここでは、基本逆ＭＣＴＦ処理の対象となるＬ成分フレームとＨ成分フレームを特定し、セットする。
ＭＣ部２３０２は、順序情報解析部２３０８からフレーム格納位置特定情報を取得する。取得したフレーム格納位置特定情報に基づいて、入力管理部２３０１から復号対象となるサブバンド分割後のＬ成分のサブバンド係数情報が格納されているＬ成分フレームと、Ｈ成分のサブバンド係数情報が格納されているＨ成分フレームを取得する。ここで、取得したフレーム格納位置情報から現在処理しようとしているフレームが順方向のＭＥ／ＭＣをされたものであるか、逆方向のＭＥ／ＭＣをされたものであるかを特定する。順方向の場合は、Ｌ成分フレームは復号後の２Ｎフレーム側の位置に対応し、Ｈ成分フレームは復号後の２Ｎ＋１フレーム側の位置に対応しているものとする。逆方向であれば、Ｌ成分フレームは復号後の２Ｎ＋１フレーム側の位置に対応し、Ｈ成分フレームは復号後の２Ｎフレーム側の位置に対応しているものとする。順方向であれば、２Ｎフレームは符号化側において、動き推定を行う際に動きベクトル探索される側のフレームであるものとする。また、２Ｎ＋１フレームは符号化側において、動き推定を行う際の基準となるフレームであるものとする。逆方向であれば、２Ｎ＋１フレームは符号化側において、動き推定を行う際に動きベクトル探索される側のフレームであるものとする。また、２Ｎフレームは符号化側において、動き推定を行う際の基準となるフレームであるものとする。ＭＣ部２３０２は、通常、順方向であれば２Ｎフレーム、逆方向であれば２Ｎ＋１フレームに対応するＬ成分フレーム対して領域外参照を許容するためにフレームの外側の領域を拡張するための所定のパディング処理を行う。ここで、符号化側において領域外参照を禁止した場合には、ＭＣ部２３０２において領域外参照を禁止するようにしてもよい。領域外参照を禁止した場合には、必ずしも所定のパディング処理を行わなくてもよい。ＭＣ部２３０２は、エントロピー復号化部２００３から動きベクトル情報を取得する。ＭＣ部２３０２は、パディング後のＬ成分フレーム、対応する領域の形状情報、動きベクトル情報に基づいて動き補償フレーム（以降、ＭＣフレーム）を生成する（ステップＳ５０３）。ここで、ＭＣを行う際に利用する基準領域の形状情報は、符号化側の動き推定部（以降、ＭＥ部とする）において、順方向であれば２Ｎ＋１フレーム、逆方向であれば２Ｎフレームを所定の領域分割方法に基づいて各領域間が重複しないように複数の基準領域に分割するため、この基準領域の形状情報を取得する必要がある。ただし、ここでは以後の説明を簡単にするため、基準領域の形状はあらかじめ符号化装置および復号化装置で決められた所定の４×４のブロック形状であるものとし、基準領域の形状情報の授受に関しては言及する必要がないものとする。ＭＣ部２３０２は、フレーム間サブバンド復号化部２３０３に対してＬ成分フレームを元に生成したＭＣフレームを通知する。
フレーム間サブバンド復号化部２３０３は、入力管理部２３０１から復号化時の順方向では２Ｎ＋１フレーム、逆方向では２Ｎフレームに対応するＨ成分フレーム、ＭＣ部２３０２からＬ成分フレームに対してＭＣを行ったＭＣフレームを取得する。取得したＭＣフレームとＨ成分フレームに対して、所定のサブバンド合成によってフレーム間サブバンド復号化を行い（ステップＳ５０４）、生成した時間方向に異なる２フレームのＬ成分フレームを対応する２Ｎフレーム、２Ｎ＋１フレームに格納する。順方向では２Ｎフレーム、逆方向では２Ｎ＋１フレームを逆ＭＣ部２３０５に通知するとともに、順方向では２Ｎ＋１フレーム、逆方向では２Ｎフレームをフレーム間サブバンド復号化管理部２３０７に通知する。
逆ＭＣ部２３０５は、エントロピー復号化部２００３から動きベクトル情報、フレーム間サブバンド復号化部２３０３から順方向では２Ｎフレーム、逆方向では２Ｎ＋１フレームを取得する。取得した動きベクトル情報、基準領域の形状情報から、帯域合成後の順方向では２Ｎフレーム、逆方向では２Ｎ＋１フレームに対して、所定の各基準領域の重なり順序に基づいて制御する重なり順序制御部２３０４の制御に応じて、取得した動きベクトル情報を逆方向に適用して逆ＭＣを行い（ステップＳ５０５）、逆ＭＣ後の順方向では２Ｎフレーム、逆方向では２Ｎ＋１フレームを生成する。生成した逆ＭＣ後の順方向では２Ｎフレーム、逆方向では２Ｎ＋１フレームを画素補間部２３０６に通知する。逆ＭＣによって画素が埋められていない領域に対しては、画素補間部２３０６に対して画素補間領域情報を通知する機能を有してもよい。ここでは、処理を簡単にするために、画素補間領域情報は、逆ＭＣ後の順方向では２Ｎフレーム、逆方向では２Ｎ＋１フレームに補間領域を示す値、例えば「−１」の値を格納し、画素補間部２３０６では、この情報を元にして画素補間領域情報を取得することとする。後述において、この画素補間領域情報の授受に関しては言及する必要がないものとする。
逆ＭＣ部２３０５は、エントロピー復号化部２００３から動きベクトル情報、フレーム間サブバンド復号化部２３０３から順方向では２Ｎフレーム、逆方向では２Ｎ＋１フレームを取得する。取得した動きベクトル情報、基準領域の形状情報から、帯域合成後の順方向では２Ｎフレーム、逆方向では２Ｎ＋１フレームに対して、所定の各基準領域の重なり順序に基づいて制御する重なり順序制御部２３０４の制御に応じて、取得した動きベクトル情報を逆方向に適用して逆ＭＣを行い（ステップＳ５０５）、逆ＭＣ後の順方向では２Ｎフレーム、逆方向では２Ｎ＋１フレームを生成する。生成した逆ＭＣ後の順方向では２Ｎフレーム、逆方向では２Ｎ＋１フレームを画素補間部２３０６に通知する。逆ＭＣによって画素が埋められていない領域に対しては、画素補間部２３０６に対して画素補間領域情報を通知する機能を有してもよい。ここでは、処理を簡単にするために、画素補間領域情報は、逆ＭＣ後の順方向では２Ｎフレーム、逆方向では２Ｎ＋１フレームに補間領域を示す値、例えば「−１」の値を格納し、画素補間部２３０６では、この情報を元にして画素補間領域情報を取得することとする。後述において、この画素補間領域情報の授受に関しては言及する必要がないものとする。
画素補間部２３０６は、入力管理部２３０１から復号前の順方向では２Ｎフレーム、逆方向では２Ｎ＋１フレームに対応するＬ成分フレーム、逆ＭＣ部２３０５から逆ＭＣ後の順方向では２Ｎフレーム、逆方向では２Ｎ＋１フレームを取得する。取得した逆ＭＣ後の順方向では２Ｎフレーム、逆方向では２Ｎ＋１フレームにおいて、逆ＭＣによって画素が埋められていない領域に関する情報である画素補間領域情報に基づいて画素の補間を行う（ステップＳ５０６）。画素が埋められていない領域の判定は、逆ＭＣ部２３０５から画素補間領域情報を取得する機能を有してもよい。処理を簡単にするために、ここで画素補間領域情報は、逆ＭＣ後の順方向では２Ｎフレーム、逆方向では２Ｎ＋１フレームに、補間領域を示す値、例えば「−１」の値が格納されるものとし、この情報を元にして画素補間領域情報を取得することとする。後述において、この画素補間領域情報の授受に関しては言及する必要がないものとする。画素補間後の順方向では２Ｎフレーム、逆方向では２Ｎ＋１フレームは、フレーム間サブバンド復号化管理部２３０７に通知する。
フレーム間サブバンド復号化管理部２３０７は、画素補間部２３０６から画素補間を行った順方向では２Ｎフレーム、逆方向では２Ｎ＋１フレームを取得するとともに、フレーム間サブバンド復号化部２３０３から順方向では２Ｎ＋１フレーム、逆方向では２Ｎフレームを取得する。
フレーム間サブバンド復号化管理部２３０７は、画素補間部２３０６から画素補間を行った順方向では２Ｎフレーム、逆方向では２Ｎ＋１フレームを取得するとともに、フレーム間サブバンド復号化部２３０３から順方向では２Ｎ＋１フレーム、逆方向では２Ｎフレームを取得する。
その後、現在のオクターブ分割数において処理対象となるフレームが存在するかを判定する（ステップＳ５０７）。処理対象となるフレームが存在する場合には、Ｎを更新して現在のオクターブ分割数における次の処理対象となるフレーム群をセットして処理を繰り返す。処理対象となるフレームが存在しない場合には、所定のオクターブ分割数であるかを、取得したフレームの位置から特定して帯域合成を継続するかどうか判定し（ステップＳ６０８）、ＧＯＰ内のフレーム間に対して帯域合成を行う必要がある場合には、処理後のＬ成分フレーム群を再度ＧＯＰ内の入力フレームとして扱うために入力管理部２３０１に通知し、ステップＳ６０６からの処理を繰り返す。帯域合成を行う必要がない場合には復号結果として動画像フレームを出力することで一連の復号化処理が完了する。
以上のようなステップからなる方法に基づいて動作する、図２３のような構成を備えた復号化装置を提供することで、復号時に係数間の依存関係を排除し、効率の良い復号化が可能となる。
以上のようなステップからなる方法に基づいて動作する、図２３のような構成を備えた復号化装置を提供することで、復号時に係数間の依存関係を排除し、効率の良い復号化が可能となる。
なお、本発明は、上記の復号化装置の応用例の機能を図２４に示すコンピュータである中央処理制御装置２４０３に実現させるためのプログラムを含むものである。このプログラムは、記録媒体から読み取られて中央処理制御装置２４０３に取り込まれても良いし、通信ネットワークを介して伝送され中央処理制御装置２４０３に取り込まれても良い。
また、サブバンド符号化の演算は従来から用いられている加算方法及び減算方法により実現する方法により説明を行った。その演算方法はターゲット画像から動き補償された参照画像を減算した後に、減算して得られた画像に更新されたターゲット画像を加算するようにして低域成分画像（Ｌ画像）及び高域成分画像（Ｈ画像）を得るような演算方法によっても実現できる。その場合であっても、参照画像とターゲット画像の配置を順方向又は逆方向とし、動き予測が困難な要素（テクスチャ）を多く含む画像情報を参照画像の方に配置することによりＨ画像のデータ量を少なく出来ると共に、Ｌ画像に多くの画像情報を含ませることが出来るものである。
また、サブバンド符号化の演算は従来から用いられている加算方法及び減算方法により実現する方法により説明を行った。その演算方法はターゲット画像から動き補償された参照画像を減算した後に、減算して得られた画像に更新されたターゲット画像を加算するようにして低域成分画像（Ｌ画像）及び高域成分画像（Ｈ画像）を得るような演算方法によっても実現できる。その場合であっても、参照画像とターゲット画像の配置を順方向又は逆方向とし、動き予測が困難な要素（テクスチャ）を多く含む画像情報を参照画像の方に配置することによりＨ画像のデータ量を少なく出来ると共に、Ｌ画像に多くの画像情報を含ませることが出来るものである。
以上のように、本実施例で示した動画像符号化装置は、動画像を並列出力する入力管理部１７０２と、前記並列出力された前記動画像のうちの１つのフレームを第１参照画像、前記第１参照画像の直後の１フレームを第１ターゲット画像とした場合に、前記第１参照画像から前記第１ターゲット画像の動きを推定して順方向の動きベクトル情報を取得する順方向動き推定部１７０３と、前記第１参照画像と前記第１ターゲット画像を入れ替えて、前記第１参照画像を第２ターゲット画像とし、前記第１ターゲット画像を第２参照画像とした場合に、前記第２参照画像から前記第２ターゲット画像の動きを推定して逆方向の動きベクトル情報を取得する逆方向動き推定部１７０４と、前記順方向の動きベクトル情報に基づいて、前記第１参照画像と前記第１ターゲット画像間の動きを補償するための順方向動き補償画像を得る順方向動き補償部１７０５と、前記逆方向の動きベクトル情報に基づいて、前記第２参照画像と前記第２ターゲット画像の動きを補償するための逆方向動き補償画像を得る逆方向動き補償部１７０６と、前記順方向動き補償部で得られた前記順方向動き補償画像と前記第１ターゲット画像との類似度と、前記逆方向動き補償部で得られた前記逆方向動き補償画像と前記第２ターゲット画像との類似度を比較し、前記類似度が高い方はいずれであるかを判定する類似度判定部１７０７と、前記類似度判定部で前記類似度が高いと判定された方の前記順方向動き補償部或いは前記逆方向動き補償部に切り替える切り替え部１７０９と、前記切り替え部で切り替えられた前記順方向動き補償部或いは前記逆方向動き補償部から出力される前記順方向動き補償画像と前記第１ターゲット画像或いは前記逆方向動き補償画像と前記第２ターゲット画像とを加算して前記動画像よりも低レートな圧縮画像を得る一方、前記第１或いは第２参照画像と前記圧縮画像とを減算して前記圧縮画像から前記第１参照画像と前記第１ターゲット画像或いは前記第２参照画像と前記第２ターゲット画像に復元する復元用補助画像を得るフレーム間サブバンド符号化部１７１１とを有しているので、動き補償時間方向フィルタ処理を行うに際し、過去のフレーム画像及び未来のフレーム画像に注目することにより、低い周波数のフレームレートに変換された低域成分及び高域成分の画像のうち、低域成分の画像の方に、視覚上必要とされる画像成分を残すようにし、且つフレーム間隔を不等間隔にした圧縮符号化効率の高いサブバンド符号化出力が得られる動画像符号化装置を実現できる。
また、ＭＣＴＦを行う際に順方向および逆方向のＭＥ／ＭＣの結果から重要なフレームを選択できることから、従来法において問題となっていたＭＣＴＦを用いて時間方向のスケーラビリティを実現しようとした場合、ＭＣＴＦのフレーム間サブバンド符号化の過程で生じる等間隔のデシメーションの結果、生成されたＬ成分フレームに対して動きとして重要なフレームが十分反映させるようにした符号化を行える。符号化効率も、ＧＯＰ内のフレーム間の相関を十分活かし、効率の高い符号化を行える。
さらに、時間方向のスケーラビリティによってフレームレートを変更した際のフレーム間隔を不等間隔にすることで、従来のＭＣＴＦによる同じフレームレートの動画像よりも自然な動画像再生を得ることができる。
動画像符号化装置で符号化に使用したフレーム画像の並び順及び動きベクトル情報を多重化して符号化信号を生成するため、特に視聴上重要な画像情報を含む低フレームレートの動画像を再生する動画像再生方法を提供できると共に、動画像再生装置を実現できる。コンピュータにより駆動されて動作する動画像再生装置用のコンピュータプログラムを提供できる。
さらに、時間方向のスケーラビリティによってフレームレートを変更した際のフレーム間隔を不等間隔にすることで、従来のＭＣＴＦによる同じフレームレートの動画像よりも自然な動画像再生を得ることができる。
動画像符号化装置で符号化に使用したフレーム画像の並び順及び動きベクトル情報を多重化して符号化信号を生成するため、特に視聴上重要な画像情報を含む低フレームレートの動画像を再生する動画像再生方法を提供できると共に、動画像再生装置を実現できる。コンピュータにより駆動されて動作する動画像再生装置用のコンピュータプログラムを提供できる。
本発明は、動画像の時間方向にフレーム間のサブバンド分割を行う動画像符号化装置、及びその復号化装置に適用できる。
１ 動画像符号化装置
１２ 入力管理部
１３ 順方向動き推定部
１４ 逆方向動き推定部
１５ 順方向動き補償部
１６ 逆方向動き補償部
１７ 類似度判定部
１８、１９ スイッチ
２１ フレーム間サブバンド符号化部
２５ 量子化部
２６ エントロピ符号化部
２７ 多重化部
１０１ 動画像フレーム
１０２ 入力管理部
１０３ ＭＣＴＦ部
１０４ 量子化部
１０５ エントロピー符号化部
１０６ ＭＵＸ部
１０７ ビットストリーム
１７００ ＭＣＴＦ部
１７０１ 動画像フレーム
１７０２ 入力管理部
１７０３ 順方向ＭＥ部
１７０４ 逆方向ＭＥ部
１７０５ 順方向ＭＣ部
１７０６ 逆方向ＭＣ部
１７０７ 類似度判定部
１７０８ スイッチ１
１７０９ スイッチ２
１７１０ 制御部
１７１１ フレーム間サブバンド符号化部
１７１２ 逆ＭＣ部
１７１３ 画素補間部
１７１４ フレーム間サブバンド符号化管理部
１７１５ 量子化部
１７１６ エントロピー符号化部
１７１７ ＭＵＸ部
１７１８ ビットストリーム
１８０１ 重なり特定部
１８０２ 誤差補正部
１９００ 情報処理装置
１９０１ 入力装置
１９０２ 出力装置
１９０３ 中央処理制御装置
１９０４ 外部記憶装置
１９０５ 一時記憶装置
１９０６ 通信装置
２０００ 逆ＭＣＴＦ部
２００１ ビットストリーム
２００２ ＤＥＭＵＸ部
２００３ エントロピー復号化部
２００４ 逆量子化部
２００５ 入力管理部
２００６ 対応関係特定部
２００７ 第１フレーム間復号化部
２００８ 第２フレーム間復号化部
２００９ 画素補間部
２０１０ フレーム間復号化管理部
２０１１ 動画像フレーム
２１０１ 順序情報解析部
２２００ 情報処理装置
２２０１ 入力装置
２２０２ 出力装置
２２０３ 中央処理制御装置
２２０４ 外部記憶装置
２２０５ 一時記憶装置
２２０６ 通信装置
２３００ 逆ＭＣＴＦ部
２３０１ 入力管理部
２３０２ ＭＣ部
２３０３ フレーム間サブバンド復号化部
２３０４ 重なり順序制御部
２３０５ 逆ＭＣ部
２３０６ 画素補間部
２３０７ フレーム間サブバンド復号化管理部
２３０８ 順序情報解析部
２４００ 情報処理装置
２４０１ 入力装置
２４０２ 出力装置
２４０３ 中央処理制御装置
２４０４ 外部記憶装置
２４０５ 一時記憶装置
２４０６ 通信装置
１２ 入力管理部
１３ 順方向動き推定部
１４ 逆方向動き推定部
１５ 順方向動き補償部
１６ 逆方向動き補償部
１７ 類似度判定部
１８、１９ スイッチ
２１ フレーム間サブバンド符号化部
２５ 量子化部
２６ エントロピ符号化部
２７ 多重化部
１０１ 動画像フレーム
１０２ 入力管理部
１０３ ＭＣＴＦ部
１０４ 量子化部
１０５ エントロピー符号化部
１０６ ＭＵＸ部
１０７ ビットストリーム
１７００ ＭＣＴＦ部
１７０１ 動画像フレーム
１７０２ 入力管理部
１７０３ 順方向ＭＥ部
１７０４ 逆方向ＭＥ部
１７０５ 順方向ＭＣ部
１７０６ 逆方向ＭＣ部
１７０７ 類似度判定部
１７０８ スイッチ１
１７０９ スイッチ２
１７１０ 制御部
１７１１ フレーム間サブバンド符号化部
１７１２ 逆ＭＣ部
１７１３ 画素補間部
１７１４ フレーム間サブバンド符号化管理部
１７１５ 量子化部
１７１６ エントロピー符号化部
１７１７ ＭＵＸ部
１７１８ ビットストリーム
１８０１ 重なり特定部
１８０２ 誤差補正部
１９００ 情報処理装置
１９０１ 入力装置
１９０２ 出力装置
１９０３ 中央処理制御装置
１９０４ 外部記憶装置
１９０５ 一時記憶装置
１９０６ 通信装置
２０００ 逆ＭＣＴＦ部
２００１ ビットストリーム
２００２ ＤＥＭＵＸ部
２００３ エントロピー復号化部
２００４ 逆量子化部
２００５ 入力管理部
２００６ 対応関係特定部
２００７ 第１フレーム間復号化部
２００８ 第２フレーム間復号化部
２００９ 画素補間部
２０１０ フレーム間復号化管理部
２０１１ 動画像フレーム
２１０１ 順序情報解析部
２２００ 情報処理装置
２２０１ 入力装置
２２０２ 出力装置
２２０３ 中央処理制御装置
２２０４ 外部記憶装置
２２０５ 一時記憶装置
２２０６ 通信装置
２３００ 逆ＭＣＴＦ部
２３０１ 入力管理部
２３０２ ＭＣ部
２３０３ フレーム間サブバンド復号化部
２３０４ 重なり順序制御部
２３０５ 逆ＭＣ部
２３０６ 画素補間部
２３０７ フレーム間サブバンド復号化管理部
２３０８ 順序情報解析部
２４００ 情報処理装置
２４０１ 入力装置
２４０２ 出力装置
２４０３ 中央処理制御装置
２４０４ 外部記憶装置
２４０５ 一時記憶装置
２４０６ 通信装置
Claims (2)
- 高速レートで伝送されてくる動画像を低速レート伝送が可能なように圧縮を行う動画像符号化装置において、
前記動画像を並列出力する並列入力部と、
前記並列出力された前記動画像のうちの１つのフレームを第１参照画像、前記第１参照画像の直後の１フレームを第１ターゲット画像とした場合に、前記第１参照画像から前記第１ターゲット画像の動きを推定して順方向の動きベクトル情報を取得する順方向動き推定部と、
前記第１参照画像と前記第１ターゲット画像を入れ替えて、前記第１参照画像を第２ターゲット画像とし、前記第１ターゲット画像を第２参照画像とした場合に、前記第２参照画像から前記第２ターゲット画像の動きを推定して逆方向の動きベクトル情報を取得する逆方向動き推定部と、
前記順方向の動きベクトル情報に基づいて、前記第１参照画像と前記第１ターゲット画像間の動きを補償するための順方向動き補償画像を得る順方向動き補償部と、
前記逆方向の動きベクトル情報に基づいて、前記第２参照画像と前記第２ターゲット画像の動きを補償するための逆方向動き補償画像を得る逆方向動き補償部と、
前記順方向動き補償部で得られた前記順方向動き補償画像と前記第１ターゲット画像との類似度と、前記逆方向動き補償部で得られた前記逆方向動き補償画像と前記第２ターゲット画像との類似度を比較し、前記類似度が高い方はいずれであるかを判定する類似度判定部と、
前記類似度判定部で前記類似度が高いと判定された方の前記順方向動き補償部或いは前記逆方向動き補償部に切り替える切り替え部と、
前記切り替え部で切り替えられた前記順方向動き補償部或いは前記逆方向動き補償部から出力される前記順方向動き補償画像と前記第１ターゲット画像或いは前記逆方向動き補償画像と前記第２ターゲット画像とを加算して前記動画像よりも低レートな圧縮画像を得る一方、前記第１或いは第２参照画像と前記圧縮画像とを減算して前記圧縮画像から前記第１参照画像と前記第１ターゲット画像或いは前記第２参照画像と前記第２ターゲット画像に復元する復元用補助画像を得るフレーム間サブバンド符号化部と、
を有することを特徴とする動画像符号化装置。 - 高速レートで伝送されてくる動画像を低速レート伝送が可能なように圧縮を行う動画像符号化方法において、
前記動画像を並列出力し、並列出力された前記動画像のうちの１つのフレームを第１参照画像、前記第１参照画像の直後の１フレームを第１ターゲット画像とした場合に、前記第１参照画像から前記第１ターゲット画像の動きを推定して順方向の動きベクトル情報を取得する一方、前記第１参照画像と前記第１ターゲット画像を入れ替えて、前記第１参照画像を第２ターゲット画像とし、前記第１ターゲット画像を第２参照画像とした場合に、前記第２参照画像から前記第２ターゲット画像の動きを推定して逆方向の動きベクトル情報を取得し、
前記順方向の動きベクトル情報に基づいて、前記第１参照画像と前記第１ターゲット画像間の動きを補償するための順方向動き補償画像を得ると共に、前記逆方向の動きベクトル情報に基づいて、前記第２参照画像と前記第２ターゲット画像の動きを補償するための逆方向動き補償画像を得、
前記順方向動き補償画像と前記第１ターゲット画像との類似度と、前記逆方向動き補償部で得られた前記逆方向動き補償画像と前記第２ターゲット画像との類似度を比較し、前記類似度が高い方はいずれであるかを判定し、
前記類似度が高いと判定された方の前記順方向動き補償部或いは前記逆方向動き補償部に切り替え、切り替えられて得られる前記順方向動き補償部或いは前記逆方向動き補償部から出力される、前記順方向動き補償画像と前記第１ターゲット画像或いは前記逆方向動き補償画像と前記第２ターゲット画像とを加算して前記動画像よりも低レートな圧縮画像を得る一方、前記第１或いは第２参照画像と前記圧縮画像とを減算して前記圧縮画像から前記第１参照画像と前記第１ターゲット画像或いは前記第２参照画像と前記第２ターゲット画像に復元する復元用補助画像を得ることを特徴とする動画像符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004370808A JP4251291B2 (ja) | 2004-12-22 | 2004-12-22 | 動画像符号化装置、動画像符号化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004370808A JP4251291B2 (ja) | 2004-12-22 | 2004-12-22 | 動画像符号化装置、動画像符号化方法 |
Related Child Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008314298A Division JP4404157B2 (ja) | 2008-12-10 | 2008-12-10 | 動画像符号化装置および動画像符号化方法 |
| JP2008314300A Division JP4870143B2 (ja) | 2008-12-10 | 2008-12-10 | 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法 |
| JP2008314299A Division JP4403565B2 (ja) | 2008-12-10 | 2008-12-10 | 動画像復号装置および動画像復号方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006180173A JP2006180173A (ja) | 2006-07-06 |
| JP4251291B2 true JP4251291B2 (ja) | 2009-04-08 |
Family
ID=36733853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004370808A Expired - Fee Related JP4251291B2 (ja) | 2004-12-22 | 2004-12-22 | 動画像符号化装置、動画像符号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4251291B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8811481B2 (en) | 2007-05-29 | 2014-08-19 | Nec Corporation | Moving picture transcoding apparatus, moving picture transcoding method, and moving picture transcoding program |
| JP4894018B2 (ja) * | 2008-02-08 | 2012-03-07 | 株式会社Ｊｖｃケンウッド | 画像処理装置、画像処理方法、および画像処理プログラム |
| US8724712B1 (en) | 2011-07-07 | 2014-05-13 | Google Inc. | Apparatus and method for encoding at non-uniform intervals |
| WO2013173292A1 (en) | 2012-05-14 | 2013-11-21 | Motorola Mobility Llc | Scalable video coding with enhanced base layer |
| US10356406B2 (en) | 2016-01-19 | 2019-07-16 | Google Llc | Real-time video encoder rate control using dynamic resolution switching |
-
2004
- 2004-12-22 JP JP2004370808A patent/JP4251291B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006180173A (ja) | 2006-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4494789B2 (ja) | 動的フィルタのコーディング | |
| KR100703740B1 (ko) | 다 계층 기반의 모션 벡터를 효율적으로 부호화하는 방법및 장치 | |
| KR100703788B1 (ko) | 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더 | |
| KR100888963B1 (ko) | 영상 신호의 스케일러블 인코딩 및 디코딩 방법 | |
| KR100893868B1 (ko) | 영상 신호의 인코딩 및 디코딩 방법 | |
| US20060209961A1 (en) | Video encoding/decoding method and apparatus using motion prediction between temporal levels | |
| EP1737243A2 (en) | Video coding method and apparatus using multi-layer based weighted prediction | |
| KR20060105409A (ko) | 영상 신호의 스케일러블 인코딩 및 디코딩 방법 | |
| KR20060088461A (ko) | 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 | |
| KR20060109249A (ko) | 영상신호의 엔코딩/디코딩시에 베이스 레이어 픽처의모션벡터를 사용하여 영상블록을 위한 모션벡터를 예측하는방법 및 장치 | |
| WO2011121942A1 (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、ならびに動画像復号装置、動画像復号方法及び動画像復号プログラム | |
| JP4565392B2 (ja) | 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム | |
| KR20060063613A (ko) | 영상 신호의 스케일러블 인코딩 및 디코딩 방법 | |
| KR100703746B1 (ko) | 비동기 프레임을 효율적으로 예측하는 비디오 코딩 방법 및장치 | |
| US20060146937A1 (en) | Three-dimensional wavelet video coding using motion-compensated temporal filtering on overcomplete wavelet expansions | |
| US20060159173A1 (en) | Video coding in an overcomplete wavelet domain | |
| JP4404157B2 (ja) | 動画像符号化装置および動画像符号化方法 | |
| JP4251291B2 (ja) | 動画像符号化装置、動画像符号化方法 | |
| KR20060069227A (ko) | 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 | |
| KR20060059774A (ko) | 시간적 분해레벨이 다른 픽처의 모션벡터를 이용하는영상신호의 엔코딩/디코딩 방법 및 장치 | |
| JP4870143B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法 | |
| JP4565393B2 (ja) | 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム | |
| JP4403565B2 (ja) | 動画像復号装置および動画像復号方法 | |
| KR20060059770A (ko) | 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 | |
| JP5304708B2 (ja) | 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061227 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081001 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081014 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081210 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081225 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090107 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4251291 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120130 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120130 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130130 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130130 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |