JP5705948B2 - 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム - Google Patents

Description

本発明は、動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラムに関するものである。

従来の動画像符号化方式の事例として、Ｈ．２６４／ＡＶＣ符号化方式に基づく動画像符号化装置及び動画像復号化装置が挙げられる（非特許文献１参照）。この方式は、動き補償フレーム間予測により時間方向に存在する冗長度を削減し、直交変換によりさらに空間方向に残る冗長度を削減することで動画像（入力映像信号）の情報圧縮を行うというものである。

上記方式における動き補償フレーム間予測（以下、「ＩＮＴＥＲ予測モード」と言う。）では、動きベクトルを検出する参照フレーム画像を複数用意することができるため、符号化対象領域の周囲の符号化済み領域の動きベクトルは、それぞれ異なる参照フレーム画像を用いて動き補償されている場合がある。

また、符号化対象領域の予測動きベクトルを算出する際、周囲の符号化済み領域の動きベクトルがどの参照フレーム画像から動き補償されていたかによらず、それらの動きベクトルの値を比較して、それらの中間値を符号化対象の領域の動きベクトル予測値としている。

Joint Video Team (JVT) of ISO/IEC MPEG and ITU-VCEG , "Editor'sProposed Draft Text Modifications for Joint Video Specification (ITU-TRec.H.264 | ISO/IEC 14496-10 AVC) , Geneva modifications draft 37"

しかしながら、このように周囲の符号化済み領域が符号化対象領域の参照フレーム画像と異なる参照フレーム画像を用いて動き補償されていた場合、それらの中間値を予測動きベクトルとして用いると参照フレームの違いから実際の動きベクトルから大きく外れ、符号化の情報圧縮の効率が低下するという問題がある。また、それに伴って、復号化の情報圧縮の効率も同時に低下するという問題もある。

本発明は、上記課題を解決するために成されたものであり、符号化及び復号化の情報圧縮の効率の向上を図ることが可能な動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラムを提供することを目的とする。

本発明の動画像符号化装置は、フレーム画像信号の時間系列で構成される動画像信号における符号化対象のフレーム画像を複数の対象領域に分割し、対象領域毎に、符号化対象のフレーム画像と異なる複数のフレーム画像を参照して動きベクトルを検出することにより、動き補償による符号化を行う動画像符号化装置において、対象領域に隣接する隣接領域の動きベクトルを検出するために参照された隣接参照フレーム画像と、対象領域の動きベクトルを検出するために参照された対象参照フレーム画像と、符号化対象のフレーム画像である対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、対象参照フレーム画像を基準にして対象領域に隣接する隣接領域の動きベクトルをスケーリングする補正と、対象領域に隣接する隣接領域の動きベクトルに基づく最適予測動きベクトルの決定とを行うことにより補正後の最適予測動きベクトルを予測する動きベクトル予測手段を有することを特徴とする。

また、本発明の動画像符号化方法は、フレーム画像信号の時間系列で構成される動画像信号における符号化対象のフレーム画像を複数の対象領域に分割し、対象領域毎に、符号化対象のフレーム画像と異なる複数のフレーム画像を参照して動きベクトルを検出することにより、動き補償による符号化を行う動画像符号化方法において、動きベクトル予測手段が、対象領域に隣接する隣接領域の動きベクトルを検出するために参照された隣接参照フレーム画像と、対象領域の動きベクトルを検出するために参照された対象参照フレーム画像と、符号化対象のフレーム画像である対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、対象参照フレーム画像を基準にして対象領域に隣接する隣接領域の動きベクトルをスケーリングする補正と、対象領域に隣接する隣接領域の動きベクトルに基づく最適予測動きベクトルの決定とを行うことにより補正後の最適予測動きベクトルを予測する動きベクトル予測ステップを有することを特徴とする。

また、本発明の動画像符号化プログラムは、フレーム画像信号の時間系列で構成される動画像信号における符号化対象のフレーム画像を複数の対象領域に分割し、対象領域毎に、符号化対象のフレーム画像と異なる複数のフレーム画像を参照して動きベクトルを検出することにより、動き補償による符号化処理をコンピュータに実行させる動画像符号化プログラムにおいて、コンピュータを、対象領域に隣接する隣接領域の動きベクトルを検出するために参照された隣接参照フレーム画像と、対象領域の動きベクトルを検出するために参照された対象参照フレーム画像と、符号化対象のフレーム画像である対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、対象参照フレーム画像を基準にして対象領域に隣接する隣接領域の動きベクトルをスケーリングする補正と、対象領域に隣接する隣接領域の動きベクトルに基づく最適予測動きベクトルの決定とを行うことにより補正後の最適予測動きベクトルを予測する動きベクトル予測手段として機能させることを特徴とする。

本発明の動画像符号化装置、動画像符号化方法及び動画像符号化プログラムによれば、動きベクトル予測手段が、隣接領域の動きベクトルを対象領域の動きベクトルを検出するために参照されたフレーム画像と符号化対象のフレーム画像との時間差を基準としてスケーリングして補正するとともに、隣接領域の動きベクトルに基づいて最適予測動きベクトルを予測するので、時間的な動きの連続性を考慮して予測動きベクトルを決定することにより、実際の対象領域の動きベクトルと予測動きベクトルの差をより小さくすることができる。

本発明の動画像符号化装置では、動きベクトル予測手段は、隣接参照フレーム画像と前記対象参照フレーム画像と前記対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、対象参照フレーム画像を基準にして隣接領域の動きベクトルそれぞれをスケーリングして補正し、当該補正された隣接領域の動きベクトルに基づいて最適予測動きベクトルを決定することも好ましい。このように、動きベクトル予測手段が、複数の隣接領域の動きベクトルそれぞれを対象領域の動きベクトルを検出するために参照されたフレーム画像と符号化対象のフレーム画像との時間差を基準としてスケーリングして補正した後に、その補正された隣接領域の動きベクトルに基づいて最適予測動きベクトルを決定するので、実際の対象領域の動きベクトルと予測動きベクトルの差をより小さくすることができる。

また、本発明の動画像符号化装置では、動きベクトル予測手段は、隣接領域の動きベクトルに基づいて最適予測動きベクトルを決定し、最適予測動きベクトルとして決定された隣接領域の動きベクトルの隣接参照フレーム画像と前記対象参照フレーム画像と前記対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、対象参照フレーム画像を基準にして最適予測動きベクトルをスケーリングして補正することが好ましい。この場合、動きベクトル予測手段が、隣接領域の動きベクトルに基づいて最適予測動きベクトルを決定した後、決定された最適予測動きベクトルを、対象領域の動きベクトルを検出するために参照されたフレーム画像と符号化対象のフレーム画像との時間差を基準としてスケーリングして補正するので、実際の対象領域の動きベクトルと予測動きベクトルの差をより小さくすることができるとともに、動きベクトルを予測するための処理時間を短縮することが可能となる。

本発明の動画像復号化装置は、フレーム画像信号の時間系列で構成される動画像信号における復号化対象のフレーム画像を複数の対象領域に分割し、対象領域毎に復号化対象のフレーム画像と異なる複数のフレーム画像を参照して検出された動きベクトルと予測動きベクトルとの差分情報を利用することにより、動き補償による復号化を行う動画像復号化装置において、対象領域に隣接する隣接領域の動きベクトルを検出するために参照された隣接参照フレーム画像と、対象領域の動きベクトルを検出するために参照された対象参照フレーム画像と、符号化対象のフレーム画像である対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、対象参照フレーム画像を基準にして対象領域に隣接する隣接領域の動きベクトルをスケーリングする補正と、対象領域に隣接する隣接領域の動きベクトルに基づく最適予測動きベクトルの決定とを行うことにより補正後の最適予測動きベクトルを予測する動きベクトル予測手段を有することを特徴とする。

また、本発明の動画像復号化方法は、フレーム画像信号の時間系列で構成される動画像信号における復号化対象のフレーム画像を複数の対象領域に分割し、対象領域毎に復号化対象のフレーム画像と異なる複数のフレーム画像を参照して検出された動きベクトルと予測動きベクトルとの差分情報を利用することにより、動き補償による復号化を行う動画像復号化方法において、動きベクトル予測手段が、対象領域に隣接する隣接領域の動きベクトルを検出するために参照された隣接参照フレーム画像と、対象領域の動きベクトルを検出するために参照された対象参照フレーム画像と、符号化対象のフレーム画像である対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、対象参照フレーム画像を基準にして対象領域に隣接する隣接領域の動きベクトルをスケーリングする補正と、対象領域に隣接する隣接領域の動きベクトルに基づく最適予測動きベクトルの決定とを行うことにより補正後の最適予測動きベクトルを予測する動きベクトル予測ステップを有することを特徴とする。

また、本発明の動画像復号化プログラムは、フレーム画像信号の時間系列で構成される動画像信号における復号化対象のフレーム画像を複数の対象領域に分割し、対象領域毎に復号化対象のフレーム画像と異なる複数のフレーム画像を参照して検出された動きベクトルと予測動きベクトルとの差分情報を利用することにより、動き補償による復号化処理をコンピュータに実行させる動画像復号化プログラムにおいて、コンピュータを、対象領域に隣接する隣接領域の動きベクトルを検出するために参照された隣接参照フレーム画像と、対象領域の動きベクトルを検出するために参照された対象参照フレーム画像と、符号化対象のフレーム画像である対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、対象参照フレーム画像を基準にして対象領域に隣接する隣接領域の動きベクトルをスケーリングする補正と、対象領域に隣接する隣接領域の動きベクトルに基づく最適予測動きベクトルの決定とを行うことにより補正後の最適予測動きベクトルを予測する動きベクトル予測手段として機能させることを特徴とする。

本発明の動画像復号化装置、動画像復号化方法及び動画像復号化プログラムによれば、動きベクトル予測手段が、隣接領域の動きベクトルを対象領域の動きベクトルを検出するために参照されたフレーム画像と符号化対象のフレーム画像との時間差を基準としてスケーリングして補正するとともに、隣接領域の動きベクトルに基づいて最適予測動きベクトルを予測するので、時間的な動きの連続性を考慮して予測動きベクトルを決定することにより、実際の対象領域の動きベクトルと予測動きベクトルの差をより小さくすることができる。

本発明の動画像復号化装置では、動きベクトル予測手段は、隣接参照フレーム画像と前記対象参照フレーム画像と前記対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、対象参照フレーム画像を基準にして隣接領域の動きベクトルそれぞれをスケーリングして補正し、当該補正された隣接領域の動きベクトルに基づいて最適予測動きベクトルを決定することも好ましい。このように、動きベクトル予測手段が、複数の隣接領域の動きベクトルそれぞれを対象領域の動きベクトルを検出するために参照されたフレーム画像と符号化対象のフレーム画像との時間差を基準としてスケーリングして補正した後に、その補正された隣接領域の動きベクトルに基づいて最適予測動きベクトルを決定するので、実際の対象領域の動きベクトルと予測動きベクトルの差をより小さくすることができる。

また、本発明の動画像復号化装置では、動きベクトル予測手段は、隣接領域の動きベクトルに基づいて最適予測動きベクトルを決定し、最適予測動きベクトルとして決定された隣接領域の動きベクトルの隣接参照フレーム画像と前記対象参照フレーム画像と前記対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、対象参照フレーム画像を基準にして最適予測動きベクトルをスケーリングして補正することも好ましい。この場合、動きベクトル予測手段が、隣接領域の動きベクトルに基づいて最適予測動きベクトルを決定した後、決定された最適予測動きベクトルを、対象領域の動きベクトルを検出するために参照されたフレーム画像と符号化対象のフレーム画像との時間差を基準としてスケーリングして補正するので、実際の対象領域の動きベクトルと予測動きベクトルの差をより小さくすることができるとともに、動きベクトルを予測するための処理時間を短縮することが可能となる。

本発明の動画像符号化装置及び動画像復号化装置によれば、動きベクトル予測手段が、隣接領域の動きベクトルを対象領域の動きベクトルを検出するために参照されたフレーム画像と符号化対象のフレーム画像との時間差を基準としてスケーリングして補正するとともに、隣接領域の動きベクトルに基づいて最適予測動きベクトルを予測するので、時間的な動きの連続性を考慮して予測動きベクトルを決定することにより、実際の対象領域の動きベクトルと予測動きベクトルの差をより小さくすることができる。これにより、符号化及び復号化の情報圧縮の効率の向上を図ることが可能な動画像符号化装置、動画像復号化装置を提供することができる。

本実施形態にかかる動画像符号化装置の一例を示す概略図である。 図１に示す動き検出部の構成図である。 本実施形態にかかる動画像復号化装置の一例を示す概略図である。 図３に示す動きベクトル復元部の構成図である。 符号化対象のブロックと隣接するブロックを模式的に表した図である。 第１実施形態における動きベクトル予測部の動作を示すフローチャートである。 符号化対象のブロックと隣接するブロックの動きベクトルを時間空間上において示す図である。 第２実施形態における動きベクトル予測部の動作を示すフローチャートである。 （ａ）は、動きベクトルの予測のために分割されたブロックの一例を示す図、（ｂ）は、動きベクトルの予測のために分割されたブロックの他の例を示す図である。 本実施形態にかかる動画像符号化プログラムの構成を示す図である。 本実施形態にかかる動画像復号化プログラムの構成を示す図である。

本発明の実施形態にかかる動画像符号化装置及び動画像復号化装置について図面を参照して説明する。なお、各図において、同一要素には同一符号を付して重複する説明を省略する。
［第１実施形態］

図１は、本実施形態にかかる動画像符号化装置の一例を示す概略図、図３は、本実施形態にかかる動画像復号化装置の一例を示す概略図である。
（動画像符号化装置の構成）

まず、図１を用いて、本発明にかかる動画像符号化装置１０について説明する。以下に説明する動画像符号化装置１０は、Ｈ．２６４／ＡＶＣ符号化方式に準拠した符号化装置である。

ここで、動画像符号化装置１０に入力される動画像信号としての入力映像信号（動画像信号）は、フレーム画像の時間系列で構成されている。また、フレーム画像信号は、この入力映像信号のフレーム画像単位の信号を表すものとする。以下、符号化対象のフレーム画像信号を「現フレーム」と呼ぶ。現フレームは、１６画素×１６ライン固定の正方矩形領域であるマクロブロックに分割され、マクロブロック単位で、以下の符号化処理及び復号化処理が行われる。

Ｈ．２６４／ＡＶＣ符号化方式では、マクロブロックごとに、予測モードとして、フレーム画像信号と時間的に異なる複数の符号化済みフレーム画像信号（参照フレーム画像信号）を参照して動きベクトルを検出することにより、動き補償フレーム間予測を行う複数の「ＩＮＴＥＲ予測モード」と、同一空間上の符号化済みである近傍のマクロブロックの画素値を用いた空間予測を行う複数の「ＩＮＴＲＡ予測モード」とが用意されている。なお、「ＩＮＴＥＲ予測モード」においては、マクロブロックをさらに任意の領域（例えば、８画素×１６ライン）に分割したブロック（対象領域）毎に動き検出、動き予測、及び動き補償の各処理（詳細は後述する。）が行われる。動画像符号化装置１０は、入力映像信号の局所的な性質に応じてマクロブロック単位で予測モードを切り替え、効率的な情報圧縮を行うことができるように構成されている。

動画像符号化装置１０は、機能的な構成要素として、図１に示すように、入力部１０１と、動き検出部１０２と、動き補償部１０３と、フレームメモリ１０４と、空間予測部１０５と、スイッチ１０６と、減算器１０７と、直交変換部１０８と、量子化部１０９と、可変長符号化部１１０と、逆量子化部１１１と、逆直交変換部１１２と、加算器１１３とを備えて構成される。以下、各構成要素について説明する。

入力部１０１は、外部から入力される動画像信号としての入力映像信号１２１を受信した後フレーム画像信号に分解し、減算器１０７及び動き検出部１０２に対して、フレーム画像信号１２２、１２３として送る部分である。

また、フレームメモリ１０４は、過去に符号化済みのフレーム画像信号を記憶しておく部分である。

動き検出部１０２は、予測モードの選択と動きベクトルの検出を行う部分である。より具体的には、動き検出部１０２は、「ＩＮＴＥＲ予測モード」を選択した場合、参照フレーム画像信号１２４を用いて、あらかじめフレームメモリに蓄積されている複数の符号化済みフレーム画像の中から所定の探索範囲内で、現フレーム内の画像信号パターンに類似する画像信号パターンを探し出す。そして、両画像信号パターン間の空間的な変位量である動きベクトルを検出する。検出された動きベクトルと符号化済みの隣接ブロックの動きベクトルから算出する最適予測動きベクトル（動きベクトル予測値）との差分情報である動きベクトル差分値と、動きベクトルの検出に用いた参照フレーム画像信号を示す参照フレーム番号と、選択された予測モードとを含む信号１２５を可変長符号化部１１０へ送る。同時に、動き検出部１０２は、選択された予測モードと、動きベクトルと、参照フレーム番号とを含む信号１２６を動き補償部１０３に送る。

また、動き補償部１０３は、動き検出部１０２から送られた動きベクトルを用いて、フレームメモリ１０４中の参照フレーム番号で示されるフレームの符号化済み画像信号（参照フレーム画像信号）を参照して、各ブロックの予測画像信号１２７を生成し、スイッチ１０６に送る。

一方、動き検出部１０２は、「ＩＮＴＲＡ予測モード」を選択した場合、選択された予測モード１２８を空間予測部１０５に送る。この場合、動き検出部１０２は同一空間上の符号化済みである近傍のブロックの画素値を用いた空間予測を行うため、時間的な動きに関する情報である動きベクトル差分値および参照フレーム番号を可変長符号化部１１０へ送ることは行わない。

これに対して、空間予測部１０５は、符号化済みである近傍のブロックの画像信号（参照フレーム画像信号１２９）を参照して、予測画像信号１３０を生成し、スイッチ１０６に送る。

スイッチ１０６は、動き検出部１０２から受信した予測モード１３１に応じて、予測画像信号１２７と予測画像信号１３０のいずれかを選択し、選択した予測画像信号１３２を減算器１０７に送る。

これに対して、減算器１０７は、フレーム画像信号１２２と予測画像信号１３２との差分値（予測残差信号１３３）を生成し、直交変換部１０８に送る。

直交変換部１０８は、減算器１０７から送られた予測残差信号１３３を直交変換することにより、直交変換係数１３４を生成して、量子化部１０９に送る。

これに対して、量子化部１０９が、直交変換部１０８から送信された直交変換係数１３４を量子化することにより、量子化直交変換係数１３５を生成し、可変長符号化部１１０及び逆量子化部１１１に送る。

次に、可変長符号化部１１０が、量子化部１０９から送信された量子化直交変換係数１３５と、動き検出部１０２から送信された予測モードと、動きベクトル差分値と、参照フレーム番号とに基づいてエントロピー符号化を行って圧縮ストリーム１３６に多重化して、外部へ伝送する。

また、逆量子化部１１１は、量子化部１０９から送信された量子化直交変換係数１３５について逆量子化を行うことにより、直交変換係数１３７を生成して、逆直交変換部１１２に送る。

そして、逆直交変換部１１２は、逆量子化部１１１から送信された直交変換係数１３７について逆直交変換を行うことにより、予測残差信号１３８を生成し、加算器１１３に送る。

加算器１１３は、逆直交変換部１１２から送信された予測残差信号１３８とスイッチ１０６から送信された予測画像信号１３２とを加算してフレーム画像信号１３９を生成し、フレームメモリ１０４に送る。このフレーム画像信号１３９が、フレームメモリ１０４に格納され、以降の符号化処理で、参照フレーム画像信号として用いられる。また、動きベクトルや参照フレーム番号に関する情報も参照フレーム画像信号に含んで同時に格納される。

次に、図２を参照して、動画像符号化装置１０の動き検出部１０２について詳細に説明する。図２は、図１の動き検出部の構成図である。

動き検出部１０２は、機能的な構成要素として、図２に示すように、予測モード決定部２０１と、参照フレーム決定部２０２と、動きベクトル検出部２０３と、動きベクトル予測部（動きベクトル予測手段）２０４と、動きベクトル差分部２０５とを備えて構成される。

まず、予測モード決定部２０１は、入力されたフレーム画像信号１２３および参照フレーム画像信号１２４に基づき、符号化対象の所定ブロックの符号化モードとして「ＩＮＴＥＲ予測モード」を用いるか「ＩＮＴＲＡ予測モード」を用いるかを判断し、予測モードを決定する。「ＩＮＴＲＡ予測モード」を選択した場合は、予測モード１３１を出力し、処理を終了する。「ＩＮＴＥＲ予測モード」を選択した場合、予測モード決定部２０１は、予測モード１３１を出力すると同時に、フレーム画像信号と、参照フレーム画像信号と、予測モードとを含む信号２１０を参照フレーム決定部２０２に送る。

参照フレーム決定部２０２は、入力されたフレーム画像信号と、参照フレーム画像信号と、および予測モードとに基づき、符号化対象の所定ブロックの動きベクトルの検出および予測を行う参照フレームを決定し、フレーム画像信号と参照フレーム画像信号と予測モードと参照フレーム番号とを含む信号２１１を動きベクトル検出部２０３に送る。同時に、参照フレーム決定部２０２は、参照フレーム画像信号と予測モードと参照フレーム番号とを含む信号２１２を動きベクトル予測部２０４に送る。

動きベクトル検出部２０３は、入力されたフレーム画像信号、参照フレーム画像信号、予測モードおよび参照フレーム番号に基づき、参照フレーム画像信号の中の参照フレーム番号が示す画像信号から、現フレーム内の画像信号パターンに類似する画像信号パターンを探し出す。そして、両画像信号パターン間の空間的な変位量である動きベクトルを検出し、その動きベクトルと予測モードと参照フレーム番号とを含む信号２１３を動きベクトル差分部２０５に送る。また、動き補償に用いるための動きベクトルと、予測モードと、参照フレーム番号とを含む信号１２６を出力する。

また、動きベクトル予測部２０４は、参照フレーム画像信号に含まれる符号化対象の所定ブロックに隣接する符号化済みのブロックの動きベクトルおよびそれらの参照フレーム番号と、符号化対象の所定ブロックの予測モードおよび参照フレーム番号を用いて、符号化対象の所定ブロックの動きベクトル予測値を算出する。なお、動きベクトル予測値の算出の際には、符号化対象の所定ブロックの動きベクトルを検出するために参照されたフレーム画像（対象参照フレーム画像）を基準にして、符号化対象の所定ブロックに隣接するブロックの動きベクトルをスケーリングする補正を行う（詳細は、後述する。）。スケーリングは、隣接するブロックの動きベクトルを検出するために参照されたフレーム画像（隣接参照フレーム画像）と、対象参照フレーム画像と、符号化対象のフレーム画像（対象フレーム画像）との時間的な関係に基づいて行う。ここで、隣接参照フレーム画像と対象参照フレーム画像と対象フレーム画像との時間的な関係とは、各フレーム画像の相対的な時間差、又は各フレーム画像の時刻情報を示している。動きベクトル予測部２０４は、算出した動きベクトル予測値と予測モードと参照フレーム番号とを含む信号２１５を、動きベクトル差分部２０５に送る。

動きベクトル差分部２０５は、入力された動きベクトルから動きベクトル予測値を引いた値である動きベクトル差分値を算出し、可変長符号化される予測モードと、参照フレーム番号と、動きベクトル差分値とを含む信号１２５を出力する。
（動画像復号化装置の構成）

次に、図３を用いて、本発明にかかる動画像復号化装置３０について説明する。以下に説明する動画像復号化装置３０は、動画像符号化装置１０と同様に、Ｈ．２６４／ＡＶＣ符号化方式に準拠した復号化装置である。

動画像復号化装置３０は、動画像符号化装置１０により出力された圧縮ストリーム１３６を入力信号として用い、これを入力映像信号に復号化する機能を有する。

動画像復号化装置３０は、機能的な構成要素として、図１に示すように、可変長復号化部３０１と、動きベクトル復元部３０２と、動き補償部３０３と、フレームメモリ３０４と、空間予測部３０５と、スイッチ３０６と、逆量子化部３０７と、逆直交変換部３０８と、加算器３０９とを備えて構成される。以下、各構成要素について説明する。

可変長復号化部３０１は、圧縮ストリーム１３６を受信した後、各フレームの先頭を表す同期ワードを検出した後、ブロック単位で、予測モードと量子化直交変換係数を復元する。また、予測モードが「ＩＮＴＥＲ予測モード」である場合、動きベクトル差分値と参照フレーム番号の復号も合わせて行う。可変長復号化部３０１は、復元した予測モードと動きベクトル差分値と参照フレーム番号とを含む信号３２１を動きベクトル復元部３０２に、復元した量子化直交変換係数３２２を逆量子化部３０７に、復元した予測モード３２６をスイッチ３０６及び空間予測部３０５に、それぞれ送る。

動きベクトル復元部３０２は、予測モードが「ＩＮＴＥＲ予測モード」である場合、可変長復号化部３０１から送信された動きベクトル差分値と、復号化済みの隣接ブロックの動きベクトルから算出した動きベクトル予測値とを用いて動きベクトルを復元する。そして、復元した動きベクトルと予測モードと参照フレーム番号とを含む信号３２３を動き補償部３０３に送る。

次に、動き補償部３０３は、動きベクトルと予測モードと参照フレーム番号とに基づいて、フレームメモリ３０４から送信される参照フレーム画像信号３２４を用いて、予測画像信号３２５を生成し、スイッチ３０６に送る。なお、フレームメモリ３０４には、過去に復号化済みのフレーム画像信号が格納されている。

また、空間予測部３０５は、予測モード３２６が「ＩＮＴＲＡ予測モード」である場合、復号化済みの近傍ブロックの画像信号（参照フレーム画像信号３２７）を参照して予測画像信号３２８を生成し、スイッチ３０６に送る。

次に、スイッチ３０６が、可変長復号化部３０１から送信された予測モード３２６に応じて、予測画像信号３２５と予測画像信号３２８とのいずれかを選択し、予測画像信号３２９として加算器３０９に送る。

一方、逆量子化部３０７は、可変長復号化部３０１により送信された量子化直交変換係数３２２を、逆量子化して直交変換係数３３０に復元し、逆直交変換部３０８に送る。

逆直交変換部３０８は、直交変換係数３３０を逆直交変換し予測残差信号３３１に復元する。

そして、加算器３０９は、スイッチ３０６から送信された予測画像信号３２９と、逆直交変換部３０８から送信された予測残差信号３３１とを加算し、フレーム画像信号３３２として復元する。

最後に、フレーム画像信号３３２は所定の表示タイミングで表示デバイス（図示せず）へ出力され、入力映像信号（動画像信号）１２１が再生される。

また、フレーム画像信号３３２は、以降の復号化処理に用いられるため、参照フレーム画像信号としてフレームメモリ３０４に格納される。ここで、フレーム画像信号３３２は、動画像符号化装置１０における同一番号のフレーム画像信号１３９と同一の値となる。また、動きベクトルや参照フレーム番号に関する情報も参照フレーム画像信号に含んで同時に格納される。

次に、図４を参照して、動画像復号化装置３０の動きベクトル復元部３０２について詳細に説明する。図４は、図３の動きベクトル復元部の構成図である。

まず、動きベクトル予測部４０１は、入力された参照フレーム画像信号３２４に含まれる復号化対象の所定ブロックに隣接する復号化済みのブロックの動きベクトルとそれらの参照フレーム番号とを抽出する。そして、入力された信号３２１に含まれる復号化対象の所定ブロックの予測モードと参照フレーム番号とを用いて、復号化対象の所定ブロックの動きベクトル予測値を算出する。なお、動きベクトル予測値の算出の際には、復号化対象の所定ブロックの動きベクトルを検出するために参照されたフレーム画像（対象参照フレーム画像）を基準にして、復号化対象の所定ブロックに隣接するブロックの動きベクトルをスケーリングする補正を行う（詳細は、後述する。）。スケーリングは、隣接するブロックの動きベクトルを検出するために参照されたフレーム画像（隣接参照フレーム画像）と、対象参照フレーム画像と、復号化対象のフレーム画像（対象フレーム画像）との時間的な関係に基づいて行う。ここで、隣接参照フレーム画像と対象参照フレーム画像と対象フレーム画像との時間的な関係とは、各フレーム画像の相対的な時間差、又は各フレーム画像の時刻情報を示している。その後、予測モードと参照フレーム番号と算出した動きベクトル予測値とを含む信号４２１を動きベクトル加算部４０２に送る。

動きベクトル加算部４０２は、入力された動きベクトル予測値と予測モードと動きベクトル差分値と参照フレーム番号とに基づき動きベクトルを復元する。そして、動き補償に用いるための動きベクトルと、予測モードと、および参照フレーム番号とを含む信号３２３を出力する。
（最適予測動きベクトルの算出）

ここでさらに、動画像符号化装置１０の動き検出部１０２および動画像復号化装置３０の動きベクトル復元部３０２において行われる最適予測動きベクトルの算出についてより詳細に説明する。

動画像符号化装置１０の動き検出部１０２における動きベクトル予測部２０４は、符号化対象のブロックで検出された動きベクトルに対して差分をとるために用いられる最適予測動きベクトル（動きベクトル予測値）を算出する。最終的に、動画像符号化装置１０が圧縮ストリーム１３６として伝送する情報は、動きベクトルからこの動きベクトル予測値を引いた動きベクトル差分値を符号化したものとなる。従って、最適予測動きベクトルが実際の動きベクトルに近いほど効率の良い符号化を行うことができることとなる。

また、動画像復号化装置３０の動きベクトル復元部３０２における動きベクトル予測部４０１は、参照フレーム画像信号に基づいて動きベクトル予測値を算出する。算出された動きベクトル予測値は、伝送された動きベクトル差分値と加算して動きベクトルを復元するために用いられる。従って、動画像符号化装置１０と同様に、最適予測動きベクトルが実際の動きベクトルに近いほど効率の良い復号化を行うことができることとなる。

なお、動きベクトル予測部２０４による動きベクトル予測値の算出と、動きベクトル予測部４０１による動きベクトル予測値の算出は、同様の処理であるため、以下、動きベクトル予測部２０４の動作についてのみ説明する。

図５は、符号化対象のブロックと隣接するブロックを模式的に表した図である。図５において、符号化対象のブロックをＥとし、ブロックＡをブロックＥの最も左上の画素の直左の画素を含むブロック、ブロックＢをブロックＥの最も左上の画素の直上の画素を含むブロック、ブロックＣをブロックＥの最も右上の画素の直右上の画素を含むブロックとする。また、ブロックＤをブロックＥの最も左上の画素の直左上の画素を含むブロックとする。

まず、動きベクトル予測部２０４は、ブロックＣが画面外である場合は、ブロックＣの動きベクトルおよび参照フレーム番号は、ブロックＤの動きベクトルおよび参照フレーム番号と同一であるとする。

また、ブロックＢ、ブロックＣがともに画面外である場合は、ブロックＢ、ブロックＣの動きベクトルおよび参照フレーム番号は、ブロックＡの動きベクトルおよび参照フレーム番号と同一であるとする。

以上のような前提で、動きベクトル予測部２０４は、常に符号化対象のブロックＥに隣接するブロックＡ、ブロックＢ、ブロックＣの動きベクトル及び参照フレーム番号が存在するようにした上で、動きベクトル予測値の算出を行う。

図６は、動きベクトル予測部２０４の動きベクトル予測値の算出時の動作を示すフローチャートである。

まず、動きベクトル予測部２０４により、参照フレーム画像信号に含まれる符号化対象の所定ブロック（Ｅ）に隣接するブロック（Ａ、Ｂ、Ｃ）の動きベクトルおよび参照フレーム画像番号が参照される（ステップＳ０１）。

次に、隣接ブロック（Ａ、Ｂ、Ｃ）の参照フレーム画像番号のうち、どれか一つだけブロック（Ｅ）の参照フレーム画像番号と等しいかどうかが判定される（ステップＳ０２）。隣接ブロック（Ａ、Ｂ、Ｃ）の参照フレーム画像番号のうち、どれか一つだけブロック（Ｅ）の参照フレーム画像番号と等しい場合には（ステップＳ０２：ＹＥＳ）、ブロック（Ｅ）の参照フレーム画像番号と等しい参照フレーム画像番号を持つブロックの動きベクトル値をブロック（Ｅ）の動きベクトル予測値と決定する（ステップＳ０３）。隣接ブロック（Ａ、Ｂ、Ｃ）の参照フレーム画像番号のうち、どれか一つだけブロック（Ｅ）の参照フレーム画像番号と等しい場合に該当しない時は（ステップＳ０２：ＮＯ）、処理をステップＳ０４に移行する。

続いて、動きベクトル予測部２０４により、各隣接ブロック（Ａ、Ｂ、Ｃ）が、ブロック（Ｅ）の動きベクトルを検出した参照フレーム画像番号と同一の参照フレーム画像を用いて動き補償されたものであるかが判定される（ステップＳ０４）。検出した隣接ブロック（Ａ、Ｂ、Ｃ）の参照フレーム画像が、ブロック（Ｅ）の動きベクトルを検出した参照フレーム画像と同一の参照フレーム画像でない場合（ステップＳ０４：ＮＯ）、符号化対象のブロック（Ｅ）と同じ参照フレームの条件となるように隣接ブロック（Ａ、Ｂ、Ｃ）の動きベクトル値がスケーリングされる（ステップＳ０５）。

このスケーリング方法を、図７に基づいて説明する。図７は、符号化対象のブロックと隣接するブロックの動きベクトルを時間空間上において示す図である。図７のように、現フレーム（対象フレーム画像）７０１（時刻t0）から、符号化対象のブロック（Ｅ）の参照フレーム（対象参照フレーム画像）７０２までの時間的距離（t0-te）を基準にして、検出した符号化対象の所定ブロックに隣接するブロック（Ａ、Ｂ、Ｃ）の動きベクトル７５１ａ、７５１ｂ、７５１ｃの大きさが変更される。具体的には、符号化対象のブロック（Ｅ）の参照フレーム７０２が時刻teにおけるもの、 隣接ブロックＡの動きベクトル７５１ａが（ＭＶｘＡ、ＭＶｙＡ）、その参照フレーム（隣接参照フレーム画像）７０３ａが時刻taにおけるものであったとすると、符号化対象のブロック（Ｅ）の参照フレーム７０２を基準にスケーリングされた動きベクトル（ＭＶｘＡ’、ＭＶｙＡ’）は、下記式（１）及び（２）によって求められる。

なお、この場合、隣接ブロック（Ａ、Ｂ、Ｃ）は必ずしも過去の参照フレーム画像を用いて動き補償されている必要はなく、未来（(t0-t)<0）の参照フレーム画像を用いて動き補償されていても良い。

一方、図６に戻って、検出した隣接ブロック（Ａ、Ｂ、Ｃ）の参照フレーム画像が、ブロック（Ｅ）の動きベクトルを検出した参照フレーム画像と同一の参照フレーム画像である場合（ステップＳ０４：ＮＯ）、ブロック（Ａ、Ｂ、Ｃ）の動きベクトル値をスケーリング済みとしてそのまま利用される（ステップＳ０６）。

次に、隣接ブロック（Ａ、Ｂ、Ｃ）の動きベクトルが全て、スケーリング済みがどうかを判定する（ステップＳ０７）。全ての隣接ブロック（Ａ、Ｂ、Ｃ）がスケーリング済みでない場合には（ステップＳ０７：ＮＯ）、ステップＳ０４からの処理を繰り返す。

全ての隣接ブロック（Ａ、Ｂ、Ｃ）がスケーリング済みである場合には（ステップＳ０７：ＹＥＳ）、符号化対象のブロック（Ｅ）の動きベクトルを検出した参照フレーム７０２を基準にしてスケーリングされた隣接ブロック（Ａ、Ｂ、Ｃ）の動きベクトルの中間値を算出することにより、最適予測動きベクトルが決定される（ステップＳ０８）。中間値の算出は、３つの隣接ブロック（Ａ、Ｂ、Ｃ）のスケーリング後の動きベクトル（ＭＶｘＡ’、ＭＶｙＡ’）、（ＭＶｘＢ’、ＭＶｙＢ’）、（ＭＶｘＣ’、ＭＶｙＣ’）をｘ、ｙ成分ごとに比較し、それぞれ成分の中でちょうど中間（２番目）の値が動きベクトル予測値とされる。例えば、（ＭＶｘＡ’、ＭＶｙＡ’）＝（３、−５）、（ＭＶｘＢ’、ＭＶｙＢ’）＝（−１、４）、（ＭＶｘＣ’、ＭＶｙＣ’）＝（２、６）のとき、動きベクトル予測値（ＰＭＶｘＥ、ＰＭＶｙＥ）はｘ、ｙ成分ごとの中間（２番目）の値である（２、４）となる。

このよう隣接ブロックの動きベクトルの中間値を用いて符号化対象のブロックの動きベクトルを予測すると、符号化対象のブロックとその周囲のブロックとの空間的相関から、最適予測動きベクトルは符号化対象のブロックの実際の動きベクトルに比較的近い値になると考えられる。この方法は中間値予測（median prediction）と呼ばれている。

次に、コンピュータを上述した動画像符号化装置１０として機能させるための動画像符号化プログラム９１０と、コンピュータを上述した動画像復号化装置３０として機能させるための動画像復号化プログラム９３０について説明する。図１０、図１１はそれぞれ、動画像符号化プログラム９１０、動画像復号化プログラム９３０の構成を示す図である。

図１０に示すように、動画像符号化プログラム９１０は、処理を統括するメインモジュール９１１と、入力モジュール９１２と、動き検出モジュール９１３と、動き補償モジュール９１４と、空間予測モジュール９１５と、スイッチモジュール９１６と、減算モジュール９１７と、直交変換モジュール９１８と、量子化モジュール９１９と、可変長符号化モジュール９２０と、逆量子化モジュール９２１と、逆直交変換モジュール９２２と、加算モジュール９２３とを備える。入力モジュール９１２、動き検出モジュール９１３、動き補償モジュール９１４、空間予測モジュール９１５、スイッチモジュール９１６、減算モジュール９１７、直交変換モジュール９１８、量子化モジュール９１９、可変長符号化モジュール９２０、逆量子化モジュール９２１、逆直交変換モジュール９２２、加算モジュール９２３がコンピュータに行わせる機能はそれぞれ、上述した入力部１０１、動き検出部１０２、動き補償部１０３、空間予測部１０５、スイッチ１０６、減算器１０７、直交変換部１０８、量子化部１０９、可変長符号化部１１０、逆量子化部１１１、逆直交変換部１１２、加算器１１３と同様である。

また、図１１に示すように、動画像復号化プログラム９３０は、処理を統括するメインモジュール９３１と、可変長復号化モジュール９３２と、動きベクトル復元モジュール９３３と、動き補償モジュール９３４と、空間予測モジュール９３５と、スイッチモジュール９３６と、逆量子化モジュール９３７と、逆直交変換モジュール９３８と、加算モジュール９３９とを備える。可変長復号化モジュール９３２、動きベクトル復元モジュール９３３、動き補償モジュール９３４、空間予測モジュール９３５、スイッチモジュール９３６、逆量子化モジュール９３７、逆直交変換モジュール９３８、加算モジュール９３９がコンピュータに実現させる機能はそれぞれ、上述した可変長復号化部３０１、動きベクトル復元部３０２、動き補償部３０３、空間予測部３０５、スイッチ３０６、逆量子化部３０７、逆直交変換部３０８、加算器３０９と同様である。

以上述べた第１実施形態にかかる動画像符号化装置１０及び動画像復号化装置３０によれば、動きベクトル予測部２０４、４０１が、それぞれの隣接ブロックの動きベクトルを、対象ブロックの動きベクトルを検出するために参照されたフレーム画像と符号化対象のフレーム画像との時間差を基準としてスケーリングして補正した後に、補正された隣接ブロックの動きベクトルに基づいて最適予測動きベクトルを予測するので、時間的な動きの連続性を考慮して最適予測動きベクトルを決定することにより、実際の対象ブロックの動きベクトルと最適予測動きベクトルの差をより小さくすることができる。
［第２実施形態］

次に、本発明の第２実施形態について説明する。本実施形態における動画像符号化装置及び動画像復号化装置の基本的構成は、第１実施形態における動画像符号化装置１０及び動画像復号化装置３０の構成と同様であるので、各構成要素には同一の符合を付しその説明は省略すると共に、以下において第１実施形態との相違点について詳述する。

第２実施形態における動画像符号化装置及び動画像復号化装置と、第１実施形態における動画像符号化装置１０及び動画像復号化装置３０との相違点は、動きベクトル予測値の算出に関わる部分である。以下、第１実施形態と異なる動画像符号化装置１０の動き検出部１０２および動画像復号化装置３０の動きベクトル復元部３０２で行われる予想動きベクトルの算出について説明する。

なお、動きベクトル予測部２０４による動きベクトル予測値の算出と、動きベクトル予測部４０１による動きベクトル予測値の算出は、同様の処理であるため、以下、動きベクトル予測部２０４の動作についてのみ説明する。

本実施形態にかかる動きベクトル予測部２０４による動きベクトル予測値の算出においては、あらかじめ各隣接ブロックの動きベクトルを対象参照フレームを基準にしてスケーリングし、スケーリング後の動きベクトルに基づいて最適予測動きベクトルを決定することは行わない。つまり、動きベクトル予測部２０４は、まずスケーリング前の各隣接ブロックの動きベクトルに基づいて動きベクトルの予測に用いる最適なものを決定し、その後決定した動きベクトルの予測値を、対象参照フレームを基準にスケーリングして補正して動きベクトル予測値を得る。

図８は、本実施形態にかかる動きベクトル予測部２０４の動きベクトル予測値の算出時の動作を示すフローチャートである。

まず、動きベクトル予測部２０４により、参照フレーム画像信号に含まれる符号化対象の所定ブロック（Ｅ）に隣接するブロック（Ａ、Ｂ、Ｃ）の動きベクトルおよび参照フレーム画像番号が参照される（ステップＳ２０１）。

次に、隣接ブロック（Ａ、Ｂ、Ｃ）の参照フレーム番号のうち、どれか一つだけがブロック（Ｅ）の参照フレーム番号と等しいかどうかが判定される（ステップＳ２０２）。隣接ブロック（Ａ、Ｂ、Ｃ）の参照フレーム番号のうち、どれか一つだけがブロック（Ｅ）の参照フレーム番号と等しい場合（ステップＳ２０２：ＹＥＳ）、その等しい参照フレーム番号を有する隣接ブロックの動きベクトル値を、ブロック（Ｅ）の動きベクトル予測値と決定する（ステップＳ２０３）。隣接ブロック（Ａ、Ｂ、Ｃ）の参照フレーム番号のうち、どれか一つだけがブロック（Ｅ）の参照フレーム番号と等しい場合に該当しない時は（ステップＳ２０２：ＮＯ）、処理をステップＳ２０４に移行する。

続いて、動きベクトル予測部２０４により、各隣接ブロック（Ａ、Ｂ、Ｃ）の動きベクトルに基づいて、符号化対象のブロック（Ｅ）の動きベクトルを検出した参照フレーム（対象参照フレーム画像）を基準にしてスケーリングを行うことなく、動きベクトル予測値として最適な動きベクトルが選出される（ステップＳ２０４）。動きベクトル予測値として最適な動きベクトルを選出する方法としては、実施形態１と同様にして、符号化対象のブロック（Ｅ）に隣接するブロック（Ａ、Ｂ、Ｃ）の動きベクトルの中からｘ、ｙ成分毎に中間の値を持つものを選出する。

動きベクトルの選出後、符号化対象のブロック（Ｅ）の動きベクトル予測値に最適であるとしてｘ，ｙ成分として選出されたそれぞれの動きベクトルが、ブロック（Ｅ）の動きベクトルを検出した参照フレーム画像番号と同一の参照フレーム画像を用いて動き補償されたものであるかが判定される（ステップＳ２０５）。選出されたそれぞれの動きベクトルが、符号化対象のブロック（Ｅ）の動きベクトルを検出した参照フレーム画像と同一の参照フレーム画像を用いて動き補償されたものでないとき（ステップＳ２０５：ＮＯ）、符号化対象のブロック（Ｅ）と同じ参照フレームの条件となるように動きベクトルのｘ，ｙ成分の大きさをスケーリングする（ステップＳ２０６）。スケーリング方法としては、実施形態１と同様にして、現フレーム（対象フレーム画像）から符号化対象のブロックの参照フレーム（対象参照フレーム画像）までの時間的距離を基準にして、選出された隣接ブロックの動きベクトルの大きさを変更して、そのうちのｘ成分あるいはｙ成分を動きベクトル予測値とする。

一方、選出されたそれぞれの動きベクトルが、符号化対象のブロック（Ｅ）の動きベクトルを検出した参照フレーム画像と同一の参照フレーム画像を用いて動き補償されたものであるとき（ステップＳ２０５：ＹＥＳ）、選出された動きベクトルのｘ成分あるいはｙ成分をそのまま動きベクトル予測値と決定する（ステップＳ２０７）。

以上述べた第２実施形態にかかる動画像符号化装置１０及び動画像復号化装置３０によれば、動きベクトル予測部２０４、４０１が、隣接ブロックの動きベクトルに基づいて最適予測動きベクトルを決定した後、決定された最適予測動きベクトルを、対象ブロックの動きベクトルを検出するために参照されたフレーム画像と符号化対象のフレーム画像との時間差を基準としてスケーリングして補正するので、実際の対象領域の動きベクトルと最適予測動きベクトルの差をより小さくすることができると同時に、動きベクトルを予測するための処理時間を短縮することが可能となる。

なお、上述した第１実施形態および第２実施形態にかかる動画像符号化装置１０及び動画像復号化装置３０においては、スケーリングする前、あるいはスケーリングした後の隣接するブロックの動きベクトルの中から中間値を選出して動きベクトル予測値として決定していたが、これは、以下のように動きベクトル予測値（ＰＭＶｘＥ，ＰＭＶｙＥ）を決定しても良い。

すなわち、第１実施形態においては、スケーリング後のそれぞれの動きベクトルのｘ成分が条件１：｜ＭＶｘＡ’−ＭＶｘＢ’｜＜｜ＭＶｘＢ’−ＭＶｘＣ’｜を満たす場合は、ＰＭＶｘＥ＝ＭＶｘＡ’と決定する。上記条件１を満たさない場合は、ＰＭＶｘＥ＝ＭＶｘＢ’と決定する。同様に、スケーリング後のそれぞれの動きベクトルのｙ成分が条件２：｜ＭＶｙＡ’−ＭＶｙＢ’｜＜｜ＭＶｙＢ’−ＭＶｙＣ’｜を満たす場合は、ＰＭＶｙＥ＝ＭＶｙＡ’と決定する。上記条件２を満たさない場合は、ＰＭＶｙＥ＝ＭＶｙＢ’と決定する。また、実施形態２においては、スケーリング前のそれぞれの動きベクトルのｘ成分が条件１：｜ＭＶｘＡ − ＭＶｘＢ｜＜｜ＭＶｘＢ − ＭＶｘＣ｜を満たす場合は、ＰＭＶｘＥ＝ＭＶｘＡと決定する。上記条件１を満たさない場合は、ＰＭＶｘＥ＝ＭＶｘＢと決定する。同様に、スケーリング前のそれぞれの動きベクトルのｙ成分が条件２：｜ＭＶｙＡ − ＭＶｙＢ｜＜｜ＭＶｙＢ − ＭＶｙＣ｜を満たす場合は、ＰＭＶｙＥ＝ＭＶｙＡと決定する。上記条件２を満たさない場合は、ＰＭＶｙＥ＝ＭＶｙＢと決定する。その後、決定された動きベクトル予測値をスケーリングする。

さらに、以下のような方法で動きベクトル予測値を決定しても良い。すなわち、符号化対象の所定ブロックの分割方法などに応じて、動きベクトルの予測値に用いるブロックの位置を一意に決定しておき、そのブロックの動きベクトルを常に選出するようにしても良い。図９は、動きベクトルの予測のために分割されたブロックの一例を示す図である。図９（ａ）に例によれば、符号化対象のブロックＥが１６画素ｘ８画素の２つの領域に分割される予測モードの場合、上側の領域はブロックＢの動きベクトルを、下側の領域はブロックＡの動きベクトルを、それぞれ動きベクトル予測値として決定する。また、図９（ｂ）の例によれば、ブロックＥが８画素ｘ１６画素の２つの領域に分割される予測モードの場合、左側の領域はブロックＡの動きベクトルを、右側の領域はブロックＣの動きベクトルを、それぞれ動きベクトルの予測値として決定する。なお、上記の各予測モードによって分割された領域に対して選出される動きベクトルの位置は一例であって、任意の位置の動きベクトルを符号化対象のブロックの動きベクトル予測値として決定することができる。

また、上述した第１実施形態および第２実施形態にかかる動画像符号化装置１０及び動画像復号化装置３０においては、図５に示すように、符号化対象のブロック（Ｅ）の動きベクトル予測値を決定するために、隣接ブロック（Ａ、Ｂ、Ｃ）の動きベクトルを利用していたが、この隣接ブロックの数及びブロック（Ｅ）との相対的位置は、適宜変更しても良い。

次に、以上述べた本発明の動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラムの各実施形態から抽出される技術的思想を請求項の記載形式に準じて列挙する。本発明に係る技術的思想は上位概念から下位概念まで、様々なレベルやバリエーションにより把握できるものであり、以下の記載に本発明が限定されるものではない。

（項１）フレーム画像信号の時間系列で構成される動画像信号における符号化対象のフレーム画像を複数の対象領域に分割し、前記対象領域毎に、前記符号化対象のフレーム画像と異なる複数のフレーム画像を参照して動きベクトルを検出することにより、動き補償による符号化を行う動画像符号化装置において、
前記対象領域に隣接する隣接領域の動きベクトルを検出するために参照された隣接参照フレーム画像と、前記対象領域の動きベクトルを検出するために参照された対象参照フレーム画像と、前記符号化対象のフレーム画像である対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、前記対象参照フレーム画像を基準にして前記対象領域に隣接する隣接領域の動きベクトルをスケーリングする補正と、
前記対象領域に隣接する隣接領域の動きベクトルに基づく最適予測動きベクトルの決定と、
を行うことにより前記補正後の最適予測動きベクトルを予測する動きベクトル予測手段を有することを特徴とする動画像符号化装置。

（項２）前記動きベクトル予測手段は、前記隣接参照フレーム画像と前記対象参照フレーム画像と前記対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、前記対象参照フレーム画像を基準にして前記隣接領域の動きベクトルそれぞれをスケーリングして補正し、当該補正された前記隣接領域の動きベクトルに基づいて最適予測動きベクトルを決定することを特徴とする項１に記載の動画像符号化装置。

（項３）前記動きベクトル予測手段は、前記隣接領域の動きベクトルに基づいて最適予測動きベクトルを決定し、前記最適予測動きベクトルとして決定された隣接領域の動きベクトルの隣接参照フレーム画像と前記対象参照フレーム画像と前記対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、前記対象参照フレーム画像を基準にして前記最適予測動きベクトルをスケーリングして補正することを特徴とする項１に記載の動画像符号化装置。

（項４）フレーム画像信号の時間系列で構成される動画像信号における復号化対象のフレーム画像を複数の対象領域に分割し、前記対象領域毎に前記復号化対象のフレーム画像と異なる複数のフレーム画像を参照して検出された動きベクトルと予測動きベクトルとの差分情報を利用することにより、動き補償による復号化を行う動画像復号化装置において、
前記対象領域に隣接する隣接領域の動きベクトルを検出するために参照された隣接参照フレーム画像と、前記対象領域の動きベクトルを検出するために参照された対象参照フレーム画像と、前記符号化対象のフレーム画像である対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、前記対象参照フレーム画像を基準にして前記対象領域に隣接する隣接領域の動きベクトルをスケーリングする補正と、
前記対象領域に隣接する隣接領域の動きベクトルに基づく最適予測動きベクトルの決定と、
を行うことにより前記補正後の最適予測動きベクトルを予測する動きベクトル予測手段を有することを特徴とする動画像復号化装置。

（項５）前記動きベクトル予測手段は、前記隣接参照フレーム画像と前記対象参照フレーム画像と前記対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、前記対象参照フレーム画像を基準にして前記隣接領域の動きベクトルそれぞれをスケーリングして補正し、当該補正された前記隣接領域の動きベクトルに基づいて最適予測動きベクトルを決定することを特徴とする項４に記載の動画像復号化装置。

（項６）前記動きベクトル予測手段は、前記隣接領域の動きベクトルに基づいて最適予測動きベクトルを決定し、前記最適予測動きベクトルとして決定された隣接領域の動きベクトルの隣接参照フレーム画像と前記対象参照フレーム画像と前記対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、前記対象参照フレーム画像を基準にして前記最適予測動きベクトルをスケーリングして補正することを特徴とする項４に記載の動画像復号化装置。

（項７）フレーム画像信号の時間系列で構成される動画像信号における符号化対象のフレーム画像を複数の対象領域に分割し、前記対象領域毎に、前記符号化対象のフレーム画像と異なる複数のフレーム画像を参照して動きベクトルを検出することにより、動き補償による符号化を行う動画像符号化方法において、
動きベクトル予測手段が、
前記対象領域に隣接する隣接領域の動きベクトルを検出するために参照された隣接参照フレーム画像と、前記対象領域の動きベクトルを検出するために参照された対象参照フレーム画像と、前記符号化対象のフレーム画像である対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、前記対象参照フレーム画像を基準にして前記対象領域に隣接する隣接領域の動きベクトルをスケーリングする補正と、
前記対象領域に隣接する隣接領域の動きベクトルに基づく最適予測動きベクトルの決定と、
を行うことにより前記補正後の最適予測動きベクトルを予測する動きベクトル予測ステップを有することを特徴とする動画像符号化方法。

（項８）フレーム画像信号の時間系列で構成される動画像信号における復号化対象のフレーム画像を複数の対象領域に分割し、前記対象領域毎に前記復号化対象のフレーム画像と異なる複数のフレーム画像を参照して検出された動きベクトルと予測動きベクトルとの差分情報を利用することにより、動き補償による復号化を行う動画像復号化方法において、
動きベクトル予測手段が、
前記対象領域に隣接する隣接領域の動きベクトルを検出するために参照された隣接参照フレーム画像と、前記対象領域の動きベクトルを検出するために参照された対象参照フレーム画像と、前記符号化対象のフレーム画像である対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、前記対象参照フレーム画像を基準にして前記対象領域に隣接する隣接領域の動きベクトルをスケーリングする補正と、
前記対象領域に隣接する隣接領域の動きベクトルに基づく最適予測動きベクトルの決定と、
を行うことにより前記補正後の最適予測動きベクトルを予測する動きベクトル予測ステップを有することを特徴とする動画像復号化方法。

（項９）フレーム画像信号の時間系列で構成される動画像信号における符号化対象のフレーム画像を複数の対象領域に分割し、前記対象領域毎に、前記符号化対象のフレーム画像と異なる複数のフレーム画像を参照して動きベクトルを検出することにより、動き補償による符号化処理をコンピュータに実行させる動画像符号化プログラムにおいて、
コンピュータを、
前記対象領域に隣接する隣接領域の動きベクトルを検出するために参照された隣接参照フレーム画像と、前記対象領域の動きベクトルを検出するために参照された対象参照フレーム画像と、前記符号化対象のフレーム画像である対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、前記対象参照フレーム画像を基準にして前記対象領域に隣接する隣接領域の動きベクトルをスケーリングする補正と、
前記対象領域に隣接する隣接領域の動きベクトルに基づく最適予測動きベクトルの決定と、
を行うことにより前記補正後の最適予測動きベクトルを予測する動きベクトル予測手段、
として機能させることを特徴とする動画像符号化プログラム。

（項１０）フレーム画像信号の時間系列で構成される動画像信号における復号化対象のフレーム画像を複数の対象領域に分割し、前記対象領域毎に前記復号化対象のフレーム画像と異なる複数のフレーム画像を参照して検出された動きベクトルと予測動きベクトルとの差分情報を利用することにより、動き補償による復号化処理をコンピュータに実行させる動画像復号化プログラムにおいて、
コンピュータを、
前記対象領域に隣接する隣接領域の動きベクトルを検出するために参照された隣接参照フレーム画像と、前記対象領域の動きベクトルを検出するために参照された対象参照フレーム画像と、前記符号化対象のフレーム画像である対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、前記対象参照フレーム画像を基準にして前記対象領域に隣接する隣接領域の動きベクトルをスケーリングする補正と、
前記対象領域に隣接する隣接領域の動きベクトルに基づく最適予測動きベクトルの決定と、
を行うことにより前記補正後の最適予測動きベクトルを予測する動きベクトル予測手段、
として機能させることを特徴とする動画像復号化プログラム。

１０…動画像符号化装置、３０…動画像復号化装置、１０１…入力部、１０２…動き検出部、１０３…動き補償部、１０４…フレームメモリ、１０５…空間予測部、１０６…スイッチ、１０７…減算器、１０８…直交変換部、１０９…量子化部、１１０…可変長符号化部、１１１…逆量子化部、１１２…逆直交変換部、１１３…加算器、２０１…予測モード決定部、２０２…参照フレーム決定部、２０３…動きベクトル検出部、２０４…動きベクトル予測部（動きベクトル予測手段）、２０５…動きベクトル差分部、３０１…可変長復号化部、３０２…動きベクトル復元部、３０３…動き補償部、３０４…フレームメモリ、３０５…空間予測部、３０６…スイッチ、３０７…逆量子化部、３０８…逆直交変換部、３０９…加算器、４０１…動きベクトル予測部（動きベクトル予測手段）、４０２…動きベクトル加算部、７０１…対象フレーム画像、７０２…対象参照フレーム画像、７０３ａ、７０３ｂ、７０３ｃ…隣接参照フレーム画像、７５１ａ、７５１ｃ、７５１ｃ…動きベクトル。

Claims (6)

1. フレーム画像信号の時間系列で構成される動画像信号における符号化対象のフレーム画像を複数の対象領域に分割し、前記対象領域毎に、前記符号化対象のフレーム画像と異なる複数のフレーム画像を参照して動きベクトルを検出することにより、動き補償による符号化を行う動画像符号化方法において、
   動きベクトル予測手段が、前記対象領域に隣接する隣接領域の動きベクトルから予測動きベクトルを選択するステップと、
   前記動きベクトル予測手段が、前記予測動きベクトルが動き補償において前記対象領域の動きベクトルを検出するために参照された対象参照フレーム画像と同一の参照フレーム画像を参照しているか否かを含む所定の判断基準を満たすか否かを判定するステップと、
   前記予測動きベクトルが前記所定の判断基準を満たさない場合、前記動きベクトル予測手段が、前記予測動きベクトルとして決定された隣接領域の動きベクトルを検出するために参照された隣接参照フレーム画像と、前記対象参照フレーム画像と、前記符号化対象のフレーム画像である対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、前記対象参照フレーム画像を基準にして前記予測動きベクトルをスケーリングして補正するステップと、
   を有する動画像符号化方法。
2. フレーム画像信号の時間系列で構成される動画像信号における復号化対象のフレーム画像を複数の対象領域に分割し、前記対象領域毎に前記復号化対象のフレーム画像と異なる複数のフレーム画像を参照して検出された動きベクトルと予測動きベクトルとの差分情報を利用することにより、動き補償による復号化を行う動画像復号化方法において、
   動きベクトル予測手段が、前記対象領域に隣接する隣接領域の動きベクトルから予測動きベクトルを選択するステップと、
   前記動きベクトル予測手段が、前記予測動きベクトルが動き補償において前記対象領域の動きベクトルを検出するために参照された対象参照フレーム画像と同一の参照フレーム画像を参照しているか否かを含む所定の判断基準を満たすか否かを判定するステップと、
   前記予測動きベクトルが前記所定の判断基準を満たさない場合、前記動きベクトル予測手段が、前記予測動きベクトルとして決定された隣接領域の動きベクトルを検出するために参照された隣接参照フレーム画像と、前記対象参照フレーム画像と、前記復号化対象のフレーム画像である対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、前記対象参照フレーム画像を基準にして前記予測動きベクトルをスケーリングして補正するステップと、
   を有する動画像復号化方法。
3. フレーム画像信号の時間系列で構成される動画像信号における符号化対象のフレーム画像を複数の対象領域に分割し、前記対象領域毎に、前記符号化対象のフレーム画像と異なる複数のフレーム画像を参照して動きベクトルを検出することにより、動き補償による符号化を行う動画像符号化装置において、
   前記対象領域に隣接する隣接領域の動きベクトルから予測動きベクトルを選択する処理と、
   前記予測動きベクトルが動き補償において前記対象領域の動きベクトルを検出するために参照された対象参照フレーム画像と同一の参照フレーム画像を参照しているか否かを含む所定の判断基準を満たすか否かを判定する処理と、
   前記予測動きベクトルが前記所定の判断基準を満たさない場合、前記予測動きベクトルとして決定された隣接領域の動きベクトルを検出するために参照された隣接参照フレーム画像と、前記対象参照フレーム画像と、前記符号化対象のフレーム画像である対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、前記対象参照フレーム画像を基準にして前記予測動きベクトルをスケーリングして補正する処理と、
   を実行する動きベクトル予測手段、
   を備える動画像符号化装置。
4. フレーム画像信号の時間系列で構成される動画像信号における復号化対象のフレーム画像を複数の対象領域に分割し、前記対象領域毎に前記復号化対象のフレーム画像と異なる複数のフレーム画像を参照して検出された動きベクトルと予測動きベクトルとの差分情報を利用することにより、動き補償による復号化を行う動画像復号化装置において、
   前記対象領域に隣接する隣接領域の動きベクトルから予測動きベクトルを選択する処理と、
   前記予測動きベクトルが動き補償において前記対象領域の動きベクトルを検出するために参照された対象参照フレーム画像と同一の参照フレーム画像を参照しているか否かを含む所定の判断基準を満たすか否かを判定する処理と、
   前記予測動きベクトルが前記所定の判断基準を満たさない場合、前記予測動きベクトルとして決定された隣接領域の動きベクトルを検出するために参照された隣接参照フレーム画像と、前記対象参照フレーム画像と、前記復号化対象のフレーム画像である対象フレーム画像との時間的な関係又はそれらの時刻情報に基づいて、前記対象参照フレーム画像を基準にして前記予測動きベクトルをスケーリングして補正する処理と、
   を実行する動きベクトル予測手段、
   を備える動画像復号化装置。
5. フレーム画像信号の時間系列で構成される動画像信号における符号化対象のフレーム画像を複数の対象領域に分割し、前記対象領域毎に、前記符号化対象のフレーム画像と異なる複数のフレーム画像を参照して動きベクトルを検出することにより、動き補償による符号化を行うための動画像符号化プログラムであって、
   コンピュータを、
   請求項３に記載の動画像符号化装置が備える動きベクトル予測手段、として機能させるための動画像符号化プログラム。
6. フレーム画像信号の時間系列で構成される動画像信号における復号化対象のフレーム画像を複数の対象領域に分割し、前記対象領域毎に前記復号化対象のフレーム画像と異なる複数のフレーム画像を参照して検出された動きベクトルと予測動きベクトルとの差分情報を利用することにより、動き補償による復号化を行うための動画像復号化プログラムであって、
   コンピュータを、
   請求項４に記載の動画像復号化装置が備える動きベクトル予測手段、として機能させるための動画像復号化プログラム。

Images