JP4195978B2 - 映像信号符号化装置及び方法及び記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明はウェーブレット変換を用いて静止画または動画像を高効率に符号化する映像信号符号化装置及び方法、また、それらの装置及び方法によって作成された符号化データを記録した記録媒体に関するものである。
【０００２】
【従来の技術】
従来の代表的な映像信号の符号化方式としては、ＩＳＯ（国際標準化機構：International Organization for Standardization）によって標準化されたＪＰＥＧ（Joint Photographic coding Experts Group）方式がある。このＪＰＥＧ方式とは、ＤＣＴ（離散コサイン変換：Discrete Cosine Transform）を用いて主に静止画を符号化する方式であり、比較的多くのビットが割り当てられる場合には、良好な符号化および復号画像を提供出来ることが知られている。しかし、ある程度符号化ビット数を少なくすると、ＤＣＴ特有のブロック歪が顕著になり、主観的に劣化が目立つようになる。
【０００３】
これとは別に、最近においては、画像をフィルタバンクと呼ばれるハイパス・フィルタとローパス・フィルタを組み合わせたフィルタによって複数の帯域に分割し、それらの帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット変換符号化は、ＤＣＴで問題とされていた高い圧縮率でブロック歪が顕著になる、という欠点が無いことから、ＤＣＴに代わる新たな技術として注目されている。また、動画像符号化では、ＭＰＥＧ（Moving Picture image coding Experts Group）方式のMPEG-1、MPEG-2、MPEG-4が知られている。特にMPEG-2は、ＤＶＤ（Digital Versatile Disc）の符号化等に広く使用されている。これらのＪＰＥＧ、ＭＰＥＧの符号化技術においては、ＤＣＴの処理単位である８×８画素のブロック数個から構成されるマクロブロック（通常は１６×１６画素）毎に符号化制御が行われている。
【０００４】
現在、電子スチルカメラやビデオムービー等の製品では、符号化にＪＰＥＧ方式やＭＰＥＧ方式、あるいはＤＶ（Digital Video）方式を採用するものがほとんどである。これらの符号化方式はいずれも変換方式にＤＣＴを用いている。今後ウェーブレット変換をベースとした上記製品が市場に出現するものと推測され、符号化方式の効率向上のための検討が各研究機関で盛んに行われている。実際に、ＪＰＥＧの後継となる次世代静止画国際標準方式として期待されているＪＰＥＧ２０００（ＪＰＥＧと同じ組織であるISO/IEC/JTC1 SC29/WG1によって規格化作業中）は、２００１年３月にPart-1の標準化勧告が出され、以後のPartに関しても作業中である。このＪＰＥＧ２０００方式では、符号化の基本である変換方式として、既存のＪＰＥＧ方式で使用されているＤＣＴに代わり、ウェーブレット変換が採用されている。
【０００５】
このウェーブレット変換を用いて、静止画のみならず動画像でも高品質な符号化画像を得ようとする場合には、以下に挙げるような問題点を解決しなければならないことが、一般的に知られている。
【０００６】
第一に、ウェーブレット変換は、通常全画面に対して変換処理を施すので、ＭＰＥＧやＪＰＥＧのＤＣＴにおけるマクロブロック単位の制御のような、画面内の特定領域毎の細かい制御が困難である点。
【０００７】
第二に、第一の問題点の解決手段として、画面内をタイル（特定サイズの矩形で普通は正方形）に分け、タイル毎に別個に符号化制御を行う技術があるが、▲１▼タイルのサイズを小さくすると符号化効率が悪くなる、▲２▼圧縮率を高くすると、隣接タイル間の不連続が顕著になり、主観画質が大きく低下する、という問題がある点。
【０００８】
第三に、ウェーブレット変換符号化でもＤＣＴ符号化と同様に、画質の制御は量子化制御によって行うが、一般に量子化ステップを上げれば発生ビット量は抑制される代わりに画質は劣化し、逆に量子化ステップを下げれば発生ビット量は増加する代わりに画質は向上する。この量子化制御を、タイル単位の符号化手段に用いる、用いないに関わらず、特定の画像領域単位に実現することが必要とされる点。
【０００９】
上記した三つの問題点を解決し、部分領域毎の画質制御をウェーブレット変換符号化で実現でき、画質制御が正確に行え、主観的画質の向上も図れ、一つの符号化装置で静止画および動画に対応できるような画像符号化装置及び方法がある（例えば、特許文献１参照）。
【００１０】
次に、従来の部分領域毎の画質制御が可能なウェーブレット変換符号化装置に関して、図面を参照しながら説明する。
【００１１】
図１０は、従来のウェーブレット変換を使用した画像符号化装置を示した模式図である。図１０において、１００１はウェーブレット変換手段、１００２は係数量子化手段、１００３はエントロピー符号化手段、１００４はレート制御手段、１００５はブロック情報分析手段である。
【００１２】
以上のように構成された画像符号化装置の動作について説明する。
【００１３】
入力映像信号はウェーブレット変換手段１００１によってウェーブレット変換処理され、複数ステージのサブバンドのウェーブレット変換係数に分割される。また、ブロック情報分析手段１００５は、入力映像信号をブロック分割し、ブロック領域画像毎の動き情報またはテキスチャの詳細度を分析して、例えばブロック領域画像内に、被写体の大きな動きがあるとかテキスチャの詳細度が高い等の情報を抽出し、ブロック領域画像毎の重み係数を作成する。具体的には、画像処理の分野で研究された成果を用いればよく、例えば動き検出では、１つ前のフレームとの差分を求め、予め設定した閾値よりも大きければ動きありと判定し、後者ではブロック領域画像内の全ての画素値の分散値を採取し、これが閾値よりも大きい場合には、テキスチャの詳細度が高いと判断することが出来る。係数量子化手段１００２は、ウェーブレット変換手段１００１から得られたウェーブレット変換係数を量子化する際に、単純にスカラー量子化するのではなく、サブバンド毎に予め用意されたテーブルの重み係数と、ブロック情報分析手段１００５から得られたブロック領域画像毎の重み係数のいずれか、または両方を用いて量子化係数（スカラー量子化されたウェーブレット変換係数のこと）の値を修正する。ここでサブバンド毎に予め用意されたテーブルの重み係数とは、人間の視覚特性を利用した重み付けのことで、具体的には、低域成分の雑音、歪は人間の目に付きやすいことから、低域のサブバンド用の重み係数ほど変換係数値が大きくなるように設定されたテーブルのことである。エントロピー符号化手段１００３は、係数量子化手段１００２から得られた量子化係数をエントロピー符号化して、符号化データを生成する。エントロピー符号化は、一般に情報源符号化とも呼ばれ、データ列の出現分布の偏り等の特徴を利用して情報量を圧縮する技術であり、ハフマン符号化や算術符号化が広く使われている。ウェーブレット変換符号化では、一般にエントロピー符号化として、量子化係数をバイナリデータから成るビットプレーンに分解して、各ビットプレーンのシンボルの出現確率分布に応じて算術符号化を行う方法がとられている。なお、算術符号化とは、所定の範囲内で確率分布の推定を行いながら、符号化シンボルに数値を当てはめていく手法である。レート制御手段１００４は、エントロピー符号化手段１００３から得られた符号化データの一部を切り捨てて所定の符号量に合致する符号化データを作成し、出力する。エントロピー符号化にビットプレーン単位の算術符号化が使用されている場合は、ビットプレーン単位で符号の切り捨て処理を行う。
【００１４】
ここでは、係数量子化手段１００２でのブロック領域画像毎の画質制御をスカラー量子化後の量子化係数に重み付けを加えて修正する方法を示したが、他にも、ブロック情報分析手段１００５から得られるブロック領域画像毎の重み係数を利用して、ビットプレーン単位で係数をシフトする方法や、ブロック情報分析手段１００５から得られるブロック領域画像毎の重み係数を利用して、レート制御手段１００４で切捨て処理を行うビットプレーンの優先順位を決定する方法もある。
【００１５】
【特許文献１】
特開２００１−３２６９３６号公報
【００１６】
【発明が解決しようとする課題】
この画像符号化装置においては、高品質な符号化及び復号画像を得るために、画像の特徴を正確に反映した符号化制御が要求されている。従来の画像符号化装置では、ブロック領域画像毎の優先度を決定するために、動きの有無や画素値の分散情報を使用するようになっているが、この方法では、画像を構成する対象物が複数存在する場合や、複数の対象物が異なる動きを行っている場合など多くのケースで正確な領域分割や優先度設定ができないという課題がある。また、量子化係数に対して重み付けを行うことで、ブロック領域画像毎の符号化制御を行っているが、量子化時に行ったブロック領域画像毎への重み付けがエントロピー符号化後のレート制御によって崩れてしまい、最終的な復号画像に対して当初の重み付け情報が正確に反映されないという課題がある。
【００１７】
本発明は、上記課題を解決するためになされたものであり、画像の特徴を正確に反映した領域情報を作成し、その領域情報を符号化制御に正確に反映させることが可能な映像信号符号化装置及び方法を提供することを目的とする。
【００１８】
【課題を解決するための手段】
この課題を解決するために本発明は、入力映像信号とウェーブレット変換係数の両方を使用して、入力映像信号を符号化の基準となるコードブロック単位で領域分割して優先度設定を行ったコントロールマップ情報を作成し、このコントロールマップ情報を用いてエントロピー符号化後のレート制御を行うように構成したものである。
【００１９】
これにより、画像の特徴を正確に反映した領域情報を作成し、その領域情報を符号化制御に正確に反映させることが可能となる。
【００２０】
また、本発明は、コントロールマップ情報を作成する際に、ウェーブレット変換係数を使用して作成した輪郭情報と、入力映像信号を符号化の基準となるコードブロックのサイズに合わせてブロック分割したブロック毎に求めたアクティビティとを合わせて使用するように構成したものである。
【００２１】
これにより、画像の特徴を正確に反映した領域情報を作成することが可能となる。
【００２２】
また、本発明は、入力映像信号が動画像である場合に、コントロールマップ情報を作成する際に、ウェーブレット変換係数を使用して作成した輪郭情報と、入力映像信号を符号化の基準となるコードブロックのサイズに合わせてブロック分割したブロック毎に求めた現在のフレームと次のフレームとの間の前方動きベクトルとを合わせて使用するように構成したものである。
【００２３】
これにより、画像の特徴を正確に反映した領域情報を作成することが可能となる。
【００２４】
また、本発明は、入力映像信号が動画像である場合に、コントロールマップ情報を作成する際に、ウェーブレット変換係数を使用して作成した輪郭情報と、入力映像信号を符号化の基準となるコードブロックのサイズに合わせてブロック分割したブロック毎に求めた現在のフレームと次のフレームとの間の前方動きベクトルと、ブロック毎に求めたアクティビティとを合わせて使用するように構成したものである。
【００２５】
これにより、画像の特徴を正確に反映した領域情報を作成することが可能となる。
【００２６】
また、本発明は、入力映像信号が動画像である場合に、コントロールマップ情報を作成する際に、ウェーブレット変換係数を使用して作成した輪郭情報と、入力映像信号を符号化の基準となるコードブロックのサイズに合わせてブロック分割したブロック毎に求めた現在のフレームと次のフレームとの間の前方動きベクトルと、シーンカットを検出した場合にブロック毎に求めた現在のフレームと前のフレームとの間の後方動きベクトルとを合わせて使用するように構成したものである。
【００２７】
これにより、画像の特徴を正確に反映した領域情報を作成することが可能となる。
【００２８】
また、本発明は、入力映像信号が動画像である場合に、コントロールマップ情報を作成する際に、ウェーブレット変換係数を使用して作成した輪郭情報と、入力映像信号を符号化の基準となるコードブロックのサイズに合わせてブロック分割したブロック毎に求めた現在のフレームと次のフレームとの間の前方動きベクトルと、シーンカットを検出した場合にブロック毎に求めた現在のフレームと前のフレームとの間の後方動きベクトルと、ブロック毎に求めたアクティビティとを合わせて使用するように構成したものである。
【００２９】
これにより、画像の特徴を正確に反映した領域情報を作成することが可能となる。
【００３０】
また、本発明は、輪郭情報と、ブロック毎に求めたアクティビティ、前方動きベクトル、後方動きベクトルのうち、少なくとも１つの情報を使用してコントロールマップ情報を作成する際に、ウェーブレット変換のサブバンド分割段数分のマップを作成するように構成したものである。
【００３１】
これにより、画像の特徴を正確に反映した領域情報を作成し、その領域情報を符号化制御に正確に反映させることが可能となる。
【００３２】
さらに、本発明は、輪郭情報と、ブロック毎に求めたアクティビティ、前方動きベクトル、後方動きベクトルのうち、少なくとも１つの情報を使用してコントロールマップ情報を作成する際に、ウェーブレット変換のサブバンド分割段数分のマップを用意するために、マップをダウンサンプル出来るように構成したものである。
【００３３】
これにより、画像の特徴を正確に反映した領域情報を作成し、その領域情報を符号化制御に正確に反映させることが可能となる。
【００３４】
【発明の実施の形態】
以下、本発明の実施形態について、図面を用いて説明する。なお、ここで示す実施の形態はあくまでも一例であって、必ずしもこの実施の形態に限定されるものではない。
【００３５】
（実施の形態１）
図１は、本発明の実施の形態１における映像信号符号化装置構成を示した図である。
【００３６】
図１において、１０１は入力映像信号をウェーブレット変換処理するウェーブレット変換手段、１０２はウェーブレット変換係数を使用してレート制御のためのコントロールマップ情報を作成するコントロールマップ作成手段、１０３はウェーブレット変換係数をスカラー量子化する係数量子化手段、１０４は量子化係数をエントロピー符号化するエントロピー符号化手段、１０５はエントロピー符号化された符号化データ量を所定のレートにあわせるためのレート制御手段である。
【００３７】
以上のように構成された映像信号符号化装置に関して、以下その動作について説明する。
【００３８】
入力映像信号は、ウェーブレット変換手段１０１において、水平・垂直方向へのウェーブレット変換フィルタ処理が施される。このウェーブレット変換フィルタ処理には、従来の技術で示したように、全画面に対してウェーブレット変換処理を行う方法と、入力映像信号をタイルに分割して、タイル毎にウェーブレット変換処理を行う方法とがある。ここでは、説明を簡単にするために全画面に対してウェーブレット変換をかけているものとする。
【００３９】
一度ウェーブレット変換フィルタ処理が行われると、入力映像信号は、ＬＬ（垂直低周波・水平低周波成分）、ＬＨ（垂直低周波・水平高周波成分）、ＨＬ（垂直高周波・水平低周波成分）、ＨＨ（垂直高周波・水平高周波成分）の４つのサブバンドに分割される。一度のウェーブレット変換フィルタ処理で、入力映像信号を４つのサブバンドに分割する処理を、ここでは１段目の分割ステージと呼ぶことにする。２段目の分割ステージでは、低周波成分が集まったＬＬサブバンドに対してウェーブレット変換フィルタ処理が行われ、ＬＬサブバンド成分がさらにＬＬＬＬ、ＬＬＬＨ、ＬＬＨＬ、ＬＬＨＨの４つのサブバンドに分割される。このように、ウェーブレット変換手段１０１では、低域成分に対してサブバンド分割を繰り返すことで、入力映像信号をウェーブレット変換係数に変換する。ウェーブレット変換符号化では、一般に５段階程度のサブバンド分割が行われる。なお、ここでは低域成分を階層的に分割する方法を説明しているが、これ以外に全帯域を均等に分割する方法もある。
【００４０】
コントロールマップ作成手段１０２は、入力映像信号とウェーブレット変換手段１０１から得られたウェーブレット変換係数を解析してレート制御に使用するコントロールマップ情報を作成する。コントロールマップ作成手段１０２内部での処理の詳細に関しては後述する。
【００４１】
係数量子化手段１０３は、ウェーブレット変換手段１０１から得られたウェーブレット変換係数をサブバンド毎にスカラー量子化する。一般に低域成分の雑音、歪は人間の目につきやすいことから、低域のサブバンドの量子化ほど細かく、高域のサブバンドの量子化ほど粗く行うようにすることが望ましい。具体的には、サブバンドの分割ステージ段数が大きくなるほど細かい量子化ステップでスカラー量子化し、逆にサブバンドの分割ステージ段数が小さくなるほど粗い量子化ステップでスカラー量子化する。また、同一分割ステージのサブバンド同士では、低域よりも高域のサブバンドの方が粗い量子化ステップでスカラー量子化するようにする。ここでスカラー量子化されたウェーブレット変換係数のことを量子化係数と呼ぶことにする。
【００４２】
エントロピー符号化手段１０４は、係数量子化手段１０３から得られた量子化係数をエントロピー符号化して符号化データを作成する。まず、量子化係数は、サブバンド毎にコードブロックに分割される。その後、量子化係数は、コードブロック単位で、その絶対値と正負の符号とに分けられ、絶対値はＭＳＢからＬＳＢのビットプレーンに展開される。絶対値の各ビットプレーン上の係数は０か１のいずれかになり、符号のビットプレーン上の係数は＋、０、−のいずれかになる。例えば量子化係数が最大８ビットの係数であった場合には、量子化係数は８つの絶対値ビットプレーンと１つの符号ビットプレーンに分けられることになる。最後に、ビットプレーン毎の２値の符号化（例えば、算術符号化）が行われ符号化データが生成される。
【００４３】
レート制御手段１０５は、エントロピー符号化手段１０４から得られた符号化データの量を所定の符号化レートにあわせるために、必要に応じて符号化データの切捨て処理を行い最終的な符号化データを作成する。この際、コントロールマップ作成手段１０２から得られたコントロールマップ情報を参照しながら符号化データの切捨て処理を行う。一般に、エントロピー符号化された符号化データが所定の符号化レートを超えていた場合には、分割ステージ数が小さく、高域成分の多いサブバンド内に含まれるコードブロック内の符号化データから順番に削減される。この符号削減はビットプレーン単位で行われ、ＬＳＢ側のビットプレーンから順番に符号が切り捨てられていく。この際に、どのサブバンドのどのコードブロックのビットプレーンを何ビット分削減するかによって符号化および復号画像の画質が変わってくる。コントロールマップ作成手段１０２から得られたコントロールマップ情報には、サブバンド毎にコードブロック単位で優先度が設定されている。この優先度としては、例えばコードブロック毎の切り捨て可能なビットプレーンのビット数などが考えられる。レート制御手段１０５は、この優先度情報に従って高域のサブバンド内のコードブロックから順番に（例えば、切り捨て可能なビット数の多いコードブロックから順番に）ビットプレーン単位で符号化データの切り捨て処理を行い、所定の符号化レートに合うように符号化データ量を制御する。
【００４４】
次に、コントロールマップ作成手段１０２内部での処理の詳細に関して、さらに図面を用いて説明する。
【００４５】
図２は、本発明の実施の形態１によるコントロールマップ作成手段１０２を示した図である。
【００４６】
図２において、２０１は、ウェーブレット変換係数を使用して輪郭情報を作成する輪郭情報作成手段、２０２は、入力映像信号をコードブロックの２倍の大きさのブロックに分割するブロック分割手段、２０３は、ブロック毎にアクティビティを計算するアクティビティ検出手段、２０４は、輪郭情報とアクティビティとからコントロールマップ情報を作成するマップ情報作成手段、２０５は、作成したマップ情報を一時的に記憶するマップ情報記憶手段である。
【００４７】
以上のように構成されたコントロールマップ作成手段１０２に関して、以下その動作について説明する。
【００４８】
ウェーブレット変換されたウェーブレット変換係数の第１高周波成分（第１段目の分割ステージで得られたＬＨ、ＨＬ、ＨＨサブバンドに相当）はエッジ情報を表している。例えば、ＬＨサブバンドは入力映像信号の水平方向のエッジ成分を抜き出したものであり、ＨＬサブバンドは入力映像信号の垂直方向のエッジ成分、ＨＨサブバンドは入力映像信号の斜め方向のエッジ成分を抜き出したものである。この性質を利用して、輪郭情報作成手段２０１は、ウェーブレット変換係数から入力映像信号の輪郭情報を作成する。具体的な作成方法としては、例えば以下のような方法が考えられる。まず、サブバンド分割されたウェーブレット変換係数をコードブロック単位にブロック分割し、ブロック毎にウェーブレット変換係数を合計する。エッジ成分が存在するブロックは大きなウェーブレット変換係数が多く存在するために、エッジ成分が存在しないブロックよりも大きな値が得られることになる。このことを利用して、閾値を使って判定することで、エッジ成分を含むブロックを検出する。次にサブバンドの特性を利用して、検出したエッジ成分が輪郭部分かどうかを判定する。例えば、ＬＨサブバンドの場合、水平方向のエッジ成分が抜き出されているので、エッジとして検出されたブロックの上下のブロックがエッジ成分を含むブロックかどうかを確認し、エッジ成分を含むブロックであった場合には垂直方向の輪郭成分として検出する。同様にしてＨＬサブバンド、ＨＨサブバンドに対しても水平方向の輪郭成分、斜め方向の輪郭成分を検出し、これらの情報を合わせることで入力映像信号全体の輪郭情報を作成する。なお、ここでは、例としてコードブロック単位でエッジ成分を検出する方法を説明したが、検出に使用するブロックの大きさをもっと小さくすることも可能であり、この場合はより詳細な輪郭情報の形成が可能となる。また、ブロック単位ではなく画素単位でエッジ成分を検出してもよい。さらに、エッジ成分の判別手法としてウェーブレット変換係数の合計値を使用する方法を説明したが、代わりにアクティビティを使用してもよい。
【００４９】
ブロック分割手段２０２は、入力映像信号をコードブロックの２倍の大きさのブロックに分割する。これは、入力映像信号をウェーブレット変換フィルタ処理してサブバンド分割を行うと、生成されるサブバンドの大きさは、入力映像信号の大きさの半分のサイズになるためである。サブバンド内に含まれるコードブロックの数と入力映像信号をブロック分割した際のブロックの数とをあわせるために、コードブロックの２倍のサイズのブロックに分割している。アクティビティ検出手段２０３は、ブロック分割手段２０２から得られたブロック画像毎にアクティビティを計算する。
【００５０】
マップ情報作成手段２０４は、輪郭情報作成手段２０１から得られた輪郭情報とアクティビティ検出手段２０３から得られたブロック画像毎のアクティビティとを使用して、ウェーブレット変換手段１０１によって作成されたサブバンド数分のコントロールマップ情報を作成する。具体的な作成方法としては、例えば、輪郭情報によって切り出された領域内に含まれるブロック画像のアクティビティによってコードブロックの優先度を決定する方法がある。この時、アクティビティが小さいブロック画像ほど低周波成分を多く含んでいる画像であると判断し、コードブロックに高い優先度を割り当てるようにする。また、輪郭情報によって切り出された同一の領域内に含まれるブロック画像に相当するコードブロックに割り当てる優先度を同一の値に統一することで、符号化および復号画質の高品質化が図れる。なお、２段階目以降の分割ステージによって作成されるサブバンド用のコントロールマップ情報の作成方法に関しては後述する。マップ情報記憶手段２０５は、マップ情報作成手段２０４から得られた各サブバンド用のコントロールマップ情報を全て一時的に記憶する。
【００５１】
次に、マップ情報作成手段２０４内部での処理の詳細に関して、さらに図面を用いて説明する。
【００５２】
図３は、本発明の実施の形態１におけるマップ情報作成手段２０４を示した模式図である。図３において、３０１は、１段目の分割ステージで作成されるサブバンド用のマップ情報を作成する最上位マップ作成手段、３０２ａは２段目の分割ステージで作成されるサブバンド用のマップ情報を作成する第２階層マップ作成手段、３０２ｂは、ｎ段目の分割ステージで作成されるサブバンド用のマップ情報を作成する第ｎ階層マップ作成手段、２０５は、コントロールマップ情報を一時的に記憶しておくマップ情報記憶手段である。
【００５３】
以上のように構成されたマップ情報作成手段２０４に関して、以下その動作について説明する。
【００５４】
最上位マップ作成手段３０１は、輪郭情報とアクティビティとを使用して１段目の分割ステージによって作成されるサブバンド（ＬＨ、ＨＬ、ＨＨサブバンドに相当）用のコントロールマップ情報を作成する。この方法の詳細に関しては、先に述べたとおりである。第２階層マップ作成手段３０２ａ及び第ｎ階層マップ作成手段３０２ｂは、直前の段階の分割ステージで作成されたサブバンド用のコントロールマップ情報から、現段階の分割ステージで作成されるサブバンド用のコントロールマップ情報を作成する。サブバンドの分割段数が一つ増加すると、サブバンドのサイズは半分になることから、内部に含まれるコードブロックの数も半分になる。よって、具体的には、前の段階で作成されたサブバンドのコントロールマップ情報に含まれる優先度データ４つを使って１つの優先度データを新たに作成するようにする。
【００５５】
この方法に関して、さらに図４を用いて説明する。４つの優先度データから、１つの優先度データを新たに作成するには、幾つかの方法が考えられる。例えば、図４の（ａ）に示す４つのデータの中で最も同じデータが多いものを新たなデータとする多数決型の方法、同図（ｂ）に示す、４つのデータの平均値を計算して新たなデータとする平均値型の方法、同図（ｃ）に示す、４つのデータのうち最大のデータを代表値として新たなデータとする最大値型の方法、同図（ｄ）に示す、４つのデータのうち最小のデータを代表値として新たなデータとする最小値型の方法などである。分割ステージの段数に応じてこれらの方法を使い分けるように構成すれば、特性に応じたコントロールマップ情報の作成が可能となる。具体的には、分割ステージの段数が高くなるほど高い優先度が選択されるようにすればよい。
【００５６】
最上位マップ作成手段３０１、第２階層マップ作成手段３０２ａ及び第ｎ階層マップ作成手段３０２ｂから得られたコントロールマップ情報は、マップ情報記憶手段２０５に一時的に記憶される。
【００５７】
なお、本実施の形態では、エントロピー符号化が完了した後にレート制御を実施するような構成を取っているが、エントロピー符号化の際に、同時にレート制御を実行するよう構成することも可能である。この場合は、コントロールマップ情報を参照しながらコードブロック単位でＭＳＢ側のビットプレーンから順番に符号化データの作成（例えば、算術符号化）を行い、所定の符号化レートに達した時点で、ビットプレーンの符号化を打ち切るように構成する。
【００５８】
（実施の形態２）
本発明の、実施の形態２は、実施の形態１におけるマップ情報作成手段内部の処理手順を、全ての階層に対して同一のルールでサブバンド用のコントロールマップ情報を作成するように変更することで、構成を単純化したものである。本実施の形態の映像信号符号化装置は実施の形態１の映像符号化装置とマップ情報作成手段以外は全く同一であるので、ここでは、マップ情報作成手段に関してのみ説明する。
【００５９】
図５は、本発明の実施の形態２におけるマップ情報作成手段の構成を示した図である。図５において、実施の形態１のマップ情報作成手段と同様に機能するものについては、同一の符号を付して、説明を省略する。図５において、５０１は、１段目の分割ステージで作成されるサブバンド用のマップ情報を作成する基準マップ作成手段、５０２は、次の段階の分割ステージで作成されるサブバンド用のマップ情報を作成するマップダウンサンプル手段である。
【００６０】
以上のように構成された映像信号符号化装置に関して、以下その動作について説明する。
【００６１】
基準マップ作成手段５０１は、輪郭情報とアクティビティとを使用して１段目の分割ステージによって作成されるサブバンド用のコントロールマップ情報を作成する。この方法の詳細に関しては、実施の形態１において述べたとおりである。
【００６２】
マップダウンサンプル手段５０２は、基準マップ作成手段５０１から得られたコントロールマップ情報もしくは自身が作成したコントロールマップ情報をダウンサンプルして、次の分割ステージで作成されるサブバンド用のコントロールマップ情報を作成する。具体的には、コントロールマップ情報に含まれる優先度データ４つを使って１つの優先度データを新たに作成する。この作成手法としては、例えば、図４に示した手法のうちのいずれかを使用する。
【００６３】
基準マップ作成手段５０１及び、マップダウンサンプル手段５０２から得られたコントロールマップ情報は、マップ情報記憶手段２０５に一時的に記憶される。
【００６４】
（実施の形態３）
本発明の、実施の形態３は、入力映像信号が動画像である場合に、実施の形態１におけるコントロールマップ作成手段の処理に、フレーム間の動きベクトルを利用するように構成したものである。本実施の形態の映像信号符号化装置は、コントロールマップ作成手段以外は実施の形態１と全く同一であるので、ここでは、コントロールマップ作成手段に関してのみ説明する。
【００６５】
図６は、本発明の実施の形態３におけるコントロールマップ作成手段の構成を示した図である。図６において、実施の形態１の映像信号符号化装置と同様に機能するものについては、同符号を付し、説明を省略する。図６において、６０１は、ブロック毎にフレーム間の動きベクトルを計算するベクトル検出手段、６０２は、輪郭情報と動きベクトルとからコントロールマップ情報を作成するマップ情報作成手段である。
【００６６】
以上のように構成されたコントロールマップ作成手段に関して、以下その動作について説明する。
【００６７】
ベクトル検出手段６０１は、ブロック分割手段２０２から得られたブロック画像毎に現在のフレームと次のフレームとの間の前方動きベクトルを求める。前方動きベクトルを求めるための方法としては、例えば、従来のＭＰＥＧ方式で一般に使用されている、ブロック画像同士のフレーム間差分を計算し、フレーム間差分が最小となるブロック画像の位置を示すベクトルを動きベクトルとする方法等がある。
【００６８】
マップ情報作成手段６０２は、輪郭情報作成手段２０１から得られた輪郭情報とベクトル検出手段６０１から得られたブロック画像毎の前方動きベクトルとを使用して、ウェーブレット変換手段１０１によって作成されたサブバンド数分のコントロールマップ情報を作成する。具体的な作成方法としては、例えば、輪郭情報によって切り出された領域内に含まれるブロック画像の前方動きベクトルの大きさ（ベクトル長）によってコードブロックの優先度を決定する方法がある。この時、動きの少ない領域ほど人間の視覚特性が敏感になり、雑音や歪が目に付きやすくなることを考慮して、前方動きベクトルの大きさが小さいブロック画像ほど静止状態に近い画像であると判断し、コードブロックに高い優先度を割り当てるようにする。また、輪郭情報によって切り出された同一の領域内に含まれるブロック画像に相当するコードブロックに割り当てる優先度を同一の値に統一することで、符号化および復号画質の高品質化が図れる。
【００６９】
マップ情報作成手段６０２より得られたコントロールマップ情報は、マップ情報記憶手段２０５に一時的に記憶される。
【００７０】
（実施の形態４）
本発明の、実施の形態は４、入力映像信号が動画像である場合に、実施の形態１におけるコントロールマップ作成手段の処理に、フレーム間の動きベクトルとアクティビティの両方を利用するように構成したものである。本実施の形態の映像信号符号化装置は、コントロールマップ作成手段以外は実施の形態１と全く同一であるので、ここでは、コントロールマップ作成手段に関してのみ説明する。
【００７１】
図７は、本発明の実施の形態４によるコントロールマップ作成手段の構成を示した図である。図７において、実施の形態１および実施の形態３の映像信号符号化装置と同様に機能するものについては、同一の符号を付し、説明を省略する。図７において、７０１は、輪郭情報とアクティビティと動きベクトルとからコントロールマップ情報を作成するマップ情報作成手段である。
【００７２】
以上のように構成されたコントロールマップ作成手段に関して、以下その動作について説明する。
【００７３】
マップ情報作成手段７０１は、輪郭情報作成手段２０１から得られた輪郭情報とアクティビティ検出手段２０３から得られたブロック画像毎のアクティビティとベクトル検出手段６０１から得られたブロック画像毎の前方動きベクトルとを使用して、ウェーブレット変換手段１０１によって作成されたサブバンド数分のコントロールマップ情報を作成する。コードブロックに割り当てる優先度を決定するために、アクティビティと前方動きベクトルの両方を使用するので、より詳細な優先度設定が可能となる。具体的には、アクティビィティが小さく前方動きベクトルが小さいブロック画像ほど、コードブロックに高い優先度を割り当てるようにする。また、輪郭情報によって切り出された同一の領域内に含まれるブロック画像に相当するコードブロックに割り当てる優先度を同一の値に統一することで、符号化および復号画質の高品質化が図れる。
【００７４】
マップ情報作成手段７０１より得られたコントロールマップ情報は、マップ情報記憶手段２０５に一時的に記憶される。
【００７５】
（実施の形態５）
本発明の、実施の形態５は、入力映像信号が動画像である場合に、実施の形態３におけるコントロールマップ作成手段の処理に、フレーム間の前方動きベクトルを利用するようにし、フレーム間の相関が崩れた場合には、前方動きベクトルの代わりに後方動きベクトルを利用するように構成したものである。本実施の形態では、コントロールマップ作成手段以外は実施の形態４と全く同一であるので、ここでは、コントロールマップ作成手段に関してのみ説明する。
【００７６】
図８は、本発明の実施の形態５によるコントロールマップ作成手段の構成を示した図である。同図において、実施の形態１の映像信号符号化装置と同様に機能するものについては、同一の符号を付し、説明を省略する。図８において、８０１は、ブロック毎にフレーム間の前方動きベクトルを計算する前方ベクトル検出手段、８０２は、前方動きベクトルを計算する際に求められるフレーム間差分データを利用してシーンカットの有無を判定するシーンカット検出手段、８０３は、ブロック毎にフレーム間の後方動きベクトルを計算する後方ベクトル検出手段、８０４は、輪郭情報と動きベクトルとからコントロールマップ情報を作成するマップ情報作成手段である。
【００７７】
以上のように構成されたコントロールマップ作成手段に関して、以下その動作について説明する。
【００７８】
前方ベクトル検出手段８０１は、ブロック分割手段２０２から得られたブロック画像毎に現在のフレームと次のフレームとの間の前方動きベクトルを求める。前方動きベクトルを求めるための方法としては、従来のＭＰＥＧ方式で一般に使用されている、ブロック画像同士のフレーム間差分を計算し、フレーム間差分が最小となるブロック画像の位置を示すベクトルを動きベクトルとする方法を使用する。
【００７９】
シーンカット検出手段８０２は、前方ベクトル検出手段８０１が、前方動きベクトルを求める際に使用するブロック画像同士のフレーム間差分を利用して、シーンカットの有無を判定する。具体的なシーンカットの判定方法としては、例えば、以下のような方法がある。シーンカットが発生した場合、一般にフレーム間の相関が失われるため、その前後に比べるとフレーム間差分の値が大きく増大する。このことを利用して、閾値を設定して前後のフレーム間差分が閾値を超えていないのにフレーム間差分が閾値を超えるようなポイントが検出された場合に、このポイントをシーンカットと判定することが出来る。
【００８０】
後方ベクトル検出手段８０３は、シーンカット検出手段８０２がシーンカットを検出した場合もしくは動画像の最後のフレームが入力された場合に、ブロック分割手段２０２から得られたブロック画像毎に現在のフレームと前のフレームとの間の後方動きベクトルを求める。後方動きベクトルを求めるための方法としては、例えば、前方動きベクトルを求める場合と同様に、従来のＭＰＥＧ方式で一般に使用されている、ブロック画像同士のフレーム間差分を計算し、フレーム間差分が最小となるブロック画像の位置を示すベクトルを動きベクトルとする方法等を使用する。この点に関して図９を用いてさらに詳しく説明する。
【００８１】
図９において、フレーム１からフレーム５は動画像を形成する一連のフレームとし、フレーム５を最終フレームとする。また、ＦＶ１からＦＶ４をフレーム間の前方動きベクトル、ＢＶ３、ＢＶ５を後方動きベクトルとし、フレーム３とフレーム４の間にシーンカットが発生しているとする。一般に、フレーム１とフレーム２又はフレーム２とフレーム３との間には、強い相関関係が存在するため、前方動きベクトルＦＶ１やＦＶ２は画像を構成する対象物の動きを正確にフォローしているものとみなせる。しかし、間にシーンカットが入ったフレーム３とフレーム４との間には相関関係が存在しない。このため、フレーム３とフレーム４の間で求めた前方動きベクトルＦＶ３は、フレーム３の画像を構成する対象物の動きを反映しているとは言えない。よって、前方動きベクトルＦＶ３は、コントロールマップ情報を作成するための基礎データとしてふさわしくないということになる。ところが、フレーム２とフレーム３との間には強い相関関係が存在するため、後方動きベクトルＢＶ３は、フレーム３の画像を構成する対象物の動きを正確にフォローしているものとみなせる。よって、後方動きベクトルＢＶ３の方が、コントロールマップ情報を作成するための基礎データとしてふさわしいということになる。同様に、最終フレームとなるフレーム５のように前方動きベクトルそのものが存在しないようなフレームに対しても、後方動きベクトルＢＶ５がコントロールマップ情報を作成するための基礎データとして有効なことは自明である。
【００８２】
マップ情報作成手段８０４は、輪郭情報作成手段２０１から得られた輪郭情報と、前方ベクトル検出手段８０１から得られたブロック画像毎の前方動きベクトル又は後方ベクトル検出手段８０３から得られたブロック画像毎の後方動きベクトルとを使用して、例えば、実施の形態３と同様な方法で前記ウェーブレット変換手段１０１によって作成されたサブバンド数分の前記コントロールマップ情報を作成する。マップ情報作成手段８０４より得られたコントロールマップ情報は、マップ情報記憶手段２０５に一時的に記憶される。
【００８３】
（実施の形態６）
本実施の形態は、入力映像信号が動画像である場合に、実施の形態５におけるコントロールマップ作成手段の処理に、フレーム間の動きベクトルに加えて、アクティビティを利用するように構成したものである。本実施の形態は、実施の形態４と実施の形態５を組み合わせることによって実現できるものである。
【００８４】
なお、実施の形態１における最上位マップ作成手段と実施の形態２に基準マップ作成手段およびマップダウンサンプル手段は、輪郭情報とアクティビティとを使用してコントロールマップ情報を作成したが、これに限定するものではなく、コントロールマップ作成手段に入力される情報のうち、少なくとも一つの情報を使用して作成すればよい。ここで、コントロールマップ作成手段に入力される情報とは、例えば、輪郭情報、アクティビティ、前方動きベクトル、後方動きベクトルである。
【００８５】
【発明の効果】
以上のように本発明によれば、画像の特徴を正確に反映した領域情報を作成し、その領域情報を符号化制御に正確に反映させることが可能となるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における映像信号符号化装置の構成を示すブロック図
【図２】本発明の実施の形態１におけるコントロールマップ作成手段の構成を示すブロック図
【図３】本発明の実施の形態１におけるマップ情報作成手段の構成を示すブロック図
【図４】マップ情報作成のダウンサンプル手法を説明するための模式図
【図５】本発明の実施の形態２におけるマップ情報作成手段の構成を示すブロック図
【図６】本発明の実施の形態３におけるコントロールマップ作成手段の構成を示すブロック図
【図７】本発明の実施の形態４におけるコントロールマップ作成手段の構成を示すブロック図
【図８】本発明の実施の形態５におけるコントロールマップ作成手段の構成を示すブロック図
【図９】動画像のフレーム間の相関関係を説明するための模式図
【図１０】従来の画像符号化装置の構成を示すブロック図
【符号の説明】
１０１ ウェーブレット変換手段
１０２ コントロールマップ作成手段
１０３ 係数量子化手段
１０４ エントロピー符号化手段
１０５ レート制御手段
２０１ 輪郭情報作成手段
２０２ ブロック分割手段
２０３ アクティビティ検出手段
２０４、６０２、７０１、８０４ マップ情報作成手段
２０５ マップ情報記憶手段
３０１ 最上位マップ作成手段
３０２ 階層マップ作成手段
５０１ 基準マップ作成手段
５０２ マップダウンサンプル手段
６０１ ベクトル検出手段
８０１ 前方ベクトル検出手段
８０２ シーンカット検出手段
８０３ 後方ベクトル検出手段

Claims (15)

1. 入力映像信号に水平・垂直方向のウェーブレット変換を施すウェーブレット変換手段と、前記ウェーブレット変換手段から得られたウェーブレット変換係数を量子化する係数量子化手段と、前記係数量子化手段から得られた量子化係数をエントロピー符号化するエントロピー符号化手段と、前記エントロピー符号化手段から得られた符号化データの量を所定の符号化レートにあわせるため、必要に応じて前記符号化データの切捨て処理を行うレート制御手段と、前記入力映像信号と前記ウェーブレット変換手段から得られたウェーブレット変換係数から前記レート制御手段が前記符号化データの量を制御する為に使用するコントロールマップ情報を作成するコントロールマップ作成手段とを備え、前記コントロールマップ作成手段は、ウェーブレット変換手段から得られたウェーブレット変換係数を使用して、入力映像信号の輪郭情報を作成する輪郭情報作成手段と、前記入力映像信号を水平・垂直サイズがコードブロックの２倍の大きさのブロックに分割するブロック分割手段と、前記ブロック分割手段から得られたブロック毎に前記入力映像信号のアクティビティを計算するアクティビティ検出手段と、前記ウエーブレット変換手段において前記入力映像信号を分割したサブバンドの分割ステージ数が大きくなるほど符号化データの優先度を高く設定し、同一分割ステージのサブバンド同士は、高周波成分を多く含む領域ほど優先度を低く設定し、さらに、前記輪郭情報作成手段から得られた輪郭情報で示される領域内に含まれるブロックに対して前記アクティビティ検出手段から得られたブロック単位のアクティビティをもとに前記アクティビティが小さいほど優先度を高くなるように設定し、また、当該輪郭情報により切り出された同一の領域内に含まれるブロック画像の優先度は同一となるように設定した優先度を算出し、前記優先度を含む、レート制御手段が符号化制御を行うためのコントロールマップ情報を作成するマップ情報作成手段と、前記マップ情報作成手段から得られたコントロールマップ情報を一時的に記憶するマップ記憶手段とを有し、前記レート制御手段は前記優先度が低いブロックから順に切り捨て処理を行うことで前記符号化データの量を制御することを特徴とする映像信号符号化装置。
2. 前記コントロールマップ作成手段は、さらに、ウェーブレット変換の際に生成されたサブバンド毎にコントロールマップ情報を作成することを特徴とする請求項１記載の映像信号符号化装置。
3. エントロピー符号化手段は、係数量子化手段から得られた量子化係数を、コードブロックと称するブロック単位でエントロピー符号化することを特徴とする請求項１または請求項２記載の映像信号符号化装置。
4. エントロピー符号化手段は、コードブロック内の量子化係数をバイナリデータからなるビットプレーンに分解し、前記ビットプレーン毎に算術符号化を行うことを特徴とする請求項３記載の映像信号符号化装置。
5. ウェーブレット変換手段は、入力映像信号を複数個の矩形形状のタイルに分割してウェーブレット変換処理することを特徴とする請求項１から請求項４記載の映像信号符号化装置。
6. 入力映像信号は、複数フレームの連続した画像であり、前記連続した画像を１フレームずつ順次符号化することを特徴とする請求項１から請求項５記載の映像信号符号化装置。
7. さらに、前記ブロック分割手段から得られたブロック毎に現在のフレームと次のフレームとの間の前方動きベクトルを求めるベクトル検出手段を備え、
   前記優先度は、さらに、前記輪郭情報作成手段から得られた輪郭情報で示される領域内に含まれるブロックに対して、前記ベクトル検出手段から得られたブロック単位の前方動きベクトルが小さいブロック画像に対して高い優先度を割り当てるように設定することを特徴とする請求項６記載の映像信号符号化装置。
8. さらに、前記ブロック分割手段から得られたブロック毎に現在のフレームと次のフレームとの間の前方動きベクトルを求める前方ベクトル検出手段と、前記前方ベクトル検出手段が前記前方動きベクトルを検出する際に計算するフレーム間の差分情報を利用してシーンカットの有無を検出するシーンカット検出手段と、前記シーンカット検出手段がシーンカットを検出した場合に前記ブロック分割手段から得られたブロック毎に現在のフレームと前のフレームとの間の後方動きベクトルを求める後方ベクトル検出手段を備え、
   前記優先度は、さらに、前記輪郭情報作成手段から得られた輪郭情報で示される領域内に含まれるブロックに対して、前記シーンカットが検出されない場合には前記前方ベクトル検出手段から得られたブロック単位の前方動きベクトルが小さいブロック画像に対して高い優先度を割り当てるように設定し、前記シーンカットが検出された場合には前記後方ベクトル検出手段から得られたブロック単位の後方動きベクトルが小さいブロック画像に対して高い優先度を割り当てるように設定することを特徴とする請求項６記載の映像信号符号化装置。
9. マップ情報作成手段は、輪郭情報及びアクティビティ若しくは前方動きベクトル若しくは後方動きベクトルのうち、少なくとも１つの情報を使用して１段目の分割ステージのコントロールマップ情報を作成する最上位マップ作成手段と、直前の分割ステージで作成されたコントロールマップ情報より、直前の分割ステージで作成されたコントロールマップ情報に含まれる複数の優先度から生成した一つの優先度を含む、現在の分割ステージのコントロールマップ情報を作成する（ｎ−１）個の階層マップ作成手段（ｎは分割ステージ数）とを有することを特徴とする請求項１から８記載の映像信号符号化装置。
10. マップ情報作成手段は、輪郭情報及びアクティビティ若しくは前方動きベクトル若しくは後方動きベクトルのうち、少なくとも１つの情報を使用してコントロールマップ情報を作成する基準マップ作成手段と、前記基準マップ作成手段から得られたコントロールマップ情報若しくは自身の作成したコントロールマップ情報をダウンサンプルして次の分割ステージのサブバンド用のコントロールマップ情報を作成するマップダウンサンプル手段とを有することを特徴とする請求項１から８記載の映像信号符号化装置。
11. 入力映像信号に水平・垂直方向のウェーブレット変換を施すウェーブレット変換ステップと、前記ウェーブレット変換ステップから得られたウェーブレット変換係数を量子化する係数量子化ステップと、前記係数量子化ステップから得られた量子化係数をエントロピー符号化するエントロピー符号化ステップと、前記エントロピー符号化ステップから得られた符号化データの量を所定の符号化レートにあわせるため、必要に応じて前記符号化データの切り捨て処理を行うレート制御ステップと、前記入力映像信号と前記ウェーブレット変換ステップから得られたウェーブレット変換係数から前記レート制御ステップが前記符号化データの量を制御する為に使用するコントロールマップ情報を作成するコントロールマップ作成ステップとを有し、
    前記コントロールマップ作成ステップは、ウェーブレット変換ステップから得られたウェーブレット変換係数を使用して入力映像信号の輪郭情報を作成する輪郭情報作成ステップと、前記入力映像信号を水平・垂直サイズが前記コードブロックの２倍のブロックに分割するブロック分割ステップと、前記ブロック分割ステップから得られたブロック毎に前記入力映像信号のアクティビティを計算するアクティビティ検出ステップと、前記ウエーブレット変換ステップにおいて前記入力映像信号を分割したサブバンドの分割ステージ数が大きくなるほど符号化データの優先度を高く設定し、同一分割ステージのサブバンド同士は、高周波成分を多く含む領域ほど優先度を低く設定し、さらに、前記輪郭情報作成ステップから得られた輪郭情報で示される領域内に含まれるブロックに対して前記アクティビティ検出ステップから得られたブロック単位のアクティビティをもとに前記アクティビティが小さいほど優先度が高くなるように設定し、また、当該輪郭情報により切り出された同一の領域内に含まれるブロック画像の優先度は同一となるように設定した優先度を算出するステップと、前記優先度を含む、前記レート制御ステップが符号化制御を行うためのコントロールマップ情報を作成するマップ情報作成ステップと、前記マップ情報作成ステップから得られたコントロールマップ情報を一時的に記憶するマップ記憶ステップとを有し、前記レート制御ステップは前記優先度が低いブロックから順に切り捨て処理を行うこ とで前記符号化データの量を制御することを特徴とする映像信号符号化方法。
12. さらに、前記ブロック分割ステップから得られたブロック毎に現在のフレームと次のフレームとの間の前方動きベクトルを求めるベクトル検出ステップと、
    前記優先度を算出するステップは、さらに、前記優先度を、前記輪郭情報作成ステップから得られた輪郭情報で示される領域内に含まれるブロックに対して前記ベクトル検出ステップから得られたブロック単位の前方動きベクトルが小さいブロック画像に対して高い優先度を割り当てるように設定することを特徴とする請求項１１記載の映像信号符号化方法。
13. さらに、前記ブロック分割ステップから得られたブロック毎に現在のフレームと次のフレームとの間の前方動きベクトルを求める前方ベクトル検出ステップと、前記前方ベクトル検出ステップが前記前方動きベクトルを検出する際に計算するフレーム間の差分情報を利用してシーンカットの有無を検出するシーンカット検出ステップと、前記シーンカット検出ステップがシーンカットを検出した場合に前記ブロック分割ステップから得られたブロック毎に現在のフレームと前のフレームとの間の後方動きベクトルを求める後方ベクトル検出ステップとを含み、
    前記優先度を算出するステップは、さらに、前記優先度を、前記輪郭情報作成ステップから得られた輪郭情報で示される領域内に含まれるブロックに対して、前記シーンカットが検出されない場合には前記前方ベクトル検出ステップから得られたブロック単位の前方動きベクトルが小さいブロック画像に対して高い優先度を割り当てるように設定し、前記シーンカットが検出された場合には前記後方ベクトル検出ステップから得られたブロック単位の後方動きベクトルが小さいブロック画像に対して高い優先度を割り当てるように設定することを特徴とする請求項１１記載の映像信号符号化方法。
14. マップ情報作成ステップは、輪郭情報及びアクティビティ若しくは前方動きベクトル若しくは後方動きベクトルのうち、少なくとも１つの情報を使用して１段目の分割ステージのコントロールマップ情報を作成する最上位マップ作成ステップと、直前の分割ステージで作成されたコントロールマップ情報より、直前の分割ステージで作成されたコントロールマップ情報に含まれる複数の優先度から生成した一つの優先度を含む、現在の分割ステージのコントロールマップ情報を作成する（ｎ−１）個の階層マップ作成ステップ（ｎは分割ステージ数）とを有することを特徴とする請求項１１から１３記載の映像信号符号化方法。
15. マップ情報作成ステップは、輪郭情報及びアクティビティ若しくは前方動きベクトル若しくは後方動きベクトルのうち、少なくとも１つの情報を使用してコントロールマップ情報を作成する基準マップ作成ステップと、前記基準マップ作成ステップから得られたコントロールマップ情報若しくは自身の作成したコントロールマップ情報をダウンサンプルして次の分割ステージのサブバンド用のコントロールマップ情報を作成するマップダウンサンプルステップとを有することを特徴とする請求項１１から１３記載の映像信号符号化方法。

Images