JP5950541B2

JP5950541B2 - 動きベクトル符号化装置、動きベクトル符号化方法及びプログラム、動きベクトル復号装置、動きベクトル復号方法及びプログラム

Info

Publication number: JP5950541B2
Application number: JP2011243936A
Authority: JP
Inventors: 前田　充; 充前田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-11-07
Filing date: 2011-11-07
Publication date: 2016-07-13
Anticipated expiration: 2031-11-07
Also published as: CN103931191A; CN108600763B; CN108366268B; CN108347617A; US20140301446A1; US9681126B2; US10397567B2; CN108600763A; CN108366267B; CN108366268A; JP2013102296A; CN108366267A; WO2013069231A1; US20180316917A1; CN108347617B; US10045045B2; CN103931191B; US20170111653A1; US20190356910A1; CN108600764A

Description

本発明は画像の符号化・復号において、動き補償を行う際の動きベクトルの符号化、復号に関する。

動画像の圧縮記録の符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣ（以下Ｈ．２６４と略す）が知られている（非特許文献１）。Ｈ．２６４においては従来の符号化方式と同様に他のピクチャを参照して動き補償を行うことによって符号化効率を向上させている。マクロブロック（１６画素×１６画素）単位またはブロック（８画素×８画素等）単位に動きベクトルを符号化することできる。動きベクトルの符号化においては周囲のブロック（左、上、右上）の動きベクトルの中央値を用いて予測動きベクトルを算出し、これと符号化対象の動きベクトルとの誤差を符号化している。また、Ｈ．２６４では階層符号化を行うことができる。非特許文献１のＡｎｎｅｘＧＳｃａｌａｂｌｅｖｉｄｅｏｃｏｄｉｎｇの章に記載されている。空間スケーラビリティの場合、拡張レイヤの動きベクトルの符号化時に通常の動きベクトルの中央値の代わりに、基本レイヤのブロックの動きベクトルを拡大して予測動きベクトル（以後、レイヤ間予測動きベクトルと呼ぶ）とすることができる。すなわち、ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇを用いて、この値が真であれば拡大して得られた動きベクトルを用いることができる。

また、近年、Ｈ．２６４の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。このために、ＪＣＴ−ＶＣ（ＪｏｉｎｔＣｏｌｌａｂｏｒａｔｉｖｅＴｅａｍｏｎＶｉｄｅｏＣｏｄｉｎｇ）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立された。ここではＨｉｇｈＥｆｆｉｃｉｅｎｃｙＶｉｄｅｏＣｏｄｉｎｇ符号化方式（以下、ＨＥＶＣと略す）として標準化が進められている。ＨＥＶＣでは動きベクトルの新しい符号化方式として、ＡｄｖａｎｃｅｄＭｏｔｉｏｎＶｅｃｔｏｒＰｒｅｄｉｃｔｉｏｎ（以下、ＡＭＶＰ）が提案されている（非特許文献２）。ＡＭＶＰでは周囲のブロックの動きベクトルの中央値を参照動きベクトルとするだけではなく、周囲のブロックの動きベクトル自体も参照動きベクトルとなる。また、周囲のブロックの動きベクトルだけではなく、符号化順で前のピクチャの同じ位置のブロックの動きベクトル（以後、時間方向予測動きベクトル）も含めて予測動きベクトルとする。これらの予測動きベクトルから同じ成分の動きベクトルをまとめることで対象となる動きベクトルを削減し、この中から最も近い動きベクトルを選択する。選択された動きベクトルを識別する符号（以下、予測ベクトルインデックス符号）と予測の結果の予測誤差を符号化する。これにより、符号化効率の向上を図っている。

ＩＳＯ／ＩＥＣ１４４９６−１０：２０１０Ｉｎｆｏｒｍａｔｉｏｎｔｅｃｈｎｏｌｏｇｙ−−Ｃｏｄｉｎｇｏｆａｕｄｉｏ−ｖｉｓｕａｌｏｂｊｅｃｔｓ−−Ｐａｒｔ１０：ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇＪＣＴ−ＶＣ寄書ＪＣＴＶＣ−Ａ１２４＿ｒ２．ｄｏｃインターネット＜ｈｔｔｐ：／／ｗｆｔｐ３．ｉｔｕ．ｉｎｔ／ａｖ−ａｒｃｈ／ｊｃｔｖｃ−ｓｉｔｅ／２０１０＿０４＿Ａ＿Ｄｒｅｓｄｅｎ／＞

ＨＥＶＣにおいて、階層符号化を実現しようとした時、Ｈ．２６４のように拡張レイヤの動きベクトルまたは基本レイヤの動きベクトルを参照するかを選択することになる。しかしながら、Ｈ．２６４のように参照動きベクトルを選択するのであれば前述の方式でも構わないが、ＡＭＶＰによる予測ベクトルインデックス符号とレイヤ間動きベクトルの予測を選択するフラグが必要になり符号化効率が向上しないという問題が生じている。
したがって、本発明は上述した課題を解決するためになされたものであり、階層符号化の拡張レイヤでの動きベクトルの符号化をより簡易な構成で行い、符号化効率の向上を図ることを目的としている。

上記課題を解決するため、本発明の画像符号化装置は以下の構成を有する。画像を複数のレイヤを用いて階層符号化する場合に用いられる動きベクトルを符号化する符号化装置であって、符号化対象の画像が属する第１レイヤにおける、符号化対象のブロックが属する画像より前に符号化済みの画像の、当該符号化対象のブロックに対応する位置にあるブロックの動きベクトルである第１ベクトルと、符号化対象の画像が属する第１レイヤと異なる第２レイヤにおける画像の、符号化対象のブロックに対応する位置にあるブロックの動きベクトルである第２ベクトルと、符号化対象の画像が属する第１レイヤにおける画像の、符号化対象のブロックの周囲のブロックの動きベクトルである第３ベクトルと、を取得する取得手段と、前記第１ベクトル、前記第２ベクトル、及び前記第３ベクトルのうち、前記取得手段によって取得すべき候補となるベクトル群を決定し、当該決定に基づいて取得された候補となるベクトル群のうち、符号化対象のブロックの動きベクトルの予測に用いる予測動きベクトルを決定する決定手段とを有し、前記決定手段は、前記第２ベクトルが前記候補となるベクトル群に存在する場合に、前記第１ベクトルを前記候補となるベクトル群に含めずに、前記第２ベクトルと、前記第３ベクトルとのうちの少なくともいずれか一つを、前記候補となるベクトル群として決定することを特徴とする。

また、本発明の画像復号装置は以下の構成を有する。複数のレイヤを用いて階層符号化されたビットストリームから動きベクトルを復号する復号装置であって、復号対象の画像が属する第１レイヤにおける、復号対象のブロックが属する画像より前に復号済みの画像の、当該復号対象のブロックに対応する位置にあるブロックの動きベクトルである第１ベクトルと、復号対象の画像が属する第１レイヤと異なる第２レイヤにおける画像の、復号対象のブロックに対応する位置にあるブロックの動きベクトルである第２ベクトルと、復号対象の画像が属する第１レイヤにおける画像の、復号対象のブロックの周囲のブロックの動きベクトルである第３ベクトルと、を取得する取得手段と、前記第１ベクトル、前記第２ベクトル、及び前記第３ベクトルのうち、前記取得手段によって取得すべき候補となるベクトル群を決定し、当該決定に基づいて取得された候補となるベクトル群のうち、復号対象のブロックの動きベクトルの予測に用いる予測動きベクトルを決定する決定手段とを有し、前記決定手段は、前記第２ベクトルが前記候補となるベクトル群に存在する場合に、前記第１ベクトルを前記候補となるベクトル群として含めずに、前記第２ベクトルと、前記第３ベクトルとのうちの少なくともいずれか一つを、前記候補となるベクトル群として決定することを特徴とする。

本発明により、拡張レイヤの周囲ブロックないし前に符号化されたピクチャのブロックの動きベクトル及び基本レイヤの動きベクトルの参照を同一に扱う。これにより、ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇと識別情報をまとめることが可能になり、符号化効率をさらに向上させることができる。

実施形態１における画像符号化装置の構成を示すブロック図実施形態１に係る画像符号化装置における動きベクトル符号化部１０２の詳細なブロック図実施形態１に係る画像符号化装置における動きベクトル符号化部１０５の詳細なブロック図実施形態１に係る画像符号化装置における基本レイヤ動きベクトル符号化処理を示すフローチャート実施形態１に係る画像符号化装置における拡張レイヤ動きベクトル符号化処理を示すフローチャートブロックと動きベクトルの一例を示す図実施形態２に係る画像復号装置の構成を示すブロック図実施形態２に係る動きベクトル復号部７０１の詳細なブロック図実施形態２に係る動きベクトル復号部７０４の詳細なブロック図実施形態２における画像復号装置における基本レイヤ動きベクトル復号処理を示すフローチャート実施形態２における画像復号装置における拡張レイヤ動きベクトル復号処理を示すフローチャート実施形態３に係る画像符号化装置における動きベクトル符号化部１０５の詳細なブロック図実施形態３に係る画像符号化装置における拡張レイヤ動きベクトル符号化処理を示すフローチャート実施形態４に係る動きベクトル復号部７０４の詳細なブロック図実施形態４に係る画像符号化装置における拡張レイヤ動きベクトル符号化処理を示すフローチャートブロックと動きベクトルの一例を示す図本発明の画像符号化装置、復号装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図

以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
以下、本発明の実施形態を、図面を用いて説明する。図１は本実施形態の画像符号化装置を示すブロック図である。図１において、１０６は画像データを入力する端子である。１０７は入力された画像データをピクチャ毎に格納するフレームメモリである。１１３は変倍部であり、入力された画像データを倍率ｎ／ｍ（ｎ、ｍは正の数）で変倍する。１１４は変倍された画像データをピクチャ単位で格納するフレームメモリである。１０８、１１５は予測部であり、画像データを複数のブロックに切り出し、フレーム内予測であるイントラ予測や、動き補償によるインター予測等を行い、予測画像データを生成する。但し、予測の方法についてはこれらに限定されない。さらに入力された画像データと前記予測画像データから予測誤差を算出し、出力する。インター予測を行う場合は符号化済みの他のピクチャを参照し、動きベクトルを算出し、出力する。また予測に必要な情報、例えば、イントラ予測モード等の情報も予測誤差と併せて出力される。１０９、１１６は前記予測誤差をブロック単位で直交変換して変換係数を得て、さらに量子化を行い、量子化係数を得る変換・量子化部である。１１２、１１９は再生された画像データを格納しておくフレームメモリである。１１１、１１８は画像再生部である。ブロック単位で量子化係数を入力し、逆量子化を行って、変換係数を得て、さらに逆直交変換を行い、予測誤差を再生する。予測部１０８、１１５から動きベクトルや予測に関する情報からフレームメモリ１１２、１１９を適宜参照して予測画像データを生成し、これと再生された予測誤差から再生画像データを生成し、出力する。１１０、１１７は変換・量子化部１０９、１１６から出力された量子化係数を符号化して量子化係数符号データを生成する係数符号化部である。

１００は本発明に関する動きベクトル符号化装置である。１０１、１０４はブロック単位で動きベクトルを保持する動きベクトル保持部である。動きベクトル保持部１０４は予測部１０８で生成された動きベクトルを、動きベクトル保持部１０１は予測部１１５で生成された動きベクトルを、保持しておく。１０２、１０５は予測部１０８、１１５で生成したブロックの動きベクトルを符号化して動きベクトル符号データを生成する動きベクトル符号化部である。１０３は変倍部１１３の変倍率に応じて動きベクトルを変倍する動きベクトル変倍部である。１２０は変倍部であり、変倍部１１３と逆の変倍率（ｍ／ｎ）でフレームメモリ１１９の画像データを変倍する。

１２１、１２２は統合符号化部である。ヘッダ情報や予測に関する情報の符号データを生成するとともに、動きベクトル符号化部１０２、１０５で生成された動きベクトル符号データおよび係数符号化部１１０、１１７で生成された量子化係数符号データを統合する。

ここで、フレームメモリ１１４、１１９、予測部１１５、変換・量子化部１１６、係数符号化部１１７、画像再生部１１８、動きベクトル保持部１０１、動きベクトル符号化部１０２は基本レイヤの画像データを符号化する。また、フレームメモリ１０７、１１２、予測部１０８、変換・量子化部１０９、係数符号化部１１０、画像再生部１１１、動きベクトル保持部１０４、動きベクトル符号化部１０５は拡張レイヤの画像データを符号化する。

１２３はこれらの基本レイヤの符号データと拡張レイヤの符号データを多重化してビットストリームを形成する多重化部である。１２４は端子であり、多重化部１２３で生成されたビットストリームを外部に出力する端子である。

上記画像符号化装置における画像の符号化動作を以下に説明する。最初に基本レイヤの符号化動作について説明する。

端子１０６から入力された１フレーム分の画像データはフレームメモリ１０７に格納される。変倍部１１３ではフレームメモリ１０７に格納された画像データを所定の倍率ｎ／ｍで変倍する。空間スケーラビリティの場合、ｎ／ｍは１未満の値となる。変倍された画像データはフレームメモリ１１４に格納される。また、変倍率は変倍部１２０、動きベクトル変倍部１０３に入力される。

予測部１１５はイントラ予測または動き補償によるインター予測を行う。変倍部１２０はフレームメモリ１１９の基本レイヤの画像データをｍ／ｎ倍に変倍して基本レイヤの参照画像データを生成する。インター予測の場合はフレームメモリ１１９に格納されている符号化済みのピクチャと基本レイヤの参照画像データを参照し、動きベクトルを算出する。算出された動きベクトルは画像再生部１１８、動きベクトル保持部１０１に入力される。動きベクトル保持部１０１はブロック単位で動きベクトルを保持する。また、予測部１１５は生成した予測誤差を変換・量子化部１１６に入力する。変換・量子化部１１６で生成された量子化係数は係数符号化部１１７に入力され、エントロピー符号化され量子化係数符号データを生成する。エントロピー符号化の方法は特に限定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。また、量子化係数、動きベクトル及び予測に関する情報が画像再生部１１８に入力され、符号化対象のブロックの再生画像を生成し、フレームメモリ１１９に格納される。

予測部１１５で生成された動きベクトルは動きベクトル符号化部１０２で符号化され、動きベクトル符号データを生成する。図２に動きベクトル符号化部１０２の詳細なブロック図を示す。図２において、２０１は端子であり、動きベクトル保持部１０１から動きベクトルを入力する。２０２は端子であり、予測部１１５から符号化対象ブロックの動きベクトルを入力する。２０３は動きベクトル抽出部であり、端子２０１を通じて符号化対象ブロックの周囲の動きベクトルないし前に符号化されたピクチャの動きベクトルを抽出する。２０４は動きベクトル統合部であり、同じ成分の動きベクトルをまとめ、参照動きベクトル群を生成する。また、参照動きベクトル群ではまとめられた動きベクトルを所定の順に並べられている。並べ方に関しては特に限定しないが、成分の大きさ順、発生確率の高い順、抽出されたブロックの位置等に基づいて並べられる。並べ方は復号側と同じ方法をとればいずれの方法でも構わない。

２０５は予測動きベクトル選択部であり、端子２０２から符号化対象のブロックの動きベクトルを、動きベクトル統合部２０４から参照動きベクトル群を入力する。入力された参照動きベクトル群から符号化対象のブロックの動きベクトルに最も近い動きベクトルを予測動きベクトルとして選択する。選択された予測動きベクトルを参照動きベクトル群で識別するための識別番号と、選択された予測動きベクトルを出力する。２０６はインデックス符号化部であり、出力された識別番号を符号化して識別情報符号データを生成する。識別番号の符号化の方法は特に限定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。２０７は予測部であり、入力された予測動きベクトルで符号化対象のブロックの動きベクトルを予測した時の予測誤差を出力する。２０８は動きベクトルの予測誤差を符号化して動きベクトル予測誤差符号データを生成する動きベクトル誤差符号化部である。動きベクトルの予測誤差を符号化する方法は特に限定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。２０９は符号形成部であり、識別情報符号データと動きベクトル予測誤差符号データを成形して動きベクトル符号データを生成する。２１０は端子であり、生成された動きベクトル符号データを図１の統合符号化部１２２に出力する。

上記の構成で基本レイヤの動きベクトルの符号化動作を以下に説明する。

動きベクトル抽出部２０３は符号化する基本レイヤのブロックの周囲のブロックの動きベクトル、時間方向予測動きベクトルを、端子２０１を介して入力する。これらの動きベクトルは動きベクトル統合部２０４に入力され、動きベクトルの成分を比較し、同じものをまとめて参照動きベクトル群を生成する。図６に動きベクトルの抽出・統合の様子を示す。６００は第ｎ番目の拡張レイヤのピクチャを表し、６０１は第ｎ−１番目の拡張レイヤのピクチャを表す。６０３は符号化対象のブロックであり、６０４、６０５、６０６は符号化対象ブロックに隣接するブロックを表す。６０７は第ｎ−１番目の拡張レイヤのピクチャでブロック６０３と同じ位置のブロックを表す。６０９は符号化対象ブロックの動きベクトルを表し、６１０、６１１、６１２、６１３は各ブロックの動きベクトルを表す。ここで、動きベクトル６１１と６１２が同じ成分だった場合に参照動きベクトル群は動きベクトル６１３、６１２、６１０となる。

生成された参照動きベクトル群は予測動きベクトル選択部２０５に入力される。端子２０２から入力された符号化対象のブロックの動きベクトルは予測動きベクトル選択部２０５で参照動きベクトル群の動きベクトルと比較される。参照動きベクトル群の中から符号化対象のブロックの動きベクトルと最も近い成分の動きベクトルを予測動きベクトルとして選択する。選択された動きベクトルを参照動きベクトル群で識別するために順番を表す識別番号を生成し、インデックス符号化部２０６で符号化し、識別情報符号データを生成する。また、予測動きベクトルは予測部２０７に入力され、符号化対象のブロックの動きベクトルを予測して予測誤差を算出し、動きベクトル誤差符号化部２０８に出力する。動きベクトル誤差符号化部２０８では予測誤差を符号化し、動きベクトル予測誤差符号データを生成する。識別情報符号データと動きベクトル予測誤差符号データは符号成形部２０９で成形され動きベクトル符号データとして端子２１０から出力される。

図１に戻り、生成された動きベクトル符号データと係数符号化部１１７で生成された量子化係数符号データは統合符号化部１２２に入力され、ブロック単位の符号データを生成する。生成された符号データは多重化部１２３に入力される。

続いて、拡張レイヤの画像データの符号化動作について説明する。

予測部１０８はフレームメモリ１０７に格納された画像データに対して、ブロック分割を行い、ブロック単位でイントラ予測または動き補償によるインター予測を行う。インター予測の場合はフレームメモリ１１２に格納されている符号化済みのピクチャを参照し、動きベクトルを算出する。算出された動きベクトルは画像再生部１１１、動きベクトル保持部１０４に入力される。動きベクトル保持部１０４はブロック単位で動きベクトルを保持する。また、予測部１０８は生成した予測誤差を変換・量子化部１０９に入力する。変換・量子化部１０９で生成された量子化係数は係数符号化部１１０に入力され、係数符号化部１１７と同様にエントロピー符号化され量子化係数符号データを生成する。また、量子化係数、動きベクトル及び予測に関する情報が画像再生部１１１に入力され、画像再生部１１８と同様に符号化対象のブロックの再生画像を生成し、フレームメモリ１１２に格納される。

予測部１０８で生成された動きベクトルは動きベクトル符号化部１０５で符号化され、動きベクトル符号データを生成する。動きベクトル符号化部１０５での動きベクトルの符号化に先立ち、動きベクトル変倍部１０３は符号化対象の拡張レイヤのブロックに対応する基本レイヤのブロックの位置の動きベクトルを動きベクトル保持部１０１から抽出する。抽出された動きベクトルは変倍部１１３から出力された変倍率（ｎ／ｍ）に応じてｍ／ｎ倍され、レイヤ間予測動きベクトルとして動きベクトル符号化部１０５に出力される。図６で動きベクトルの抽出・統合の様子を示す。６０２は第ｎ番目の拡張レイヤの対応する基本レイヤのピクチャを表す。６０８は拡張レイヤの符号化対象のブロックに対応する位置のブロックを表す。６１４は基本レイヤのブロック６０８の動きベクトルを表す。動きベクトル６１４は変倍されて、拡張レイヤの解像度と同じ精度のレイヤ間予測動きベクトルとなる。ここで、動きベクトル６１１と６１２及びレイヤ間予測動きベクトルが同じ成分だった場合に参照動きベクトル群はレイヤ間予測動きベクトル、動きベクトル６１３、６１０となる。

図３に動きベクトル符号化部１０５の詳細なブロック図を示す。図３において、図２のブロックと同様の機能を実現するブロックについては同じ番号を付し、説明を省略する。３０１は端子であり、動きベクトル変倍部１０３からレイヤ間予測動きベクトルを入力する。３０３は動きベクトル抽出部であり、端子２０１を通じて拡張レイヤの符号化対象ブロックの周囲の動きベクトルないし前に符号化されたピクチャの動きベクトルを抽出し、端子３０１からレイヤ間予測動きベクトルを入力する。３０４は動きベクトル統合部であり、同じ成分の動きベクトルをまとめ、参照動きベクトル群を生成する。また、参照動きベクトル群ではまとめられた動きベクトルを所定の順に並べられている。並べ方に関しては特に限定しないが、先頭にレイヤ間予測動きベクトルを配置する。それ以外は成分の大きさ順、発生確率の高い順、抽出されたブロックの位置等に基づいて並べても良い。なお、端子２０１は動きベクトル保持部１０４に接続され、端子２０２は予測部１０８に接続され、端子２１０は統合符号化部１２１に接続されている。

上記の構成で拡張レイヤの動きベクトルの符号化動作を以下に説明する。

動きベクトル抽出部３０３は符号化する拡張レイヤのブロックの周囲のブロックの動きベクトル、時間方向予測動きベクトル、レイヤ間予測動きベクトルを入力する。これらの動きベクトルは動きベクトル統合部３０４で動きベクトルの成分を比較し、同じものをまとめて参照動きベクトル群を生成する。参照動きベクトル群ではまとめられた動きベクトルを所定の順に並べる。生成された参照動きベクトル群は予測動きベクトル選択部２０５に入力される。以下、基本レイヤの動きベクトル符号化部１０２と同様に、符号化対象のブロックの動きベクトルと参照動きベクトル群の動きベクトルと比較をし、予測動きベクトルを選択し、識別番号を生成し、符号化して、識別情報符号データを生成する。符号化対象のブロックの動きベクトルの予測誤差を算出し、符号化し、動きベクトル予測誤差符号データを生成する。識別情報符号データと動きベクトル予測誤差符号データは符号成形部２０９で成形され動きベクトル符号データとして端子２１０から出力される。

図１に戻り、生成された動きベクトル符号データは係数符号化部１１０で生成された量子化係数符号データは統合符号化部１２１に入力され、ブロック単位の符号データを生成する。生成された符号データは多重化部１２３に入力される。

多重化部１２３では所定の書式にしたがってこれらの符号データを多重化し、ビットストリームとして端子１２４から外部に出力する。

図４は、実施形態１に係る画像符号化装置における基本レイヤの動きベクトル符号化処理を示すフローチャートである。まず、ステップＳ４０１にて、基本レイヤの符号化対象のブロックの動きベクトルが入力され、後段での参照のため、保持される。ステップＳ４０２にて、基本レイヤの符号化対象のブロックの周囲のブロックまたは基本レイヤの符号化済みのピクチャの同一位置のブロックの動きベクトルを保持された符号化済みの基本レイヤの動きベクトルの中から抽出する。ステップＳ４０３にて、ステップＳ４０２で抽出された動きベクトルで同じ成分の動きベクトルをまとめ、所定の順番に並べ替え、参照動きベクトル群を生成する。ステップＳ４０４にて、ステップＳ４０３で生成された参照動きベクトル群と基本レイヤの符号化対象ブロックの動きベクトルを比較し、最も近い動きベクトルを基本レイヤの予測動きベクトルとして選択し、識別情報を生成する。ステップＳ４０５にて、符号化対象の動きベクトルを予測動きベクトルから予測誤差を算出する。ステップＳ４０６にて、ステップＳ４０４で生成された識別情報を符号化する。ステップＳ４０７にて、基本レイヤの動きベクトルの予測誤差を符号化する。

また、図５は、実施形態１に係る画像符号化装置における拡張レイヤの動きベクトル符号化処理を示すフローチャートである。図５において、図４のブロックと同様の機能を実現するステップについては同じ番号を付し、説明を省略する。まず、ステップＳ５０１にて、拡張レイヤの符号化対象のブロックの動きベクトルが入力され、後段での参照のため、保持される。ステップＳ５０２にて、拡張レイヤの符号化対象のブロックの周囲のブロックまたは符号化済みの拡張レイヤのピクチャの同一位置のブロックの動きベクトルを保持された拡張レイヤの動きベクトルの中から抽出する。ステップＳ５０３にて、拡張レイヤの符号化対象ブロックの位置に該当する基本レイヤのブロックの動きベクトルを抽出する。ステップＳ５０４にて、抽出された基本レイヤの動きベクトルを変倍し、レイヤ間予測動きベクトルを算出する。ステップＳ５０５にて、ステップＳ５０２で抽出された動きベクトル、及びレイヤ間予測動きベクトルで同じ成分の動きベクトルをまとめ、所定の順番に並べ替え、参照動きベクトル群を生成する。以下、図４の基本レイヤの動きベクトル符号化と同様に、ステップＳ５０４からステップＳ５０６にて、予測動きベクトルを決定し、識別情報を生成する。さらに、予測動きベクトルから予測誤差を算出する。生成された識別情報と動きベクトルの予測誤差を符号化する。

以上の構成と動作により、拡張レイヤの動きベクトル符号化において、基本レイヤの動きベクトルを用いて効率的な符号化を行うことができる。なお、変倍の倍率が１である場合、変倍部１１３、１２０、動きベクトル変倍部１０３は省略が可能である。

なお、動きベクトル統合部２０４でレイヤ間予測動きベクトルを必ず参照動きベクトル群の先頭に割り当てることも可能である。これにより、参照される可能性の非常に高いレイヤ間予測動きベクトルに短い符号が割当たりやすくすることでさらに符号化効率の向上が可能である。

なお、動きベクトル抽出部２０３は時間方向予測動きベクトル符号化済みのピクチャの同じ位置のブロックの動きベクトルを入力したが、これに限定されない。例えばレイヤ間予測動きベクトルが存在する場合は時間方向予測動きベクトルの入力を省略しても構わない。

なお、動きベクトル統合部３０４はレイヤ間予測動きベクトルを先頭に配置する場合について説明したが、時間方向予測動きベクトルに続く順番でも構わない。さらには動きベクトル統合部２０４と同様に特に配置を決めなくても構わない。

なお、符号化効率向上のため、動きベクトル統合部で同じ成分を持つ動きベクトルをまとめることを行ったが、これに限定されず、固定の数の動きベクトルを選択しても良い。さらには動きベクトル統合部を省略しても構わない。

また、基本レイヤの符号化装置と拡張レイヤの符号装置が個別にあり、変倍部１１３、変倍部１２０が外部にある構成でも構わない。

なお、参照動きベクトル群の動きベクトルとして図６に示す位置のブロックを参照したが、これに限定されない。例えばブロック６０４の右に隣接するブロックの動きベクトルを加えても構わないし、これらの動きベクトルの中央値からなる動きベクトルを加えても構わない。また、基本レイヤから参照される動きベクトルは同一位置に限定されない。図１６のようにブロック６０８の下のブロック１６０１の動きベクトル１６０４、右下のブロック１６０２の動きベクトル１６０５、右のブロック１６０３の動きベクトル１６０６を参照しても構わない。また、さらに他のブロックの動きベクトルを参照しても構わない。

＜実施形態２＞
図７は、本発明の実施形態２に係る画像復号装置の構成を示すブロック図である。本実施形態では、実施形態１で生成された符号化データの復号を例にとって説明する。

７０６は符号化されたビットストリームを入力する端子である。７０７はビットストリームを基本レイヤの符号データと拡張レイヤの符号データに分離する分離部である。分離部７０７は図１の多重化部１２３の逆の動作を行う。７０８と７１５は統合復号部であり、基本レイヤと拡張レイヤに関してヘッダ情報や予測に関する情報の符号データの復号を行い、量子化係数符号データと動きベクトル符号データを分離し、後段に出力する。７０９、７１６は係数復号部であり、図１の係数符号化部１１７、１１０と逆の動作を行って、量子化係数を再生する。７１０、７１７は逆量子化・逆変換部である。入力された量子化係数に対して、図１の変換・量子化部１１６、１０９と逆の動作を行い、逆量子化によって直交変換係数を再生し、逆直交変換によって、予測誤差を生成する。

７００は本発明に関する動きベクトル復号装置である。７０１、７０４は動きベクトル符号データを復号し、復号対象ブロックの動きベクトルを再生する動きベクトル復号部である。７０２、７０５はブロック単位で動きベクトルを保持する動きベクトル保持部である。７０６は図１の変倍部１１３と同じ変倍率に応じて動きベクトルを変倍する動きベクトル変倍部である。変倍率の算出については特に限定しない。基本レイヤの解像度と拡張レイヤの解像度の比を算出しても良いし、所定の値を設定しても構わない。

７１２、７１３、７１９、７２０はフレームメモリであり、再生されたピクチャの画像データを格納しておく。

７１１、７１８は画像再生部であり、動きベクトルを入力して復号済みのピクチャの画像データを参照して動き補償を行い、復号された予測誤差を用いて画像データを再生する。７１４は図１の変倍部１１３と同じ変倍率に応じて基本レイヤの画像データを変倍する変倍部である。なお、変倍率の算出については特に限定しない。基本レイヤの解像度と拡張レイヤの解像度の比を算出しても良いし、所定の値を設定しても構わない。７２１、７２２は端子であり、端子７２１は基本レイヤの画像データを出力し、端子７２２は拡張レイヤの画像データを出力する。

ここで、統合復号部７０８、係数復号部７０９、逆量子化・逆変換部７１０、動きベクトル復号部７０１、動きベクトル保持部７０２、画像再生部７１１、フレームメモリ７１２、７１３は基本レイヤの符号データを復号し、基本レイヤの画像データを再生する。また、統合復号部７１５、係数復号部７１６、逆量子化・逆変換部７１７、動きベクトル復号部７０４、動きベクトル保持部７０５、画像再生部７１８、フレームメモリ７１９、７２０は拡張レイヤの符号データを復号し、拡張レイヤの画像データを再生する。

上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では実施形態１で生成されたビットストリームを復号する。

図７において、端子７０６から入力されたビットストリームは分離部７０７に入力され、基本レイヤの符号データと拡張レイヤの符号データに分離され、前者は統合復号部７０８に、後者は統合復号部７１５に入力される。

最初に基本レイヤの符号データの復号動作について説明する。基本レイヤの符号化データは統合復号部７０８に入力される。統合復号部７０８はヘッダ情報や予測に関する情報の符号データの復号を行い、量子化係数符号データと動きベクトル符号データを分離し、動きベクトル符号データを動きベクトル復号部７０１に入力し、量子化係数符号データを係数復号部７０９に入力する。

係数復号部７０９は量子化係数符号データを復号し、量子化係数を再生する。再生された量子化係数は逆量子化・逆変換部７１０に入力され、逆量子化を行って直交変換係数を生成し、更に逆直交変換を施して予測誤差を再生する。再生された予測誤差は画像再生部７１１に入力される。

動きベクトル復号部７０１は動きベクトル符号データを復号し、基本レイヤの復号対象のブロックの動きベクトルを復号する。図８に動きベクトル復号部７０１の詳細なブロック図を示す。図８において、８０１は端子であり、統合復号部７０８から復号対象ブロックの動きベクトル符号データを入力する。８０２は端子であり、動きベクトル保持部７０２から動きベクトルを入力する。８０３は動きベクトル抽出部であり、端子８０２を通じて基本レイヤの復号対象ブロックの周囲の動きベクトルないし前に復号されたピクチャの動きベクトルを抽出する。８０４は動きベクトル統合部であり、図２の動きベクトル統合部２０４と同様な動作を行い、同じ成分の動きベクトルをまとめ、参照動きベクトル群を生成する。８０５は符号分離部であり、動きベクトル符号データから識別情報符号データと動きベクトル予測誤差符号データを分離する。８０６はインデックス復号部であり、識別情報符号データを復号し、識別情報を再生する。インデックス復号部８０６は図２のインデックス符号化部２０６の逆の動作を行って復号する。８０７は動きベクトル誤差復号部であり、動きベクトル予測誤差符号データを復号し、復号対象のブロックの動きベクトルの予測誤差を再生する。動きベクトル誤差復号部８０７は図２の動きベクトル誤差符号化部２０８と逆の動作を行って復号する。８０８は予測動きベクトル選択部である。再生された識別情報を用いて参照動きベクトル群から予測動きベクトルを選択する。８０９は動きベクトル再生部であり、選択された予測動きベクトルと再生された動きベクトルの予測誤差から基本レイヤの復号対象ブロックの動きベクトルを再生する。８１０は端子であり、再生された動きベクトルを図７の画像再生部７１１及び動きベクトル保持部７０２に出力する。

上記の構成で基本レイヤの動きベクトルの復号動作を以下に説明する。端子８０１から入力された基本レイヤの復号対象ブロックの動きベクトル符号データは符号分離部８０５に入力され識別情報符号データと動きベクトル予測誤差符号データに分離される。前者はインデックス復号部８０６に入力され、後者は動きベクトル誤差復号部８０７に入力される。インデックス復号部８０６は識別情報符号データを復号し、識別情報を再生する。また、動きベクトル誤差復号部８０７は動きベクトル予測誤差符号データを復号し、基本レイヤの復号対象ブロックの動きベクトルの予測誤差を再生する。また、図６に示したように動きベクトル抽出部８０３は復号する基本レイヤのブロックの周囲のブロックの動きベクトル、時間方向予測動きベクトルを、端子８０２を介して動きベクトル保持部７０２から抽出する。抽出された動きベクトルは動きベクトル統合部８０４に入力され、図２の動きベクトル統合部２０４と同等に参照動きベクトル群を生成する。

予測動きベクトル選択部８０８はインデックス復号部８０６から識別情報を入力し、参照動きベクトル群から予測動きベクトルを選択する。選択された予測動きベクトルは再生された基本レイヤの復号対象ブロックの動きベクトルの予測誤差とともに動きベクトル再生部８０９に入力される。動きベクトル再生部８０９は再生された予測誤差と予測動きベクトルから復号対象ブロックの動きベクトルを再生する。再生された動きベクトルは端子８１０を介して出力される。

図７に戻り、再生された動きベクトルは画像再生部７１１と動きベクトル保持部７０２に入力される。動きベクトル保持部７０２ではブロック単位で動きベクトルを格納しておく。画像再生部７１１は再生された動きベクトルを用いてフレームメモリ７１３から基本レイヤの復号対象ブロックの予測画像データを算出する。さらに逆量子化・逆変換部７１０で再生された予測誤差を入力し、予測画像データを用いて基本レイヤの画像データを再生する。再生された基本レイヤの画像データはフレームメモリ７１２及びフレームメモリ７１３に格納され、参照に用いられる。再生された基本レイヤの画像データは端子７２１から出力される。

続いて、拡張レイヤの符号データの復号動作について説明する。動きベクトル復号部７０４での動きベクトルの復号に先立ち、動きベクトル変倍部７０３は復号対象の拡張レイヤのブロックに対応する基本レイヤのブロックの位置の動きベクトルを動きベクトル保持部７０２から抽出する。抽出された動きベクトルは変倍率（ｎ／ｍ）に応じてｍ／ｎ倍され、レイヤ間予測動きベクトルとして動きベクトル復号部７０４に出力される。

拡張レイヤの符号化データは統合復号部７１５に入力される。統合復号部７１５はヘッダ情報や予測に関する情報の符号データの復号を行い、量子化係数符号データと動きベクトル符号データを分離し、動きベクトル符号データを動きベクトル復号部７０４に入力し、量子化係数符号データを係数復号部７１６に入力する。

係数復号部７１６は量子化係数符号データを復号し、量子化係数を再生する。再生された量子化係数は逆量子化・逆変換部７１７に入力され、逆量子化を行って直交変換係数を生成し、更に逆直交変換を施して予測誤差を再生する。再生された予測誤差は画像再生部７１８に入力される。

動きベクトル復号部７０４は動きベクトル符号データを復号し、拡張レイヤの復号対象のブロックの動きベクトルを復号する。図９に動きベクトル復号部７０４の詳細なブロック図を示す。図９において、図８のブロックと同様の機能を実現するブロックについては同じ番号を付し、説明を省略する。図９において、９０１は端子であり、動きベクトル変倍部７０３から動きベクトルを入力する。９０３は動きベクトル抽出部であり、端子９０１を通じて図６に示したように、拡張レイヤの復号対象ブロックの周囲の動きベクトルないし前に符号化されたピクチャの動きベクトルを入力する。また、端子９０１から入力されたレイヤ間予測動きベクトルを入力する。９０４は動きベクトル統合部であり、図８の動きベクトル統合部９０４と同様な動作を行い、同じ成分の動きベクトルをまとめ、参照動きベクトル群を生成する。参照動きベクトル群ではまとめられた動きベクトルを所定の順に並べられている。並べ方に関しては特に限定しないが、先頭にレイヤ間予測動きベクトルを配置する。それ以外は成分の大きさ順、発生確率の高い順、抽出されたブロックの位置等に基づいて並べても良い。なお、端子８０１は統合復号部７１５に接続され、端子８０２は動きベクトル保持部７０５に接続され、端子８１０は動きベクトル保持部７０５と画像再生部７１８に接続されている。

上記の構成で拡張レイヤの動きベクトルの復号動作を以下に説明する。動きベクトル抽出部９０３は復号する拡張レイヤのブロックの周囲のブロックの動きベクトル、時間方向予測動きベクトルを、端子８０２を介して動きベクトル保持部７０５から入力する。さらに、レイヤ間予測動きベクトルを、端子９０１をから入力する。これらの動きベクトルは動きベクトル統合部９０４に入力され、図８の動きベクトル統合部８０４と同等に参照動きベクトル群を生成する。以下、基本レイヤの動きベクトル復号部７０１と同様に、識別情報と参照動きベクトル群から予測動きベクトルを選択する。選択された予測動きベクトルと再生された拡張レイヤの復号対象ブロックの動きベクトルの予測誤差によって拡張レイヤの復号対象ブロックの動きベクトルを再生する。再生された動きベクトルは端子８１０を介して出力される。

図７に戻り、再生された動きベクトルは画像再生部７１８と動きベクトル保持部７０５に入力される。動きベクトル保持部７０５ではブロック単位で動きベクトルを格納しておく。画像再生部７１８は再生された動きベクトルを用いてフレームメモリ７２０またはフレームメモリ７１３から対応する画像データを読み出して変倍部７１４で変倍された画像データを入力する。これらの画像データから拡張レイヤの復号対象ブロックの予測画像データを算出する。さらに逆量子化・逆変換部７１７で再生された予測誤差を入力し、予測画像データを用いて拡張レイヤの画像データを再生する。再生された拡張レイヤの画像データはフレームメモリ７１９及びフレームメモリ７２０に格納され、参照に用いられる。再生された拡張レイヤの画像データは端子７２２から出力される。

図１０は、実施形態２に係る画像復号装置における基本レイヤの動きベクトル復号処理を示すフローチャートである。まず、ステップＳ１００１にて、基本レイヤの復号対象のブロックの周囲のブロックの動きベクトルと時間方向予測動きベクトルを保持した動きベクトルから抽出する。ステップＳ１００２にて、ステップＳ１００１で抽出された動きベクトルで同じ成分の動きベクトルをまとめ、所定の順番に並べ替え、参照動きベクトル群を生成する。ステップＳ１００３にて、識別情報符号データを復号し識別情報を再生する。ステップＳ１００４にて、ステップＳ１００３で再生された識別情報によって、ステップＳ１００２で生成された参照動きベクトル群から予測動きベクトルを選択する。ステップＳ１００５にて、動きベクトル予測誤差符号データを復号し、基本レイヤの復号対象のブロックの動きベクトルの予測誤差を再生する。ステップＳ１００６にて、ステップＳ１００４で選択された予測動きベクトルとステップＳ１００５で再生された動きベクトルの予測誤差から基本レイヤの復号対象ブロックの動きベクトルを再生する。ステップＳ１００７にて、再生された動きベクトルを出力し、さらに後段での参照のため、保持する。

また、図１１は、実施形態２に係る画像符号化装置における拡張レイヤの動きベクトル復号処理を示すフローチャートである。図１１において、図１０のブロックと同様の機能を実現するステップについては同じ番号を付し、説明を省略する。まず、ステップＳ１１０１にて、拡張レイヤの復号対象のブロックの周囲のブロックまたは拡張レイヤの時間方向予測動きベクトルを保持された復号済みの拡張レイヤの動きベクトルの中から抽出する。ステップＳ１１０２にて、拡張レイヤの復号対象ブロックの位置に対応する基本レイヤのブロックの動きベクトルを抽出する。ステップＳ１１０３にて、抽出された基本レイヤの動きベクトルを変倍し、レイヤ間予測動きベクトルを算出する。ステップＳ１１０４にて、ステップＳ１１０２で抽出された動きベクトル、及びレイヤ間予測動きベクトルで同じ成分の動きベクトルをまとめ、所定の順番に並べ替え、参照動きベクトル群を生成する。ステップＳ１１０５にて、識別情報符号データを復号し識別情報を再生する。ステップＳ１１０６にて、再生された識別情報によって、ステップＳ１１０４で生成された参照動きベクトル群から予測動きベクトルを選択する。以下、図１０の基本レイヤの動きベクトル復号と同様に、動きベクトル予測誤差符号データを復号し、動きベクトルの予測誤差を再生する。選択された予測動きベクトルと動きベクトルの予測誤差から拡張レイヤの復号対象ブロックの動きベクトルを再生して出力、保持する。

以上の構成と動作により、実施形態１で生成された、基本レイヤの動きベクトルを用いて効率的に符号化されたビットストリームの復号を行い、再生画像を得ることができる。
なお、変倍の倍率が１である場合、変倍部７１４、動きベクトル変倍部７０３は省略が可能である。

なお、動きベクトル統合部９０４でレイヤ間予測動きベクトルを必ず参照動きベクトル群の先頭に割り当てることも可能である。これにより、参照される可能性の最も高いレイヤ間予測動きベクトルに短い符号が割当たりやすくすることでさらに符号化効率の向上が可能である。

なお、動きベクトル抽出部９０３は時間方向予測動きベクトルを入力したが、これに限定されない。例えばレイヤ間予測動きベクトルが存在する場合は時間方向予測動きベクトルの入力を省略しても構わない。

なお、動きベクトル統合部９０４はレイヤ間予測動きベクトルを先頭に配置する場合について説明したが、時間方向予測動きベクトルに続く順番でも構わない。さらには動きベクトル統合部２０４と同様に特に配置を決めなくても構わない。

本実施形態において動きベクトル変倍部７０３から変倍率を入力しているが、これに限定されず、個別に基本レイヤの解像度と拡張レイヤの解像度の比を算出しても良いし、所定の値を設定しても構わない。

また、基本レイヤの復号装置と拡張レイヤの復号装置が個別にあり、変倍部７１４が外部にある構成でも構わない。

＜実施形態３＞
本実施形態では画像符号化装置は実施形態１の図１と同じ構成をとる。ただし、拡張レイヤの動きベクトル符号化部１０５の構成が異なる。したがって、基本レイヤに関する符号化及び、拡張レイヤの量子化係数の符号化に関しては実施形態１と同様であり、説明を省略する。

図１２は本実施形態の動きベクトル符号化部１０５の詳細な構成を示すブロック図である。図１２において、実施形態１の図３と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。１２０１は端子であり、図３の端子３０１と同様に動きベクトル変倍部１０３からレイヤ間予測動きベクトルを入力する。１２０３は動きベクトル抽出部であり、端子２０１から入力される拡張レイヤの符号化対象ブロックの周囲の動きベクトルないし前に符号化されたピクチャの動きベクトルを抽出する。１２０５は予測動きベクトル選択部である。端子２０２から拡張レイヤの符号化対象のブロックの動きベクトルを、動きベクトル統合部２０４から参照動きベクトル群を、端子１２０１からレイヤ間予測動きベクトルを入力する。入力された参照動きベクトル群から符号化対象のブロックの動きベクトルに最も近い動きベクトルを予測動きベクトルとして選択する。

動きベクトル抽出部１２０３は図６に示す拡張レイヤの符号化対象ブロックの周囲の動きベクトルないし前に符号化されたピクチャの動きベクトルを抽出する。抽出された動きベクトルは動きベクトル統合部３０４に入力される。動きベクトル統合部３０４は実施形態１と同様に入力された動きベクトルで同じ成分を持つ動きベクトルをまとめ、参照動きベクトル群を生成する。予測動きベクトル選択部１２０５は入力された参照動きベクトル群、レイヤ間予測動きベクトルから符号化対象ブロックの動きベクトルに最も類似した動きベクトルを予測動きベクトルをとして選択する。選択された予測動きベクトルを識別する識別情報と予測動きベクトルを出力する。

ここで、実施形態１との相違はレイヤ間予測動きベクトルは参照動きベクトル群とは独立して選択の候補となることである。したがって、参照動きベクトル群の中に同じ成分を持つ動きベクトルが存在する可能性がある。この場合、予測動きベクトル選択部１２０５は予測動きベクトルとしてレイヤ間予測動きベクトルと参照動きベクトル群の中のベクトルが選べる時、レイヤ間予測動きベクトルを選択することとする。

以下、実施形態１と同様に識別情報はインデックス符号化部２０６で符号化される。また、予測部２０７は符号化対象ブロックの動きベクトルと予測動きベクトルから予測誤差を算出し、動きベクトル誤差符号化部２０８で符号化する。

図１３は、実施形態３に係る画像符号化装置における拡張レイヤの動きベクトル符号化処理を示すフローチャートである。図１３において、図４のブロックと同様の機能を実現するステップについては同じ番号を付し、説明を省略する。まず、ステップＳ５０１からステップＳ５０４については実施形態１と同様である。すなわち、拡張レイヤの符号化対象ブロックの周囲の動きベクトルないし前に符号化されたピクチャの動きベクトルとレイヤ間予測動きベクトルの算出が行われる。ステップＳ１３０１にて、拡張レイヤの符号化対象ブロックの周囲の動きベクトルないし前に符号化されたピクチャの動きベクトルについて同じ成分の動きベクトルをまとめ、所定の順番に並べ替え、参照動きベクトル群を生成する。ステップＳ１３０２にて、レイヤ間予測動きベクトルを生成された参照動きベクトル群の先頭に追加する。ステップＳ４０４にて、実施形態１と同様に参照動きベクトル群から予測動きベクトルを選択する。ステップＳ１３０３にて、予測動きベクトルがレイヤ間予測動きベクトルと同じ成分であった場合、ステップＳ１３０４に進む。そうでなければステップＳ４０５に進む。ステップＳ１３０４にて、レイヤ間予測動きベクトルを予測動きベクトルとして選択する。これにより、同じ成分を持つ他の動きベクトルが選択されることを防ぐ。以下、実施形態１の図３の拡張レイヤの動きベクトル符号化処理と同様にステップＳ４０５からステップＳ４０７にて動きベクトル予測誤差の算出、識別情報の符号化、動きベクトル予測誤差の符号化を行う。

以上の構成と動作により、拡張レイヤの動きベクトル符号化において、基本レイヤの動きベクトルを他の動きベクトルより優先的に用いて効率的な符号化を行うことができる。これはレイヤ間予測動きベクトルが拡張レイヤのブロックの動きベクトルと非常に相関が高いためである。

なお、参照動きベクトル群の動きベクトルとして図６に示す位置のブロックを参照したが、これに限定されない。例えばブロック６０４の右に隣接するブロックの動きベクトルを加えても構わないし、これらの動きベクトルの中央値からなる動きベクトルを加えても構わない。

なお、符号化効率向上のため、動きベクトル統合部で同じ成分を持つ動きベクトルをまとめることを行ったが、これに限定されず、固定の数の動きベクトルを選択しても良い。さらには動きベクトル統合部を省略しても構わない。
なお、参照動きベクトル群の動きベクトルとして図６に示す位置のブロックを参照したが、これに限定されない。

＜実施形態４＞
本実施形態では画像符号化装置は実施形態２の図７と同じ構成をとる。ただし、拡張レイヤの動きベクトル復号部７０４の構成が異なる。したがって、基本レイヤに関する復号及び、拡張レイヤの量子化係数の復号に関しては実施形態２と同様であり、説明を省略する。また、本実施形態では実施形態３で生成された符号化データの復号を例にとって説明する。

図１４は本実施形態の動きベクトル復号部７０４の詳細な構成を示すブロック図である。図１４において、実施形態２の図９と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。端子１４０１は図９の端子９０１と同様に動きベクトル変倍部７０３からレイヤ間予測動きベクトルを入力する。１４０３は動きベクトル抽出部であり、実施形態３の動きベクトル抽出部１２０３と同様に図６に示す拡張レイヤの符号化対象ブロックの周囲の動きベクトルないし前に符号化されたピクチャの動きベクトルを抽出する。１４０５は予測動きベクトル選択部であり、レイヤ間予測動きベクトルと参照動きベクトル群から予測動きベクトルから識別情報に従って予測動きベクトルを選択する。

動きベクトル抽出部１４０３は図６に示す拡張レイヤの復号対象ブロックの周囲の動きベクトルないし前に符号化されたピクチャの動きベクトルを抽出する。抽出された動きベクトルは動きベクトル統合部８０４に入力される。動きベクトル統合部８０４は実施形態２と同様に入力された動きベクトルで同じ成分を持つ動きベクトルをまとめ、参照動きベクトル群を生成する。また、実施形態２と同様にインデックス復号部８０６は識別情報符号データを復号し、識別情報を再生する。予測動きベクトル選択部１４０５は識別情報に従って、レイヤ間予測動きベクトルか参照動きベクトル群から予測動きベクトルを選択する。以下、実施形態２と同様に動きベクトルの予測誤差と選択された予測動きベクトルから拡張レイヤの復号対象の動きベクトルを再生する。

図１５は、実施形態４に係る画像復号装置における拡張レイヤの動きベクトル復号処理を示すフローチャートである。図１５において、図１１のブロックと同様の機能を実現するステップについては同じ番号を付し、説明を省略する。まず、ステップＳ１１０１からステップＳ１１０３については実施形態２と同様である。すなわち、拡張レイヤの復号対象ブロックの周囲の動きベクトルないし前に復号されたピクチャの動きベクトルとレイヤ間予測動きベクトルの算出が行われる。ステップＳ１５０１にて、拡張レイヤの復号対象ブロックの周囲の動きベクトルないし前に復号されたピクチャの動きベクトルについて同じ成分の動きベクトルをまとめ、所定の順番に並べ替え、参照動きベクトル群を生成する。ステップＳ１５０２にて、レイヤ間予測動きベクトルを生成された参照動きベクトル群の先頭に追加する。以下、実施形態２の図１１の拡張レイヤの動きベクトル復号処理と同様にステップＳ１１０５からステップＳ１００７の処理が行われる。すなわち、識別情報の復号、予測動きベクトルの選択、動きベクトル予測誤差の再生、拡張レイヤの復号対象ブロックの動きベクトルの再生を行う。

以上の構成と動作により、拡張レイヤの動きベクトル復号において、基本レイヤの動きベクトルを他の動きベクトルより積極的に用いてより少ない符号量で符号化された符号データの復号を行うことができる。これはレイヤ間予測動きベクトルが拡張レイヤのブロックの動きベクトルと非常に相関が高いためである。

なお、参照動きベクトル群の動きベクトルとして図６に示す位置のブロックを参照したが、これに限定されない。

＜実施形態５＞
図１、図２、図３、図７、図８、図９、図１２、図１４に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行なう処理をコンピュータプログラムでもって構成しても良い。

図１７は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ１７０１は、ＲＡＭ１７０２やＲＯＭ１７０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ１７０１は、図１、図２、図３、図７、図８、図９、図１２、図１４に示した各処理部として機能することになる。

ＲＡＭ１７０２は、外部記憶装置１７０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１７０９を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１７０２は、ＣＰＵ１７０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１７０２は、例えば、フレームメモリとして割当てたり、その他の各種のエリアを適宜提供することができる。

ＲＯＭ１７０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部１７０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ１７０１に対して入力することができる。表示部１７０５は、ＣＰＵ１７０１による処理結果を表示する。また表示部１７０５は例えば液晶ディスプレイで構成される。

外部記憶装置１７０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置１７０６には、ＯＳ（オペレーティングシステム）や、図１、図２、図３、図７、図８、図９、図１２、図１４に示した各部の機能をＣＰＵ１７０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置１７０６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置１７０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１７０１による制御に従って適宜、ＲＡＭ１７０２にロードされ、ＣＰＵ１７０１による処理対象となる。Ｉ／Ｆ１７０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ１７０７を介して様々な情報を取得したり、送出したりすることができる。１７０８は上述の各部を繋ぐバスである。

上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ１７０１が中心となってその制御を行う。

＜その他の実施形態＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

Claims

画像を複数のレイヤを用いて階層符号化する場合に用いられる動きベクトルを符号化する符号化装置であって、
符号化対象の画像が属する第１レイヤにおける、符号化対象のブロックが属する画像より前に符号化済みの画像の、当該符号化対象のブロックに対応する位置にあるブロックの動きベクトルである第１ベクトルと、
符号化対象の画像が属する第１レイヤと異なる第２レイヤにおける画像の、符号化対象のブロックに対応する位置にあるブロックの動きベクトルである第２ベクトルと、
符号化対象の画像が属する第１レイヤにおける画像の、符号化対象のブロックの周囲のブロックの動きベクトルである第３ベクトルと、を取得する取得手段と、
前記第１ベクトル、前記第２ベクトル、及び前記第３ベクトルのうち、前記取得手段によって取得すべき候補となるベクトル群を決定し、当該決定に基づいて取得された候補となるベクトル群のうち、符号化対象のブロックの動きベクトルの予測に用いる予測動きベクトルを決定する決定手段とを有し、
前記決定手段は、前記第２ベクトルが前記候補となるベクトル群に存在する場合に、前記第１ベクトルを前記候補となるベクトル群に含めずに、前記第２ベクトルと、前記第３ベクトルとのうちの少なくともいずれか一つを、前記候補となるベクトル群として決定することを特徴とする符号化装置。
前記決定手段は、前記第２ベクトルが前記候補となるベクトル群に存在する場合に、前記第１ベクトルを前記候補となるベクトル群として含めずに、前記第３ベクトルのうち同じ値を持つベクトルを除いたベクトルに、前記第２ベクトルを加えることによって前記候補となるベクトル群を生成することを特徴とする請求項１に記載の符号化装置。
前記決定手段は、前記第２ベクトルが前記候補となるベクトル群に存在する場合に、前記第１ベクトルを前記候補となるベクトル群として含めずに、前記第２ベクトルと前記第３ベクトルとのうち、符号化対象のブロックの動きベクトルと最も近い値を持つベクトルを前記予測動きベクトルとして決定することを特徴とする請求項１又は請求項２に記載の符号化装置。
前記決定手段は、符号化対象のブロックを符号化する際に前記第２レイヤにおける画像の動きベクトルを参照しない場合、前記第２ベクトルを前記候補となるベクトル群として含めずに、前記第３ベクトルと前記第１ベクトルとのうち、符号化対象のブロックの動きベクトルと最も近い値を持つベクトルを前記予測動きベクトルとして決定することを特徴とする請求項１乃至請求項３のいずれか一項に記載の符号化装置。
さらに、符号化対象のブロックの動きベクトルと、前記決定手段によって決定された前記予測動きベクトルとの誤差を符号化する第１符号化手段を有することを特徴とする請求項１乃至請求項４のいずれか一項に記載の符号化装置。
さらに、前記決定手段によって決定された前記予測動きベクトルを表す識別情報を符号化する第２符号化手段を有することを特徴とする請求項５に記載の符号化装置。
前記取得手段は、符号化対象の画像が属する第１レイヤにおける符号化対象のブロックが属する画像の、符号化対象のブロックの左斜め上に隣接するブロック、上に隣接するブロック、左に隣接するブロック、又は他の方向に隣接するブロックの各動きベクトルのうち少なくとも一つを前記第３ベクトルとして取得することを特徴とする請求項１乃至請求項６のいずれか一項に記載の符号化装置。
前記取得手段は、符号化対象の画像が属する第１レイヤと異なる第２レイヤにおける、符号化対象のブロックを符号化するために参照される対象となる画像の、符号化対象のブロックに対応する位置にあるブロックの動きベクトルを前記第２ベクトルとして取得することを特徴とする請求項１乃至請求項７のいずれか一項に記載の符号化装置。
前記第２レイヤにおける画像は、前記第１レイヤにおける画像をｎ／ｍ倍（０＜ｎ≦ｍ）に変倍した画像であることを特徴とする請求項１乃至請求項３のいずれか一項に記載の符号化装置。
前記第２レイヤにおける画像は、前記第１レイヤにおける画像よりも解像度が低いことを特徴とする請求項１乃至請求項９のいずれか一項に記載の符号化装置。
複数のレイヤを用いて階層符号化されたビットストリームから動きベクトルを復号する復号装置であって、
復号対象の画像が属する第１レイヤにおける、復号対象のブロックが属する画像より前に復号済みの画像の、当該復号対象のブロックに対応する位置にあるブロックの動きベクトルである第１ベクトルと、
復号対象の画像が属する第１レイヤと異なる第２レイヤにおける画像の、復号対象のブロックに対応する位置にあるブロックの動きベクトルである第２ベクトルと、
復号対象の画像が属する第１レイヤにおける画像の、復号対象のブロックの周囲のブロックの動きベクトルである第３ベクトルと、を取得する取得手段と、
前記第１ベクトル、前記第２ベクトル、及び前記第３ベクトルのうち、前記取得手段によって取得すべき候補となるベクトル群を決定し、当該決定に基づいて取得された候補となるベクトル群のうち、復号対象のブロックの動きベクトルの予測に用いる予測動きベクトルを決定する決定手段とを有し、
前記決定手段は、前記第２ベクトルが前記候補となるベクトル群に存在する場合に、前記第１ベクトルを前記候補となるベクトル群として含めずに、前記第２ベクトルと、前記第３ベクトルとのうちの少なくともいずれか一つを、前記候補となるベクトル群として決定することを特徴とする復号装置。
前記決定手段は、前記第２ベクトルが前記候補となるベクトル群に存在する場合に、前記第１ベクトルを前記候補となるベクトル群として含めずに、前記第３ベクトルのうち、同じ値を持つベクトルを除くベクトルに、前記第２ベクトルを加えることによって前記候補となるベクトル群を生成することを特徴とする請求項１１に記載の復号装置。
前記決定手段は、前記第２ベクトルが前記候補となるベクトル群に存在する場合に、前記第１ベクトルを前記候補となるベクトル群として含めずに、前記第２ベクトルと前記第３ベクトルとのうち、復号された識別情報に基づくベクトルを前記予測動きベクトルとして決定することを特徴とする請求項１１又は請求項１２に記載の復号装置。
前記決定手段は、復号対象のブロック復号する際に前記第２レイヤにおける画像を参照不可能な場合、前記第２ベクトルを前記候補となるベクトル群として含めずに、前記第３ベクトルと前記第１ベクトルとのうち、復号された識別情報に基づくベクトルを前記予測動きベクトルとして決定することを特徴とする請求項１１乃至請求項１３のいずれか一項に記載の復号装置。
さらに、前記決定手段によって決定された前記予測動きベクトルと復号対象のブロックの動きベクトルとの誤差を示す情報を復号する第１復号手段と、
前記第１復号手段によって復号された前記誤差と、前記決定手段によって決定された前記予測動きベクトルとに基づいて、復号対象のブロックの動きベクトルを生成する生成手段と
を有することを特徴とする請求項１１乃至請求項１４のいずれか一項に記載の復号装置。
さらに、前記決定手段によって決定された前記予測動きベクトルを示す識別情報を復号する第２復号手段を有し、
前記決定手段は、前記第２復号手段によって復号された前記識別情報に基づいて前記予測動きベクトルを決定することを特徴とする請求項１５に記載の復号装置。
前記取得手段は、復号対象の画像が属する第１レイヤにおける復号対象のブックが属する画像の、復号対象のブロックの左斜め上に隣接するブロック、上に隣接するブロック、左に隣接するブロック、又は他の方向に隣接するブロックの各動きベクトルのうち少なくとも一つを前記第３ベクトルとして取得することを特徴とする請求項１１乃至請求項１６のいずれか一項に記載の復号装置。
前記取得手段は、復号対象の画像が属する第１レイヤと異なる第２レイヤにおける、復号対象のブロックを復号するために参照される対象となる画像の、復号対象のブロックに対応する位置にあるブロックの動きベクトルを前記第２ベクトルとして取得することを特徴とする請求項１１乃至請求項１７のいずれか一項に記載の復号装置。
前記第２レイヤにおける画像は、前記第１レイヤにおける画像をｎ／ｍ倍（０＜ｎ≦ｍ）に変倍した画像であることを特徴とする請求項１１乃至請求項１３のいずれか一項に記載の復号装置。
前記第２レイヤにおける画像は、前記第１レイヤにおける画像よりも解像度が低いことを特徴とする請求項１１乃至請求項１９のいずれか一項に記載の復号装置。
画像を複数のレイヤを用いて階層符号化する場合に用いられる動きベクトルを符号化する符号化方法であって、
符号化対象の画像が属する第１レイヤにおける、符号化対象のブロックが属する画像より前に符号化済みの画像の、当該符号化対象のブロックに対応する位置にあるブロックの動きベクトルである第１ベクトルと、
符号化対象の画像が属する第１レイヤと異なる第２レイヤにおける画像の、符号化対象のブロックに対応する位置にあるブロックの動きベクトルである第２ベクトルと、
符号化対象の画像が属する第１レイヤにおける画像の、符号化対象のブロックの周囲のブロックの動きベクトルである第３ベクトルと、を取得する取得工程と、
前記第１ベクトル、前記第２ベクトル、及び前記第３ベクトルのうち、前記取得工程によって取得すべき候補となるベクトル群を決定し、当該決定に基づいて取得された候補となるベクトル群のうち、符号化対象のブロックの動きベクトルの予測に用いる予測動きベクトルを決定する決定工程とを有し、
前記決定工程は、前記第２ベクトルが前記候補となるベクトル群に存在する場合に、前記第１ベクトルを前記候補となるベクトル群に含めずに、
前記第２ベクトルと、前記第３ベクトルとのうちの少なくともいずれか一つを、前記候補となるベクトル群として決定することを特徴とする符号化方法。
複数のレイヤを用いて階層符号化されたビットストリームから動きベクトルを復号する復号方法であって、
復号対象の画像が属する第１レイヤにおける、復号対象のブロックが属する画像より前に復号済みの画像の、当該復号対象のブロックに対応する位置にあるブロックの動きベクトルである第１ベクトルと、
復号対象の画像が属する第１レイヤと異なる第２レイヤにおける画像の、復号対象のブロックに対応する位置にあるブロックの動きベクトルである第２ベクトルと、
復号対象の画像が属する第１レイヤにおける画像の、復号対象のブロックの周囲のブロックの動きベクトルである第３ベクトルと、を取得する取得工程と、
前記第１ベクトル、前記第２ベクトル、及び前記第３ベクトルのうち、前記取得工程によって取得すべき候補となるベクトル群を決定し、当該決定に基づいて取得された候補となるベクトル群のうち、復号対象のブロックの動きベクトルの予測に用いる予測動きベクトルを決定する決定工程とを有し、
前記決定工程は、前記第２ベクトルが前記候補となるベクトル群に存在する場合に、前記第１ベクトルを前記候補となるベクトル群として含めずに、前記第２ベクトルと、前記第３ベクトルとのうちの少なくともいずれか一つを、前記候補となるベクトル群として決定することを特徴とする復号方法。
コンピュータを、請求項１乃至請求項１０のいずれか一項に記載の符号化装置の各手段として機能させるためのプログラム。
コンピュータを、請求項１１乃至請求項２０のいずれか一項に記載の復号装置の各手段として機能させるためのプログラム。