JP5541364B2 - 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、画像復号プログラム、及び画像符号化プログラム - Google Patents

Description

本発明は、分割モードの予測に関する画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、画像復号プログラム、及び画像符号化プログラムに関する。

画像データ、特に動画像データは、一般にデータ量が大きいので、送信装置から受信装置へ伝送される際、あるいは記憶装置に格納される際などには、高能率符号化が行われる。ここで、「高能率符号化」とは、あるデータ列を他のデータ列に変換する符号化処理であって、そのデータ量を圧縮する処理をいう。

動画像データは、主にフレームのみから構成されるものと、フィールドから構成されるものがある。

動画像データの高能率符号化方法として、ピクチャ内予測（イントラ予測）符号化方法が知られている。この符号化方法では、動画像データが空間方向に相関性が高いことを利用し、他のピクチャの符号化画像を用いない。ピクチャ内予測符号化方法は、ピクチャ内の情報のみで画像を復元できる方法である。

また、ピクチャ間予測（インター予測）符号化方法が知られている。この符号化方法では、動画像データが時間方向に相関性が高いことを利用する。動画像データは、一般に、あるタイミングのピクチャデータと次のタイミングのピクチャデータとの類似度が高いことが多いので、インター予測符号化方法では、その性質を使用する。

ピクチャ間予測符号化方法では、原画像をブロックに分割し、このブロック単位に、符号化済みフレームの復号画像から、この原画像ブロックと類似している領域を選択する。図１は、原画像をブロックに分割した一例を示す図である。図１に示すブロックMBがマクロブロックである。図１に示すように、原画像は、複数のマクロブロックに分割される。

次に、原画像ブロックの類似領域と原画像ブロックとの差分を求め、冗長性が取り除かれる。そして、類似領域を指し示す動きベクトル情報と、冗長性の取り除かれた差分情報とを符号化することにより、高圧縮率を実現している。

例えば、インター予測符号化を用いたデータ伝送システムでは、送信装置において、前ピクチャから対象ピクチャへの「動き」を表す動きベクトルデータ、及びその前ピクチャからその動きベクトルデータを用いて作成した対象ピクチャの予測画像と対象ピクチャとの差分データを生成する。次に、データ伝送システムは、それら動きベクトルデータおよび差分データを受信装置に送出する。一方、受信装置は、受信した動きベクトルデータおよび差分データから対象ピクチャを再生する。

代表的な動画像符号化方式として、ISO/IEC（ISO/IEC : International Organization for Standardization/International Electrotechnical Commission） MPEG（Moving Picture Experts Group）-2／MPEG-4(以下MPEG-2、MPEG-4)が挙げられる。

動画像符号化方式では、一定周期でイントラ予測符号化された画面を送り、残りはインター予測符号化で送られるGOP ( group of pictures )構造をとっている。さらに、これらの予測に対応したI,P,Bの３種類のピクチャを規定している。Iピクチャは、他のピクチャの符号化画像を用いない。ピクチャ内の情報のみで画像を復元できるピクチャである。Pピクチャは、過去のピクチャから順方向のピクチャ間予測を行い、予測誤差を符号化したピクチャである。Bピクチャは過去と未来のピクチャから双方向のピクチャ間予測を行い、予測誤差を符号化したピクチャである。Bピクチャは未来のピクチャを予測に用いるため、その符号化に先駆けて、予測に用いられる未来のピクチャを符号化、復号しておく必要がある。

図２は、双方向の復号画像を参照するBピクチャを説明する図である。図２に示すように符号化対象BピクチャPic2を符号化する時点で、少なくとも前後の２枚のピクチャPic1、Pic3が先行して符号化されている。符号化対象BピクチャPic2は、前方向参照画像Pic1と後方向参照画像Pic3のいずれか片方または両方を選択することができる。例えば、ブロックマッチング技術を用いて前方向参照画像Pic1内で最も符号化対象ブロックCB１に類似した領域を前方向予測ブロックFB1、後方向参照画像Pic3内で最も符号化対象ブロックCB1に類似した領域を後方向予測ブロックBB1として算出する。双方向が選択された場合、予測方向である双方向情報と両参照画像内で符号化対象ブロックCB１と同一位置（CollocatedブロックColB1,2）から予測ブロックへの動きベクトルMV1,2と、符号化対象ブロックCB1と予測ブロックの画素差分が符号化される。

図３は、GOP構成（その１）の一例を示す図である。図３に示すGOP構成は、一般的なGOP構成のIBBP構造を示す。MPEG-2では、Bピクチャの参照画像として用いることができる符号化済み画像はPピクチャまたはIピクチャとして符号化されている必要があった。しかし、最新の符号化方式である国際標準ITU-T H.264（ITU-T : International Telecommunication Union Telecommunication Standardization Sector）／ISO/IEC MPEG-4AVC（以下、H.264という）では、加えてBピクチャで符号化された符号化済み画像も参照画像として使用できるようになった。

図４は、GOP構成（その２）の一例を示す図である。動画像符号化のH.264では、図４に示すようなGOP構成をとることが可能となっており、符号化効率を上げることに成功している。このGOP構成を階層B構造と呼ぶ。このように1GOP中のピクチャは、Bピクチャの数が多くなっており、Bピクチャの符号化効率を上げることが、動画像符号化全体の符号化効率を上げることに直結している。図３、図４に示す矢印は、前方向もしくは後方向ベクトルを表している。

図５は、H.264のブロック構造の例を説明する図である。H.264では、圧縮効率を上げるために、図５に示すように16×16画素のマクロブロックをさらに小さなパーティション（サブマクロブロック）に分割し、この分割されたパーティション単位で動きベクトルを求めることができる。このパーティションの分割単位は、マクロブロックパーティションとして16×16（図５（A））、16×8（図５（B））、8×16（図５（C））、8×8（図５（D））がある。また、マクロブロックが8×8画素の場合、サブマクロブロックパーティションとして8×8、8×4、4×8、4×4（図５（D））から分割単位を選択することができる。

さらに、次世代動画像符号化HEVC (High-efficiency video coding)で提案されている技術として、図６に示す分割単位がある。図６は、次世代動画像符号化のブロック構造の一例を示す図である。図６に示すように、従来のマクロブロックに相当するCoding unit（CU）、CUをさらに予測単位のパーティションに分割したPrediction unit（PU）、そしてCUにおける周波数単位のパーティションに分割したTransform unit（TU）としてさらに細分化されている。また、ブロックを細分化するために分割フラグを用いて、分割ありの判定を行えるようにしている。

Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 1st Meeting: Dresden, DE, 15-23 April, 2010,Samsung's Response to the Call for Proposals on Video Compression Technology / JCTVC-A124, P.7-10

従来の符号化対象ブロックの構造、周波数変換方法などを復号器側に通知するため、これらの分割モード情報を明示的にビットストリームとして送信する。一方、様々な符号化モードが追加されるため、その通知ビットのオーバーヘッドが符号化効率の向上を妨げる一因となっている。

図７は、空間的相関を示す図である。例えば、算術符号化では、符号化対象ブロックCB2を符号化する際に、図７に示すような周辺の符号化済みブロックA、Bの予測モード情報（インター予測やイントラ予測など）の空間的相関を利用して出現確率を更新している。

しかしながら、同一ピクチャ内の符号化対象ブロックの周辺ブロックの状態、すなわち空間的な相関だけを用いて予測を行うため、画像の性質によっては、画像の分割形状を表す分割モードに対し適切な予測ができず、符号化の圧縮率が低下することがある。

そこで、開示の技術は、分割モードの予測精度を上げ、画像の符号化／復号化の更なる効率化を図ることができる画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、画像復号プログラム、及び画像符号化プログラムを提供することを目的とする。

開示の一態様の画像復号方法は、複数のブロックに分割された画像を復号する画像復号方法であって、復号対象画像内の復号済みブロックの復号情報及び復号済み画像の各ブロックの復号情報を格納する格納手段から前記復号済みブロックの復号情報を取得し、複数の前記復号済み画像の中から、所定の復号済み画像を選択し、前記選択された復号済み画像内の所定ブロックの復号情報を前記格納手段から取得し、前記取得された復号済みブロックの復号情報及び前記所定ブロックの復号情報を用いて、復号対象ブロックの分割形状を表す分割モードを予測し、符号化データから前記復号対象ブロックの分割モードを表す分割モード情報を復号し、前記予測された分割モード及び前記復号された分割モード情報から前記復号対象ブロックの分割モードを決定する。

開示の他の態様の画像符号化方法は、画像を複数のブロックに分割した符号化する画像符号化方法であって、符号化対象画像内の符号化済みブロックの符号化情報及び符号化済み画像の各ブロックの符号化情報を格納する格納手段から前記符号化済みブロックの符号化情報を取得し、複数の前記符号化済み画像の中から、所定の符号化済み画像を選択し、前記選択された符号化済み画像内の所定ブロックの符号化情報を前記格納手段から取得し、前記取得された符号化済みブロックの符号化情報及び前記所定ブロックの符号化情報を用いて、符号化対象ブロックの分割形状を表す分割モードを予測し、前記符号化対象ブロックで用いる分割モードを決定し、前記予測された分割モード及び前記決定された分割モードから前記符号化対象ブロックの分割モード情報を符号化する。

開示の技術によれば、分割モードの予測精度を上げ、画像の符号化／復号の更なる効率化を図ることができる。

原画像をブロックに分割した一例を示す図。 双方向の復号画像を参照するBピクチャを説明する図。 GOP構成（その１）の一例を示す図。 GOP構成（その２）の一例を示す図。 H.264のブロック構造の例を説明する図。 次世代動画像符号化のブロック構造の一例を示す図。 空間的相関を示す図。 実施例１における画符号化装置の構成の一例を示すブロック図。 実施例１における分割モードの予測に関する機能の一例を示すブロック図。 実施例１における予測手段の機能の一例を示すブロック図。 実施例２における画像復号装置の構成の一例を示すブロック図。 実施例２における分割モードの予測に関する機能の一例を示すブロック図。 Quad treeの階層構造を説明する図。 実施例３におけるGOP構成（IBBP構造）の一例を示した図。 符号化対象ブロックと周辺ブロックとの関係の一例を示す図。 符号化対象画像とその参照画像との間隔を説明する図。 第２取得手段により取得されるブロックを説明する図。 予測手段による比較（その１）を説明する図。 予測手段による比較（その２）を説明する図。 不一致フラグの一例を示す図。 実施例３における分割モード符号化処理の一例を示すフローチャート。 実施例４における分割モード復号処理の一例を示すフローチャート。 実施例５におけるGOP構成（B階層構造）を示した図。 実施例５における分割モードの予測に関する機能の一例を示すブロック図。 ピクチャ間隔の一例を示す図。 第１取得手段により取得される符号化情報の一例を示す図。 仮動きベクトルの一例を示す図。 符号化テーブルの一例を示す図。 実施例５における分割モードの符号化処理の一例を示すフローチャート。 実施例６における分割モードの予測に関する機能の一例を示すブロック図。 実施例６における分割モード復号処理の一例を示すフローチャート。 実施例７における分割モードの予測に関する機能の一例を示すブロック図。 実施例７における周辺ブロックの一例を示す図。 第２取得手段７０２により指定する周辺ブロックの一例を示す図。 第２取得手段により取得するブロックの一例を示す図。 予測手段の機能の一例を示すブロック図。 実施例７における分割モード符号化処理（その１）の一例を示すフローチャート。 実施例７における分割モード符号化処理（その２）の一例を示すフローチャート。 実施例８における分割モードの予測に関する機能の一例を示すブロック図。 実施例８における分割モード復号処理（その１）の一例を示すフローチャート。 実施例８における分割モード復号処理（その２）の一例を示すフローチャート。 情報処理装置の構成の一例を示す図。

１０１ 予測誤差信号生成部
１０４ エントロピー符号化部
１０５ 逆量子化手段
１０６ 逆直交変換部
１０７ 復号画像生成部
１０９ ピクチャメモリ
１１０ イントラ予測画像生成部
１１１ インター予測画像生成部
１１２ 動きベクトル計算部
２０１ 格納手段
２０２、５０２、７０１ 第１取得手段
２０３、５０１ 選択手段
２０４、５０３、７０２ 第２取得手段
２０５、５０４、７０３ 予測手段
２０７ 決定手段
２０８、５０５ 符号化手段
２５１、７３１ 第１分割モード予測手段
２５２、７３２ 第２分割モード予測手段
３０１ エントロピー復号部
３０５ 復号情報記憶部
３０４ イントラ予測画像生成部
３０６ インター予測画像生成部
３１０ ピクチャメモリ
４０１ 格納手段
４０２、６０２、８０１ 第１取得手段
４０３、６０１ 選択手段
４０４、６０３、８０２ 第２取得手段
４０５、６０４、８０３ 予測手段
４０６ 復号手段
４０７、６０５ 決定手段

以下、図面に基づいて実施例について説明する。

［実施例１］
図８は、実施例１における画符号化装置１００の構成の一例を示すブロック図である。図８に示すように、実施例１における画像符号化装置１００は、予測誤差信号生成部１０１、直交変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆直交変換部１０６、復号画像生成部１０７、デブロッキングフィルタ部１０８、ピクチャメモリ１０９、イントラ予測画像生成部１１０、インター予測画像生成部１１１、動きベクトル計算部１１２、符号化制御及びヘッダ生成部１１３及び予測画像選択部１１４を含む。各部についての概略を以下に説明する。

予測誤差信号生成部１０１は、入力された動画像データの符号化対象画像を１６×１６ピクセル（画素）のブロック（以降、マクロブロック（ＭＢ）ともいう）に分割されたマクロブロックデータ（以降、ブロックデータともいう）を取得する。実施例１では、マクロブロック分割について説明するが、図６に示すような分割単位でも実施可能である。

予測誤差信号生成部１０１は、そのマクロブロックデータと、予測画像選択部１１４から出力される予測画像ピクチャのマクロブロックデータとにより、予測誤差信号を生成する。予測誤差信号生成部１０１は、生成された予測誤差信号を直交変換部１０２に出力する。

直交変換部１０２は、入力された予測誤差信号を直交変換処理する。直交変換部１０２は、直交変換処理によって水平及び垂直方向の周波数成分に分離された信号を量子化部１０３に出力する。

量子化部１０３は、直交変換部１０２からの出力信号を量子化する。量子化部１０３は、量子化することによって出力信号の符号量を低減し、この出力信号をエントロピー符号化部１０４及び逆量子化部１０５に出力する。

エントロピー符号化部１０４は、量子化部１０３からの出力信号をエントロピー符号化して出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。

逆量子化部１０５は、量子化部１０３からの出力信号を逆量子化してから逆直交変換部１０６に出力する。逆直交変換部１０６は、逆量子化部１０５からの出力信号を逆直交変換処理してから復号画像生成部１０７に出力する。これら逆量子化部１０５及び逆直交変換部１０６によって復号化処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。

復号画像生成部１０７は、インター予測画像生成部１１１で動き補償された画像のブロックデータと、逆量子化部１０５、及び逆直交変換部１０６により復号処理された予測誤差信号とを加算する。復号画像生成部１０７は、加算して生成した復号画像のブロックデータを、デブロッキングフィルタ部１０８に出力する。

デブロッキングフィルタ部１０８は、復号画像生成部１０７から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、ピクチャメモリ１０９に出力する。

ピクチャメモリ１０９は、入力したブロックデータを新たな参照画像のデータとして記憶し、イントラ予測画像生成部１１０、インター予測画像生成部１１１及び動きベクトル計算部１１２に出力する。また、ピクチャメモリ１０９は、符号化された画像の各ブロックの動きベクトルや分割モードなどを記憶する。

イントラ予測画像生成部１１０は、符号化対象画像のすでに符号化された周辺画素から予測画像を生成する。

インター予測画像生成部１１１は、ピクチャメモリ１０９から取得した参照画像のデータを動きベクトル計算部１１２から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。

動きベクトル計算部１１２は、符号化対象画像におけるブロックデータと、ピクチャメモリ１０９から取得する符号化済み画像の参照画像のブロックデータを用いて、動きベクトルを求める。動きベクトルとは、ブロック単位で参照画像から符号化対象画像に最も類似している位置を探索するブロックマッチング技術を用いて求められるブロック単位の空間的なずれを示す値である。動きベクトル計算部１１２は、求めた動きベクトルをインター予測画像生成部１１１に出力する。

イントラ予測画像生成部１１０とインター予測画像生成部１１１から出力されたブロックデータは、予測画像選択部１１４に入力される。予測画像選択手段１１４は、どちらか一方の予測画像を選択する。選択されたブロックデータは、予測誤差信号生成部１０１に出力される。

また、符号化制御及びヘッダ生成部１１３について、符号化の全体制御とヘッダ生成を行う。符号化制御及びヘッダ生成部１１３は、イントラ予測画像生成部１１０に対して、スライス分割有無の通知、デブロッキングフィルタ部１０８に対して、デブロッキングフィルタ有無の通知、動きベクトル計算部１１２に対して参照画像の制限通知などを行う。符号化制御及びヘッダ生成部１１３は、その制御結果を用いて、例えばH.264のヘッダ情報を生成する。生成されたヘッダ情報は、エントロピー符号化部１０４に渡され、画像データ、動きベクトルデータとともにストリームとして出力される。

次に、分割モードの予測に関する機能について説明する。図９は、実施例１における分割モードの予測に関する機能の一例を示すブロック図である。図５に示すように、画像符号化装置１００は、格納手段２０１、第１取得手段２０２、選択手段２０３、第２取得手段２０４、予測手段２０５、決定手段２０６、符号化手段２０７を含む。

格納手段２０１は、ピクチャメモリ１０９に対応し、第１取得手段２０２、選択手段２０３、第２取得手段２０４、予測手段２０５、決定手段２０６は、例えば動きベクトル計算部１１２に対応し、符号化手段２０７は、エントロピー符号化部１０４に対応する。

格納手段２０１は、符号化された画像のローカルデコードされた復号画像やブロック単位の動きベクトル、ブロックタイプ、分割モードなどの符号化情報を格納する。過去の符号化情報は次に符号化する符号化対象ブロックで参照することが可能である。

第１取得手段２０２は、符号化対象画像に属するブロックの符号化済みの符号化情報を格納手段２０１から取得する。ブロック符号化は一般に符号化対象画像の左上からラスタスキャン順に行われるため、符号化対象画像における符号化済みの符号化情報は符号化対象ブロックと同ブロックラインの左側と上側の全ブロックとなる。第１取得手段２０２は、予め決められた方法で符号化対象画像のブロック位置を指定し、格納手段２０１から符号化対象画像に属する符号化済みの分割モードや動きベクトルなどの符号化情報を取得する。予め決められた方法は、例えば、符号化対象ブロックの上側ブロック、左側ブロック、左上側ブロック、右上側ブロックのうち、どのブロックかを決めておく方法である。

選択手段２０３は、格納手段２０１に格納されている符号化対象画像以外の符号化済み画像の分割モードを得るために、複数の符号化済み画像から予め決められた方法で符号化済み画像を選択する。格納手段２０１は、複数の符号化済み画像の復号画像を固有のインデックスを付け、リストとして格納しておいてもよい。選択手段２０３は、符号化済み画像インデックスを用いて選択結果を示してもよい。

第２取得手段２０４は、選択手段２０３で選択された符号化済み画像に属するブロックの符号化情報を格納手段２０１から取得する。第２取得手段２０４は、予め決められた方法でブロック位置を指定し、選択手段２０３で選択されたインデックスをもつ符号化済み画像に属するブロックの符号化情報を格納手段２０１から取得する。

予測手段２０５は、第1取得手段２０２と第２取得手段２０４から得られた符号化情報に基づいて符号化対象ブロックの分割モードの予測値である予測モードを算出する。

図１０は、実施例１における予測手段２０５の機能の一例を示すブロック図である。図１０に示すように、予測手段２０５は、第１分割モード予測手段２５１、第２分割モード予測手段２５２を含む。

第１分割モード予測手段２５１は、第1取得手段２０２から取得した符号化情報を用いて分割モードの候補モードを算出する。第２分割モード予測手段２５２は、第２取得手段２０４から取得した符号化情報を用いて分割モードの候補モードを算出する。予測手段２０５は、これらの候補モードから所定の基準に従って予測モードを決定する。

図９に戻り、決定手段２０６は、符号化対象ブロックで用いる分割モードを決定する。決定手段２０６は、例えば、符号化対象ブロックと複数の参照画像におけるブロックマッチングを行い、最も類似した領域を参照できるような分割モードを決定する。

符号化手段２０７は、予測手段２０５から取得した予測モードと決定手段２０６で決定された分割モードとに基づき、分割モードを表す分割モード情報を生成する。生成された分割モード情報は、ビットストリームに含めて送信される。

これにより、第１取得手段２０２及び第２取得手段２０４を用いることで、空間方向の符号化済みブロックの分割モード、時間的方向の符号化済みブロックの分割モードを取得できる。実施例１における画像符号化装置１００は、これらの分割モードを用いて予測モードを予測することで、分割モードの予測精度を向上させ、符号化効率を上げることが可能になる。

［実施例２］
図１１は、実施例２における画像復号装置３００の構成の一例を示すブロック図である。実施例２における画像復号装置３００は、実施例１における画像符号化装置１００により符号化された符号化データを復号する。

図１１に示すように、画像復号装置３００は、エントロピー復号部３０１、逆量子化部３０２、逆直交変換部３０３、イントラ予測画像生成部３０４、復号情報記憶部３０５、インター予測画像生成部３０６、予測画像選択部３０７、復号画像生成部３０８、デブロッキングフィルタ部３０９、ピクチャメモリ３１０を含む。各部についての概略を以下に説明する。

エントロピー復号部３０１は、ビットストリームが入力されると、画像符号化装置１００のエントロピー符号化に対応するエントロピー復号を行なう。エントロピー復号部３０１により復号された予測誤差信号などは逆量子化部３０２に出力される。また、インター予測されている場合、復号された動きベクトルなどは復号情報記憶部３０５に出力され、イントラ予測の場合、イントラ予測画像生成部３０４にその旨通知する。また、エントロピー復号部３０１は、復号対象画像がインター予測されているか、イントラ予測されているかを予測画像選択部３０７に通知する。

逆量子化部３０２は、エントロピー復号部３０１からの出力信号に対して逆量子化処理を行う。逆量子化された出力信号は逆直交変換部３０３に出力される。

逆直交変換部３０３は、逆量子化部３０２からの出力信号に対して逆直交変換処理を行い、残差信号を生成する。残差信号は復号画像生成部３０８に出力される。

イントラ予測画像生成部３０４は、ピクチャメモリ３１０から取得する復号対象画像のすでに復号化された周辺画素から予測画像を生成する。

復号情報記憶部３０５は、復号された動きベクトルや分割モードなどの復号情報を記憶する。

インター予測画像生成部３０６は、ピクチャメモリ３１０から取得した参照画像のデータを復号情報記憶部３０５から取得する動きベクトルや分割モードを用いて動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。

予測画像選択部３０７は、イントラ予測画像、又はインター予測画像どちらか一方の予測画像を選択する。選択されたブロックデータは、復号画像生成部３０８に出力される。

復号画像生成部３０８は、予測画像選択部３０７から出力される予測画像と、逆直交変換部３０３から出力される残差信号とを加算し、復号画像を生成する。生成された復号画像はデブロッキングフィルタ部３０９に出力される。

デブロッキングフィルタ部３０９は、復号画像生成部３０８から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、ピクチャメモリ３１０に出力する。フィルタ後の復号画像は表示装置に出力されてもよい。ピクチャメモリ３１０は、参照画像となる復号画像などを記憶する。なお、復号情報記憶手段３０５とピクチャメモリ３１０は、分けた構成にしているが、同じ記憶部であってもよい。

次に、分割モードの予測に関する機能について説明する。図１２は、実施例２における分割モードの予測に関する機能の一例を示すブロック図である。図１２に示す例では、画像復号装置３００は、格納手段４０１、第１取得手段４０２、選択手段４０３、第２取得手段４０４、予測手段４０５、復号手段４０６、決定手段４０７を含む。

図１２に示す画像復号装置３００は、画像符号化装置１００から出力されるビットストリームを復号し、復号対象ブロックの分割モードを算出する。また、画像復号装置３００の各手段は、それぞれ画像符号化装置１００における、格納手段２０１、第1取得手段２０２、選択手段２０３、第２取得手段２０４、予測手段２０５、符号化手段２０７、決定手段２０６にそれぞれ対応する。

また、格納手段４０１は、例えば復号情報記憶部３０５及びピクチャメモリ３１０に対応し、第１取得手段４０２、選択手段４０３、第２取得手段４０４、予測手段４０５は、例えばインター予測画像生成部３０６に対応し、復号手段４０６、決定手段４０７は、例えばエントロピー復号部３０１に対応する。

格納手段４０１は、過去に復号済みの画像と、ブロック単位の動きベクトル、ブロックタイプ、分割モードなどの復号情報とを格納する。

第１取得手段４０２は、復号対象画像に属する復号済みの復号情報を格納手段４０１から取得する。ブロック復号は一般に復号対象画像の左上からラスタスキャン順に行われるため、復号対象画像における復号済みの復号情報は復号対象ブロックと同ブロックラインの左側と上側の全ブロックとなる。

選択手段４０３は、格納手段４０１に格納されている復号対象画像以外の複数の復号済み画像から復号情報を得るために、所定の方法で復号済み画像を選択する。

第２取得手段４０４は、選択手段４０３で選択された復号済み画像に属するブロックの復号情報を格納手段４０１から取得する。

予測手段４０５は、第１取得手段４０２と第２取得手段４０４とから得られた復号情報に基づいて、復号対象ブロックの分割モードの予測値である予測モードを算出する。

復号手段４０６は、ビットストリームを復号し、分割モードを表す分割モード情報を取得する。

決定手段４０７は、予測手段４０５から取得した予測モードと、復号手段４０６から取得した分割モード情報とから分割モードを決定する。決定した分割モードは、格納手段４０１に出力され、格納される。

これにより、第１取得手段４０２及び第２取得手段４０４を用いることで、空間方向の復号済みブロックの分割モード、時間方向の復号済みブロックの分割モードを取得できる。実施例２における画像復号装置３００は、これらの分割モードを用いることで、分割モードの予測精度を向上させた符号化に対応し、復号効率を上げることが可能になる。

［実施例３］
次に、実施例３における画像符号化装置について説明する。実施例３における画像符号化装置の構成は、図８に示した構成と同様であり、実施例３における画像符号化装置の分割モードの予測に関する機能は、図９、１０における機能と同じ符号を用いて説明する。

また、実施例３では、HEVC提案手法に対する適用例を示す。この例では、従来のマクロブロックに相当するCoding unit（CU）、CUをさらに予測単位のパーティションに分割したPrediction unit（PU）、そしてCUにおける直交変換単位のパーティションに分割したTransform unit （TU）として細分化されている。

まず、CUのブロック分割構造を定められた順番に走査していく。走査順は、ブロックをQuad treeで分割していくものや、ラスタスキャン順が考えられる。図１３は、Quad treeの階層構造を説明する図である。図１３に示すように、Quad treeを例にすると、CUは階層化されており、最下層がPU、TUにあたる。CUの符号化では、符号化対象CU内が分割されていれば、4分割の左上ブロック1から右下ブロック4に向けて順に分割の階層を決定する。すなわち、ブロック1の最下層を決定してから、ブロック2、ブロック3、ブロック4の階層を決定する。

よって、符号化対象の分割ブロックが参照できる符号化済みの領域は、符号化済みの他のCUと符号化対象CUの中の符号化済み分割ブロックになる。ある分割ブロックを符号化するときに参照する符号化済み情報については、同じ階層以下の符号化済み情報を用いることが望ましい。CU、TUの符号化時の分割モードは、分割可否フラグ(split_coding_unit_flag, split_transform_unit_flag)である。例えば、分割可否フラグは、分割されていれば「１」、分割されていなければ「０」である。

次に、実施例３で用いるデータ構造について説明する。図１４は、実施例３におけるGOP構成（IBBP構造）の一例を示した図である。以下、このIBBP構造を例として説明する。I、P、Bは、ピクチャタイプを表し、ピクチャタイプの隣の番号は、時間順を表す。また、符号化順は、I0、P3、B1、B2、P6、B4、B5、P9、B7、B8となる。図１４に示す矢印は、前方向または後方向ベクトルを表す。

実施例３では、図１４に示すB4ピクチャを符号化する場合について説明する。以下の処理は、その他のPピクチャ、Bピクチャにも同様に適用できる。B4ピクチャを符号化する際に、P3ピクチャ、P6ピクチャは既に符号化され、符号化済み画像としてB4ピクチャはP3ピクチャ、P6ピクチャを参照できるようになっている。

格納手段２０１は、符号化済み画像の符号化情報を格納する。例えば、P3ピクチャ、P6ピクチャに関する動きベクトル、ブロックタイプ、分割モードなどの符号化情報を格納する。

第1取得手段２０２は、符号化対象画像に属する符号化済みブロックの分割モードを格納手段２０１から取得する。図１５は、符号化対象ブロックと周辺ブロックとの関係の一例を示す図である。第１取得手段２０２は、例えば、図１５に示すように、符号化対象ブロックCB3の周辺ブロックである左ブロックA、上ブロックBの分割モードA、Bを取得する。ブロックA、Bの分割モードを分割モードA、Bとする。さらに、第１取得手段２０２は、符号化対象ブロックCB3の左上ブロックや右上ブロックの分割モード情報を取得してもよい。また、H.264のように分割モードがブロックタイプとして定義されている符号化方式では、第１取得手段２０２は、ブロックタイプを取得してもよい。

選択手段２０３は、所定の符号化済み画像を選択する。ここで、B4ピクチャは、P3ピクチャ、P6ピクチャを参照することができる。選択手段２０３は、例えば、符号化対象画像と符号化済み画像との間隔が最も小さい符号化済み画像を選択する方が望ましい。これは、符号化対象画像と符号化済み画像との時間間隔が近いほど予測の信頼性が高いからである。

図１６は、符号化対象画像とその参照画像との間隔を説明する図である。図１６に示すように、B4ピクチャとP6ピクチャの間は２ピクチャ間隔であり、B4ピクチャとP3ピクチャの間は１ピクチャ間隔である。この場合、選択手段２０３により、ピクチャ間隔が小さいP3ピクチャが選択される。

第２取得手段２０４は、選択手段２０３で選択された符号化済み画像に属するブロックの符号化情報を格納手段２０１から取得する。第２取得手段２０４は、選択された符号化済み画像内のどのブロックの符号化情報を取得するかを予め決めておくとよい。

図１７は、第２取得手段２０４により取得されるブロックを説明する図である。第２取得手段２０４は、例えば、図１７に示すように、P3ピクチャ内で、符号化対象ブロックCB3と同一位置にあるブロックColB3（CollocatedブロックX）の分割モードXを取得する。さらに、第１取得手段２０４は、第１取得手段２０２で分割モードを取得したブロックと同一位置にあるブロック、すなわちCollocatedブロックColB3の左ブロックA'、上ブロックB'の分割モードA'、B'を格納手段２０１から取得する。

予測手段２０５は、第１取得手段２０２と第２取得手段２０４とから取得した符号化情報に基づいて符号化対象ブロックの分割モードの予測値である予測モードを算出する。図１０で説明したように、予測手段２０５は、第１分割モード予測手段２５１と第２分割モード予測手段２５２を有する。

第１分割モード予測手段２５１は、第１取得手段２０２から取得したB4ピクチャ内の分割モードAを候補モードA、分割モードBを候補モードBとする。

第２分割モード予測手段２５２は、第２取得手段２０４から取得した分割モードXを候補モードXとする。第２分割モード予測手段２５２は、分割モードA'を候補モードA'、分割モードB'を候補モードB'とする。

予測手段２０５は、第１分割モード予測手段２５１と第２分割モード予測手段２５２とから取得した候補モードに基づいて、符号化対象ブロックの分割モードの予測値である予測モードを算出する。例えば、予測手段２０５は、第1取得手段２０２と第２取得手段２０４で取得した同一位置の分割モードを比較する。予測手段２０５は、第１分割モード予測手段２５１から取得した候補モードAと第２分割モード予測手段２５２から取得した候補モードA'とが一致するか比較する。また、予測手段２０５は、第1分割モード予測手段２５１から取得した候補モードBと第２分割モード予測手段２５２から取得した候補モードB'とが一致するか比較する。この比較について図１８及び図１９を用いて説明する。

図１８は、予測手段２０５による比較（その１）を説明する図である。図１８に示すように、予測手段２０５は、比較結果がどちらも一致した場合、第２分割モード予測手段２５２で取得した候補モードXを予測モードに設定する。これは、周辺のブロックの分割モードが一致すれば、符号化対象ブロックCB3とCollocatedブロックの分割モードXが一致する可能性が高いと言えるからである。

図１９は、予測手段２０５による比較（その２）を説明する図である。図１９に示すように、予測手段２０５は、比較結果がどちらか異なる場合、候補モードA、B、A'、B'、Xの中で最も多い分割モードを予測モードとする。これは、必ずしも符号化対象ブロックCB3とCollocatedブロックの分割モードXが一致するとは言えないからである。予測手段２０５は、例えば、分割ありの分割モードが多ければ、分割ありを予測モードとする。

決定手段２０６は、符号化対象ブロックと複数の参照画像におけるブロックマッチングを行い、最も類似した領域を選択できるような分割モードに決定する。ブロックマッチングの評価値は、画素差分絶対値和を用いてもよく、画素差分二乗和でもよい。

符号化手段２０７は、予測手段２０５により予測された予測モードと決定手段２０６で決定された分割モードとが一致するか否かのフラグを算出する。符号化手段２０７は、例えば、一致する場合、不一致フラグを「０」に設定し、不一致である場合、不一致フラグを「１」に設定する。符号化手段２０７は、この不一致フラグを算術符号化するなどしてビットストリームに含める。

図２０は、不一致フラグの一例を示す図である。図２０（A）は、符号化対象CUの予測モードの分割形状を示す。図２０（B）は、符号化対象CUの実際の分割形状と不一致フラグを示す。符号化手段２０７は、例えば、図２０に示すように符号化対象CUのブロック分割が予測モードと同様であるなら不一致フラグを「０」、異なる分割構造（分割形状）であるなら「１」を設定する。

図２０（B）に示すCU1は、予測モードでは分割ありであったが（図２０（A）参照）、実際は分割なしであったので、不一致フラグは「１」が設定されている。また、図２０（B）に示すCU2は、予測モードでは分割なしであったが（図２０（A）参照）、実際は分割ありであったので、不一致フラグは「１」が設定されている。

符号化構造には時間的な相関があるため、不一致フラグの通知ビットは予測が当れば確率的に「０」に偏る。確率が偏ると、算術符号化により符号量を1ビット以下に抑えることができる。もし、符号化構造が異なるならば、その階層以降は、通常の符号化方法を適用する。Quad treeブロック分割の場合は、ブロック分割しない場合は「０」、さらにブロック分割する場合は「１」を通知する。

これにより、空間方向及び時間方向を用いて予測した予測モードが実際の分割モードと一致すれば、符号量を減らすことが可能になる。

次に、実施例３における画像符号化装置の動作について説明する。図２１は、実施例３における分割モード符号化処理の一例を示すフローチャートである。

図２１に示すステップＳ１０１で、格納手段２０１は、符号化済み画像のブロック単位の動きベクトル、ブロックタイプ、分割モードなどの符号化情報を格納する。

ステップＳ１０２、Ｓ１０３で、第1取得手段２０２は、符号化対象画像に属する符号化済みブロックの符号化情報に含まれる分割モードを格納手段２０１から取得する。第１取得手段２０２は、図１５に示す例では、符号化対象ブロックに隣接する左ブロックA、上ブロックBの分割モードA、Bを取得する。

ステップＳ１０４で、選択手段２０３は、符号化対象画像の参照画像の中で、符号化対象画像との時間間隔が小さい符号化済み画像を選択する。

ステップＳ１０５で、第２取得手段２０４は、選択手段２０３で選択された符号化済み画像（選択画像）のCollocatedブロックX、その左ブロックA'、上ブロックB'に属する分割モードX、A'、B'を取得する。

ステップＳ１０６で、第１分割モード予測手段２５１は、分割モードA、Bを候補モードA、Bとし、第２分割モード予測手段２５２は、分割モードX、A'、B'を候補モードX、A'、B'とする。

ステップＳ１０７で、予測手段２０５は、候補モードAとA'、候補モードBとB'が一致しているか判定する。一致していれば（ステップＳ１０７−ＹＥＳ）ステップＳ１０８に進み、どちらかが一致していなければ（ステップＳ１０７−ＮＯ）ステップＳ１０９に進む。

ステップＳ１０８で、予測手段２０５は、候補モードXを予測モードに設定する。ステップＳ１０９で、予測手段２０５は、候補モードA、B、X、A'、B'の中で、分割されている方が多ければ分割ありを予測モードに設定し、分割されていない方が多ければ分割なしを予測モードに設定する。

ステップＳ１１０で、決定手段２０６は、符号化対象ブロックの分割モードをブロックマッチングにより決定する。

ステップＳ１１１で、符号化手段２０７は、予測モードと分割モードとが一致するか否かを判定する。一致すれば（ステップＳ１１１−ＹＥＳ）ステップＳ１１２に進み、一致しなければ（ステップＳ１１１−ＮＯ）ステップＳ１１３に進む。

ステップＳ１１２で、符号化手段２０７は、例えば、分割モード情報としての不一致フラグを「０」に設定する。ステップＳ１１３で、符号化手段２０７は、例えば、分割モード情報としての不一致フラグを「１」に設定する。

以上、実施例３によれば、空間的に近い符号化済みブロックの分割モード、時間的に近い符号化対象ブロックと同一位置及び周辺の符号化済みブロックの分割モードを取得することができる。これにより、符号化対象ブロックの分割モードの予測の精度を向上させることができる。これは、符号化対象ブロックと空間的に近いブロックの分割モードが時間方向において同じであれば、時間方向で同一位置にあるブロックの分割モードと符号化対象ブロックの分割モードとが同じである可能性が高いという考えに基づく。よって、分割モードの予測精度が向上すれば、不一致フラグの値に偏りを持たせることができるので、符号化効率を上げることが可能になる。

［実施例４］
次に、実施例４における画像復号装置について説明する。実施例４における画像復号装置の構成は、図１１に示した構成と同様であり、実施例４における画像復号装置の予測に関する機能は、図１２に示す機能と同じ符号を用いて説明する。

また、実施例４における画像復号装置は、実施例３における画像符号化装置で符号化されたビットストリームを復号する。

格納手段４０１は、過去に復号済みの画像と、ブロック単位の動きベクトル、ブロックタイプ、分割モードなどの復号情報とを格納する。

第１取得手段４０２は、復号対象画像に属する復号済みブロックの復号情報に含まれる分割モードを格納手段４０１から取得する。ここでは、同じ画面内の、復号対象ブロックの右ブロックAの分割モードA、復号対象ブロックの上ブロックBの分割モードBが取得される。

選択手段４０３は、格納手段４０１に格納されている復号対象画像以外の複数の復号済み画像の中から所定の復号済み画像を選択する。例えば、選択手段４０３は、復号対象画像と参照画像（復号済み画像）との間隔が最も小さい参照画像を選択する。

第２取得手段４０４は、選択手段４０３で選択された復号済み画像のCollocatedブロックと、このCollocatedブロックの左ブロックA、上ブロックBの復号情報を格納手段４０１から取得し、分割モードX、A'、B'とする。

予測手段４０５は、第１取得手段４０２から取得した分割モードA、Bと第２取得手段４０４から取得した分割モードX、A'、B'とに基づいて復号対象ブロックの分割モードの予測値である予測モードを算出する。

例えば、予測手段４０５は、候補モードAと候補モードA'とが一致するか比較し、候補モードBと候補モードB'とが一致するか比較する。予測手段４０５は、比較結果が一致すれば分割モードXを予測モードに設定する。予測手段４０５は、比較結果が一致しなければ分割モードA、B、X、A'、B'の中で、分割のあり無しについて多数決で決める。

復号手段４０６は、ビットストリームを復号し、分割モードを表す分割モード情報を取得する。この場合、分割モード情報として、不一致フラグが取得される。例えば、不一致フラグは、一致すれば「０」、不一致であれば「１」が設定されるとする。

決定手段４０７は、分割モード情報の不一致フラグが「０」であれば、予測手段４０５から取得した予測モードを分割モードに決定し、不一致フラグが「１」であれば、予測モード以外の分割モードに決定する。決定した分割モードは、格納手段４０１に出力され、格納される。

これにより、実施例３で説明した画像符号化装置で生成されたビットストリームを復号することができる。

次に、実施例４における画像復号装置の動作について説明する。図２２は、実施例４における分割モード復号処理の一例を示すフローチャートである。

図２２に示すステップＳ２０１で、格納手段４０１は、復号済み画像のブロック単位の動きベクトル、ブロックタイプ、分割モードなどの復号情報を格納する。

ステップＳ２０２、Ｓ２０３で、第1取得手段４０２は、復号対象画像に属する復号済みブロックの復号情報に含まれる分割モードを取得する。第１取得手段４０２は、図１５に示す例では、復号対象ブロックに隣接する左ブロックA、上ブロックBの分割モードA、Bを取得する。

ステップＳ２０４で、選択手段４０３は、復号対象画像の参照画像の中で、復号対象画像との時間間隔が小さい復号済み画像を選択する。

ステップＳ２０５で、第２取得手段４０４は、選択手段４０３で選択された復号済み画像のCollocatedブロックX、その左ブロックA'、上ブロックB'に属する分割モードX、A'、B'を取得する。

ステップＳ２０６で、予測手段４０５は、分割モードA、Bを候補モードA、Bとし、分割モードX、A'、B'を候補モードX、A'、B'とする。

ステップＳ２０７で、予測手段４０５は、候補モードAとA'、候補モードBとB'が一致しているかを判定する。一致していれば（ステップＳ２０７−ＹＥＳ）ステップＳ２０８に進み、どちらかが一致していなければ（ステップＳ２０７−ＮＯ）ステップＳ２０９に進む。

ステップＳ２０８で、予測手段４０５は、候補モードXを予測モードに設定する。ステップＳ２０９で、予測手段４０５は、候補モードA、B、X、A'、B'の中で、分割されている方が多ければ分割ありを予測モードに設定し、分割されていない方が多ければ分割なしを予測モードに設定する。

ステップＳ２１０で、復号手段４０６は、ビットストリーム（符号化データ）を復号し、分割モード情報を取得する。

ステップＳ２１１で、決定手段４０７は、分割モード情報が示す不一致フラグが「０」であるかを判定する。不一致フラグが「０」であれば（ステップＳ２１１−ＹＥＳ）ステップＳ２１２に進み、不一致フラグが「１」であれば（ステップＳ２１１−ＮＯ）ステップＳ２１３に進む。

ステップＳ２１２で、決定手段４０７は、予測モードが示す分割モードに決定する。ステップＳ２１３で、決定手段４０７は、予測モード以外の分割モードに決定する。

以上、実施例４によれば、空間的に近い符号化済みブロックの分割モード、時間的に近い符号化対象ブロックと同一位置及び周辺の符号化済みブロックの復号ブロックの分割モードを取得することができる。これにより、分割モードの予測精度を上げた符号化に対応して、復号対象ブロックの分割モードを決定することができる。

［実施例５］
次に、実施例５における画像符号化装置について説明する。H.264の分割モード符号化では、ブロックタイプとしてさまざまな形状の分割モードを符号化している。HEVC提案手法の予測単位のパーティションの分割モードであるPrediction unit（PU）はPUについてはブロックタイプを符号化するため、H.264のマクロブロックタイプと同様に考えてよい。そこで、実施例５では、ブロックタイプに対する適用例を示す。

図２３は、実施例５におけるGOP構成（B階層構造）を示した図である。以下、このB階層構造を例として説明する。I、P、Bはピクチャタイプを表し、ピクチャタイプの隣の番号は時間順を表す。符号化順は、I0、P8、B4、B2、B6、B1、B3、B5、B7となる。図２３に示す矢印は、前方向または後方向ベクトルを表す。

実施例５における画像符号化装置の構成は、図４に示した構成と同様であるため、同じ符号を用いて説明する。実施例５における分割モードの予測に関する機能は、図２４に示す。図２４は、実施例５における分割モードの予測に関する機能の一例を示すブロック図である。

実施例５における画像符号化装置は、格納手段２０１、選択手段５０１、第１取得手段５０２、第２取得手段５０３、予測手段５０４、決定手段２０６、符号化手段５０５を含む。図２４に示す機能で、図９に示す機能と同様のものは同じ符号を付す。

実施例５では、図２３に示すB5ピクチャを符号化対象画像として、分割モードの予測の仕方を説明する。なお、他のP、Bピクチャについても実施例５は同様に適用可能である。格納手段２０１は、実施例３と同様である。

選択手段５０１は、例えば、符号化対象画像と符号化済み画像との間隔が最も小さい符号化済み画像を選択する。これは、符号化対象画像と符号化済み画像との時間間隔が近いほど予測の信頼性が高いからである。図２３に示すように、B5ピクチャとB4ピクチャ、B5ピクチャとB6ピクチャの時間的な間隔は１ピクチャであり同一である。この中で１ピクチャを選択する場合、選択手段５０１は、符号化済み画像と符号化済み画像の参照画像との間隔が最も小さい符号化済み画像を選択する。これは、符号化済み画像と符号化済み画像の参照画像との間隔が近いほど予測の信頼性が高いからである。

図２５は、ピクチャ間隔の一例を示す図である。図２５に示すように、B4ピクチャは、P8ピクチャを参照しており、B6ピクチャはB4ピクチャを参照している。また、B5ピクチャはB4ピクチャとP8ピクチャ、B4ピクチャとB6ピクチャの間に存在する。すなわち、符号化済み画像と符号化済み画像の参照画像の間に符号化対象画像が存在する。B4ピクチャとP8ピクチャの間は４ピクチャ間隔であり、B4ピクチャとB6ピクチャの間は２ピクチャ間隔であるため、B6ピクチャが選択手段５０１により選択される。選択手段５０１は、選択したピクチャの情報を第１取得手段５０２、第２取得手段５０３に通知する。

第１取得手段５０２は、符号化対象画像に属する符号化済みブロックの符号化情報を格納手段２０１から取得する。図２６は、第１取得手段５０２により取得される符号化情報の一例を示す図である。第１取得手段５０２は、例えば、図２６に示すように、符号化対象ブロックCB4の左ブロックA、上ブロックBのB6ピクチャに対する動きベクトルA、Bを取得する。ここで、ブロックAの動きベクトルを動きベクトルA、ブロックBの動きベクトルを動きベクトルBと呼ぶ。第１取得手段５０２は、選択手段５０１から通知されたピクチャに対する動きベクトルを取得する。この場合、B6ピクチャに対する動きベクトルが取得される。

第１取得手段５０２は、B6ピクチャに対する動きベクトルがない場合、同方向に存在するP8ピクチャへの動きベクトルが存在する場合は、適切に時間方向スケーリングを行い、B6ピクチャに対する動きベクトルを算出する。この場合、B6ピクチャに対する動きベクトルは、P8ピクチャへの動きベクトルの１／３である。第１取得手段５０２は、取得した動きベクトルを第２取得手段５０３に出力する。なお、第１取得手段５０２は、動きベクトルを取得するブロックがイントラ符号化されていた場合は、動きベクトルを無効とする。

第２取得手段５０３は、選択手段５０１で選択された符号化済み画像に属するブロックの符号化情報を格納手段２０１から取得する。第２取得手段５０３は、第1取得手段５０２から取得した複数の動きベクトルに基づいて、例えば中間値や平均値のベクトルを算出する。これを仮動きベクトルとする。ここでは、仮動きベクトルの例として平均値のベクトルを算出するとする。また、第1取得手段５０１から得られた動きベクトルが全て無効である場合はゼロベクトルとする。

図２７は、仮動きベクトルの一例を示す図である。図２７に示すように、第２取得手段５０３は、以下の式で仮動きベクトルを求める。
仮動きベクトル＝（動きベクトルA＋動きベクトルB）／２
これにより、第２取得手段５０３は、算出された平均ベクトル（pvx, pvy）を符号化対象ブロックの推測ベクトル（仮動きベクトル）PVとして、B6ピクチャへの符号化対象ブロックに相当する移動先座標を推測する。符号化対象ブロックCB4の座標が（x,y）とすると、移動先座標は（x+pvx, y+pvy）である。第２取得手段５０３は、その移動先座標を含むB6ピクチャのブロックBl1（ブロックX）の分割モードXを取得する。なお、移動先座標が画面外に出る場合は、ブロックXの分割モードを取得することができない。そこで、この場合は、選択手段５０１、第１取得手段５０２、第２取得手段５０３、予測手段５０４は、実施例３で説明した処理を行うようにすればよい。また、ブロックXがイントラ予測で符号化されている場合は、分割モードXを無効にする。

予測手段５０４は、第２取得手段５０３から取得した符号化情報に基づいて符号化対象ブロックの分割モードの予測値である予測モードを算出する。例えば、予測手段５０４は、第２取得手段５０３から取得した分割モードXをそのまま予測モードXに設定する。決定手段２０６については、例えば実施例３で示した動作と同様でもよい。

符号化手段５０５は、H.264の分割モード符号化方法を例にして説明する。図２８は、符号化テーブルの一例を示す図である。符号化手段５０５は、図２８に示すように分割モードと、参照方向を示す参照モード（前方向、後方向、双方向）とをブロックタイプとして符号化する。ここで、符号が小さい方が符号量も小さくなるとする。H.264では、図２８（A）に示すように、予め決められた符号が分割タイプを基準に順番に割り当てられており効率的ではない。実施例５では、符号化手段５０５は、分割モードの予測モードを基準に符号化テーブルを変更する。例えば、符号化手段５０５は、予測モードXを含むブロックの符号量を小さくするように符号化テーブルを適応的に変更する。

例えば、予測モードが8x8分割であった場合、符号化手段５０５は、図２８（B）に示すように8x8分割を含むマクロブロックタイプの順位を上げる。また、符号化手段５０５は、分割しているブロック（例えば16x8，8x16）を分割していないブロック（16x16）より順位を上げる。予測モードXがイントラ予測で符号化されており無効である場合は、符号化テーブルの変更を行わない。

これにより、予測モードが実際の分割モードと一致すれば、値が小さい符号で符号化できるので、ブロックタイプに係る符号量を削減することが可能になる。

次に、実施例５における画像符号化装置の動作について説明する。図２９は、実施例５における分割モードの符号化処理の一例を示すフローチャートである。図２９に示すステップＳ３０１で、格納手段２０１は、符号化済み画像のブロック単位の動きベクトル、ブロックタイプ、分割モードなどの符号化情報を格納する。

ステップＳ３０２、Ｓ３０３で、第1取得手段５０２は、符号化対象画像に属する符号化済みブロックの符号化情報に含まれる動きベクトルを取得する。第１取得手段５０２は、図２６に示す例では、符号化対象ブロックに隣接する左ブロックA、上ブロックBの動きベクトルA、Bを取得する。

ステップＳ３０４で、選択手段５０１は、符号化対象画像の参照画像の中で、符号化対象画像との時間間隔が小さい符号化済み画像（選択画像）を選択する。

ステップＳ３０５で、選択手段５０１は、選択画像が１つであるか否かを判定する。選択画像が１つであれば（ステップＳ３０５−ＹＥＳ）ステップＳ３０７に進み、選択画像が複数あれば（ステップＳ３０５−ＮＯ）ステップＳ３０６に進む。

ステップＳ３０６で、選択手段５０１は、選択画像とその参照画像との時間間隔が最小となる符号化済み画像を選択する。

ステップＳ３０７で、第２取得手段５０３は、第１取得手段５０２から取得した動きベクトルA、Bが、選択手段５０１により選択された選択画像もしくは符号化対象画像方向の参照画像を指し示すか判定する。動きベクトルA、Bがこれらの画像を指し示さなければ動きベクトルは無効であるとする。よって、動きベクトルA、Bの両方が無効であれば（ステップＳ３０７−ＹＥＳ）ステップＳ３０８に進み、いずれか一方が有効であれば（ステップＳ３０７−ＮＯ）ステップＳ３０９に進む。

ステップＳ３０８で、第２取得手段５０３は、動きベクトルA、Bをゼロベクトルとする。

ステップＳ３０９で、第２取得手段５０３は、動きベクトルA、Bの平均ベクトルPVを計算する。第２取得手段５０３は、有効な動きベクトルが一つしかなければ、その動きベクトルを平均し推測ベクトルPVとする。

ステップＳ３１０で、第２取得手段５０３は、推測ベクトルPVを用いて、符号化対象ブロックの選択画像への移動先座標を計算する。

ステップＳ３１１で、第２取得手段５０３は、移動先座標を含むブロックの分割モードXを取得する。

ステップＳ３１２で、予測手段５０４は、第２取得手段５０３により取得した分割モードXを予測モードに設定する。

ステップＳ３１３で、符号化手段５０５は、予測モードに応じてVLC（可変長符号化）テーブルの符号量の割り当てを変更する。例えば、符号化手段５０５は、予測モードの分割形状を値が小さい符号になるようにVLCテーブルを変更する。

ステップＳ３１４で、決定手段２０６は、符号化対象ブロックの分割モードをブロックマッチングにより決定する。

ステップＳ３１５で、符号化手段５０５は、決定手段２０６により決定された分割モードをVLCテーブルに応じて符号に変換する。この符号を分割モード情報とする。分割モード情報は、ビットストリームに含まれる。

なお、ステップＳ３１０の後に、第２取得手段５０３は、移動先座標が画面内にあるか否かを判定してもよい。画面外にあれば、図２１に示すステップＳ１０３以降の処理を行うことで、分割モードの予測モードを設定することもできる。また、簡略化して、第２取得手段５０３は、移動先座標が画面外にあると判定すれば、分割モードXを、分割を表す分割モードに設定してもよい。

以上、実施例５によれば、符号化対象ブロックと類似するブロックを時間方向で見つけることにより符号化効率を上げることができる。これは、時間方向において、符号化対象ブロックと類似するブロックの分割モードは、符号化対象ブロックの分割モードと同じである可能性が高いという考えに基づく。よって、分割モードの予測精度が向上すれば、VLCテーブルにより変換される符号の符号量を削減できるので、符号化効率を上げることが可能になる。

［実施例６］
次に、実施例６における画像復号装置について説明する。実施例６における画像復号装置の構成は、図１１に示した構成と同様である。また、実施例６における分割モードの予測に関する機能は、図３０に示す。図３０は、実施例６における分割モードの予測に関する機能の一例を示すブロック図である。

また、実施例６における画像復号装置は、実施例５における画像符号化装置で符号化されたビットストリームを復号する。

実施例６における画像復号装置は、格納手段４０１、選択手段６０１、第１取得手段６０２、第２取得手段６０３、予測手段６０４、復号手段４０６、決定手段６０５を含む。図３０に示す機能において、図１２に示す機能と同様のものは同じ符号を付す。格納手段４０１は、実施例４と同様である。

選択手段６０１は、例えば、復号対象画像と復号済み画像との間隔が最も小さい復号済み画像を選択する。選択した画像が複数ある場合は、選択手段６０１は、復号済み画像と復号済み画像の参照画像の間隔が最も小さい復号済み画像を選択する。選択手段６０１は、選択したピクチャの情報を第１取得手段６０２、第２取得手段６０３に通知する。

第１取得手段６０２は、復号対象画像に属する復号済みブロックの復号情報に含まれる動きベクトルを取得する。第１取得手段６０２は、例えば、復号対象ブロックの左ブロックA、上ブロックBの動きベクトルを取得する。第１取得手段６０２は、選択手段６０１から通知されたピクチャに対する動きベクトルを取得する。

第１取得手段６０２は、選択されたピクチャに対する動きベクトルがない場合、同方向に存在するピクチャへの動きベクトルが存在する場合は、適切に時間方向スケーリングを行い、選択されたピクチャに対する動きベクトルを算出する。第１取得手段６０２は、取得した動きベクトルを第２取得手段６０３に出力する。なお、第１取得手段６０２は、動きベクトルを取得するブロックがイントラ符号化されていた場合は、動きベクトルを無効とする。

第２取得手段６０３は、選択手段６０１で選択された復号済み画像に属するブロックの復号情報を取得する。第２取得手段６０３は、第1取得手段６０２から取得した複数の動きベクトルに基づいて、例えば中間値や平均値のベクトルを算出する。これを仮動きベクトルとする。ここでは、仮動きベクトルの例として平均値のベクトルを算出するとする。また、第1取得手段６０２から得られた動きベクトルが全て無効である場合はゼロベクトルとする。

第２取得手段６０３は、算出された平均ベクトル（pvx, pvy）を復号対象ブロックの推測ベクトル（仮動きベクトル）PVとして、選択された復号済み画像への復号対象ブロックに相当する移動先座標を推測する。復号対象ブロックの座標が（x,y）とすると、移動先座標は（x+pvx, y+pvy）である。

第２取得手段６０３は、その移動先座標を含む復号済み画像のブロックXの分割モードXを取得する。なお、移動先座標が画面外に出る場合は、ブロックXの分割モードを取得することができない。そこで、この場合は、選択手段６０１、第１取得手段６０２、第２取得手段６０３、予測手段６０４は、実施例４で説明した処理を行うようにすればよい。また、ブロックXがイントラ予測で符号化されている場合は、分割モードXを無効にする。

予測手段６０４は、第２取得手段６０３から取得した復号情報に基づいて復号対象ブロックの分割モードの予測値である予測モードを算出する。例えば、予測手段６０４は、第２取得手段６０３から取得した分割モードXをそのまま予測モードXに設定する。復号手段４０６については、例えば実施例４で示した動作と同様でもよい。

決定手段６０５は、取得した予測モードを基準に復号テーブルを設定する。例えば、決定手段６０５は、予測モードXを含むブロックを上位にするように復号テーブルを適応的に変更する。

例えば、予測モードが8x8分割であった場合、決定手段６０５は、8x8分割を含むマクロブロックタイプの順位を上げる。また、決定手段６０５は、分割しているブロック（例えば16x8，8x16）を分割していないブロック（16x16）より順位を上げる。予測モードXがイントラ予測で符号化されており無効である場合は、復号テーブルの変更を行わない。決定手段６０５は、分割モード情報が示す符号と復号テーブルとに基づき、分割モードを決定する。

次に、実施例６における画像復号装置の動作について説明する。図３１は、実施例６における分割モード復号処理の一例を示すフローチャートである。図３１に示すステップＳ４０１で、格納手段４０１は、復号済み画像のブロック単位の動きベクトル、ブロックタイプ、分割モードなどの復号情報を格納する。

ステップＳ４０２、Ｓ４０３で、第1取得手段６０２は、復号対象画像に属する復号済みブロックの復号情報に含まれる動きベクトルを取得する。第１取得手段６０２は、復号対象ブロックに隣接する左ブロックAの動きベクトルA、上ブロックBの動きベクトルBを取得する。

ステップＳ４０４で、選択手段６０１は、復号対象画像の参照画像の中で、復号対象画像との時間間隔が小さい復号済み画像（選択画像）を選択する。

ステップＳ４０５で、選択手段６０１は、選択画像が１つであるか否かを判定する。選択画像が１つであれば（ステップＳ４０５−ＹＥＳ）ステップＳ４０７に進み、選択画像が複数あれば（ステップＳ４０５−ＮＯ）ステップＳ４０６に進む。

ステップＳ４０６で、選択手段６０１は、選択画像とその参照画像との時間間隔が最小となる復号済み画像を選択する。

ステップＳ４０７で、第２取得手段６０３は、第１取得手段６０２から取得した動きベクトルA、Bが、選択手段６０１により選択された選択画像もしくは復号対象画像方向の参照画像を指し示すか判定する。動きベクトルA、Bがこれらの画像を指し示さなければ動きベクトルは無効であるとする。よって、動きベクトルA、Bの両方が無効であれば（ステップＳ４０７−ＹＥＳ）ステップＳ４０８に進み、いずれか一方が有効であれば（ステップＳ４０７−ＮＯ）ステップＳ４０９に進む。

ステップＳ４０８で、第２取得手段６０３は、動きベクトルA、Bをゼロベクトルとする。

ステップＳ４０９で、第２取得手段６０３は、動きベクトルA、Bを平均し、推測ベクトルPVを計算する。第２取得手段６０３は、有効な動きベクトルが一つしかなければ、その動きベクトルを平均ベクトルPVとする。

ステップＳ４１０で、第２取得手段６０３は、推測ベクトルPVを用いて、復号対象ブロックの選択画像への移動先座標を計算する。

ステップＳ４１１で、第２取得手段６０３は、移動先座標を含むブロックの分割モードXを取得する。

ステップＳ４１２で、予測手段６０４は、第２取得手段６０３により取得した分割モードXを予測モードに設定する。

ステップＳ４１３で、決定手段６０５は、予測モードに応じてVLD（可変長復号）テーブルを変更する。例えば、決定手段６０５は、予測モードの分割形状を示す分割モードが上位にくるようにVLDテーブルを変更する。

ステップＳ４１４で、復号手段４０６は、ビットストリームを復号し、復号対象ブロックの分割モード情報を取得する。

ステップＳ４１５で、決定手段６０５は、復号手段４０６により決定された分割モード情報が示す符号をVLDテーブルに応じて分割モードに変換する。決定手段６０５は、これにより分割モードを決定することができる。

なお、ステップＳ４１０の後に、第２取得手段６０３は、移動先座標が画面内にあるか否かを判定してもよい。画面外にあれば、図２２に示すステップＳ２０３以降の処理を行うことで、分割モードを決定することもできる。また、簡略化して、第２取得手段６０３は、移動先座標が画面外にあると判定すれば、分割モードXを、分割を表す分割モードに設定してもよい。

以上、実施例６によれば、実施例５により分割モードの予測精度を上げた符号化に対応して、復号対象ブロックの分割モードを決定することができる。

［実施例７］
次に、実施例７における画像符号化装置について説明する。実施例７における画像符号化装置の構成については、図８に示した構成と同様であり、分割モードの予測に関する機能は、図３２に示す。図３２は、実施例７における分割モードの予測に関する機能の一例を示すブロック図である。

図３２に示す画像符号化装置は、格納手段２０１、選択手段７０１、第１取得手段７０２、第２取得手段７０３、予測手段７０４、決定手段２０６、符号化手段５０５を含む。なお、図３２に示す機能において、図９及び図２４と同様の機能のものは同じ符号を付す。

実施例７では、図２３に示すB5ピクチャを符号化する例を用いて説明する。B5ピクチャを符号化する際、すでにB4ピクチャ、B6ピクチャ、P8ピクチャは符号化され、これらのB4、B6、P8ピクチャは、符号化済み画像としてB5ピクチャで参照可能となっている。

格納手段２０１、選択手段５０１は、実施例３、５と同様である。図３３は、実施例７における周辺ブロックの一例を示す図である。第１取得手段７０１は、図３３に示すように、符号化対象ブロックCB5の左ブロックA、上ブロックB、右上のブロックCそれぞれの動きベクトルA、B、C及び分割モードA、B、Cを取得する。

第２取得手段７０２は、まず実施例５と同様に第1取得手段７０１から取得した複数の動きベクトルに基づいて、例えば中間値や平均値のベクトルを算出する。また、第1取得手段７０１から取得した動きベクトルが全て無効である場合はゼロベクトルとする。

第２取得手段７０２は、以下の式で平均ベクトルを求める。
平均ベクトル＝（動きベクトルＡ+動きベクトルＢ+動きベクトルＣ）／３
第２取得手段７０２は、算出した平均ベクトル（pvx, pvy）を符号化対象ブロックの推測ベクトルPVとして、B6ピクチャへの符号化対象ブロックに相当する移動先座標を推測する。符号化対象ブロックの座標が（x,y）だとすると、移動先座標は（x+pvy, y+pvy）である。

図３４は、第２取得手段７０２により指定する周辺ブロックの一例を示す図である。ここで、第２取得手段７０２は、より正確に移動先を求めるため、例えば図３４に示すように、移動先座標（x+pvy, y+pvy）を含むブロックXを含む、周辺ブロックA'〜H'のB6ピクチャからB4ピクチャへの動きベクトルを取得する。符号化済み画像の全ての情報が使用できるため符号化情報を取得する領域は予め指定された領域でよい。

図３５は、第２取得手段７０２により取得されるブロックの一例を示す図である。第２取得手段７０２は、図３５に示すように、B6ピクチャからB4ピクチャへの動きベクトルMVF1〜3の中で符号化対象ブロックCB5を通る動きベクトルMVF2を含むブロックXの分割モードを取得する。指定されたA'〜H'が全てイントラ予測で符号化されているなどして符号化対象ブロックCB5を通る動きベクトルがない場合は分割モードを無効とする。

次に、予測手段７０３について説明する。図３６は、予測手段７０３の機能の一例を示すブロック図である。図３６に示すように、予測手段７０３は、第1分割モード予測手段７３１と第２分割モード予測手段７３２を含む。第２分割モード予測手段７３２は、第２取得手段７０２から取得した分割モードが複数存在する場合、最も多いモードを候補モードXとする。同数であれば分割されるモードが優先される。

第１分割モード予測手段７３１は、第1取得手段７０１から取得したB6ピクチャ内のブロックAの分割モードA、ブロックBの分割モードB、ブロックCの分割モードCの中で最も多いモードを候補モードYとする。

予測手段７０３は、候補モードXが有効であれば、候補モードXを他の候補モードよりも優先して予測モードとし、候補モードXが無効であれば、候補モードYを予測モードとする。候補モードXを有するブロックは、符号化対象ブロックと類似する可能性が高いからである。

決定手段２０６、符号化手段５０５については、実施例３、５で示した動作と同様でもよい。

次に、実施例７における画像符号化装置の動作について説明する。図３７は、実施例７における分割モード符号化処理の一例を示すフローチャートである。図３７Aに示すステップＳ５０１で、格納手段２０１は、符号化済み画像のブロック単位の動きベクトル、ブロックタイプ、分割モードなどの符号化情報を格納する。

ステップＳ５０２、Ｓ５０３で、第1取得手段７０１は、符号化対象画像に属する符号化済みブロックの符号化情報に含まれる動きベクトルを取得する。第１取得手段７０１は、図３３に示す例では、符号化対象ブロックに隣接する左ブロックA、上ブロックB、右上ブロックCそれぞれの動きベクトルA、B、Cを格納手段２０１から取得する。ブロックCの動きベクトルを動きベクトルCとする。

ステップＳ５０４で、選択手段５０１は、符号化対象画像の参照画像の中で、符号化対象画像との時間間隔が小さい符号化済み画像（選択画像）を選択する。

ステップＳ５０５で、選択手段５０１は、選択画像が１つであるか否かを判定する。選択画像が１つであれば（ステップＳ５０５−ＹＥＳ）ステップＳ５０７に進み、選択画像が複数あれば（ステップＳ５０５−ＮＯ）ステップＳ５０６に進む。

ステップＳ５０６で、選択手段５０１は、選択画像とその参照画像との時間間隔が最小となる符号化済み画像を選択する。

ステップＳ５０７で、第２取得手段７０２は、第１取得手段７０１から取得した動きベクトルA、B、Cが、選択手段５０１により選択された選択画像もしくは符号化対象画像方向の参照画像を指し示すか判定する。動きベクトルA、B、Cがこれらの画像を指し示さなければ動きベクトルは無効であるとする。また、イントラ符号化されている場合も、動きベクトルは無効とする。よって、動きベクトルA、B、C全てが無効であれば（ステップＳ５０７−ＹＥＳ）ステップＳ５０９に進み、少なくとも１つが有効であれば（ステップＳ５０７−ＮＯ）ステップＳ５０８に進む。

ステップＳ５０８で、第２取得手段７０２は、動きベクトルA、B、Cを平均し、推測ベクトルPVを計算する。第２取得手段７０２は、有効な動きベクトルが一つしかなければ、その動きベクトルを推測ベクトルPVとする。

ステップＳ５０９で、第２取得手段７０２は、動きベクトルA、B、Cをゼロベクトルとする。

ステップＳ５１０で、第２取得手段７０２は、推測ベクトルPVを用いて、符号化対象ブロックの選択画像への移動先座標を計算する。

ステップＳ５１１で、第２取得手段７０２は、移動先座標を含むブロックを中心に周辺ブロックを指定する。

ステップＳ５１２で、第２取得手段７０２は、指定されたブロックの動きベクトルを取得する。

ステップＳ５１３で、第２取得手段７０２は、符号化対象ブロックを通る動きベクトルの分割モードXを取得する。

図３７Bに示すステップＳ５１４で、第２分割モード予測手段７３２は、分割モードXが複数あるか判定する。分割モードXが複数あれば（ステップＳ５１４−ＹＥＳ）ステップＳ５１５に進み、分割モードXが１つしかなければ（ステップＳ５１４−ＮＯ）ステップＳ５１６に進む。

ステップＳ５１５で、第２分割モード予測手段７３２は、複数の分割モードXから多数決により候補モードXを決定する。

ステップＳ５１６で、第１分割モード予測手段７３１は、分割モードA、B、Cから多数決により候補モードYを決定する。

ステップＳ５１７で、予測手段７０３は、候補モードXが有効かを判定する。候補モードXが有効であれば（ステップＳ５１７−ＹＥＳ）ステップＳ５１８に進み、候補モードXが無効であれば（ステップＳ５１７−ＮＯ）ステップＳ５１９に進む。

ステップＳ５１８で、予測手段７０３は、候補モードXを候補Yよりも優先して予測モードとする。符号化対象ブロックと空間的に隣接するブロックよりも、時間的に類似するブロックを優先した方が、予測精度が上がる可能性が高いからである。ステップＳ５１９で、予測手段７０３は、候補モードYを予測モードとする。

ステップＳ５２０で、符号化手段５０５は、予測モードに応じてVLC（可変長符号化）テーブルの符号量の割り当てを変更する。例えば、符号化手段５０５は、予測モードの分割形状を値が小さい符号になるようにVLCテーブルを変更する。

ステップＳ５２１で、決定手段２０６は、符号化対象ブロックの分割モードをブロックマッチングにより決定する。

ステップＳ５２２で、符号化手段５０５は、決定手段２０６により決定された分割モードをVLCテーブルに応じて符号に変換する。この符号を分割モード情報とする。分割モード情報は、ビットストリームに含まれる。

なお、ステップＳ５１０の後に、第２取得手段７０２は、移動先座標が画面内にあるか否かを判定してもよい。画面外にあれば、図２１に示すステップＳ１０３以降の処理を行うことで、分割モードの予測モードを設定することもできる。また、簡略化して、第２取得手段７０２は、移動先座標が画面外にあると判定すれば、分割モードXを、分割を表す分割モードに設定してもよい。

以上、実施例７によれば、実施例５よりも、符号化対象ブロックと類似するブロックを時間方向で見つけることができる可能性がある。これは、符号化対象ブロックを通る動きベクトルを有するブロックは、符号化対象ブロックに対しより類似すると言えるからである。よって、分割モードの予測精度が向上すれば、VLCテーブルにより変換される符号の符号量を削減できるので、符号化効率を上げることが可能になる。

［実施例８］
次に、実施例８における画像復号装置について説明する。実施例８における画像復号装置の構成は、図１１に示した構成と同様であり、分割モードの予測に関する機能は、図３８に示す。図３８は、実施例８における分割モードの予測に関する機能の一例を示すブロック図である。

図３８に示す画像復号装置は、格納手段４０１、選択手段６０１、第１取得手段８０１、第２取得手段８０２、予測手段８０３、復号手段４０６、決定手段６０５を含む。なお、図３８に示す機能において、図１２、３０と同様の機能のものは同じ符号を付す。

また、実施例８における画像復号装置は、実施例７における画像符号化装置で符号化されたビットストリームを復号する。

格納手段４０１、選択手段６０１は、実施例４、６と同様である。第１取得手段８０１、復号対象ブロックの左ブロックA、上ブロックB、右上のブロックCそれぞれの動きベクトルA、B、C及び分割モードA、B、Cを取得する。

第２取得手段８０２は、まず実施例６と同様に第1取得手段８０１から取得した複数の動きベクトルに基づいて、例えば中間値や平均値のベクトルを算出する。また、第1取得手段８０１から取得した動きベクトルが全て無効である場合はゼロベクトルとする。

第２取得手段８０２は、以下の式で平均ベクトルを求める。
平均ベクトル＝（動きベクトルA+動きベクトルB+動きベクトルC）／３
第２取得手段８０２は、算出した平均ベクトル（pvx, pvy）を復号対象ブロックの推測ベクトルPVとして、選択されたピクチャへの復号対象ブロックに相当する移動先座標を推測する。復号対象ブロックの座標が（x,y）だとすると、移動先座標は（x+pvy, y+pvy）である。

第２取得手段８０２は、より正確に移動先を求めるため、移動先座標（x+pvy, y+pvy）を含むブロックXに隣接するブロックA'〜H'の動きベクトルのうち、選択された画像から復号対象画像方向への動きベクトルを取得する。復号済み画像の全ての情報が使用できるため復号情報を取得する領域は、予め指定された領域でよい。

第２取得手段８０２は、選択された画像から復号対象画像への動きベクトルの中で復号対象ブロックを通る動きベクトルを有するブロックXの分割モードを取得する。指定されたA'〜H'が全てイントラ予測で符号化されている場合、又は復号対象ブロックを通る動きベクトルがない場合は、分割モードを無効とする。

予測手段８０３は、第２取得手段８０２から取得した分割モードが複数存在する場合、最も多いモードを候補モードXとする。同数であれば分割されるモードが優先される。

予測手段８０３は、第1取得手段８０１から取得した復号対象画像内のブロックAの分割モードA、ブロックBの分割モードB、ブロックCの分割モードCの中で最も多いモードを候補モードYとする。

予測手段８０３は、候補モードXが有効であれば、候補モードXを他の候補モードよりも優先して予測モードとし、候補モードXが無効であれば、候補モードYを予測モードとする。

決定手段４０６、符号化手段６０５については、実施例４、６で示した動作と同様でもよい。

これにより、実施例７で説明した画像符号化装置で生成されたビットストリームを復号することができる。

次に、実施例８における画像復号装置の動作について説明する。図３９は、実施例８における分割モード復号処理の一例を示すフローチャートである。

図３９Aに示すステップＳ６０１で、格納手段４０１は、復号済み画像のブロック単位の動きベクトル、ブロックタイプ、分割モードなどの復号情報を格納する。

ステップＳ６０２、Ｓ６０３で、第1取得手段８０１は、復号対象画像に属する復号済みブロックの復号情報に含まれる動きベクトルを格納手段４０１から取得する。第１取得手段８０１は、例えば、復号対象ブロックに隣接する左ブロックA、上ブロックB、右上ブロックCそれぞれの動きベクトルA、B、Cを取得する。

ステップＳ６０４で、選択手段６０１は、復号対象画像の参照画像の中で、復号対象画像との時間間隔が小さい復号済み画像（選択画像）を選択する。

ステップＳ６０５で、選択手段６０１は、選択画像が１つであるか否かを判定する。選択画像が１つであれば（ステップＳ６０５−ＹＥＳ）ステップＳ６０７に進み、選択画像が複数あれば（ステップＳ６０５−ＮＯ）ステップＳ６０６に進む。

ステップＳ６０６で、選択手段６０１は、選択画像とその参照画像との時間間隔が最小となる復号済み画像を選択する。

ステップＳ６０７で、第２取得手段８０２は、第１取得手段８０１から取得した動きベクトルA、B、Cが、選択手段６０１により選択された選択画像もしくは復号対象画像方向の参照画像を指し示すか判定する。動きベクトルA、B、Cがこれらの画像を指し示さなければ動きベクトルは無効であるとする。また、イントラ符号化されている場合も、動きベクトルは無効とする。よって、動きベクトルA、B、C全てが無効であれば（ステップＳ６０７−ＹＥＳ）ステップＳ６０９に進み、少なくともいずれか一方が有効であれば（ステップＳ６０７−ＮＯ）ステップＳ６０８に進む。

ステップＳ６０８で、第２取得手段８０２は、動きベクトルA、B、Cを平均し、推測ベクトルPVを計算する。第２取得手段８０２は、有効な動きベクトルが一つしかなければ、その動きベクトルを推測ベクトルPVとする。

ステップＳ６０９で、第２取得手段８０２は、動きベクトルA、B、Cをゼロベクトルとする。

ステップＳ６１０で、第２取得手段８０２は、推測ベクトルPVを用いて、復号対象ブロックの選択画像への移動先座標を計算する。

ステップＳ６１１で、第２取得手段８０２は、移動先座標を含むブロックを中心に周辺ブロックを指定する。

ステップＳ６１２で、第２取得手段８０２は、指定されたブロックの動きベクトルを取得する。

ステップＳ６１３で、第２取得手段８０２は、復号対象ブロックを通る動きベクトルの分割モードXを取得する。

図３９Bに示すステップＳ６１４で、予測手段８０３は、分割モードXが複数あるか判定する。分割モードXが複数あれば（ステップＳ６１４−ＹＥＳ）ステップＳ６１５に進み、分割モードXが１つしかなければ（ステップＳ６１４−ＮＯ）ステップＳ６１６に進む。

ステップＳ６１５で、予測手段８０３は、複数の分割モードXから多数決により候補モードXを決定する。

ステップＳ６１６で、予測手段８０３は、分割モードA、B、Cから多数決により候補モードYを決定する。

ステップＳ６１７で、予測手段８０３は、候補モードXが有効かを判定する。候補モードXが有効であれば（ステップＳ６１７−ＹＥＳ）ステップＳ６１８に進み、候補モードXが無効であれば（ステップＳ６１７−ＮＯ）ステップＳ６１９に進む。

ステップＳ６１８で、予測手段８０３は、候補モードXを候補Yよりも優先して予測モードとする。ステップＳ６１９で、予測手段８０３は、候補モードYを予測モードとする。

ステップＳ６２０で、決定手段６０５は、予測モードに応じてVLD（可変長復号）テーブルを変更する。例えば、決定手段６０５は、予測モードの分割形状を示す分割モードが上位にくるようにVLDテーブルを変更する。

ステップＳ６２１で、復号手段４０６は、ビットストリームを復号し、復号対象ブロックの分割モード情報を取得する。

ステップＳ６２２で、決定手段６０５は、復号手段４０６により決定された分割モード情報が示す符号をVLDテーブルに応じて分割モードに変換する。決定手段６０５は、これにより分割モードを決定することができる。

なお、ステップＳ６１０の後に、第２取得手段８０２は、移動先座標が画面内にあるか否かを判定してもよい。画面外にあれば、図２２に示すステップＳ２０３以降の処理を行うことで、分割モードを決定することもできる。また、簡略化して、第２取得手段６０３は、移動先座標が画面外にあると判定すれば、分割モードXを、分割を表す分割モードに設定してもよい。

以上、実施例８によれば、実施例７により分割モードの予測精度を上げた符号化に対応して、復号対象ブロックの分割モードを決定することができる。

［変形例］
次に、変形例について説明する。変形例では、前述した画像符号化方法又は画像復号方法を実現するためのプログラムを記録媒体に記録することで、各実施例での処理をコンピュータシステムに実施させることができる。

図４０は、情報処理装置９００の構成の一例を示す図である。図４０に示すように、情報処理装置９００は、制御部９０１、主記憶部９０２、補助記憶部９０３、ドライブ装置９０４、ネットワークＩ／Ｆ部９０６、入力部９０７、表示部９０８を含む。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

制御部９０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部９０１は、主記憶部９０２や補助記憶部９０３に記憶されたプログラムを実行する演算装置であり、入力部９０７や記憶装置からデータを受け取り、演算、加工した上で、表示部９０８や記憶装置などに出力する。

主記憶部９０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部９０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部９０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置９０４は、記録媒体９０５、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。

また、記録媒体９０５に、所定のプログラムを格納し、この記録媒体９０５に格納されたプログラムはドライブ装置９０４を介して情報処理装置９００にインストールされる。インストールされた所定のプログラムは、情報処理装置９００により実行可能となる。

ネットワークＩ／Ｆ部９０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と情報処理装置７００とのインターフェースである。

入力部９０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部９０８の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部９０７は、ユーザが制御部９０１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。

表示部９０８は、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等により構成され、制御部９０１から入力される表示データに応じた表示が行われる。

このように、前述した実施例で説明した画像符号化処理又は画像復号処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、前述した画像符号化処理又は画像復号処理を実現することができる。

また、このプログラムを記録媒体９０５に記録し、このプログラムが記録された記録媒体９０５をコンピュータや携帯端末に読み取らせて、前述した画像符号化処理又は画像復号処理を実現させることも可能である。なお、記録媒体９０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、前述した各実施例で説明した画像符号化処理又は画像復号処理は、１つ又は複数の集積回路に実装してもよい。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した各実施例の構成要素を全部又は複数を組み合わせることも可能である。

Claims (15)

1. 複数のブロックに分割された画像を復号する画像復号方法であって、
   復号対象画像内の復号済みブロックの復号情報及び復号済み画像の各ブロックの復号情報を格納する格納手段から前記復号済みブロックの復号情報を取得し、
   複数の前記復号済み画像の中から、所定の復号済み画像を選択し、
   前記選択された復号済み画像内の所定ブロックの復号情報を前記格納手段から取得し、
   前記取得された復号済みブロックの復号情報及び前記所定ブロックの復号情報を用いて、復号対象ブロックの分割形状を表す分割モードを予測し、
   符号化データから前記復号対象ブロックの分割モードを表す分割モード情報を復号し、
   前記予測された分割モード及び前記復号された分割モード情報から前記復号対象ブロックの分割モードを決定する画像復号方法。
2. 前記所定の復号済み画像を選択する場合、前記復号対象画像と時間間隔が最も小さい復号済み画像を選択する請求項１記載の画像復号方法。
3. 前記所定ブロックの復号情報を取得する場合、前記復号対象ブロックと同一位置にある同位置ブロック及び前記同位置ブロックの周辺ブロックを前記所定ブロックとする請求項１又は２記載の画像復号方法。
4. 前記分割モードを予測する場合、前記復号済みブロックの復号情報に含まれる分割モードと、前記復号済みブロックと同一位置にある前記所定ブロックの復号情報に含まれる分割モードとが同じであれば、前記同位置ブロックの分割モードを前記予測された分割モードとする請求項３記載の画像復号方法。
5. 前記所定の復号済み画像を選択する場合、復号済み画像と該復号済み画像の参照画像との間隔が最も小さい復号済み画像を選択する請求項１記載の画像復号方法。
6. 前記所定ブロックの復号情報を取得する場合、前記取得された復号済みブロックの動きベクトルを取得し、取得した動きベクトルを用いて仮動きベクトルを生成し、前記復号対象ブロックから前記仮動きベクトルが示すブロックを前記所定ブロックとする請求項５記載の画像復号方法。
7. 前記所定ブロックの復号情報を取得する場合、前記仮動きベクトルが示すブロックを含む周辺ブロックのうち、前記復号対象ブロック内を通る動きベクトルを有するブロックを前記所定ブロックとする請求項６記載の画像復号方法。
8. 前記分割モードを予測する場合、前記所定ブロックの復号情報に含まれる分割モードを、前記復号済みブロックの復号情報に含まれる分割モードよりも優先して前記予測された分割モードとする請求項６又は７記載の画像復号方法。
9. 前記分割モードを決定する場合、前記予測された分割モードの符号量が他の分割モードよりも小さくなるよう変更される、前記分割モードと符号とを対応付けた復号テーブルに基づいて、前記分割モード情報が示す前記復号テーブル内の符号から分割モードを決定する請求項１乃至８いずれか一項に記載の画像復号方法。
10. 前記分割モードを決定する場合、前記分割モード情報が、前記予測された分割モードと一致するか否かを示す情報であるとき、該情報が一致を示せば前記予測された分割モードに決定し、該情報が不一致を示せば前記予測された分割モード以外の分割モードに決定する請求項１乃至８いずれか一項に記載の画像復号方法。
11. 画像を複数のブロックに分割した符号化する画像符号化方法であって、
    符号化対象画像内の符号化済みブロックの符号化情報及び符号化済み画像の各ブロックの符号化情報を格納する格納手段から前記符号化済みブロックの符号化情報を取得し、
    複数の前記符号化済み画像の中から、所定の符号化済み画像を選択し、
    前記選択された符号化済み画像内の所定ブロックの符号化情報を前記格納手段から取得し、
    前記取得された符号化済みブロックの符号化情報及び前記所定ブロックの符号化情報を用いて、符号化対象ブロックの分割形状を表す分割モードを予測し、
    前記符号化対象ブロックで用いる分割モードを決定し、
    前記予測された分割モード及び前記決定された分割モードから前記符号化対象ブロックの分割モード情報を符号化する画像符号化方法。
12. 複数のブロックに分割された画像を復号する画像復号装置であって、
    復号対象画像内の復号済みブロックの復号情報及び復号済み画像の各ブロックの復号情報を格納する格納手段と、
    前記格納手段から前記復号済みブロックの復号情報を取得する第１取得手段と、
    複数の前記復号済み画像の中から、所定の復号済み画像を選択する選択手段と、
    前記選択手段により選択された復号済み画像内の所定ブロックの復号情報を前記格納手段から取得する第２取得手段と、
    前記第１取得手段により取得された復号済みブロックの復号情報及び前記第２取得手段により取得された所定ブロックの復号情報を用いて、復号対象ブロックの分割形状を表す分割モードを予測する予測手段と、
    符号化データから前記復号対象ブロックの分割モードを表す分割モード情報を復号する復号手段と、
    前記予測手段により予測された分割モード及び前記復号手段により復号された分割モード情報から前記復号対象ブロックの分割モードを決定する決定手段と、
    を備える画像復号装置。
13. 画像を複数のブロックに分割して符号化する画像符号化装置であって、
    符号化対象画像内の符号化済みブロックの符号化情報及び符号化済み画像の各ブロックの符号化情報を格納する格納手段と、
    前記格納手段から前記符号化済みブロックの復号情報を取得する第１取得手段と、
    複数の前記符号化済み画像の中から、所定の符号化済み画像を選択する選択手段と、
    前記選択手段により選択された符号化済み画像内の所定ブロックの符号化情報を前記格納手段から取得する第２取得手段と、
    前記第１取得手段により取得された符号化済みブロックの符号化情報及び前記第２取得手段により取得された所定ブロックの符号化情報を用いて、符号化対象ブロックの分割形状を表す分割モードを予測する予測手段と、
    前記符号化対象ブロックで用いる分割モードを決定する決定手段と、
    前記予測手段により予測された分割モード及び前記決定手段により決定された分割モードから前記符号化対象ブロックの分割モード情報を符号化する符号化手段と、
    を備える画像符号化装置。
14. コンピュータに、
    復号対象画像内の復号済みブロックの復号情報及び復号済み画像の各ブロックの復号情報を格納する格納手段から前記復号済みブロックの復号情報を取得し、
    複数の前記復号済み画像の中から、所定の復号済み画像を選択し、
    前記選択された復号済み画像内の所定ブロックの復号情報を前記格納手段から取得し、
    前記取得された復号済みブロックの復号情報及び前記所定ブロックの復号情報を用いて、復号対象ブロックの分割形状を表す分割モードを予測し、
    符号化データから前記復号対象ブロックの分割モードを表す分割モード情報を復号し、
    前記予測された分割モード及び前記復号された分割モード情報から前記復号対象ブロックの分割モードを決定する処理を実行させる画像復号プログラム。
15. コンピュータに、
    符号化対象画像内の符号化済みブロックの符号化情報及び符号化済み画像の各ブロックの符号化情報を格納する格納手段から前記符号化済みブロックの符号化情報を取得し、
    複数の前記符号化済み画像の中から、所定の符号化済み画像を選択し、
    前記選択された符号化済み画像内の所定ブロックの符号化情報を前記格納手段から取得し、
    前記取得された符号化済みブロックの符号化情報及び前記所定ブロックの符号化情報を用いて、符号化対象ブロックの分割形状を表す分割モードを予測し、
    前記符号化対象ブロックで用いる分割モードを決定し、
    前記予測された分割モード及び前記決定された分割モードから前記符号化対象ブロックの分割モード情報を符号化する処理を実行させる画像符号化プログラム。

Images