JP6310992B2 - 画像予測復号方法及び画像予測復号装置 - Google Patents

Description

本発明は、画像予測復号方法及び装置に関するもので、とりわけ、画面内の信号を用いて予測復号する方法及び装置にかかわるものである。

静止画像や動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合ではＭＰＥＧ１〜４やＨ．２６１〜Ｈ．２６４の方式が広く用いられている。

これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化・復号処理を行う。ＭＰＥＧ４やＨ．２６４においては、符号化効率をさらに高めるため、画面内の予測符号化については、対象ブロックと同じ画面内にある隣接する既再生の画素信号（圧縮された画像データを復元されたもの）を用いて予測信号を生成した上で、それを対象ブロックの信号から引き算した差分信号を符号化する。画面間の予測符号化については、対象ブロックと異なる画面にある別の既再生の画像信号を参照し、動きの補正を行ない、予測信号を生成し、生成された予測信号を対象ブロックの信号から引き算した差分信号を符号化する。

具体的には、Ｈ．２６４の画面内予測符号化では、符号化の対象となるブロックに隣接する既再生の画素値を所定の方向に外挿して予測信号を生成する方法を採用している。図１３はＨ．２６４に用いられる画面内予測方法を説明するための模式図である。図１３（Ａ）においてブロック１３０２は対象ブロックであり、その対象ブロックの境界に隣接する画素Ａ〜Ｍ（１３０１）からなる画素群は隣接領域であり、過去の処理において既に再生された画像信号である。この場合、対象ブロック１３０２の真上にある隣接画素（Ａ〜Ｄ）を下方に複製して予測信号を生成する。また図１３（Ｂ）では、対象ブロック１３０４の左にある既再生画素（Ｉ〜Ｌ）を右に複製して予測信号を生成する。予測信号を生成する具体的な方法はたとえば特許文献１に記載されている。このように図１３（Ａ）から（Ｉ）に示す方法で生成された９つの予測信号のそれぞれを対象ブロックの画素信号との差分をとり、差分値が最も小さいものを最適の予測方法とする。これらの外挿方法は図１４のようにまとめることができる。図１４の矢印は既再生の画素を引き伸ばす方向を示し、各方向に記している番号は夫々の予測モードの識別番号である。また周辺の既再生の画素の平均で予測する識別番号は２であり、図１４ではDCと示している。この識別番号は、画面内予測方法に関する識別情報、またはモード情報、または単に予測モードともいう。

画面内予測されるブロックの予測モードを送信側に送る必要がある。その際、対象ブロックの上に隣接するブロックと左に隣接するブロックのそれぞれが有する画面内予測モードを参考に、対象ブロックの画面内予測モードを符号化する。すなわち、上に隣接するブロックと左に隣接するブロックの画面内予測モードを比較し、値の小さいものを参照モード情報（最確モード（most probable mode））として決定する。対象ブロックの画面内予測モードはこの参照モード情報をもとに符号化する。

具体的には、対象ブロックの画面内予測モードが参照モード情報と同じかどうかを示すシンボルを符号化する。当該シンボルが１の場合は、対象ブロックの画面内予測モードが参照モード情報と同じである。当該シンボルが０の場合は、対象ブロックの画面内予測モードに関する情報を符号化する。但し、対象ブロックの画面内予測モードを示す番号が、参照モード情報の番号よりも大きい場合は、対象ブロックの画面内予測モードを示す番号から１を引いた上で符号化する。

再生側では、画面内予測された対象ブロックにおいて、まずは前記のシンボルを復号する。当該シンボルが１の場合は、対象ブロックの画面内予測モードを参照モード情報と同じであることを意味する。当該シンボルが０の場合は、さらに画面内予測モードに関する情報を復号する。但し、復号された予測モードの番号が参照モード情報と同じまたは大きい場合は、１を加算した上で、対象ブロックの画面内予測モードとする。

米国特許公報第６７６５９６４号.

ところで、従来技術よりも多くの画面内予測モードを設けることにより画面内予測の精度が向上することがわかっている。すなわち、図１４に示されている９つのモードに加えて、中間の角度（方向）から予測信号を外挿する選択肢があったほうが効果的である。

ところが、予測方法を増やすことにより、従来技術による画面内予測方法を特定するための識別情報（予測モード）の符号化効率が低下してしまう課題がある。

その理由として、画面内予測モードの数が増えることにより、統計的に対象ブロックの予測モードが参照モード情報（最確モード）と一致する確率は低下してしまうからである。それに加えて、参照モード情報と一致しない場合における予測モードそのものの符号化も、画面内予測モードの数が多いため、より多くのビット数が必要となる。

本発明は、上記の課題を解決し、画面内予測信号生成の方法において一層多くの予測モードが設けられた場合、対象ブロックの画面内予測方法を識別するためのモード情報を効率よく符号化する方法及び装置を提供することを目的とする。また、本発明は、符号化されたモード情報を効率よく復号する方法及び装置を提供することを目的とする。

上記目的を達成するために、本発明に係る画像予測復号装置は、
画像を複数のブロックに分割し対象ブロックを予測符号化することにより生成された残差信号及び前記対象ブロックの予測信号の生成方法を示す予測モードに関する符号化情報、を含む圧縮画像データを入力する入力手段と、
前記圧縮画像データの中から前記対象ブロックの残差信号を抽出し、再生残差信号に復元する復元手段と、
前記予測モードに関する符号化情報を復元し、前記予測モードを生成する予測モード復号手段と、
前記予測モードに基づいて前記対象ブロックの予測信号を生成する予測信号生成手段と、
前記予測信号を前記再生残差信号に加算することによって、前記対象ブロックの画素信号を復元する画像復元手段と、
前記復元された画素信号を、再生画素信号として格納する格納手段と、
を備えることを特徴とする画像予測復号装置であって、
前記予測モード復号手段は、
前記対象ブロックに隣接する複数の既再生ブロックの予測モードを成分として含む候補予測モードリストを生成し、
前記対象ブロックの前記予測モードに該当する成分が前記候補予測モードリストにあるかどうかを示すフラグを復号し、
前記フラグが「該当する成分がある」と示す場合に、前記候補予測モードリストに含まれる該当する成分を指すインデックスをさらに復号し、前記インデックスの指す成分を前記対象ブロックの前記予測モードとし、
前記フラグが「該当する成分がない」と示す場合に、
ＲＥＭモードをさらに復号し前記ＲＥＭモードは固定長符号として数値に復元され、
復元された当該数値を、前記予測モードの識別番号にマッピングしなおした上で、対象ブロックの画面内予測モードとする、
ことを特徴とする。

上記目的を達成するために、本発明に係る画像予測復号方法は、
画像予測復号装置によって実行される画像予測復号方法であり、
画像を複数のブロックに分割し対象ブロックを予測符号化することにより生成された残差信号及び前記対象ブロックの予測信号の生成方法を示す予測モードに関する符号化情報、を含む圧縮画像データを入力する入力ステップと、
前記圧縮画像データの中から前記対象ブロックの残差信号を抽出し、再生残差信号に復元する復元ステップと、
前記予測モードに関する符号化情報を復元し、前記予測モードを生成する予測モード復号ステップと、
前記予測モードに基づいて前記対象ブロックの予測信号を生成する予測信号生成ステップと、
前記予測信号を前記再生残差信号に加算することによって、前記対象ブロックの画素信号を復元する画像復元ステップと、
前記復元された画素信号を、再生画素信号として格納する格納ステップと、を備えることを特徴とする画像予測復号方法であって、
前記予測モード復号ステップは、
前記対象ブロックに隣接する複数の既再生ブロックの予測モードを成分として含む候補予測モードリストを生成するサブステップと、
前記対象ブロックの前記予測モードに該当する成分が前記候補予測モードリストにあるかどうかを示すフラグを復号するサブステップと、
前記フラグが「該当する成分がある」と示す場合に、前記候補予測モードリストに含まれる該当する成分を指すインデックスをさらに復号し、前記インデックスの指す成分を前記対象ブロックの前記予測モードとするサブステップと、
前記フラグが「該当する成分がない」と示す場合に、ＲＥＭモードをさらに復号し前記ＲＥＭモードは固定長符号として数値に復元され、復元された当該数値を、前記予測モードの識別番号にマッピングしなおした上で、対象ブロックの画面内予測モードとするサブステップと、
を含む、
ことを特徴とする。

本発明は、以下の態様を採用してもよい。

上記目的を達成するために、本発明に係る画像予測符号化装置は、入力画像を複数のブロックに分割する領域分割手段と、前記複数のブロックに対し処理対象である対象ブロックに含まれる画素信号に対し、複数の予測方法から差分値の最も小さい予測モードを決定し、前記予測モードに従い予測信号を生成する予測信号生成手段と、前記対象ブロックの画素信号と前記予測信号との残差信号を求める残差信号生成手段と、前記残差信号を符号化し圧縮信号を生成する信号符号化手段と、決定された前記予測モードを符号化する予測モード符号化手段と、前記圧縮信号を復元し、再生画素信号として格納する格納手段と、を備える画像予測符号化装置であって、前記予測モード符号化手段は、前記対象ブロックに隣接する複数の既再生ブロックの予測モードを成分として含む候補予測モードリストを生成し、前記決定された前記予測モードに該当する成分が前記候補予測モードリストにあるかどうかを示すフラグを符号化し、該当する成分がある場合は前記候補予測モードリストにある前記成分へのインデックスをさらに符号化し、該当する成分がない場合は、前記候補予測モードリストにある各成分が取り除かれ残りの予測モードが最小の成分から最大の成分まで順序付けられた後、前記予測モードの順序付け後の位置に応じた番号付けで、前記決定された前記予測モードを符号化することを特徴とする。

上記目的を達成するために、本発明に係る画像予測符号化方法は、画像予測符号化装置によって実行される画像予測符号化方法であり、入力画像を複数のブロックに分割する領域分割ステップと、前記複数のブロックのうち処理対象である対象ブロックに含まれる画素信号に対し、複数の予測方法から差分値の最も小さい予測モードを決定し、決定された前記予測モードに従い予測信号を生成する予測信号生成ステップと、前記対象ブロックの画素信号と前記予測信号との差を表す残差信号を求める残差信号生成ステップと、前記残差信号を符号化し圧縮信号を生成する信号符号化ステップと、決定された前記予測モードを符号化する予測モード符号化ステップと、前記圧縮信号を復元し、再生画素信号として格納する格納ステップと、を備える画像予測符号化方法であって、前記予測モード符号化ステップでは、前記対象ブロックに隣接する複数の既再生ブロックの予測モードを成分として含む候補予測モードリストを生成し、前記決定された前記予測モードに該当する成分が前記候補予測モードリストにあるかどうかを示すフラグを符号化し、該当する成分がある場合は前記候補予測モードリストにある前記成分へのインデックスをさらに符号化し、該当する成分がない場合は、前記候補予測モードリストにある各成分が取り除かれ残りの予測モードが最小の成分から最大の成分まで順序付けられた後、前記予測モードの順序付け後の位置に応じた番号付けで、前記決定された前記予測モードを符号化することを特徴とする。

上記目的を達成するために、本発明に係る画像予測復号装置は、画像を複数のブロックに分割し対象ブロックを予測符号化することにより生成された残差信号及び前記対象ブロックの予測信号の生成方法を示す予測モードに関する符号化情報、を含む圧縮画像データを入力する入力手段と、前記圧縮画像データの中から前記対象ブロックの残差信号を抽出し、再生残差信号に復元する復元手段と、前記予測モードに関する符号化情報を復元し、前記予測モードを生成する予測モード復号手段と、前記予測モードに基づいて前記対象ブロックの予測信号を生成する予測信号生成手段と、前記予測信号を前記再生残差信号に加算することによって、前記対象ブロックの画素信号を復元する画像復元手段と、前記復元された画素信号を、再生画素信号として格納する格納手段と、を備えることを特徴とする画像予測復号装置であって、前記予測モード復号手段は、前記対象ブロックに隣接する複数の既再生ブロックの予測モードを成分として含む候補予測モードリストを生成し、前記対象ブロックの前記予測モードに該当する成分が前記候補予測モードリストにあるかどうかを示すフラグを復号し、前記フラグが「該当する成分がある」と示す場合に、前記候補予測モードリストに含まれる該当する成分を指すインデックスをさらに復号し、前記インデックスの指す成分を前記対象ブロックの前記予測モードとし、前記フラグが「該当する成分がない」と示す場合に、ＲＥＭモードを復号し、復号されたＲＥＭモードの値を前記対象ブロックの画面内予測モードの変数に代入し、前記候補予測モードリスト内の各成分について、前記変数を、前記候補予測モードリストにおいて未だ比較されていない成分のうち最小の成分と比較する処理と、前記変数が前記最小の成分以上の場合に前記変数の値に１を加える処理とを繰り返し実行して、前記変数の最終的な値を前記対象ブロックの前記予測モードとすることを特徴とする。

上記目的を達成するために、本発明に係る画像予測復号方法は、画像予測復号装置によって実行される画像予測復号方法であり、画像を複数のブロックに分割し対象ブロックを予測符号化することにより生成された残差信号及び前記対象ブロックの予測信号の生成方法を示す予測モードに関する符号化情報、を含む圧縮画像データを入力する入力ステップと、前記圧縮画像データの中から前記対象ブロックの残差信号を抽出し、再生残差信号に復元する復元ステップと、前記予測モードに関する符号化情報を復元し、前記予測モードを生成する予測モード復号ステップと、前記予測モードに基づいて前記対象ブロックの予測信号を生成する予測信号生成ステップと、前記予測信号を前記再生残差信号に加算することによって、前記対象ブロックの画素信号を復元する画像復元ステップと、前記復元された画素信号を、再生画素信号として格納する格納ステップと、を備えることを特徴とする画像予測復号方法であって、前記予測モード復号ステップは、前記対象ブロックに隣接する複数の既再生ブロックの予測モードを成分として含む候補予測モードリストを生成するサブステップと、前記対象ブロックの前記予測モードに該当する成分が前記候補予測モードリストにあるかどうかを示すフラグを復号するサブステップと、前記フラグが「該当する成分がある」と示す場合に、前記候補予測モードリストに含まれる該当する成分を指すインデックスをさらに復号し、前記インデックスの指す成分を前記対象ブロックの前記予測モードとするサブステップと、前記フラグが「該当する成分がない」と示す場合に、ＲＥＭモードを復号し、復号されたＲＥＭモードの値を前記対象ブロックの画面内予測モードの変数に代入し、前記候補予測モードリスト内の各成分について、前記変数を、前記候補予測モードリストにおいて未だ比較されていない成分のうち最小の成分と比較する処理と、前記変数が前記最小の成分以上の場合に前記変数の値に１を加える処理とを繰り返し実行して、前記変数の最終的な値を前記対象ブロックの前記予測モードとするサブステップと、を含む、ことを特徴とする。

上記目的を達成するために、本発明に係る画像予測符号化方法は、入力画像を複数のブロックに分割する領域分割ステップと、複数のブロックに対し処理対象である対象ブロックに含まれる画素信号に対し、複数の予測方法から差分値の最も小さい最適予測モードを決定し、最適予測モードに従い予測信号を生成する予測信号生成ステップと、対象ブロックの画素信号と予測信号との残差信号を求める残差信号生成ステップと、残差信号を符号化し圧縮信号を生成する信号符号化ステップと、最適予測モードを符号化する予測モード符号化ステップと、圧縮信号を復元し、再生画素信号として格納する格納ステップと、を具備し、予測モード符号化ステップでは、対象ブロックに隣接する複数の既再生ブロックの最適予測モードを成分とする候補予測モードリストを生成し、候補予測モードリストに最適予測モードが該当する成分があるかどうかを示すフラグを符号化し、該当する成分がある場合は候補予測モードリストにある該当する成分へのインデックスをさらに符号化し、該当する成分がない場合は、候補予測モードリストにある各成分を取り除いた番号付けで最適予測モードを符号化することを含むことを特徴とする。

また、本発明に係る画像予測復号方法は、画像を複数のブロックに分割し対象ブロックを予測符号化することにより生成された残差信号及び対象ブロックの予測信号の生成方法を示す予測モードに関する符号化情報を含む圧縮画像データを入力する入力ステップと、圧縮画像データの中から対象ブロックの残差信号を抽出し、再生残差信号に復元する復元ステップと、予測モードに関する符号化情報を復元し、最適予測モードを生成する予測モード復号ステップと、最適予測モードに基づいて対象ブロックの予測信号を生成する予測信号生成ステップと、予測信号と再生残差信号とを加算することによって、対象ブロックの画素信号を復元する画像復元ステップと、復元された画素信号を、再生画素信号として格納する格納ステップと、を具備し、予測モード復号ステップは、対象ブロックに隣接する複数の既再生ブロックの最適予測モードを成分とする候補予測モードリストを生成し、候補予測モードリストに最適予測モードが該当する成分があるかどうかを示すフラグを復号し、当該フラグが「該当する成分がある」と示す場合は候補予測モードリストに指すインデックスをさらに復号し、そのインデックスの指す成分を最適予測モードとし、当該フラグが「該当する成分がない」と示す場合は、ＲＥＭモードに関する情報をさらに復号し、候補予測モードリストに基づいて変換されたＲＥＭモードの値を最適予測モードとすることを含むことを特徴とする。

本発明によれば、従来技術よりも多くの画面内予測モードで画面内予測を行う画像予測符号化方法において、対象ブロックの予測モード情報を符号化する際に、複数個の予測モードからなる候補予測モードリストを用意し、その中から対象ブロックの予測モードと一致する成分の識別子を符号化するため、対象ブロックの予測モードと一致する成分の出現確率が高くなり、より少ないビット数で予測モード情報を符号化することができる。言い換えれば、従来ではひとつの「最確モード」しかないのに対し、本発明では複数の「最確モード」が用意されているため、対象ブロックの予測モードと一致する「最確モード」が出現する確率が高くなる効果がある。

また、対象ブロックの予測モードが候補予測モードリストに存在しない場合は、対象ブロックの予測モードそのものを符号化するが、候補予測モードリストに含まれている複数の予測モードを取り除き、残った予測モードで改めて識別番号を割り当てて用いるため、対象ブロックの予測モードをより小さい数値で表せることになり、より短いビット長で符号化することができる。

すなわち、本発明によれば、従来技術よりも多くの画面内予測モードで画面内予測を行う場合において、より効率よく予測モードに関する情報を符号化できる効果がある。

本発明の実施形態による画像予測符号化装置を示すブロック図である。 本発明の実施形態による画像予測符号化装置に用いられる画面内予測モードに対応する画素外挿方向を示す模式図である。 本発明の実施形態による画面内予測モード符号化器の処理を示す流れ図である。 本発明の実施形態による画面内予測モードの符号化処理を説明するための例を示す模式図である。 本発明の実施形態による画面内予測モード符号化器の処理（図３）におけるREMモード番号の生成処理（ステップ３６０）を示す流れ図である。 本発明の実施形態による画面内予測モード符号化器の処理（図３）におけるREMモード番号の生成処理を説明するための模式図である。 本発明の実施形態による画像予測復号装置を示すブロック図である。 本発明の実施形態による画面内予測モード復号器の処理を示す流れ図である。 本発明の実施形態による画面内予測モード復号器の処理（図８）における対象ブロックの予測モードの生成処理（ステップ８６０）を示す流れ図である。 本発明の実施形態による画面内予測モード符号化方法の処理を、候補予測モードが２つの場合について、説明するための模式図である。 記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。 従来技術による対象ブロックの予測信号を生成する方法を示す模式図である。 従来技術による対象ブロックの予測信号を生成する複数の方法を１つにまとめたときの模式図である。 画像予測符号化プログラムのモジュールを示すブロック図である。 画像予測復号プログラムのモジュールを示すブロック図である。

以下、本発明の実施形態について、図１から図１２を用いて説明する。

図１は本発明の実施形態による画像予測符号化装置を示すブロック図である。画像予測符号化装置は、入力端子１０１、ブロック分割器１０２、画面間予測信号生成方法決定器１０３、画面間予測信号生成器１０４、画面内予測信号生成方法決定器１０５、画面内予測信号生成器１０６、切り替えスイッチ１０９、減算器１１０、変換器１１１、量子化器１１２、逆量子化器１１３、逆変換器１１４、加算器１１５、フレームメモリ１１６、画面内予測モード符号化器１１７、エントロピー符号化器１１８、及び出力端子１１９を備える。

以上のように構成された画像予測符号化装置について、以下その動作を述べる。複数枚の画像からなる動画像の信号は入力端子１０１に入力される。符号化の対象となる画像はブロック分割器１０２にて、複数の領域に分割される。本発明による実施形態では、８×８の画素からなるブロックに分割されるが、それ以外のブロックの大きさまたは形に分割してもよい。次に符号化処理の対象となる領域（以下「対象ブロック」とよぶ）に対して、予測信号を生成する。本発明による実施形態では、画面間予測と画面内予測の２種類の予測方法が用いられる。

画面間予測では、表示時間が対象画像と異なり過去に符号化されたのちに復元された再生画像を参照画像として、この参照画像から対象ブロックに対する誤差の最も小さい予測信号を与える動き情報を求める。また場合に応じて、対象ブロックを再分割し、再分割された小領域に対し画面間予測方法を決定してもよい。この場合、各種の分割方法の中から、対象ブロック全体に対し最も効率のよい分割方法及び対応する動き情報を決定する。本発明による実施形態では、この処理は画面間予測信号生成方法決定器１０３にて行われ、対象ブロックはラインＬ１０２経由で、参照画像はＬ１１９経由で入力される。参照画像としては、過去に符号化され復元された複数の画像を参照画像として用いる。詳細は従来の技術であるＭＰＥＧ−２，４、Ｈ．２６４のうちいずれかの方法と同じである。このように決定された動き情報及び小領域の分割方法は、ラインＬ１０４を経由して画面間予測信号生成器１０４に送られる。またこれらの情報はラインＬ１０３経由でエントロピー符号化器１１８に送られ符号化した上で出力端子１１９から送出される。画面間予測信号生成器１０４では、小領域の分割方法及びそれぞれの小領域に対応する動き情報をもとにフレームメモリ１１６（ラインＬ１１９経由）から参照信号を取得し、予測信号を生成する。このように生成された画面間予測信号は端子１０７経由で次の処理ブロックに送られる。

画面内予測では、対象ブロックに同じ画面内に隣接する既再生の画素値を用いて画面内予測信号を生成する。画面内予測信号を生成する方法は、画面内予測信号生成方法決定器１０５にて決定される。画面内予測信号生成方法決定器１０５の処理は後に説明する。このように決定された画面内予測方法に関する情報（予測モード）はラインＬ１０６経由で画面内予測信号生成器１０６に送られる。またこれらの画面内予測方法に関する情報（予測モード）はラインＬ１０５経由で画面内予測モード符号化器１１７に送られる。画面内予測モード符号化器１１７の処理については後に説明する。その処理結果はエントロピー符号化器１１８に送られ符号化した上で出力端子１１９から送出される。画面内予測信号生成器１０６では、予測方法に関する情報をもとにフレームメモリ１１６（ラインＬ１１６経由）から同じ画面内にある隣接する既再生の画素信号を取得し、所定の方法で予測信号を生成する。このように生成された画面内予測信号は端子１０８経由で次の処理ブロックに送られる。

上述のように求められた画面間予測信号と画面内予測信号に対し、切り替えスイッチ１０９によって誤差の最も小さいものが選択され、減算器１１０に送られる。但し、一枚目の画像については過去の画像がないことにより、全ての対象ブロックは画面内予測で処理される。この場合、当該画像を処理する際にはスイッチ１０９は常に端子１０８に接続される。なお、下記に述べる画面内予測方法及び画面内予測モード符号化方法は静止画像の符号化・復号にも適用できる。

減算器１１０にて対象ブロックの信号（ラインＬ１０２経由）から予測信号（ラインＬ１０９経由）を引き算し、残差信号を生成する。この残差信号は変換器１１１にて離散コサイン変換され、その各係数は量子化器１１２にて量子化される。最後にエントロピー符号化器１１８にて量子化された変換係数を符号化して、予測方法に関する情報（予測モード）などとともに出力端子１１９より送出される。

後続する対象ブロックに対する画面内予測もしくは画面間予測を行うために、圧縮された対象ブロックの信号を逆処理し復元する必要がある。すなわち、量子化された変換係数は逆量子化器１１３にて逆量子化されたのちに逆変換器１１４にて逆離散コサイン変換され、残差信号を復元する。加算器１１５にて復元された残差信号とラインＬ１０９から送られた予測信号とを加算し、対象ブロックの画素信号を再生し、フレームメモリ１１６に格納する。

次に、本発明に用いられる画面内予測信号生成方法決定器１０５について説明する。図２は、本発明の実施形態に用いられる画面内予測モードに対応する画素外挿方向を示す模式図である。本実施形態においては、合計１６個の方法で画面内予測信号を生成する。図２にある番号は、画面内予測方法を識別するための識別番号であり、予測モード情報または単位予測モードという。各予測モード（０番から１５番）については、図２の矢印の示す方向で、対象ブロックに隣接する既再生の画素信号を外挿し画面内予測信号を生成する。予測モード０から８についての具体的な外挿方法は図１３に示されており、算出方法は特許文献１に記載されている。予測モード９から１５についても同様に、周囲の既再生画素信号を線形補間し、矢印の方向で補間された値を複製することにより画面内予測信号を生成する。本実施形態では、16個の画面内予測方法を用いているが、それ以外の個数の予測モードや予測信号を生成する方法を用いる場合でも、本発明による予測モードの符号化・復号方法を適用することができる。

画面内予測信号生成方法決定器１０５では、これらの１６個の予測モードに基づいて１６個の画面内予測信号を生成し、それぞれについて、ラインＬ１０２経由で送られる対象ブロックの画素信号との差分を求める。最も小さい差分値を与える予測モードを対象ブロックの画面内予測モードとして決定する。

上述したように、対象ブロックに対して（スイッチ１０９によって）画面内予測と画面間予測のいずれかが選択されるが、画面内予測が選択された場合に、対象ブロックの画面内予測モードは、画面内予測モード符号化器１１７にて処理される。本発明による画面内予測モードの符号化方法では、過去に符号化されたブロックの画面内予測モード（識別番号）を用いる必要があり、過去に符号化されたブロックの画面内予測モード（識別番号）を格納するため、画面内予測モード符号化器１１７は格納メモリ（不図示）を具備している。

図３は本発明の実施形態による画面内予測モード符号化器１１７の処理を示す流れ図である。ステップ３１０では、まず候補予測モードのリストを生成する。このリストの成分として、対象ブロックの周辺にある既再生された複数のブロックの予測モードが用いられる。本実施形態では、図４に示される対象ブロック４００に隣接する周辺既再生のブロック４１０〜４５０が保有する予測モードが、候補予測モードリストの成分となる。図６（Ａ）は候補予測モードリストの一例であり、各升目の数値は各周辺ブロック（４１０〜４５０）に対応する予測モードの識別番号を示す。この例では、周辺ブロック（４１０〜４５０）はそれぞれ異なる予測モードをもつが、同じ予測モードが出現する場合はそれを１つの成分として取り扱われる。例えば、ブロック４１０と４２０が同じ予測モードをもつ場合は、候補予測モードリストの成分の個数は５つではなくて、４つになる。すなわち、候補予測モードリストの成分の数は最大５つで、最小１つとなる場合がある。特に対象ブロックに隣接する周辺ブロックが画面「間」予測された場合は、画面内予測のモードは存在しない。本実施形態では、モード２（DC予測）を候補予測モードリストの唯一の成分とする。なお、図６（Ａ）では、候補予測モードリストの成分の値が大きくなる順に並べているが、小さくなる順に候補予測モードリストを構成してもよい。なお、後続ブロックの予測モードを符号化する際の候補予測モードリストを構成するため、画面内予測モード符号化器１１７は、現対象ブロックの予測モードを、前述した格納メモリに格納しておく。

次にステップ３２０にて、対象ブロックの画面内予測モードと候補予測モードリストの各成分とを比較し、一致する成分があるかどうかを調べる。

候補予測モードリストに対象ブロックの画面内予測モードが見つかる場合は、ステップ３３０に進む。ここでは、「１」と符号化する。この「１」は対象ブロックの画面内予測モードが候補予測モードリストに含まれていることを示す。次に対象ブロックの予測モードと一致する候補予測モードリストにある成分への識別子（インデックス）を符号化する（ステップ３４０）。本実施形態では、図６（Ａ）の左より各升目のインデックスにそれぞれ０、１、２、３、４を割り当て、対象ブロックの予測モードが「８」の場合はインデックスとして２を符号化する。これらのインデックスは一進法符号（ｕｎａｒｙ符号）で符号化する。すなわち、（０，１，２，３，４）は（0, 01, 001, 0001, 00001）の各符号を割り当てる。なお、最大のインデックスの符号の最後のビットを切り捨ててもよい。つまり、「４」の符号「00001」は「0000」としてよい。また、他の方法として固定長符号で符号化してもよい。その場合、候補予測モードリストのサイズ（成分の個数）によって固定符号の符号長を変えてもよい。例えば候補予測モードリストのサイズが４の場合は2ビット、サイズが２の場合は1ビットで符号化することになる。候補予測モードリストのサイズ（成分の個数）に基づいたインデックスの符号化が効率的である。

ステップ３２０にて候補予測モードリストに対象ブロックの画面内予測モードがない場合は、ステップ３５０に進む。ここでは、「０」と符号化する。この「０」は対象ブロックの画面内予測モードが候補予測モードリストに含まれていないことを示す。この場合、対象ブロックの予測モードを符号化する必要がある。本実施形態では対象ブロックの予測モードを「ＲＥＭモード」として符号化する。候補予測モードリストには、対象ブロックの予測モードがないことがわかっているので、予測モードのもとの識別番号ではなくて、候補予測モードリストにある各成分を取り除いた、残りの予測モードに改めて割り当てられた識別番号を符号化することになる。図６を用いて説明する。図６（Ａ）は候補予測モードリストの各成分を示し、対象ブロックの予測モードに該当するものはない。そこで、これらの予測モードを取り除いた残りの予測モードは図６（Ｂ）に示される。この図６（Ｂ）の左より各升目にそれぞれ０、１、２、３、４．．．を割り当てなおした結果は、図６（Ｃ）に示される。例えば、対象ブロックの予測モードが「９」の場合、「９」を符号化するのではなくて、図６（Ｂ）の「９」は図６（Ｃ）にて「６」に割り当てなおされたため、「６」をＲＥＭモードとして符号化する。すなわち、同じ対象ブロックの予測モードをより小さい数値、すなわち少ないビット数で符号化することができる。このように予測モードの識別番号を割り当てなおすことは図３のステップ３６０で行われる。

ステップ３６０の別の実施方法を図５に示す。ステップ５１０にて、ＲＥＭモードとして、決定された対象ブロックの画面内予測モードの識別番号が代入される。ステップ５２０では、候補予測モードリストにおいてまだ比較に使用されていない成分の中で番号の最も大きい成分をＸとする。ステップ５３０では、ＲＥＭモードとＸとを比較する。ＲＥＭモードがＸより大きい場合はステップ５４０にてＲＥＭモードの値を１減らす。ステップ５５０にて候補予測リストに未比較の成分があるかどうか確認し、ある場合はステップ５２０に戻り、ない場合は終了とする。

図５の処理の変形として、ステップ５２０では最も小さい成分をＸとし、ステップ５３０では「対象ブロックの画面内予測モード≦Ｘ？」としても同じ結果が得られる。この場合「対象ブロックの画面内予測モード≦Ｘ？」が否となれば即に終了することになる。

このように生成されたＲＥＭモードの値は、ステップ３７０にて符号化される。本実施形態では固定長符号を用いて符号化されるが、可変長符号で符号化してもよい。これらの符号長は、候補予測モードリストの補集合の成分の個数に基づいてもよい。

本実施形態では、候補予測モードリストのサイズＳ（成分の個数）が最大５の場合について説明したが、Ｓは任意の数値でもよい。但し符号化装置と復号装置は同じ方法でこのリストを生成する必要がある。図４の対象ブロック４００の上（４２０）と左（４４０）のブロックの予測モードで候補予測モードリストを生成する場合はＳ＝２となる。この場合、候補予測モードリストは2種類ある。周辺のブロック２つとも画面内予測された場合はリストの成分は２、周辺のブロックのひとつのみが画面内予測された場合はリストの成分は１である。リスト成分が１の場合は図１０（Ａ）、リスト成分が２の場合は図１０（Ｂ）に示される。

図１０（Ａ）のノード８０は候補予測モードリストの中に対象ブロックの予測モードに一致するものがあるかないかを示す。一致するものがない場合はＲＥＭモードを符号化する（８２）。一致するものがある場合（８１）は、リストにひとつの成分しかないため、インデックスを符号化する必要はない。図１０（Ｂ）は同様に、リストに一致するものがない場合はＲＥＭモードを符号化する（９４）。一致するものがある場合（９１）は、２つの成分があるため、第１と第２候補のうちどれと一致するかを示すインデックスを符号化する。

次に、本発明による画像予測復号方法について説明する。図７は本発明の実施形態による画像予測復号装置を示すブロック図である。画像予測復号装置は、入力端子７００、データ解析器７０１、逆量子化器７０２、逆変換器７０３、加算器７０４、予測信号生成器７０５、フレームメモリ７０６、画面内予測モード復元器７０７、及び出力端子７０８を備える。

以上のように構成された画像予測復号装置について、以下その動作を述べる。上述した方法で圧縮符号化された圧縮データは入力端子７００から入力される。この圧縮データには、画像を複数のブロックに分割された対象ブロックを予測し符号化された残差信号及び予測方法に関するモード情報が含まれている。データ解析器７０１にて、圧縮データより、対象ブロックの残差信号、予測方法に関する情報、量子化パラメータ、画面間予測の場合はさらに動き情報、画面内予測されたブロックについては上述した画面内予測モードに関する符号化情報を抽出する。対象ブロックの残差信号と量子化パラメータ（ラインＬ７０１経由）は逆量子化器７０２に送られ、逆量子化処理が行われる。その結果は逆変換器７０３にて逆離散コサイン変換される。

データ解析器７０１にて対象ブロックが画面間予測されたものと判断された場合、ラインＬ７０９経由で動き情報が予測信号生成器７０５に送られる。そこでは、当該動き情報をもとにフレームメモリ７０６より過去に再生された画像より予測信号を取得する。一方、データ解析器７０１にて対象ブロックが画面内予測されたものと判断された場合、ラインＬ７１０経由で画面内予測に関するモード情報が画面内予測モード復元器７０７に送られて、画面内予測モードが復元され予測信号生成器７０５に送られる。予測信号生成器７０５は、この画面内予測モードをもとにフレームメモリ７０６より同じ画面内にある過去に再生された画素信号を取得して予測信号を生成する。画面内予測信号の具体的な生成方法は既に図２で説明されている。画面内予測モード復元器７０７の詳細については、後述する。

予測信号生成器７０５で生成した予測信号は、ラインＬ７０５経由で加算器７０４にて、復元された残差信号に加算され、対象ブロックの画素信号を再生する。再生された画像はラインＬ７０４経由で出力すると同時にライン７０８経由でフレームメモリ７０６に格納される。

次に、本実施形態による画面内予測モード復元器７０７の処理について説明する。画面内予測モード復元器７０７の出力は、対象ブロックの画面内予測モードの識別番号であり、ラインＬ７０７経由で出力されると同時に、後続のブロックの予測モードを復元するために必要となるため、画面内予測モード復元器７０７内にあるメモリ（不図示）に格納される。

図８は、本発明の実施形態による画面内予測モード復号器の処理を示す流れ図である。ステップ８１０ではまず候補予測モードのリストを生成する。このリストの成分として、図４に示される対象ブロック４００の周辺にある既再生された複数のブロック（４１０〜４５０）の予測モードが用いられる。具体的な説明は図３のステップ３０１と同じである。符号化装置と復号装置は、全く同じ方法でこの候補予測モードリストを生成する必要がある。

次にステップ８２０にて、一ビットを復号する。この一ビットはデータ解析器７０１からラインＬ７１０経由で伝送される場合は、実際の復号処理はデータ解析器７０１にて行われる。この一ビットにより、対象ブロックの画面内予測モードが候補予測モードリストに含まれているかどうかを示す。そこで、ステップ８３０にて、この一ビットが「１」であるかどうかを比較する。「１」の場合はステップ８４０に進む。そうでない場合ステップ８５０に進む。

ステップ８４０では、対象ブロックの画面内予測モードが候補予測モードリストに含まれているので、さらに候補予測モードリストにあるどの成分が対象ブロックの画面内予測モードであるかを示す識別子（インデックス）を復号する。そのインデックスにより指し示される候補予測モードリストの成分が対象ブロックの予測モードとなる。例えば、インデックスが「２」とすると、図６（Ａ）の左から3番目の升目にあるモード識別番号「８」が対象ブロックの予測モードになる。本実施形態では、このインデックスは一進法符号（ｕｎａｒｙ符号）として復号される。他の方法として、候補予測モードリストのサイズ（成分の個数）をもとにインデックスのビット長が定まる符号化方法が用いられる場合は、候補予測モードリストのサイズ（成分の個数）をデータ解析器７０１に送る必要がある（ラインＬ７１１）。

ステップ８５０では、対象ブロックの画面内予測モードが候補予測モードリストに含まれていないので、ＲＥＭモードの値を復号する。本実施形態では固定長符号として数値に復元される。（図５で説明したように）このＲＥＭモードの値は実際の予測モードの識別番号と異なるので、ステップ８６０にて実際の識別番号にマッピングしなおした上で、対象ブロックの画面内予測モードとする。

図９は、ＲＥＭモードから実際の予測モードの識別番号に戻す一実施方法を示す。ステップ９１０では、復号されたＲＥＭモードの値をＰＲＥＤモードに代入する。このＰＲＥＤモードは、対象ブロックの画面内予測モードのための変数である。

ステップ９２０では、候補予測モードリストにおいてまだ比較に使用されていない成分の中で番号の最も小さい成分をＸとする。ステップ９３０では、ＰＲＥＤモードとＸとを比較する。ＰＲＥＤモードがＸより大きいまたは等しい場合はステップ９４０にてＰＲＥＤモードの値に１を加算する。ステップ９５０にて候補予測リストに未比較の成分があるかどうか確認し、ある場合はステップ９２０に戻り、ない場合は終了とする。終了後のＰＲＥＤモードは、対象ブロックの予測モードの実際の識別番号を与えることになる。

図９の処理の代わりに、図６（Ｂ）のように図６（Ａ）の補集合を作り、左から数えてＮ＋１（Ｎ＝ＲＥＭモードの値）番目の成分が対象ブロックの予測モードとする方法もある。

なお、図７では画面内予測モード復元器７０７は、独立した機能ブロックとして描かれているが、データ解析器７０１内に組み込まれてもよい。この場合ラインＬ７１０は予測信号生成器７０５に直接に接続し、画面内予測モードを予測信号生成器７０５に送ることになる。

上記の実施形態では、画面内予測に関する予測モード情報の符号化について説明したが、画面間予測の場合においても同じ符号化・復号方法が適用できる。画面間予測の場合の予測モードに関する情報についても、候補予測モードリストを用いて符号化・復号してもよい。この場合、候補予測モードリストは周囲の既再生のブロックの有する画面間予測モードの情報を成分とする。さらに、画面間予測の場合の動き情報も同様に符号化・復号することができる。この場合、候補予測モードリストは周囲の既再生のブロックの有する動き情報を成分とする。

コンピュータに、本発明に係る画像予測符号化方法を実行させるための画像予測符号化プログラムは、記録媒体に格納されて提供される。また、コンピュータに、本発明に係る画像予測復号方法を実行させるための画像予測復号プログラムは、記録媒体に格納されて提供される。記録媒体としては、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。

図１５は、画像予測符号化方法を実行することができる画像予測符号化プログラムのモジュールを示すブロック図である。画像予測符号化プログラムＰ１００は、領域分割モジュールＰ１０１、予測信号生成モジュールＰ１０２、残差信号生成モジュールＰ１０３、信号符号化モジュールＰ１０４、予測モード符号化モジュールＰ１０５、及び格納モジュールＰ１０６を備えている。上記各モジュールがコンピュータによって実行されることにより実現される機能は、上述した画像予測符号化装置の機能と同じである。また、図１６は、画像予測復号方法を実行することができる画像予測復号プログラムのモジュールを示すブロック図である。画像予測復号プログラムＰ２００は、入力モジュールＰ２０１、復元モジュールＰ２０２，予測モード復号モジュールＰ２０３、予測信号生成モジュールＰ２０４、画像復元モジュールＰ２０５、及び格納モジュールＰ２０６を備えている。上記各モジュールがコンピュータによって実行されることにより実現される機能は、上述した画像予測復号装置の機能と同じである。このように構成された画像予測符号化プログラムＰ１００、画像予測復号プログラムＰ２００は、記録媒体に記憶され、後述するコンピュータにより実行される。

図１１は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図１２は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。コンピュータとして、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。

図１１に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読み取り装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、画像予測符号化プログラムＰ１００を格納した記録媒体１０が読み取り装置１２に挿入されると、読み取り装置１２から記録媒体１０に格納された画像予測符号化プログラムＰ１００にアクセス可能になり、当該画像予測符号化プログラムＰ１００によって、本発明による画像予測符号化装置として動作することが可能になる。また、コンピュータ３０は、画像予測復号プログラムＰ２００を格納した記録媒体１０が読み取り装置１２に挿入されると、読み取り装置１２から記録媒体１０に格納された画像予測復号プログラムＰ２００にアクセス可能になり、当該画像予測復号プログラムＰ２００によって、本発明による画像予測復号装置として動作することが可能になる。

１０１…入力端子、１０２…ブロック分割器、１０３…画面間予測信号生成方法決定器、１０４…画面間予測信号生成器、１０５…画面内予測信号生成方法決定器、１０６…画面内予測信号生成器、１０９…切り替えスイッチ、１１０…減算器、１１１…変換器、１１２…量子化器、１１３…逆量子化器、１１４…逆変換器、１１５…加算器、１１６…フレームメモリ、１１７…画面内予測モード符号化器、１１８…エントロピー符号化器、１１９…出力端子、７００…入力端子、７０１…データ解析器、７０２…逆量子化器、７０３…逆変換器、７０４…加算器、７０５…予測信号生成器、７０６…フレームメモリ、７０７…画面内予測モード復元器、７０８…出力端子。

Claims (2)

1. 画像を複数のブロックに分割し対象ブロックを予測符号化することにより生成された残差信号及び前記対象ブロックの予測信号の生成方法を示す予測モードに関する符号化情報、を含む圧縮画像データを入力する入力手段と、
   前記圧縮画像データの中から前記対象ブロックの残差信号を抽出し、再生残差信号に復元する復元手段と、
   前記予測モードに関する符号化情報を復元し、前記予測モードを生成する予測モード復号手段と、
   前記予測モードに基づいて前記対象ブロックの予測信号を生成する予測信号生成手段と、
   前記予測信号を前記再生残差信号に加算することによって、前記対象ブロックの画素信号を復元する画像復元手段と、
   前記復元された画素信号を、再生画素信号として格納する格納手段と、
   を備えることを特徴とする画像予測復号装置であって、
   前記予測モード復号手段は、
   前記対象ブロックに隣接する複数の既再生ブロックの予測モードを成分として含む候補予測モードリストを生成し、
   前記対象ブロックの前記予測モードに該当する成分が前記候補予測モードリストにあるかどうかを示すフラグを復号し、
   前記フラグが「該当する成分がある」と示す場合に、前記候補予測モードリストに含まれる該当する成分を指すインデックスをさらに復号し、前記インデックスの指す成分を前記対象ブロックの前記予測モードとし、
   前記フラグが「該当する成分がない」と示す場合に、
   ＲＥＭモードをさらに復号し前記ＲＥＭモードは固定長符号として数値に復元され、
   復元された当該数値を、前記予測モードの識別番号にマッピングしなおした上で、対象ブロックの画面内予測モードとする処理を実行し、
   前記画面内予測モードとする処理において、前記予測モード復号手段は、
   復元されたＲＥＭモードの数値を前記対象ブロックの画面内予測モードの変数に代入し、
   前記候補予測モードリスト内の各成分について、前記変数を、前記候補予測モードリストにおいて未だ比較されていない成分のうち最小の成分と比較する処理と、前記変数が前記最小の成分以上の場合に前記変数の値に１を加える処理とを繰り返し実行して、前記変数の最終的な値を前記対象ブロックの画面内予測モードとする、
   ことを特徴とする画像予測復号装置。
2. 画像予測復号装置によって実行される画像予測復号方法であり、
   画像を複数のブロックに分割し対象ブロックを予測符号化することにより生成された残差信号及び前記対象ブロックの予測信号の生成方法を示す予測モードに関する符号化情報、を含む圧縮画像データを入力する入力ステップと、
   前記圧縮画像データの中から前記対象ブロックの残差信号を抽出し、再生残差信号に復元する復元ステップと、
   前記予測モードに関する符号化情報を復元し、前記予測モードを生成する予測モード復号ステップと、
   前記予測モードに基づいて前記対象ブロックの予測信号を生成する予測信号生成ステップと、
   前記予測信号を前記再生残差信号に加算することによって、前記対象ブロックの画素信号を復元する画像復元ステップと、
   前記復元された画素信号を、再生画素信号として格納する格納ステップと、を備えることを特徴とする画像予測復号方法であって、
   前記予測モード復号ステップは、
   前記対象ブロックに隣接する複数の既再生ブロックの予測モードを成分として含む候補予測モードリストを生成するサブステップと、
   前記対象ブロックの前記予測モードに該当する成分が前記候補予測モードリストにあるかどうかを示すフラグを復号するサブステップと、
   前記フラグが「該当する成分がある」と示す場合に、前記候補予測モードリストに含まれる該当する成分を指すインデックスをさらに復号し、前記インデックスの指す成分を前記対象ブロックの前記予測モードとするサブステップと、
   前記フラグが「該当する成分がない」と示す場合に、ＲＥＭモードをさらに復号し前記ＲＥＭモードは固定長符号として数値に復元され、復元された当該数値を、前記予測モードの識別番号にマッピングしなおした上で、対象ブロックの画面内予測モードとするサブステップと、
   を含み、
   前記画面内予測モードとするサブステップにおいて、前記画像予測復号装置は、
   復元されたＲＥＭモードの数値を前記対象ブロックの画面内予測モードの変数に代入し、
   前記候補予測モードリスト内の各成分について、前記変数を、前記候補予測モードリストにおいて未だ比較されていない成分のうち最小の成分と比較する処理と、前記変数が前記最小の成分以上の場合に前記変数の値に１を加える処理とを繰り返し実行して、前記変数の最終的な値を前記対象ブロックの画面内予測モードとする、
   ことを特徴とする画像予測復号方法。

Images