JP6409792B2 - 画像特徴記述子符号化装置、画像特徴記述子復号装置、画像特徴記述子符号化方法及び画像特徴記述子復号方法 - Google Patents

Description

この発明は、画像の特徴記述子を符号化する画像特徴記述子符号化装置及び方法、符号化された特徴記述子を復号する画像特徴記述子復号装置及び方法に関するものである。

画像検索、物体追跡等の画像処理を実現する方法として、ＨＯＧ（Histogram of Oriented Gradients）、ＳＩＦＴ（Scale Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）といった画像の特徴記述子のマッチング処理を用いた手法がある。例えば、ある特定の被写体を撮影した画像をネットワークで繋がったサーバから検索する際、サーバが様々な画像の特徴記述子をデータベースとして格納しており、このデータベースとの特徴記述子間のマッチングによって検索を実現するとする。このような用途では、検索対象画像そのものを伝送してサーバ側で検索対象画像の特徴記述子を抽出するか、ユーザ側で特徴記述子を抽出し、特徴記述子をサーバに伝送する必要がある。したがって、特徴記述子のデータサイズが画像そのもののデータサイズより小さくなる場合、画像そのものを伝送せずに特徴記述子を伝送することで伝送負荷を低減することができる。

非特許文献１はこのような用途のために開発された技術であり、画像そのものよりもデータサイズが小さくなる特徴記述子の生成手法及び符号化方法が示されている。図１にブロック図を示す。非特許文献１は、まず入力画像前処理部１で、入力画像に対して前処理として画像縮小を実施する。前処理済み画像である縮小画像の画素数が元の入力画像より少なくなるため、後段の処理の演算負荷及び特徴点数の削減ができる。次に、特徴記述子生成部２で上記縮小画像に対して特徴点の抽出処理を行い、得られた特徴点に対する特徴記述子を算出する。そして、得られた特徴点の位置情報と対応する特徴記述子を記述子情報として、記述子情報符号化部３で符号化して符号化ビットストリームとして出力する。制御部４は各処理に対して処理の有無や処理方式の選択等の制御を行う。

ＩＳＯ／ＩＥＣ １５９３８−１３： Ｃｏｍｐａｃｔ ｄｅｓｃｒｉｐｔｏｒｓ ｆｏｒ ｖｉｓｕａｌ ｓｅａｒｃｈ

非特許文献１は、上記処理によって画像そのものより小さいデータサイズでの特徴記述子の伝送を実現している。しかし、入力画像として１以上の画像（フレーム）からなる映像を扱う場合、非特許文献１は符号化処理に主にフレーム内の相関を利用した符号化を行っているため、映像が本来持つ時間方向の相関を使用できていない課題があった。

この発明は上記のような課題を解決するためになされたもので、記述子情報の符号化の際に特徴記述子の時間方向の相関を利用した符号化処理によって、高い符号化効率を実現することができる画像特徴記述子符号化装置及び画像特徴記述子符号化方法を得ることを目的とする。
また、この発明は、上記のような画像特徴記述子符号化装置及び画像特徴記述子符号化方法により生成された符号化ビットストリームを正しく復号することができる画像特徴記述子復号装置及び画像特徴記述子復号方法を得ることを目的とする。

この発明に係る画像特徴記述子符号化装置は、
入力画像をブロックに分割するブロック分割手段と、
上記ブロック内に特徴点の特徴を記述する記述子を１以上含むことを示す記述子有無フラグが真となるブロックにおいて、上記ブロックの予測モードがインター予測であった場合、上記ブロック内の各特徴点に対して、動きベクトルが指し示す参照ピクチャ上の符号化済み記述子信号を予測記述子信号とする予測手段と、
記述子信号と予測記述子信号との差分値に対して上記ブロックの変換モードにしたがって変換処理を実施して変換信号を生成する変換手段と、
上記記述子有無フラグ、上記予測モード、上記変換モード、上記各特徴点の変換信号を符号化して、上記記述子有無フラグ、上記予測モード、上記変換モード、上記各特徴点の変換信号の符号化データが多重化されているビットストリームを生成する符号化手段と、
を備え、
上記予測手段は、上記各特徴点の特徴点毎に、予測ベクトル候補である上記ブロックの周囲の１以上の符号化済み動きベクトルから予測ベクトルを選択して、上記動きベクトルと上記予測ベクトルとの差分である差分ベクトルを生成し、
上記符号化手段は、上記各特徴点の特徴点毎の上記予測ベクトルの選択情報と上記差分ベクトルを符号化して、上記予測ベクトルの選択情報と上記差分ベクトルの符号化データをビットストリームに多重化する
ことを特徴とするものである。

この発明によれば、記述子情報符号化手段が特徴記述子に対して動き補償予測を実施して予測差分情報を符号化すると共に、動き補償予測に用いる動きベクトルについても周囲のベクトルからの予測を実施し、得られる差分ベクトルを符号化するように構成したので、時間方向の相関を利用して予測精度を高めて、高い符号化効率を実現することができる効果がある。

この発明の実施の形態１による画像特徴記述子符号化装置を示す構成図である。 この発明の実施の形態１による特徴記述子の例を示す説明図である。 この発明の実施の形態１による記述子情報の符号化順序の一例を示す説明図である。 この発明の実施の形態１による記述子情報の符号化順序の一例を示す説明図である。 この発明の実施の形態１による記述子情報の符号化順序の一例を示す説明図である。 この発明の実施の形態１による記述子情報符号化部を示す構成図である。 この発明の実施の形態１による画像特徴記述子符号化装置のブロック単位の符号化順序の一例であるラスタスキャンを示す説明図である。 この発明の実施の形態１による画像特徴記述子符号化装置のブロック単位の符号化順序の一例であるジグザグスキャンを示す説明図である。 この発明の実施の形態１による画像特徴記述子符号化装置のブロック単位の符号化順序の一例である斜めスキャンを示す説明図である。 この発明の実施の形態１による画像特徴記述子符号化装置のブロック単位の符号化順序の一例であるスパイラルスキャンを示す説明図である。 この発明の実施の形態１による画像特徴記述子符号化装置のブロック単位の符号化順序の一例である四分木スキャンを示す説明図である。 この発明の実施の形態１による記述子情報符号化部を示す別の構成図である。 この発明の実施の形態１による画像特徴記述子復号装置を示す構成図である。 この発明の実施の形態１による画像特徴記述子復号装置を示す別の構成図である。 この発明の実施の形態１による画像特徴記述子符号化装置の処理内容（画像特徴記述子符号化方法）を示すフローチャートである。 図１５における“記述子情報の符号化”の処理内容を示すフローチャートである。 図１６における“符号化対象画素の記述子情報の符号化”の処理内容を示すフローチャートである。 この発明の実施の形態１による予測ベクトル候補の位置を示す説明図である。 この発明の実施の形態１による画像特徴記述子復号装置の処理内容（画像特徴記述子復号方法）を示すフローチャートである。 図１９における“復号対象画素の記述子情報の復号”の処理内容を示すフローチャートである。 この発明の実施の形態２による予測ベクトル候補の位置を示す説明図である。

実施の形態１．
図１はこの発明の実施の形態１による画像特徴記述子符号化装置を示す構成図である。ブロック図のレベルでは、従来のものと同様の構成であるが、後述するように各要素の機能が従来のものと異なっている。
この実施の形態１の画像特徴記述子符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
各画素の階調は８ビットでもよいし、１０ビット、１２ビットなどの階調であってもよい。
また、入力信号は映像信号ではなく静止画像信号でもよいことは、静止画像信号を１フレームのみで構成される映像信号と解釈できることから当然である。

以下の説明においては、便宜上、特に断らない限り、入力される映像信号が、２つの色差成分Ｕ，Ｖが輝度成分Ｙと同じサンプル数であるＹＵＶ４：４：４フォーマットの信号であるものとする。ただし、他の４：４：４フォーマットである赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の三原色の信号からなるＲＧＢフォーマットや色相、彩度、明度からなるＨＳＶフォーマットであってもよい。また、ＹＵＶ４：２：０フォーマットやＹＵＶ４：２：２フォーマットであってもよい。映像フォーマットは入力画像前処理部１によって入力される映像信号のフォーマットから画像特徴記述子を生成するためのフォーマットに（必要があれば）変換される。

なお、画像特徴記述子を生成するためのフォーマットは画像特徴記述子復号装置側で認識できるようにインデックス情報として上位ヘッダで符号化してもよい。また、４：４：４フォーマット信号の場合、各色信号をモノクローム画像信号（ＹＵＶ４：０：０）とみなしてそれぞれ独立に符号化してビットストリームを生成するようにしてもよい。その際、各モノクローム信号がどの色信号であるかを示す情報をインデックス情報として後述するシーケンスレベルヘッダ等の上位ヘッダで符号化して画像特徴記述子復号装置側で認識できるようにしてもよい。このようにすることで、画像特徴記述子復号装置によって復号した復号特徴記述子の対象の色信号を識別することができる。

なお、上記では４：４：４フォーマット信号の各色信号をモノクローム画像信号とみなしてそれぞれ独立に符号化する場合について説明したが、実際にモノクローム画像信号を対象としてモノクローム（ＹＵＶ４：０：０）符号化することも当然可能である。
また、上記ではＹＵＶ信号フォーマットやＲＧＢ信号フォーマットの場合について説明したが、その他の色信号のフォーマット（ＹＣｂＣｒや、ＸＹＺ等）においても同様に４：２：０、４：２：２、４：４：４フォーマットのいずれかであれば、ＹＵＶフォーマットと同様に符号化できる。ただし、対象とするフォーマットの各色信号がＹＵＶフォーマットにおいていずれの色信号に対応するかについては限定しない（任意に設定できる）。もちろん、ＲＧＢフォーマットの場合について上記で説明したように、色信号の対応付けはインデックス情報として上位ヘッダで符号化して画像特徴記述子復号装置側で認識できるようにしてもよい。

なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。

図１において、入力画像前処理部１は、入力画像信号を入力し、前処理を実施する。前処理は解像度変換、色フォーマット変換、ノイズ除去処理等のフィルタ処理等が挙げられる。その際、制御部４より解像度変換指示、色フォーマット変換指示、フィルタ処理指示を行う。例えば、非特許文献１と同様に、入力画像を垂直方向及び水平方向の解像度をそれぞれ予め設定したサイズ及び設定した縮小処理によって縮小する等の固定の処理を制御部４が指示する。あるいは、解像度変換指示は解像度変換フィルタや変換サイズの指示、フィルタ処理指示は使用するフィルタの指示等を制御部４が所定の規則に従って動的に行う。

特徴記述子生成部２は、入力画像前処理部１から入力された前処理済み画像信号に対して特徴点を抽出し、各特徴点の特徴記述子を生成する。
以下、特徴点抽出の一例を挙げる。まず、特徴点を抽出する際に用いる多数のフィルタ処理画像を生成する。具体的には平滑化強度の異なるガウシアンフィルタを用意し、各フィルタによる平滑化画像をフィルタ処理画像の一つとしてそれぞれ生成する。さらに、上記平滑化画像をさらにダウンサンプルした画像も、フィルタ処理画像の一つとしてそれぞれ生成する。

次に図２に特徴記述子生成の一例を挙げる。図２はある特徴点に対して１２８次元のベクトルを特徴記述子としている。具体的には、前処理済み画像信号に対してまず特徴点の勾配方向を算出する。そして勾配方向が水平方向（あるいは垂直方向等の固定の方向であればどの方向でもよい）になるように回転させた前処理済み画像信号に対して、特徴点を中心とした所定の周囲領域を１６個の正方ブロックに分割する。そしてブロック毎に各画素の勾配ベクトルを８方向に量子化してその大きさを加算する。図２の左に示すｈ０〜ｈ７は各方向におけるブロック内の（８方向に量子化された）勾配ベクトルの大きさの総和を示している。上記処理を各ブロックに対して行い、１２８次元のベクトル情報を生成し、これを特徴点に対する特徴記述子とする。

また、特徴記述子生成部２は、制御部４の制御指示に基づき、抽出した特徴点の選択処理を実施する。例えば記述子情報符号化部３の出力する符号化ビットストリームの伝送ビットレート（あるいは符号化ビットストリームのデータサイズ）を制御部４が制御する場合、後述する記述子情報符号化部３で符号化される記述子情報を符号化して得られる符号化ビットストリームのビットレートが制御目標のビットレート以下となるように特徴点数を制御する。あるいは、ピクチャ当たりの特徴点数を後述するピクチャレベルヘッダで定義し、本特徴点数分の特徴記述子を選択するようにする。
特徴記述子生成部２は抽出した特徴点の位置情報と生成した特徴記述子を記述子情報として記述子情報符号化部３に出力する。

記述子情報符号化部３は、特徴記述子生成部２から入力された各ピクチャの記述子情報を符号化して符号化ビットストリームを生成し、出力する。
ここで、ピクチャの符号化順序の例を図３〜図５に示す。図３、図４は符号化順と表示順（時刻順）が同一の符号化構造を示し、図５は符号化順を表示順と異なる順序に入れ替えた符号化構造を示している。

さらに、これら符号化構造は後述する予測処理の参照構造も規定する。図３は符号化済みピクチャを参照する予測を用いないＩ（Intra）ピクチャ（後述する予測モードが直接符号化モードのみとなるピクチャ）のみを用いる符号化構造であり、本構造で生成した符号化ビットストリームは任意のピクチャから復号を開始することが可能となる。次に、図４はＩピクチャに加えて符号化済みピクチャを参照する予測を利用可能とするＰ（Predictive）ピクチャ（後述する予測モードが直接符号化モードまたはインター予測モードとなるピクチャ）も用いる符号化構造であり、本構造で生成した符号化ビットストリームはＩピクチャからのみ復号を開始することが可能となる。Ｐピクチャにおけるインター予測は後述する参照ピクチャリストに示される１以上の符号化済みピクチャから１つの参照ピクチャを参照する。図５はＩピクチャ、Ｐピクチャに加えて参照ピクチャリストに示される１以上の符号化済みピクチャから１つないし２つの参照ピクチャを参照した予測を利用可能とするＢ（Bi-predictive）ピクチャも用いる符号化構造である。この構造では、符号化順を表示順から入れ替えることで符号化遅延が生じるが、Ｂピクチャによる符号化効率を向上することが可能となる。

画像特徴記述子復号装置は、符号化順は符号化ビットストリームのヘッダ情報（ピクチャレベルヘッダ）の一部であるピクチャタイプ情報（Ｉピクチャ、Ｐピクチャ、Ｂピクチャのいずれかを示す情報）を復号することで、各ピクチャの予測の参照候補関係は後述する参照ピクチャリストを復号することで、それぞれ判別可能となる。

図６に記述子情報符号化部３の詳細を示す。図６の矢印について、黒丸が記されている箇所は同一の矢印の分技を示している。一方、黒丸のない矢印同士の交点は互いに独立であることを示す。
分割部１０１は、符号化対象ピクチャに対して、ピクチャ内の抽出した記述子情報である記述子信号と対応する記述子位置情報を所定の順序で、切換スイッチ１０２、記述子情報用メモリ１０４、符号化部１０７、に出力する処理を実施する。具体的には、記述子信号は切換スイッチ１０２、記述子位置情報は記述子情報用メモリ１０４と符号化部１０７に出力する。

上記所定の順序は、ブロック単位における所定の順序と、画素単位における所定の順序とからなる。まず、ブロックにピクチャを分割し、ブロック単位の所定の順序に従って処理する。各ブロックは記述子有無フラグを持ち、ブロック内に記述子情報が１以上存在する場合は真（１）、一つも存在しない場合は偽（０）を示す。そして、記述子有無フラグが真のブロックのみに対して、ブロック内の各記述子情報を、ラスタスキャン等の画素単位の所定の順序に従って処理する。ブロック単位の所定の順序の例を、図７〜図１１に示す。図７〜図１１では、それぞれ基準ブロックに分割し、基準ブロック単位に処理する。各図の矢印が基準ブロックの処理順を示す。図７はピクチャの左上から水平方向に処理するラスタスキャン、図８はピクチャの左上から斜め方向にジグザグに処理するジグザグスキャン、図９は左下斜め方向に処理する斜めスキャン、図１０はピクチャの中心から時計回りに処理するスパイラルスキャン（円スキャン）を示す。

図１１は四分木スキャンを示しており、まず図７〜図１０と同様に基準ブロック単位に記述子有無フラグを有する。さらに、上記記述子有無フラグが真（１）のブロックはさらに４つのブロックに分割される。そして、分割された４つのブロックはそれぞれ記述子有無フラグを有し、上記記述子有無フラグが真（１）のブロックがさらに４つのブロックに分割される。記述子のないブロックは上記記述子有無フラグを偽（０）としてそれ以上の分割は実施しない。この四分木分割は設定した最小のブロックサイズまで階層的に分割され、記述子有無フラグが真となる最小サイズのブロックに対して画素単位の処理を実施する。

ブロック内の画素単位の処理は画素単位の記述子有無フラグをラスタスキャン等の所定の順序で処理するものである。
上記ブロック単位及び画素単位の記述子有無フラグが記述子位置情報を示す。
また、分割部１０１は記述子情報を記述子信号と記述子位置情報に分離し、出力する処理を実施する。

切換スイッチ１０２は制御部４から入力される予測モード情報を参照し、切換スイッチの切り替えを実施する。具体的には、予測モード情報がインター予測モードを示す場合、記述子信号を減算部１０５及び記述子情報用メモリ１０４に出力する。一方、予測モードが直接符号化モードを示す場合、減算部１０５に出力せずに直接変換部に出力する。

予測部１０３は記述子情報用メモリ１０４を参照したインター予測を実施する。即ち、符号化対象記述子は参照ピクチャ（予測部１０３が参照可能な符号化済みピクチャ）の記述子の中から予測に用いる記述子を探索し、探索の結果検出した記述子を予測記述子信号として減算部１０５に出力する処理を実施する。予測記述子の位置を示す動きベクトル（符号化対象記述子の位置を起点とした予測記述子の位置情報）は、後述する予測ベクトルとの差分ベクトルとして、インター予測情報の一部として符号化部１０７によって符号化される。インター予測情報は、予測記述子の存在する参照ピクチャを特定する参照ピクチャ情報と、符号化済みの周囲の動きベクトルから得られる予測ベクトル情報、上記動きベクトルと上記予測ベクトルとの差分ベクトル、から構成される。

探索手法としては、例えば符号化対象記述子が図２に示す１２８次元のベクトルである場合、各ベクトルの差分の絶対値和が最小となるものを予測記述子信号とする手法や、各ベクトルの差分の二乗誤差和が最小となるものを予測記述子信号とする手法がある。
また予測記述子信号を複数の記述子から生成してもよい。具体的には１以上の参照ピクチャから、２つの記述子を選択し、それらの重み付け平均値を予測記述子信号とする。２つの記述子の組み合わせとしては異なるピクチャから選択してもよいし、同一参照ピクチャの異なる位置の記述子を選択してもよい。２つの記述子の重み付け平均値を予測記述子信号とすることで、予測値のノイズ低減効果が得られ、予測精度を向上することができる。なお、予測記述子信号を複数の記述子から生成するか、単一の記述子から生成するかの情報はインター予測情報の一部として符号化される。

記述子情報用メモリ１０４は、参照ピクチャの記述子信号とそれに対応する記述子位置情報を格納する処理を実施する。上記参照ピクチャの記述子信号と記述子位置情報を合わせて参照記述子情報と呼ぶ。参照ピクチャは制御部４によって制御される。制御方法については、常に符号化順序で直前のピクチャとする等、固定の方式としてもよいし、ピクチャ単位に動的に制御するようにしてもよい。例えば、参照候補となるピクチャ番号を参照ピクチャリストとして管理し、ピクチャ単位に更新する。リストの更新情報は符号化部１０７で符号化して符号化ビットストリームに多重化することで画像特徴記述子復号装置側でも符号化ビットストリームを復号することで同一の参照ピクチャリストを生成することができる。

なお、参照ピクチャリストの更新情報は符号順で直前のピクチャの符号化時の参照ピクチャリストとのピクチャ番号の差分値で表すことができる。また、参照ピクチャ数はピクチャ単位に可変であってもよく、その場合は新規でピクチャ番号を符号化する。ピクチャ毎の参照ピクチャ数はシーケンス単位あるいはピクチャ単位に符号化する。また、最大の参照ピクチャ数はシーケンス単位に符号化する。最大の参照ピクチャ数を規定することで画像特徴記述子符号化装置が必要とする記述子情報用メモリ１０４の容量（同様に、画像特徴記述子復号装置が必要とする記述子情報用メモリ２０４の容量）を規定することができる。例えば予測精度よりも記述子情報用メモリ１０４の容量を低用量とすることを重要視する場合、最大の参照ピクチャ数を小さい値とすることで記述子情報用メモリ１０４が要する容量を低減できる。

減算部１０５は切換スイッチ１０２より出力された記述子信号から、予測部１０３より出力された予測記述子信号を減算して、その減算結果を差分記述子信号として変換部１０６に出力する処理を実施する。

変換部１０６は制御部４により決定された変換モードを参照して、減算部１０５から出力された差分記述子信号に対する変換処理を実施し、変換結果を変換信号として符号化部１０７に出力する処理を実施する。即ち、変換方式を１以上用意し、変換モードによってこれら変換方式を選択する。変換方式については、例えば図２の１２８次元のベクトルにおける一つのセルに属する８成分ｈ０、ｈ１、・・・、ｈ７に対して、下記変換方式を用意し、セル単位に選択するようにする。この場合、セル単位の選択情報が変換モードに対応する。もしくはセル毎に予め決めた方式で行うように設定してもよい。このように構成した場合、変換モードは不要となる。例えば、Ｔｒａｎｓｆｏｒｍ Ａを実施するセルに隣接するセルはＴｒａｎｓｆｏｒｍ Ｂを実施し、Ｔｒａｎｓｆｏｒｍ Ｂを実施するセルに隣接するセルはＴｒａｎｓｆｏｒｍ Ａを実施するようにチェッカーボードの白黒のように交互に方式を入れ替えるようにする方法がある。

Ｔｒａｎｓｆｏｒｍ Ａ
v0 = (h2 - h6)/2
v1 = (h3 - h7)/2
v2 = (h0 - h1)/2
v3 = (h2 - h3)/2
v4 = (h4 - h5)/2
v5 = (h6 - h7)/2
v6 = ((h0 + h4) - (h2 + h6))/4
v7 = ((h0 + h2 + h4 + h6) - (h1 + h3 + h5 + h7))/8
Ｔｒａｎｓｆｏｒｍ Ｂ
v0 = (h0 - h4)/2
v1 = (h1 - h5)/2
v2 = (h7 - h0)/2
v3 = (h1 - h2)/2
v4 = (h3 - h4)/2
v5 = (h5 - h6)/2
v6 = ((h1 + h5) - (h3 + h7))/4
v7 = ((h0 + h1 + h2 + h3) - (h4 + h5 + h6 + h7))/8

また、変換モードの一つに“変換なし”を用意して変換の有無を制御できるようにしてもよい。このようにすることで、変換による電力集中度が高い領域のみを選択的に変換することが可能となり、変換による電力集中度の低い領域に対する変換による符号化効率の低下を抑制できる。

符号化部１０７は変換部１０６から出力された変換信号と、分割部１０１から出力された記述子位置情報と、制御部４から出力された予測モード、変換モード、予測部１０３から出力されたインター予測情報を記述子データとして符号化して符号化ビットストリームを生成する処理を実施する。
各パラメータの符号化方式の例としては、算術符号、ハフマン符号等のエントロピー符号が挙げられる。
また、符号化部１０７は、符号化ビットストリームのヘッダ情報を符号化する。ヘッダ情報として、シーケンスレベルヘッダ、ピクチャレベルヘッダを符号化し、記述子データと共に符号化ビットストリームを生成する処理を実施する。参照ピクチャ管理情報はピクチャレベルヘッダとして符号化される。

シーケンスレベルヘッダは、画像サイズ、色信号フォーマット、インター予測時の最大参照ピクチャ数等、一般的にシーケンス単位に共通となるヘッダ情報をまとめたものである。
ピクチャレベルヘッダは、参照するシーケンスレベルヘッダのインデックス、ピクチャタイプ情報、エントロピー符号化の確率テーブル初期化フラグ、上述の参照ピクチャリスト等、ピクチャ単位で設定するヘッダ情報をまとめたものである。
また、シーケンスレベルヘッダあるいはピクチャレベルヘッダの一つとしてピクチャ当たりの最大特徴点数を持つ。これにより、ピクチャが持つ最大の特徴点数を制御することが可能である。本パラメータを小さくすることで、一般に符号化及び復号処理の負荷が低減されると共に本画像特徴記述子符号化装置が出力する符号化ビットストリームのビットレートを低減することができる。
さらに、ピクチャレベルヘッダは当該ピクチャに特徴記述子（特徴点）が存在するか否かのフラグ情報（記述子存在フラグ）を持つ。画像特徴記述子符号化装置では記述子が存在するか否かを当該ピクチャの記述子位置情報が存在するか否かで判別できる。画像特徴記述子復号装置は符号化ビットストリームから本フラグを復号することで当該ピクチャに特徴記述子が存在するか否かを識別することができる。

各ヘッダ情報と後述するピクチャデータはＮＡＬ（Network Abstraction）ユニットによって識別される。具体的には、シーケンスレベルヘッダ、ピクチャレベルヘッダ、記述子データをピクチャ単位でまとめたピクチャデータはそれぞれ固有のＮＡＬユニットタイプとして定義され、ＮＡＬユニットタイプの識別情報（インデックス）と共に符号化される。補足情報についても、存在する場合には固有のＮＡＬユニットとして定義される。また、アクセスユニットは、ピクチャデータを示すＮＡＬユニットや補足情報を示すＮＡＬユニット等の当該ピクチャに関わるＮＡＬユニットをまとめた、各ピクチャのデータアクセスの単位を示している。
さらに、ピクチャデータは参照するピクチャレベルヘッダのインデックスをヘッダ除法として有する。

図１の例では、画像特徴記述子符号化装置の構成要素である分割部１０１、切換スイッチ１０２、予測部１０３、減算部１０５、変換部１０６及び符号化部１０７のそれぞれが専用のハードウェアで構成（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなどで構成）されているものを想定しているが、画像符号化装置がコンピュータで構成されていてもよい。
画像特徴記述子符号化装置をコンピュータで構成する場合、記述子情報用メモリ１０４をコンピュータのメモリ上に構成するとともに、分割部１０１、切換スイッチ１０２、予測部１０３、減算部１０５、変換部１０６及び符号化部１０７の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。

図１２に画像特徴記述子符号化装置の別の構成を示す。本構成では図６の構成と比較して予測部１０３から予測部１０８に変更されている。予測部１０８は制御部４より予測モードが入力され、この予測モードにしたがって予測方式を切り替える。即ち切換スイッチ１０２と予測部１０３を組み合わせたものと同等の機能を有する。具体的には、予測モードがインター予測モードを示す場合、記述子情報用メモリ１０４を参照したインター予測を実施し、インター予測によって得られた予測記述子信号を減算部１０５に出力する。インター予測の際得られたインター予測情報は符号化部１０７に出力される。一方、予測モードが直接符号化モードを示す場合、予測記述子信号を全て値が０の記述子として減算部１０５に出力する。さらに、本予測の場合インター予測情報はないためインター予測情報を符号化部１０７に出力しない。

図１３はこの発明の実施の形態１による画像特徴記述子復号装置を示す構成図である。
図１３において、復号部２０１は、図１の画像特徴記述子符号化装置により生成された符号化ビットストリームを入力すると、そのビットストリームからシーケンスレベルヘッダ、ピクチャレベルヘッダなどの、各ヘッダ情報と記述子データを復号する処理を実施する。

このとき、シーケンスレベルヘッダに、ＹＵＶ４：４：４フォーマット信号やＲＧＢ４：４：４フォーマット信号の各信号をモノクローム画像信号とみなしてそれぞれ独立にモノクローム（ＹＵＶ４：０：０）符号化していることを示す情報が、ヘッダ情報として含まれる場合、各色信号の符号化ビットストリームに対して、それぞれ独立に復号処理を実施することができる。

各ヘッダ情報とピクチャデータはＮＡＬユニットによって識別される。具体的には、シーケンスレベルヘッダ、ピクチャレベルヘッダ、ピクチャデータはそれぞれ固有のＮＡＬユニットタイプとして定義され、ＮＡＬユニットタイプの識別情報（インデックス）を復号することで識別される。補足情報についても、存在する場合には固有のＮＡＬユニットとして識別される。また、アクセスユニットは、ピクチャデータや補足情報を示すＮＡＬユニット等の当該ピクチャに関わるＮＡＬユニットをまとめたユニットとして識別される。

また、ピクチャデータのヘッダ情報に存在するピクチャレベルヘッダのインデックスから当該ピクチャデータが参照するピクチャレベルヘッダが特定され、ピクチャレベルヘッダに存在するシーケンスレベルヘッダのインデックスから参照するシーケンスレベルヘッダが特定される。

復号部２０１は、ピクチャレベルヘッダの参照ピクチャ管理情報を復号し、記述子情報用メモリ２０４に出力する処理を実施する。
また、ピクチャレベルヘッダの記述子存在フラグが真である時のみ当該ピクチャの記述子データが存在するため、２０２〜２０６の各部の処理を実施する。即ち、上記存在フラグが偽を示す場合、当該ピクチャの記述子データは存在しないため、復号順で次のピクチャの復号処理に進む。

また、復号部２０１は、記述子データを復号して、変換信号、記述子位置情報、予測モード、変換モード、インター予測情報を得る。変換信号を逆変換部２０２、記述子位置情報は記述子情報用メモリ２０４、予測モードを切換スイッチ２０５、変換モードを逆変換部２０２、インター予測情報を予測部２０３にそれぞれ出力すると共に、記述子位置情報を画像特徴記述子復号装置の出力として出力する。なお、動きベクトルは復号済みの動きベクトル及び復号した予測ベクトル情報から得られる予測ベクトルを予測値とした復号処理によって得られる。
記述子位置情報は先述の通りブロック単位及び画素単位の記述子有無フラグから構成されており、画像特徴記述子符号化装置と同一のブロック単位及び画素単位の処理順にて、復号部２０１が復号した記述子位置情報に従って記述子の位置を特定する。

逆変換部２０２は、復号部２０１により復号された変換モードを参照して、復号部２０１により復号された変換信号に対して逆変換処理を実施して、図６の差分記述子信号と同一の差分記述子信号を算出する処理を実施する。

予測部２０３は、画像特徴記述子符号化装置の予測部１０３と同様のインター予測処理を実施する。即ち、復号部２０１により復号されたインター予測情報が示す記述子情報用メモリ２０４に格納された記述子を、予測記述子信号として加算部２０６に出力する処理を実施する。

記述子情報用メモリ２０４は、復号部２０１により復号された参照ピクチャ管理情報に基づいて、参照記述子情報である参照ピクチャの記述子信号とそれに対応する記述子位置情報を管理する処理を実施する。具体的には上記参照ピクチャ管理情報に従って各参照ピクチャの参照記述子情報の参照可否を設定する。また、上記参照ピクチャ管理情報とシーケンスレベルヘッダの一部として復号されるインター予測時の最大参照ピクチャ数に従って記述子情報用メモリ２０４に格納する参照ピクチャの管理（記録、削除）を行う。

切換スイッチ２０５は、復号部２０１により復号された予測モードを参照し、切換スイッチの切り替えを実施する。具体的には、予測モードがインター予測モードを示す場合、差分記述子信号を加算部２０６に出力する。一方、予測モードが直接符号化モードを示す場合、加算部２０６に出力せずに画像特徴記述子復号装置の出力である記述子信号として出力する。

加算部２０６は、切換スイッチ２０５より出力された予測記述子信号と、予測部２０３より出力された予測記述子信号を加算して、その加算結果を画像特徴記述子復号装置の出力である記述子信号として出力する。

図１３の例では、画像特徴記述子復号装置の構成要素である復号部２０１、逆変換部２０２、予測部２０３、記述子情報用メモリ２０４、切換スイッチ２０５、加算部２０６のそれぞれが専用のハードウェアで構成（記述子情報用メモリ２０４以外の構成要素は、例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなどで構成）されているものを想定しているが、画像復号装置がコンピュータで構成されていてもよい。
画像特徴記述子復号装置をコンピュータで構成する場合、記述子情報用メモリ２０４をコンピュータのメモリ上に構成するとともに、復号部２０１、逆変換部２０２、予測部２０３、切換スイッチ２０５、加算部２０６の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。

図１４に、画像特徴記述子復号装置の別の構成を示す。本構成では図１３の構成と比較して、予測部２０３から予測部２０７に変更されている。予測部２０７は画像特徴記述子符号化装置の予測部１０８と同様の予測処理を実施する。予測部２０７は復号部２０１により復号された予測モードが入力され、この予測モードにしたがって予測方式を切り替える。即ち切換スイッチ２０５と予測部２０７を組み合わせたものと同等の機能を有する。具体的には、予測モードがインター予測モードを示す場合、復号部２０１により復号されたインター予測情報と記述子情報用メモリ２０４を参照したインター予測を実施し、インター予測によって得られた予測記述子信号を加算部２０６に出力する。一方、予測モードが直接符号化モードを示す場合、予測記述子信号を全て値が０の記述子として加算部２０６に出力する。

次に動作について説明する。
図１５は、この発明の実施の形態１による画像特徴記述子符号化装置の処理内容（画像特徴記述子符号化方法）を示すフローチャートである。
この実施の形態１では、映像の各フレーム画像を入力画像として、符号化済みピクチャを利用したインター予測を実施して、得られた予測記述子信号に対して変換処理を施し、変換後の変換信号を含む記述子データとヘッダ情報の符号化を行って符号化ビットストリームを生成する画像特徴記述子符号化装置と、その画像特徴記述子符号化装置から出力される符号化ビットストリームを復号する画像特徴記述子復号装置について説明する。

図１の画像特徴記述子符号化装置は、映像信号から特徴点とその点における特徴記述子を生成し、特徴点の時間方向の変化に応じたインター予測符号化を行うことを特徴としている。
一般的に、映像信号は時間的な相関が高く、特徴記述子においても隣接ピクチャでは変化が小さく時間的相関が高い傾向にある。したがって、インター予測を行うことで高精度な予測が実現できる。一方で、オクルージョン等によって特徴点の変化・消失や、新しいオブジェクトの出現により特徴点が新たに出現する等、時間方向の相関が乏しくインター予測の予測効率が低いケースも存在する。したがって、上記のような特徴点の時間方向の変化に応じてインター予測の有無を切り替えることで予測差分信号の電力・エントロピーを低減する方が望ましい。本実施の形態ではこのような適応的にインター予測の有無の切り替えを可能とする画像特徴記述子符号化装置を実現する。

この実施の形態１では、このような映像信号の一般的な性質に適応した符号化を行うため、所定のブロック分割処理に従って分割されたブロック単位にインター予測処理の有無を適応化させる構成をとるようにしている。

最初に、図１の画像特徴記述子符号化装置の処理内容を説明する。
まず、画像特徴記述子符号化装置の入力画像前処理部１に映像信号が入力され（ステップＳＴ１）、予め定義した判断方法に基づいて入力された映像信号に前処理を実施する必要があるか否かの判断を実施する（ステップＳＴ２）。前処理の必要があると判断された場合、映像信号に対して前処理を実施する（ステップＳＴ３）。前処理の有無の判断の例としては、解像度が予め定義したサイズ以上であれば定義したサイズへの縮小処理を前処理として必要と判断する、等が挙げられる。そして、前処理が必要と判断した場合には前処理として定義したサイズへの縮小処理を実施する。その他の前処理の例としては、色フォーマット変換や、ノイズ除去処理等のフィルタ処理が挙げられる。

次に、変換後の映像信号に対して、特徴記述子生成部２はピクチャ毎に特徴点の抽出を実施する（ステップＳＴ４）。なお、上記ＳＴ２において前処理不要と判断された場合は、ＳＴ１で入力された映像信号に対してＳＴ４を実施することとなる。なお、特徴点抽出処理では、制御部４の制御指示に基づき、抽出した特徴点の選択処理を実施する。例えば記述子情報符号化部３の出力する符号化ビットストリームの伝送ビットレート（あるいは符号化ビットストリームのデータサイズ）を制御部４が制御する場合、記述子情報符号化部３で符号化される記述子情報を符号化して得られる符号化ビットストリームのビットレートが制御目標のビットレート以下となるように特徴点数を制御する。具体的には、まず、各特徴点の重要度を算出する評価関数を定義し、定義した評価関数が示す各特徴点のスコアに基づいて重要度の高い特徴点順にインデックスｐ（ｐ＝１、２、・・・、Ｐ、Ｐはピクチャ内の特徴点数）を振る。そして各特徴点の予測符号量Ｃｐを算出する。そして、下記式を満たすＰＭａｘを算出する。ＰＭａｘが当該ピクチャの特徴点数となる。

ただし、Ｔは制御目標のビットレート及び符号化済みピクチャの符号量から算出される当該ピクチャでの制御目標符号量である。Ｔの算出例を下記に示す。

ここで、Ｒは制御目標のビットレート、Ｆｒはフレームレート、Ｍは１秒毎にカウントが０となるピクチャ番号（Ｍ＝１、２、・・・、Ｆｒ）である。

そして、同じく特徴記述子生成部２にて、選択処理後の特徴点に対して特徴記述子の生成が行われる（ステップＳＴ５）。特徴点の例は上述した通りである。特徴点の位置情報と生成した特徴記述子は記述子情報として記述子情報符号化部３に出力する。
記述子情報符号化部３では、制御部４の制御指示に基づいて記述子情報を符号化して符号化ビットストリームを生成する（ステップＳＴ６）。具体的な符号化処理の動作について次に説明する。

図１６は、ステップＳＴ６の詳細な処理内容を示すフローチャートである。ステップＳＴ６ではピクチャ単位の記述子情報が入力される度に図１６に示す処理を実施する。
まず、記述子情報用メモリ１０４は制御部４に従って復号対象ピクチャに対するインター予測で用いる参照ピクチャを設定し、参照ピクチャリストを更新する（ステップＳＴ１１）。次に、符号化部１０７は符号化対象ピクチャのピクチャデータのヘッダ情報、上記ピクチャデータのヘッダ情報が参照するピクチャレベルヘッダを符号化する（ステップＳＴ１２）。ただし、当該ピクチャがシーケンス先頭である場合、シーケンスレベルヘッダも符号化する。また、符号化対象ピクチャで参照するピクチャレベルヘッダが既に符号化済みである場合はピクチャレベルヘッダの符号化は実施しない。

次に符号化対象ピクチャに特徴記述子が１以上存在するか否か（記述子存在フラグが“１（真）”か否か）を判断する（ステップＳＴ１３）。記述子存在フラグが“０（偽）”である場合、図１６の処理、即ち図１５のステップＳＴ６の処理を終了する。記述子存在フラグが“１（真）”である場合、ピクチャのブロック分割を先述した図７〜図１１で説明した方法等で実施する（ステップＳＴ１４）。ただし、図１１の場合は基準ブロックの分割までを実施する。そして最初の符号化対象となる基準ブロック（符号化対象ブロック）を設定し（ステップＳＴ１５）、図７〜図１１の処理順で基準ブロック単位の符号化処理を実施する。

まず、符号化対象ブロックに１以上の記述子が存在するか否かを確認し（ステップＳＴ１６）、符号化対象ブロック内に１以上の記述子が存在する場合はブロック単位の記述子有無フラグとして“１（記述子有り）”を符号化する（ステップＳＴ１７）。一方、符号化対象ブロック内に記述子が存在しない場合はブロック単位の記述子有無フラグとして“０（記述子無し）”を符号化することで当該画素の記述子情報の符号化を終了する（ステップＳＴ１８）。

そして、符号化対象ブロック内に１以上の記述子が存在する場合は、制御部４に従って符号化対象ブロック内の予測モード及び変換モードを決定する（ステップ１９）。そして、符号化対象ブロック内の最初の符号化対象画素を設定し（ステップＳＴ２０）、符号化対象画素の記述子情報の符号化を実施する（ステップＳＴ２１）。符号化対象画素の記述子情報の符号化の詳細な処理については後で説明する。符号化対象ブロック内の最後の画素に対する符号化処理が完了するまで（ステップＳＴ２２）ラスタスキャン等の予め定めた処理順に従って画素毎に記述子情報の符号化を実施する（ステップＳＴ２３）。

符号化対象ブロック内の全ての画素の記述子情報の符号化を実施した後、符号化対象ピクチャ内の最後のブロックに対する符号化処理が完了するまで（ステップＳＴ２４）予め定めた処理順に従って基準ブロック毎に記述子情報の符号化を実施する（ステップＳＴ２５）。
ただし、図１１の処理順の場合、ステップＳＴ１９〜ステップＳＴ２３の処理は符号化対象ブロックが最小ブロックである場合のみ実施する。即ち、符号化対象ブロックが最小ブロックとなるまで基準ブロックを階層的に分割し、各階層の各ブロックにおいてブロック内に１以上の記述子が存在するか否かの記述子有無フラグを符号化するものとする。

図１７は、ステップＳＴ２１の詳細な処理内容を示すフローチャートである。まず、符号化対象画素に記述子情報が存在するか、すなわち、符号化対象画素が特徴記述子生成部２から出力された特徴点であるか否かを判断する（ステップＳＴ３１）。そして、符号化対象画素に記述子情報が存在する（符号化対象画素が特徴点である）場合、画素単位の記述子有無フラグとして“１（記述子有り）”を符号化する（ステップＳＴ３２）。一方、符号化対象画素に記述子情報が存在しない（符号化対象画素が特徴点でない）場合、画素単位の記述子有無フラグとして“０（記述子無し）”を符号化する（ステップＳＴ３３）。
さらに、符号化対象画素に記述子情報が存在する場合、符号化対象画素が属する符号化対象ブロックの予測モードを参照する（ステップＳＴ３４）。参照した予測モードがインター予測モードである場合、予測部１０３は当該画素のインター予測を実施する（ステップＳＴ３５）。即ち、符号化対象記述子は参照ピクチャが持つ記述子の中から予測に用いる記述子を探索し、探索の結果検出した記述子を予測記述子信号として減算部１０５に出力する処理を実施する。このときの探索処理は制御部４によって設定された探索範囲や評価関数に基づいて実施する。評価関数の例としては符号化対象記述子が図２に示す１２８次元のベクトルである場合、各ベクトルの差分の絶対値和、もしくは各ベクトルの差分の二乗誤差和が挙げられ、本評価関数が最小となる記述子を予測記述子信号とする。

次に、決定した予測記述子信号の位置を示す動きベクトルと周囲の符号化済み動きベクトルから得られる予測ベクトルとを減算して差分ベクトルを得る（ステップＳＴ３６）。予測ベクトルについて次に詳細に説明する。

図１８（ａ）〜（ｄ）は予測ベクトルの候補の例を示す。各例それぞれ、符号化対象画素の属する符号化対象ブロック単位に符号化済みの動きベクトルから予測ベクトル候補を生成している。また、各例それぞれ符号化対象ブロックが４×４画素の例を示している。図１８（ａ）は符号化対象ブロックに対して、左下に隣接する画素（Ａ０）、右上に隣接する画素（Ｂ０）、左上に隣接する画素（Ｂ２）と、Ａ０の一つ上の隣接画素（Ａ１）、Ｂ０の一つ左の隣接画素（Ｂ１）、符号化対象ブロックの中心から右斜め下の位置にある符号化順で一つ前のピクチャの画素（Ｃ）の動きベクトルを予測ベクトル候補としている。ただし、上記画素の内、動きベクトルが存在しない画素については予め定めた所定の手順に従って予測ベクトル候補を設定する。所定の手順の例としては符号化済みの動きベクトルの内、動きベクトルが存在しない画素に空間的距離が最も近い位置にある動きベクトルを設定する方法や、零ベクトル等の固定のベクトルを設定する手法がある。上記空間的距離の例としてはユークリッド距離、マンハッタン距離等が挙げられる。また、Ｃについては、上記位置の代わりに符号化対象ブロックに対して右下に隣接する位置としてもよい。

上記予測候補ベクトルを設定後、制御部４によって設定された評価関数に基づいて予測ベクトルの選択を実施する。評価関数の例としては符号化対象の動きベクトルと予測ベクトル候補との差分ベクトルを（ｄｘ，ｄｙ）とした場合の各成分の絶対値和｜ｄｘ｜＋｜ｄｙ｜や各成分の二乗和ｄｘ^２＋ｄｙ^２が挙げられ、本評価関数が最小となる予測ベクトル候補を予測ベクトルとする。
そして、各予測ベクトル候補にインデックスを設定し（例えばＡ０、Ｂ０、Ｂ２、Ｃ、Ａ１、Ｂ１の順にインデックスを付与）、予測ベクトルとして選択した予測ベクトル候補のインデックスを予測ベクトル情報に設定する。

図１８（ｂ）〜図１８（ｄ）は図１８（ａ）から一部の予測ベクトル候補を除いたものを示す。予測ベクトル候補が少ない程、動きベクトルの予測精度は低下するが、インデックスの最大値が小さくなることから予測ベクトル情報に係わる符号化データの符号量を削減することができる。

また、図１８の例以外の予測ベクトルの候補の例としては、符号化順で直近のＭ個（Ｍ：１以上の整数）の符号化済み動きベクトルを予測ベクトルの候補とする方法もある。この場合、図１８の例と比較して厳密な空間的相関を利用しないため、予測効率は低下するが、予測ベクトル候補の設定方法が簡易であるため、処理負荷が低い特徴がある。また、予測ベクトルの候補数Ｍはシーケンスレベルヘッダあるいはピクチャレベルヘッダで符号化するようにしてもよい。このようにすることで、記述子情報の時間的変化に応じた候補数の設定が可能となり、予測ベクトル情報の符号量と動きベクトルの予測効率を考慮した符号化制御が可能となる。

ステップＳＴ３６の後、符号化対象画素におけるインター予測情報は符号化部１０７に出力され、符号化部１０７にて上記インター予測情報の符号化を実施する（ステップＳＴ３７）。ここで、インター予測情報は、予測記述子の存在する参照ピクチャを特定する参照ピクチャ情報と、上記予測ベクトル情報、上記差分ベクトルから構成される。
そして、符号化対象画素の記述子信号から、予測部１０３で生成した予測記述子信号を減算して差分記述子信号を生成し（ステップＳＴ３８）、これを変換部１０６に出力する処理を実施する。変換部１０６は入力された差分記述子信号を変換する処理を実施する（ステップＳＴ３９）。

一方、ステップＳＴ３４において、参照した予測モードが直接符号化モードである場合、符号化対象画素の記述子信号をそのまま変換部１０６に出力し、変換部１０６にて入力された記述子信号を変換する処理を実施する（ステップＳＴ４０）。

また、変換部１０６はステップＳＴ３９又はステップＳＴ４０で生成した変換信号を符号化部１０７に出力する。符号化部１０７は入力された変換信号を符号化する（ステップＳＴ４１）。

なお、上記では予測モード及び変換モードはブロック単位に実施するものとして説明したが、予測モード及び変換モードを画素（特徴点）単位で切り替えるように構成してもよい。その場合、ステップＳＴ１９は実施せず、ステップＳＴ３２の後に符号化対象画素の予測モード及び変換モードを決定し、符号化するようにする。このようにすることで予測モード及び変換モードに係わる符号化データの符号量は増大するが、より高精度な予測処理及び変換処理が実施でき、変換信号に係わる符号化データの符号量を削減することができる。

また、上記では予測ベクトル情報を画素単位（特徴点単位）に算出し、符号化するように構成したが、符号他対象ブロック単位に算出、符号化するようにしてもよい。その場合、ステップＳＴ１９にて予測ベクトル情報を決定し符号化するものとする。このようにすることで各特徴点の動きベクトルの予測精度は低下するものの、予測ベクトル情報に係わる符号化データの符号量を削減することができる。

次に、画像特徴記述子復号装置の動作について説明する。図１９は、この発明の実施の形態１による画像特徴記述子復号装置の処理内容（画像特徴記述子復号方法）を示すフローチャートである。画像特徴記述子復号装置はピクチャ毎に図１９に示す処理を実施して記述子情報の復号を実現している。
まず復号部２０１は復号対象ピクチャのピクチャデータのヘッダ情報、上記ピクチャデータのヘッダ情報が参照するピクチャレベルヘッダを復号する（ステップＳＴ５１）。ただし、当該ピクチャがシーケンスの先頭である場合、シーケンスレベルヘッダも復号する。また、復号対象ピクチャで参照するピクチャレベルヘッダが既に復号済みである場合はピクチャレベルヘッダの復号は実施しない。

次に復号したヘッダ情報を基に参照ピクチャリストを生成する（ステップＳＴ５２）。そして、復号した参照ピクチャリストを参照ピクチャ管理情報として記述子情報用メモリ２０４に渡す。そして、復号したヘッダ情報の一つである記述子存在フラグを参照し（ステップＳＴ５３）、記述子存在フラグが“１（記述子有り）”である場合、ピクチャのブロック分割を記述子情報符号化部３で説明した図７〜図１１のいずれかの方法で実施する（ステップＳＴ５４）。ただし、図１１の場合は基準ブロックの分割までを実施する。そして最初の復号対象となる基準ブロック（復号対象ブロック）を設定し（ステップＳＴ５５）、図７〜図１１の処理順で基準ブロック単位の復号処理を実施する。一方、ステップＳＴ５３において記述子存在フラグが“０（記述子成し）”である場合、当該ピクチャの記述子情報の符号化処理を終了し、次の符号化ピクチャへと進む。

復号対象ブロック単位の復号処理として、復号部２０１は復号対象ブロックの記述子データを復号する（ステップＳＴ５６）。上記復号対象ブロック単位の記述子データとしてはブロック単位の記述子有無フラグが存在し、上記記述子有無フラグが“１（記述子有り）”である場合、さらに予測モード及び変換モードが存在する。そして、復号対象ブロックの記述子有無フラグが“１（記述子有り）”である場合（ステップＳＴ５７）、復号対象ブロック内の最初の処理対象画素を復号対象画素に設定し（ステップＳＴ５８）、復号対象画素の記述子情報の復号を実施する（ステップＳＴ５９）。復号対象画素の記述子情報の復号の詳細な処理については後で説明する。復号対象ブロック内の最後の画素に対する符号化処理が完了するまで（ステップＳＴ６０）ラスタスキャン等の予め定めた画像特徴記述子符号化装置と同一の処理順に従って画素毎に記述子情報の符号化を実施する（ステップＳＴ６１）。

復号対象ブロック内の全ての画素の記述子情報の復号を実施した後、復号対象ピクチャ内の最後のブロックに対する復号処理が完了するまで（ステップＳＴ６２）予め定めた画像特徴記述子符号化装置と同一の処理順に従って基準ブロック毎に記述子情報の復号を実施する（ステップＳＴ６３）。一方、ステップＳＴ５７において復号対象ブロックの記述子有無フラグが“０（記述子無し）”である場合、当該ブロックでの記述子情報の復号処理を終了し、次の処理ブロックの復号処理に進む。

ただし、図１１の処理順の場合、ステップＳＴ５８〜ステップＳＴ６１の処理は復号対象ブロックが最小ブロックである場合のみ実施する。即ち、復号対象ブロックが最小ブロックとなるか、あるいはブロック内に記述子が存在しなくなるまで基準ブロックを階層的に分割し、各階層の各ブロックにおいてブロック内に１以上の記述子が存在するか否かの記述子有無フラグを復号するものとする（ステップＳＴ５６）。

図２０は、ステップＳＴ５９の詳細な処理内容を示すフローチャートである。まず、復号対象画素の記述子データを復号する（ステップＳＴ７１）。この画素単位の記述子データとしては画素単位の記述子有無フラグがあり、上記記述子有無フラグが“１（記述子有り）”を示す場合、さらに変換信号及びインター予測情報が存在する。そして、復号対象画素の記述子有無フラグが“１（記述子有り）”を示す場合（ステップＳＴ７２）、逆変換部２０２は復号対象画素の属する復号対象ブロックの変換モードに基づいて変換信号の逆変換を実施して差分記述子信号を得る（ステップＳＴ７３）。

そして、復号した符号化対象画素の予測モードがインター予測モードである場合（ステップＳＴ７４）、予測部２０３は復号したインター予測情報を用いたインター予測を実施する（ステップＳＴ７５）。具体的には上述した本実施の形態１の画像特徴記述子符号化装置の予測ベクトル候補と同一の手法によって予測ベクトル候補を生成し、インター予測情報の一部である予測ベクトル情報である予測ベクトル候補のインデックスから予測ベクトルを特定する。そして、同じくインター予測情報の一部である差分ベクトルと上記予測ベクトルを加算して動きベクトルを生成する。そして、同じくインター予測情報の一部である参照ピクチャ情報が示す参照ピクチャに対して、上記動きベクトルが指す位置（画素）の特徴記述子を予測記述子信号とする。
加算部２０６は、逆変換部２０２から出力される上記差分記述子信号と予測部２０３から出力される上記予測記述子信号の加算値を記述子信号として出力する（ステップＳＴ７６）。
一方、ステップＳＴ７４において、復号した符号化対象画素の予測モードが直接符号化モードである場合、逆変換部２０２から出力される上記差分記述子信号を記述子信号として出力する。

さらに、ステップＳＴ７２において復号対象画素の記述子有無フラグが“０（記述子無し）”である場合、当該画素での記述子情報の復号処理、すなわちステップＳＴ５９の処理を終了する。

以上で明らかなように、この実施の形態１によれば、画像特徴記述子符号化装置の予測部１０３が各特徴記述子に対して時間方向の相関を利用した動き補償予測を実施すると共に、動き補償予測に用いる動きベクトルについても周囲のベクトルからの予測を実施して差分ベクトルを生成し、減算部１０５が予測部１０３が生成した予測記述子信号を用いて差分予測記述子信号を生成し、変換部１０６が差分予測記述子信号を変換信号に変換し、符号化部１０７が変換信号及び動き差分ベクトルを符号化するように構成したので、動き補償に用いる動きベクトル情報を高効率に符号化しつつ、高精度に記述子信号を予測してその差分情報を高効率に符号化することができるため、記述子信号を含む記述子情報の高効率符号化を実現することができる効果がある。

また、この実施の形態１によれば、上記効果を持つ画像特徴記述子符号化装置及び画像特徴記述子符号化方法が生成する符号化ビットストリームを正しく復号することができる画像特徴記述子復号装置及び画像特徴記述子復号方法が得られる効果を奏する。

実施の形態２．
実施の形態１では、インター予測で生成される動きベクトルを予測符号化するための予測ベクトル候補を符号化対象ブロック単位で生成していたが、本実施の形態２では、画素単位に予測ベクトル候補とする。図２１に候補の位置の例を示す。図２１に示す符号化対象画素に隣接する画素を予測ベクトル候補とする。ただし、符号化済でない画素位置については固定のベクトルを設定する。

また、上記予測ベクトル候補の画素の内、動きベクトルが存在しない画素については予め定めた所定の手順に従って予測ベクトル候補を設定する。所定の手順の例としては符号化済みの動きベクトルの内、動きベクトルが存在しない画素に空間的距離が最も近い位置にある動きベクトルを設定する方法や、零ベクトル等の固定のベクトルを設定する手法がある。上記空間的距離の例としてはユークリッド距離、マンハッタン距離等が挙げられる。
このように予測ベクトル候補を画素単位に更新可能とすることで予測ベクトルの精度が向上し高い符号化効率が期待できる。

図２１（ａ）〜図２１（ｆ）は予測ベクトル候補数がそれぞれ異なる。予測ベクトル候補が少ない程、動きベクトルの予測精度は低下するが、インデックスの最大値が小さくなることから予測ベクトル情報に係わる符号化データの符号量を削減することができる。

さらに、上記予測ベクトル候補について、符号化（復号）対象ブロックの外を示す場合は固定のベクトルを設定する等として符号化済の動きベクトルを利用しないようにしてもよい。この場合、符号化（復号）対象ブロック単位にそれぞれ独立に符号化（復号）することが可能となる。これにより、並列化処理が実現でき処理の高速化が期待できる。

なお、上記で説明した事項以外、この実施の形態２は、上記実施の形態１と同じ構成、処理を実施する。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

本発明にかかる画像特徴記述子符号化装置、画像特徴記述子復号装置、画像特徴記述子符号化方法及び画像特徴記述子復号方法は、高い符号化効率を実現する画像伝送システム等に適用できる。

１ 入力画像前処理部、２ 特徴記述子生成部、３ 記述子情報符号化部、４ 制御部、１０１ 分割部、１０２ 切換スイッチ、１０３ 予測部、１０４ 記述子情報用メモリ、１０５ 減算部、１０６ 変換部、１０７ 符号化部、１０８ 予測部、２０１ 復号部、２０２ 逆変換部、２０３ 予測部、２０４ 記述子情報用メモリ、２０５ 切換スイッチ、２０６ 加算部、２０７ 予測部

Claims (6)

1. 入力画像をブロックに分割するブロック分割手段と、
   上記ブロック内に特徴点の特徴を記述する記述子を１以上含むことを示す記述子有無フラグが真となるブロックにおいて、上記ブロックの予測モードがインター予測であった場合、上記ブロック内の各特徴点に対して、動きベクトルが指し示す参照ピクチャ上の符号化済み記述子信号を予測記述子信号とする予測手段と、
   記述子信号と予測記述子信号との差分値に対して上記ブロックの変換モードにしたがって変換処理を実施して変換信号を生成する変換手段と、
   上記記述子有無フラグ、上記予測モード、上記変換モード、上記各特徴点の変換信号を符号化して、上記記述子有無フラグ、上記予測モード、上記変換モード、上記各特徴点の変換信号の符号化データが多重化されているビットストリームを生成する符号化手段と、
   を備え、
   上記予測手段は、上記各特徴点の特徴点毎に、予測ベクトル候補である上記ブロックの周囲の１以上の符号化済み動きベクトルから予測ベクトルを選択して、上記動きベクトルと上記予測ベクトルとの差分である差分ベクトルを生成し、
   上記符号化手段は、上記各特徴点の特徴点毎の上記予測ベクトルの選択情報と上記差分ベクトルを符号化して、上記予測ベクトルの選択情報と上記差分ベクトルの符号化データをビットストリームに多重化することを特徴とする画像特徴記述子符号化装置。
2. 上記予測手段は、上記予測ベクトル候補として、上記ブロックに隣接する画素の内の特定の画素の符号化済み動きベクトルを設定することを特徴とする請求項１記載の画像特徴記述子符号化装置。
3. 上記予測手段は、上記予測ベクトル候補として、上記ブロックに隣接する画素の内の特定の画素に符号化済み動きベクトルが存在しない場合に、上記特定の画素に最も空間的に近い符号化済み動きベクトルを設定することを特徴とする請求項２記載の画像特徴記述子符号化装置。
4. ビットストリームに多重化されている符号化データから分割されている各々のブロックに係る記述子有無フラグ、予測モード、変換モード、各特徴点の変換信号を復号し、上記予測モードがインター予測モードである場合、各特徴点の予測ベクトルの選択情報と差分ベクトルを復号する復号手段と、
   上記復号手段により復号された符号化ブロックに係る変換信号から上記変換モードにしたがって差分記述子信号を生成する差分信号生成手段と、
   ブロック内に特徴点の特徴を記述する記述子を１以上含むことを示す上記記述子有無フラグが真となる上記ブロックにおいて、上記予測モードがインター予測であった場合、上記ブロック内の各特徴点に対して、上記予測ベクトルの選択情報と上記差分ベクトルから算出される動きベクトルが指し示す参照ピクチャ上の符号化済み記述子信号を予測記述子信号とする予測手段と、
   上記差分信号生成手段により生成された差分記述子信号と上記予測手段により生成された予測記述子信号とを加算して記述子信号を生成する画像特徴記述子生成手段と、
   を備え、
   上記予測手段は、上記各特徴点の特徴点毎に、予測ベクトル候補である上記ブロックの周囲の１以上の符号化済み動きベクトルから上記復号した予測ベクトルの選択情報に基づいて予測ベクトルを選択して上記予測ベクトルと上記復号した差分ベクトルを加算して動きベクトルを生成し、動きベクトルが指し示す参照ピクチャ上の符号化済み記述子信号を予測記述子信号とすることを特徴とする画像特徴記述子復号装置。
5. 入力画像をブロックに分割するブロック分割ステップと、
   上記ブロック内に特徴点の特徴を記述する記述子を１以上含むことを示す記述子有無フラグが真となるブロックにおいて、上記ブロックの予測モードがインター予測であった場合、上記ブロック内の各特徴点に対して、動きベクトルが指し示す参照ピクチャ上の符号化済み記述子信号を予測記述子信号とする予測ステップと、
   記述子信号と予測記述子信号との差分値に対して上記ブロックの変換モードにしたがって変換処理を実施して変換信号を生成する変換ステップと、
   上記記述子有無フラグ、上記予測モード、上記変換モード、上記各特徴点の変換信号を符号化して、上記記述子有無フラグ、上記予測モード、上記変換モード、上記各特徴点の変換信号の符号化データが多重化されているビットストリームを生成する符号化ステップと、
   を備え、
   上記予測ステップは、上記各特徴点の特徴点毎に、予測ベクトル候補である上記ブロックの周囲の１以上の符号化済み動きベクトルから予測ベクトルを選択して上記動きベクトルと上記予測ベクトルとの差分である差分ベクトルを生成し、
   上記符号化ステップは、上記各特徴点の特徴点毎の上記予測ベクトルの選択情報と上記差分ベクトルを符号化して、上記予測ベクトルの選択情報と上記差分ベクトルの符号化データをビットストリームに多重化することを特徴とする画像特徴記述子符号化方法。
6. ビットストリームに多重化されている符号化データから分割されている各々のブロックに係る記述子有無フラグ、予測モード、変換モード、各特徴点の変換信号を復号し、上記予測モードがインター予測モードである場合、各特徴点の予測ベクトルの選択情報と差分ベクトルを復号する復号ステップと、
   上記復号ステップにより復号された符号化ブロックに係る変換信号から上記変換モードにしたがって差分記述子信号を生成する差分信号生成ステップと、
   ブロック内に特徴点の特徴を記述する記述子を１以上含むことを示す上記記述子有無フラグが真となる上記ブロックにおいて、上記予測モードがインター予測であった場合、上記ブロック内の各特徴点に対して、上記予測ベクトルの選択情報と上記差分ベクトルから算出される動きベクトルが指し示す参照ピクチャ上の符号化済み記述子信号を予測記述子信号とする予測ステップと、
   上記差分信号生成ステップにより生成された差分記述子信号と上記予測ステップにより生成された予測記述子信号とを加算して記述子信号を生成する画像特徴記述子生成ステップと、
   を備え、
   上記予測ステップは、上記各特徴点の特徴点毎に、予測ベクトル候補である上記ブロックの周囲の１以上の符号化済み動きベクトルから上記復号した予測ベクトルの選択情報に基づいて予測ベクトルを選択して上記予測ベクトルと上記復号した差分ベクトルを加算して動きベクトルを生成し、動きベクトルが指し示す参照ピクチャ上の符号化済み記述子信号を予測記述子
   信号とすることを特徴とする画像特徴記述子復号方法。

Images