JP6031566B1 - 特徴抽出装置、画像検索装置、方法、及びプログラム - Google Patents

Abstract

【課題】精度良く画像を識別するための特徴を抽出することができる。【解決手段】入力された画像を分割することによって得られる複数の部分領域である各着目領域について、着目領域をＮ個の局所領域に分割し、Ｎ個の局所領域における輝度の順位付けを表す、Ｎを表現するための最小ビット数にＮを乗算したビット数のビット表現を、着目領域の局所Ｏｒｄｉｎａｒｙ特徴として抽出し、複数の着目領域の各々について抽出された局所Ｏｒｄｉｎａｒｙ特徴を、画像の特徴量として抽出する。【選択図】図２

Description

本発明は、特徴抽出装置、画像検索装置、方法、及びプログラムに関する。

従来、フレーム画像を複数の局所矩形に分割し、各局所矩形内に含まれる画素の輝度値の平均値を、各フレーム画像のおおまかな概要として記述して、輝度特徴とする方法が知られている（図１３参照）。

また、輝度特徴と同様に矩形分割及び平均輝度値の算出を行い、輝度値順にソーティングし、順序を特徴値として使用する方法が知られている（非特許文献１）。図１４に示すように、順序の値を特徴として使用するため、フレーム全体で明るくなったり暗くなったりしても、絶対的な輝度値の変化にロバストとなる。

また、フレーム画像の各画素をソーティングして順序付けを行い、順序を複数のビンに分割し、図１５に示すように、各局所矩形内でビンに投票し、投票値を特徴値として使用する方法が知られている（非特許文献２）。絶対的な輝度値の変化にロバストとなり、ビン分割により記述能力を向上させることができる。

Xian-Sheng Hua et al., " ROBUST VIDEO SIGNATURE BASED ON ORDINAL MEASURE", ICIP, 2004 Paisitkriangkrai et al., "Scalable clip-based near-duplicate video detection with ordinal measure", CIVR, 2010

しかしながら、従来技術では、画像や映像の明るさや色などが部分的に変化したり、調整されたりした場合や、キャプションなど一部に編集ノイズが入った場合には、特徴量の各値が変動してしまい、画像の識別精度が高くない、という問題がある。

本発明は、上記問題点を解決するために成されたものであり、精度良く画像を識別するための特徴を抽出することができる特徴抽出装置、方法、及びプログラムを提供することを目的とする。

また、精度よく画像を識別することができる画像検索装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明の特徴抽出装置は、入力された画像を分割することによって得られる複数の部分領域である各着目領域について、前記着目領域をＮ個の局所領域に分割し、前記Ｎ個の局所領域における輝度の順位付けを表す、Ｎを表現するためのビット数にＮを乗算したビット数のビット表現を、前記着目領域の特徴として抽出し、前記着目領域の各々について抽出された特徴を、前記画像の特徴量として抽出する特徴量抽出部を含んで構成されている。

第２の発明の特徴抽出方法は、特徴量抽出部が、入力された画像を分割することによって得られる複数の部分領域である各着目領域について、前記着目領域をＮ個の局所領域に分割し、前記Ｎ個の局所領域における輝度の順位付けを表す、Ｎを表現するためのビット数にＮを乗算したビット数のビット表現を、前記着目領域の特徴として抽出し、前記着目領域の各々について抽出された特徴を、前記画像の特徴量として抽出する。

第１の発明及び第２の発明によれば、着目領域について、Ｎ個の局所領域における輝度の順位付けを表す、Ｎを表現するためのビット数にＮを乗算したビット数のビット表現を、着目領域の特徴として抽出することにより、精度良く画像を識別するための特徴を抽出することができる。

第３の発明に係る特徴抽出装置は、入力された画像を分割することによって得られる複数の部分領域である各着目領域について、前記着目領域をＮ個の局所領域に分割し、前記Ｎ個の局所領域における輝度の順位付けを表す、Ｎの階乗で求まる数を表現するためのビット数のビット表現を、前記着目領域の特徴として抽出し、前記着目領域の各々について抽出された特徴を、前記画像の特徴量として抽出する特徴量抽出部を含んで構成されている。

第３の発明によれば、着目領域について、Ｎ個の局所領域における輝度の順位付けを表す、Ｎの階乗で求まる数を表現するためのビット数のビット表現を、着目領域の特徴として抽出することにより、精度良く画像を識別するための特徴を抽出することができる。

第４の発明に係る特徴抽出装置は、入力された複数のフレーム画像の各々を分割することによって得られる複数の部分領域である各着目領域について、前記着目領域を複数の局所領域に分割し、前記複数のフレーム画像にまたがって同じ位置から得られる前記着目領域における全局所領域での輝度の順位付けを、前記複数のフレーム画像における前記着目領域の特徴として抽出し、前記着目領域の各々について抽出された特徴を、前記複数のフレーム画像の特徴量として抽出する特徴量抽出部を含んで構成されている。

第４の発明によれば、着目領域について、複数のフレーム画像にまたがって同じ位置から得られる着目領域における全局所領域における輝度の順位付けを、複数のフレーム画像における着目領域の特徴として抽出することにより、精度良く画像を識別するための特徴を抽出することができる。

第５の発明に係る特徴抽出装置は、入力された画像を分割することによって得られる複数の部分領域である各着目領域について、前記着目領域を複数の局所領域に分割し、前記着目領域における各画素の輝度の順位付けに基づいて、前記複数の局所領域の各々に対し、前記局所領域内の画素の順位に基づくヒストグラムを作成し、前記複数の局所領域の各々に対して作成されたヒストグラムを前記着目領域の特徴として抽出し、前記着目領域の各々について抽出された特徴を、前記画像の特徴量として抽出する特徴量抽出部を含んで構成されている。

第６の発明に係る特徴抽出方法は、特徴量抽出部が、入力された画像を分割することによって得られる複数の部分領域である各着目領域について、前記着目領域を複数の局所領域に分割し、前記着目領域における各画素の輝度の順位付けに基づいて、前記複数の局所領域の各々に対し、前記局所領域内の画素の順位に基づくヒストグラムを作成し、前記複数の局所領域の各々に対して作成されたヒストグラムを前記着目領域の特徴として抽出し、前記着目領域の各々について抽出された特徴を、前記画像の特徴量として抽出する。

第５の発明及び第６の発明によれば、着目領域について、着目領域における各画素の輝度の順位付けに基づいて、複数の局所領域の各々に対し、局所領域内の画素の順位に基づくヒストグラムを作成し、複数のフレーム画像における着目領域の特徴として抽出することにより、精度良く画像を識別するための特徴を抽出することができる。

第７の発明に係る特徴抽出装置は、入力された複数のフレーム画像の各々を分割することによって得られる複数の部分領域である各着目領域について、前記着目領域を複数の局所領域に分割し、前記複数のフレーム画像にまたがって同じ位置から得られる前記着目領域における全画素での輝度の順位付けに基づいて、前記複数のフレーム画像の各々の前記着目領域における前記複数の局所領域の各々に対し、前記局所領域内の画素の順位に基づくヒストグラムを作成し、前記複数のフレーム画像の各々の前記着目領域における前記複数の局所領域の各々に対して作成されたヒストグラムを、前記複数のフレーム画像における前記着目領域の特徴として抽出し、前記着目領域の各々について抽出された特徴を、前記複数のフレーム画像の特徴量として抽出する特徴量抽出部を含んで構成されている。

第７の発明によれば、着目領域について、複数のフレーム画像にまたがって同じ位置から得られる着目領域における全画素の輝度の順位付けに基づいて、複数のフレーム画像の各々の着目領域における複数の局所領域の各々に対し、局所領域内の画素の順位に基づくヒストグラムを作成し、複数のフレーム画像における着目領域の特徴として抽出することにより、精度良く画像を識別するための特徴を抽出することができる。

第８の発明に係る画像検索装置は、上記の特徴抽出装置と、クエリ画像について前記特徴抽出装置によって抽出された特徴量と、複数の参照画像について予め抽出された前記特徴量とに基づいて、前記クエリ画像に類似する参照画像を識別する識別処理部と、を含んで構成されている。

第８の発明によれば、精度よく画像を識別するための特徴を抽出して、クエリ画像に類似する参照画像を識別することにより、精度よく画像を識別することができる。

また、本発明のプログラムは、コンピュータを、上記の特徴抽出装置又は画像検索装置を構成する各部として機能させるためのプログラムである。

以上説明したように、特徴抽出装置、方法、及びプログラムによれば、精度良く画像を識別するための特徴を抽出することができる。

また、画像検索装置、方法、及びプログラムによれば、精度よく画像を識別することができる。

着目領域の一例を示す図である。 着目領域内の局所領域の一例を示す図である。 本発明の第１の実施の形態に係る画像検索装置の機能的構成を示すブロック図である。 本発明の実施の形態に係る画像検索装置における学習処理ルーチンを示すフローチャート図である。 本発明の実施の形態に係る画像検索装置における識別処理ルーチンを示すフローチャート図である。 着目フレーム画像と次のフレーム画像を示す図である。 複数のフレーム画像間における、３種類の特徴（XY平面、XT平面、YT平面）を説明するための図である。 着目領域内での順位付けを説明するための図である。 各局所領域で投票してヒストグラムを作成する方法を説明するための図である。 着目領域内の各局所領域のヒストグラムの一例を示す図である。 複数のフレーム画像間における着目領域内の各局所領域のヒストグラムの一例を示す図である。 複数のフレーム画像間における、３種類の特徴（XY平面、XT平面、YT平面）を説明するための図である。 従来技術における特徴を説明するための図である。 従来技術における特徴を説明するための図である。 従来技術における特徴を説明するための図である。

［第１の実施の形態］
以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、クエリ画像に類似するフレーム画像を検索する画像検索装置に本発明を適用した例について説明する。

＜第１の実施の形態の概要＞
上記非特許文献１に記載の手法では、画面全体を分割し、分割領域ごとに算出した平均輝度を算出し、順位付けを行って、特徴量としていた。これに対し、本実施の形態では、着目フレーム画像の一部である着目領域に区分けされた着目領域の各々を、さらに２以上の局所領域に分割し、当該着目領域内での局所領域の輝度の順位を付け、これを特徴とする（図１、図２参照）。この処理を着目フレーム画像内の他の着目領域に対しても行うことで、各着目領域の特徴を抽出する。本実施の形態では、着目領域を例えば４つの局所領域に分割し、当該着目領域内の局所領域の順位について各局所領域を2bitで表現することから、当該着目領域の特徴を、8bitで表現する。すなわち、着目領域をＮ個の局所領域に分割した場合、（Ｎを表現する最少ビット数）×Ｎ bitで、着目領域における順位付けを表現することができる。

このように、特徴に順序情報を使用することにより、輝度が変化しても順序さえ保たれていれば、輝度変化にロバストになる。また従来の画像全体ではなく、局所的に定義することにより、キャプションの挿入等、部分的に何か変動が起きても、それ以外の箇所には影響がない為、より安定した識別が可能になる。

＜第１の実施の形態に係る画像検索装置の構成＞
まず、本発明の第１の実施の形態に係る画像検索装置の構成について説明する。図３に示すように、本発明の実施の形態に係る画像検索装置１００は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチン及び識別処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。この画像検索装置１００は、機能的には図１に示すように入力部１０と、演算部１２と、出力部５０とを備えている。

入力部１０は、複数の参照フレーム画像を受け付ける。また、入力部１０は、クエリ画像を受け付ける。なお、入力部１０は、ネットワーク等を介して外部から入力されたものを受け付けるようにしてもよい。

演算部１２は、特徴記憶部２０、学習部３０、及び識別部４０を含んで構成されている。

特徴記憶部２０は、参照フレーム画像毎に、学習部３０において抽出された特徴ベクトルを記憶している。

学習部３０は、特徴抽出部３２、及び特徴ベクトル作成部３４を含んで構成されている。

特徴抽出部３２は、入力部１０において受け付けた、複数の参照フレーム画像の各々に対し、当該参照フレーム画像を分割した複数の着目領域の各々について、当該着目領域を更にＮ個の局所領域に分割し、Ｎ個の局所領域における輝度の順位付けを表す、Ｎを表現するためのビット数にＮを乗算したビット数のビット表現を、当該着目領域の局所Ｏｒｄｉｎａｒｙ特徴として抽出する。

具体的には、上記図２に示すように、当該参照フレーム画像を分割した複数の着目領域の各々について、当該着目領域を更に４個の局所領域に分割し、４個の局所領域における平均輝度の順位付けを表す、８ｂｉｔ表現（＝２ｂｉｔ×４領域）を、当該着目領域の局所Ｏｒｄｉｎａｒｙ特徴として抽出する。

特徴ベクトル作成部３４は、複数の参照フレーム画像の各々に対し、特徴抽出部３２において当該参照フレーム画像における複数の着目領域の各々について抽出された局所Ｏｒｄｉｎａｒｙ特徴に基づいて、当該参照フレーム画像の特徴ベクトルを作成し、特徴記憶部２０に記憶する。例えば、複数の着目領域の各々について抽出された８ｂｉｔ表現を連結して、特徴ベクトルを作成する。

識別部４０は、特徴抽出部４２、特徴ベクトル作成部４４、及び識別処理部４６を含んで構成されている。

特徴抽出部４２は、入力部１０において受け付けた、クエリ画像について、特徴抽出部３２と同様に、クエリ画像を分割した複数の着目領域の各々の局所Ｏｒｄｉｎａｒｙ特徴として、４個の局所領域における平均輝度の順位付けを表す、８ｂｉｔ表現（＝２ｂｉｔ×４領域）を抽出する。

特徴ベクトル作成部４４は、クエリ画像について、特徴ベクトル作成部３４と同様に、複数の着目領域の各々について抽出された局所Ｏｒｄｉｎａｒｙ特徴に基づいて、当該クエリ画像の特徴ベクトルを作成する。

識別処理部４６は、特徴記憶部２０に記憶されている参照フレーム画像毎に、特徴ベクトル作成部４４においてクエリ画像について作成された特徴ベクトルと、特徴記憶部２０に記憶されている当該参照フレーム画像の特徴ベクトルとに基づいて、クエリ画像と当該参照フレーム画像との類似値を算出する。

識別処理部４６は、算出した参照フレーム画像毎の類似値に基づいて、最も類似値が高い参照フレーム画像を抽出し、抽出された参照フレーム画像を、クエリ画像に類似する画像の検索結果として出力部５０に出力する。

＜第１の実施の形態に係る画像検索装置の作用＞
次に、第１の実施の形態に係る画像検索装置１００の作用について説明する。まず、入力部１０により、複数の参照フレーム画像が入力されると、画像検索装置１００は、参照フレーム画像の各々について、図４に示す学習処理ルーチンを実行する。

ステップＳ１００では、参照フレーム画像を受け付ける。

次に、ステップＳ１０２では、上記ステップＳ１００で受け付けた参照フレーム画像における複数の着目領域のうち、対象の着目領域を選択する。

次に、ステップＳ１０４では、ステップＳ１０２で選択された対象の着目領域において、複数の局所領域における平均輝度の順位付けを表すビット表現を局所Ｏｒｄｉｎａｒｙ特徴として抽出する。

そして、ステップＳ１０６では、全ての着目領域について、上記ステップＳ１０２〜Ｓ１０４の処理を実行したか否かを判定し、上記ステップＳ１０２〜Ｓ１０４の処理を実行していない着目領域が存在する場合には、上記ステップＳ１０２へ戻り、当該着目領域を、対象の着目領域として選択する。一方、全ての着目領域について、上記ステップＳ１０２〜Ｓ１０４の処理を実行した場合には、ステップＳ１０８へ進む。

ステップＳ１０８では、上記ステップＳ１０４で抽出された複数の着目領域の局所Ｏｒｄｉｎａｒｙ特徴に基づいて、参照フレーム画像の特徴ベクトルを作成し、特徴記憶部２０に記憶し、学習処理ルーチンを終了する。

次に、第１の実施の形態に係る画像検索装置１００における識別処理ルーチンついて説明する。入力部１０により、クエリ画像が入力されると、画像検索装置１００は、図５に示す識別処理ルーチンを実行する。

まず、ステップＳ１１０では、入力部１０により入力されたクエリ画像を受け付ける。

次に、ステップＳ１１２では、上記ステップＳ１１０で受け付けたクエリ画像における複数の着目領域のうち、対象の着目領域を選択する。

次に、ステップＳ１１４では、ステップＳ１１２で選択された対象の着目領域において、複数の局所領域における平均輝度の順位付けを表すビット表現を局所Ｏｒｄｉｎａｒｙ特徴として抽出する。

そして、ステップＳ１１６では、全ての着目領域について、上記ステップＳ１１２〜Ｓ１１４の処理を実行したか否かを判定し、上記ステップＳ１１２〜Ｓ１１４の処理を実行していない着目領域が存在する場合には、上記ステップＳ１１２へ戻り、当該着目領域を、対象の着目領域として選択する。一方、全ての着目領域について、上記ステップＳ１１２〜Ｓ１１４の処理を実行した場合には、ステップＳ１１８へ進む。

ステップＳ１１８では、上記ステップＳ１１４で抽出された複数の着目領域の局所Ｏｒｄｉｎａｒｙ特徴に基づいて、クエリ画像の特徴ベクトルを作成する。

次に、ステップＳ１２０では、対象となる参照フレーム画像を選択する。

次に、ステップＳ１２２では、ステップＳ１２０において選択された参照フレーム画像の特徴ベクトルと、ステップＳ１１８において作成した特徴ベクトルとに基づいて、当該参照フレーム画像との類似値を算出する。

次に、ステップＳ１２４では、全ての参照フレーム画像について処理を終了したか否かの判定を行う。全ての参照フレーム画像について処理を終了した場合には、ステップＳ１２６へ移行し、全ての参照フレーム画像について処理を終了していない場合には、上記ステップＳ１２０へ戻り、ステップＳ１２２〜ステップＳ１２４の処理を繰り返す。

次に、ステップＳ１２６では、ステップＳ１２２において算出した参照フレーム画像の各々との類似値に基づいて、類似値が最も高い参照フレーム画像を抽出し、クエリ画像と類似する画像の検索結果として、出力部５０に出力して処理を終了する。

以上説明したように、第１の実施の形態に係る画像検索装置によれば、画像を分割した複数の着目領域について、Ｎ個の局所領域における輝度の順位付けを表す、Ｎを表現するための最小ビット数にＮを乗算したビット数のビット表現を、着目領域の局所Ｏｒｄｉｎａｒｙ特徴として抽出して、特徴ベクトルを作成することにより、精度良く画像を識別するための特徴を抽出することができる。

また、着目領域内の部分的な順位付けを利用することにより、部分的な非線形の輝度変化へ対応することができ、また、一部挿入による順序の変動を最小限に抑制することができる。これによって、よりロバストで、輝度変化や挿入に対して安定的な特徴を抽出することができる。

なお、上記の実施の形態では、着目領域内の各局所領域に対して、平均輝度による順位付けを行う場合を例に説明したが、これに限定されるものではなく、局所領域内から特定位置の画素をサンプリングし、その値を採用して、局所領域に対する順位付けを行うようにしてもよい。

［第２の実施の形態］
次に、第２の実施の形態に係る画像検索装置について説明する。なお、第２の実施の形態に係る画像検索装置は、第１の実施の形態と同様の構成となるため、同一符号を付して説明を省略する。

＜第２の実施の形態の概要＞
本実施の形態では、着目フレーム画像の一部である着目領域に区分けされた着目領域の各々を、例えば４つの局所領域に分割し、当該着目領域内での局所領域の輝度の順位を付け、これを特徴とする（上記図１、図２参照）。このとき、着目領域内の２×２の局所領域の順位の組み合わせは、4×3×2×1と表現でき、24通りあり、着目領域の特徴を5bitで表現する。すなわち、着目領域をN個の局所領域に分割した場合、Ｎの階乗で求まる数を表現する最少ビット数で順位付けを表現し、着目領域の特徴とする。これによって、上記第１の実施の形態に比べて少ない情報量で着目領域の特徴量を定めることができる。

＜第２の実施の形態に係る画像検索装置の構成＞
第２の実施の形態における特徴抽出部３２は、入力部１０において受け付けた、複数の参照フレーム画像の各々に対し、当該参照フレーム画像を分割した複数の着目領域の各々について、当該着目領域をＮ個の局所領域に分割し、Ｎ個の局所領域における輝度の順位付けを表す、Ｎの階乗で求まる数を表現するためのビット数のビット表現を、当該着目領域の局所Ｏｒｄｉｎａｒｙ特徴として抽出する。

具体的には、上記図２に示すように、当該参照フレーム画像を分割した複数の着目領域の各々について、当該着目領域を４個の局所領域に分割し、４個の局所領域における平均輝度の順位の組み合わせを表す、５ｂｉｔ表現を、当該着目領域の局所Ｏｒｄｉｎａｒｙ特徴として抽出する。

特徴抽出部４２は、入力部１０において受け付けた、クエリ画像について、特徴抽出部３２と同様に、クエリ画像を分割した複数の着目領域の各々の局所Ｏｒｄｉｎａｒｙ特徴として、４個の局所領域における平均輝度の順位付けを表す、５ｂｉｔ表現を抽出する。

なお、第２の実施の形態に係る画像検索装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

以上説明したように、第２の実施の形態に係る画像検索装置によれば、画像を分割した複数の着目領域について、Ｎ個の局所領域における輝度の順位付けを表す、Ｎの階乗で求まる数を表現するための最小ビット数のビット表現を、着目領域の局所Ｏｒｄｉｎａｒｙ特徴として抽出して、特徴ベクトルを作成することにより、精度良く画像を識別するための特徴を抽出することができる。

［第３の実施の形態］
次に、第３の実施の形態に係る画像検索装置について説明する。なお、第３の実施の形態に係る画像検索装置の構成は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。

本実施の形態では、クエリ映像に類似する参照映像を検索する画像検索装置に本発明を適用した例について説明する。

＜第３の実施の形態の概要＞
第３の実施の形態では、上記第１の実施の形態又は第２の実施の形態で説明した局所Ｏｒｄｉｎａｒｙ特徴を、時系列方向へ拡張し、複数のフレーム画像を用いて、時系列方向での特徴抽出を行う。図６に示すように、複数のフレーム画像にまたがって同じ位置から得られる着目領域内の局所領域に対し、輝度の順位付けを行い、これを３次元局所Ｏｒｄｉｎａｒｙ特徴とする。この処理を他の着目領域に対しても行うことで、各着目領域の３次元局所Ｏｒｄｉｎａｒｙ特徴を抽出する。本実施の形態では、着目領域を例えば４つの局所領域に分割し、２つのフレーム画像にまたがって同じ位置から得られる当該着目領域内の局所領域の順位について各局所領域を3bitで表現することから、当該着目領域の３次元局所Ｏｒｄｉｎａｒｙ特徴を、24bitで表現する。すなわち、フレーム数をＭとし、着目領域をＮ個の局所領域に分割した場合、（Ｍ×Ｎを表現する最少ビット数）×Ｍ×Ｎ bitで、着目領域における順位付けを表現する。なお、複数のフレーム画像は、必ずしも前後に隣接するフレームでなくてもよい。

これにより、複数のフレーム画像からなる映像データに対し、フレーム間の変化も順序として定義されるため、ロバストな情報と時間変位を同時に抽出して、より安定した、時間情報の変位を含んだ表現が可能になる。

＜第３の実施の形態に係る画像検索装置の構成＞
本発明の第３の実施の形態に係る画像検索装置１００の入力部１０は、複数の参照フレーム画像からなる複数の参照映像を受け付ける。また、入力部１０は、複数のフレーム画像からなるクエリ映像を受け付ける。なお、入力部１０は、ネットワーク等を介して外部から入力されたものを受け付けるようにしてもよい。

特徴記憶部２０は、参照映像毎に、学習部３０において抽出された特徴ベクトルを記憶している。

特徴抽出部３２は、入力部１０において受け付けた、複数の参照映像毎に、当該参照映像内の最初の参照フレーム画像を着目フレーム画像として、参照フレーム画像を分割した複数の着目領域の各々について、当該着目フレーム画像及び次の参照フレーム画像の各々における当該着目領域をＮ個の局所領域に分割し、２×Ｎ個の局所領域における輝度の順位付けを表す、２×Ｎを表現するためのビット数に２×Ｎを乗算したビット数のビット表現を、当該着目領域の３次元局所Ｏｒｄｉｎａｒｙ特徴として抽出する。

具体的には、上記図６に示すように、複数の着目領域の各々について、当該着目フレーム画像及び次の参照フレーム画像の各々における当該着目領域を４個の局所領域に分割し、２×４個の局所領域における平均輝度の順位付けを表す、２４ｂｉｔ表現（＝３ｂｉｔ×８領域）を、参照映像の当該着目領域の３次元局所Ｏｒｄｉｎａｒｙ特徴として抽出する。

特徴ベクトル作成部３４は、参照映像の各々に対し、特徴抽出部３２において当該参照映像における複数の着目領域の各々について抽出された３次元局所Ｏｒｄｉｎａｒｙ特徴に基づいて、当該参照映像の特徴ベクトルを作成し、特徴記憶部２０に記憶する。例えば、複数の着目領域の各々について抽出された２４ｂｉｔ表現を連結して、特徴ベクトルを作成する。

特徴抽出部４２は、入力部１０において受け付けた、クエリ映像について、最初のフレーム画像を着目フレーム画像とし、特徴抽出部３２と同様に、着目領域の各々の３次元局所Ｏｒｄｉｎａｒｙ特徴として、２×４個の局所領域における平均輝度の順位付けを表す、２４ｂｉｔ表現（＝３ｂｉｔ×８領域）を抽出する。

特徴ベクトル作成部４４は、クエリ映像について、特徴ベクトル作成部３４と同様に、複数の着目領域の各々について抽出された３次元局所Ｏｒｄｉｎａｒｙ特徴に基づいて、当該クエリ映像の特徴ベクトルを作成する。

識別処理部４６は、特徴記憶部２０に記憶されている参照映像毎に、特徴ベクトル作成部４４においてクエリ映像の着目フレーム画像について作成された特徴ベクトルと、特徴記憶部２０に記憶されている当該参照映像の特徴ベクトルとに基づいて、クエリ映像と当該参照映像との類似値を算出する。

識別処理部４６は、算出した参照映像毎の類似値に基づいて、最も類似値が高い参照映像を抽出し、抽出された参照映像を、クエリ映像に類似する映像の検索結果として出力部５０に出力する。

なお、第３の実施の形態に係る画像検索装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

以上説明したように、第３の実施の形態に係る画像検索装置によれば、画像を分割した複数の着目領域について、複数のフレーム画像にまたがって同じ位置から得られる着目領域の複数の局所領域における輝度の順位付けを、映像における着目領域の３次元局所Ｏｒｄｉｎａｒｙ特徴として抽出して、特徴ベクトルを作成することにより、精度良く映像を識別するための特徴を抽出することができる。

また、局所Ordinary特徴を時系列方向へ拡張し、着目領域のフレーム間で順序付けを行うことにより、ロバストな情報と時間変位とを同時に抽出することができる。

なお、３次元局所Ｏｒｄｉｎａｒｙ特徴のビット表現として、第２の実施の形態で説明したビット表現を用いても良い。

また、図７に示すように、複数のフレーム画像間において、３種類の特徴（XY平面、XT平面、YT平面）を抽出するようにしてもよい。例えば、着目領域に応じて、着目フレーム画像及び次のフレーム画像における着目領域（XT平面の3次元、YT平面の3次元)から、３次元局所Ｏｒｄｉｎａｒｙ特徴を抽出し、着目フレーム画像のみにおける着目領域（XY平面の2次元)から、局所Ｏｒｄｉｎａｒｙ特徴を抽出するようにしてもよい。また、これに限定されるものではなく、時間要素を持つ平面(XT平面、YT平面)を少なくとも１つ含むように各着目領域の３次元局所Ｏｒｄｉｎａｒｙ特徴又は局所Ｏｒｄｉｎａｒｙ特徴を抽出するようにすればよい。

また、着目フレーム画像及び次のフレーム画像の着目領域において順位付けを行って３次元局所Ｏｒｄｉｎａｒｙ特徴を抽出する場合を例に説明したが、これに限定されるものではなく、隣接しない複数のフレーム画像の着目領域において順位付けを行って３次元局所Ｏｒｄｉｎａｒｙ特徴を抽出するようにしてもよい。また、着目フレーム画像及び前後のフレーム画像の着目領域において順位付けを行って３次元局所Ｏｒｄｉｎａｒｙ特徴を抽出するようにしてもよい。

［第４の実施の形態］
次に、第４の実施の形態に係る画像検索装置について説明する。なお、第４の実施の形態に係る画像検索装置の構成は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。

＜第４の実施の形態の概要＞
上記非特許文献２に記載の方法では画面全体の各画素に対して順序付けを行い、度数分布（ヒストグラム）を取っていた。これに対し、本実施の形態では、図８に示すように、着目領域内を、例えば4つの局所領域に分けると共に、着目領域内で局所的に画素の順位付けを行い、図９に示すように、局所領域毎に、局所領域内の画素に対する順位に基づくヒストグラムを作成する。図９の投票結果は、各局所領域におけるヒストグラムを示している。

図８、図９の例では、8×8画素領域を着目領域とし、６４画素の輝度の順位付けとして、０位から６３位を、各画素に付与し、着目領域内の各局所領域で、順位に関する各ビンの度数分布を表すヒストグラムを作成する。

このように、部分的な順位づけを行うことによって、一部挿入による順位の変動を最小限に抑制でき、よりロバストで安定的な特徴抽出を可能とする。

＜第４の実施の形態に係る画像検索装置の構成＞
第４の実施の形態における特徴抽出部３２は、入力部１０において受け付けた、複数の参照フレーム画像の各々に対し、当該参照フレーム画像を分割した複数の着目領域の各々について、当該着目領域を更にＮ個の局所領域に分割すると共に、当該着目領域内の各画素の順位付けを行い、Ｎ個の局所領域の各々について、当該局所領域内の各画素の順位に基づくヒストグラムを作成し、Ｎ個の局所領域の各々のヒストグラムを、当該着目領域の局所ＯＳＩＤ特徴として抽出する。

具体的には、図１０に示すように、当該参照フレーム画像における複数の着目領域の各々について、当該着目領域を４個の局所領域に分割し、４個の局所領域の各々について局所領域内の輝度の順位に基づくヒストグラムを作成し、局所領域内の輝度の順位に基づくヒストグラムを表すベクトルを連結して、当該着目領域の局所ＯＳＩＤ特徴として抽出する。

特徴抽出部４２は、入力部１０において受け付けた、クエリ画像について、特徴抽出部３２と同様に、クエリ画像を分割した複数の着目領域の各々の局所ＯＳＩＤ特徴として、４個の局所領域の各々について局所領域内の輝度の順位に基づくヒストグラムを作成し、局所領域内の輝度の順位に基づくヒストグラムを表すベクトルを連結して抽出する。

なお、第４の実施の形態に係る画像検索装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

以上説明したように、第４の実施の形態に係る画像検索装置によれば、画像を分割した複数の着目領域について、着目領域における各画素の輝度の順位付けに基づいて、複数の局所領域の各々に対し、局所領域内の画素の順位に基づくヒストグラムを作成し、複数のフレーム画像における着目領域の局所ＯＳＩＤ特徴として抽出して、特徴ベクトルを作成することにより、精度良く画像を識別するための特徴を抽出することができる。

また、着目領域内の部分的な順位付けを利用することにより、部分的な非線形の輝度変化へ対応することができ、また、一部挿入による順序の変動を最小限に抑制することができる。これによって、よりロバストで、輝度変化や挿入に対して安定的な特徴を抽出することができる。

［第５の実施の形態］
次に、第５の実施の形態に係る画像検索装置について説明する。なお、第５の実施の形態に係る画像検索装置の構成は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。

本実施の形態では、クエリ映像に類似する参照映像を検索する画像検索装置に本発明を適用した例について説明する。

＜第５の実施の形態の概要＞
第５の実施の形態では、上記第４の実施の形態で説明した局所ＯＳＩＤ特徴を、時系列方向へ拡張し、複数のフレーム画像を用いて、時系列方向での特徴抽出を行う。図１１に示すように、複数のフレーム画像にまたがって同じ位置から得られる着目領域内の各画素の輝度の順位付けを行い、複数のフレーム画像における各局所領域のヒストグラムを３次元局所ＯＳＩＤ特徴とする。この処理を他の着目領域に対しても行うことで、各着目領域の３次元局所ＯＳＩＤ特徴を抽出する。本実施の形態では、着目領域を例えば４つの局所領域に分割し、当該着目領域について、２つのフレーム画像における８つの局所領域のヒストグラムを、３次元局所ＯＳＩＤ特徴として抽出する。なお、複数のフレーム画像は、必ずしも前後に隣接するフレームでなくてもよい。

これにより、複数のフレーム画像からなる映像データに対し、フレーム間の変化も順序として定義されるため、ロバストな情報と時間変位を同時に抽出して、より安定した、時間情報の変位を含んだ表現が可能になる。

＜第５の実施の形態に係る画像検索装置の構成＞
本発明の第５の実施の形態に係る画像検索装置１００の入力部１０は、複数の参照フレーム画像からなる複数の参照映像を受け付ける。また、入力部１０は、複数のフレーム画像からなるクエリ映像を受け付ける。なお、入力部１０は、ネットワーク等を介して外部から入力されたものを受け付けるようにしてもよい。

特徴記憶部２０は、複数の参照映像毎に、学習部３０において抽出された特徴ベクトルを記憶している。

特徴抽出部３２は、入力部１０において受け付けた、複数の参照映像毎に、当該参照映像内の最初の参照フレーム画像を着目フレーム画像として、複数の着目領域の各々について、当該着目フレーム画像及び次の参照フレーム画像の各々における当該着目領域をＮ個の局所領域に分割すると共に、当該着目フレーム画像及び次の参照フレーム画像の各々における当該着目領域内で、輝度に応じた各画素の順位付けを行い、２×Ｎ個の局所領域について、各画素の輝度の順位に基づくヒストグラムを作成し、当該着目領域の３次元局所ＯＳＩＤ特徴として抽出する。

具体的には、上記図１１に示すように、複数の着目領域の各々について、当該着目フレーム画像及び次の参照フレーム画像の各々における当該着目領域を４個の局所領域に分割し、２×４個の局所領域について、画素の順位に基づくヒストグラムを作成し、作成したヒストグラムを表すベクトルを連結して、参照映像の当該着目領域の３次元局所ＯＳＩＤ特徴として抽出する。

特徴ベクトル作成部３４は、参照映像の各々に対し、特徴抽出部３２において当該参照映像における複数の着目領域の各々について抽出された３次元局所ＯＳＩＤ特徴に基づいて、当該参照映像の特徴ベクトルを作成し、特徴記憶部２０に記憶する。例えば、複数の着目領域の各々について抽出された３次元局所ＯＳＩＤ特徴を連結して、特徴ベクトルを作成する。

特徴抽出部４２は、入力部１０において受け付けた、クエリ映像について、最初のフレーム画像を着目フレーム画像とし、特徴抽出部３２と同様に、着目領域の各々の３次元局所ＯＳＩＤ特徴として、２×４個の局所領域についての各画素の輝度の順位に基づくヒストグラムを作成する。

特徴ベクトル作成部４４は、クエリ映像について、特徴ベクトル作成部３４と同様に、複数の着目領域の各々について抽出された３次元局所ＯＳＩＤ特徴に基づいて、当該クエリ映像の特徴ベクトルを作成する。

識別処理部４６は、特徴記憶部２０に記憶されている参照映像毎に、特徴ベクトル作成部４４においてクエリ映像について作成された特徴ベクトルと、特徴記憶部２０に記憶されている当該参照映像の特徴ベクトルとに基づいて、クエリ映像と当該参照映像との類似値を算出する。

識別処理部４６は、算出した参照映像毎の類似値に基づいて、最も類似値が高い参照映像を抽出し、抽出された参照映像を、クエリ映像に類似する映像の検索結果として出力部５０に出力する。

なお、第５の実施の形態に係る画像検索装置の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

以上説明したように、第５の実施の形態に係る画像検索装置によれば、画像を分割した複数の着目領域について、複数のフレーム画像にまたがって同じ位置から得られる着目領域における各画素の輝度の順位付けに基づいて、複数のフレーム画像の各々の着目領域における複数の局所領域の各々に対し、局所領域内の画素の順位に基づくヒストグラムを作成し、映像における着目領域の３次元局所ＯＳＩＤ特徴として抽出して、特徴ベクトルを作成することにより、精度良く映像を識別するための特徴を抽出することができる。

また、局所ＯＳＩＤ特徴を時系列方向へ拡張し、着目領域のフレーム間で順序付けを行うことにより、ロバストな情報と時間変位とを同時に抽出することができる。

なお、３次元局所ＯＳＩＤ特徴のビット表現として、第２の実施の形態で説明したビット表現を用いても良い。

また、図１２に示すように、複数のフレーム画像間において、３種類の特徴（XY平面、XT平面、YT平面）を抽出するようにしてもよい。例えば、着目領域に応じて、着目フレーム画像及び次のフレーム画像における着目領域（XT平面の3次元、YT平面の3次元)から、３次元局所ＯＳＩＤ特徴を抽出し、着目フレーム画像のみにおける着目領域（XY平面の2次元)から、局所ＯＳＩＤ特徴を抽出するようにしてもよい。また、また、これに限定されるものではなく、時間要素を持つ平面(XT平面、YT平面)を少なくとも１つ含むように各着目領域の３次元局所ＯＳＩＤ特徴又は局所ＯＳＩＤ特徴を抽出するようにすればよい。

また、着目フレーム画像及び次のフレーム画像の着目領域において順位付けを行って３次元局所ＯＳＩＤ特徴を抽出する場合を例に説明したが、これに限定されるものではなく、隣接しない複数のフレーム画像の着目領域において順位付けを行って３次元局所ＯＳＩＤ特徴を抽出するようにしてもよい。また、着目フレーム画像及び前後のフレーム画像の着目領域において順位付けを行って３次元局所ＯＳＩＤ特徴を抽出するようにしてもよい。

また、上記の実施の形態においては、学習部と識別部とを同一のコンピュータで構成する場合について説明したが、これに限定されるものではなく、別々のコンピュータで構成するようにしてもよい。

また、本実施の形態においては、プログラムが予めインストールされている実施の形態として説明したが、これに限定されるものではなく、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１０ 入力部
１２ 演算部
２０ 特徴記憶部
３０ 学習部
３２ 特徴抽出部
３４ 特徴ベクトル作成部
４０ 識別部
４２ 特徴抽出部
４４ 特徴ベクトル作成部
４６ 識別処理部
５０ 出力部
１００ 画像検索装置

Claims (9)

1. 入力された画像を分割することによって得られる複数の部分領域である各着目領域について、前記着目領域をＮ個の局所領域に分割し、前記Ｎ個の局所領域における平均輝度の順位付けを表す、Ｎを表現するためのビット数にＮを乗算したビット数のビット表現を、前記着目領域の特徴として抽出し、前記着目領域の各々について抽出された特徴を連結して、前記画像の特徴量として抽出する特徴量抽出部
   を含む特徴抽出装置。
2. 入力された画像を分割することによって得られる複数の部分領域である各着目領域について、前記着目領域をＮ個の局所領域に分割し、前記Ｎ個の局所領域における平均輝度の順位付けを表す、Ｎの階乗で求まる数を表現するためのビット数のビット表現を、前記着目領域の特徴として抽出し、前記着目領域の各々について抽出された特徴を連結して、前記画像の特徴量として抽出する特徴量抽出部
   を含む特徴抽出装置。
3. 入力された複数のフレーム画像の各々を分割することによって得られる複数の部分領域である各着目領域について、前記着目領域を複数の局所領域に分割し、前記複数のフレーム画像にまたがって同じ位置から得られる前記着目領域における全局所領域での輝度の順位付けを、前記複数のフレーム画像における前記着目領域の特徴として抽出し、前記着目領域の各々について抽出された特徴を、前記複数のフレーム画像の特徴量として抽出する特徴量抽出部
   を含む特徴抽出装置。
4. 入力された画像を分割することによって得られる複数の部分領域である各着目領域について、前記着目領域を複数の局所領域に分割し、前記着目領域における各画素の輝度の順位付けに基づいて、前記複数の局所領域の各々に対し、前記局所領域内の画素の順位に基づく、順位に関する各ビンの度数分布を表すヒストグラムを作成し、前記複数の局所領域の各々に対して作成されたヒストグラムを前記着目領域の特徴として抽出し、前記着目領域の各々について抽出された特徴を、前記画像の特徴量として抽出する特徴量抽出部
   を含む特徴抽出装置。
5. 入力された複数のフレーム画像の各々を分割することによって得られる複数の部分領域である各着目領域について、前記着目領域を複数の局所領域に分割し、前記複数のフレーム画像にまたがって同じ位置から得られる前記着目領域における全画素での輝度の順位付けに基づいて、前記複数のフレーム画像の各々の前記着目領域における前記複数の局所領域の各々に対し、前記局所領域内の画素の順位に基づくヒストグラムを作成し、前記複数のフレーム画像の各々の前記着目領域における前記複数の局所領域の各々に対して作成されたヒストグラムを、前記複数のフレーム画像における前記着目領域の特徴として抽出し、前記着目領域の各々について抽出された特徴を、前記複数のフレーム画像の特徴量として抽出する特徴量抽出部
   を含む特徴抽出装置。
6. 請求項１〜請求項５の何れか１項記載の特徴抽出装置と、
   クエリ画像について前記特徴抽出装置によって抽出された特徴量と、複数の参照画像について予め抽出された前記特徴量とに基づいて、前記クエリ画像に類似する参照画像を識別する識別処理部と、
   を含む画像検索装置。
7. 特徴量抽出部が、入力された画像を分割することによって得られる複数の部分領域である各着目領域について、前記着目領域をＮ個の局所領域に分割し、前記Ｎ個の局所領域における平均輝度の順位付けを表す、Ｎを表現するためのビット数にＮを乗算したビット数のビット表現を、前記着目領域の特徴として抽出し、前記着目領域の各々について抽出された特徴を連結して、前記画像の特徴量として抽出する
   特徴抽出方法。
8. 特徴量抽出部が、入力された画像を分割することによって得られる複数の部分領域である各着目領域について、前記着目領域を複数の局所領域に分割し、前記着目領域における各画素の輝度の順位付けに基づいて、前記複数の局所領域の各々に対し、前記局所領域内の画素の順位に基づく、順位に関する各ビンの度数分布を表すヒストグラムを作成し、前記複数の局所領域の各々に対して作成されたヒストグラムを前記着目領域の特徴として抽出し、前記着目領域の各々について抽出された特徴を、前記画像の特徴量として抽出する
   特徴抽出方法。
9. コンピュータを、請求項１〜請求項５の何れか１項記載の特徴抽出装置、又は請求項６記載の画像検索装置を構成する各部として機能させるためのプログラム。