JP5866064B2 - 画像検索装置、画像検索方法、および記録媒体 - Google Patents

Description

参照による取り込み

本出願は、平成２５年（２０１３年）４月９日に出願された日本出願である特願２０１３−０８１０８８の優先権を主張し、その内容を参照することにより、本出願に取り込む。

本発明は、画像を検索する画像検索装置、画像検索方法、および記録媒体に関する。

同一被写体について異なる向きや異なる照明条件で撮影された画像では、得られる画像特徴量が異なる。このような画像特徴量のばらつきは，被写体の形状に依存するため、被写体によって様相が異なる。たとえば、ガウス分布で近似するならば、主軸が被写体によって異なると言い換えることもできる。このような被写体によって主軸の方向が異なるばらつきに影響されづらい部分ベクトル空間を抽出する場合、被写体によって主軸の異なるばらつきをそれぞれ補正し、可能な限り等方的な分布となるような部分空間を抽出する必要がある。

特表２００５−５１２２０１号公報の顔画像認識システムおよび方法は、入力顔画像および基準顔画像の組を入力スペースから高次元特徴スペースに投影し、前記顔画像のより典型的な特徴を得る。入力顔画像および基準顔画像のカーネルフィッシャーフェイスが算出される。入力顔画像および基準顔画像は、顔画像スペースにおけるポイントとして表され、入力された顔のポイントと各基準顔画像のポイントとの間の距離を使用して、入力顔画像が基準顔画像の特定の顔画像に似ているか否かが判定される。

しかしながら、上述した特表２００５−５１２２０１号公報では、非線形変換を適用するため、処理に時間を要するという問題がある。たとえば、得られた画像をデータベースに順次記録する場合、毎回非線形変換を行うことになり、登録に時間がかかり単位時間あたりの登録数が制限される。また、得らえた画像に対し線形変換をする場合、画像間の類似度を表現するための画像特徴量が得られないという問題がある。

本発明は、画像特徴量の変換処理の高速化を図ることを目的とする。

本願において開示される発明の一側面となる画像検索装置、画像検索方法、および記録媒体は、検索目標画像に関する第１の画像特徴量を取得し、複数の画像特徴量の中から、取得された前記第１の画像特徴量に類似する画像特徴量を検索し、同一の被写体について複数の条件により得られた複数の被写体画像に関する複数の画像特徴量に基づく線形変換パラメータの集合の中から、前記第１の画像特徴量と前記被写体に関する画像特徴量とに基づいて、線形変換に用いる線形変換パラメータを決定し、決定された線形変換パラメータにより、前記第１の画像特徴量を変換するとともに、前記線形変換パラメータにより、前記検索部による検索結果である画像特徴量を変換し、変換された変換結果を出力する。

本発明の代表的な実施の形態によれば、画像特徴量の変換処理の高速化を図ることができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

特徴量空間を示す説明図１である。 特徴量空間を示す説明図２である。 画像検索装置のハードウェア構成例を示すブロック図である。 実施例１にかかる画像特徴量データベースの記憶内容例を示す説明図である。 実施例１にかかるクラスタデータベースの記憶内容例を示す説明図である。 実施例１にかかる第１の線形変換パラメータ辞書の記憶内容例を示す説明図である。 実施例１にかかる第２の線形変換パラメータ辞書の記憶内容例を示す説明図である。 実施例１にかかる画像検索装置の機能的構成例を示すブロック図である。 実施例１にかかる決定部による警告の出力例を示す説明図である。 実施例１にかかる画像検索装置による画像検索処理手順例を示すフローチャートである。 図１０に示した線形変換処理（ステップＳ１００２）の詳細な処理手順例を示すフローチャートである。 図１１に示した決定処理（ステップＳ１１０３）の詳細な処理手順例を示すフローチャートである。 実施例２にかかる画像特徴量データベースの記憶内容例を示す説明図である。 実施例２にかかる画像検索装置の機能的構成例を示すブロック図である。 実施例２にかかる線形変換処理（ステップＳ１００２）の詳細な処理手順例を示すフローチャートである。 実施例３にかかる画像検索装置の機能的構成例を示すブロック図である。 実施例３にかかる画像特徴量の更新処理手順例を示すフローチャートである。 実施例４にかかるネットワークシステムの構成例を示す説明図である。 実施例４にかかるネットワークシステムの機能的構成例を示すブロック図である。 クラウドによる画像検索処理手順例を示すフローチャートである。

本発明にかかる画像特徴量の変換処理は、線形変換を利用しつつも非線形変換と同等の精度を得る変換処理である。以下、図面を用いて説明する。

図１は、特徴量空間を示す説明図１である。画像が持つ画像特徴量は複数存在するが、ここでは説明を単純化するため、ある２種類の画像特徴量（画像特徴量１と画像特徴量２）による分布を用いて説明する。画像特徴量は一般に数値ベクトルとして表される。この数値ベクトルの各要素には、たとえば、画像の色を数値化した値や画像の勾配の強度、方向の値、またはそれらの値を頻度分布とした値がある。画像特徴量がより類似していれば画像が類似していると判断できる。たとえば、ベクトル間のユークリッド距離やマハラノビス距離、Ｂｈａｔｔａｃｈａｒｙｙａ距離が、類似性を評価する指標として用いられる。したがって、距離が小さいほど画像同士が類似していると判断することができる。

（Ａ）は、変換前の特徴量分布が存在する特徴量空間であり、（Ｂ）変換後の特徴量分布が存在する特徴量空間である。（Ａ）において、各個人の顔画像のばらつきを画像特徴量１および画像特徴量２で決まる楕円の特徴量分布１０１により模式的に示す。画像特徴量のベクトル空間上で異なる場所に位置する画像特徴量の特徴量分布１０１は、異なる人物の顔のばらつきを意味する。ばらつきの大きい方向（ここでは、楕円の長軸方向）は、人それぞれ異なる顔の造作をしているためにそれぞれ異なる。

特徴量分布１０１から変換により、（Ｂ）のような等方的な特徴量分布１０２を得るのが目的である。特徴量分布１０２の場合、等方的であるため、ユークリッド距離を用いることにより、容易に二体間の類似度を表現することができる。

ここで、（Ａ）から（Ｂ）に変換する場合、特徴空間上異なる位置において非等方的な変換が必要となる。すなわち、非線形変換が必要である。しかしながら、非線形変換はパラメータを多数要するため、非線形変換処理には時間を要し、変換速度、ひいては、検索速度が低下する。

図２は、特徴量空間を示す説明図２である。図２では、図１と異なり、ある局所領域に着目することにする。局所領域には、画像特徴量が類似している画像が集まる。たとえば、顔画像の場合、二次元の顔画像から得られた特徴量が類似していれば、一般に顔の三次元構造も類似することがわかっている。このことから、顔の向きや照明に起因する分布も同様に類似するといえる。すなわち、図２のように特徴量分布２０１が揃った状態となる。したがって、（Ａ）の特徴量分布２０１を（Ｂ）の等方的な特徴量分布２０２へと変換する場合、線形変換により実現できる。

このように、（Ａ）の特徴量分布２０１のように、ばらつきが同一方向に揃った画像特徴量に基づく線形変換パラメータをデータベース化し、その線形変換パラメータの集合の中から検索目標画像に最適な線形変換パラメータを選択する。このように、線形変換を利用することにより、画像特徴量の変換処理の高速化を図ることができるとともに、線形変換でありながら非線形変換と同等の変換精度を維持することができる。

図３は、画像検索装置のハードウェア構成例を示すブロック図である。画像検索装置３００は、プロセッサ３０１と、記憶デバイス３０２と、入力デバイス３０３と、出力デバイス３０４と、通信インターフェース（通信ＩＦ３０５）と、を有する。プロセッサ３０１、記憶デバイス３０２、入力デバイス３０３、出力デバイス３０４、および通信ＩＦ３０５は、バスにより接続される。プロセッサ３０１は、画像検索装置３００を制御する。記憶デバイス３０２は、プロセッサ３０１の作業エリアとなる。また、記憶デバイス３０２は、各種プログラムやデータを記憶する。記憶デバイス３０２としては、たとえば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリがある。入力デバイス３０３は、データを入力する。入力デバイス３０３としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナがある。出力デバイス３０４は、データを出力する。出力デバイス３０４としては、たとえば、ディスプレイ、プリンタがある。通信ＩＦ３０５は、ネットワークと接続され、データを送受信する。以下、本発明にかかる実施例について説明する。

（実施例１）
＜データベース＞
図４は、実施例１にかかる画像特徴量データベースの記憶内容例を示す説明図である。画像特徴量データベース４００は、クラスタＩＤごとに、データＩＤと、当該データＩＤに対応する画像特徴量と、を記憶する。クラスタＩＤとは、クラスタを一意に特定する識別情報である。クラスタとは、互いに類似した画像特徴量を持つデータＩＤをグループ化したデータ群である。データＩＤとは、データを一意に特定する識別情報である。データとは、たとえば、画像である。データである画像は、記憶デバイス３０２に記憶される。画像特徴量は、上述したように、データである画像の特徴を示す数値ベクトルである。したがって、同一クラスタ内の画像特徴量は類似しあうことになる。

図５は、実施例１にかかるクラスタデータベースの記憶内容例を示す説明図である。クラスタデータベース５００は、図４に示したクラスタＩＤと、代表特徴量と、を関連付けて記憶する。代表特徴量とは、クラスタＩＤで特定されるクラスタ内の画像特徴量群を代表する画像特徴量である。たとえば、代表特徴量は、クラスタ内の画像特徴量群の各々を後述する第１の線形変換パラメータにより線形変換したあとの画像特徴量群の各ベクトル要素を平均化した画像特徴量である。画像検索の際には、図４に示した画像特徴量データベース４００に直接アクセスしてもよいが、クラスタデータベース５００により代表特徴量で検索することにより、クラスタの絞り込みをおこなうことができる。したがって、検索速度の高速化を実現することができる。

図６は、実施例１にかかる第１の線形変換パラメータ辞書の記憶内容例を示す説明図である。第１の線形変換パラメータ辞書６００は、第１の線形変換パラメータを記憶する。第１の線形変換パラメータとは、主成分分析や判別分析といった既知の統計解析の結果得られる行列である。第１の線形変換パラメータが主成分分析に関する行列であれば、場合によっては数千次元に及ぶ画像特徴量を、高速検索に適するように次元削減することができる。第１の線形変換パラメータが判別分析に関する行列であれば、変換後の画像特徴量において各人の分離が容易になる。

図７は、実施例１にかかる第２の線形変換パラメータ辞書７００の記憶内容例を示す説明図である。第２の線形変換パラメータ辞書７００は、第２の線形変換パラメータ候補と、パラメータ算出用の画像特徴量と、を関連付けて記憶する。第２の線形変換パラメータ候補とは、図２に示した線形変換に用いられる線形変換パラメータの候補である。第２の線形変換パラメータ候補は、以下の方法により求められる。ここでは、人間の顔画像を例に挙げて説明するが、人間以外の生物でもよく、生物に限らず車などの物体でもよい。

第１の方法について説明する。まず、ある人物ｉの向きや照明の変動が含まれた複数の顔画像に関する画像特徴量から分散共分散行列が得られる。人物ｉの分散共分散行列をΣ_ｉとし、下記式（１）の固有値問題を解いて、人物ｉの分散共分散行列Σ_ｉに関する固有値λと固有ベクトルｅが得られる。

Σ_ｉｘ＝λｘ・・・（１）

そして、下記式（２）に示すように、得られた固有値λと当該固有値λと対応する固有ベクトルｅとについて、固有値の大きい順にＮ番目まで配列した変換行列Ａ_ｉが得られる。

式（２）は、主成分分析において各軸の重みをその軸上のデータの標準偏差によって規格化したことになる。

第２の方法について説明する。まず、人物ｉの複数の顔画像から得られる複数の画像特徴量の平均と、当該複数の画像特徴量の平均との距離が一定の範囲内にある人物ｊの集合の画像特徴量と、から、クラス内分散共分散行列Σ_Ｗ,ｉ、クラス間分散共分散行列Σ_Ｂ,ｉが得られる。ここで、各人物が１クラスをなすと考える。下記式（３）の固有値問題を解くことにより、固有値λおよび固有ベクトルｅが得られる。

Σ_Ｂ,ｉｘ＝λΣ_Ｗ,ｉｘ・・・（３）

そして、下記式（４）に示すように、固有ベクトルｅを、それと対応する固有値の大きい順にＮ番目まで配列した変換行列Ａ_ｉが得られる。

第２の方法は線形判別の手法となる。人物群ｋの数が十分にある場合、主成分分析による手法よりも線形判別の手法がより適する。

第３の方法について説明する。まず、人物ｉの複数の顔画像から得られる複数の画像特徴量の平均と、当該複数の画像特徴量の平均との距離が一定の範囲内にある人物ｊの画像特徴量と、から、クラス内分散共分散行列Σ_Ｗ,ｉが得られる。ここで、各人物が１クラスをなすと考える。下記式（５）の固有値問題を解くことにより、固有値λおよび固有ベクトルｅが得られる。

Σ_Ｂ,ｉｘ＝λｘ・・・（５）

そして、下記式（６）に示すように、固有ベクトルｅについて、固有値の大きい順にＮ番目まで配列した変換行列Ａ_ｉが得られる。

上記第１〜第３の方法のいずれかの方法により求められた変換行列Ａ_ｉが、ある人物ｉについての第２の線形変換パラメータ候補となる。

また、図７において、パラメータ算出用の画像特徴量とは、第２の線形変換パラメータ候補に対応する画像特徴量である。たとえば、ある人物ｉについて得られた第２の線形変換パラメータ候補に対応するパラメータ算出用の画像特徴量は、人物ｉの複数の画像に関する各画像特徴量を、第１の線形変換パラメータにより線形変換し、当該線形変換後の各画像特徴量を平均化した画像特徴量である。

なお、図４〜図７に示した各データベース４００〜７００は、図３に示した記憶デバイス３０２に記憶される。また、通信ＩＦ３０５を介して各データベース４００〜７００内のデータを取得することとしてもよい。また、データＩＤに対応する画像についても同様である。

＜画像検索装置３００の機能的構成例＞
図８は、実施例１にかかる画像検索装置３００の機能的構成例を示すブロック図である。画像検索装置３００は、画像特徴量データベース４００と、クラスタデータベース５００と、第１の線形変換パラメータ辞書６００と、第２の線形変換パラメータ辞書７００と、取得部８０１と、生成部８０２と、画像特徴量検索部８０３と、決定部８０４と、変換部８０５と、画像検索部８０６と、出力部８０７と、を有する。取得部８０１〜出力部８０７は、具体的には、たとえば、図３に示したプロセッサ３０１にプログラムを実行させることによりその機能を実現する。

取得部８０１は、検索目標画像に関する画像特徴量を取得する。取得部８０１は、検索目標画像を取得した場合、検索目標画像からその画像特徴量を算出する。画像特徴量は、上述したように、数値ベクトルとして表される。この数値ベクトルの各要素には、たとえば、画像の色を数値化した値や画像の勾配の強度、方向の値、またはそれらの値を頻度分布とした値がある。また、取得部８０１は、検索目標画像に関する画像特徴量、すなわち、算出済みの画像特徴量を取得することとしてもよい。

生成部８０２は、第１の線形変換パラメータ辞書６００内の第１の線形変換パラメータにより、取得部８０１によって取得された検索目標画像に関する画像特徴量を変換して、検索目標画像に関する線形変換後の画像特徴量を生成する。これにより、第１の線形変換パラメータが主成分分析に関する行列である場合、検索目標画像に関する画像特徴量は、たとえば、数千次元に及ぶ画像特徴量を、高速検索に適するように次元削減することができる。第１の線形変換パラメータが判別分析に関する行列であれば、検索目標画像に関する画像特徴量は、変換後の画像特徴量において各人の分離が容易な画像特徴量に変換される。このように、第１の線形変換パラメータによる変換を、「第１の線形変換」と称す。

画像特徴量検索部８０３は、取得部８０１によって取得された検索目標画像に関する画像特徴量に基づいて、画像特徴量群の中から、検索目標画像に類似する画像を特定する画像特徴量を検索する。画像特徴量検索部８０３は、具体的には、たとえば、生成部８０２によって生成された検索目標に関する変換後の画像特徴量に基づいて、画像特徴量群の中から、検索目標画像に類似する画像に関する画像特徴量を検索する。

画像特徴量検索部８０３での検索は、たとえば、ベクトル間のユークリッド距離やマハラノビス距離、Ｂｈａｔｔａｃｈａｒｙｙａ距離により、検索目標画像に関する画像特徴量に類似する画像特徴量を検索する。距離が小さいほど画像同士が類似する。

ここで、画像特徴量群とは、クラスタデータベース５００を利用しない場合は、画像特徴量データベース４００に記憶された画像特徴量の集合であり、クラスタデータベース５００を利用する場合は、クラスタデータベース５００に記憶された代表特徴量の集合である。クラスタデータベース５００を利用する場合は、検索対象となる画像特徴量の数を低減させることができ、検索速度の向上を図ることができる。

決定部８０４は、同一の被写体について複数の条件により得らえた複数の被写体画像に関する複数の画像特徴量に基づく線形変換パラメータの集合の中から、検索目標画像に関する画像特徴量と被写体に関する画像特徴量とに基づいて、線形変換に用いる線形変換パラメータを決定する。被写体とは、たとえば、上述した人物ｉである。複数の条件とは、被写体が人物ｉの場合、たとえば、異なる向きや異なる照明条件である。線形変換パラメータの集合とは、上述した第２の線形変換パラメータ辞書７００である。

決定部８０４は、たとえば、下記式（７）により、第２の線形変換パラメータ候補の中から、検索目標画像に関する画像特徴量の線形変換に適用される第２の線形変換パラメータを決定する。

ここで、ｙ_ｉｎは、検索目標画像の第１の線形変換後の画像特徴量であり、ｙ_ｉは，人物ｉについての第２の線形変換パラメータ候補に対応する、パラメータ算出用の画像特徴量である。ｄ（ｘ,ｙ）は，ｘ,ｙの距離を表し，例えばユークリッド距離が採用される。式（７）により、検索目標画像に関する第１の線形変換後の画像特徴量ｙ_ｉｎとの距離ｄが最小となるパラメータ算出用の画像特徴量に対応する第２の線形パラメータ候補Ａｉが、第２の線形パラメータＡに決定される。なお，得られたｄ（ｙ_ｉ,ｙ_ｉｎ）が所定の閾値より大きい場合、適切な線形変換パラメータでない可能性がある。その場合は精度低下の恐れがあるため、決定部８０４は出力部８０７を介して警告を出力する。

変換部８０５は、決定部８０４によって決定された線形変換パラメータにより、検索目標画像に関する画像特徴量を変換する。具体的には、たとえば、変換部８０５は、決定部８０４にとって決定された第２の線形変換パラメータにより、第１の線形変換パラメータにより変換される前の検索目標画像に関する画像特徴量を線形変換する。

また、変換部８０５は、第２の線形変換パラメータにより、画像特徴量検索部８０３による検索結果である画像特徴量を変換する。具体的には、決定部８０４にとって決定された第２の線形変換パラメータを用いる画像特徴量検索部８０３では、代表特徴量が検索されるため、変換部８０５は、検索された代表特徴量に対応するクラスタＩＤを参照することによりクラスタを特定し、特定したクラスタ内の各画像特徴量を変換する。このように、第２の線形変換パラメータによる変換を、「第２の線形変換」と称す。

画像検索部８０６は、変換部８０５によって検索目標画像に関する画像特徴量から変換された第１の変換結果と、変換部８０５によって検索部による検索結果である画像特徴量から変換された第２の変換結果と、に基づいて、検索結果である各画像特徴量の抽出元の画像群の中から検索目標画像に類似する画像を検索する。第１の変換結果とは、変換部８０５において、検索目標画像に関する画像特徴量を第２の線形変換パラメータにより変換した画像特徴量である。同様に、第２の変換結果とは、変換部８０５において、代表特徴量のクラスタ内の各画像特徴量を第２の線形変換パラメータにより変換した画像特徴量である。

画像検索部８０６での検索についても、たとえば、ベクトル間のユークリッド距離やマハラノビス距離、Ｂｈａｔｔａｃｈａｒｙｙａ距離により、第１の変換結果に類似する画像特徴量を検索する。距離が小さいほど画像同士が類似する。

出力部８０７は、画像検索部８０６によって検索された検索結果を出力する。また、出力部８０７は、上述した決定部８０４による警告を出力してもよい。出力形式としては、出力部８０７は、ディスプレイやプリンタである出力デバイス３０４から出力してもよい。また、出力部８０７は、通信ＩＦ３０５から外部装置に送信してもよい。また、出力部８０７は、記憶デバイス３０２に格納してもよい。

図９は、実施例１にかかる決定部８０４による警告の出力例を示す説明図である。図９では、ディスプレイに警告画面９００が表示される。

＜画像検索処理手順＞
図１０は、実施例１にかかる画像検索装置３００による画像検索処理手順例を示すフローチャートである。画像検索装置３００は、まず、取得部８０１により検索目標画像に関する画像特徴量を取得し（ステップＳ１００１）、線形変換処理を実行する（ステップＳ１００２）。線形変換処理（ステップＳ１００２）の詳細については図１１で後述するが、線形変換処理（ステップＳ１００２）により、変換部８０５からの第１および第２の変換結果が得られる。

線形変換処理（ステップＳ１００２）のあと、画像検索装置３００は、画像検索部８０６による画像検索処理を実行し（ステップＳ１００３）、出力部８０７により、検索結果を出力する（ステップＳ１００４）。これにより、一連の画像検索処理を終了する。

図１１は、図１０に示した線形変換処理（ステップＳ１００２）の詳細な処理手順例を示すフローチャートである。画像検索装置３００は、まず、生成部８０２により検索目標画像に関する画像特徴量を、第１の線形変換パラメータにより変換することにより、線形変換後の画像特徴量を生成する（ステップＳ１１０１）。

つぎに、画像検索装置３００は、ステップＳ１１０１で得られた画像特徴量に類似する代表画像特徴量を検索する画像特徴量検索処理を実行する（ステップＳ１１０２）。そして、画像検索装置３００は、決定部８０４による決定処理を実行する（ステップＳ１１０３）。決定処理（ステップＳ１１０３）の詳細については後述する。

ステップＳ１１０３のあと、画像検索装置３００は、変換部８０５により、第２の線形変換パラメータで、ステップＳ１１０１で生成された画像特徴量を線形変換する（ステップＳ１１０４）。この線形変換により得られるのが第１の変換結果である。また、画像検索装置３００は、変換部８０５により、ステップＳ１１０２で検索された代表特徴量が所属するクラスタ内の各 画像特徴量を、第２の線形変換パラメータで線形変換する（ステップＳ１１０５）。この線形変換により得られるのが第２の変換結果である。このあと、図１０のステップＳ１００３に移行する。

図１２は、図１１に示した決定処理（ステップＳ１１０３）の詳細な処理手順例を示すフローチャートである。ここでは、第２の線形変換パラメータ候補をＰ２ｉと表記し、パラメータ算出用の画像特徴量をＣ（Ｐ２ｉ）と表記する。ｉはインデックス（ｉは１以上の整数とする）である。

まず、第２の線形変換パラメータ候補のインデックスｉをｉ＝１とし（ステップＳ１２０１）、第２の線形変換パラメータ候補Ｐ２ｉに対応するパラメータ算出用の画像特徴量Ｃ（Ｐ２ｉ）を第２の線形変換パラメータ辞書７００から抽出する（ステップＳ１２０２）。つぎに、画像検索装置３００は、第１の線形変換後における検索目標画像に関する画像特徴量と画像特徴量Ｃ（Ｐ２ｉ）との距離ｄを算出する（ステップＳ１２０３）。画像検索装置３００は、算出した距離ｄがしきい値Ｄ以上であるか否か判断する（ステップＳ１２０４）。しきい値Ｄ以上でない場合（ステップＳ１２０４：Ｎｏ）、画像特徴量Ｃ（Ｐ２ｉ）に対応する第２の線形変換パラメータ候補Ｐ２ｉを第２の線形変換パラメータ辞書７００から抽出し（ステップＳ１２０５）、ステップＳ１２０６に移行する。

一方、しきい値Ｄ以上である場合（ステップＳ１２０４：Ｙｅｓ）、画像特徴量Ｃ（Ｐ２ｉ）に対応する第２の線形変換パラメータ候補Ｐ２ｉを第２の線形変換パラメータ辞書７００から抽出せずに、ステップＳ１２０６に移行する。ステップＳ１２０６では、画像検索装置３００は、インデックスｉをインクリメントし（ステップＳ１２０６）、インクリメント後のインデックスｉがｎより大きいか否かを判断する（ステップＳ１２０７）。ｎは第２の線形変換パラメータ候補の総数である。インデックスｉがｎ以下である場合（ステップＳ１２０７：Ｎｏ）、ステップＳ１２０２に戻る。

一方、インデックスｉがｎより大きい場合（ステップＳ１２０７：Ｙｅｓ）、画像検索装置３００は、ステップＳ１２０５において抽出された第２の線形変換パラメータ候補があるか否かを判断する（ステップＳ１２０８）。抽出された第２の線形変換パラメータ候補がない場合（ステップＳ１２０８：Ｎｏ）、画像検索装置３００は、出力部８０７を介して警告を出力する（ステップＳ１２０９）。一方、第２の線形変換パラメータ候補がある場合（ステップＳ１２０８：Ｙｅｓ）、画像検索装置３００は、抽出された中で距離ｄが最小となる第２の線形変換パラメータ候補Ｐ２ｉを、第２の線形変換パラメータに決定する（ステップＳ１２１０）。このあと、ステップＳ１１０４に移行する。

このように、実施例１によれば、ばらつきが等方的な画像特徴量を持つ局所的な画像群ごとに第２の線形変換パラメータ候補をデータベース化しておくことにより、非線形変換を適用することなく線形変換により画像特徴量を変換することができる。したがって、画像特徴量の変換処理の高速化を図ることができるとともに、線形変換でありながら非線形変換と同等の変換精度を維持することができる。

また、クラスタデータベース５００を用いることにより、検索対象を代表特徴量群に絞り込むことができるため、検索処理の高速化を実現することができる。また、事前に検索目標画像を第１の線形変換により線形変換することにより、検索目標画像に関する画像特徴量を圧縮することができ、画像特徴量検索部８０３による検索の高速化を実現することができる。

（実施例２）
つぎに、実施例２について説明する。実施例１では、変換部８０５による第２の線形変換において、検索目標画像に関する画像特徴量については、第１の線形変換パラメータにより線形変換されていない画像特徴量を用いた。これに対し、実施例２では、変換部８０５による第２の線形変換において、検索目標画像に関する画像特徴量については、第１の線形変換パラメータにより線形変換された画像特徴量を用いる。第１の線形変換後の画像特徴量は、元の画像特徴量に対して低次元化することができるため、実施例１と比較して第２の線形変換の高速化を図ることができる。

図１３は、実施例２にかかる画像特徴量データベース１３００の記憶内容例を示す説明図である。実施例１の画像特徴量データベース４００との相違は、データＩＤに関連付けられている画像特徴量が、第１の線形変換後の画像特徴量である点である。実施例２では、変換部８０５に与えられる検索目標画像に関する画像特徴量が、第１の線形変換後の画像特徴量であるため、検索対象となる画像特徴量データベース１３００内の画像特徴量も、対応して第１の線形変換パラメータにより変換される。

＜画像検索装置３００の機能的構成例＞
図１４は、実施例２にかかる画像検索装置３００の機能的構成例を示すブロック図である。実施例１と同一構成には同一符号を付し、その説明を省略する。実施例２にかかる画像検索装置３００は、変換部８０５に与えられる検索目標画像に関する画像特徴量が、第１の線形変換後の画像特徴量であるため、取得部８０１によって取得された検索目標画像に関する画像特徴量が変換部８０５に与えられるのではなく、生成部８０２により第１の線形変換がされた検索目標画像に関する画像特徴量が変換部８０５に与えられる。また、変換部８０５は、図４の画像特徴量データベース４００ではなく、図１３の画像特徴量データベース１３００を参照する。

＜画像検索処理手順＞
つぎに、実施例２にかかる画像検索装置３００による画像検索処理手順例について説明する。画像検索処理手順は、図１０に示した処理手順と同一処理手順であるため、説明を省略する。

図１５は、実施例２にかかる線形変換処理（ステップＳ１００２）の詳細な処理手順例を示すフローチャートである。実施例１と同一処理には同一ステップ番号を付し、その説明を省略する。

図１５において、画像検索装置３００は、決定処理（ステップＳ１１０３）のあと、決定処理（ステップＳ１１０３）で得られた第２の線形変換パラメータにより、第１の線形変換がされた検索目標画像に関する画像特徴量を変換する（ステップＳ１５０４）。この変換された画像特徴量が第１の変換結果となる。

このように、実施例２によれば、変換部８０５による第２の線形変換において、検索目標画像に関する画像特徴量については、第１の線形変換パラメータにより線形変換された画像特徴量を用いる。したがって、第１の線形変換後の画像特徴量は、元の画像特徴量に対して低次元化することができるため、実施例１と比較して第２の線形変換の高速化を図ることができる。

（実施例３）
つぎに、実施例３について説明する。実施例３は、実施例１および実施例２において、クラスタデータベース５００および画像特徴量データベース４００、１３００を更新する例である。実施例１及び実施例２との共通部分については、同一符号を付し、その説明を省略する。

＜画像検索装置３００の機能的構成例＞
図１６は、実施例３にかかる画像検索装置３００の機能的構成例を示すブロック図である。画像検索装置３００は、第１の線形変換パラメータ辞書６００と、クラスタデータベース５００と、画像特徴量データベース４００、１３００と、取得部８０１と、生成部８０２と、更新部１６０１と、格納部１６０２と、を有する。更新部１６０１および格納部１６０２は、具体的には、たとえば、図３に示したプロセッサ３０１にプログラムを実行させることによりその機能を実現する。

取得部８０１は、登録対象となる画像（登録対象画像）に関する画像特徴量を取得する。取得方法は、上述した検索目標画像と同様である。生成部８０２は、登録対象画像に関する画像特徴量を、第１の線形変換パラメータにより線形変換し、第１の線形変換後の画像特徴量を生成する。生成方法は、上述した検索目標画像と同様である。

更新部１６０１は、登録対象となる画像を含んでクラスタに属する画像の更新、クラスタデータベース５００の代表特徴量の更新を行う。

実施例１においては、格納部１６０２は、取得部８０１から取得した登録対象となる画像に関する第１の線形変換前の画像特徴量を、画像特徴量データベース１３００に登録する。これに対し実施例２においては、格納部１６０２は、生成部８０２から取得した登録対象となる画像に関する第１の線形変換後の画像特徴量を、画像特徴量データベース１３００に登録する。

＜画像特徴量の更新処理手順例＞
図１７は、実施例３にかかる画像特徴量の更新処理手順例を示すフローチャートである。まず、画像検索装置３００は、取得部８０１により登録対象画像に関する画像特徴量を取得する（ステップＳ１７０１）。つぎに、画像検索装置３００は、取得された画像特徴量について第１の線形変換処理を実行する（ステップＳ１７０２）。つぎに、画像検索装置３００は、更新部１６０１により上述した更新処理を実行し（ステップＳ１７０３）、格納部１６０２により上述した格納処理を実行する（ステップＳ１７０４）。

このように、更新部１６０１および格納部１６０２により、登録対象画像が与えられた場合、クラスタデータベース５００および画像特徴量データベース４００、１３００を最新の状態することができ、線形変換の信頼度の向上を図ることができる。

（実施例４）
つぎに、実施例４について説明する。実施例４では、実施例１および実施例２にかかる画像検索装置３００をネットワークシステムに適用した例である。

図１８は、実施例４にかかるネットワークシステムの構成例を示す説明図である。ネットワークシステム１８００は、画像検索装置３００と検索装置１８０２と記憶装置１８０３と端末１８０４とが、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク１８０５により通信可能に接続される。ネットワークシステム１８００は、たとえば、画像検索装置３００と検索装置１８０２と記憶装置１８０３によりクラウド１９１０を実現する。

実施例１および実施例２にかかる画像検索装置３００は、第２の線形変換された画像特徴量を用いて画像検索を実行したが、実施例４では、画像検索装置３００は、第２の線形変換された画像特徴量を用いた画像検索を実行しない。第２の線形変換された画像特徴量を用いた画像検索については、画像検索部８０６を有する検索装置１８０２が実行する。また、クラスタデータベース５００、および画像特徴量データベース４００、１３００については、記憶装置１８０３が記憶する。また、記憶装置１８０３は、データＩＤにより指定される画像も記憶する。端末１８０４は、クラウド１９１０に対し検索目標画像を送信すると、クラウド１９１０から検索目標画像に類似する画像を受信することになる。端末１８０４は、クラウド１９１０に対し検索目標画像に関する画像特徴量を送信してもよい。

図１９は、実施例４にかかるネットワークシステム１８００の機能的構成例を示すブロック図である。画像検索装置３００は、実施例１および実施例２の機能的構成において、画像検索部８０６および出力部８０７に替えて、通信部１９００を有する。通信部１９００は、変換部８０５によって第２の線形変換された画像特徴量を検索装置１８０２に送信する。また、画像検索装置３００は、記憶装置１８０３内のクラスタデータベース５００および画像特徴量データベース４００、１３００にアクセスし、実施例１および実施例２と同様の処理を実行する。なお、画像検索部８０６による検索結果については、検索目標画像を送信した端末１８０４に対し、検索装置１８０２が送信してもよく、検索装置１８０２から検索結果を受信した画像検索装置３００が送信してもよい。

＜画像検索処理手順＞
図２０は、クラウド１９１０による画像検索処理手順例を示すフローチャートである。図２０において、左側のフローが画像検索装置３００のフローであり、右側のフローが検索装置１８０２のフローである。まず、画像検索装置３００のフローについて説明する。

画像検索装置３００は、まず、取得部８０１により検索目標画像に関する画像特徴量をある端末１８０４から取得し（ステップＳ２００１）、線形変換処理を実行する（ステップＳ２００２）。線形変換処理（ステップＳ２００２）は、線形変換処理（ステップＳ１００２）と同一処理である。

線形変換処理（ステップＳ２００２）のあと、画像検索装置３００は、線形変換処理（ステップＳ２００２）による第１および第２の変換結果を検索装置１８０２に送信する（ステップＳ２００３）。そして、画像検索装置３００は、検索装置１８０２から検索結果を受信すると、検索目標画像を送信した端末１８０４に対し、検索結果を送信する（ステップＳ２００５）。

つぎに、検索装置１８０２のフローについて説明する。検索装置１８０２は、画像検索装置３００から第１および第２の変換結果（ステップＳ２００３）を受信すると（ステップＳ２１１１）、画像検索部８０６により画像検索を実行する（ステップＳ２１１２）。そして、検索装置１８０２は、検索結果を画像検索装置３００に送信する（ステップＳ２１１３）。これによりクラウド１９１０による一連の画像検索処理が終了する。

このように、上述した画像検索装置３００およびネットワークシステム１８００によれば、ばらつきが同一方向に揃った画像特徴量に基づく線形変換パラメータをデータベース化し、その線形変換パラメータの集合の中から検索目標画像に最適な線形変換パラメータを選択する。したがって、線形変換を利用することにより、画像特徴量の変換処理の高速化を図ることができるとともに、線形変換でありながら非線形変換と同等の変換精度を維持することができる。

なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。

また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。

各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納することができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。

Claims (9)

1. 複数の画像特徴量を蓄積する記憶部と、
   検索目標画像に関する第１の画像特徴量を取得する取得部と、
   前記取得部によって取得された前記第１の画像特徴量に基づいて、前記記憶部に蓄積された複数の画像特徴量の中から、前記第１の画像特徴量と類似する画像特徴量を検索する検索部と、
   同一の被写体について複数の条件により得られた複数の被写体画像に関する複数の画像特徴量に基づく線形変換パラメータの集合の中から、前記第１の画像特徴量と前記被写体に関する画像特徴量とに基づいて、線形変換に用いる線形変換パラメータを決定する決定部と、
   前記決定部によって決定された線形変換パラメータにより、前記第１の画像特徴量を変換するとともに、前記線形変換パラメータにより、前記検索部による検索結果である画像特徴量を変換する変換部と、
   前記変換部によって変換された変換結果を出力する出力部と、
   を有することを特徴とする画像検索装置。
2. 前記複数の画像特徴量は、類似しあう画像特徴量の集合を複数有する画像特徴量集合群の各々の集合の代表的な画像特徴量であることを特徴とする請求項１に記載の画像検索装置。
3. 前記変換部は、前記線形変換パラメータにより、前記第１の画像特徴量を変換するとともに、前記線形変換パラメータにより、前記検索部による検索結果である代表的な画像特徴量が所属する集合内の各画像特徴量を変換することを特徴とする請求項２に記載の画像検索装置。
4. 前記線形変換パラメータとは異なる他の線形変換パラメータにより、前記取得部によって取得された前記第１の画像特徴量を変換して、前記検索目標画像に関する第２の画像特徴量を生成する生成部、をさらに有し、
   前記検索部は、前記複数の画像特徴量の中から、前記生成部によって生成された前記第２の画像特徴量に類似する画像特徴量を検索し、
   前記決定部は、前記線形変換パラメータの集合の中から、前記第２の画像特徴量と前記被写体に関する画像特徴量とに基づいて、線形変換に用いる線形変換パラメータを決定することを特徴とする請求項１に記載の画像検索装置。
5. 前記決定部は、前記第１の画像特徴量と前記被写体に関する画像特徴量とに基づいて、前記変換部に適用すべき線形変換パラメータが存在するか否かを判断し、存在する場合には当該線形変換パラメータを前記変換部に出力し、存在しない場合には存在しないことを示す情報を出力することを特徴とすることを特徴とする請求項１に記載の画像検索装置。
6. 前記線形変換パラメータとは異なる他の線形変換パラメータにより、前記取得部によって取得された前記第１の画像特徴量を変換して、前記検索目標画像に関する第２の画像特徴量を生成する生成部、をさらに有し、
   前記複数の画像特徴量の各々の画像特徴量は、前記他の線形変換パラメータにより変換された画像特徴量であり、
   前記検索部は、前記複数の画像特徴量の中から、前記生成部によって生成された前記第２の画像特徴量に類似する画像特徴量を検索し、
   前記決定部は、前記線形変換パラメータの集合の中から、前記第２の画像特徴量と前記被写体に関する画像特徴量とに基づいて、前記線形変換パラメータを決定し、
   前記変換部は、前記線形変換パラメータにより、前記第２の画像特徴量を変換するとともに、前記線形変換パラメータにより、前記検索部による検索結果である画像特徴量を変換することを特徴とする請求項１に記載の画像検索装置。
7. 前記変換部によって前記第１の画像特徴量から変換された第１の変換結果と、前記変換部によって前記検索部による検索結果である画像特徴量から変換された第２の変換結果と、に基づいて、前記検索結果である各画像特徴量の抽出元の画像群の中から前記検索目標画像に類似する画像を検索する画像検索部、をさらに有し、
   前記出力部は、前記画像検索部によって検索された画像を出力することを特徴とする請求項１に記載の画像検索装置。
8. 検索目標画像に関する第１の画像特徴量を取得する取得手順と、
   複数の画像特徴量の中から、前記取得手順によって取得された前記第１の画像特徴量に類似する画像特徴量を検索する検索手順と、
   同一の被写体について複数の条件により得らえた複数の被写体画像に関する複数の画像特徴量に基づく線形変換パラメータの集合の中から、前記第１の画像特徴量と前記被写体に関する画像特徴量とに基づいて、線形変換に用いる線形変換パラメータを決定する決定手順と、
   前記決定手順によって決定された線形変換パラメータにより、前記第１の画像特徴量を変換するとともに、前記線形変換パラメータにより、前記検索手順による検索結果である画像特徴量を変換する変換手順と、
   前記変換手順によって変換された変換結果を出力する出力手順と、
   を有することを特徴とする画像検索方法。
9. プロセッサが実行するプログラムを格納する前記プロセッサにより読み取り可能な非一時的な記録媒体であって、
   前記プロセッサに、
   検索目標画像に関する第１の画像特徴量を取得する取得手順と、
   複数の画像特徴量の中から、前記取得手順によって取得された前記第１の画像特徴量に類似する画像特徴量を検索する検索手順と、
   同一の被写体について複数の条件により得らえた複数の被写体画像に関する複数の画像特徴量に基づく線形変換パラメータの集合の中から、前記第１の画像特徴量と前記被写体に関する画像特徴量とに基づいて、線形変換に用いる線形変換パラメータを決定する決定手順と、
   前記決定手順によって決定された線形変換パラメータにより、前記第１の画像特徴量を変換するとともに、前記線形変換パラメータにより、前記検索手順による検索結果である画像特徴量を変換する変換手順と、
   前記変換手順によって変換された変換結果を出力する出力手順と、
   を実行させることを特徴とする画像検索プログラムを記録した非一時的な記録媒体。

Images