JP4545641B2 - 類似画像検索方法,類似画像検索システム,類似画像検索プログラム及び記録媒体 - Google Patents
類似画像検索方法,類似画像検索システム,類似画像検索プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP4545641B2 JP4545641B2 JP2005162014A JP2005162014A JP4545641B2 JP 4545641 B2 JP4545641 B2 JP 4545641B2 JP 2005162014 A JP2005162014 A JP 2005162014A JP 2005162014 A JP2005162014 A JP 2005162014A JP 4545641 B2 JP4545641 B2 JP 4545641B2
- Authority
- JP
- Japan
- Prior art keywords
- importance
- unit
- image
- search
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
中でも、類似画像検索技術は、言葉では表現しにくい色・形状・構図・模様などの情報の有する対象から、全体として類似した画像を高速に引き出してくる技術であり、ショッピングサイトや画像ライブラリなどにおいて広く利用されている。
これらの技術は、色ヒストグラムやウェーブレット変換などを用いて画像の特徴抽出を行うことにより、曖昧さを含んだ利用者のニーズに対応できるとしている。
すなわち、特許文献1及び非特許文献1に開示された方法は、検索対象となる入力された画像(目的画像)を、予め設定した数の複数の部分画像として分割し、この分割された部分画像を検索鍵として用い、この検索鍵と、データベースに蓄積された画像(蓄積画像)のインデックスを付与された部分画像との比較、すなわち、目的画像、蓄積画像共に部分画像同士の類似度に基づいて、検索候補画像を絞り込んでいる。
ここで、非特許文献1には、類似度評価(距離計算)を行なう際に、ベクトル量子化符号を用い高速化を図る方法が開示されている。
すなわち、従来の方法Aにおいては、分割画像において最も特徴を有する重要度の高い部分画像も、その他の部分画像と同様に取り扱われるため、目的画像に類似した蓄積画像の検索精度が低くなる。
また、従来の方法Aにおいては、全ての部分画像で同様の処理を行うため、蓄積画像から目的画像に類似した画像を検索する際に、無駄な検索処理を行うことになり、例えば、焦点があっていない背景画像部分を分割し検索してしまうなど、類似させる必要のない部分の検索を行うため、検索速度を向上させることができないという欠点がある。
特に、従来の方法Bにおいては、大量の蓄積画像から、所望の目的画像に類似した画像を、正確かつ高速に検索することが困難である。
また、方法Aに方法Bを単純に適用するだけでは、検索照合処理が複雑になり、検索速度が低下するという問題がある。
また、本発明によれば、索引付与過程において、部分領域の重要度に基づいて、部分領域を分類し、索引の階層化を行うことにより、索引検索過程において重要性の高い部分領域を優先的に検出することができ、検索効率が向上し、かつ検索の精度を向上させることができる。
<第1の実施形態>
図1は第1の実施形態の構成例を示すブロック図である。この図1に示す第1の実施形態による類似画像検索システムは、複数の蓄積画像をデータベースに登録しており、この蓄積画像に比して小さな目的画像を入力し、上記データベースに蓄積されている蓄積画像の集合の中から、上記目的画像と類似する部分画像を含む蓄積画像を出力するものである。
また、上記蓄積画像の集合が動画像(映像)のフレームの集合であり、目的画像を入力することにより、該蓄積映像から該目的画像に類似する映像フレーム、あるいはその部分画像を検出することもできる。
蓄積特徴抽出部5は、データベース4に蓄積されている蓄積画像を読み込み、入力した蓄積画像から蓄積特徴の抽出を行う。ここで、蓄積特徴抽出部5における特徴抽出の手法は特に限定されるものではないが、本明においては、重要度計算用蓄積特徴抽出部51と検索用蓄積特徴抽出部52とにより、以下のように特徴抽出を行う。
重要度計算用蓄積特徴抽出部51は、後に詳述する蓄積重要度計算部7において利用する重要度計算用蓄積特徴を抽出する。
また、上記特徴処理において、σ=0,1,…,n1であり、φ=0,1,…,(2π×k/n2),…,(2π×(n2−1)/n2)である。ここで、σは画像のスケール値であり、2−σ倍の縮小画像に対しての成分であることを示している。
I(σ)=(r+g+b)/3
また、色相成分R(σ)、G(σ)、B(σ)、Y(σ)は、上記輝度成分I(σ)で正規化したRGB値r,g,bより、以下のように計算することができる。
R(σ)=(r−(g+b)/2)/I(σ)
G(σ)=(g−(r+b)/2)/I(σ)
B(σ)=(b−(r+g)/2)/I(σ)
Y(σ)=((r+g)/2−|r+g|/2−b)/I(σ)
ただし、色相成分R(σ)、G(σ)、B(σ)、Y(σ)各々の計算において、0未満の数値が算出された場合、該当する色相成分の数値を0に置換する。
また、検索用蓄積特徴抽出部52の後段に、検索用蓄積特徴量子化部53を接続することにより、上述の方法により得られた検索用蓄積特徴の各要素(係数ベクトル)に対して量子化により符号とし、検索用蓄積特徴を符号の集合として出力してもよい。
上記注目窓は、横ωxピクセル×縦ωyピクセルとし、例えば、図3に示されるように、各蓄積画像において、縦及び横方向に所定の間隔により配置する。ここで、この所定の間隔は、各注目窓の同一の辺同士の間隔であり、例えば左辺同士、上辺同士の間隔として、横方向にmxピクセル、縦方向にmyピクセルとする。この注目窓の配置間隔を本実施形態においてはマージンと定義する。
また、蓄積部分領域特徴抽出部6は、上記注目窓内に重複も隙間もなく、小領域を配置して、この小領域における特徴の抽出を行い、抽出された小領域毎の特徴を、抽出順に並べた特徴の列集合として蓄積部分領域特徴を出力する。
蓄積画素重要度計算部71は、蓄積特徴抽出部5において抽出された蓄積部分領域特徴を用いて、蓄積画像中の各画素位置における蓄積画素重要度を計算する。本実施形態において、本蓄積画素重要度計算部71は、具体的な画素重要度計算方法として、例えば、特許文献2に記載の方法を用いる。
そして、蓄積画素重要度計算部71は、上記各成分におけるスケール間差分を計算する。 輝度成分におけるスケール間差分及び方向成分におけるスケール間差分は、以下の式により求める(但し、c,s∈σ、c<sである)。
例えば、
1. 各要素からその最大値M及び最大値の平均mを計算する。
2. 各要素に対して(M−m)2を乗算する。
そして、蓄積画素重要度計算部71は、成分毎に、各スケール間差分を統合し、最終的な蓄積画素重要度Jを、以下に示す式により計算して出力する。
また、後に説明する第3の実施形態に示すように、重要度修正部14(後述)にで修正された重み係数を用いる方法もある。
上述した説明が、特許文献2に記載されている方法による蓄積画素重要度Jの計算方法である。
ここで、重要度索引付与部81は、蓄積部分領域特徴に対して、これに対応する部分領域重要度を基準として重要度索引の付与を行う。この重要度索引付与部81は、例えば、以下に説明する蓄積特徴分類処理、分類重要度計算処理、及び分類選択処理の各処理を行う。
この具体的な分類方法としては、例えば、ランダムにaj個の蓄積部分領域特徴を選択し、それぞれをクラスタC1,C2,…,Cajに対応させ、残りの蓄積部分領域を、選択した蓄積部分領域特徴の中で、対応する部分領域重要度が最も近い値のものに割り当てる。
別の分類方法として、部分領域重要度がガウス分布に基づいて生起されていると仮定し、部分領域重要度の平均と分散から分布を推定し、生起確率が等しくなるように、部分領域重要度をaj個の区間に分割し、それぞれクラスタC1,C2,…,Cajに割り当てる方法もある。以下、索引付与部9にて作成された部分領域重要度を基準とするクラスタC1,C2,…,Cajを重要度クラスタとする。
類似度索引付与部82は、例えば、選択された各重要度クラスタについて、個別に類似度索引の付与を行う。
類似度索引の付与方法は、すでに述べた蓄積特徴抽出部5において用いられる手法により多様であるが、一つの実施形態として、各蓄積部分領域特徴をベクトル量子化し、得られた符号語を索引とする方法がある(特許第3574075号)。
ここで、類似画像検索システムが、目的画像、及び蓄積画像を同時に読み込み、リアルタイムで検索を行う場合、索引付与部8は上記索引を索引検索部9へ直接に出力し、それ以外の場合、索引付与部8は上記索引格納部へ、蓄積画像毎に対応させて、索引の登録処理を行う。
目的部分領域特徴抽出部2における注目窓の設定方法は、蓄積部分領域特徴抽出部6と異なり、注目窓を目的画像内に重複することもなく、かつ隙間もない状態に設定し、それらを1ピクセルずらしながら、各位置において目的部分領域特徴の抽出を行う。このとき注目窓は、蓄積部分領域特徴抽出部6で用いたマージンの分(すなわち、横mxピクセル、縦myピクセル)だけずらせば、検索漏れを生じさせることがない。
また、目的部分領域特徴抽出部2は、目的部分領域特徴の集合を索引検索部9へ出力する。
索引検索部9は、上記索引付与部8から出力された索引(重要度索引及び類似度索引)を用い、目的部分領域特徴抽出部2から出力された各目的部分領域特徴に類似する蓄積部分領域特徴である検索候補特徴の抽出を行う。
本実施形態において、索引検索部9は、例えば、重要度索引検索部91と類似度索引検索部92とで構成されている。
上記重要度索引検索部91は、重要度索引付与部81から出力された重要度索引を用い、後に記述する類似度索引検索部92にて索引検索を行うべき類似度索引の選択を行う。
次に、重要度索引検索部91は、取り出した重要度クラスタに対応する類似度索引を実際に検索するかどうかを、以下に示す処理により、部分領域重要度を用いて判断する(索引検索の処理)。すなわち、照合窓から切り出した部分領域(D(WD),Q(WQ))を照合領域とし、各照合領域に対応する照合特徴(fD (WD),fQ (WQ))を抽出する。これにより、例えば、検索候補特徴fD (WD)と、目的部分領域特徴fQ (WQ)との類似値である部分類似値S(D(WD),Q(WQ))として、部分領域内の小領域特徴同士の類似値の重み付き線形和を用いて、以下の(1)式に示す様に定義すると、
したがって、重要度索引検索部91は、上記(2)式を満たすことを検出した際、現在対象となっている重要度クラスタCjを選択せず、次の重要度クラスタCj+1へ処理を進める。
そして、重要度索引検索部91は、索引処理の結果において、(2)式を満たさない場合、重要度クラスタCjを選択して、類似度索引検索部92へ出力する。
このとき、類似度索引検索部92は、例えば、重要度クラスタごとに類似度索引検索と後述する特徴照合とを実行し、入力される重要度クラスタCjについて、1つずつ特徴照合の処理を行い、特徴照合の処理を一旦終了する。
また、別の実施形態として、類似度索引検索部92は、重要度索引検索部91から入力される全ての重要度クラスタに対し、一括して索引検索を実行、すなわち一旦、全ての重要度クラスを入力して蓄積し、蓄積した全重要クラスタを検索候補特徴として特徴照合を実行することも可能である。
このとき、類似度索引検索部92は、類似度索引から以下の(8)式に示す条件を満たす蓄積部分領域特徴を検索候補特徴fD (W)として抽出し、一方、(8)式に示す条件を満たさない蓄積部分領域特徴を検索候補特徴fD (W)として抽出しない。
ここで、類似画像検索システムの動作を示す図4のフローチャートにおいて、索引検索の処理が終了し、一次照合の処理に遷移する。
そして、一次照合部11は、図4のフローチャートにおける二次照合処理において、部分類似値が前述の選択閾値θ2を上回るとき、該検索候補特徴と該目的部分領域特徴との間に類似性があると検出し、それらを順次出力して検索候補特徴の集合φとする。
なお、本発明の実施形態は、最初の段階において、まずある検索候補特徴(候補となった蓄積部分領域特徴)を選択し、これと目的部分領域特徴を逐次照合し、互いに類似する部分領域特徴を検出するように構成した説明を行っているが、照合の対象を逆に設定し、先に目的部分領域特徴を選択してこれと検索候補特徴の集合を照合させる構成とすることも可能である。
すなわち、二次照合部12は、目的部分領域特徴に対して、これに類似すると判断された検索候補特徴の集合φについて、これらが帰属する蓄積特徴の集合を呼び出し、この集合に含まれる各蓄積画像毎に、目的特徴と同じ大きさの照合窓を設定する。そして、二次照合部12は、上記各蓄積画像毎に目的特徴と、照合窓内の蓄積特徴との類似度である全体類似度を求める。
そして、二次照合部12は、照合窓内の配置箇所における蓄積部分領域の相対的な位置が、目的画像のフレームにおける目的部分領域の相対的な位置と同一になるように、つまり、照合窓における蓄積部分領域と、フレーム上の目的部分領域が重なる位置に、目的画像と同一の大きさの照合窓を配置する。
そして、二次照合部12は、最終的に全体類似度が検索閾値θ以上である場合に、目的画像に類似する部分領域が、蓄積画像中のこの照合窓の位置に存在すると判定し、照合窓の位置及び類似度を、検出結果出力部13へ出力する。
(8)式等における選択閾値θ2は、上記検索閾値θから自動的に決定される値であり、以下の(9)式を用いて設定すると検出漏れを生じることがない。
また、ある目的特徴に類似する箇所を、一枚の蓄積画像から複数検出した場合、ユーザの意思により検索条件(類似パターンの反復数)が任意に設定できる。
すなわち、目的画像中のあるオブジェクトに注目し、これに類似する画像を検索したい場合において、蓄積画像中に類似オブジェクトが一つ存在するものを類似性有りと判断するのか、一方、ある数まで繰返しを許容するのかはユーザによる類似の観点から条件付けされるものである。
ここで、検索結果出力部13は、上記表示部等への表示出力件数を、ユーザにより特に設定されない限り、初期値として上位κ箇所を出力するように設定する。
そして、検索結果出力部13は、すべての照合が終了した場合に、検出された類似する蓄積画像及びその蓄積画像中における類似部分画像の検出位置、ならびにその類似度(全体類似値)を、表示部へ表示する。
上述した処理により、本発明の類似画像検索システムは、目的画像に対して、蓄積画像からの類似画像の検索処理を終了する。
次に、図1を用いて本発明の第2の実施形態による類似画像検索システムの説明を行う。この図1は第2の実施形態による類似画像検索システムの構成例を示すブロック図である。図1において、類似画像検索システムは、目的特徴抽出部1,目的部分領域特徴抽出部2,蓄積画像データベース4,蓄積特徴抽出部5,蓄積部分領域特徴抽出部6,蓄積重要度計算部7,索引付与部8,索引検索部9,特徴複合部10,検出結果出力部13及び検索結果評価部15から構成されている。ここで、特徴抽出部10は、一次照合部11及び二次照合部12から構成されている。
上述した第1の実施形態の図1の構成と同様な構成に対して、同一の符号を付し、再度の説明を省略する。
本第2の実施形態の一部は、すでに述べた第1の実施形態と共通な処理部分があり、以下、第1の実施形態と異なる処理についてのみ記述する。
この蓄積特徴抽出部5における特徴抽出の手法は、第1の実施形態と同様であるが、他の実施形態として、例えば、検索用蓄積特徴抽出部52の蓄積特徴抽出の処理を、蓄積特徴点抽出処理と蓄積局所特徴抽出処理との機能から構成することも可能である。
ここで、上記蓄積特徴点抽出処理においては、画像中からある種の変動に対して頑健な点である特徴点を抽出する。
まず、元の画像からスケールスペースを作成し、各スケールから特徴点の候補を抽出する。この特徴点候補の抽出には、以下の(13)式で定義される正規化Harris operator h(x、y、σ)を用いる。
次に、抽出された候補点について、抽出されたスケール及びその前後で以下の(14)式で定義される正規化Laplacian operator LOG(x,y,σ)を計算する。
また、スケール変化や見えの違いなどの幾何学変動に対して頑健な手法において、他の方法として、例えば、「“Distinctive image features from scale-invariant keypoints", D.G.Lowe, International Journal of Computer Vision, Vol.60, No.2, pp.91-110, 2004」に記載の方法も用いることができる。
例えば、特徴点の勾配(gradient)、特徴点周辺の局所領域で計算したgradientのヒストグラム、ガウシアンフィルタ係数の高次微分を係数とするフィルタの出力、あるいは以下の(15)式の特徴関数などを用いることができる。
また、索引検索部9は、上記索引付与部8から出力される索引を用い、目的特徴抽出部1から抽出される各目的特徴に類似する蓄積特徴である検索候補特徴の抽出を行う。
ここで、索引検索部9は、例えば、第1の実施形態と同様に、重要度索引検索部91と類似度索引検索部92とを有している。
例えば、重要度索引検索部91は、検索候補特徴fD(xD,yD)と目的特徴fQ(xQ,yQ)との類似値である部分類似値SJ(fD(xD,yD),fQ(xQ,yQ))を、以下の(16)式として算出する。
また、類似度索引検索部92は、第1の実施形態とほぼ同様であるが、類似度索引からの索引検索において、以下の(18)式の条件を満たす蓄積特徴のみを抽出し、これを検索候補特徴とする。
索引検索の方法は、第1の実施形態と同様に、上記類似度索引付与部92において付与された索引の種類によって異なる。
ここで、一次照合部11は、検索候補特徴と目的特徴との類似値である部分類似値を、上記(16)式によって計算する。
そして、一次照合部11は、該部分類似値が前述の選択閾値θ2以上であることを検出すると、検索候補特徴と該目的特徴との類似性があると判定する。
ただし、二次照合部12は、部分類似値が選択閾値以上の蓄積特徴が、処理対象の蓄積画像中に1つも存在しない(全くない)場合、その目的特徴に対しては部分類似値の加算処理を行わない。
ここで、蓄積画像中の部分領域は、例えば、各目的特徴との部分類似値が最も大きな蓄積特徴について、この部分類似値が最も大きな蓄積特徴に対応する蓄積画像中において、画素全てを含む最小の方形とする。
また、第1の実施形態とは異なり、本第2の実施形態において、選択閾値θ2と検索閾値θは独立に決定される値である。
次に、図6を用いて本発明の第3の実施形態による類似画像検索システムの説明を行う。この図6は第3の実施形態による類似画像検索システムの構成例を示すブロック図である。図6において、類似画像検索システムは、目的特徴抽出部1,目的部分領域特徴抽出部2,目的重要度計算部3,蓄積画像データベース4,蓄積特徴抽出部5,蓄積部分領域特徴抽出部6,蓄積重要度計算部7,索引付与部8,索引検索部9,特徴複合部10,検出結果出力部13及び検索結果評価部15から構成されている。ここで、特徴抽出部10は、一次照合部11及び二次照合部12から構成されている。
上述した第1及び第2の実施形態の図1の構成と同様な構成に対して、同一の符号を付し、再度の説明を省略する。
本第3の実施形態は、上述した第2の実施形態に対し、目的重要度計算部3が新たに設けられたものであり、一部がすでに述べた第1及び第2の実施形態と共通な処理部分があり、以下、第2の実施形態と異なる処理についてのみ記述する。
ここで、目的重要度計算部3が設けられているため、目的画像の重要度を類似画像検索に用い、検索に反映させることにより、高い精度の検索を行うことが可能となる。
本第3の実施形態における目的特徴抽出部1は、第2の実施形態と異なり、重要度計算用目的特徴抽出部と検索用目的特徴抽出部とで構成される。重要度計算用目的特徴抽出部は第1の実施形態の機能と、検索用目的特徴抽出部は第2の実施形態の機能と同様、すなわち、第3の実施形態の目的特徴抽出部1は、第1及び第2の目的特徴抽出部1の機能を併せ持つ構成となっている。
ここで、目的重要度計算部3は、第1の実施形態における蓄積重要度計算部7における蓄積画素重要度計算部71と同様の機能を有する目的画素重要度計算部31を有している。この目的画素重要度計算部31は、重要度の具体的な計算方法として、例えば、第1の実施形態における蓄積画素重要度計算部71の計算と同様の方法を用いる。
例えば、検索者が予め目的画像中において指定した領域の重要度を全て「1」とし、その他の領域の重要度を全て「0」としたり、指定された領域または指定されなかった領域に所定の係数を乗算する処理を行う。
さらに、先に第1の実施形態と同様の方法で重要度を計算し、検索者が指定しなかった領域の重要度を0と評価する方式としても良い。
本第3の実施形態における索引検索部9における索引検索処理以降の動作の流れを、図7のフローチャートにて、第1及び第2の実施形態と異なる点のみを説明する。索引検索部9は、第1及び第2の実施形態と同様に、重要度索引検索部91と類似度索引検索部92とを有している。
ただし、以下の(20)式において、JQは該目的特徴に対応した重要度である。
上記一次照合部11は、第1及び第2の実施形態と同様の機能であるが、類似尺度は、例えば以下の(21)式に示すように定義する。
そして、上記二次照合部12は、この全体類似値を、例えば第2の実施形態と同様に定義し、最終的に、全体類似値が検索閾値θ以上である場合、対象となる蓄積画像が目標画像に類似することを検出する。
次に、図8を用いて本発明の第4の実施形態による類似画像検索システムの説明を行う。この図8は第4の実施形態による類似画像検索システムの構成例を示すブロック図である。図8において、類似画像検索システムは、目的特徴抽出部1,目的部分領域特徴抽出部2,目的重要度計算部3,蓄積画像データベース4,蓄積特徴抽出部5,蓄積部分領域特徴抽出部6,蓄積重要度計算部7,索引付与部8,索引検索部9,特徴複合部10,検出結果出力部13,重要度修正部14及び検索結果評価部15から構成されている。ここで、特徴抽出部10は、一次照合部11及び二次照合部12から構成されている。
上述した第1及び第2の実施形態の図1、または第3の実施形態の図6の構成と同様な構成に対して、同一の符号を付し、再度の説明を省略する。
このため、第4の実施形態による類似画像検索システムは、検索結果を一度検索者に表示し、検索者自らがこれを評価できる構成となっている。
また、重要度修正部14を設けたことにより、検索結果をフィードバックし、目的部分領域重要度(あるいは目的重要度)を、重要度修正部14により修正することができる。
これにより、第3の実施形態による類似画像検索システムは、検索者の意図をより的確に反映した類似画像検索が可能となる。
そして、重要度修正部14は、検索結果評価部15から入力される検索結果評価に基づいて、目標画像の重要度を修正する。
例えば、特許文献2に記載の方法で重要度を抽出した場合、輝度・色相・方向の各成分の重みを、検索結果評価に基づいて修正する実施形態が考えられる。
まず、重要度修正部14は、各検索結果について、特徴照合部10において類似性が検出された蓄積画像中の領域を取り出す。
次に、重要度修正部14は、該領域における各成分の最大値Imax (in),Cmax (in),Omax (in)及び該領域を除く他の領域での各成分の最大値Imax (out),Cmax (out),Omax (out)を計算する。
そして、重要度修正部14は、各成分の重み係数を以下の(22)式で修正し、「wI+wC+wO=1」の関係を満たすように正規化する。
また、上記重要度修正部14と検索結果評価部15とを用い、目的(部分領域)重要度だけでなく、蓄積(部分領域)重要度を修正するようにしてもよい。このとき、重要度修正部14の後段に、蓄積重要度再計算部と索引再構築部とを接続する。
上記蓄積重要度再計算部は、重要度修正部14によって修正された重要度を用い、蓄積画像の重要度の再計算を行う。蓄積重要度再計算部による重要度の計算方法は、例えば、蓄積重要度計算部7と同様の処理を行う。
また、上記索引再構築部は、上記蓄積重要度再計算部により再計算され、更新された重要度を用いて索引の再構築を行う。索引再構築部による索引の再構築は、例えば、索引付与部8と同様の処理を行う。
3…目的重要度計算部 4…データベース
5…蓄積特徴抽出部 6…蓄積部分領域特徴抽出部
7…蓄積重要度計算部 8…索引付与部
9…索引検索部 10…特徴抽出部
11…一次照合部 12…二次照合部
13…検出結果出力部 14…重要度修正部
15…検索結果評価部 51…重要度計算用蓄積特徴抽出部
52…検索用蓄積特徴抽出部 53…蓄積特徴量子化部
61…注目窓設定部 62…部分領域特徴抽出部
71…蓄積画素重要度計算部 72…蓄積部分領域重要度計算部
81…重要度索引付与部 82…類似度索引付与部
Claims (7)
- 目的画像に類似する部分画像が含まれる蓄積画像を検索する類似画像検索システムにおける類似画像検索方法であり、
蓄積部分領域特徴抽出部が、前記蓄積画像中の部分領域ごとに蓄積部分領域特徴を抽出する蓄積部分領域特徴抽出過程と、
蓄積重要度計算部が、前記蓄積部分領域特徴抽出過程において抽出された蓄積部分領域特徴に対応する前記蓄積画像中の部分領域の重要度である蓄積重要度を算出する蓄積重要度計算過程と、
前記蓄積重要度計算過程において算出された蓄積重要度に基づいて、重要度索引付与部が、前記蓄積画像中の各部分領域を複数のクラスタに分類し、前記複数のクラスタの中から、クラスタごとの前記蓄積重要度の最大値である最大蓄積重要度が予め定められた索引付与閾値を上回るクラスタを選択し、この選択したクラスタに重要度索引を付与する重要度索引付与過程と、
類似度索引付与部が、前記重要度索引付与過程において重要度索引が付与されたクラスタに含まれる前記蓄積画像中の部分領域に対応する蓄積部分領域特徴に類似度索引を付与する類似度索引付与過程と、
を有する一方、
目的部分領域特徴抽出部が、前記目的画像中の部分領域ごとに目的部分領域特徴を抽出する目的部分領域特徴抽出過程と、
重要度索引検索部が、前記重要度索引が付与されたクラスタの中から、前記最大蓄積重要度が前記類似度索引付与過程において付与された類似度索引の最低値である選択閾値以上となるクラスタを選択する重要度索引検索過程と、
類似度索引検索部が、前記重要度索引検索過程において選択されたクラスタについて、前記類似度索引付与過程にて付与された類似度索引を用いて索引検索を行い、前記目的画像中の部分領域に対応する目的部分領域特徴に類似する、前記蓄積画像中の部分領域に対応する蓄積部分領域特徴を、検索候補特徴として選択する類似度索引検索過程と、
特徴照合部が、前記目的部分領域特徴抽出過程において抽出された目的部分領域特徴と前記類似度索引検索過程において選択された検索候補特徴との類似値である部分類似値を、前記蓄積重要度計算過程において算出された蓄積重要度から計算する一次照合段階と、前記目的画像と前記蓄積画像中の部分領域との類似値である全体類似値を、前記部分類似値および前記蓄積重要度に基づいて計算する二次照合段階とを含む特徴照合過程と、
検出結果出力部が、前記特徴照合過程において計算された全体類似値に基づいて検出結果を出力する検出結果出力過程と、
を有することを特徴とする類似画像検索方法。 - 目的重要度計算部が、前記目的部分領域特徴抽出過程において抽出された目的部分領域特徴に対応する前記目的画像中の部分領域の重要度である目的重要度を算出する目的重要度計算過程をさらに有し、
前記重要度索引検索過程は、重要度索引検索部が、前記重要度索引が付与されたクラスタの中から、前記最大蓄積重要度に前記目的重要度計算過程において計算された目的重要度を掛け合わせた値が前記選択閾値以上となるクラスタを選択することを特徴とする請求項1に記載の類似画像検索方法。 - 検出結果評価部が、前記検出結果出力過程において出力された検索結果に対する検索評価を受付ける検索結果評価過程と、
重要度修正部が、前記検索結果評価過程において受付けられた検索評価に基づいて前記目的重要度を修正する重要度修正過程と、
をさらに有することを特徴とする請求項2に記載の類似画像検索方法。 - 目的画像に類似する部分画像が含まれる蓄積画像を検索する類似画像検索システムにおいて、
前記蓄積画像中の部分領域ごとに蓄積部分領域特徴を抽出する蓄積部分領域特徴抽出部と、
前記蓄積部分領域特徴抽出部が抽出した蓄積部分領域特徴に対応する前記蓄積画像中の部分領域の重要度である蓄積重要度を算出する蓄積重要度計算部と、
前記蓄積重要度計算部が算出した蓄積重要度に基づいて、前記蓄積画像中の各部分領域を複数のクラスタに分類し、前記複数のクラスタの中から、クラスタごとの前記蓄積重要度の最大値である最大蓄積重要度が予め定められた索引付与閾値を上回るクラスタを選択し、この選択したクラスタに重要度索引を付与する重要度索引付与部と、
前記重要度索引付与部が重要度索引を付与したクラスタに含まれる前記蓄積画像中の部分領域に対応する蓄積部分領域特徴に類似度索引を付与する類似度索引付与部と、
前記目的画像中の部分領域ごとに目的部分領域特徴を抽出する目的部分領域特徴抽出部と、
前記重要度索引が付与されたクラスタの中から、前記最大蓄積重要度が前記類似度索引の最低値である選択閾値以上となるクラスタを選択する重要度索引検索部と、
前記重要度索引検索部が選択したクラスタについて、前記類似度索引付与部が付与した類似度索引を用いて索引検索を行い、前記目的画像中の部分領域に対応する目的部分領域特徴に類似する、前記蓄積画像中の部分領域に対応する蓄積部分領域特徴を、検索候補特徴として選択する類似度索引検索部と、
前記目的部分領域特徴抽出部が抽出した目的部分領域特徴と前記類似度索引検索部が選択した検索候補特徴との類似値である部分類似値を、前記蓄積重要度計算部が算出した蓄積重要度から計算する一次照合部と、前記目的画像と前記蓄積画像中の部分領域との類似値である全体類似値を、前記部分類似値および前記蓄積重要度に基づいて計算する二次照合部とを有する特徴照合部と、
前記特徴照合部が計算した全体類似値に基づいて検出結果を出力する検出結果出力部と、
を備えることを特徴とする類似画像検索システム。 - 前記目的部分領域特徴抽出部が抽出した目的部分領域特徴に対応する前記目的画像中の部分領域の重要度である目的重要度を算出する目的重要度計算部をさらに備え、
前記重要度索引検索部は、前記重要度索引が付与されたクラスタの中から、前記最大蓄積重要度に前記目的重要度計算部が計算した目的重要度を掛け合わせた値が前記選択閾値以上となるクラスタを選択することを特徴とする請求項4に記載の類似画像検索システム。 - 目的画像に類似する部分画像が含まれる蓄積画像を検索する類似画像検索システムが有するコンピュータに、請求項1から請求項3のいずれか一項に記載の類似画像検索方法の処理を実行させる類似画像検索プログラム。
- 請求項6に記載の類似画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005162014A JP4545641B2 (ja) | 2005-06-01 | 2005-06-01 | 類似画像検索方法,類似画像検索システム,類似画像検索プログラム及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005162014A JP4545641B2 (ja) | 2005-06-01 | 2005-06-01 | 類似画像検索方法,類似画像検索システム,類似画像検索プログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006338313A JP2006338313A (ja) | 2006-12-14 |
JP4545641B2 true JP4545641B2 (ja) | 2010-09-15 |
Family
ID=37558823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005162014A Expired - Fee Related JP4545641B2 (ja) | 2005-06-01 | 2005-06-01 | 類似画像検索方法,類似画像検索システム,類似画像検索プログラム及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4545641B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014109127A1 (ja) | 2013-01-11 | 2014-07-17 | 日本電気株式会社 | インデックス生成装置及び方法並びに検索装置及び検索方法 |
US9378248B2 (en) | 2012-03-13 | 2016-06-28 | Nec Corporation | Retrieval apparatus, retrieval method, and computer-readable recording medium |
US10437803B2 (en) | 2014-07-10 | 2019-10-08 | Nec Corporation | Index generation apparatus and index generation method |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008018398A1 (fr) * | 2006-08-10 | 2008-02-14 | Nec Corporation | dispositif d'extraction de région d'objet |
US8379989B2 (en) | 2008-04-01 | 2013-02-19 | Toyota Jidosha Kabushiki Kaisha | Image search apparatus and image processing apparatus |
JP4577392B2 (ja) * | 2008-04-01 | 2010-11-10 | トヨタ自動車株式会社 | 画像検索装置 |
US9720937B2 (en) | 2008-12-22 | 2017-08-01 | Koninklijke Philips N.V. | Relevance feedback on a segment of a data object |
JP5239921B2 (ja) * | 2009-02-10 | 2013-07-17 | 公立大学法人大阪府立大学 | 線画像の原画検索方法 |
JP5625246B2 (ja) * | 2009-03-16 | 2014-11-19 | 株式会社リコー | 画像検索装置及び画像検索方法 |
JP2010250657A (ja) * | 2009-04-17 | 2010-11-04 | Seiko Epson Corp | 印刷装置、画像処理装置、画像処理方法およびコンピュータープログラム |
JP2010250630A (ja) * | 2009-04-17 | 2010-11-04 | Seiko Epson Corp | 画像サーバー、画像検索システムおよび画像検索方法 |
US9710491B2 (en) | 2009-11-02 | 2017-07-18 | Microsoft Technology Licensing, Llc | Content-based image search |
US20120170855A1 (en) * | 2010-07-21 | 2012-07-05 | Panasonic Corporation | Image management device, image management method, program, recording medium, and image management integrated circuit |
CN102855497B (zh) * | 2011-06-27 | 2015-07-29 | 富士通株式会社 | 获取图像描述信息的方法及装置以及分类器训练方法 |
JP4976578B1 (ja) | 2011-09-16 | 2012-07-18 | 楽天株式会社 | 画像検索装置およびプログラム |
KR101713690B1 (ko) * | 2013-10-25 | 2017-03-08 | 한국전자통신연구원 | 특징 선택 방법을 이용한 비주얼 기술자 추출 방법 및 시스템 |
JP7192966B2 (ja) * | 2019-03-26 | 2022-12-20 | 日本電信電話株式会社 | 検索装置、学習装置、検索方法、学習方法及びプログラム |
JP7417504B2 (ja) * | 2020-10-23 | 2024-01-18 | 株式会社日立ソリューションズ | 類似画像差分抽出装置、類似画像差分抽出方法、プログラム及び記録媒体 |
JP7333894B2 (ja) * | 2021-09-01 | 2023-08-25 | 三菱電機株式会社 | 部品特定装置、部品特定方法及び部品特定プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000090111A (ja) * | 1998-09-14 | 2000-03-31 | Matsushita Electric Ind Co Ltd | 情報検索エージェント装置及び情報検索エージェント装置の機能を発揮するプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2000207565A (ja) * | 1999-01-11 | 2000-07-28 | Hewlett Packard Co <Hp> | 入力画像を予備選択する方法 |
JP2000312343A (ja) * | 1998-06-01 | 2000-11-07 | Nippon Telegr & Teleph Corp <Ntt> | 高速信号探索方法、装置およびその記録媒体 |
JP2005063465A (ja) * | 2004-11-17 | 2005-03-10 | Casio Comput Co Ltd | 画像検索装置、電子スチルカメラ、および画像検索方法 |
WO2005038716A1 (ja) * | 2003-10-21 | 2005-04-28 | Nec Corporation | 画像照合システム及び画像照合方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3952592B2 (ja) * | 1998-04-30 | 2007-08-01 | キヤノン株式会社 | 画像検索装置及び方法 |
-
2005
- 2005-06-01 JP JP2005162014A patent/JP4545641B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000312343A (ja) * | 1998-06-01 | 2000-11-07 | Nippon Telegr & Teleph Corp <Ntt> | 高速信号探索方法、装置およびその記録媒体 |
JP2000090111A (ja) * | 1998-09-14 | 2000-03-31 | Matsushita Electric Ind Co Ltd | 情報検索エージェント装置及び情報検索エージェント装置の機能を発揮するプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2000207565A (ja) * | 1999-01-11 | 2000-07-28 | Hewlett Packard Co <Hp> | 入力画像を予備選択する方法 |
WO2005038716A1 (ja) * | 2003-10-21 | 2005-04-28 | Nec Corporation | 画像照合システム及び画像照合方法 |
JP2005063465A (ja) * | 2004-11-17 | 2005-03-10 | Casio Comput Co Ltd | 画像検索装置、電子スチルカメラ、および画像検索方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9378248B2 (en) | 2012-03-13 | 2016-06-28 | Nec Corporation | Retrieval apparatus, retrieval method, and computer-readable recording medium |
WO2014109127A1 (ja) | 2013-01-11 | 2014-07-17 | 日本電気株式会社 | インデックス生成装置及び方法並びに検索装置及び検索方法 |
US10713229B2 (en) | 2013-01-11 | 2020-07-14 | Nec Corporation | Index generating device and method, and search device and search method |
US10437803B2 (en) | 2014-07-10 | 2019-10-08 | Nec Corporation | Index generation apparatus and index generation method |
Also Published As
Publication number | Publication date |
---|---|
JP2006338313A (ja) | 2006-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4545641B2 (ja) | 類似画像検索方法,類似画像検索システム,類似画像検索プログラム及び記録媒体 | |
US6351556B1 (en) | Method for automatically comparing content of images for classification into events | |
US8467611B2 (en) | Video key-frame extraction using bi-level sparsity | |
US9576218B2 (en) | Selecting features from image data | |
CN110413816B (zh) | 彩色草图图像搜索 | |
US20120148149A1 (en) | Video key frame extraction using sparse representation | |
Esmaeili et al. | Fast-at: Fast automatic thumbnail generation using deep neural networks | |
JP6393230B2 (ja) | オブジェクト検出方法及び画像検索システム | |
JP2005235175A (ja) | コンテンツエンジンのためのexifに基づく画像の特徴セット | |
JP2015103088A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
RU2697649C1 (ru) | Способы и системы сегментации документа | |
CN110688524A (zh) | 视频检索方法、装置、电子设备及存储介质 | |
Poullot et al. | Z-grid-based probabilistic retrieval for scaling up content-based copy detection | |
CN103995864B (zh) | 一种图像检索方法和装置 | |
CN111612004A (zh) | 一种基于语义内容的图像裁剪方法及装置 | |
JP2001043368A5 (ja) | ||
CN110209863B (zh) | 用于相似图片检索的方法与设备 | |
JP5192437B2 (ja) | 物体領域検出装置、物体領域検出方法および物体領域検出プログラム | |
JP4421527B2 (ja) | 映像検索装置,方法及びプログラム並びにプログラムを記録した記録媒体 | |
CN112749576B (zh) | 图像识别方法和装置、计算设备以及计算机存储介质 | |
KR100932210B1 (ko) | 영상 특징 추출 방법 및 장치, 이를 이용한 컨텐츠 기반의영상 검색 방법 및 장치 그리고 상기 방법들을 수행하는프로그램이 기록된 기록 매체 | |
JP6778625B2 (ja) | 画像検索システム、画像検索方法及び画像検索プログラム | |
CN116467476A (zh) | 一种基于关键局部信息的图像检索方法 | |
JP2013008142A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US11288534B2 (en) | Apparatus and method for image processing for machine learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070815 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100112 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100312 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100413 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100622 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100630 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |