JP5548655B2 - 画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラム - Google Patents
画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラム Download PDFInfo
- Publication number
- JP5548655B2 JP5548655B2 JP2011146480A JP2011146480A JP5548655B2 JP 5548655 B2 JP5548655 B2 JP 5548655B2 JP 2011146480 A JP2011146480 A JP 2011146480A JP 2011146480 A JP2011146480 A JP 2011146480A JP 5548655 B2 JP5548655 B2 JP 5548655B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- search target
- target image
- certainty factor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 84
- 238000004364 calculation method Methods 0.000 claims description 42
- 230000005540 biological transmission Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 description 62
- 238000009825 accumulation Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 16
- 230000007717 exclusion Effects 0.000 description 15
- 230000008859 change Effects 0.000 description 8
- 230000007423 decrease Effects 0.000 description 6
- 230000003247 decreasing effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 2
- 108010014173 Factor X Proteins 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Description
この特許文献1に記載の画像検索装置では、複数の撮影画像のうち、対象物の検索に最適な画像を、例えばユーザーの選択操作により取得し、この取得した画像を用いて対象物の検索を実施している。
ここで、本発明で述べる確信度は、撮影画像と検索対象画像との類似度に基づいて算出されるものである。この類似度に基づいて算出される確信度とは、画像検索を実施した際に検索された検索対象画像を、類似度が大きい順に並び替えた類似ランキングを取得し、当該類似ランキングの順位(ランク)に基づいて設定されるものであってもよく、撮影画像と検索対象画像との類似度に基づいて、直接確信度が算出されるものであってもよい。
つまり、撮影画像と類似度が高い検索対象画像が撮影された場合でも、当該検索対象画像がユーザーの求める画像ではない場合がある。このような場合、類似度に基づいた検索結果のみでは、ユーザーが満足する検索結果を提供できない。これに対して、本発明では、ユーザーが目的の画像を選択するという操作の有無に応じて、その表示ランキングを更新する。この場合、1回の画像検索のみで検索結果に表示されなかった目的画像でも、時間経過とともに検索結果として表示される可能性が大きくなる。すなわち、本発明では、ユーザーが求める目的画像が検索結果として表示されやすい画像検索を実施することができる。
これに対して、本発明では、上述のように、検索された検索対象画像を、確信度が大きい順にランキングして表示させ、所定時間が経過した後に、表示された検索対象画像の表示ランキングを低下させている。これにより、表示されていなかった検索対象画像が、確信度が上位の検索対象画像として新たに表示されるようになるため、ユーザーは、より早く目的画像を見つけることが可能となる。
このような所定時間の経過後に表示ランキングを更新する構成では、ユーザーによる検査対象画像の確認の前に、表示された検査対象画像が削除される不都合を回避できる。
ここで、結果表示手段が、確信度算出手段により更新された確信度に基づいて、表示ランキングを更新する場合、確信度算出手段により、除外対象の検索対象画像の確信度を例えば「0」等の最低値に設定すればよい。また、結果表手段が、確信度に関わらず、直接表示ランキングを更新する場合では、除外対象の検索対象画像を表示上から削除し、その他の検索対象画像の表示ランキングを繰り上げて表示すればよい。
本発明では、ユーザーの選択操作がない検索対象画像を、即座に表示から除外する。この場合、より迅速に表示する検索対象画像を切り替えることができるため、目的画像が早期に表示される確率を高めることができる。
ここで、結果表示手段が、確信度算出手段により更新された確信度に基づいて、表示ランキングを更新する場合、確信度算出手段により、除外対象の検索対象画像の確信度を例えば「0.5」等の予め設定された設定値ずつ、段階的に低下させて更新すればよい。また、結果表手段が、確信度に関わらず、直接表示ランキングを更新する場合では、除外対象の検索対象画像の表示ランキングを、下位のランキングの検索対象画像を入れ替えることで、表示ランキングを低下させればよい。
本発明では、表示された検索対象画像に対してユーザーの選択操作がない場合でも、即座に表示から除外されず、当該検索対象画像の表示上のランキングが段階的に徐々に低下する。このような場合、例えばユーザーが脇見等によって表示された検索対象画像を確認できなかった場合でも、その検索対象画像が即座に除外されることがなく、ユーザーによる検索対象画像の選択操作の時間を十分に確保することができる。
つまり、上述したように、表示率が大きい検索対象画像は、長く表示されている検索対象画像であることを示し、その検索対象画像がユーザーによる選択操作によって選択されていないということは、当該検索対象画像が、ユーザーの求める目的画像ではないことを示す。表示ランキングの更新によりこのような画像を表示から外し、新たな検索対象画像を表示させることで、上記したように、ユーザーが求める目的画像をより迅速に検索結果として表示させることが可能となる。
本発明では、ユーザーの選択がなく、かつ所定時間が経過していない状態では、結果表示手段は、画像検索手段により検索された検索対象画像の表示ランキングを上昇させる。つまり、検索された回数が多いほど、撮影画像に対して類似していることを意味するので、このような検索対象画像を表示ランキングの上位に設定することで、ユーザーが求める目的画像が表示される確率を高めることができる。
上述したように、画像検索では、撮影画像と検索対象画像との類似度が近い順に、検索対象画像が検索されるが、類似ランキングが高い場合であっても、撮影画像と検索対象画像の類似度が低い場合がある。このような場合、類似ランキングに基づいた確信度の計算を行うと、目的画像とは類似度が大きく異なる検索対象画像が表示されるおそれがある。これに対して、本発明では、類似度に基づいて、確信度の計算を実施するため、類似ランキングに関わらず、類似度が高い検索対象画像には、高い確信度を付与することができる。このため、目的画像と類似する適切な検索対象画像を表示させることができる。
このように、検索対象画像の表示形態を変化させることで、ユーザーは、表示位置が変動した検索対象画像を容易に確認することができる。例えば、1つの検索対象画像を削除し、削除された検索対象画像に代わって新たに他の検索対象画像が表示させる場合、結果表示手段は、既に表示されている検索対象画像に対して、新たに表示させた検索対象画像を異なる表示形態で表示させる。この場合、ユーザーは、新たに表示された検索対象画像を容易に確認することができ、ユーザーによる目的画像の確認作業を好適に支援することができる。
以下、本発明に係る第一実施形態の画像検索装置について、図面に基づいて説明する。
[画像検索装置の構成]
図1は、第一実施形態の画像検索装置の概略構成を示すブロック図である。
図1において、画像検索装置1は、カメラ2と、各種プログラムや各種データを記憶する記憶手段3と、各種演算を実施するCPU(Central Processing Unit)等により構成された制御手段4と、ディスプレイ等の表示部5と、キーボード、タッチパネル等の操作部6と、を備えている。この画像検索装置1としては、例えば、カメラ機能が付いた携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ等のいわゆるコンピュータを用いることができる。
より具体的には、画像検索装置1の制御手段4は、ユーザーにより撮影画像に用いた画像検索を実施するように操作されると、まず、カメラ2を起動させる。そして、1つのオブジェクトに対してカメラ2が向けられると、制御手段4は、自動的に当該オブジェクトを撮影した撮影画像を一定の撮影周期で取得して、各撮影画像を用いて画像検索(オブジェクト認識)を実施する。この時、制御手段4は、カメラが起動している間、周期的に撮影画像を取得し、これらの取得した撮影画像に対してそれぞれオブジェクト認識(画像検索)を実施する。そして、制御手段4は、各撮影画像に対するオブジェクト認識の認識結果(検索結果)に基づいて、検索対象画像の確信度を算出し、確信度に基づいた画像認識結果をリアルタイムで表示部5に表示させる。そして、制御手段4は、ユーザーの操作によりカメラが停止されると、一連の検索処理を停止する。
すなわち、本実施形態の画像検索装置1は、複数回のオブジェクト認識の認識結果に基づいて、撮影画像に対する最適なオブジェクト画像を検索するものであり、以降の説明に当たり、このような一連の検索処理を最適画像検索処理と称す。
以下において、上述のような最適画像検索処理を実施するための画像検索装置1の構成について説明する。
ここで、画像データベース31に記憶される検索対象画像は、検索対象用オブジェクトを含む画像である。なお、本実施形態では、オブジェクトを撮影した撮影画像に対して、当該オブジェクトと類似する検索対象用オブジェクトを有する検索対象画像を検索する、いわゆるオブジェクト認識を実施するため、画像データベース31には、検索対象用オブジェクトが含まれた検索対象画像が記録されるが、これに限定されるものではない。例えば、画像検索を実施した撮影画像として風景や絵画等を用いる場合、検索対象画像として、特定の検索対象用オブジェクトが含まれない画像(風景や絵画等)を記憶するものであってもよい。
また、画像データベース31に記憶されるインデックスデータには、検索対象画像を特徴付ける特徴量や、特徴量の検索のための索引、検索対象画像を判別するための画像IDなどが記録されている。
ここで、オブジェクト認識の認識結果としては、後述の画像検索手段42により検索された検索対象画像と、当該検索対象画像及び撮影画像の類似度とが記録される。また、検索対象画像の代わりに、検索対象画像を特定する画像IDが記録されてもよい。
ここで、検索対象画像と撮影画像との類似度とは、検索対象画像の特徴量と、撮影画像の特徴量との比較により算出される値であり、検索対象画像がどの程度撮影画像に類似しているかを示す値である。この類似度としては、例えば、検索対象画像と撮影画像とが完全に一致する場合を1として、0〜1の値として表される。
なお、本実施形態では、画像取得手段41により自動的に撮影画像を取得する例を示すが、例えばユーザーのシャッター操作により、撮影画像を取得する構成としてもよい。
具体的には、画像検索手段42は、撮影画像の特徴量を算出して、結果蓄積部32のインデックスデータに記憶される特徴量の索引から、撮影画像の特徴量に対応した検索対象画像を抽出する。また、画像検索手段42は、撮影画像の特徴量と、インデックスデータに記憶される検索対象画像の特徴量とを比較して、検索対象画像の撮影画像に対する類似度を算出し、当該類似度が予め設定された閾値以上となる検索対象画像を検索する。
そして、画像検索手段42は、このオブジェクト認識の認識結果を、記憶手段3の結果蓄積部32に蓄積する。
この確信度算出手段43は、画像検索手段42によりオブジェクト認識が実施され、その検索結果が結果蓄積部32に蓄積される度に、蓄積された検索結果に基づいて確信度を算出する。
この表示率算出手段46による確信度の算出方法としては、例えば、検索対象画像毎に、過去K回の類似度を平均化したものを用いることができる。この時、オブジェクト認識により検索されなかった場合は、類似度を0として算出すればよい。また、一連の最適画像検索処理において、最初にオブジェクト認識を実施した結果に基づいて確信度を算出する場合は、1つの検索結果に基づいた確信度が算出されることになる。この場合は、確信度算出手段43は、検索対象画像の撮影画像に対する類似度を、当該検索対象画像の確信度とすることができる。
ここで、図2に、最適画像検索処理において表示部5に表示される1つの表示画面例を示す。
図2に示すように、結果表示手段44は、カメラ2により撮影されている撮影対象画像51を表示部5の全体に表示させる。また、結果表示手段44は、検索された検索対象画像のうち、確信度が大きい順に、予め設定された表示数分(例えば4つ)だけ取得し、表示部5の下部領域に確信度上位画像52として表示する。
また、この表示部5の下部領域において、左端の領域が最上位表示位置52Aであり、右端の領域が最下位表示位置52Bとなる。結果表示手段44は、確信度上位画像52を確信度順に、最上位表示位置52Aから最下位表示位置52Bに亘って配列させて表示させる。したがって、確信度上位画像52のうち、確信度が最大のものは最上位表示位置52Aに表示され、確信度が最小のものは最下位表示位置52Bに表示される。つまり、結果表示手段44は、確信度上位画像52を確信度が大きい順にランキングし、その表示ランキングを表示部5に表示させる。
なお、ここでは、確信度上位画像52が表示部5の下部領域に示す例を示すが、これに限定されない。例えば表示部5の上部領域に表示されてもよく、その他の表域に表示されていてもよい。また、確信度が大きい順に並べて表示させているが、例えば確信度が大きい順が分かるように、確信度上位画像52の一部に確信度の順位を示す数字を重畳させて、表示部5の制御手段4隅に確信度上位画像52を表示させてもよい。
この際、結果表示手段44は、確信度が更新される度に、既に表示されている確信度上位画像52をスクロールしてフレームアウトさせ、新たに表示させる確信度上位画像52をスクロールしてフレームインされるなどの表示方法を用いることができる。
一方、例えば表示された確信度上位画像52の中に目的画像がない場合、ユーザーが求める目的画像の確信度が、既に表示部5に表示されている確信度上位画像52の確信度以上となるまで、表示部5に表示されないことになる。この場合、既に表示部5に表示されている確信度上位画像52の確信度が高いままであると、目的画像が表示部5に表示されない、または表示部5に表示されるまでに長時間を要するおそれがある。
この処理では、結果表示手段44は、後述する表示率算出手段46により算出される表示率に基づいて実施する。つまり、結果表示手段44は、最適画像検索処理が開始されてからからの時間を計測し、所定の設定時間が経過した後に、表示率算出手段46により算出された表示率が予め設定された閾値(例えば、0.8など)を超える確信度上位画像52を表示部5から消去し、新たな検索対象画像を表示部5に表示させる。つまり、結果表示手段44は、表示率が閾値を超える検索対象画像を除外して、確信度に基づいて、表示部5に表示させる確信度上位画像52を更新する。
そして、検索対象画像A,Bの表示率が予め設定された閾値X以上である場合、結果表示手段44は、図3(C)に示すように、表示部5に表示された検索対象画像A,Bの確信度上位画像52を消去する。そして、結果表示手段44は、検索対象画像E,Fを検索対象画像A,Bが表示されていた位置に表示させる。また、検索対象画像Fの次に確信度が大きい検索対象画像G,Hを、検索対象画像E,Fが表示されていた位置に新たに表示する。
ここで、画像選択手段45により、確信度上位画像52が選択されると、制御手段4は、例えばネットワーク等を介して、選択された確信度上位画像52の詳細情報(例えば、オブジェクトに関する商品情報)を取得し、取得した詳細情報を表示部5に表示させる。
つまり、検索除外手段47は、表示率が閾値を超えたために、結果表示手段44により消去された確信度上位画像52(検索対象画像)を、結果蓄積部32に蓄積される認識結果から除外する。また、この検索除外手段47は、以降の画像検索手段42によるオブジェクト認識において、結果表示手段44により表示部5から消去された検索対象画像が検索された場合に、当該検索対象画像を認識結果から除外する。これにより、結果蓄積部32に当該検索対象画像が記録されなくなり、確信度算出手段43による当該検索対象画像に対する確信度の算出も実施されなくなるため、結果表示手段44により表示部5に表示されることがない。
次に、上述したような画像検索装置1の最適画像検索処理について、図面に基づいて説明する。
図4は、本実施形態の画像検索装置1の動作における最適画像検索処理のフローチャートである。
画像検索装置1を用いて最適画像検索処理を実施する場合、まず、ユーザーは、最適画像検索処理を実行するプログラムを起動させる。これにより、カメラ2が起動され、カメラ2により取り込まれた画像は、結果表示手段44によりリアルタイムで表示部5に表示される。また、制御手段4は、最適画像検索処理で各オブジェクト認識の認識結果を蓄積する結果蓄積部32を初期化し、前回の最適画像検索処理で用いた認識結果がある場合に、これを削除する(ステップS1)。
ここで、このステップS3では、検索除外手段47は、オブジェクト認識により検索された検索対象画像に、表示率が閾値を超える検索対象画像があるか否かを判定する。そして、検索された検索対象画像に、表示率が閾値を超えるものがある場合、検索除外手段47は、当該検索対象画像を、認識結果から除外する。
したがって、このステップS3におけるオブジェクト認識における検索個数としては、除外される検索対象画像の個数を考慮して、少なくとも、表示部5に表示させる表示数N+α個の検索対象画像を検索する必要がある。すなわち、検索対象画像の除外により表示させる検索対象画像が不足しないように、余分に検索対象画像を取得する。
このステップS4では、確信度算出手段43は、結果蓄積部32に蓄積された複数の認識結果に基づいて、下記式(1)に示すように、各検索対象画像iにおける類似度の平均値を確信度X(i)として算出する。
I={A,B,C・・・}:検索対象画像の集合
A(k,i) :k回目のオブジェクト認識における検索対象画像iの撮影画像に対する類似度
このステップS7で、画像選択手段45により確信度上位画像52が選択されると、制御手段4は、当該選択された確信度上位画像52に関する詳細な情報を表示部5に表示させて提供し、一連の最適画像検索処理を終了する(ステップS8)。
つまり、本実施形態では、確信度上位画像52の表示率が閾値以上となる場合に、結果表示手段44は、当該確信度上位画像52を表示部5から消去し、新たな検索対象画像を確信度上位画像52として表示させる。
なお、このステップS9の処理は、最適画像検索処理が開始されてから、予め設定された設定時間が経過した後に実施される。つまり、一連の最適画像検索処理において、初めて表示部5に表示される確信度上位画像52は、表示率が1となる。このような確信度上位画像52を表示率に基づいて表示部5から消去し、認識結果からも除外してしまうと、当該確信度上位画像52が目的画像である場合、ユーザーが選択することができない。また、表示部5に当該確信度上位画像52が表示された直後に、表示部5から表示が消えてしまっては、ユーザーが確信度上位画像52の確認を十分に実施できないという問題が生じる。これに対して、本実施形態では、最適画像検索処理が開始されてから、設定時間が経過するまでの間は、当該確信度上位画像52の表示率が高い場合であっても、当該確信度上位画像52を表示部5に表示させる。これにより、上記のような問題を回避することができ、ユーザーに確信度上位画像52の確認時間を十分に与えることが可能となる。
一方、ステップS9において、表示部5に表示された確信度上位画像52のうち、表示率が閾値以上となる確信度上位画像52がある場合、結果表示手段44は、当該確信度上位画像52の表示を消去し、当該確信度上位画像52の次に確信度が大きい検索対象画像を、消去した確信度上位画像52の表示位置に、移動させて表示させる(ステップS10)。すなわち、結果表示手段44は、表示率が閾値を超える確信度上位画像52を除外して、確信度に基づいて検索対象画像を順に表示部5に表示させることで、表示ランキングを更新する。
また、このステップS10では、検索除外手段47は、消去された確信度上位画像52(検索対象画像)を結果蓄積部32の認識結果から除外する。
この後、再びステップS6の判定処理に戻る。
上述した第1実施形態の画像検索装置1では、以下に示す作用効果を奏することができる。
画像検索装置1は、画像取得手段41により、撮影画像が取得されると、画像検索手段42は、この取得した撮影画像を用いて、画像データベース31から撮影画像と類似する検索対象画像を検索して、結果蓄積部32に蓄積する。また、確信度算出手段43は、結果蓄積部32に蓄積された認識結果に基づいて、各検索対象画像に対する確信度を算出する。そして、結果表示手段44は、検索された複数の検索対象画像のうち、確信度が大きい検索対象画像を確信度上位画像52として表示部5に表示させ、所定の判定時間が経過するまでの間に、画像選択手段45による確信度上位画像52の選択がない場合に、表示部5に表示された確信度上位画像52の表示ランキングを更新する。
以上により、ユーザーが求める目的画像が確信度上位画像52として表示部5に表示される確率を高めることができる。つまり、ユーザーの求める目的画像が表示されやすい最適画像検索処理を実施することができる。
このような構成では、ユーザーにより選択されない画像を目的画像ではないとして、表示部5から消去することができる。したがって、ユーザーが求める目的画像をより迅速に表示部5に表示させることができる。
また、結果表示手段44による確信度上位画像52の表示消去は、最適画像検索処理が開始されてから、所定の設定時間が経過した後に行うことが好ましい。つまり、最適画像検索処理を開始した直後では、経過時間が小さいため、各確信度上位画像52の表示率も大きくなってしまう。これに対して、上述のように設定時間を設けることで、ユーザーの操作時間を十分に確保することができる。
このような構成では、同じオブジェクトに対して撮影された複数の撮影画像に対して、それぞれオブジェクト認識を実施し、これらのオブジェクト認識の認識結果を用いて総合的に考慮した確信度を算出する。このような確信度に基づいた表示を行うことで、1つのオブジェクト認識の類似度に基づいた認識結果に比べて、ユーザーが求めるオブジェクトにより類似した確信度上位画像52を表示させることができる。
このような確信度の算出方法では、検索回数が多い検索対象画像の確信度を高めることができ、撮影画像に対する一連の検索結果による類似度に基づいて、ユーザーが求めるオブジェクトが含まれる確率の高い検出結果を確信度上位画像52として表示することができる。
また、確信度としては、例えば類似ランキング等に基づいて簡易的に算出される値であってもよいが、類似ランキングは、オブジェクト認識で検索された検索対象画像を、類似度順に並べたデータであるため、例えば検索された全ての検索対象画像の類似度が低い場合では、類似ランキングが上位の検索対象画像でも類似度が低い場合がある。これに対して、類似度に基づいて確信度を求める場合、上記のような問題が生じず、より信頼できる確信度を算出することができる。
例えば、表示率が閾値を超える確信度上位画像52がある場合、まず、検索除外手段47により結果蓄積部32に蓄積された認識結果から当該確信度上位画像52(検索対象画像)を除外し、確信度算出手段43により結果蓄積部32の認識結果に基づいて確信度を算出し直し、その後に、結果表示手段44が当該算出された確信度に基づいて確信度上位画像52を表示部5に表示させて、表示更新を行うとしてもよい。この場合であっても、上述第一実施形態と同様の認識結果表示を行うことができる。
上記第一実施形態の画像検索装置1では、結果表示手段44は、表示率算出手段46により算出された表示率に基づいて、表示部5に表示された確信度上位画像52の表示率が閾値を超えた場合に、当該確信度上位画像52を表示部5から削除して、新たな検索対象画像を表示部5に繰り上げて表示させた。これに対して、第二実施形態の画像検索装置は、結果表示手段は、確信度上位画像が表示部に表示されてから、一定の判定時間が経過するまでの間に、画像選択手段により確信度上位画像が選択されない場合に、当該確信度上位画像の表示を消去して、新たな検索対象画像を表示させる点で相違する。
なお、本実施形態の画像検索装置1では、制御手段4の機能構成として、表示率算出手段46が設けられない構成としてもよい。
本実施形態では、結果表示手段44は、第一実施形態と同様に、カメラ2により撮影されている撮影対象画像51を表示部5の全体に表示させるとともに、確信度が大きい順に確信度上位画像52として表示する。また、結果表示手段44は、確信度算出手段43により確信度が更新される度に、確信度の順位に変動がある場合、表示部5に表示させる確信度上位画像52の順序を入れ替える。
すなわち、結果表示手段44は、表示率ではなく、確信度上位画像52が表示部5に表示されてからの時間に基づいて、当該確信度上位画像52の表示、非表示(消去)を切り替える。このため、本実施形態では、上記のように、表示率算出手段46を設ける必要がない。
図5は、第二実施形態の画像検索装置1における動作を示すフローチャートである。
図5に示すように、第二実施形態の画像検索装置1では、第一実施形態と略同様の処理により最適画像検索処理を実施するものであり、ステップS6で「No」と判定された場合に、ステップS7の代わりにステップS11を実施する。
そして、このステップS11において、判定時間が経過するまでの間に、確信度上位画像52が選択されなかった場合、ステップS10を実施し、結果表示手段44は、その確信度上位画像52を除外して、表示部5に表示させる確信度上位画像52の表示ランキングを更新する。つまり、結果表示手段44は、判定時間が経過するまでの間に、画像選択手段45により選択されなかった確信度上位画像52を、表示部5から消去し、消去した確信度上位画像52の代わりに、当該確信度上位画像52の次に確信度が大きい検索対象画像を表示させて、以降、順次、表示位置を繰り上げて表示させる。
一方、ステップS11において、ユーザーによる選択操作があり、画像選択手段45により確信度上位画像52が選択された場合、ステップS8の処理を実施する。
上述したような第二実施形態の画像検索装置1では、結果表示手段44は、判定時間が経過するまでの間に、ユーザーの操作がなく、画像選択手段45により確信度上位画像52が選択されなかった場合、当該確信度上位画像52を除外して、表示部5に表示させる確信度上位画像52の表示ランキングを更新する。
このため、ユーザーにより選択されない画像を除外して確信度上位画像52を更新するので、目的画像がより迅速に表示部5に表示される確率を高めることができる。
次に、本発明に係る第三実施形態について、図面に基づいて説明する。
上記第二実施形態の画像検索装置1では、結果表示手段44により表示部5に確信度上位画像52が表示されて、判定時間が経過するまでの間に、画像選択手段45による当該確信度上位画像52の選択がなかった場合、結果表示手段44は、選択されなかった確信度上位画像52を表示部5から削除して、新たな検索対象画像を表示部5に繰り上げて表示させた。これに対して、第三実施形態の画像検索装置は、結果表示手段は、画像選択手段により確信度上位画像が選択されなかった場合に、当該選択されなかった確信度上位画像の表示位置を下位ランクの表示位置に落として表示させる点で、上記第二実施形態と相違する。
本実施形態では、画像検索装置1は、表示部5に確信度上位画像52が表示させたタイミングから、予め設定された所定の判定時間(例えば30秒)が経過するまでの間に、画像選択手段45により確信度上位画像52が選択されなかった場合に、当該確信度上位画像52の表示上のランクを下位に段階的に低下させて表示を更新する。
そして、検索対象画像B,Cが、表示部5に表示された後、予め設定された判定時間が経過すると、結果表示手段44は、検索対象画像Bの表示位置を1ランク分最下位表示位置52B側に移動させる。すなわち、検索対象画像Bの表示位置と、検索対象画像Eの表示位置とを入れ替えて表示させる。したがって、検索対象画像Bは、ユーザーによる選択操作がなく、画像選択手段45に選択されない場合、時間経過とともに、表示ランキングを段階的に低下することになる。
一方、最下位表示位置52Bに表示されていた検索対象画像Cの表示位置を1ランク分移動させることはできないため、結果表示手段44は、検索対象画像Cを消去し、検索対象画像Cの次に確信度が大きい検索対象画像Gを、新たに表示部5の最下位表示位置52Bに表示する。
なお、検索対象画像Bも、引き続き画像選択手段45により選択されなかった場合は、時間経過により、徐々に表示位置が最下位表示位置52B側に移動し、最終的に表示部5から消去され、検索対象から除外されることとなる。
すなわち、表示部5に表示される確信度上位画像52のうち、最下位表示位置52B以外の位置に表示された確信度上位画像52は、判定時間経過後も表示位置が移動するだけで、除外されることはない。これにより、ユーザーの見落とし等により判定時間が経過した場合でも、これらの確信度上位画像52は表示部5に表示された状態となり、ユーザーは、これらの確信度上位画像52を確認することができる。したがって、例えばこれらの確信度上位画像52が目的画像であった場合、ユーザーは目的画像を選択することが可能となる。
一方、最下位表示位置52Bに表示された確信度上位画像52は、最初の判定時間経過後に即座に削除されてしまうことになる。この場合、ユーザーの見落とし等により判定時間が経過していた場合、検索対象から最下位表示位置52Bに表示されていた確信度上位画像52が除外されてしまうため、認識結果として表示されなくなってしまう。これに対して、例えば最初の判定時間経過時は、最下位表示位置52Bに表示された確信度上位画像52を削除せずに表示し続ける処理を実施することで、ユーザーに当該確信度上位画像52の確認を促すことができる。
上述したような第三実施形態の画像検索装置1では、第二実施形態における効果に加え、以下の効果を奏する。
結果表示手段44は、ユーザーの操作がなく、画像選択手段45により確信度上位画像52が選択されなかった場合、当該確信度上位画像52の表示位置が最下位表示位置52B以外である場合に、最下位表示位置52B側に表示位置を移動させ、当該確信度上位画像52の表示位置が最下位表示位置52Bである場合に表示部5から消去する。したがって、表示部5に表示された確信度上位画像52が判定時間の経過後に即座に消去されず、徐々に表示上のランキングが低下していき、最終的に表示部5から消去されることになる。
このため、例えば、ユーザーが脇見等によって表示部5の表示を見ていなかった場合でも、確信度上位画像52が即座に削除されてしまう不都合を回避できる。したがって、ユーザーに確信度上位画像52を選択させる十分な時間を与えることができ、快適な操作を支援することができる。
次に、本発明の第四実施形態の画像検索装置について、図面に基づいて説明する。
上記第一から第三実施形態では、表示部5に確信度上位画像52が表示されて、所定の判定時間が経過するまでの間に、画像選択手段45による当該確信度上位画像52の選択がなかった場合、当該確信度上位画像52を除外する例を示した。これに対して、第四実施形態の画像検索装置では、画像選択手段により確信度上位画像が選択されなかった場合に、確信度算出手段が、当該選択されなかった確信度上位画像(検索対象画像)の確信度を低下させる点で相違する。
なお、本実施形態の画像検索装置1では、制御手段4の機能構成として、表示率算出手段46及び検索除外手段47が設けられない構成としてもよい。
本実施形態の画像検索装置1の結果表示手段44は、上記第一から第三実施形態と同様に、確信度算出手段43により確信度が更新される度に、更新された確信度のランキングに応じて、表示部5に表示させる確信度上位画像52の順序を入れ替える。
また、本実施形態の結果表示手段44は、確信度の変化がない場合には、表示部5における確信度上位画像52の表示順を変化させない。したがって、表示部5に確信度上位画像52が表示させたタイミングから、予め設定された所定の判定時間(例えば30秒)が経過するまでの間に、画像選択手段45により確信度上位画像52が選択されなかった場合でも、確信度のランキングに変動がない場合は、確信度上位画像52の表示順を変化させず、確信度上位画像52を表示部5から除外することはない。
すなわち、確信度算出手段43は、結果表示手段44により表示部5に確信度上位画像52が表示されたタイミングから、予め設定された所定の判定時間(例えば30秒)の間、画像選択手段45により確信度上位画像52が選択されなかった場合に、当該確信度上位画像52(検索対象画像)の確信度を低下させる処理をする。
ここで、本実施形態では、確信度算出手段43は、画像選択手段45により選択されなかった確信度上位画像52(検索対象画像)の確信度を最低値である「0」に固定する。
また、結果表示手段44は、確信度が更新されるタイミングで、表示部5の表示を更新するため、確信度算出手段43により確信度が最低値に更新された確信度上位画像52は、表示部5から削除されることとなり、新たな確信度に基づいた確信度上位画像52が表示されることとなる。これにより、図3に示すような画像認識結果の表示を行うことが可能となる。
なお、ここでは、確信度算出手段43は、判定時間が経過するまでの間に画像選択手段45により選択されなかった確信度上位画像52(検索対象画像)の確信度を、最低値である「0」に設定したが、最低値としては例えばマイナスの値に固定してもよい。これにより、ユーザーにより選択されなかった検索対象画像が確実に表示部5上に表示されなくなる。
次に、第四実施形態の画像検索装置1の画像検索方法について説明する。
本実施形態の画像検索装置1では、上記第二実施形態と略同様の処理により最適画像検索処理を実施するため、図5に基づいて画像検索方法を説明する。
第二実施形態では、図5のステップS10において、結果表示手段44が、判定時間を経過し、かつユーザーによる選択操作がない確信度上位画像52の確信度を変化させずに、表示上から除外し、検索除外手段47により認識結果からも除外する構成とした。
これに対して、本実施形態のステップS10では、確信度算出手段43は、判定時間を経過し、かつユーザーによる選択操作がない確信度上位画像52の確信度を最低値に設定する。そして、結果表示手段44は、この更新された確信度に基づいて、確信度が高い順にランキングした検索対象画像の上位4つを、確信度上位画像52として表示部5に表示させる。
上述したような第四実施形態の画像検索装置1では、結果表示手段44は、判定時間が経過するまでの間に、ユーザーの操作がなく、画像選択手段45により確信度上位画像52が選択されなかった場合、確信度算出手段43は、当該確信度上位画像52の確信度を最低値に固定し、結果表示手段44は、この確信度の更新の後に確信度に基づいて確信度上位画像52を表示部5に表示させる。
このため、上記第一から第三実施形態と同様に、ユーザーにより選択されない画像を除外して確信度上位画像52を更新するので、目的画像が表示部5に表示される確率を高めることができる。
次に、本発明に係る第五実施形態について、図面に基づいて説明する。
上記第四実施形態の画像検索装置1では、結果表示手段44により表示部5に確信度上位画像52が表示されて、所定の判定時間が経過するまでの間に、画像選択手段45による当該確信度上位画像52の選択がなかった場合、確信度算出手段43は、選択されなかった確信度上位画像52の確信度を最低値に設定した。これに対して、第五実施形態の画像検索装置では、確信度変化手段は、画像選択手段により確信度上位画像が選択されなかった場合に、当該選択されなかった確信度上位画像の確信度を所定の設定値だけ低下させる点で、上記第四実施形態と相違する。
本実施形態の画像検索装置1の確信度算出手段43は、結果表示手段44により表示部5に確信度上位画像52が表示されたタイミングから、予め設定された所定の判定時間(例えば30秒)の間、画像選択手段45により確信度上位画像52が選択されなかった場合に、当該確信度上位画像52(検索対象画像)の確信度を所定の設定値(例えば0.5)だけ低下させて固定する。
ここで、設定値としては、予め設定されて記憶手段に記憶されていてもよく、例えばユーザーにより適宜設定、変更可能な値を用いてもよい。
本実施形態では、確信度算出手段43により確信度を設定値ずつ低減させることで、画像選択手段45により選択されなかった検索対象画像の確信度は、段階的に低下していくことになる。したがって、確信度の更新毎に、結果表示手段44により表示部5の表示が更新されると、画像選択手段45により選択されなかった確信度上位画像52の表示位置も徐々に最下位表示位置52B側に移動する。そして、最終的には、当該確信度上位画像52の確信度が、表示部5に表示されていない他の検索対象画像の確信度よりも小さくなることで、表示部5に表示されなくなる。すなわち、図6に示す表示例と略同様の表示が行われることになり、ユーザーにより選択されなかった確信度上位画像52の表示ランキングが段階的に低下することとなる。
上述したような第五実施形態の画像検索装置1では、第三実施形態と略同様の作用効果を奏することができる。
すなわち、画像検索装置1の確信度算出手段43は、ユーザーの操作がなく、画像選択手段45により確信度上位画像52が選択されなかった場合、当該確信度上位画像52の確信度を所定の設定値だけ低減させた値に固定する。このため、時間が経過するに伴って、画像選択手段45により選択されなかった確信度上位画像52の確信度は徐々に低下していくことになる。したがって、確信度が更新される毎に結果表示手段44により表示部5の表示が更新されることで、当該確信度上位画像52の表示位置が徐々に最下位表示位置52B側に移動していき、最終的には、表示部5に表示されなくなる。
このような構成では、表示部5に表示された確信度上位画像52が判定時間の経過後に即座に削除されることがないため、例えば、ユーザーが脇見等によって表示部5の表示を見ていなかった場合でも、確信度上位画像52が即座に削除されてしまう不都合を回避できる。したがって、ユーザーに確信度上位画像52を選択させる十分な時間を与えることができ、快適な操作を支援することができる。
次に、本発明の第六実施形態の画像検索装置について、図面に基づいて説明する。
上記した第一から第五実施形態の画像検索装置1、1では、結果表示手段44は、図2に示すように、表示部5の下部領域に、最上位表示位置52Aから最下位表示位置52Bに向かって、確信度が大きい順に同一サイズの確信度上位画像52を表示させた。これに対して、第六実施形態は、結果表示手段により表示される確信度上位画像の順位が変動した場合に、表示形態を変えて表示される点で相違する。
また、第六実施形態の画像検索装置は、第一実施形態の画像検索装置1と略同様の構成を有するものであるため、図1に基づいて、以下第六実施形態について説明する。
本実施形態の画像検索装置1の結果表示手段44は、上記第一から第五実施形態と同様に、撮影対象画像51及び確信度上位画像52を表示させる。
ここで、本実施形態の結果表示手段44は、例えば確信度算出手段43により確信度が新たに算出された場合や、表示率が閾値を超えた確信度上位画像52を消して、他の検索対象画像を表示させる場合などにおいて、表示部5に表示させる確信度上位画像52の表示サイズを変化させる。
第六実施形態の画像表示装置では、上記各実施形態の作用効果に加えて、以下のような作用効果を奏する。
すなわち、結果表示手段44は、確信度のランキングが変動した際に、ランクが上昇した確信度上位画像52に対して表示サイズを大きくし、ランクが下降した確信度上位画像52に対して表示サイズを小さくして表示する。このため、ユーザーは表示された各確信度上位画像52の表示サイズを確認することで、確信度のランキングがどのように変動しているかを確認することができる。
また、新たに表示部5に表示される確信度上位画像52がある場合では、当該新たに表示される確信度上位画像52を強調して表示することができる。これにより、ユーザーの目が、この新たに表示された表示サイズが大きい確信度上位画像52に向くこととなり、ユーザーによる確信度上位画像52の確認作業を良好に支援することができる。
次に、本発明の第七実施形態に係る画像検索システムについて、図面に基づいて説明する。
上記第一から第六実施形態では、画像検索装置の記憶手段3に画像データベース31が記憶され、この画像データベース31から撮影画像に対応した検索対象画像を検索する装置を例示した。これに対して、第七実施形態は、サーバ装置に設けられた記憶手段に画像データベースが記憶され、サーバ装置において、端末装置から送信された撮影画像を用いたオブジェクト認識を実施し、検索対象を再び画像端末装置に送信する点で第一から第六実施形態とは相違する。
図8は、第七実施形態の画像検索システムの概略構成を示す図である。なお、第七実施形態の説明に当たり、第一から第六実施形態で説明した構成については同符号を付し、その説明を省略、または簡略する。
図8に示すように、本実施形態の画像検索システム100は、端末装置200と、サーバ装置300とが、インターネット110を介して通信可能に接続されている。
ここで、本実施形態では、ネットワークとして、TCP/IPなどの汎用のプロトコルに基づくインターネット110を例示するが、これに限られない。例えば、無線媒体により情報が送受信可能な複数の基地局がネットワークを構成する通信回線網などのネットワークなど、データを送受信させるいずれの構成も利用できる。
端末装置200は、例えば、携帯電話、スマートフォン、モバイルコンピュータなどのモバイル機器の他、パーソナルコンピュータ等の汎用コンピュータを使用することができる。この端末装置200は、ハードウェア構成として、カメラ2と、表示部5と、操作部6と、記憶手段210と、制御手段220と、を備えている。
そして、制御手段220は、機能構成として、画像取得手段41と、撮影画像送信手段221と、結果受信手段222と、確信度算出手段43と、結果表示手段44と、画像選択手段45と、表示率算出手段46と、検索除外手段47と、を備えている。
サーバ装置300は、図9に示すように、ハードウェア構成として、記憶手段310と、制御手段320と、を備えている。
記憶手段310は、データなどを一時的に記憶できる一時領域などを有するRAMや、OSや各種サーバを制御するプログラム、各種アプリケーション、各種データ等が格納されるROM等により構成される。
この記憶手段310には、撮影画像に対してオブジェクト認識を実施するための画像データベース31が記憶されている。
そして、制御手段320は、機能構成として、画像受信手段321と、画像検索手段42と、検索結果送信手段322と、を備えている。
画像検索手段42は、第一実施形態における画像検索手段42と同様であり、画像受信手段321により受信された撮影画像を用いて、記憶手段310の画像データベース31から当該撮影画像と類似する検索対象画像を検索する。
検索結果送信手段322は、画像検索手段42によるオブジェクト認識の認識結果である検索対象画像及び類似度を、インターネット110を介して端末装置200に送信する。この時、検索結果送信手段322は、画像受信手段321で撮影画像とともに受信したユーザーIDに基づいて、撮影画像の送信元である端末装置200に検索結果を送信する。
次に、上述したような画像検索システム100における画像検索方法(最適画像検索処理)について、図面に基づいて説明する。
図9は、画像検索システムにおける最適画像検索処理のフローチャートである。
次に、ステップS2が実施され、画像取得手段41は、カメラ2により撮影された撮影画像を取得する。
サーバ装置300は、端末装置200から送信された撮影画像を取得すると(ステップS22)、図4のステップS3と同様の処理を実施し、ステップS22で取得した撮影画像と類似する検索対象画像を、記憶手段310の画像データベース31から検索する。
そして、サーバ装置300の検索結果送信手段322は、ステップS2の認識結果を、インターネット110を介して端末装置200に送信する(ステップS23)。
なお、確信度上位画像52の表示では、結果表示手段44は、第六実施形態のように、確信度の順位が変動した確信度上位画像52を、他の確信度上位画像52とは異なる表示形態で表示させてもよい。
第七実施形態では、上記第一実施形態と同様の作用効果が得られる。
つまり、本実施形態の画像検索システム100では、端末装置200では、サーバ装置300から送信されたオブジェクト認識の認識結果を結果蓄積部32に蓄積し、この蓄積された認識結果に基づいて各検索対象画像の確信度を算出する。そして、端末装置の結果表示手段44は、確信度が大きい順に、表示部5に確信度上位画像52を表示させる。また、表示部5に確信度上位画像52が表示されてから、所定の判定時間が経過するまでの間に、画像選択手段45により確信度上位画像52が選択されない場合、結果表示手段44は、当該確信度上位画像52を除外し、確信度に基づいて確信度上位画像52を更新する。
このため、ユーザーが求める目的画像が確信度上位画像52として表示部5に表示される確率を高めることができる。
また、サーバ装置300の画像検索手段42は、従来の検索エンジンと同様のアルゴリズムにより、類似度に基づいた検索対象画像を検索すればよいため、本発明の最適画像検索処理のために、新規アルゴリズムの検索エンジンを組み直す等の手間がなく、構成を簡単にできる。
また、結果表示手段44は、表示ランキングを低下させる際に、ユーザーにより選択されない確信度上位画像52を即座に除外する構成としたが、例えば、第三実施形態のように、結果表示手段44が、確信度上位画像の表示ランキングを段階的に低下させる処理、第四実施形態のように、確信度を最低値に設定する処理、第五実施形態のように、確信度を段階的に低下させる処理などを実施してもよい。
次に、本発明の第八実施形態について、図面に基づいて説明する。
上記第七実施形態の画像検索システム100では、サーバ装置300において撮影画像を用いたオブジェクト認識を行った後、オブジェクト認識の結果を端末装置200に送信し、端末装置200において、確信度の算出を行った。これに対して、第八実施形態の画像検索システムでは、サーバ装置300において、撮影画像を用いたオブジェクト認識と、オブジェクト認識の認識結果を用いた確信度の算出とを実施する点で、上記第七実施形態の画像検索システム100と相違する。
なお、第八実施形態の説明にあたり、上記第一から第七実施形態と同様の構成については、同符号を付し、その説明を省略または簡略する。
図10は、本実施形態の画像検索システムの概略構成を示す図である。
第八実施形態の画像検索システムは、第七実施形態と同様、端末装置200と、サーバ装置300とを備え、インターネット110等のネットワークを介して、これらの端末装置200及びサーバ装置300が通信可能に接続されている。
本実施形態の端末装置200は、ハードウェア構成として、カメラ2と、表示部5と、操作部6と、記憶手段(図示略)と、制御手段220と、を備えている。
結果表示手段44は、結果受信手段222により取得した検索対象画像を確信度上位画像52として、確信度が大きい順に並べて表示部5に表示させる。また、この結果表示手段44は、結果受信手段222により認識結果を受信した場合にのみ表示部5に表示する確信度上位画像52を更新する。
本実施形態のサーバ装置300では、図10に示すように、記憶手段310は、画像データベース31に加え、結果蓄積部32を備えている。
検索除外手段47は、検索結果送信手段322により認識結果を送信してからの時間を計測する。そして、検索除外手段47は、所定の判定時間が経過するまでの間に、選択画像受信手段323により選択画像が受信されなかった場合に、検索結果送信手段322により送信した認識結果である検索対象画像を、結果蓄積部32から除外する。
次に、上述したような画像検索システムにおける画像検索方法(最適画像検索処理)について、図面に基づいて説明する。
図11は、画像検索システムにおける最適画像検索処理のフローチャートである。
なお、本実施形態の画像検索システムによる最適画像検索処理の説明にあたり、上記実施形態において説明したステップについては、同符号を付し、その説明を省略又は簡略する。
この際、撮影画像送信手段221は、端末装置200を判別するためのユーザーIDを撮影画像とともに、サーバ装置300に送信する。また、各端末装置200において、表示部5に表示させる確信度上位画像52の表示数が異なる場合、撮影画像送信手段221は、撮影画像とともに、確信度上位画像52の表示数を送信してもよい。
そして、サーバ装置300の画像受信手段321は、ステップS22を実施し、端末装置200から送信された撮影画像を受信する。
この後、画像検索手段42は、ステップS3のオブジェクト認識処理(画像検索処理)を実施し、撮影画像と類似する検索対象画像を、記憶手段310の画像データベース31から検索する。また、画像検索手段42は、オブジェクト認識により認識された認識結果を結果蓄積部32に蓄積する。
さらに、サーバ装置300は、ステップS4の処理を実施し、結果蓄積部32に蓄積された過去の認識結果に基づいて、各検索対象画像に対して確信度を算出する。
ここで、本実施形態では、ステップS23において、検索対象画像とともに、当該検索対象画像の確信度を端末装置200に送信する。
この後、端末装置200の制御手段220は、ステップS6〜S7を実施し、画像取得手段41により次の撮影画像が取得されたか否か、及び画像選択手段45により次の撮影画像が取得されたか否かを判定する。
このステップS7において、端末装置200は、所定の判定時間が経過するまでの間に、選択画像が取得されたか否かを判定する必要がない。すなわち、画像選択手段45により確信度上位画像52が選択されない場合、ステップS6、及びステップS7を繰り返し、撮影画像の取得の有無、選択画像の有無の判定を繰り返す。
また、このステップS7において、ユーザーの操作に基づいて、画像選択手段45により確信度上位画像52が選択されると、画像選択手段45は、当該選択した確信度上位画像52(選択画像)をサーバ装置300に送信する(ステップS32)。
これにより、端末装置200の表示部5には、ユーザーが所定の判定時間の間に選択しなかった確信度上位画像52が表示されなくなり、新たな検索対象画像に基づいた確信度上位画像52が表示されることとなる。すなわち、上述した第一、二、第四実施形態と同様の表示ランキングの表示を行うことができる。
また、ステップS36の処理において、ステップS23にて送信した検索対象画像の確信度を段階的に低下させる処理をすることで、第三、第五実施形態と同様の表示ランキングの表示を行うことができる。
本実施形態の画像検索システムでは、サーバ装置300において、結果蓄積部32に蓄積された認識結果に基づいて、各検索対象画像の確信度が算出され、確信度が大きい順に表示数分の検索対象画像が端末装置200に送信される。これにより、端末装置200の表示部5には、過去の認識結果に基づいた精度の高い確信度上位画像52を表示させることができる。
また、サーバ装置300から端末装置200に認識結果を送信してから、所定の判定時間が経過するまでの間に、端末装置200からサーバ装置300に選択画像が送信されない場合、検索除外手段47は、結果蓄積部32から、送信した認識結果に対応する検索対象画像を除外する。このため、ユーザーが選択しなかった確信度上位画像を検索対象から除外することができ、より迅速に目的画像を提供することができる。
更に、本実施形態の端末装置200は、確信度の算出を実施せず、サーバ装置300から送信された認識結果である確信度が付与された検索対象画像を確信度上位画像52として表示部5に表示させるのみである。このため、端末装置200の機能構成をより簡単にでき、例えば、処理能力が低い携帯電話等においても、上記のように検出精度が高く、かつ、目的画像が表示される確率が高い最適画像検索処理を実施することができる。
[変形例]
なお、本発明は、上述した実施形態に限定されるものではなく、本発明の目的を達成できる範囲で、以下に示される変形をも含むものである。
例えば、上述した第一〜第八実施形態では、確信度算出手段43は、オブジェクト認識により得られた類似度と、オブジェクト認識が実施された回数に基づいて、式(1)に基づいて確信度を算出したが、これに限定されない。
例えば、確信度算出手段は、オブジェクト認識により得られた各検索対象画像の撮影画像に対する類似度に基づいて設定される類似ランキングと、当該検索対象画像が検索された回数(Hitcount)とに基づいて確信度を算出してもよい。
この場合、確信度算出手段は、例えば、以下の式(2)に基づいて、確信度を算出する。
I={A,B,C・・・} 検索対象画像の集合
R={R1,R2,R3・・・,Rn} 類似ランキング(認識結果)の集合
RANK(r,i) 類似ランキングRで、検索対象画像iにおけるランク
Hitcount(i) 検索対象画像iを含む類似ランキングの数(検索対象画像iが検索(認識)された回数)
上述のような確信度の算出方法では、類似ランキングに基づいてより簡単に確信度を算出することができ、処理の高速化を図ることができる。
I={A,B,C・・・} 検索対象画像の集合
F={F1,F2,F3・・・,Fn} オブジェクト認識結果の集合
S(f,i) f回目の検索における、検索対象画像iの撮影画像に対する類似度
Hitcount(i) 検索対象画像iが検索された回数
上述のような確信度の算出方法を用いる場合でも、1回の検索処理による類似度に基づいた検索結果表示よりも、精度の高い検出結果を表示することができる。
この場合、記憶手段は、各検索対象画像に対する確信度を記憶し、確信度変化手段は、オブジェクト認識が実施される毎に、記憶されている確信度を更新する。また、確信度加算値としては、例えば類似ランキングの各ランクに対して加算値が設定されていてもよく、類似度に基づいて、加算値を算出してもよい。
として利用できる。
5…表示部
31…画像データベース(画像記憶部)
32…結果蓄積部
41…画像取得手段
42…画像検索手段
43…確信度算出手段
44…結果表示手段
45…画像選択手段
46…表示率算出手段
100…画像検索システム
110…インターネット(ネットワーク)
200…端末装置
221…撮影画像送信手段
300…サーバ装置
322…検索結果送信手段
Claims (14)
- 撮影画像を取得し、当該撮影画像と類似する検索対象画像を検索する画像検索装置であって、
前記撮影画像を順次取得する画像取得手段と、
前記撮影画像が取得される毎に、前記撮影画像に類似する検索対象画像を検索し、当該検索された検索対象画像と、その類似度とを含む検索結果を取得する画像検索手段と、
前記検索結果を蓄積する結果蓄積部と、
前記撮影画像が取得される毎に順次取得され前記結果蓄積部に蓄積された過去の前記検索結果を用いて各検索対象画像について算出され、前記検索対象画像が前記撮影画像に対してユーザーが求める目的画像であるか否かの信頼性を示す確信度に基づいて、前記確信度が大きい順にランキングして前記検索対象画像を表示させ、前記ユーザーの選択操作の有無および前記確信度に基づいて、前記検索対象画像が表示されてから所定時間が経過するまでの間のユーザーの選択操作がない場合に、前記表示された検索対象画像の表示ランキングを更新する結果表示手段と、
を具備することを特徴とする画像検索装置。 - 請求項1に記載の画像検索装置において、
前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がなく、かつ所定時間が経過した場合に、当該検索対象画像の表示ランキングを低下させる
ことを特徴とする画像検索装置。 - 請求項2に記載の画像検索装置において、
前記確信度を算出する確信度算出手段を備え、
前記確信度算出手段は、前記表示された検索対象画像に対するユーザーの選択操作がない場合に、当該検索対象画像の確信度を低下させて更新し、
前記結果表示手段は、更新された確信度に基づいて、確信度が大きい順に前記検索対象画像を表示させる
ことを特徴とする画像検索装置。 - 請求項2または請求項3に記載の画像検索装置において、
前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がない場合に、当該検索対象画像を表示から除外する
ことを特徴とする画像検索装置。 - 請求項2または請求項3に記載の画像検索装置において、
前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がない場合に、当該検索対象画像の表示ランキングを段階的に低下させる
ことを特徴とする画像検索装置。 - 請求項2から請求項5のいずれかに記載の画像検索装置において、
前記結果表示手段により前記検索対象画像を表示させたトータル時間に対する、各検索対象画像が表示された時間の割合である表示率を算出する表示率算出手段を備え、
前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がなく、かつ当該検索対象画像の表示率が閾値を超えた場合に、当該検索対象画像の表示ランキングを低下させる
ことを特徴とする画像検索装置。 - 請求項2から請求項5のいずれかに記載の画像検索装置において、
前記結果表示手段は、前記表示された検索対象画像に対するユーザーの選択操作がなく、予め設定された判定時間が経過した場合に、当該検索対象画像の表示ランキングを低下させる
ことを特徴とする画像検索装置。 - 請求項1から請求項7のいずれかに記載の画像検索装置において、
前記確信度を算出する確信度算出手段を備え、
前記確信度算出手段は、前記撮影画像及び前記検索対象画像の類似度と、過去の前記検索結果に基づいて求められる前記画像検索手段により検索処理が実施された回数とに基づいて、各検索対象画像の類似度の平均値を算出し、前記検索対象画像の確信度とする
ことを特徴とする画像検索装置。 - 請求項1から請求項8のいずれかに記載の画像検索装置において、
前記結果表示手段は、前記表示された検索対象画像を更新する場合に、当該更新する検索対象画像の表示形態を、他の検索対象画像と異なる表示形態で表示させる
ことを特徴とする画像検索装置。 - 請求項1から請求項9のいずれかに記載の画像検索装置において、
前記画像取得手段は、オブジェクトが撮影された撮影画像を取得し、
前記画像取得手段は、前記撮影画像のオブジェクトと類似するオブジェクトの画像を有する前記検索対象画像を検索する
ことを特徴とする画像検索装置。 - 撮影画像を取得する端末装置と、前記撮影画像と類似する検索対象画像を検索するサーバ装置と、がネットワークを介してそれぞれ接続された画像検索システムであって、
前記サーバ装置は、
前記検索対象画像を記憶する画像記憶部と、
前記端末装置から送信された前記撮影画像と類似する前記検索対象画像を検索し、当該検索された検索対象画像と、その類似度を含む検索結果を取得する画像検索手段と、
前記検索結果を前記端末装置に送信する検索結果送信手段と、を備え、
前記端末装置は、
前記撮影画像を順次取得する画像取得手段と、
取得した前記撮影画像を順次、前記サーバ装置に送信する撮影画像送信手段と、
前記サーバ装置から送信された前記検索結果を蓄積する結果蓄積部と、
前記撮影画像が取得される毎に順次取得され前記結果蓄積部に蓄積された過去の前記検索結果を用いて各検索対象画像について算出され、前記検索対象画像が前記撮影画像に対してユーザーが求める目的画像であるか否かの信頼性を示す確信度に基づいて、前記確信度が大きい順にランキングして前記検索対象画像を表示させ、前記ユーザーの選択操作の有無および前記確信度に基づいて、前記検索対象画像が表示されてから所定時間が経過するまでの間のユーザーの選択操作がない場合に、前記表示された検索対象画像の表示ランキングを更新する結果表示手段と、
を備えることを特徴とする画像検索システム。 - 撮影画像を取得する端末装置と、前記撮影画像と類似する検索対象画像を検索するサーバ装置と、がネットワークを介してそれぞれ接続された画像検索システムであって、
前記サーバ装置は、
前記検索対象画像を記憶する画像記憶部と、
前記端末装置から送信された前記撮影画像と類似する前記検索対象画像を検索し、当該検索された検索対象画像と、その類似度を含む検索結果を取得する画像検索手段と、
前記検索結果を蓄積する検索結果蓄積部と、
前記撮影画像が取得される毎に順次取得され前記結果蓄積部に蓄積された過去の前記検索結果を用いて各検索対象画像について算出され、前記検索対象画像が前記撮影画像に対してユーザーが求める目的画像であるか否かの信頼性を示す確信度を算出する確信度算出手段と、
前記検索対象画像とその確信度とを前記端末装置に送信する検索対象画像送信手段と、を備え、
前記端末装置は、
前記撮影画像を順次取得する画像取得手段と、
取得した複数の前記撮影画像を前記サーバ装置に送信する撮影画像送信手段と、
前記サーバ装置から送信された前記検索対象画像を、前記確信度が大きい順に表示させ、前記ユーザーの選択操作の有無および前記確信度に基づいて、前記検索対象画像が表示されてから所定時間が経過するまでの間のユーザーの選択操作がない場合に、前記表示された検索対象画像の表示ランキングを更新する結果表示手段と、を備える
ことを特徴とする画像検索システム。 - コンピュータにより、撮影画像と類似する検索対象画像を検索させる画像検索方法であって、
前記コンピュータは、
前記撮影画像を順次取得する画像取得ステップと、
前記撮影画像が取得される毎に、前記撮影画像に類似する検索対象画像を検索し、当該検索された検索対象画像と、その類似度とを含む検索結果を取得し、結果蓄積部に蓄積する画像検索ステップと、
前記撮影画像が取得される毎に順次取得され前記結果蓄積部に蓄積された過去の前記検索結果を用いて各検索対象画像について算出され、前記検索対象画像が前記撮影画像に対してユーザーが求める目的画像であるか否かの信頼性を示す確信度に基づいて、前記確信度が大きい順にランキングして前記検索対象画像を表示させ、前記ユーザーの選択操作の有無および前記確信度に基づいて、前記検索対象画像が表示されてから所定時間が経過するまでの間のユーザーの選択操作がない場合に、前記表示された検索対象画像の表示ランキングを更新する結果表示ステップと、
を備えることを特徴とする画像検索方法。 - 撮影画像と類似する検索対象画像を検索させる画像検索プログラムであって、
前記撮影画像を順次取得する画像取得ステップと、
前記撮影画像が取得される毎に、前記撮影画像に類似する検索対象画像を検索し、当該検索された検索対象画像と、その類似度とを含む検索結果を取得し、結果蓄積部に蓄積する画像検索ステップと、
前記撮影画像が取得される毎に順次取得され前記結果蓄積部に蓄積された過去の前記検索結果を用いて各検索対象画像について算出され、前記検索対象画像が前記撮影画像に対してユーザーが求める目的画像であるか否かの信頼性を示す確信度に基づいて、前記確信度が大きい順にランキングして前記検索対象画像を表示させ、前記ユーザーの選択操作の有無および前記確信度に基づいて、前記検索対象画像が表示されてから所定時間が経過するまでの間のユーザーの選択操作がない場合に、前記表示された検索対象画像の表示ランキングを更新する結果表示ステップと、をコンピュータに実行させる
ことを特徴とする画像検索プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011146480A JP5548655B2 (ja) | 2011-06-30 | 2011-06-30 | 画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011146480A JP5548655B2 (ja) | 2011-06-30 | 2011-06-30 | 画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013015902A JP2013015902A (ja) | 2013-01-24 |
JP5548655B2 true JP5548655B2 (ja) | 2014-07-16 |
Family
ID=47688565
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011146480A Active JP5548655B2 (ja) | 2011-06-30 | 2011-06-30 | 画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5548655B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11568245B2 (en) | 2017-11-16 | 2023-01-31 | Samsung Electronics Co., Ltd. | Apparatus related to metric-learning-based data classification and method thereof |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6966084B2 (ja) * | 2016-02-23 | 2021-11-10 | Necソリューションイノベータ株式会社 | 装置、方法、プログラム及び記録媒体 |
CN113656630A (zh) * | 2021-08-17 | 2021-11-16 | 北京百度网讯科技有限公司 | 检索图像的方法、装置和系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10141970A (ja) * | 1996-11-15 | 1998-05-29 | Sanyo Electric Co Ltd | 検索装置 |
JP5164901B2 (ja) * | 2009-03-17 | 2013-03-21 | ヤフー株式会社 | 画像検索装置 |
JP2011003066A (ja) * | 2009-06-19 | 2011-01-06 | Ntt Docomo Inc | 情報取得装置、情報取得プログラム |
JP5438436B2 (ja) * | 2009-08-27 | 2014-03-12 | 株式会社日立国際電気 | 画像検索装置 |
JP5506324B2 (ja) * | 2009-10-22 | 2014-05-28 | 株式会社日立国際電気 | 類似画像検索システム、および、類似画像検索方法 |
JP5094830B2 (ja) * | 2009-12-16 | 2012-12-12 | ヤフー株式会社 | 画像検索装置、画像検索方法及びプログラム |
-
2011
- 2011-06-30 JP JP2011146480A patent/JP5548655B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11568245B2 (en) | 2017-11-16 | 2023-01-31 | Samsung Electronics Co., Ltd. | Apparatus related to metric-learning-based data classification and method thereof |
Also Published As
Publication number | Publication date |
---|---|
JP2013015902A (ja) | 2013-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018010512A1 (zh) | 拍摄文件上传方法及装置 | |
JP6681011B2 (ja) | 画像の取り込みを制御するためのシステム及び方法 | |
US11227006B2 (en) | Content-aware filter options for media object collections | |
US9058686B2 (en) | Information display system, information display apparatus, information provision apparatus and non-transitory storage medium | |
US20160179881A1 (en) | Information processing apparatus, information processing method, and non-transitory computer readable storage medium | |
WO2016199662A1 (ja) | 画像情報処理システム | |
CN108595573B (zh) | 页面显示方法、装置、存储介质及电子设备 | |
JP5548655B2 (ja) | 画像検索装置、画像検索システム、画像検索方法、及び画像検索プログラム | |
EP2713604A1 (en) | Method for determining number of photos capable of being taken, and photographing device | |
CN105847413A (zh) | 相机参数处理方法、装置、系统及服务器 | |
CN107710736A (zh) | 辅助用户捕获图像或视频的方法和系统 | |
US9762767B2 (en) | Imaging operation terminal, imaging system, software extraction method, and computer-readable device | |
JP2013205595A (ja) | 撮像装置、並びにそのピント調節方法及びピント調節プログラム | |
CN107786869B (zh) | 一种电视设备菜单路径生成方法、装置及存储介质 | |
US9451155B2 (en) | Depth-segmenting peak tracking autofocus | |
US9760582B2 (en) | Information processing apparatus and information processing method | |
CN106776812B (zh) | 更新关键字的方法及装置 | |
KR101175194B1 (ko) | 이미지 검색 방법, 장치, 서버 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 | |
CN112188108A (zh) | 拍摄方法、终端和计算机可读存储介质 | |
US20120139941A1 (en) | Information display system, information display apparatus and non-transitory storage medium | |
JP6291850B2 (ja) | プログラム、画像認識装置、画像認識方法 | |
KR20120052569A (ko) | 사용자 정보 기반 영상 검색 관리 방법과 이를 이용한 장치 및 시스템 | |
JP2010066959A (ja) | 画像検索装置、画像検索システム、画像検索方法およびプログラム | |
JP2015026105A (ja) | 画像評価サーバ | |
JP2017054555A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130716 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131015 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140422 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140519 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5548655 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |