JP4333902B2 - 情報検索装置、情報検索方法、及び情報検索プログラム - Google Patents
情報検索装置、情報検索方法、及び情報検索プログラム Download PDFInfo
- Publication number
- JP4333902B2 JP4333902B2 JP2003049963A JP2003049963A JP4333902B2 JP 4333902 B2 JP4333902 B2 JP 4333902B2 JP 2003049963 A JP2003049963 A JP 2003049963A JP 2003049963 A JP2003049963 A JP 2003049963A JP 4333902 B2 JP4333902 B2 JP 4333902B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- search
- feature
- stored
- importance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、蓄積されている複数の情報から所望の情報を検索する情報検索装置、情報検索方法、及び情報検索プログラムに関する。
【0002】
【従来の技術】
近年、コンピュータ等の各種情報処理装置の処理能力の向上、及びこれら情報処理装置に付随する記憶装置の記憶容量の増大にともない、例えば画像データ等の各種情報を大量に記憶し、処理することが可能となっている。この種の情報処理技術のうち、大量の画像データの中から検索者が所望の画像データを検索する画像検索技術が各種提案されている。
【0003】
例えば、画像検索技術としては、検索者が所望する画像データに類似した画像データを当該検索者が選択入力し、画像データが有する画像特徴に基づいて、当該検索者が選択した画像データと画像データベース内に蓄積された画像データとの類似度を算出し、類似度の高い画像データを検索画像として表示する方式のものがある(例えば、特許文献1乃至特許文献3参照。)。
【0004】
【特許文献1】
特開平2−48772号公報
【特許文献2】
特開2001−101407号公報
【特許文献3】
特開2001−319232号公報
【0005】
具体的には、特許文献1には、入力画像から抽出した特徴をもとにインデックスファイルを作成するとともに、入力画像の特徴及び蓄積用画像をインデックスファイルをもとに蓄積しておき、提示された入力例示画像から画像の類似度を評価するために、入力画像の特徴から評価尺度を計算し、さらに、得られた評価尺度から類似度を決定し、この決定された類似度に基づいて候補順位を付け、その類似度による分類と候補順位にしたがい、画像データベースから必要な画像を検索する類似画像検索方法が開示されている。これにより、この類似画像検索方法は、あらゆる画像を評価尺度により定量的に分類することができ、画像内容に即した人間の感覚に合う検索を実現することができるとしている。
【0006】
また、特許文献2には、所定の制約条件に基づいてカラーアピアランスモデルのモデルパラメータを算出し、このモデルパラメータに基づいて、キー画像又はサーチ画像のいずれか一方のヒストグラムを正規化し、さらに、正規化処理した一方の画像のヒストグラムと他方の画像のヒストグラムとの類似度を算出し、この算出された類似度に基づいて、そのサーチ画像が検索の候補画像であるか否かを判定する類似情報検索装置が開示されている。これにより、この類似情報検索装置は、キー画像とサーチ画像との照明条件が異なる場合であっても、類似度検索を高精度で行うことができるとしている。
【0007】
さらに、特許文献3には、入力された画像データから複数種類の特徴量を抽出し、これら複数種類の特徴量と、蓄積された画像データから抽出された複数種類の特徴量とを比較し、これら両画像データの類似度を算出し、この算出された類似度に基づいて、入力された画像データに類似する画像データを検索する類似情報検索装置が開示されている。これにより、この類似情報検索装置は、グラデーションや模様、テクスチャに特徴がある画像を有効に検索し、検索精度を向上させることができるとしている。
【0008】
ところで、これら特許文献1乃至特許文献3に代表される画像検索技術は、検索者が選択した画像データと、画像データベース内に蓄積された画像データとの間で類似度を算出する際に、全ての画像データの特徴を同等に扱って類似度を算出するものである。
【0009】
しかしながら、画像データを選択するに際しては、一般に、例えば、「色を重視する」、「構図を重視する」、「色と構図とを4:6の割合で重視する」といったように、画像データを表す色や構図等の各種特徴の重要度が異なる場合が多い。したがって、上述した従来の画像検索技術においては、検索者の意図が十分に反映されない結果を出力する可能性が大きい。
【0010】
そこで、画像検索技術としては、複数の画像特徴の重要度を検索者に指定させ、指定された重要度に基づいた重み付けを行い、類似度算出を行う技術が提案されている(例えば、特許文献4及び特許文献5参照。)。
【0011】
【特許文献4】
特開2001−143080号公報
【特許文献5】
特開平11−39332号公報
【0012】
特許文献4には、指定された検索元画像の特徴量と、蓄積された複数枚の画像の特徴量とに基づいて、検索元画像と複数枚の画像との類似度を算出し、この算出された類似度に基づいて、複数枚の画像から類似画像を抽出して検索結果として提示する際に、特徴量の各パラメータに異なった重みを設定し、設定された重み付けを用いて類似度の算出を実行する画像検索方法が開示されている。これにより、この画像検索方法は、ユーザの意図を迅速に反映した画像検索を行うことができるとしている。
【0013】
また、特許文献5には、希望画像と類似した画像及び類似しない画像を1つ又は2つ以上指定して参照画像とし、各画像或いは指定された領域から抽出される特徴量の一部又は全てを参照画像或いは指定された領域毎に指定し、各特徴量と画像データベースに登録されている検索対象となる被検索画像が有する各特徴量とを用いて総合類似度を算出し、この類似度に応じた検索結果の画像を出力する画像検索方法が開示されている。特に、この画像検索方法は、特徴量を指定する際に、検索者が望むものには正の重みを付与し、望まないものには負の重みを付与するものである。これにより、この画像検索方法は、検索者が参照画像を利用して容易に希望画像を検索することができるとしている。
【0014】
さらに、重要度に基づいた重み付けを行う画像検索技術としては、例えば、特許文献6に記載された技術のように、検索効率の向上を図ることを目的として提案されているものもある。
【0015】
【特許文献6】
特開平9−204440号公報
【0016】
この特許文献6には、表示された画像の中から所望の画像に類似した画像を検索者によって選択させ、選択された複数の画像がそれぞれ有する複数の画像特徴に基づいて、各特徴の注目度を判定し、注目度を重み付けして得られる各特徴の類似度の総和を求め、類似度の総和が所定値よりも高い画像を表示する画像検索システムが開示されている。これにより、この画像検索システムは、表示された画像の中から検索すべき画像に類似していると感じられる画像を検索者に選択させながら、検索対象の画像を有効に絞り込み、大量の画像の中から検索者の所望する画像を効率よく検索することができるとしている。
【0017】
【発明が解決しようとする課題】
ところで、特許文献4及び特許文献5に代表される画像検索技術は、検索者に特徴の重要度を指定させるものであるが、検索者においても明確に特徴の重要度を把握できている場合は少ない。したがって、この種の画像検索技術においては、重要度の指定が検索者にとって大きな負担を強いることになり、適切に重要度を指定できない場合には、検索効率の悪化を招来するという問題があった。
【0018】
一方、特許文献6に代表される画像検索技術は、特徴の重要度を自動的に設定するものであり、所定の検索サイクルにおいて、選択された複数の画像データ間の特徴量に基づいて重要度を算出するものである。ここで、検索者による検索行動は、通常、現在までにどのような画像データを選択してきたかといった文脈(選択履歴)に依存するものである。したがって、特許文献6に代表されるように、その時点で選択された画像データのみを用いて、その都度特徴の重要度を算出する画像検索技術においては、検索者による以前の検索行動を考慮するものではなく、それまでの文脈情報の一部又は大部分を失うことになり、文脈に依存する検索者の検索意図を十分に汲み取ることができないという問題があった。
【0019】
なお、これらの問題は、画像データの検索のみならず、抽出した特徴に基づく類似度を用いて検索するものであれば、任意の情報についても生じるものである。
【0020】
本発明は、このような実情に鑑みてなされたものであり、画像データをはじめとする任意の情報を検索する際に、検索者の検索意図を十分に反映した極めて効率のよい情報検索を行うことができる情報検索装置、情報検索方法、及び情報検索プログラムを提供することを目的とする。
【0021】
【課題を解決するための手段】
上述した目的を達成する本発明にかかる情報検索装置は、蓄積されている複数の情報から所望の情報を検索する情報検索装置であって、少なくとも、検索対象となる複数の検索情報と、これら検索情報について抽出された複数種類の特徴のそれぞれの特徴量とを対応付けて記憶するものであって、蓄積されている検索情報の全ての組み合わせについて計算された尤度からなる尤度マップが格納された記憶手段と、この記憶手段に蓄積されている検索情報の少なくとも一部を候補情報として提示する提示手段と、この提示手段を介して提示された複数の候補情報の中から、検索者が一の情報を選択するための入力手段と、この入力手段を介して選択された情報に基づいて、記憶手段に蓄積されている検索情報の中から所望の情報を検索する検索手段とを備え、検索手段は、検索者が入力手段を介して現在までに選択した情報の履歴である選択履歴に基づいて複数種類の特徴のそれぞれの重要度を算出するものであって、特に各特徴毎に予め作成されている尤度マップから各特徴の尤度を取得し、ベイズの定理に従って各特徴毎の事後確率を算出し、この算出した事後確率を次回の入力手段を介した情報の選択行動時の新たな重要度として、入力手段を介して選択された情報と記憶手段に蓄積されている他の情報との類似度を各特徴毎に算出し、各特徴毎に求められた類似度に対して、対応する重要度を乗じた重み付き類似度を累積加算することにより、重要度に基づいた重み付き類似度総和を求め、重み付き類似総和に基づいて検索情報の中から所望の情報を検索することを特徴としている。
【0022】
このような本発明にかかる情報検索装置は、検索者が入力手段を介して現在までに選択した情報の履歴である選択履歴に基づいて複数種類の特徴のそれぞれの重要度を算出することにより、検索者による以前の検索行動を踏まえた検索を行うことができる。したがって、本発明にかかる情報検索装置は、文脈に依存する検索者の検索意図を十分に汲み取った極めて効率のよい検索を行うことができる。
【0024】
さらに、本発明にかかる情報検索装置は、現在までの検索行動に基づいて得られる事前確率と情報の選択行動に基づいて得られる条件付き確率とに基づいて事後確率を求め、得られた事後確率を次回の検索サイクルにおける新たな事前確率として用い、逐次重要度を算出して更新していくことにより、現在までの選択履歴を反映させることができる。
【0025】
ここで、検索手段は、条件付き確率として、入力手段を介して第1の情報が選択された後に第2の情報が選択される確率を示す尤度を、各特徴毎に予め計算しており、記憶手段には、蓄積されている検索情報の全ての組み合わせについて計算された尤度からなる尤度マップが格納されている。
【0026】
したがって、本発明にかかる情報検索装置は、処理を単純化することができ、極めて効率のよい検索を行うことが可能となる。
【0027】
なお、確率的に重要度を算出するこのような処理を実現するために、検索手段は、ベイズの定理を用いることができる。
【0031】
また、上述した目的を達成する本発明にかかる情報検索方法は、蓄積されている複数の情報から所望の情報を検索する情報検索方法であって、提示手段が、少なくとも、検索対象となる複数の検索情報と、これら検索情報について抽出された複数種類の特徴のそれぞれの特徴量とを対応付けて記憶するものであって、蓄積されている検索情報の全ての組み合わせについて計算された尤度からなる尤度マップが格納された記憶手段に蓄積されている検索情報の少なくとも一部を候補情報として提示する提示工程と、入力手段が、この提示工程にて提示された複数の候補情報の中から、検索者による一の情報の選択を受け付ける選択工程と、検索手段が、この選択工程にて選択された情報に基づいて、記憶手段に蓄積されている検索情報の中から所望の情報を検索する検索工程とを備え、検索手段による、検索工程は、検索者が入力手段を介して現在までに選択した情報の履歴である選択履歴に基づいて複数種類の特徴のそれぞれの重要度を算出するものであって、特に各特徴毎に予め作成されている尤度マップから各特徴の尤度を取得し、ベイズの定理に従って各特徴毎の事後確率を算出し、この算出した事後確率を次回の入力手段を介した情報の選択行動時の新たな重要度として、入力手段を介して選択された情報と記憶手段に蓄積されている他の情報との類似度を各特徴毎に算出し、各特徴毎に求められた類似度に対して、対応する重要度を乗じた重み付き類似度を累積加算することにより、重要度に基づいた重み付き類似度総和を求め、重み付き類似総和に基づいて検索情報の中から所望の情報を検索することを特徴としている。
【0032】
このような本発明にかかる情報検索方法は、検索者が現在までに選択した情報の履歴である選択履歴に基づいて複数種類の特徴のそれぞれの重要度を算出することにより、検索者による以前の検索行動を踏まえた検索を行うことが可能となる。したがって、本発明にかかる情報検索方法は、文脈に依存する検索者の検索意図を十分に汲み取った極めて効率のよい検索を行うことが可能となる。
【0033】
さらに、上述した目的を達成する本発明にかかる情報検索プログラムは、蓄積されている複数の情報から所望の情報を検索するコンピュータ実行可能な情報検索プログラムであって、少なくとも、検索対象となる複数の検索情報と、これら検索情報について抽出された複数種類の特徴のそれぞれの特徴量とを対応付けて記憶するものであって、蓄積されている検索情報の全ての組み合わせについて計算された尤度からなる尤度マップが格納された記憶手段に蓄積されている検索情報の少なくとも一部を候補情報として提示する提示処理と、この提示処理にて提示された複数の候補情報の中から検索者によって選択された情報に基づいて、記憶手段に蓄積されている検索情報の中から所望の情報を検索する検索処理とを備え、検索処理は、検索者が現在までに選択した情報の履歴である選択履歴に基づいて複数種類の特徴のそれぞれの重要度を算出するものであって、特に各特徴毎に予め作成されている尤度マップから各特徴の尤度を取得し、ベイズの定理に従って各特徴毎の事後確率を算出し、この算出した事後確率を次回の情報の選択行動時の新たな重要度として、選択された情報と記憶手段に蓄積されている他の情報との類似度を各特徴毎に算出し、各特徴毎に求められた類似度に対して、対応する重要度を乗じた重み付き類似度を累積加算することにより、重要度に基づいた重み付き類似度総和を求め、重み付き類似総和に基づいて検索情報の中から所望の情報を検索することを特徴としている。
【0034】
このような本発明にかかる情報検索プログラムは、検索者が現在までに選択した情報の履歴である選択履歴に基づいて複数種類の特徴のそれぞれの重要度を算出することにより、検索者による以前の検索行動を踏まえた検索を行うことが可能となる。したがって、この本発明にかかる情報検索プログラムを実行する機器は、文脈に依存する検索者の検索意図を十分に汲み取った極めて効率のよい検索を行うことが可能となる。
【0035】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について図面を参照しながら詳細に説明する。
【0036】
この実施の形態は、複数の画像データを蓄積した事例データベースから所望の画像データを検索する情報検索装置である。この情報検索装置は、検索候補として提示される複数の画像データの中から検索者が所望の画像データを選択する検索サイクルを繰り返し行うことにより、画像データの絞り込み検索を行う対話型検索を行うものであり、検索しようとする画像データに類似していると感じられる画像データを検索者に選択させながら、選択された複数の画像データに共通する特徴を逐次推定するものである。
【0037】
特に、この情報検索装置は、検索者が現在までに選択した画像データの履歴である選択履歴に基づいて、画像データの特徴の重要度を確率的に求め、検索サイクルを繰り返し行い、文脈を考慮した重要度の更新を行うことにより、文脈に依存する検索者の検索意図を十分に汲み取った極めて効率のよい検索を行うことができるものである。
【0038】
図1に示すように、情報検索装置10は、画像データを表示する提示手段としての表示装置11と、検索者が入力操作を行うための入力手段である入力装置12と、検索者の入力に基づいて画像データを検索する検索手段である画像検索部13と、検索対象となる複数の検索画像データIDを含む各種情報を記憶した記憶手段である画像記憶装置14とを備える。
【0039】
表示装置11は、例えばCRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)等の任意の表示デバイスから構成される。表示装置11は、画像記憶装置14に蓄積されている画像データの少なくとも一部を候補画像データとして表示し、検索者に提示する。
【0040】
入力装置12は、例えばキーボードやマウスといったデバイスから構成され、データの入力が可能なヒューマンインターフェースとして構成される。この入力装置12を介して検索者によって入力された情報は、画像検索部13に供給される。
【0041】
画像検索部13は、入力装置12を介した検索者の入力に基づいて、画像記憶装置14に蓄積されている複数の検索画像データIDの中から検索結果としての所望の画像データを求める。画像検索部13は、検索した画像データを表示装置13に供給する。なお、この画像検索部13は、例えばCD−ROM等の記録媒体や所定のネットワークを介して提供されるコンピュータによって実行可能なプログラムとして構成することも可能である。
【0042】
画像記憶装置14は、例えば、CD−ROM等の着脱可能な記録媒体や、ハードディスクやこれらハードディスクを複数台用いていわゆるRAID(Redundant Arrays of Independent (Inexpensive) Disks)構成とした装置といった所定の記憶装置から構成され、少なくとも、検索対象となる複数の検索画像データIDと、これら検索画像データについて抽出された複数種類の特徴のそれぞれの特徴量を示す特徴データFDとを対応付けて記憶する。なお、画像データの特徴としては、例えばカラーヒストグラム、濃淡分布、周波数分布等、任意のものを採用することができ、特徴の抽出方法も既存の技術を任意に適用することができる。画像記憶装置14には、これら複数種類の特徴毎に抽出された特徴量を示す値が特徴データFDとして記憶される。
【0043】
また、画像記憶装置14には、詳細は後述するが、各特徴データにおける各項目の値に対してそれぞれ重み付けを行うための重要度情報を登録した尤度マップLMと、上述した選択履歴を記述した選択履歴情報SHとが格納される。画像記憶装置14に記憶されたこれらの情報は、画像検索部13によって読み出される。
【0044】
このような各部を備える情報検索装置10は、図2に示すような一連の工程を経ることにより、複数の検索画像データIDの中から所望の画像データを検索する。
【0045】
まず、情報検索装置10は、同図に示すように、ステップS1において、画像検索部13の制御のもとに、表示装置11に対して表示するM枚の画像データを、画像記憶装置14に蓄積されている複数の検索画像データIDの中から無作為に選択し、ステップS2において、選択されたM枚の画像データを候補画像データとして表示装置11に対して表示する。ここで、画像データの枚数Mは、表示装置11に対して一度に表示可能な候補画像データの枚数を示すものである。すなわち、情報検索装置10は、表示装置11に対して9枚の候補画像データを一度に表示可能である場合には、例えば図3(A)に示すように、表示装置11に対して9枚の候補画像データをサムネイル形式で表示する。
【0046】
続いて、情報検索装置10においては、図2中ステップS3において、表示装置11に対して表示されたM枚の候補画像データの中に、所望の画像データが存在するか否かを検索者によって判断する。
【0047】
ここで、情報検索装置10は、検索者が所望の画像データが存在するものと判断した場合には、当該検索者が入力装置12を介して所定の入力操作を行うことにより、一連の処理を終了する。
【0048】
一方、情報検索装置10においては、検索者が所望の画像データが存在しないものと判断した場合には、ステップS4において、表示装置11に対して表示されたM枚の候補画像データの中から、当該検索者が検索しようとしている所望の画像データのイメージに最も近い1枚の画像データを、入力装置12を介して選択指定する。情報検索装置10は、画像検索部13の制御のもとに、検索者によって選択指定された画像データを示す画像番号を、選択履歴情報SHとして画像記憶装置14に格納する。
【0049】
なお、情報検索装置10は、表示装置11に対して表示されたM枚の候補画像データの中に、検索者が所望する画像データに類似する画像データが含まれていない場合、すなわち、表示装置11に対して表示されたM枚の候補画像データが、検索者が検索しようとする画像データに関連がなく、新たに候補画像データを表示させたい場合には、入力装置12を介した検索者による所定の入力操作に応じて、新たなM枚の候補画像データを表示装置11に対して表示する。また、情報検索装置10は、入力装置12を介した検索者による所定の入力操作に応じて、前画面に戻る制御を行うことも可能である。
【0050】
続いて、情報検索装置10は、ステップS5において、検索者による画像データの選択指定の試行回数が2回未満であるか否かを判定する。なお、情報検索装置10は、この試行回数を、画像記憶装置14に記憶されている選択履歴情報SHの個数を計数することによって求めることができる。
【0051】
ここで、情報検索装置10は、検索者による画像データ選択指定の試行回数が2回未満であるものと判定した場合には、再度ステップS1からの処理を繰り返す。すなわち、情報検索装置10は、初回の検索サイクル時には、後述する重要度算出を行わず、再度画像記憶装置14に蓄積されている複数の検索画像データIDの中からM枚の候補画像データを無作為に選択する。
【0052】
一方、情報検索装置10は、検索者による画像データ選択指定の試行回数が2回以上であるものと判定した場合、すなわち、2回目以降の検索サイクル時には、ステップS6へと処理を移行し、画像検索部13により、ステップS4にて選択された画像データと、直前の検索サイクルで選択された画像データとに基づいて、特徴のそれぞれの重要度を算出し、この重要度を当該特徴と対応付けて特徴データFDとして画像記憶装置14に記憶させて更新する。このとき、画像検索部13は、例えばいわゆるベイズの定理を用いて特徴の重要度を算出することができる。なお、このベイズの定理を用いた重要度の算出処理については後述するものとする。
【0053】
そして、情報検索装置10は、ステップS7において、画像検索部13により、ステップS4にて選択された画像データと画像記憶装置14に蓄積されている他の画像データとの類似度を各特徴毎に算出し、ステップS6にて算出された各特徴の重要度に基づいた重み付き類似度総和を求め、ステップS8において、ステップS4にて選択された画像データとの類似度が高い順序、すなわち、求めた重み付き類似度総和が大きい順序で検索画像データIDを並べ替えることにより、ステップS4にて選択された画像データに類似する類似画像データを検索する。その後、情報検索装置10は、ステップS2へと処理を移行し、検索した類似画像データを次回の検索サイクルで用いる候補画像データとして表示装置11に対して表示する。なお、情報検索装置10は、検索した類似画像データがM枚よりも多い場合には、当該検索者が入力装置12を介して所定の入力操作を行うことにより、表示装置11に対して表示する候補画像データをM枚単位で切り替える。
【0054】
情報検索装置10は、このような一連の工程を経ることにより、複数の検索画像データIDの中から所望の画像データを検索することができる。具体的には、情報検索装置10は、図3(A)に示した9枚の候補画像データの中から検索者が1枚の画像データを選択することにより、例えば同図(B)に示すように、選択された画像データとの類似度が高い画像データを検索して表示装置11に対して表示する検索サイクルを、検索者が所望する候補画像データが表示されるまで繰り返し行う。
【0055】
このように、情報検索装置10は、検索者が検索しようとする所望の画像データに類似するイメージを提示する対話型検索を行うことにより、検索者のイメージが当初は曖昧であったとしても、検索サイクルの反復に応じてイメージが明確化され、自己の感性に最も合致する所望の画像データを検索することが可能となる。
【0056】
さて、以下では、画像検索部13による図2中ステップS6及びステップS7の処理の詳細について説明する。
【0057】
まず、L個の特徴とN枚の画像データとがある場合における検索を考える。直前の検索サイクルで選択された第1の情報である画像データをIprevとし、現在の検索サイクルで選択された第2の情報である画像データをIcurとする。
【0058】
ここで、2つの事象A,Bがあるとき、事象Aであるという条件のもとで事象Bが発生する確率P(B|A)は、事象Bが発生する確率を示す事前確率P(B)、事象Bが発生しない確率を示す事前確率P(B')、事象Bであるという条件のもとで事象Aが発生する確率を示す条件付き確率P(A|B)、及び事象Bが発生しないという条件のもとで事象Aが発生する確率を示す条件付き確率P(A|B')を用いて、次式(1)で表す事後確率として求めることができ、これをベイズの定理という。
【0059】
【数1】
【0060】
画像検索部13は、上述したように、図2中ステップS6において、このベイズの定理にしたがって特徴の重要度を算出することができる。具体的には、画像検索部13は、画像データIcur,Iprevの情報に基づいて、画像データIprev→画像データIcurの順序で選択されたという条件のもとでの各特徴Fkの重要度を、ベイズの定理にしたがって事後確率P(Fk|Iprev→Icur)として算出する。
【0061】
ここで、特徴Fkが重要である初期事前確率P(Fk)は、次式(2)で表されものとし、全ての特徴の重要度が等しいものとする。また、特徴Fkが重要でない確率P(Fk')は、次式(3)で表される。
【0062】
【数2】
【0063】
【数3】
【0064】
また、画像検索部13は、特徴Fkが重要であると仮定した場合に、画像データIprevの後に画像データIcurが選択される確率(以下、尤度Qという。)を求める。ここでは、次式(4)に示すように、特徴Fkについて求められた類似度に基づいて、その類似順序Oを求め、この類似順序Oの逆数を求めることによって尤度Qを算出するものとする。
【0065】
【数4】
【0066】
画像検索部13は、L個の特徴全てについて尤度Qを求め、これらL個の尤度Qを正規化して正規化尤度P(Iprev→Icur|Fk)を求める。具体的には、画像検索部13は、次式(5)に示すように、正規化尤度の総和が"1"となるように正規化処理を行う。
【0067】
【数5】
【0068】
ここで、上式(5)に示した条件付き確率としての正規化尤度P(Iprev→Icur|Fk)における下付き文字prev,cur,kの組み合わせについてであるが、画像検索部13は、これら全ての組み合わせについて予め計算しており、画像記憶装置14には、蓄積されている検索画像データの全ての組み合わせについて計算された尤度からなる尤度マップが格納されている。すなわち、画像検索部13は、例えば図4に示すように、N枚の画像データI1,・・・,INが、それぞれ、画像データIprev,Icurである場合における正規化尤度P(Iprev→Icur|Fk)からなる尤度マップを各特徴毎に予め作成しており、作成した尤度マップは、画像記憶装置14に尤度マップLMとして格納されている。
【0069】
また、画像検索部13は、特徴Fkが重要でないと仮定した場合に、画像データIprevの後に画像データIcurが選択される確率P(Iprev→Icur|Fk')を、次式(6)で与える。
【0070】
【数6】
【0071】
以上より、画像検索部13は、現在の検索サイクルと前回の検索サイクルとによって選択された画像データIcur,Iprevの情報に基づいて、各特徴の尤度を尤度マップLMから取得し、特徴Fkの重要度P(Fk|Iprev→Icur)を、次式(7)を用いて算出する。
【0072】
【数7】
【0073】
そして、画像検索部13は、上式(7)を用いて算出した事後確率を新たな重要度として、図2中ステップS7において、現在の検索サイクルで選択された画像データIcurと画像記憶装置14に蓄積されている画像データIcur以外の画像データIiとの類似度を各特徴毎に算出し、次式(8)に示すように、各特徴毎に求められた類似度S(Ii→Icur|Fk)に対して、対応する重要度ωkを乗じた重み付き類似度を累積加算することにより、重要度に基づいた重み付き類似度総和を求める。なお、類似度算出方法としては、例えば各特徴ベクトル毎のユークリッド距離やマハラノビス距離等を求め、これら距離の近い順に類似度を設定する方法等が挙げられる。
【0074】
【数8】
【0075】
このように、画像検索部13は、検索サイクルを繰り返すのに応じて、ベイズの定理を用いて算出した事後確率を新たな事前確率として重要度を更新していくことにより、現在までの選択履歴情報SHを含んだ文脈メカニズムを組み込んだ検索を行うことができる。
【0076】
以上説明したように、本発明の実施の形態として示した情報検索装置10は、複数の検索画像データIDの中から所望の画像データを検索する際に、現在までの検索行動に基づいて得られる事前確率と画像データの選択行動に基づいて得られる条件付き確率とに基づいて事後確率を求め、得られた事後確率を次回の検索サイクルにおける画像データ選択行動時の新たな事前確率として用い、逐次重要度を算出して更新していくことにより、現在までの選択履歴情報SHを反映し、検索者の検索意図を十分に汲み取った極めて効率のよい検索を行うことができる。
【0077】
なお、本発明は、上述した実施の形態に限定されるものではない。例えば、上述した実施の形態では、画像データの検索を行うものとして説明したが、本発明は、例えば音声データをはじめとして、特徴を抽出することができる任意のデータについても適用することができる。
【0078】
具体的には、情報検索装置10は、音声データを検索する場合には、提示手段としての上述した表示装置11の代わりに、例えばスピーカ等の音声データを出力する所定の出力手段を設ければよい。
【0079】
また、本発明は、画像データを検索する場合にあっては、静止画像及び動画像のいずれであっても適用することができ、また、2次元画像及び3次元画像のいずれであっても適用することができる。
【0080】
さらに、上述した実施の形態では、重要度を算出する際に、ベイズの定理を用いるものとして説明したが、本発明は、重要度を事後確率として算出し、この事後確率を次回の検索サイクル時に事前確率として用いるような方法であれば、いかなるものであっても適用することができる。
【0081】
さらにまた、上述した実施の形態では、尤度Qの算出方法として、特徴Fkについて求められた類似度に基づいて、その類似順序Oを求め、この類似順序Oの逆数を求めるものとして説明したが、本発明は、尤度Qの算出方法として、任意の方法を適用することができる。
【0082】
このように、本発明は、その趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【0083】
【発明の効果】
以上詳細に説明したように、本発明にかかる情報検索装置、情報検索方法、及び情報検索プログラムは、それぞれ、検索者が現在までに選択した情報の履歴である選択履歴に基づいて複数種類の特徴のそれぞれの重要度を算出することにより、検索者による以前の検索行動を踏まえた検索を行うことができ、文脈に依存する検索者の検索意図を十分に汲み取った極めて効率のよい検索を行うことができる。
【図面の簡単な説明】
【図1】本発明の実施の形態として示す情報検索装置の構成を説明するブロック図である。
【図2】同情報検索装置における一連の処理工程を説明するフローチャートである。
【図3】同情報検索装置が備える表示装置に対して複数の候補画像データが表示された様子を説明するための図であり、(A)は、初期画面として、表示装置に対して9枚の候補画像データが表示されている様子を示し、(B)は、2回目以降の検索サイクルを経ることによって表示装置に対して表示される候補画像データが変化していく様子を説明するための図である。
【図4】同情報検索装置が備える画像記憶装置に記憶される尤度マップの具体例を説明する図である。
【符号の説明】
10 情報検索装置、 11 表示装置、 12 入力装置、 13 画像検索部、 14 画像記憶装置、 FD 特徴データ、 ID 画像データ、 LM 尤度マップ、 SH 選択履歴情報
Claims (3)
- 蓄積されている複数の情報から所望の情報を検索する情報検索装置であって、
少なくとも、検索対象となる複数の検索情報と、これら検索情報について抽出された複数種類の特徴のそれぞれの特徴量とを対応付けて記憶するものであって、蓄積されている上記検索情報の全ての組み合わせについて計算された尤度からなる尤度マップが格納された記憶手段と、
上記記憶手段に蓄積されている上記検索情報の少なくとも一部を候補情報として提示する提示手段と、
上記提示手段を介して提示された複数の上記候補情報の中から、検索者が一の情報を選択するための入力手段と、
上記入力手段を介して選択された情報に基づいて、上記記憶手段に蓄積されている上記検索情報の中から上記所望の情報を検索する検索手段とを備え、
上記検索手段は、上記検索者が上記入力手段を介して現在までに選択した情報の履歴である選択履歴に基づいて上記複数種類の特徴のそれぞれの重要度を算出するものであって、特に各特徴毎に予め作成されている尤度マップから各特徴の尤度を取得し、ベイズの定理に従って各特徴毎の事後確率を算出し、この算出した事後確率を次回の上記入力手段を介した情報の選択行動時の新たな重要度として、上記入力手段を介して選択された情報と上記記憶手段に蓄積されている他の情報との類似度を各特徴毎に算出し、各特徴毎に求められた類似度に対して、対応する重要度を乗じた重み付き類似度を累積加算することにより、重要度に基づいた重み付き類似度総和を求め、重み付き類似総和に基づいて検索情報の中から所望の情報を検索すること
を特徴とする情報検索装置。 - 蓄積されている複数の情報から所望の情報を検索する情報検索方法であって、
提示手段が、少なくとも、検索対象となる複数の検索情報と、これら検索情報について抽出された複数種類の特徴のそれぞれの特徴量とを対応付けて記憶するものであって、蓄積されている上記検索情報の全ての組み合わせについて計算された尤度からなる尤度マップが格納された記憶手段に蓄積されている上記検索情報の少なくとも一部を候補情報として提示する提示工程と、
入力手段が、上記提示工程にて提示された複数の上記候補情報の中から、検索者による一の情報の選択を受け付ける選択工程と、
検索手段が、上記選択工程にて選択された情報に基づいて、上記記憶手段に蓄積されている上記検索情報の中から上記所望の情報を検索する検索工程とを備え、
上記検索手段による、検索工程は、上記検索者が上記入力手段を介して現在までに選択した情報の履歴である選択履歴に基づいて上記複数種類の特徴のそれぞれの重要度を算出するものであって、特に各特徴毎に予め作成されている尤度マップから各特徴の尤度を取得し、ベイズの定理に従って各特徴毎の事後確率を算出し、この算出した事後確率を次回の上記入力手段を介した情報の選択行動時の新たな重要度として、上記入力手段を介して選択された情報と上記記憶手段に蓄積されている他の情報との類似度を各特徴毎に算出し、各特徴毎に求められた類似度に対して、対応する重要度を乗じた重み付き類似度を累積加算することにより、重要度に基づいた重み付き類似度総和を求め、重み付き類似総和に基づいて検索情報の中から所望の情報を検索すること
を特徴とする情報検索方法。 - 蓄積されている複数の情報から所望の情報を検索するコンピュータ実行可能な情報検索プログラムであって、
少なくとも、検索対象となる複数の検索情報と、これら検索情報について抽出された複数種類の特徴のそれぞれの特徴量とを対応付けて記憶するものであって、蓄積されている上記検索情報の全ての組み合わせについて計算された尤度からなる尤度マップが格納された記憶手段に蓄積されている上記検索情報の少なくとも一部を候補情報として提示する提示処理と、
上記提示処理にて提示された複数の上記候補情報の中から検索者によって選択された情報に基づいて、上記記憶手段に蓄積されている上記検索情報の中から上記所望の情報を検索する検索処理とを備え、
上記検索処理は、上記検索者が現在までに選択した情報の履歴である選択履歴に基づいて上記複数種類の特徴のそれぞれの重要度を算出するものであって、特に各特徴毎に予め作成されている尤度マップから各特徴の尤度を取得し、ベイズの定理に従って各特徴毎の事後確率を算出し、この算出した事後確率を次回の情報の選択行動時の新たな重要度として、選択された情報と上記記憶手段に蓄積されている他の情報との類似度を各特徴毎に算出し、各特徴毎に求められた類似度に対して、対応する重要度を乗じた重み付き類似度を累積加算することにより、重要度に基づいた重み付き類似度総和を求め、重み付き類似総和に基づいて検索情報の中から所望の情報を検索すること
を特徴とする情報検索プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003049963A JP4333902B2 (ja) | 2003-02-26 | 2003-02-26 | 情報検索装置、情報検索方法、及び情報検索プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003049963A JP4333902B2 (ja) | 2003-02-26 | 2003-02-26 | 情報検索装置、情報検索方法、及び情報検索プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004259057A JP2004259057A (ja) | 2004-09-16 |
JP4333902B2 true JP4333902B2 (ja) | 2009-09-16 |
Family
ID=33115533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003049963A Expired - Lifetime JP4333902B2 (ja) | 2003-02-26 | 2003-02-26 | 情報検索装置、情報検索方法、及び情報検索プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4333902B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2570971A2 (en) | 2011-09-14 | 2013-03-20 | Ricoh Company, Ltd. | Image processing apparatus, image processing method, and program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09204440A (ja) * | 1996-01-29 | 1997-08-05 | Fujitsu Ltd | 画像検索システム、画像検索方法、及び記録媒体 |
US5696964A (en) * | 1996-04-16 | 1997-12-09 | Nec Research Institute, Inc. | Multimedia database retrieval system which maintains a posterior probability distribution that each item in the database is a target of a search |
JP4021025B2 (ja) * | 1998-01-27 | 2007-12-12 | シャープ株式会社 | 画像検索方法、画像検索装置、及び画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体 |
-
2003
- 2003-02-26 JP JP2003049963A patent/JP4333902B2/ja not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2570971A2 (en) | 2011-09-14 | 2013-03-20 | Ricoh Company, Ltd. | Image processing apparatus, image processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2004259057A (ja) | 2004-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3053003B2 (ja) | データベース検索方法 | |
USRE47340E1 (en) | Image retrieval apparatus | |
US8195674B1 (en) | Large scale machine learning systems and methods | |
US8965891B1 (en) | Training scoring models optimized for highly-ranked results | |
JP4011906B2 (ja) | プロファイル情報の情報検索方法、プログラム、記録媒体及び装置 | |
JP5440394B2 (ja) | 評価予測装置、評価予測方法、及びプログラム | |
US8250092B2 (en) | Search result diversification | |
US20080205795A1 (en) | System and methods of image retrieval | |
US20040177069A1 (en) | Method for fuzzy logic rule based multimedia information retrival with text and perceptual features | |
JP2005535952A (ja) | 画像内容検索法 | |
WO2016187705A1 (en) | System and method for ranking search results | |
JP5123759B2 (ja) | パターン検出器の学習装置、学習方法及びプログラム | |
JPWO2007088576A1 (ja) | ファイル検索プログラム、方法及び装置 | |
JP4891638B2 (ja) | 目的データをカテゴリに分類する方法 | |
JPH09204440A (ja) | 画像検索システム、画像検索方法、及び記録媒体 | |
JP4333902B2 (ja) | 情報検索装置、情報検索方法、及び情報検索プログラム | |
JP2010271903A (ja) | 画像処理方法及び装置、並びに、そのためのコンピュータープログラム | |
JP2010122931A (ja) | 類似領域検索方法、類似領域検索装置、類似領域検索プログラム | |
CN109446408A (zh) | 检索相似数据的方法、装置、设备及计算机可读存储介质 | |
Adcock et al. | Experiments in interactive video search by addition and subtraction | |
KR100519768B1 (ko) | 반복매칭을 이용한 영상 검색방법 및 장치 | |
JP2000112973A (ja) | 空間インデックス方法及び空間インデックス処理プログラムを格納した媒体 | |
JP2004259061A (ja) | 情報検索装置、情報検索方法、及び情報検索プログラム | |
JP2002202993A (ja) | 多重重み構造を使ったマルチメディア検索方法 | |
JP2000200197A (ja) | 知識蓄積・選択方法、知識蓄積・選択装置及び知識蓄積・選択プログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051206 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090609 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090618 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4333902 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130703 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |