JP4363792B2 - 情報検索システムおよび方法 - Google Patents
情報検索システムおよび方法 Download PDFInfo
- Publication number
- JP4363792B2 JP4363792B2 JP2001085759A JP2001085759A JP4363792B2 JP 4363792 B2 JP4363792 B2 JP 4363792B2 JP 2001085759 A JP2001085759 A JP 2001085759A JP 2001085759 A JP2001085759 A JP 2001085759A JP 4363792 B2 JP4363792 B2 JP 4363792B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- feature
- feature quantity
- unit
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2137—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on criteria of topology preservation, e.g. multidimensional scaling or self-organising maps
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S715/00—Data processing: presentation processing of document, operator interface processing, and screen saver display processing
- Y10S715/961—Operator interface with visual structure or function dictated by intended use
- Y10S715/965—Operator interface with visual structure or function dictated by intended use for process control and configuration
- Y10S715/966—Computer process, e.g. operation of computer
- Y10S715/968—Computer process, e.g. operation of computer interface for database querying and retrieval
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、テキストデータあるいは画像データなどの大量の情報からユーザが所望の情報に近いと思う複数の情報をキーとして指定し、指定された複数の検索キー集合の特徴に基づいて検索し、検索結果を類似した情報同士ほど近くに集まるように表示画面上に配置して表示することで、ユーザが所望の情報を素早く探すことが可能な情報検索システムに関する。
【０００２】
【従来の技術】
大量の情報から所望の情報を検索する従来の情報検索システムでは、検索要求と検索対象の情報とを照合し、適合度が高い順に並べたリストとして検索結果を表示する。この場合、適切な検索要求を与えなければ精度の高い検索結果は得られない。検索対象が画像情報である場合などは、一般的に、利用者が適切な検索要求を想起して指定するのは困難であり、曖昧な検索要求を入力することが多い。そのため所望の情報を見つけるためには大量の検索結果を取得して、その中身を目視して判断する必要があり、多大な労力を要していた。
【０００３】
検索キー選択の技術として、検索結果の情報を各々の特徴を表す特徴量に基づいて仮想的な３次元空間に視覚的に配置表示することで、検索の効率化をはかる技術が特開2000-250943号公報に開示されている。この技術では、表示画面に表示されている情報の中から利用者が選択した一つの検索キーが検索要求として用いられる。この場合、検索キーや検索対象の情報の内容を特徴量ベクトル値として表し、特徴量ベクトル値間の差で情報間の類似度を計算して適合度を求める。その際、特徴量ベクトルの要素は均一に扱われている。
【０００４】
また、検索結果の分類配置の技術として、２つあるいは３つの特徴量を時間的に変更しながら、それら特徴量が張る軸で構成される２次元あるいは３次元の空間上で情報集合を一覧表示することで、閲覧の効率化をはかる技術が特開2000-29885号公報に開示されている。
【０００５】
【発明が解決しようとする課題】
利用者が所望の情報に近いとして検索キーを選択するとき、特徴量ベクトルの要素の一部に注目していることが多い。従って、真にユーザが求める情報を高い精度で検索して得るためには、ユーザが注目している特徴量ベクトルの要素を的確に推定し、注目している特徴量ベクトルの要素のみを用いて検索する必要がある。特開2000-250943号公報記載の技術では特徴量ベクトルの要素は均一であるため、適切な検索キーの選択ができない。
【０００６】
また、異なる種類の特徴量を用いる場合は、同様にその中でユーザが注目する特徴量のみを用いて検索する必要がある。これに対し、異なる種類の特徴量を用いる場合に、ユーザが選択した複数の検索キーの特徴量の中で、同種の特徴量同士の差を求め、差が小さい特徴量を検索に用いる特徴量とする技術が、特開平11-238078号公報に開示されている。ここで、検索結果の一覧性を高め、閲覧効率を向上させるためには、類似した情報同士ほど近くに集まるように配置する必要があり、さらに、情報は検索結果表示画面上において適切に分散していることが好ましい。配置の分散が高いほど、共通の特徴を持った情報の塊が現れやすくなり、閲覧の効率化が図られるためである。しかしながら、上記の特開平11-238078号記載の技術では、検索に用いる特徴量を選別する方法は開示されているものの、検索結果をユーザに表示するための分類配置に用いる特徴量の選別方法には言及していない。分類配置に用いる特徴量として検索に用いた特徴量を選択すると、検索結果は当該特徴量に対して類似しているので適切に検索結果が分散することができない。この問題は、一つの特徴量のみを用いる場合の、特徴量のベクトル表現における要素の選択でも同様である。
【０００７】
また、上記の特開2000-29885号記載の技術では、分類配置表示において、空間軸に使用する特徴量を時間的に変更することで、特徴量選択の問題に代替的に対処している。しかしながら、特徴量の時間的な変更はユーザの意図とは無関係であり、意図に合った特徴量が選ばれるまで待たされるという問題があり、必ずしも利用者の意図に合った特徴量による検索を行うことはできない。
【０００８】
本発明は、上記課題を解決すべく、検索にあたっては、ユーザが選択した複数の検索キーに基づいて検索に用いる情報を適切に選択し、当該選択された情報を用いて検索を実行し、さらに、検索結果の分類配置にあたっては、選択した検索キーに基づいて分類配置に用いる情報を適切に選択して検索結果を分類配置することにより、ユーザの検索意図に合った検索結果表示画面を生成し、効率的な検索を可能とすることを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、本発明の情報検索システムは、ユーザが複数の検索キーを指定する検索キー指定部と、各検索キーに対応づけられた特徴量ベクトルを抽出する特徴量抽出部と、前記特徴量ベクトルの対応し合う要素間の平均距離を比較し、小さい方から規定個の特徴量ベクトルの要素を検索に用いる検索特徴量として選択する検索特徴量選択部と、前記検索特徴量を検索実行キーとして、情報格納部を検索する検索部と、各検索キーの特徴量ベクトルの要素のうち、前記検索特徴量として抽出されなかった特徴量ベクトルの要素を分類配置特徴量として選択する分類配置特徴量選択部と、前記分類配置特徴量を分類配置の特徴として用いて前記検索結果を分類配置する分類配置部と、前記分類配置結果を表示する表示部を備えたことを特徴とする。
【００１０】
上記構成により、検索において、特徴量の中でユーザが注目する特徴量ベクトル要素のみを使うことでユーザの意図に合った精度の高い検索が可能であり、かつ、検索結果の分類配置において検索で用いた特徴量ベクトル要素を除いた特徴量ベクトル要素を用いるので適切に検索結果を分散させることができ、一覧性の高い配置で検索結果の表示が可能となる。
【００１１】
なお、分類配置特徴量選択部が、分類配置特徴量として、前記検索結果に対する分散が高い特徴量ベクトルの要素を規定個選択することで一覧性の高い配置で検索結果の表示が可能となる。
【００１２】
次に、検索キーの指定において、利用者が、前記指定した各検索キーを平面上に配置し、前記検索特徴量選択部は、検索キー間の特徴量ベクトル要素の比が前記平面上に配置された検索キー間の相対的な距離比と近い特徴量ベクトル要素を規定数選び、前記検索特徴量として選択することが好ましい。
【００１３】
上記構成により、複数の検索キー間の類似関係を検索や分類配置に反映することが可能となり、検索キーとして指定する特徴量の重み付けを行うことができ、ユーザが特徴量間の類似関係を意図している場合に高い精度で検索することができる。
【００１４】
なお、分類配置において、検索キーとして指定した情報の分類配置位置を指定することができれば、ユーザが検索キーとして指定した個々の情報と他の検索結果である情報との関係に興味があるときに、分類配置表示画面における各情報の相対的関係が分かりやすくなる。
【００１５】
また、分類配置表示画面において、いわゆるウォークスルー技術を適用できれば、検索結果の閲覧が行い易くなり、また、前記検索キー指定部が、前記表示視点の位置との距離が規定値以内となった配置情報を利用者が選択した検索キーとみなすことにより、検索キー指定が速やかに行うことができる。
【００１６】
また、検索にあたり、過去の検索処理のうち、参照すべき検索処理の範囲を指定し、その履歴情報を用いつつ検索処理を実行できれば、一度の検索では十分な精度が出ないときでも、いわゆる試行錯誤的に、検索対象を絞り込んで行くことができ、検索精度を上げることができる。
【００１７】
なお、上記の構成において、前記検索キー指定部において、利用者が指定する検索キーがサムネイル画像であり、前記特徴量抽出部は、検索キーとして指定されたサムネイル画像に対応する原画像に対応づけられた画像特徴量を特徴量として抽出することが好ましい。
【００１８】
検索処理においては、サムネイル画像を用いた方が、閲覧性に優れていることが多いからである。
【００１９】
なお、上記の情報検索システムを実現する処理ステップを備えた処理プログラムコードを提供することができ、当該処理プログラムを記録したコンピュータ読み取り可能な記録媒体から処理プログラムを読み込むことにより、コンピュータを用いて構築することができる。
【００２０】
【発明の実施の形態】
本発明の実施形態１にかかる情報検索システムを述べる。
【００２１】
実施形態１にかかる情報検索システムは、複数の検索キーの特徴量ベクトル要素のうち、対応し合う特徴量ベクトル要素同士の平均距離が小さいものを規定個検索特徴量として選択し、検索特徴量とされた特徴量ベクトル値を検索実行キーとして、情報格納部を検索し、分類配置においては、検索特徴量として抽出されなかった特徴量ベクトル要素を分類配置特徴量として選択して分類配置を行うものである。この例では、テキストデータあるいは画像データからサムネイル画像を生成し、検索結果としてサムネイル画像を分類配置し、利用者の閲覧に供する例とする。
【００２２】
図１は実施形態１にかかる情報検索システムの構成例を示す図である。
【００２３】
情報格納部１０は、検索対象となる情報を格納している部分である。この例では検索対象情報がテキストデータあるいは画像データであり、それら情報が格納されている。
【００２４】
サムネイル生成部１３は、情報格納部１０に格納されたテキストデータあるいは画像データからサムネイルを生成する部分である。
【００２５】
データを表示するために用いるサムネイルとしては、画像データの場合、画像データそのもの、あるいは、その縮小画像がある。また、テキストデータの場合、図書ならば書名、その他文書ならばタイトル、あるいは、ファイル名などがある。これらを含め、データの中身を判断できる情報を視覚的に表すものであればよい。
【００２６】
表示部１４は、検索結果として分類配置された情報を表示する部分である。この例では、検索されたテキストデータあるいは画像データに対応するサムネイルを表示する部分である。また、検索キー指定部１５における検索キーの指定の際にサムネイルを用いる場合、表示部１４に表示されたサムネイルを利用することも可能である。
【００２７】
検索キー指定部１５は、ユーザが複数の検索キーを指定する部分である。この例では、検索キーがサムネイル画像であり、検索キーの指定方法として、表示部１４により表示されたサムネイルから所望の情報に近い複数の情報を選択することとし、検索キー指定部１５は、表示部１４上に表示されたサムネイルを指定する手段を利用者に提供する。
【００２８】
特徴量抽出部１６は、検索キー指定部１５により指定された各検索キーに対応づけられた特徴量を抽出する部分である。この例では、利用者が指定した検索キーとしたサムネイルに対応するテキストデータあるいは画像情報の内容を特徴付ける特徴量ベクトルの値を特徴量として抽出する。
【００２９】
特徴量としては、画像データの場合、画像中の画素についてＲＧＢ色空間やＨＳＶ色空間を分割したときの各ブロックに含まれる画素の割合である色ヒストグラムや画像を縦横格子状に分割したときの各ブロックの平均色を並べた色空間分布などがある。また、テキストデータの場合、含まれる単語の頻度分布などがある。これらを含め、データの特徴を表すベクトル値であればよい。
【００３０】
検索特徴量選択部１７は、検索キー指定部１５を介して指定された複数の検索キーの特徴量ベクトル要素のうち、特徴量ベクトルの対応し合う要素間の平均距離を比較し、小さい方から規定個の特徴量ベクトルの要素を検索に用いる検索特徴量として選択する部分である。検索特徴量選択部１７は、複数の検索キー画像の特徴量ベクトル要素同士を比較して平均距離を算出し、その平均距離が小さいものから規定数の特徴量ベクトル要素を、検索特徴量として選択する。
【００３１】
検索部１８は、検索特徴量選択部１７により選択された検索特徴量を検索実行キーとして用いて、情報格納部１０を検索する部分である。この例では、検索特徴量となった特徴量ベクトル要素のみに着目し、情報格納部１０に格納されたテキストデータあるいは画像データの当該特徴量ベクトル値とを比較し、両者間の差が小さい方から順に規定数個のテキストデータあるいは画像データを検索結果として情報格納部１０から取得する。
【００３２】
分類配置特徴量選択部１９は、検索部１８により取得された検索結果の特徴量について、検索特徴量選択部１７により選択された検索特徴量以外の特徴量ベクトル要素に着目し、検索結果の情報集合内での分散が高い方から規定数個の特徴量ベクトル要素を分類配置特徴量として選択する。この例では、検索特徴量として選択されなかった特徴量ベクトル要素のみに着目し、検索結果のテキストデータあるいは画像データ集合内での分散が高い方から規定数個の特徴量ベクトル要素を分類配置特徴量として選択する。
【００３３】
分類配置部２０は、検索部１８により検索された情報を、分類配置特徴量のみに着目して情報間の差が小さいほど近くに集まるよう平面上に配置し、結果をサムネイル生成部１３により生成したサムネイルによって表示部１４を介して利用者に表示する。
【００３４】
次に、上記情報検索システムの処理の流れを図２〜図７のフローチャートを参照しつつ説明する。
【００３５】
処理に先立ち、あらかじめ、情報格納部１０に格納されているすべてのテキストデータあるいは画像データから、ベクトル値として数量化された特徴量を抽出して保持しておく。また、処理に先立ち、サムネイル生成手段１３により情報格納部１０に格納されたテキストデータあるいは画像データからサムネイルを生成しておく。
【００３６】
まず、利用者が複数の検索キーを選択する（ステップＳ２０１）。このステップＳ２０１の詳細ステップを図３のフローチャートとして示している。
【００３７】
この例では、表示部１４によってサムネイルの一覧が表示されている画面上で、検索キーとして選択したいデータを画面上の位置で指定する。表示部１４の画面上での位置の指定方法としては、例えば、操作入力装置としてマウスを用い、マウスをクリックしたときのカーソルの現在位置とする方法がある。検索キー情報として選択するデータを表すサムネイルを表示装置の表示面上の位置で操作入力装置により指定する（ステップＳ２０１−１）。
【００３８】
検索キー指定部１５は、指定された位置から対応するデータを検索キーとして特定する（ステップＳ２０１−２）。２つ以上の検索キーが選択された上で検索キー指定部１５に対して利用者から検索キー選択終了が指示されると検索キー選択処理を終了する（ステップＳ２０１−３）。
【００３９】
表示部１４上に示される表示画面の例を模式的に示した図が図８である。図８のように複数のサムネイルが表示され、利用者がポインティングデバイスなどで検索キーとするサムネイルを指定する。この例では、８０１、８０２、８０３の３つのサムネイルが検索キーとして指定されたとする。
【００４０】
次に、検索特徴量を選択する（ステップＳ２０２）。このステップＳ２０２の詳細ステップを図４のフローチャートとして示している。
【００４１】
まず、検索特徴量選択部１７は、特徴量抽出部１６により抽出された検索キーとして選択された各テキストデータあるいは画像データの特徴量ベクトル値を受け取る（ステップＳ２０２−１）。なお、処理に先立って、あらかじめ、情報格納部１０に格納されているすべてのテキストデータあるいは画像データから特徴量ベクトル値を保持しているので当該保持されている特徴量ベクトル値から該当する特徴量ベクトル値を取り出す。
【００４２】
次に、検索特徴量選択部１７は、取り出した特徴量ベクトル値集合に対し、対応する特徴量ベクトル要素ごとに差の平均値を計算する（ステップＳ２０２−２）。検索特徴量選択部１７は、計算した差の平均値が小さい方から規定個の特徴量ベクトル要素のみを残すように選択する（ステップＳ２０２−３）。
【００４３】
例えば、いま、選択する特徴量ベクトルの要素数をＮとすると、検索キーとして選択されたデータ集合の特徴量ベクトル値について、同じ位置の特徴量ベクトル値の差の平均値を各位置ごとに計算し、小さい方からｍ番目までの特徴量ベクトル要素を求める。
【００４４】
例えば、検索キーとされた情報１の特徴量ベクトル値が（Ｄ1(１)，Ｄ2(１)，Ｄ3(１)，Ｄ4(１)，Ｄ5(１)）であり、検索キーとされた情報２の特徴量ベクトル値が（Ｄ1(２)，Ｄ2(２)，Ｄ3(２)，Ｄ4(２)，Ｄ5(２)）であり、検索キーとされた情報３の特徴量ベクトル値が（Ｄ1(３)，Ｄ2(３)，Ｄ3(３)，Ｄ4(３)，Ｄ5(３)）であるとする。情報１〜３までの特徴量ベクトルの要素同士を比較して、その平均距離を求める。例えば、各要素同士の差の絶対値の平均として（数１）より求める。
【００４５】
【数１】
（｜Ｄi(１)−Ｄi(２)｜＋｜Ｄi(２)−Ｄi(３)｜＋｜Ｄi(３)−Ｄi(１)｜）／３
ここで、ｉ＝１，・・・，５
今、検索特徴量のベクトル要素として選択される規定個が２つとすると、（数１）より求めた平均距離が小さい方から２つの特徴量ベクトル要素が選ばれる。例えば、Ｄ1，Ｄ5とする。つまり、情報１から（Ｄ1(１)，Ｄ5(１)）が選択され、情報２から（Ｄ1(２)，Ｄ5(２)）が選択され、情報３から（Ｄ1(３)，Ｄ5(３)）が検索特徴量として選択される。
【００４６】
次に、検索部１８により選択された検索特徴量を用いて検索を実行する（ステップＳ２０３）。このステップＳ２０３の詳細ステップを図５のフローチャートとして示している。
【００４７】
検索部１８は、情報格納部１０に格納されているテキストデータあるいは画像データの特徴量ベクトル値を逐次取り出す（ステップＳ２０３−１）。取り出した特徴量ベクトル値のうち検索特徴量として選択された特徴量ベクトル要素のもののみを残すよう選択する（ステップＳ２０３−２）。検索キーの選択された特徴量ベクトル値と情報格納部１０から取り出した各データの選択された特徴量ベクトル値とを照合し、両者の差をユークリッド距離として計算し、各検索キーごとに得られた差を求める（ステップＳ２０３−３）。情報格納部１０に格納されているすべてのデータについて求めた各検索キーごとの差の平均が小さい順に並べ、先頭から規定個のデータを検索結果とする（ステップＳ２０３−４）。
【００４８】
図８に示した３つの検索キーから選択された検索特徴量を基に検索した結果を模式的に示した例が図９である。画像要素９０１がすべての検索結果に含まれている。
【００４９】
次に、分類配置特徴量選択部１９により分類配置特徴量を選択する（ステップＳ２０４）。このステップＳ２０４の詳細ステップを図６のフローチャートとして示している。
【００５０】
分類配置特徴量選択部１９は、検索結果のデータに対応する特徴量ベクトル値から、検索時に選択した特徴量ベクトル要素以外の要素の値のみを残すよう選択する（ステップＳ２０４−１）。ここでは、Ｄ1(ｎ)とＤ5(ｎ)が検索特徴量として選択されていたので、Ｄ2(ｎ)、Ｄ3(ｎ)、Ｄ4(ｎ)が残る。
【００５１】
次に、選択された特徴量特徴量ベクトル値の集合において対応する特徴量ベクトル値ごとに分散値を計算する（ステップＳ２０４−２）。各特徴量ベクトル要素について分散値の高い方から規定個の特徴量ベクトル要素の値のみを残すよう変更し、分類配置特徴量とする（ステップＳ２０４−３）。例えば、規定個を２つとし、Ｄ2(ｎ)、Ｄ3(ｎ)が分散特徴量として選択される。
【００５２】
次に、分類配置部２０は、分類配置特徴量を用いて検索結果を分類配置する（ステップＳ２０５）。このステップＳ２０５の詳細ステップを図７のフローチャートとして示している。分類配置部２０は、検索結果のデータ集合について対応する特徴量ベクトル値間の差が小さいほど近くに集まるような平面上の配置を計算する（ステップＳ２０５−１）。分類配置部２０は、分類配置結果を元にサムネイル生成手段１３によって生成された各データに対応するサムネイルの表示平面上での配置位置を決める（ステップＳ２０５−２）。例えば、特徴量ベクトル値間の差が小さいほど近くに集まるような平面上の配置の計算方法としては、自己組織化マップ、多次元尺度構成法などを用いる。
【００５３】
分類配置部２０は、分類配置データを表示部１４に対して出力する（ステップＳ２０５−３）。
【００５４】
次に、表示部１４は、分類配置結果に基づきサムネイルを用いて検索結果を表示する（ステップＳ２０６）。
【００５５】
図１０は、図９に示したように得られた検索結果を分類配置特徴量を分類配置の特徴として自己組織化マップにより分類配置した模式図である。画像要素９０１を含み、さらに他の画像要素の有無において似通った画像同士が近くに分類配置されている様子が分かる。
【００５６】
以上、ステップＳ２０１からステップＳ２０６の処理により、情報分類処理を実行する。
【００５７】
ここで、ステップＳ２０１からステップ２０６を繰り返すことが可能であり、このとき、検索特徴量選択部１７および分類配置特徴量選択部１９は、ユーザが選択した検索キーの履歴を保持すれば、特徴量の選択処理の時に過去の特徴量選択の情報を利用できる。つまり、過去の情報検索処理のうち、参照すべき情報検索処理の範囲の指定を受け、検索特徴量選択部１７は、検索特徴量の選択にあたり、参照の指定を受けた検索処理において利用された情報も加えて検索特徴量を選択し、分類配置特徴量選択部１９は、参照指定を受けた検索処理において分類配置の特徴として利用された分類配置特徴量も加えて分類配置の特徴として利用する分類配置特徴量を選択する。
【００５８】
また、表示部１４が、分類配置された検索結果を仮想的な三次元空間における任意の表示視点から見た状態として表示する機能と、利用者による表示視点の変更操作を受け付け、仮想的な三次元空間のウォークスルーを可能とする機能を備えることができる。さらに、このとき、検索キー指定部１５は、サムネイルに対する視点の位置を表示空間における規定距離内に移動することで、検索キーの選択操作とすることも可能である。また、検索キー指定部１５は、視点の位置がサムネイルの表示位置を画面の奥行き方向に突き抜けることで検索キーの選択とみなすことにより、新たにステップＳ２０１からステップ２０６を繰り返すことが可能である。
【００５９】
以上、本実施形態１の情報検索システムによれば、検索において特徴量の要素の中でユーザが注目する要素のみを使うことでユーザの意図に合った精度の高い検索が可能であり、かつ、検索結果の分類配置において検索で用いた要素を除いた特徴量の中で分散の高い要素のみを用いることで高速かつ一覧性の高い配置で表示が可能となり、大量な情報を効率的に検索することができる。
【００６０】
（実施形態２）
実施形態２の情報検索装置は、検索キーの指定において、利用者が、前記指定した各検索キーを平面上に配置し、検索特徴量選択部は、検索キー間の特徴量の値の比が前記平面上に配置された検索キー間の配置平面上での相対的な距離比と近い特徴量を規定個選び、前記検索特徴量として選択するものである。
【００６１】
この例では、利用者は検索キー指定部１５により複数の検索キーを選択後、検索キーに対応するサムネイルを表示部１４の表示平面上の任意の位置に配置することで、検索キー間の類似関係を指定できることとする。図１１は、３つの検索キーＡ，Ｂ，Ｃを配置した例である。この例では、利用者は検索キーＡとＢの間で近く、ＡとＣ、あるいは、ＡとＢの間では近くないような類似関係を指定している。
【００６２】
検索特徴量選択部１７は、検索特徴量となる特徴量ベクトル要素の選択または検索特徴量となる種類の特徴量の選択において、まず、対応する特徴量間の差の平均値が規定値以内の要素を求め、次に、その中で、対応する要素間の差の比を求める。この差の比が、利用者が配置したサムネイル間の画面上の差の比と近いほうから規定個の要素を選択する。例えば、いま、図１１のように、利用者が画面上に配置した検索キーＡＢ間の距離がＬABであり、ＢＣ間の距離がＬBCであり、ＣＡ間の距離がＬCAであったとする。また、検索キーＡＢ間の特徴量ベクトル値のｉ番目の要素の差がｌｉABであり、ＢＣ間の要素の差がｌｉBCであり、ＣＡ間の要素の差がｌｉCAであったとする。このとき、ｉ番目の要素に対する評価値Ｅｉを（数２）より計算する。この評価値が小さい方から規定個の要素を選択する。
【００６３】
【数２】
【００６４】
検索特徴量の選択処理以降の、検索部１８での検索処理、分類配置部２０による分類配置処理、表示部１４での表示処理などは、実施形態１と同様で良い。
【００６５】
以上のように、本実施形態２の情報検索システムによれば、複数の検索キー間の類似関係を検索特徴量の選択に反映することが可能となり、検索キーの配置を通じて検索キーの特徴量に対する重み付けを行うことができ、検索キー間の類似関係を利用者の意図に従って検索処理に反映させ、高い精度で検索することができる。
【００６６】
（実施形態３）
実施形態３の情報検索システムは、分類配置部が、検索キーとして指定された情報の分類配置位置を指定する分類配置位置指定部を備えたものであり、検索結果の分類配置において、分類配置位置指定部の指定に従い、検索キーとなった情報の分類位置を指定位置とすることができるシステムである。
【００６７】
このように、分類配置において、検索キーとして指定した情報の分類配置位置を指定することができれば、ユーザが検索キーとして指定した個々の情報と他の検索結果である情報との関係に興味があるときに、分類配置表示画面における各情報の相対的関係が分かりやすくなる。
【００６８】
図１２は、実施形態３の情報検索システムの構成例を示す図である。
【００６９】
分類配置部２０ａは、分類配置位置指定部２１を備えている。利用者は、分類配置位置指定部２１を介して、検索キーとして選択したデータのうち分類配置位置を固定したい検索キーを指定し、さらにその表示装置１４上での表示位置を指定する。この検索キーの指定と表示位置の指定のタイミングは、例えば、検索キー指定部１５を介した検索キーの指定時とする。
【００７０】
検索部１８による検索処理後、分類配置部２０は、検索結果として得られた情報を分類配置特徴量により分類配置するが、分類配置位置の固定指定された情報は、その分類配置位置に固定し、他の情報を自己組織化マップなどによる分類配置を行う。
【００７１】
例えば、実施形態２において説明した、複数の検索キーを平面上に配置することにより検索キーの特徴量に対する重み付けを行う仕組みと組み合わせた例を示す。利用者が図１１に示したように、３つの検索キーＡ，Ｂ，Ｃを配置し、さらに、分類配置位置指定部２１により、これら３つの検索キーＡ，Ｂ，Ｃの分類配置位置を図１１に示した相対位置において固定する指定を行う。図１３は当該指定を受けた場合の分類配置の結果を示す図である。３つの検索キーＡ，Ｂ，Ｃのサムネイルが図１１に示した相対位置において固定されており、他のサムネイルが自己組織化マップにより分類配置されている。
【００７２】
（実施形態４）
本発明の利用者インタフェースシステムは、上記に説明した構成を実現する処理ステップを記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明の利用者インタフェースシステムを実現する処理ステップを備えたプログラムを記録した記録媒体は、図１４に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ１００２やフレキシブルディスク１００３等の可搬型記録媒体１００１だけでなく、ネットワーク上にある記録装置内の記録媒体１０００や、コンピュータのハードディスクやＲＡＭ等の記録媒体１００５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ１００４上にローディングされ、主メモリ上で実行される。
【００７３】
【発明の効果】
本発明の情報検索システムによれば、検索処理において、特徴量の中でユーザが注目する特徴量ベクトル要素のみを使うことでユーザの意図に合った精度の高い検索が可能であり、かつ、検索結果の分類配置において検索で用いた特徴量ベクトル要素を除いた特徴量ベクトル要素を用いるので適切に検索結果を分散させることができ、一覧性の高い配置で検索結果の表示が可能となる。
【００７４】
本発明の情報検索システムによれば、検索処理において、特徴量の中でユーザが注目する種類の特徴量のみを使うことでユーザの意図に合った精度の高い検索が可能であり、かつ、検索結果の分類配置において検索で用いた特徴量を除いた特徴量のみを用いるので検索結果が適切に分散することとなり、一覧性の高い配置で検索結果の表示が可能となり、大量な情報を効率的に検索することができる。
【００７５】
また、分類配置特徴量のうち、検索結果に対する分散が高い特徴量ベクトル要素または特徴量の種類を選択して分類配置実行に用いるので、一覧性の高い配置で検索結果の表示が可能となる。
【図面の簡単な説明】
【図１】 本発明の実施形態１にかかる情報検索システムの構成例を示す図
【図２】 本発明の情報検索システムの処理の流れを示すフローチャート
【図３】 図２のステップＳ２０１の詳細ステップを示したフローチャート
【図４】 図２のステップＳ２０２の詳細ステップを示したフローチャート
【図５】 図２のステップＳ２０３の詳細ステップを示したフローチャート
【図６】 図２のステップＳ２０４の詳細ステップを示したフローチャート
【図７】 図２のステップＳ２０５の詳細ステップを示したフローチャート
【図８】 表示部１４上に示される表示画面の例を模式的に示した図
【図９】 図８に示した３つの検索キーから選択された検索特徴量を基に検索した結果を模式的に示した図
【図１０】 図９に示したように得られた検索結果を、分類配置特徴量を分類配置の特徴として自己組織化マップにより分類配置した模式図
【図１１】 ３つの検索キーＡ，Ｂ，Ｃを配置した例を示す図
【図１２】 本発明の実施形態３にかかる情報検索システムの構成例を示す図
【図１３】 指定を受けた場合の分類配置の結果を示す図
【図１４】 本発明の実施形態４にかかる利用者インタフェースシステムを実現する処理プログラムを記録した記録媒体を示した図
【符号の説明】
１０ 情報格納部
１３ サムネイル生成部
１４ 表示部
１５ 検索キー指定部
１６ 特徴量抽出部
１７ 検索特徴量選択部
１８ 検索部
１９ 分類配置特徴量選択部
２０，２０ａ 分類配置部
２１ 分類配置位置指定部
１０００ ネットワーク上にある記録装置内の記録媒体
１００１ 可搬型記録媒体
１００２ ＣＤ−ＲＯＭ
１００３ フレキシブルディスク
１００４ コンピュータ
１００５ コンピュータのハードディスクやＲＡＭ等の記録媒体
【発明の属する技術分野】
本発明は、テキストデータあるいは画像データなどの大量の情報からユーザが所望の情報に近いと思う複数の情報をキーとして指定し、指定された複数の検索キー集合の特徴に基づいて検索し、検索結果を類似した情報同士ほど近くに集まるように表示画面上に配置して表示することで、ユーザが所望の情報を素早く探すことが可能な情報検索システムに関する。
【０００２】
【従来の技術】
大量の情報から所望の情報を検索する従来の情報検索システムでは、検索要求と検索対象の情報とを照合し、適合度が高い順に並べたリストとして検索結果を表示する。この場合、適切な検索要求を与えなければ精度の高い検索結果は得られない。検索対象が画像情報である場合などは、一般的に、利用者が適切な検索要求を想起して指定するのは困難であり、曖昧な検索要求を入力することが多い。そのため所望の情報を見つけるためには大量の検索結果を取得して、その中身を目視して判断する必要があり、多大な労力を要していた。
【０００３】
検索キー選択の技術として、検索結果の情報を各々の特徴を表す特徴量に基づいて仮想的な３次元空間に視覚的に配置表示することで、検索の効率化をはかる技術が特開2000-250943号公報に開示されている。この技術では、表示画面に表示されている情報の中から利用者が選択した一つの検索キーが検索要求として用いられる。この場合、検索キーや検索対象の情報の内容を特徴量ベクトル値として表し、特徴量ベクトル値間の差で情報間の類似度を計算して適合度を求める。その際、特徴量ベクトルの要素は均一に扱われている。
【０００４】
また、検索結果の分類配置の技術として、２つあるいは３つの特徴量を時間的に変更しながら、それら特徴量が張る軸で構成される２次元あるいは３次元の空間上で情報集合を一覧表示することで、閲覧の効率化をはかる技術が特開2000-29885号公報に開示されている。
【０００５】
【発明が解決しようとする課題】
利用者が所望の情報に近いとして検索キーを選択するとき、特徴量ベクトルの要素の一部に注目していることが多い。従って、真にユーザが求める情報を高い精度で検索して得るためには、ユーザが注目している特徴量ベクトルの要素を的確に推定し、注目している特徴量ベクトルの要素のみを用いて検索する必要がある。特開2000-250943号公報記載の技術では特徴量ベクトルの要素は均一であるため、適切な検索キーの選択ができない。
【０００６】
また、異なる種類の特徴量を用いる場合は、同様にその中でユーザが注目する特徴量のみを用いて検索する必要がある。これに対し、異なる種類の特徴量を用いる場合に、ユーザが選択した複数の検索キーの特徴量の中で、同種の特徴量同士の差を求め、差が小さい特徴量を検索に用いる特徴量とする技術が、特開平11-238078号公報に開示されている。ここで、検索結果の一覧性を高め、閲覧効率を向上させるためには、類似した情報同士ほど近くに集まるように配置する必要があり、さらに、情報は検索結果表示画面上において適切に分散していることが好ましい。配置の分散が高いほど、共通の特徴を持った情報の塊が現れやすくなり、閲覧の効率化が図られるためである。しかしながら、上記の特開平11-238078号記載の技術では、検索に用いる特徴量を選別する方法は開示されているものの、検索結果をユーザに表示するための分類配置に用いる特徴量の選別方法には言及していない。分類配置に用いる特徴量として検索に用いた特徴量を選択すると、検索結果は当該特徴量に対して類似しているので適切に検索結果が分散することができない。この問題は、一つの特徴量のみを用いる場合の、特徴量のベクトル表現における要素の選択でも同様である。
【０００７】
また、上記の特開2000-29885号記載の技術では、分類配置表示において、空間軸に使用する特徴量を時間的に変更することで、特徴量選択の問題に代替的に対処している。しかしながら、特徴量の時間的な変更はユーザの意図とは無関係であり、意図に合った特徴量が選ばれるまで待たされるという問題があり、必ずしも利用者の意図に合った特徴量による検索を行うことはできない。
【０００８】
本発明は、上記課題を解決すべく、検索にあたっては、ユーザが選択した複数の検索キーに基づいて検索に用いる情報を適切に選択し、当該選択された情報を用いて検索を実行し、さらに、検索結果の分類配置にあたっては、選択した検索キーに基づいて分類配置に用いる情報を適切に選択して検索結果を分類配置することにより、ユーザの検索意図に合った検索結果表示画面を生成し、効率的な検索を可能とすることを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するために、本発明の情報検索システムは、ユーザが複数の検索キーを指定する検索キー指定部と、各検索キーに対応づけられた特徴量ベクトルを抽出する特徴量抽出部と、前記特徴量ベクトルの対応し合う要素間の平均距離を比較し、小さい方から規定個の特徴量ベクトルの要素を検索に用いる検索特徴量として選択する検索特徴量選択部と、前記検索特徴量を検索実行キーとして、情報格納部を検索する検索部と、各検索キーの特徴量ベクトルの要素のうち、前記検索特徴量として抽出されなかった特徴量ベクトルの要素を分類配置特徴量として選択する分類配置特徴量選択部と、前記分類配置特徴量を分類配置の特徴として用いて前記検索結果を分類配置する分類配置部と、前記分類配置結果を表示する表示部を備えたことを特徴とする。
【００１０】
上記構成により、検索において、特徴量の中でユーザが注目する特徴量ベクトル要素のみを使うことでユーザの意図に合った精度の高い検索が可能であり、かつ、検索結果の分類配置において検索で用いた特徴量ベクトル要素を除いた特徴量ベクトル要素を用いるので適切に検索結果を分散させることができ、一覧性の高い配置で検索結果の表示が可能となる。
【００１１】
なお、分類配置特徴量選択部が、分類配置特徴量として、前記検索結果に対する分散が高い特徴量ベクトルの要素を規定個選択することで一覧性の高い配置で検索結果の表示が可能となる。
【００１２】
次に、検索キーの指定において、利用者が、前記指定した各検索キーを平面上に配置し、前記検索特徴量選択部は、検索キー間の特徴量ベクトル要素の比が前記平面上に配置された検索キー間の相対的な距離比と近い特徴量ベクトル要素を規定数選び、前記検索特徴量として選択することが好ましい。
【００１３】
上記構成により、複数の検索キー間の類似関係を検索や分類配置に反映することが可能となり、検索キーとして指定する特徴量の重み付けを行うことができ、ユーザが特徴量間の類似関係を意図している場合に高い精度で検索することができる。
【００１４】
なお、分類配置において、検索キーとして指定した情報の分類配置位置を指定することができれば、ユーザが検索キーとして指定した個々の情報と他の検索結果である情報との関係に興味があるときに、分類配置表示画面における各情報の相対的関係が分かりやすくなる。
【００１５】
また、分類配置表示画面において、いわゆるウォークスルー技術を適用できれば、検索結果の閲覧が行い易くなり、また、前記検索キー指定部が、前記表示視点の位置との距離が規定値以内となった配置情報を利用者が選択した検索キーとみなすことにより、検索キー指定が速やかに行うことができる。
【００１６】
また、検索にあたり、過去の検索処理のうち、参照すべき検索処理の範囲を指定し、その履歴情報を用いつつ検索処理を実行できれば、一度の検索では十分な精度が出ないときでも、いわゆる試行錯誤的に、検索対象を絞り込んで行くことができ、検索精度を上げることができる。
【００１７】
なお、上記の構成において、前記検索キー指定部において、利用者が指定する検索キーがサムネイル画像であり、前記特徴量抽出部は、検索キーとして指定されたサムネイル画像に対応する原画像に対応づけられた画像特徴量を特徴量として抽出することが好ましい。
【００１８】
検索処理においては、サムネイル画像を用いた方が、閲覧性に優れていることが多いからである。
【００１９】
なお、上記の情報検索システムを実現する処理ステップを備えた処理プログラムコードを提供することができ、当該処理プログラムを記録したコンピュータ読み取り可能な記録媒体から処理プログラムを読み込むことにより、コンピュータを用いて構築することができる。
【００２０】
【発明の実施の形態】
本発明の実施形態１にかかる情報検索システムを述べる。
【００２１】
実施形態１にかかる情報検索システムは、複数の検索キーの特徴量ベクトル要素のうち、対応し合う特徴量ベクトル要素同士の平均距離が小さいものを規定個検索特徴量として選択し、検索特徴量とされた特徴量ベクトル値を検索実行キーとして、情報格納部を検索し、分類配置においては、検索特徴量として抽出されなかった特徴量ベクトル要素を分類配置特徴量として選択して分類配置を行うものである。この例では、テキストデータあるいは画像データからサムネイル画像を生成し、検索結果としてサムネイル画像を分類配置し、利用者の閲覧に供する例とする。
【００２２】
図１は実施形態１にかかる情報検索システムの構成例を示す図である。
【００２３】
情報格納部１０は、検索対象となる情報を格納している部分である。この例では検索対象情報がテキストデータあるいは画像データであり、それら情報が格納されている。
【００２４】
サムネイル生成部１３は、情報格納部１０に格納されたテキストデータあるいは画像データからサムネイルを生成する部分である。
【００２５】
データを表示するために用いるサムネイルとしては、画像データの場合、画像データそのもの、あるいは、その縮小画像がある。また、テキストデータの場合、図書ならば書名、その他文書ならばタイトル、あるいは、ファイル名などがある。これらを含め、データの中身を判断できる情報を視覚的に表すものであればよい。
【００２６】
表示部１４は、検索結果として分類配置された情報を表示する部分である。この例では、検索されたテキストデータあるいは画像データに対応するサムネイルを表示する部分である。また、検索キー指定部１５における検索キーの指定の際にサムネイルを用いる場合、表示部１４に表示されたサムネイルを利用することも可能である。
【００２７】
検索キー指定部１５は、ユーザが複数の検索キーを指定する部分である。この例では、検索キーがサムネイル画像であり、検索キーの指定方法として、表示部１４により表示されたサムネイルから所望の情報に近い複数の情報を選択することとし、検索キー指定部１５は、表示部１４上に表示されたサムネイルを指定する手段を利用者に提供する。
【００２８】
特徴量抽出部１６は、検索キー指定部１５により指定された各検索キーに対応づけられた特徴量を抽出する部分である。この例では、利用者が指定した検索キーとしたサムネイルに対応するテキストデータあるいは画像情報の内容を特徴付ける特徴量ベクトルの値を特徴量として抽出する。
【００２９】
特徴量としては、画像データの場合、画像中の画素についてＲＧＢ色空間やＨＳＶ色空間を分割したときの各ブロックに含まれる画素の割合である色ヒストグラムや画像を縦横格子状に分割したときの各ブロックの平均色を並べた色空間分布などがある。また、テキストデータの場合、含まれる単語の頻度分布などがある。これらを含め、データの特徴を表すベクトル値であればよい。
【００３０】
検索特徴量選択部１７は、検索キー指定部１５を介して指定された複数の検索キーの特徴量ベクトル要素のうち、特徴量ベクトルの対応し合う要素間の平均距離を比較し、小さい方から規定個の特徴量ベクトルの要素を検索に用いる検索特徴量として選択する部分である。検索特徴量選択部１７は、複数の検索キー画像の特徴量ベクトル要素同士を比較して平均距離を算出し、その平均距離が小さいものから規定数の特徴量ベクトル要素を、検索特徴量として選択する。
【００３１】
検索部１８は、検索特徴量選択部１７により選択された検索特徴量を検索実行キーとして用いて、情報格納部１０を検索する部分である。この例では、検索特徴量となった特徴量ベクトル要素のみに着目し、情報格納部１０に格納されたテキストデータあるいは画像データの当該特徴量ベクトル値とを比較し、両者間の差が小さい方から順に規定数個のテキストデータあるいは画像データを検索結果として情報格納部１０から取得する。
【００３２】
分類配置特徴量選択部１９は、検索部１８により取得された検索結果の特徴量について、検索特徴量選択部１７により選択された検索特徴量以外の特徴量ベクトル要素に着目し、検索結果の情報集合内での分散が高い方から規定数個の特徴量ベクトル要素を分類配置特徴量として選択する。この例では、検索特徴量として選択されなかった特徴量ベクトル要素のみに着目し、検索結果のテキストデータあるいは画像データ集合内での分散が高い方から規定数個の特徴量ベクトル要素を分類配置特徴量として選択する。
【００３３】
分類配置部２０は、検索部１８により検索された情報を、分類配置特徴量のみに着目して情報間の差が小さいほど近くに集まるよう平面上に配置し、結果をサムネイル生成部１３により生成したサムネイルによって表示部１４を介して利用者に表示する。
【００３４】
次に、上記情報検索システムの処理の流れを図２〜図７のフローチャートを参照しつつ説明する。
【００３５】
処理に先立ち、あらかじめ、情報格納部１０に格納されているすべてのテキストデータあるいは画像データから、ベクトル値として数量化された特徴量を抽出して保持しておく。また、処理に先立ち、サムネイル生成手段１３により情報格納部１０に格納されたテキストデータあるいは画像データからサムネイルを生成しておく。
【００３６】
まず、利用者が複数の検索キーを選択する（ステップＳ２０１）。このステップＳ２０１の詳細ステップを図３のフローチャートとして示している。
【００３７】
この例では、表示部１４によってサムネイルの一覧が表示されている画面上で、検索キーとして選択したいデータを画面上の位置で指定する。表示部１４の画面上での位置の指定方法としては、例えば、操作入力装置としてマウスを用い、マウスをクリックしたときのカーソルの現在位置とする方法がある。検索キー情報として選択するデータを表すサムネイルを表示装置の表示面上の位置で操作入力装置により指定する（ステップＳ２０１−１）。
【００３８】
検索キー指定部１５は、指定された位置から対応するデータを検索キーとして特定する（ステップＳ２０１−２）。２つ以上の検索キーが選択された上で検索キー指定部１５に対して利用者から検索キー選択終了が指示されると検索キー選択処理を終了する（ステップＳ２０１−３）。
【００３９】
表示部１４上に示される表示画面の例を模式的に示した図が図８である。図８のように複数のサムネイルが表示され、利用者がポインティングデバイスなどで検索キーとするサムネイルを指定する。この例では、８０１、８０２、８０３の３つのサムネイルが検索キーとして指定されたとする。
【００４０】
次に、検索特徴量を選択する（ステップＳ２０２）。このステップＳ２０２の詳細ステップを図４のフローチャートとして示している。
【００４１】
まず、検索特徴量選択部１７は、特徴量抽出部１６により抽出された検索キーとして選択された各テキストデータあるいは画像データの特徴量ベクトル値を受け取る（ステップＳ２０２−１）。なお、処理に先立って、あらかじめ、情報格納部１０に格納されているすべてのテキストデータあるいは画像データから特徴量ベクトル値を保持しているので当該保持されている特徴量ベクトル値から該当する特徴量ベクトル値を取り出す。
【００４２】
次に、検索特徴量選択部１７は、取り出した特徴量ベクトル値集合に対し、対応する特徴量ベクトル要素ごとに差の平均値を計算する（ステップＳ２０２−２）。検索特徴量選択部１７は、計算した差の平均値が小さい方から規定個の特徴量ベクトル要素のみを残すように選択する（ステップＳ２０２−３）。
【００４３】
例えば、いま、選択する特徴量ベクトルの要素数をＮとすると、検索キーとして選択されたデータ集合の特徴量ベクトル値について、同じ位置の特徴量ベクトル値の差の平均値を各位置ごとに計算し、小さい方からｍ番目までの特徴量ベクトル要素を求める。
【００４４】
例えば、検索キーとされた情報１の特徴量ベクトル値が（Ｄ1(１)，Ｄ2(１)，Ｄ3(１)，Ｄ4(１)，Ｄ5(１)）であり、検索キーとされた情報２の特徴量ベクトル値が（Ｄ1(２)，Ｄ2(２)，Ｄ3(２)，Ｄ4(２)，Ｄ5(２)）であり、検索キーとされた情報３の特徴量ベクトル値が（Ｄ1(３)，Ｄ2(３)，Ｄ3(３)，Ｄ4(３)，Ｄ5(３)）であるとする。情報１〜３までの特徴量ベクトルの要素同士を比較して、その平均距離を求める。例えば、各要素同士の差の絶対値の平均として（数１）より求める。
【００４５】
【数１】
（｜Ｄi(１)−Ｄi(２)｜＋｜Ｄi(２)−Ｄi(３)｜＋｜Ｄi(３)−Ｄi(１)｜）／３
ここで、ｉ＝１，・・・，５
今、検索特徴量のベクトル要素として選択される規定個が２つとすると、（数１）より求めた平均距離が小さい方から２つの特徴量ベクトル要素が選ばれる。例えば、Ｄ1，Ｄ5とする。つまり、情報１から（Ｄ1(１)，Ｄ5(１)）が選択され、情報２から（Ｄ1(２)，Ｄ5(２)）が選択され、情報３から（Ｄ1(３)，Ｄ5(３)）が検索特徴量として選択される。
【００４６】
次に、検索部１８により選択された検索特徴量を用いて検索を実行する（ステップＳ２０３）。このステップＳ２０３の詳細ステップを図５のフローチャートとして示している。
【００４７】
検索部１８は、情報格納部１０に格納されているテキストデータあるいは画像データの特徴量ベクトル値を逐次取り出す（ステップＳ２０３−１）。取り出した特徴量ベクトル値のうち検索特徴量として選択された特徴量ベクトル要素のもののみを残すよう選択する（ステップＳ２０３−２）。検索キーの選択された特徴量ベクトル値と情報格納部１０から取り出した各データの選択された特徴量ベクトル値とを照合し、両者の差をユークリッド距離として計算し、各検索キーごとに得られた差を求める（ステップＳ２０３−３）。情報格納部１０に格納されているすべてのデータについて求めた各検索キーごとの差の平均が小さい順に並べ、先頭から規定個のデータを検索結果とする（ステップＳ２０３−４）。
【００４８】
図８に示した３つの検索キーから選択された検索特徴量を基に検索した結果を模式的に示した例が図９である。画像要素９０１がすべての検索結果に含まれている。
【００４９】
次に、分類配置特徴量選択部１９により分類配置特徴量を選択する（ステップＳ２０４）。このステップＳ２０４の詳細ステップを図６のフローチャートとして示している。
【００５０】
分類配置特徴量選択部１９は、検索結果のデータに対応する特徴量ベクトル値から、検索時に選択した特徴量ベクトル要素以外の要素の値のみを残すよう選択する（ステップＳ２０４−１）。ここでは、Ｄ1(ｎ)とＤ5(ｎ)が検索特徴量として選択されていたので、Ｄ2(ｎ)、Ｄ3(ｎ)、Ｄ4(ｎ)が残る。
【００５１】
次に、選択された特徴量特徴量ベクトル値の集合において対応する特徴量ベクトル値ごとに分散値を計算する（ステップＳ２０４−２）。各特徴量ベクトル要素について分散値の高い方から規定個の特徴量ベクトル要素の値のみを残すよう変更し、分類配置特徴量とする（ステップＳ２０４−３）。例えば、規定個を２つとし、Ｄ2(ｎ)、Ｄ3(ｎ)が分散特徴量として選択される。
【００５２】
次に、分類配置部２０は、分類配置特徴量を用いて検索結果を分類配置する（ステップＳ２０５）。このステップＳ２０５の詳細ステップを図７のフローチャートとして示している。分類配置部２０は、検索結果のデータ集合について対応する特徴量ベクトル値間の差が小さいほど近くに集まるような平面上の配置を計算する（ステップＳ２０５−１）。分類配置部２０は、分類配置結果を元にサムネイル生成手段１３によって生成された各データに対応するサムネイルの表示平面上での配置位置を決める（ステップＳ２０５−２）。例えば、特徴量ベクトル値間の差が小さいほど近くに集まるような平面上の配置の計算方法としては、自己組織化マップ、多次元尺度構成法などを用いる。
【００５３】
分類配置部２０は、分類配置データを表示部１４に対して出力する（ステップＳ２０５−３）。
【００５４】
次に、表示部１４は、分類配置結果に基づきサムネイルを用いて検索結果を表示する（ステップＳ２０６）。
【００５５】
図１０は、図９に示したように得られた検索結果を分類配置特徴量を分類配置の特徴として自己組織化マップにより分類配置した模式図である。画像要素９０１を含み、さらに他の画像要素の有無において似通った画像同士が近くに分類配置されている様子が分かる。
【００５６】
以上、ステップＳ２０１からステップＳ２０６の処理により、情報分類処理を実行する。
【００５７】
ここで、ステップＳ２０１からステップ２０６を繰り返すことが可能であり、このとき、検索特徴量選択部１７および分類配置特徴量選択部１９は、ユーザが選択した検索キーの履歴を保持すれば、特徴量の選択処理の時に過去の特徴量選択の情報を利用できる。つまり、過去の情報検索処理のうち、参照すべき情報検索処理の範囲の指定を受け、検索特徴量選択部１７は、検索特徴量の選択にあたり、参照の指定を受けた検索処理において利用された情報も加えて検索特徴量を選択し、分類配置特徴量選択部１９は、参照指定を受けた検索処理において分類配置の特徴として利用された分類配置特徴量も加えて分類配置の特徴として利用する分類配置特徴量を選択する。
【００５８】
また、表示部１４が、分類配置された検索結果を仮想的な三次元空間における任意の表示視点から見た状態として表示する機能と、利用者による表示視点の変更操作を受け付け、仮想的な三次元空間のウォークスルーを可能とする機能を備えることができる。さらに、このとき、検索キー指定部１５は、サムネイルに対する視点の位置を表示空間における規定距離内に移動することで、検索キーの選択操作とすることも可能である。また、検索キー指定部１５は、視点の位置がサムネイルの表示位置を画面の奥行き方向に突き抜けることで検索キーの選択とみなすことにより、新たにステップＳ２０１からステップ２０６を繰り返すことが可能である。
【００５９】
以上、本実施形態１の情報検索システムによれば、検索において特徴量の要素の中でユーザが注目する要素のみを使うことでユーザの意図に合った精度の高い検索が可能であり、かつ、検索結果の分類配置において検索で用いた要素を除いた特徴量の中で分散の高い要素のみを用いることで高速かつ一覧性の高い配置で表示が可能となり、大量な情報を効率的に検索することができる。
【００６０】
（実施形態２）
実施形態２の情報検索装置は、検索キーの指定において、利用者が、前記指定した各検索キーを平面上に配置し、検索特徴量選択部は、検索キー間の特徴量の値の比が前記平面上に配置された検索キー間の配置平面上での相対的な距離比と近い特徴量を規定個選び、前記検索特徴量として選択するものである。
【００６１】
この例では、利用者は検索キー指定部１５により複数の検索キーを選択後、検索キーに対応するサムネイルを表示部１４の表示平面上の任意の位置に配置することで、検索キー間の類似関係を指定できることとする。図１１は、３つの検索キーＡ，Ｂ，Ｃを配置した例である。この例では、利用者は検索キーＡとＢの間で近く、ＡとＣ、あるいは、ＡとＢの間では近くないような類似関係を指定している。
【００６２】
検索特徴量選択部１７は、検索特徴量となる特徴量ベクトル要素の選択または検索特徴量となる種類の特徴量の選択において、まず、対応する特徴量間の差の平均値が規定値以内の要素を求め、次に、その中で、対応する要素間の差の比を求める。この差の比が、利用者が配置したサムネイル間の画面上の差の比と近いほうから規定個の要素を選択する。例えば、いま、図１１のように、利用者が画面上に配置した検索キーＡＢ間の距離がＬABであり、ＢＣ間の距離がＬBCであり、ＣＡ間の距離がＬCAであったとする。また、検索キーＡＢ間の特徴量ベクトル値のｉ番目の要素の差がｌｉABであり、ＢＣ間の要素の差がｌｉBCであり、ＣＡ間の要素の差がｌｉCAであったとする。このとき、ｉ番目の要素に対する評価値Ｅｉを（数２）より計算する。この評価値が小さい方から規定個の要素を選択する。
【００６３】
【数２】
検索特徴量の選択処理以降の、検索部１８での検索処理、分類配置部２０による分類配置処理、表示部１４での表示処理などは、実施形態１と同様で良い。
【００６５】
以上のように、本実施形態２の情報検索システムによれば、複数の検索キー間の類似関係を検索特徴量の選択に反映することが可能となり、検索キーの配置を通じて検索キーの特徴量に対する重み付けを行うことができ、検索キー間の類似関係を利用者の意図に従って検索処理に反映させ、高い精度で検索することができる。
【００６６】
（実施形態３）
実施形態３の情報検索システムは、分類配置部が、検索キーとして指定された情報の分類配置位置を指定する分類配置位置指定部を備えたものであり、検索結果の分類配置において、分類配置位置指定部の指定に従い、検索キーとなった情報の分類位置を指定位置とすることができるシステムである。
【００６７】
このように、分類配置において、検索キーとして指定した情報の分類配置位置を指定することができれば、ユーザが検索キーとして指定した個々の情報と他の検索結果である情報との関係に興味があるときに、分類配置表示画面における各情報の相対的関係が分かりやすくなる。
【００６８】
図１２は、実施形態３の情報検索システムの構成例を示す図である。
【００６９】
分類配置部２０ａは、分類配置位置指定部２１を備えている。利用者は、分類配置位置指定部２１を介して、検索キーとして選択したデータのうち分類配置位置を固定したい検索キーを指定し、さらにその表示装置１４上での表示位置を指定する。この検索キーの指定と表示位置の指定のタイミングは、例えば、検索キー指定部１５を介した検索キーの指定時とする。
【００７０】
検索部１８による検索処理後、分類配置部２０は、検索結果として得られた情報を分類配置特徴量により分類配置するが、分類配置位置の固定指定された情報は、その分類配置位置に固定し、他の情報を自己組織化マップなどによる分類配置を行う。
【００７１】
例えば、実施形態２において説明した、複数の検索キーを平面上に配置することにより検索キーの特徴量に対する重み付けを行う仕組みと組み合わせた例を示す。利用者が図１１に示したように、３つの検索キーＡ，Ｂ，Ｃを配置し、さらに、分類配置位置指定部２１により、これら３つの検索キーＡ，Ｂ，Ｃの分類配置位置を図１１に示した相対位置において固定する指定を行う。図１３は当該指定を受けた場合の分類配置の結果を示す図である。３つの検索キーＡ，Ｂ，Ｃのサムネイルが図１１に示した相対位置において固定されており、他のサムネイルが自己組織化マップにより分類配置されている。
【００７２】
（実施形態４）
本発明の利用者インタフェースシステムは、上記に説明した構成を実現する処理ステップを記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明の利用者インタフェースシステムを実現する処理ステップを備えたプログラムを記録した記録媒体は、図１４に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ１００２やフレキシブルディスク１００３等の可搬型記録媒体１００１だけでなく、ネットワーク上にある記録装置内の記録媒体１０００や、コンピュータのハードディスクやＲＡＭ等の記録媒体１００５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ１００４上にローディングされ、主メモリ上で実行される。
【００７３】
【発明の効果】
本発明の情報検索システムによれば、検索処理において、特徴量の中でユーザが注目する特徴量ベクトル要素のみを使うことでユーザの意図に合った精度の高い検索が可能であり、かつ、検索結果の分類配置において検索で用いた特徴量ベクトル要素を除いた特徴量ベクトル要素を用いるので適切に検索結果を分散させることができ、一覧性の高い配置で検索結果の表示が可能となる。
【００７４】
本発明の情報検索システムによれば、検索処理において、特徴量の中でユーザが注目する種類の特徴量のみを使うことでユーザの意図に合った精度の高い検索が可能であり、かつ、検索結果の分類配置において検索で用いた特徴量を除いた特徴量のみを用いるので検索結果が適切に分散することとなり、一覧性の高い配置で検索結果の表示が可能となり、大量な情報を効率的に検索することができる。
【００７５】
また、分類配置特徴量のうち、検索結果に対する分散が高い特徴量ベクトル要素または特徴量の種類を選択して分類配置実行に用いるので、一覧性の高い配置で検索結果の表示が可能となる。
【図面の簡単な説明】
【図１】 本発明の実施形態１にかかる情報検索システムの構成例を示す図
【図２】 本発明の情報検索システムの処理の流れを示すフローチャート
【図３】 図２のステップＳ２０１の詳細ステップを示したフローチャート
【図４】 図２のステップＳ２０２の詳細ステップを示したフローチャート
【図５】 図２のステップＳ２０３の詳細ステップを示したフローチャート
【図６】 図２のステップＳ２０４の詳細ステップを示したフローチャート
【図７】 図２のステップＳ２０５の詳細ステップを示したフローチャート
【図８】 表示部１４上に示される表示画面の例を模式的に示した図
【図９】 図８に示した３つの検索キーから選択された検索特徴量を基に検索した結果を模式的に示した図
【図１０】 図９に示したように得られた検索結果を、分類配置特徴量を分類配置の特徴として自己組織化マップにより分類配置した模式図
【図１１】 ３つの検索キーＡ，Ｂ，Ｃを配置した例を示す図
【図１２】 本発明の実施形態３にかかる情報検索システムの構成例を示す図
【図１３】 指定を受けた場合の分類配置の結果を示す図
【図１４】 本発明の実施形態４にかかる利用者インタフェースシステムを実現する処理プログラムを記録した記録媒体を示した図
【符号の説明】
１０ 情報格納部
１３ サムネイル生成部
１４ 表示部
１５ 検索キー指定部
１６ 特徴量抽出部
１７ 検索特徴量選択部
１８ 検索部
１９ 分類配置特徴量選択部
２０，２０ａ 分類配置部
２１ 分類配置位置指定部
１０００ ネットワーク上にある記録装置内の記録媒体
１００１ 可搬型記録媒体
１００２ ＣＤ−ＲＯＭ
１００３ フレキシブルディスク
１００４ コンピュータ
１００５ コンピュータのハードディスクやＲＡＭ等の記録媒体
Claims (9)
- ユーザが複数の検索キーを指定する検索キー指定部と、
各検索キーに対応づけられた特徴量ベクトルを抽出する特徴量抽出部と、
前記複数の検索キーに対応づけられた複数の前記特徴量ベクトルについて、対応し合う要素間の平均距離を比較し、小さい方から規定個の特徴量ベクトルの要素を検索に用いる検索特徴量として選択する検索特徴量選択部と、
前記検索特徴量を検索実行キーとして、情報格納部を検索する検索部と、
各検索キーの特徴量ベクトルの要素のうち、前記検索特徴量として抽出されなかった特徴量ベクトルの要素を分類配置特徴量として選択する分類配置特徴量選択部と、
前記分類配置特徴量を分類配置の特徴として用いて前記検索部の検索により得られたデータを分類配置する分類配置部と、
前記分類配置部による分類配置にしたがって前記データを表示する表示部を備えたことを特徴とする情報検索システム。 - 前記分類配置特徴量選択部は、前記分類配置特徴量として、前記検索結果に対する分散が高い特徴量ベクトルの要素を規定個選択する請求項１に記載の情報検索システム。
- 前記検索キーの指定において、利用者が、前記指定した各検索キーを平面上に配置し、
前記検索特徴量選択部は、検索キー間の特徴量ベクトル要素の比が前記平面上に配置された検索キー間の相対的距離比と近い特徴量ベクトル要素を規定数選び、前記検索特徴量として選択する請求項１に記載の情報検索システム。 - 前記分類配置部は、前記検索キーとして指定された情報の分類配置位置を指定する分類配置位置指定部を備え、
前記検索部により得られたデータの分類配置において、前記分類配置部は、前記検索キーとして指定された情報を、前記分類配置位置指定部で指定された分類配置位置に固定する請求項１に記載の情報検索システム。 - 前記検索特徴量選択部と前記分類配置特徴量選択部が、ユーザが選択した検索キーの履歴情報を保持し、参照すべき情報検索処理の範囲の指定を受け、前記検索特徴量選択部は、検索特徴量の選択にあたり、参照すべき情報検索処理の範囲において前記履歴情報が示すユーザが選択した検索キーも加えて検索特徴量を選択し、前記分類配置特徴量選択部は、参照すべき情報検索処理の範囲において前記履歴情報が示すユーザが選択した検索キーも加えて分類配置の特徴として利用する分類配置特徴量を選択する請求項１に記載の情報検索システム。
- 前記表示部が、分類配置された検索結果を仮想的な三次元空間における任意の表示視点から見た状態として表示する機能と、
利用者による前記表示視点の変更操作を受け付け、仮想的な三次元空間のウォークスルーを可能とする機能を備え、
前記検索キー指定部は、前記表示視点の位置との距離が規定値以内となった情報を利用者が選択した検索キーとみなす請求項１に記載の情報検索システム。 - 前記検索キー指定部において、利用者が指定する検索キーがサムネイル画像であり、
前記特徴量抽出部は、検索キーとして指定されたサムネイル画像に対応する原画像に対応づけられた画像特徴量を特徴量として抽出する請求項１から６のいずれかに記載の情報検索システム。 - コンピュータが実行する情報検索方法であって、
前記コンピュータの検索キー指定部が、ユーザから複数の検索キーの指定を受け、
前記コンピュータの特徴量抽出部が、各検索キーに対応づけられた特徴量ベクトルを抽出し、
前記コンピュータの検索特徴量選択部が、前記複数の検索キーに対応づけられた複数の前記特徴量ベクトルについて、対応し合う要素間の平均距離を比較し、小さい方から規定個の特徴量ベクトルの要素を検索に用いる検索特徴量として選択し、
前記コンピュータの検索部が、前記検索特徴量を検索実行キーとして、情報格納部を検索し、
前記コンピュータの分類配置特徴量選択部が、各検索キーの特徴量ベクトルの要素のうち、前記検索特徴量として抽出されなかった特徴量ベクトルの要素を分類配置特徴量として選択し、
前記コンピュータの分類配置部が、前記分類配置特徴量を分類配置の特徴として用いて前記検索部の検索により得られたデータを分類配置し、
前記コンピュータの表示部が、前記分類配置部による分類配置にしたがって前記データを表示することを特徴とする情報検索方法。 - コンピュータに情報検索処理を実行させる情報検索処理プログラムであって、
ユーザから複数の検索キーの指定を受け付ける検索キー指定処理と、
各検索キーに対応づけられた特徴量ベクトルを抽出する特徴量抽出処理と、
前記複数の検索キーに対応づけられた複数の前記特徴量ベクトルについて、対応し合う要素間の平均距離を比較し、小さい方から規定個の特徴量ベクトルの要素を検索に用いる検索特徴量として選択する検索特徴量選択処理と、
前記検索特徴量を検索実行キーとして、情報格納部を検索する検索処理と、
各検索キーの特徴量ベクトルの要素のうち、前記検索特徴量として抽出されなかった特徴量ベクトルの要素を分類配置特徴量として選択する分類配置特徴量選択処理と、
前記分類配置特徴量を分類配置の特徴として用いて前記検索処理により得られたデータを分類配置する分類配置処理と、
前記分類配置処理による分類配置にしたがって前記データを表示する表示処理とをコンピュータに実行させる情報検索処理プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001085759A JP4363792B2 (ja) | 2001-03-23 | 2001-03-23 | 情報検索システムおよび方法 |
| US09/956,935 US6804420B2 (en) | 2001-03-23 | 2001-09-21 | Information retrieving system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001085759A JP4363792B2 (ja) | 2001-03-23 | 2001-03-23 | 情報検索システムおよび方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002288219A JP2002288219A (ja) | 2002-10-04 |
| JP4363792B2 true JP4363792B2 (ja) | 2009-11-11 |
Family
ID=18941218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001085759A Expired - Fee Related JP4363792B2 (ja) | 2001-03-23 | 2001-03-23 | 情報検索システムおよび方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6804420B2 (ja) |
| JP (1) | JP4363792B2 (ja) |
Families Citing this family (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6993186B1 (en) * | 1997-12-29 | 2006-01-31 | Glickman Jeff B | Energy minimization for classification, pattern recognition, sensor fusion, data compression, network reconstruction and signal processing |
| JP3979834B2 (ja) * | 2001-12-13 | 2007-09-19 | 富士フイルム株式会社 | 画像データベース装置およびその動作制御方法 |
| FI20021021A (fi) * | 2002-05-30 | 2003-12-01 | Nokia Oyj | Mediatiedostojen luokittelu symbolien perusteella |
| JP2004030122A (ja) * | 2002-06-25 | 2004-01-29 | Fujitsu Ltd | 図面検索支援装置および図面検索方法 |
| JP4388301B2 (ja) * | 2003-05-08 | 2009-12-24 | オリンパス株式会社 | 画像検索装置、画像検索方法、画像検索プログラム及びそのプログラムを記録した記録媒体 |
| US7274834B2 (en) * | 2003-05-21 | 2007-09-25 | Konica Minolta Holdings, Inc. | Searching device, searching method and program |
| JP2006048089A (ja) * | 2004-07-30 | 2006-02-16 | Open Knowledge:Kk | 技術知識の解釈システム |
| JP2006079220A (ja) * | 2004-09-08 | 2006-03-23 | Fuji Photo Film Co Ltd | 画像検索装置および方法 |
| JP2006221446A (ja) * | 2005-02-10 | 2006-08-24 | Mitsubishi Electric Corp | 画像検索装置 |
| JP4324123B2 (ja) * | 2005-03-17 | 2009-09-02 | 富士通株式会社 | モデルデータ表示プログラム、モデルデータ表示装置およびモデルデータ表示方法 |
| JP2006285526A (ja) * | 2005-03-31 | 2006-10-19 | Seiko Epson Corp | 画像データに応じた情報検索 |
| CN104182459B (zh) * | 2005-12-01 | 2019-03-08 | 皇家飞利浦电子股份有限公司 | 用于将内容呈现给用户的系统和方法 |
| US7787711B2 (en) * | 2006-03-09 | 2010-08-31 | Illinois Institute Of Technology | Image-based indexing and classification in image databases |
| JP2007304738A (ja) * | 2006-05-10 | 2007-11-22 | Viva Computer Co Ltd | 画像蓄積・検索システムと同システム用の画像蓄積装置及び画像検索装置並びにプログラム |
| AU2007296443B2 (en) | 2006-09-15 | 2011-09-22 | The Nielsen Company (Us), Llc | Methods and apparatus to identify images in print advertisements |
| JP2009252185A (ja) * | 2008-04-10 | 2009-10-29 | Ricoh Co Ltd | 情報検索装置、情報検索方法、制御プログラム及び記録媒体 |
| JP5151753B2 (ja) * | 2008-07-10 | 2013-02-27 | 株式会社Ｊｖｃケンウッド | ファイル検索装置、ファイル検索方法および音楽再生装置ならびにプログラム |
| JP5268595B2 (ja) * | 2008-11-28 | 2013-08-21 | ソニー株式会社 | 画像処理装置、画像表示方法及び画像表示プログラム |
| JP4735995B2 (ja) * | 2008-12-04 | 2011-07-27 | ソニー株式会社 | 画像処理装置、画像表示方法および画像表示プログラム |
| US8457469B2 (en) | 2009-04-30 | 2013-06-04 | Sony Corporation | Display control device, display control method, and program |
| JP5261776B2 (ja) * | 2010-04-21 | 2013-08-14 | 日本電信電話株式会社 | 類似データ判別装置、類似データ判別方法およびプログラム |
| JP2012226510A (ja) * | 2011-04-19 | 2012-11-15 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ収集方法、コンテンツ収集装置およびコンテンツ収集プログラム |
| US10606883B2 (en) | 2014-05-15 | 2020-03-31 | Evolv Technology Solutions, Inc. | Selection of initial document collection for visual interactive search |
| US10102277B2 (en) | 2014-05-15 | 2018-10-16 | Sentient Technologies (Barbados) Limited | Bayesian visual interactive search |
| US20150331908A1 (en) * | 2014-05-15 | 2015-11-19 | Genetic Finance (Barbados) Limited | Visual interactive search |
| WO2017064561A2 (en) * | 2015-10-15 | 2017-04-20 | Sentient Technologies (Barbados) Limited | Selection of initial document collection for visual interactive search |
| US10909459B2 (en) | 2016-06-09 | 2021-02-02 | Cognizant Technology Solutions U.S. Corporation | Content embedding using deep metric learning algorithms |
| JP6805626B2 (ja) * | 2016-08-19 | 2020-12-23 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
| US10755142B2 (en) | 2017-09-05 | 2020-08-25 | Cognizant Technology Solutions U.S. Corporation | Automated and unsupervised generation of real-world training data |
| US10755144B2 (en) | 2017-09-05 | 2020-08-25 | Cognizant Technology Solutions U.S. Corporation | Automated and unsupervised generation of real-world training data |
| US11574201B2 (en) | 2018-02-06 | 2023-02-07 | Cognizant Technology Solutions U.S. Corporation | Enhancing evolutionary optimization in uncertain environments by allocating evaluations via multi-armed bandit algorithms |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5579471A (en) * | 1992-11-09 | 1996-11-26 | International Business Machines Corporation | Image query system and method |
| US5802361A (en) * | 1994-09-30 | 1998-09-01 | Apple Computer, Inc. | Method and system for searching graphic images and videos |
| JPH09204440A (ja) * | 1996-01-29 | 1997-08-05 | Fujitsu Ltd | 画像検索システム、画像検索方法、及び記録媒体 |
| JP3614235B2 (ja) * | 1996-03-19 | 2005-01-26 | 富士通株式会社 | 情報探索装置 |
| US5983237A (en) * | 1996-03-29 | 1999-11-09 | Virage, Inc. | Visual dictionary |
| US6625321B1 (en) * | 1997-02-03 | 2003-09-23 | Sharp Laboratories Of America, Inc. | Embedded image coder with rate-distortion optimization |
| JP3571162B2 (ja) * | 1997-03-03 | 2004-09-29 | 日本電信電話株式会社 | 類似オブジェクト検索方法および装置 |
| JP3586549B2 (ja) * | 1997-12-08 | 2004-11-10 | 株式会社日立製作所 | 画像検索方法およびその装置 |
| JP4074366B2 (ja) * | 1998-02-24 | 2008-04-09 | コニカミノルタビジネステクノロジーズ株式会社 | 画像検索装置及び方法並びに画像検索プログラムを記録した記録媒体 |
| US6084595A (en) * | 1998-02-24 | 2000-07-04 | Virage, Inc. | Indexing method for image search engine |
| JP4213786B2 (ja) | 1998-07-09 | 2009-01-21 | 株式会社日立製作所 | 画像集合の表示方法および画像表示装置 |
| JP3572215B2 (ja) * | 1999-02-18 | 2004-09-29 | 日本電信電話株式会社 | 検索画像の空間表示方法及び装置及びこの方法のプログラムを記憶した記憶媒体 |
| JP3522570B2 (ja) | 1999-03-03 | 2004-04-26 | 日本電信電話株式会社 | 画像検索・画像分類連携システム |
| KR100516289B1 (ko) * | 2000-11-02 | 2005-09-21 | 주식회사 케이티 | 퍼지 적분을 이용하여 사용자 의견을 반영한 내용기반영상 검색 장치 및 그 방법 |
-
2001
- 2001-03-23 JP JP2001085759A patent/JP4363792B2/ja not_active Expired - Fee Related
- 2001-09-21 US US09/956,935 patent/US6804420B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US20020164078A1 (en) | 2002-11-07 |
| US6804420B2 (en) | 2004-10-12 |
| JP2002288219A (ja) | 2002-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4363792B2 (ja) | 情報検索システムおよび方法 | |
| EP2080113B1 (en) | Media material analysis of continuing article portions | |
| US8391618B1 (en) | Semantic image classification and search | |
| US6556710B2 (en) | Image searching techniques | |
| US6522782B2 (en) | Image and text searching techniques | |
| JP5212610B2 (ja) | 代表画像又は代表画像群の表示システム、その方法、およびそのプログラム並びに、代表画像又は代表画像群の選択システム、その方法およびそのプログラム | |
| JP5062819B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
| US20060155684A1 (en) | Systems and methods to present web image search results for effective image browsing | |
| US7933452B2 (en) | System and methods of image retrieval | |
| US20090150376A1 (en) | Mutual-Rank Similarity-Space for Navigating, Visualising and Clustering in Image Databases | |
| JP2002366575A (ja) | イメージ検索方法及び検索装置 | |
| US20060112142A1 (en) | Document retrieval method and apparatus using image contents | |
| US20110202543A1 (en) | Optimising content based image retrieval | |
| Ayache et al. | Evaluation of active learning strategies for video indexing | |
| JP4374902B2 (ja) | 類似画像検索装置、類似画像検索方法、および類似画像検索プログラム | |
| Suh et al. | Semi-automatic photo annotation strategies using event based clustering and clothing based person recognition | |
| CN107229741A (zh) | 信息搜索方法、装置、设备以及存储介质 | |
| KR20070009338A (ko) | 이미지 상호간의 유사도를 고려한 이미지 검색 방법 및장치 | |
| JP2004030122A (ja) | 図面検索支援装置および図面検索方法 | |
| US8204889B2 (en) | System, method, and computer-readable medium for seeking representative images in image set | |
| US6522780B1 (en) | Indexing of images and/or text | |
| Pan et al. | Content-based visual summarization for image collections | |
| Nakazato et al. | ImageGrouper: a group-oriented user interface for content-based image retrieval and digital image arrangement | |
| JPH09138804A (ja) | 画像検索装置 | |
| JP4904920B2 (ja) | 雛形文書作成プログラム、雛形文書作成方法および雛形文書作成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090512 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090709 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090818 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090818 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120828 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130828 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |