JP4886101B2 - Information processing apparatus, information processing method, and storage medium - Google Patents

Information processing apparatus, information processing method, and storage medium Download PDF

Info

Publication number
JP4886101B2
JP4886101B2 JP11792299A JP11792299A JP4886101B2 JP 4886101 B2 JP4886101 B2 JP 4886101B2 JP 11792299 A JP11792299 A JP 11792299A JP 11792299 A JP11792299 A JP 11792299A JP 4886101 B2 JP4886101 B2 JP 4886101B2
Authority
JP
Japan
Prior art keywords
information
image
area
displayed
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP11792299A
Other languages
Japanese (ja)
Other versions
JP2000305944A5 (en
JP2000305944A (en
Inventor
和世 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP11792299A priority Critical patent/JP4886101B2/en
Priority to US09/553,858 priority patent/US6853389B1/en
Publication of JP2000305944A publication Critical patent/JP2000305944A/en
Publication of JP2000305944A5 publication Critical patent/JP2000305944A5/en
Application granted granted Critical
Publication of JP4886101B2 publication Critical patent/JP4886101B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
本発明は、情報処理装置、情報処理方法及び記憶媒体に係り、更に詳しくは、コンピュータ等において情報検索を行い表示する場合に好適な情報処理装置、情報処理方法及び記憶媒体に関する。
【０００２】
【従来の技術】
従来、情報を検索して検索結果を表示する手法が存在する。従来技術においては、例えば特開平０８−３３９３７５にも示してあるように、検索結果の情報を二次元あるいは三次元の空間に表示し、一致度の高い検索結果ほど空間の原点近くに表示することで、検索結果の一致度を視覚的に分かりやすくして検索結果の表示を行う手法がとられている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述した従来の方法だけでは、一致度が完全一致である情報が複数存在する場合、これらの情報が重なって表示されてしまうために、最も結果を見たい情報が全て見えないという問題があった。また、完全一致でなくても一致度が高い情報は互いに重なりやすくなり、一致度が高い情報ほど見えにくくなるという問題があった。また、完全に一致した情報と完全に一致していない情報との区別をするのが困難であった。
【０００４】
本発明は、上述した点に鑑みなされたものであり、検索結果として最も見たい情報を見やすくすることができるようにした情報処理装置、情報処理方法及び記憶媒体を提供することを第一の目的とする。
【０００５】
また、本発明は、上述した点に鑑みなされたものであり、最も見たい検索結果の情報が他の情報に隠れることなく全て見られるようにした情報処理装置、情報処理方法及び記憶媒体を提供することを第二の目的とする。
【０００６】
また、本発明は、上述した点に鑑みなされたものであり、一致度の高い情報が互いに重なり合って見えにくくなることを避けることができるようにした情報処理装置、情報処理方法及び記憶媒体を提供することを第三の目的とする。
【０００７】
また、本発明は、上述した点に鑑みなされたものであり、完全一致であるかどうかが一目で分かるようにした情報処理装置、情報処理方法及び記憶媒体を提供することを第四の目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、本発明は、検索された情報を表示する情報処理装置において、検索条件を入力する検索条件入力手段と、検索対象となる個々の情報を格納している情報記憶手段と、前記情報記憶手段に格納された個々の情報と、前記検索条件入力手段から入力された検索条件とを比較することにより、検索条件を満たす度合いである一致度を算出する一致度算出手段と、完全一致領域と該完全一致領域の外側の不完全一致領域とを設け、前記検索条件に完全一致する複数の情報を前記完全一致領域内に表示させ、前記検索条件と完全一致しない情報を前記不完全一致領域内の前記一致度に対応する位置に表示させる検索結果表示制御手段とを有し、前記検索結果表示制御手段は、前記検索条件に完全一致する複数の情報を互いに重ならせないように前記完全一致領域の大きさを変えて表示させることを特徴とする。
【００１７】
上記目的を達成するために、本発明は、検索された情報を表示する情報処理装置の情報処理方法において、検索対象となる個々の情報を記憶する情報記憶手段に格納された個々の情報と、入力された検索条件とを比較することにより、検索条件を満たす度合いである一致度を算出する一致度算出ステップと、完全一致領域と該完全一致領域の外側の不完全一致領域とを設け、前記検索条件に完全一致する複数の情報を前記完全一致領域内に表示させ、前記検索条件と完全一致しない情報を前記不完全一致領域内の前記一致度に対応する位置に表示させる検索結果表示制御ステップとを有し、前記検索結果表示制御ステップにおいて、前記検索条件に完全一致する複数の情報を互いに重ならせないように前記完全一致領域の大きさを変えて表示させることを特徴とする。
【００２６】
上記目的を達成するために、本発明は、請求項６乃至請求項１０のうちいずれか１項に記載の情報処理方法を実行させるためのプログラムを記憶したコンピュータ読み出し可能な記憶媒体であることを特徴とする。
【００３５】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【００３６】
図１は本発明の実施の形態に係る情報検索装置の概念を示す機能ブロック図である。本発明の実施の形態に係る情報検索装置は、入力部１０１と、一致度算出部１０３・完全一致領域決定部１０４・検索結果表示部１０５を有する制御部１０２と、情報記憶部１０７を有する記憶部１０６と、表示部１０８とを備える構成となっている。
【００３７】
上記各部の機能を詳述すると、入力部１０１は、文字キー、ファンクションキー等を備えたキーボード等から構成されており、検索条件を制御部１０２へ入力する。制御部１０２は、マイクロプロセッサから構成されており、記憶部１０６の情報記憶部１０７に格納された検索対象の個々の情報と検索条件を比較し、一致度算出部１０３において個々の情報とクエリ（Ｑｕｅｒｙ）の一致度をクエリの個々の重要度に応じて算出し、完全一致領域決定部１０４において検索条件の全てを満たす情報を表示する領域を完全一致領域として決定し、検索結果表示部１０５において検索条件の全てを満たす情報は完全一致領域に、検索条件の一部を満たす情報の表示位置を一致度から完全一致領域以外の領域に求めて、該情報を表示部１０８へ出力して表示する。記憶部１０６の情報記憶部１０７には、検索対象の個々の情報が格納されている。表示部１０８は、制御部１０２の制御に基づき情報を表示する。
【００３８】
図２は本発明の実施の形態に係る情報検索装置のシステム構成を示すブロック図である。本発明の実施の形態に係る情報検索装置は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＣＤ−ＲＯＭドライブ２０４、ＣＤ−ＲＯＭ２０５、ＨＤ（ハードディスク）ドライブ２０６、キーボード２０７、ディスプレイ２０８、マウス２０７、プリンタ２１０、制御バス２１１を備える構成となっている。尚、図２に示す構成は一例であり図示の構成に限定されるものではない。
【００３９】
上記各部の構成を詳述すると、ＣＰＵ２０１は、中央制御装置であり、後述の図２１〜図３６のフローチャートに示す処理を実行する。ＲＯＭ２０２は、読み出し専用メモリであり、後述の図４に示されるように、制御手順プログラム４０１が格納されている。ＲＡＭ２０３は、随時読み出し書き込みメモリであり、後述の図６に示されるように、情報検索プログラム６０３、画像データベース６０４、一致領域データ６０５、一致画像データ６０６、半径増分データ６０７、配置角度データ６０８、類似画像バッファ６０９、類似画像情報６１０、分布情報６１１、グループ情報６１２、画面情報６１３などが格納されている。
【００４０】
ＣＤ−ＲＯＭドライブ２０４は、ＣＤ−ＲＯＭ２０５からの情報検索プログラム等の読み出しを制御する。ＣＤ−ＲＯＭ２０５は、情報検索プログラム等を記憶する。ＨＤドライブ２０６は、ＨＤに対するデータの書き込み／読み出しを制御する。キーボード２０７は、文字キー、ファンクションキー等を備えており、各種入力に使用される。ディスプレイ２０８は、ＣＰＵ２０１の制御に基づき表示を行う。マウス２０７は、ディスプレイ２０８上の座標位置入力に使用される。プリンタ２１０は、記録媒体上に印刷を行う。制御バス２１１は、上記各部が接続される共通信号路である。
【００４１】
図３は本発明の実施の形態に係る情報検索装置の記憶媒体であるＣＤ−ＲＯＭ２０５からプログラム等がコンピュータシステム（情報検索装置）に供給される様子を示す概念図である。情報検索プログラム等は、ＣＤ−ＲＯＭ２０５をコンピュータシステム３００のＣＤ−ＲＯＭドライブ２０４に挿入することで供給される。その後、ＣＤ−ＲＯＭ２０５から情報検索プログラム等をＲＡＭ２０３にロードし実行することが可能となる。或いは、ＣＤ−ＲＯＭ２０５から情報検索プログラム等を一旦ＨＤドライブ２０６のＨＤに格納しておき、情報検索プログラムを動作させる時点でＨＤからＲＡＭ２０３にロードし実行することも可能である。
【００４２】
図４は本発明の実施の形態に係る情報検索装置のＲＯＭ２０２の構成を示す概念図である。本発明の実施の形態に係る情報検索装置のＲＯＭ２０２の格納領域４００には、制御手順プログラム４０１等が格納されている。
【００４３】
図５は本発明の実施の形態に係る情報検索装置の記憶媒体であるＣＤ−ＲＯＭ２０５の構成を示す概念図である。本発明の実施の形態に係る情報検索装置のＣＤ−ＲＯＭ２０５の格納領域５００には、情報検索プログラム５０１、関連データである画像データベース５０２、一致領域データ５０３、一致画像データ５０４、半径増分データ５０５、配置角度データ５０６等が格納されている。
【００４４】
図６は本発明の実施の形態に係る情報検索装置のＣＤ−ＲＯＭ２０５に格納されている情報検索プログラム５０１、並びに、関連データである画像データベース５０２、一致領域データ５０３、一致画像データ５０４、半径増分データ５０５、配置角度データ５０６等が、ＲＡＭ２０３にロードされ実行可能となった状態のメモリマップ６００を示す概念図である。実行可能となった状態では、情報検索プログラム６０３、画像データベース６０４、一致領域データ６０５、一致画像データ６０６、半径増分データ６０７、配置角度データ６０８以外に、情報検索プログラムが使用するメモリとして、類似画像バッファ６０９、類似画像情報６１０、分布情報６１１、グループ情報６１２、及び画面情報６１３の領域が確保され、初期化される。
【００４５】
図７、図８、図９は本発明の実施の形態に係る情報検索装置において、情報検索プログラム６０３がディスプレイ２０８に表示する画面の構成例、並びに情報検索プログラム６０３を利用して画像検索を行う操作を示す説明図である。
【００４６】
図７において、７０１は、クエリ（Ｑｕｅｒｙ）を入力するためのクエリボックスであり、クエリとして「ｒｅｄａｐｐｌｅ」と入力された状態を示している。７０２は、検索を指示するための検索ボタンであり、マウス２０９を用いて検索ボタン７０２をクリックすることにより、クエリボックス７０１に格納されたクエリによって画像データベース６０４が検索され、検索結果が、７０３で示される検索結果表示領域に表示される。
【００４７】
検索結果表示領域７０３は、例えば縦６００ドット・横６００ドットの正方形の領域である。７０４や７０５等に示される四角形は、検索された画像を示している。各画像のサイズは、例えば縦６０ドット・横６０ドットで表示される。図７から図９では、説明の都合上、実際の画像は示していない。また、７０４のように、四角の中にある「ＩＤ：２３４」等の数字は、７０４の画像の画像ＩＤが「２３４」であることを示している。７０６で示される斜線の円の領域は、検索の条件を完全に満たす画像を表示するための一致領域である。一致領域７０６の中に表示される画像は、検索の条件を完全に満たした画像である。
【００４８】
７０７、７０８に示される破線の円は、検索の条件を満たす度合いを示すための目盛りである。本実施形態では、検索の条件を満たす度合いを類似度で表現することにする。完全に条件を満たす場合は類似度は１.０になり、全く条件を満たさない場合は類似度は０になる。７０７は、類似度０.９の目盛りであり、７０８は、類似度０.８の目盛りである。一致領域７０６は、類似度が１.０であることを示している。本実施形態では、類似度０.１刻みに目盛りが表示される。これから分かるように、検索結果表示領域７０３の中心から離れるにつれて類似度は下がっていく。即ち、検索の条件を満たす度合いの高い画像ほど、検索結果表示領域７０３の中心近くに表示され、検索の条件を満たす度合いが低い画像ほど、検索結果表示領域７０３の中心から離れて表示される。
【００４９】
画像ＩＤが「５６７」、「７６５」、「８５１」の画像は、少しずつ重なって表示されている。これは、これらの画像が互いに似通っており、一つのグループを形成していることを示している。また、７０５で示す画像と７１１で示す画像は、７１０によって示される直線で結ばれている。この直線を、グループ連結線と呼ぶことにする。このように、オーバーラップしていなくても、直線で結ばれている画像も、似通っており、一つのグループを形成していることを示している。各グループの中では、必ず一つの画像から、直線が検索結果表示領域７０３の中心に向かってのびている。この直線のことを、代表線と呼ぶことにする。また、代表線を持つ画像を、代表画像と呼ぶことにする。
【００５０】
例えば、７１１で示す画像は、代表画像であり、７０９によって示される代表線を持っている。代表画像は、グループの中で最も類似度が高いことを示している。各グループの中で、代表画像とそれ以外の画像との間の中心の距離は、代表画像との類似度を示している。代表画像との間の類似度が高いと、画像ＩＤが「５６７」、「７６５」、「８５１」の画像のように、グループ連結線は表示されず、各画像が重なって表示される。ここで、７０４の画像に示されるように、一つの画像であっても、グループを形成していると見なし、代表線が表示される。７１２は、検索結果表示領域７０３に表示されている画像よりも類似度が高い画像を表示するための前画面ボタンである。
【００５１】
図７では、クエリ「ｒｅｄａｐｐｌｅ」に対して検索を行った際の最初の検索結果表示領域７０３を示しているので、ここに表示されている画像よりも類似度の高い画像は存在せず、前画面ボタン７１２の三角形は、白地で表示されている。７１３は、検索結果表示領域７０３に表示されている画像よりも類似度が低い画像を表示するための次画面ボタンである。次の画面が存在するので、次画面ボタン７１３の三角形は黒地で表示されている。
【００５２】
図８は、図７の状態において、次画面ボタン７１３をマウス２０９を用いてクリックした後のディスプレイ２０８の状態を示した図である。８０１、８０２、８０３は、それぞれ、類似度０.８、０.７、０.６を示す目盛りである。目盛り８０２と目盛り８０３の間の距離は、その２つの目盛りの間の領域に表示されている画像が一つもないので、目盛り８０１と目盛り８０２の間の距離よりも狭くなっている。また、目盛り８０１の内側にある目盛りの間隔や、一致領域のサイズは、その中に画像が一つも表示されていないので、図７に比べて小さくなっている。前画面ボタン７１２は、高い類似度の画像が存在するので三角は黒地で表示されているが、次画面ボタン７１３は、それよりも類似度が低い画像が存在しないので三角は白地で表示されている。
【００５３】
図９は、図７の状態において、７１１の画像をマウス２０９を用いてクリックした後のディスプレイ２０８の状態を示した図である。検索結果表示領域７０３に表示されている画像をマウス２０９を使ってクリックすると、クリックされた画像に似ている画像が検索され、検索結果が検索結果表示領域７０３に表示される。また、クエリボックス７０１は、検索結果に対するクエリが存在しないのでクリアされる。その代わり、一致領域には、検索の元になった７１１の画像が表示される。その際、７１１の画像は、クエリによって検索した場合と区別するために２重枠で表示されている。また、目盛りの間隔は、図７の状態と比較すると狭くなっている。
【００５４】
図１０は本発明の実施の形態に係る情報検索装置のＲＡＭ２０３に読み込まれた画像データベース６０４の構成を示す説明図である。画像データベース６０４には、画像ＩＤとその画像ＩＤに対する画像ファイルの名称と説明文を、それぞれ１つずつ対応させたものを１つの項目とし、複数の項目が格納されている。例えば、図中では１つの項目として、画像ＩＤ「０」と、画像ファイル「０００００００.ｊｐｇ」と、説明文「ａｒｅｄａｐｐｌｅ」が対応されて格納されている。
【００５５】
画像ＩＤは、画像データベースに格納されている画像を識別するための番号であり、画像データベースに格納された順番に、０から昇順に番号が画像に付与されるものである。従って、画像データベースに格納されている画像ＩＤの最大値は、画像データベースに格納されている画像の個数から１引いた値と一致する。画像ファイルは、本画像データベースに登録された画像データのファイルの格納場所を指し示す情報である。従って、画像ファイルから画像データを求めることによって、画像をディスプレイ２０８へ表示することができる。説明文は、対応する画像を記述した文であり、情報検索プログラム６０３は、この説明文を使用して画像ディスプレイ２０８の中から所望の画像を検索する。各項目は、画像ＩＤによって昇順にソートされている。
【００５６】
図１１は本発明の実施の形態に係る情報検索装置のＲＡＭ２０３に読み込まれた一致領域データ６０５の構成を示す説明図である。一致領域データ６０５には、上記図７の７０６に示されるような一致領域の大きさを、一致領域に表示される画像の個数に応じて変更するためのデータが格納されている。一致領域データは、図１１に示すように、１次元の配列であり、配列の添え字として、一致領域に表示される画像の個数が対応し、配列の要素として一致領域の半径のドット数が格納される。一致領域に表示される画像の個数と一致領域の半径のサイズとの対応は、一致領域に表示される画像が互いに重なることなく表示できるように予め決定される。
【００５７】
例えば、図１１から、一致領域に表示される画像が０個である場合は一致領域の半径は３０ドットであり、１個である場合は６０ドット、２個である場合は９０ドット、３個である場合は１２０ドットであることが分かる。
【００５８】
図１２は本発明の実施の形態に係る情報検索装置のＲＡＭ２０３に読み込まれた一致画像データ６０６の構成を示す説明図である。一致画像データ６０６には、上記図７の一致領域７０６中に表示される類似度１.０の画像を表示する画像の中心の座標を、一致領域に表示する画像の個数と対応させて格納している。即ち、一致領域に１個の画像を表示する場合は１つの座標が、２個の画像を表示する場合は２個の座標が、３個の画像を表示する場合は３個の座標がというように、一致領域に表示する画像の個数に対して同じ個数の座標がそれぞれ対応されて格納される。各座標は、一致領域の中心を原点とし、画面向かって右側水平方向をｘ軸、上側鉛直方向をｙ軸とした場合の座標が格納されている。各画像の座標は、一致領域に表示する座標が互いに重なることなく表示されるように予め決定される。
【００５９】
例えば、図１２から、一致領域７０６に１個の画像を表示する場合は座標（０、０）の位置に、２個の画像を表示する場合は座標（０、３５）、（０、−３５）の位置に、３個の画像を表示する場合は座標（０、３５）、（４５、−３５）、（−４５、−３５）の位置に表示する情報が格納されていることが分かる。
【００６０】
図１３は本発明の実施の形態に係る情報検索装置のＲＡＭ２０３に読み込まれた半径増分データ６０７の構成を示す説明図である。半径増分データ６０７は、上記図７の７０７や７０８等の目盛りの間隔を決定するために使用される。目盛りの間隔は、２つの目盛りの間に表示される画像の個数によって決定される。従って、半径増分データ６０７には、目盛りの間に表示される個数と目盛りの間隔を対応させた項目が複数格納されており、個数によって昇順にソーティングされている。目盛りの間隔は、対象となる目盛りよりも０.１大きい目盛りとの、半径の増分がドット数で格納される。
【００６１】
例えば、図１３から、画像の個数が０個である場合は３０ドット半径を大きくした目盛りを表示し、画像の個数が１個以上４個以下である場合は６０ドット半径を大きくした目盛りを表示し、画像の個数が５個以上１０個以下である場合は９０ドット半径を大きくした目盛りを表示すればよいことが分かる。
【００６２】
図１４は本発明の実施の形態に係る情報検索装置のＲＡＭ２０３に確保された配置角度データ６０８の構成を示す説明図である。配置角度データ６０８は、検索結果表示領域に表示する代表画像の位置を決定するために使用される。配置角度データ６０８は、検索結果表示領域中心から向かって水平右方向の角度を０度とした場合、代表画像を表示する角度を規定する。配置角度データ６０８は、１次元の配列であり、配列の先頭から代表画像を表示する順番に合わせて代表画像の表示する角度が格納される。
【００６３】
例えば、図１４から、１番目に表示する代表画像は９０度の方向に表示し、２番目は２７０度、３番目は１８０度、４番目は０度の方向に表示することが分かる。
【００６４】
図１５は本発明の実施の形態に係る情報検索装置のＲＡＭ２０３に確保された類似画像バッファ６０９の構成を示す説明図である。類似画像バッファ６０９には、画像データベース６０４を検索した結果が格納される。検索された結果の１つの画像に対して、画像ＩＤと類似度が対応されて格納される。検索された各画像は、類似度によって降順に格納される。類似度は、上述のように１.０から０.０までの値をとり、値が大きい方が類似度が高いことを意味し、１.０が完全に一致していることを示す。
【００６５】
例えば、図１５から、画像ＩＤ「０」、「４５６」、「７８９」の３つの画像が類似度１.０で検索され、画像ＩＤ「１２３」の画像が類似度０.９５２で検索されたことなどが分かる。
【００６６】
図１６は本発明の実施の形態に係る情報検索装置のＲＡＭ２０３に確保された類似画像情報６１０の構成を示す説明図である。画像データベース６０４に格納されている全ての画像に対して、他の画像との類似度を算出し、求まった類似度を類似画像リストとして各画像に対応させて格納する。各類似画像リストは、図１６に示すように、画像ＩＤ０に対応する類似画像リストから順番に、類似画像情報の先頭から昇順に格納される。各類似画像リストの構造は、上記図１５に示した類似画像バッファ６０９の構造と全く同じである。
【００６７】
図１７は本発明の実施の形態に係る情報検索装置のＲＡＭ２０３に確保された分布情報６１１の構成を示す説明図である。分布情報６１１は、検索した結果を表示する際、各目盛りの間に存在する画像の個数の分布を格納するためのものである。（Ｔ１０１）及び（Ｔ１０２）は、それぞれ「ｒｅｄａｐｐｌｅ」をクエリとして検索した場合の分布情報、画像ＩＤ「９９９」に似た画像を検索した場合の分布情報を示している。（Ｔ１０１）から、類似度１.０を持つ画像が３個あり、類似度が１.０より小さく０.９以上の画像が５個あり、類似度が０.９より小さく０.８以上の画像が８個あることなどが分かる。
【００６８】
図１８は本発明の実施の形態に係る情報検索装置のＲＡＭ２０３に確保されたグループ情報６１２の構成を示す説明図である。グループ情報６１２は、画像をグループにまとめるために利用される。グループ情報６１２に格納される画像は、代表画像以外の画像が格納され、その画像ＩＤと、その画像が属するグループの代表画像の画像ＩＤと、その画像と代表画像との類似度とが対応されて格納される。
【００６９】
例えば、図１８から、画像ＩＤ「３４５」の画像は、画像ＩＤ「８７６」を代表とするグループに属し、画像ＩＤ「３４５」の画像と画像ＩＤ「８７６」の代表画像の類似度は０.９２８であることが分かる。グループ情報６１２に格納されている各画像は、代表画像ＩＤによって昇順に格納される。
【００７０】
図１９、図２０は本発明の実施の形態に係る情報検索装置のＲＡＭ２０３に確保された画面情報６１３の構成を示す説明図である。画面情報６１３は、検索結果に対して、検索結果表示領域に表示する各画面の情報を格納するためのものであり、検索結果を全て表示するために必要な画面数や、各画面において表示する画面の範囲や、各画面の目盛りのレイアウト等を求めることができる。（Ｔ２０１）及び（Ｔ２０２）は、それぞれ、「ｒｅｄａｐｐｌｅ」をクエリとして検索した場合の画面情報、画像ＩＤ「９９９」に似た画像を検索した場合の画面情報を示している。
【００７１】
画面情報６１３には、各画面毎に、表示を開始する画像を示すための分布情報６１１の配列の添え字と目盛りの目盛り幅とが対応されて格納される。目盛りの目盛り幅は、一致領域、即ち類似度１.０の目盛りの半径から始まり、隣り合った目盛りとの幅、即ち半径の差分がドット数で順番に格納される。画面次表示しない目盛りに対しては、「−１」が格納される。
【００７２】
例えば、（Ｔ２０１）から、最初の画面は、分布情報６１１の配列の添え字０に対応した画像、即ち類似度１.０の画像から表示を開始することが分かる。また、最初の画面の、一致領域の半径のサイズは１２０ドット、類似度０.９の目盛りは一致領域よりも半径を９０ドット大きくし、類似度０.８の目盛りは類似度０.９の目盛りよりも半径を９０ドット大きくし、類似度０.７以降の目盛りは表示しないことが分かる。また、その次の画面は、分布情報６１１の配列の添え字３に対応した画像、即ち類似度０.８より小さい画像から表示を開始することが分かる。
【００７３】
また、最初の画面の、一致領域の半径のサイズは３０ドット、類似度０.９の目盛りは一致領域よりも半径を３０ドット大きくし、類似度０.８の目盛りは類似度０.９の目盛りよりも半径を３０ドット大きくし、類似度０.７の目盛りは類似度０.８の目盛りよりも半径を９０ドット大きくし、類似度０.６の目盛りは類似度０.７の目盛りよりも半径を９０ドット大きくし、類似度０.５の目盛りは類似度０.６の目盛りよりも半径を９０ドット大きくし、類似度０.４以降の目盛りは表示しないことが分かる。
【００７４】
尚、特許請求の範囲における各構成要件と、本発明の実施の形態に係る情報検索装置における各部との対応関係は下記の通りである。検索条件入力手段は入力部１０１に対応し、情報記憶手段は記憶部１０６の情報記憶部１０７に対応し、一致度算出手段は制御部１０２の一致度算出部１０３に対応し、検索結果表示制御手段は制御部１０２の検索結果表示部１０５に対応する。
【００７５】
次に、上記のごとく構成された本発明の実施の形態に係る情報検索装置の情報検索プログラムの動作を図２１、図２２のフローチャートに基づいて説明する。図２１、図２２は本発明の実施の形態に係る情報検索装置における情報検索方法を示すフローチャートである。
【００７６】
先ず、ステップＳ１０１において、情報検索装置のＣＤ−ＲＯＭ２０５に格納された情報検索プログラム５０１、及び、その関連データの画像データベース５０２、一致領域データ５０３、半径増分データ５０５、配置角度データ５０６をＣＤ−ＲＯＭドライブ２０４からＲＡＭ２０３にロードし、更に、ＲＡＭ２０３に類似画像バッファ６０９、類似画像情報６１０、分布情報６１１、グループ情報６１２、画面情報６１３の領域を確保する。
【００７７】
次に、ステップＳ１０２において、情報検索プログラム５０１に制御を移し、情報検索プログラム５０１は、検索を行うために必要な初期化を行う。即ち、画像データベース６０４に格納されている全ての個々の画像を用いて、それぞれ画像データベース６０４を検索し、検索した結果を類似画像情報６１０に格納する。本処理の詳細は図２３、図２４において後述する。
【００７８】
次に、ステップＳ１０３において、発生するイベントに応じて処理を分岐させる。キーボード２０７を用いて文字キーが押下するイベントが発生した場合は、ステップＳ１０４へ分岐する。図７に示すＯＫボタン７０２をマウス２０９を用いてクリックするイベントが発生した場合は、ステップＳ１０５へ分岐する。図７中の７０４や７０５等の画像をマウス２０９を用いてクリックするイベントが発生した場合は、ステップＳ１０６へ分岐する。図７に示す次画面ボタン７１３をマウス２０９を用いてクリックするイベントが発生した場合は、ステップＳ１０７へ分岐する。図７に示す前画面ボタン７１２をマウス２０９を用いてクリックするイベントが発生した場合は、ステップＳ１０８へ分岐する。
【００７９】
ステップＳ１０４は、クエリが入力された場合の処理である。ステップＳ１０３において押下された文字を取り込み、図７に示すクエリボックス７０１へ表示する。処理を終えるとステップＳ１０３へ進む。ステップＳ１０５は、クエリボックス７０１に表示されているクエリを用いて検索を行うよう指示された場合の処理である。ステップＳ１０５では、クエリボックス７０１にクエリが入力されているかどうかによって分岐する。即ち、クエリボックス７０１に文字が存在すれば、クエリを用いて画像を検索することが可能なので、ステップＳ１０９へ進んでクエリを用いた検索を行う。クエリボックス７０１に文字が存在しなければ、クエリを用いて検索を行うことができないので、ステップＳ１１０へ進んでランダムに選択された画像を用いて検索を行う。
【００８０】
ステップＳ１０６は、特定の画像を用いて検索するように指示された場合の処理である。クリックされた画像に対応した画像ＩＤを求め、比較元ＩＤに格納する。比較元ＩＤは、ＲＡＭ２０３中に確保される。処理が終わればステップＳ１１１へ進む。ステップＳ１０７は、検索結果の次の画面を表示するよう指示された場合の処理である。本処理の詳細は、図２８において後述する。ステップＳ１０８は、検索結果の前の画面を表示するよう指示された場合の処理である。本処理の詳細は、図２９において後述する。ステップＳ１０９は、クエリボックス７０１へ格納されている文字列を用いて画像データベース６０４を検索し、検索結果をディスプレイ２０８へ表示する処理である。本処理の詳細は、図２５、図２６において後述する。処理を終えるとステップＳ１０３へ進む。
【００８１】
ステップＳ１１０は、画像データベース６０４の中からランダムに画像を選び、選ばれた画像に対する画像ＩＤを比較元ＩＤに格納する。比較元ＩＤは、ＲＡＭ２０３中に確保される。処理が終わればステップＳ１１１へ進む。ステップＳ１１１は、ステップＳ１０６またはステップＳ１１０で選ばれた画像に類似する画像をディスプレイ２０８へ表示する処理である。類似する画像は、既にステップＳ１０６またはステップＳ１１０において類似画像バッファ６０９へ格納されているので、特に類似する画像を検索する処理は行わない。本処理の詳細は、図２７において後述する。処理を終えるとステップＳ１０３へ進む。
【００８２】
図２３、図２４は上記ステップＳ１０２の検索初期化の処理を説明するフローチャートである。本処理では、必要な様々な初期化を行う。また、画像データベース６０４に格納された全ての個々の画像に対して類似する画像を検索し、検索した結果を類似画像情報６１０へ格納する。以下、本処理の詳細を説明する。
【００８３】
ステップＳ２０１において、様々な初期化を行う。即ち、ＲＡＭ２０３に確保された類似画像バッファ６０９、類似画像情報６１０、分布情報６１１、グループ情報６１２、画面情報６１３等の情報の初期化を行う。また、必要に応じて、その他の初期化を行う。処理を終えるとステップＳ２０２へ進む。ステップＳ２０２において、比較元の画像を示す比較元ＩＤに初期値０を格納する。比較元ＩＤは、ＲＡＭ２０３中に確保される。処理を終えるとステップＳ２０３へ進む。ステップＳ２０３において、比較元の画像に似た画像を検索するために、クエリバッファに比較元の画像の説明文が格納される。比較元ＩＤに対応した説明文を画像データベース６０４の中から求め、クエリバッファにコピーする。クエリバッファは、ＲＡＭ２０３中に確保される。処理を終えるとステップＳ２０４へ進む。
【００８４】
ステップＳ２０４において、比較元の画像を示す比較元ＩＤに初期値０を格納する。比較元ＩＤは、ＲＡＭ２０３中に確保される。処理を終えるとステップＳ２０５へ進む。ステップＳ２０５において、比較元ＩＤによって示される画像と比較先ＩＤによって示される画像との類似度を算出する。類似度の算出は、比較元ＩＤに対応する画像に対する説明文と比較先ＩＤに対応する画像に対する説明文とから算出する。比較元ＩＤに対応する画像に対する説明文は、クエリバッファに格納されている。比較先ＩＤに対応する説明文は、画像データベース６０４の中から求めることができる。２つの文の類似度を求める手法は、情報検索の分野において一般的に行われているので、ここでは特に詳細な説明は行わないが、類似度の最大値が１.０に、最小値が０.０になるように正規化を行う。類似度を求めたらステップＳ２０６へ進む。
【００８５】
ステップＳ２０６は、類似画像バッファ６０９に比較先ＩＤによって示される画像を格納できるかどうかを判定し、判定結果によって分岐する処理である。類似画像バッファ６０９がいっぱいでなければ、無条件で格納できると判定される。類似画像バッファ６０９がいっぱいである場合は、類似画像バッファ末尾の項目の類似度の値とステップＳ２０５で求めた類似度の値とを比較し、ステップＳ２０５で求めた類似度の値の方が大きければ格納できると判定される。大きくなければ格納できないと判定される。格納できると判定された場合はステップＳ２０７へ進み、格納できないと判定された場合はステップＳ２０８へ進む。
【００８６】
ステップＳ２０７は、比較先ＩＤをステップＳ２０５で算出した類似度と対応させて類似画像バッファ６０９へ格納する処理である。類似画像バッファ６０９中の各項目が類似度によって降順にソートされるように格納する。類似画像バッファ６０９がいっぱいの場合は、類似画像バッファ６０９中の末尾の項目が捨てられる。処理を終えるとステップＳ２０８へ進む。ステップＳ２０８は、比較先ＩＤの値を１だけカウントアップし、比較先の画像を画像データベース６０４中の次の画像に変更する処理である。処理を終えるとステップＳ２０９へ進む。ステップＳ２０９は、比較元の画像に対して、画像データベース６０４中の画像を全て比較したかによって分岐する処理である。比較先ＩＤの値が画像データベース６０４中に格納されている末尾の画像ＩＤの値よりも大きければ、全ての画像を比較したことになるのでステップＳ２１０へ進む。そうでなければステップＳ２０５へ進む。
【００８７】
ステップＳ２１０は、比較元ＩＤの値を１だけカウントアップし、比較元の画像を画像データベース６０４中の次の画像に変更する処理である。処理を終えるとステップＳ２１１へ進む。ステップＳ２１１は、画像データベース６０４中の全ての画像に対して類似する画像を求めたかどうかによって分岐する処理である。比較元ＩＤの値が画像データベース６０４中に格納されている末尾の画像ＩＤの値よりも大きければ、全ての画像に対して処理を行ったことになるのでステップＳ１０２の検索初期化処理を終了する。そうでなければステップＳ２０３へ進む。
【００８８】
図２５、図２６は上記ステップＳ１０９のクエリ検索の処理を説明するフローチャートである。本処理では、クエリボックス７０１に格納されているクエリを用いて画像データベース６０４を検索し、検索結果をディスプレイ２０８へ表示する。以下、本処理の詳細を説明する。
【００８９】
ステップＳ３０１において、クエリボックス７０１に格納されている文字列をクエリバッファにコピーする。クエリバッファは、ＲＡＭ２０３中に確保される。処理を終えるとステップＳ３０２へ進む。ステップＳ３０２において、比較先の画像を示す比較先ＩＤに初期値０を格納する。比較先ＩＤは、ＲＡＭ２０３中に確保される。処理を終えるとステップＳ３０３へ進む。ステップＳ３０３において、クエリバッファに格納されている文と比較先ＩＤに対応した画像の説明文との類似度を算出する。比較先ＩＤに対応する画像に対する説明文は、画像データベース６０４の中から求めることができる。２つの文の類似度を求める手法は、情報検索の分野において一般的に行われているので、ここでは特に詳細な説明は行わないが、類似度の最大値が１.０に、最小値が０.０になるように正規化を行う。類似度を求めたらステップＳ３０４へ進む。
【００９０】
ステップＳ３０４は、類似画像バッファ６０９に比較先ＩＤによって示される画像を格納できるかどうかを判定し、判定結果によって分岐する処理である。類似画像バッファ６０９がいっぱいでなければ、無条件で格納できると判定される。類似画像バッファ６０９がいっぱいである場合は、類似画像バッファ末尾の項目の類似度の値とステップＳ３０３で求めた類似度の値とを比較し、ステップＳ３０３で求めた類似度の値の方が大きければ格納できると判定される。大きくなければ格納できないと判定される。格納できると判定された場合はステップＳ３０５へ進み、格納できないと判定された場合はステップＳ３０６へ進む。
【００９１】
ステップＳ３０５は、比較先ＩＤをステップＳ３０３で算出した類似度と対応させて類似画像バッファ６０９へ格納する処理である。類似画像バッファ中の各項目が類似度によって降順にソートされるように格納する。類似画像バッファ６０９がいっぱいの場合は、類似画像バッファ中の末尾の項目が捨てられる。処理を終えるとステップＳ３０６へ進む。ステップＳ３０６は、比較先ＩＤの値を１だけカウントアップし、比較先の画像を画像データベース６０４中の次の画像に変更する処理である。処理を終えるとステップＳ３０７へ進む。ステップＳ３０７は、クエリに対して画像データベース６０４中の画像を全て比較したかによって分岐する処理である。比較先ＩＤの値が、画像データベース６０４中に格納されている末尾の画像ＩＤの値よりも大きければ、全ての画像を比較したことになるのでステップＳ３０８へ進む。そうでなければステップＳ３０３へ進む。
【００９２】
ステップＳ３０８は、類似画像バッファ６０９に格納されている検索結果から、検索結果を表示するための画面の構成を決定し、決定された画面の構成の情報を画面情報６１３へ出力する処理である。本処理の詳細は、図３０において後述する。処理を終えるとステップＳ３０９へ進む。ステップＳ３０９は、検索結果の最初の画面を表示するために画面番号に０を代入する処理である。画面番号は、ＲＡＭ２０３中に確保される。処理を終えるとステップＳ３１０へ進む。ステップＳ３１０は、画面情報６１３に格納された画面構成と類似画像バッファ６０９に格納された検索結果に基づいて、検索結果をディスプレイ２０８へ表示する処理である。本処理の詳細は、図３５、図３６において後述する。処理を終えると、ステップＳ１０９のクエリ検索の処理を終了する。
【００９３】
図２７は上記ステップＳ１１１の類似検索の処理を説明するフローチャートである。本処理では、比較元ＩＤに格納されている画像に類似する画像を類似画像情報６１０から求め、類似する画像をディスプレイ２０８へ表示する。以下、本処理の詳細を説明する。
【００９４】
ステップＳ４０１において、クエリバッファに格納されている文字列をクリアし、クエリボックス７０１をクリアして、ディスプレイ２０８へ表示する。処理を終えるとステップＳ４０２へ進む。ステップＳ４０２では、類似画像情報６１０から、比較元ＩＤに格納された画像ＩＤに対する類似画像リストを求め、類似画像リストの内容を類似画像バッファ６０９へコピーする。処理が終わればステップＳ４０３へ進む。ステップＳ４０３は、類似画像バッファ６０９に格納されている検索結果から、検索結果を表示するための画面の構成を決定し、決定された画面の構成の情報を画面情報６１３へ出力する処理である。本処理の詳細は、図３０において後述する。処理を終えるとステップＳ４０４へ進む。
【００９５】
ステップＳ４０４は、検索結果の最初の画面を表示するために画面番号に０を代入する処理である。画面番号は、ＲＡＭ２０３中に確保される。処理を終えるとステップＳ４０５へ進む。ステップＳ４０５は、画面情報６１３に格納された画面構成と類似画像バッファ６０９に格納された検索結果に基づいて、検索結果をディスプレイ２０８へ表示する処理である。本処理の詳細は、図３５、図３６において後述する。処理を終えると、ステップＳ１１１の類似検索の処理を終了する。
【００９６】
図２８は上記ステップＳ１０７の次画面表示の処理を説明するフローチャートである。本処理は、ディスプレイ２０８に表示されている検索結果の次の画面を表示する処理である。以下、本処理の詳細を説明する。
【００９７】
ステップＳ５０１において、次の画面が存在するかどうかによって分岐する。画面番号に格納されている値に１を加えた値に対応した項目が画面情報６１３に存在すれば、次の画面が存在すると判断してステップＳ５０２へ進む。画面情報６１３に存在しなければ、次の画面は存在しないと判断してステップＳ１０７の次画面表示の処理を終了する。画面番号に格納されている値に１を加えた値に対応した項目が画面情報６１３に存在するかどうかは、対応する項目の表示開始の値が−１であるかどうかで判定できる。−１であれば存在しないと判定され、−１でなければ存在すると判定される。
【００９８】
ステップＳ５０２は、現在表示されている次の画面を表示するために、画面番号の値に１を加える処理である。処理を終えるとステップＳ５０３へ進む。ステップＳ５０３は、画面情報６１３に格納された画面構成と類似画像バッファ６０９に格納された検索結果に基づいて、画面番号で示される画面をディスプレイ２０８へ表示する処理である。本処理の詳細は、図３５、図３６において後述する。処理を終えると、ステップＳ１０７の次画面表示の処理を終了する。
【００９９】
図２９は上記ステップＳ１０８の前画面表示の処理を説明するフローチャートである。本処理は、ディスプレイ２０８に表示されている検索結果の前の画面を表示する処理である。以下、本処理の詳細を説明する。
【０１００】
ステップＳ６０１において、前の画面が存在するかどうかによって分岐する。画面番号の値が０でなければ、前の画面が存在すると判断してステップＳ６０２へ進む。画面番号の値が０であれば、前の画面は存在しないと判断してステップＳ１０８の前画面表示の処理を終了する。ステップＳ６０２は、現在表示されている前の画面を表示するために、画面番号の値を１だけカウントダウンする処理である。処理を終えるとステップＳ６０３へ進む。
【０１０１】
ステップＳ６０３は、画面情報６１３に格納された画面構成と類似画像バッファ６０９に格納された検索結果に基づいて、画面番号で示される画面をディスプレイ２０８へ表示する処理である。本処理の詳細は、図３５、図３６において後述する。処理を終えると、ステップＳ１０８の前画面表示の処理を終了する。
【０１０２】
図３０は上記ステップＳ３０８及びステップＳ４０３の画面構成決定の処理を説明するフローチャートである。本処理は、類似画像バッファ６０９に格納されている情報を元に、検索結果を表示する画面の構成を決定し、画面の構成の情報を画面情報６１３に出力する処理である。以下、本処理の詳細を説明する。
【０１０３】
ステップＳ７０１において、類似画像バッファ６０９に格納されている画像の類似度に対する分布状況を調べ、分布状況を分布情報６１１に格納する。先ず、類似度が１.０の画像ＩＤの個数を類似画像バッファ６０９から求め、分布情報６１１に格納し、次に１.０より小さく０.９以上の類似度を持つ画像ＩＤの個数を類似画像バッファ６０９から求め、分布情報６１１に格納し、以後同様に０.１刻みで、類似画像バッファ６０９に格納されている画像ＩＤの個数を求めて分布情報６１１に格納する。処理を終えるとステップＳ７０２へ進む。
【０１０４】
ステップＳ７０２は、類似画像バッファ６０９に格納されている画像を互いの類似度に合わせてグループ化して、グループ化した結果をグループ情報６１２に格納する処理である。本処理の詳細は、図３１、図３２において後述する。処理を終えるとステップＳ７０３へ進む。ステップＳ７０３は、各画面において表示する目盛りを決定し、決定された結果を画面情報６１３に格納する処理である。本処理の詳細は、図３３、図３４において後述する。処理を終えると、画面構成決定の処理を終了する。
【０１０５】
図３１、図３２は上記ステップＳ７０２のグループ化の処理を説明するフローチャートである。以下、本処理の詳細を説明する。
【０１０６】
ステップＳ８０１において、類似画像バッファ６０９中の各項目を指し示すバッファ項目に０を代入して、バッファ項目が類似画像バッファ先頭の項目を指し示すようにする。バッファ項目はＲＡＭ２０３中に確保される。処理を終えるとステップＳ８０２へ進む。ステップＳ８０２において、バッファ項目が指し示す類似画像バッファ６０９中の画像ＩＤに対応した類似画像リストを類似画像情報６１０から求める。類似画像情報６１０は、図１６に示されるように類似画像リストの配列になっており、配列の添え字が画像ＩＤになっているので、容易に対応した類似画像リストを取り出すことができる。処理を終えるとステップＳ８０３へ進む。
【０１０７】
ステップＳ８０３において、ステップＳ８０２で取り出した類似画像リスト中の各項目を指し示すリスト項目に０を代入して、リスト項目が類似画像リスト先頭の項目を指し示すようにする。リスト項目はＲＡＭ２０３中に確保される。処理を終えるとステップＳ８０４へ進む。ステップＳ８０４において、リスト項目が指し示す類似画像リスト中の項目の類似度が規定値以上であるか規定値より小さいかによって分岐する。規定値以上であればステップＳ８０５へ進み、規定値より小さければステップＳ８０９へ進む。規定値は、例えば０.８に設定しておく。
【０１０８】
ステップＳ８０５において、リスト項目が指し示す画像ＩＤが、バッファ項目が指し示す項目よりも先頭側にある類似画像バッファ中の項目に存在するかどうかによって分岐する。即ち、バッファ項目の値よりも小さい値に対応する類似画像バッファ中の項目の中に、リスト項目が指し示す類似画像リスト中の項目の画像ＩＤと一致する画像ＩＤが存在すればステップＳ８０６へ分岐し、存在しなければステップＳ８０７へ分岐する。
【０１０９】
ステップＳ８０６において、バッファ項目に対応した画像ＩＤと、リスト項目に対応した画像ＩＤと、リスト項目に対応した類似度の組を、グループ情報６１２に格納する。バッファ項目に対応した画像ＩＤをグループ情報６１２の画像ＩＤの格納領域へ、リスト項目に対応した画像ＩＤをグループ情報６１２の代表画像ＩＤの格納領域へ、リスト項目に対応した類似度をグループ情報６１２の類似度の格納領域へ、それぞれ格納する。処理を終えるとステップＳ８０９へ分岐する。
【０１１０】
ステップＳ８０７において、リスト項目の値を１だけカウントアップし、ステップＳ８０２で取り出した類似画像リスト中の次の項目を指すようにする。処理を終えるとステップＳ８０８へ進む。ステップＳ８０８では、リスト項目が指し示す項目が有効であるかどうかによって分岐する。有効でなければ、ステップＳ８０２で取り出した類似画像リスト中の全ての有効な項目に対して処理を行ったのでステップＳ８０９へ進む。有効であれば、まだ処理する必要があるのでステップＳ８０４へ進む。ステップＳ８０９において、バッファ項目の値を１だけカウントアップし、類似画像バッファ６０９中の次の項目を指すようにする。処理を終えるとステップＳ８１０へ進む。
【０１１１】
ステップＳ８１０では、バッファ項目が指し示す項目が有効であるかどうかによって分岐する。有効でなければ、類似画像バッファ６０９中の全ての有効な項目に対して処理を行ったのでステップＳ８１１へ進む。有効であれば、まだ処理する必要があるのでステップＳ８０２へ進む。ステップＳ８１１において、グループ情報６１２に格納されている有効な項目を代表画像ＩＤの値によって昇順に並ぶようにソートする。処理を終えると、ステップＳ７０２のグループ化の処理を終了する。
【０１１２】
図３３、図３４は上記ステップＳ７０３の表示目盛り決定の処理を説明するフローチャートである。以下、本処理の詳細を説明する。
【０１１３】
ステップＳ９０１において、表示目盛りを決定するために必要な初期化を行う。即ち、画面番号に０を格納し、開始領域に０を格納する。画面番号は、検索結果を表示する画面の番号であり、開始領域は、各画面において画像の表示を開始する領域の番号を意味する。ここで、領域とは、隣り合った目盛りと目盛りの間の空間のことを指している。領域の番号は、分布情報６１１の配列の添え字にも相当する。画面番号、開始領域は、ＲＡＭ２０３中に確保される。また、画面情報６１３の表示開始や目盛り幅などの各要素の値を−１で初期化しておく。処理を終えるとステップＳ９０２へ進む。
【０１１４】
ステップＳ９０２では、領域番号と目盛り半径にそれぞれ０を代入する。領域番号と目盛り半径は、ＲＡＭ２０３中に確保される。領域番号は、分布情報６１１の添え字に相当し、一致領域７０６に対する領域番号を０とし、類似度１.０と０.９の間の領域に対する番号を１とし、同様にして、類似度が高い順に付与される番号である。目盛り半径は、検索結果表示領域７０３に表示される目盛りの半径をドット数で表現する値である。処理を終えるとステップＳ９０３へ進む。ステップＳ９０３では、領域番号と開始番号を比較した結果に基づいて分岐する。領域番号の値が開始番号の値よりも小さければ、領域番号に対する領域に画像は表示しないのでステップＳ９０４へ進み、領域番号の値が開始番号の値以上であれば、領域番号に対する領域の画像を表示するのでステップＳ９０６へ進む。
【０１１５】
ステップＳ９０４では、領域番号によって示される領域の半径の増分を画面情報６１３に格納する。半径の増分は、領域番号が０である場合は一致領域データ６０５を用い、領域番号が０以外である場合は半径増分データ６０７を用いて求める。ここでは、領域番号が開始領域の値よりも小さいので、この領域には画像は表示しないので、即ち、表示する画像の個数は０なので、半径の増分は図１１及び図１３から、領域番号が０の場合も０でない場合も３０ドットであることが分かる。
【０１１６】
但し、クエリボックス７０１に文字列が存在しない場合は、類似画像バッファ６０９には比較元ＩＤに格納された画像ＩＤに類似した画像が格納されており、開始領域が０以外の場合に、比較元ＩＤによって示される画像を表示しておかないと、比較元の画像が分からなくなってしまう。従って、この場合に限り、一致領域７０６に比較元ＩＤによって示される画像を１個表示するものとする。従って、この場合、領域番号が０である時は、半径の増分は図１１に示す一致領域データ６０５から、６０ドットであることが分かる。
【０１１７】
半径の増分が決定されると、画面情報６１３の画面番号及び領域番号に対応した目盛り幅に半径の増分を格納する。例えば、クエリボックス７０１に「ｒｅｄａｐｐｌｅ」が格納されて画面番号の値が１である場合、本処理において、図１９の（Ｔ２０１）に示されるように、１.０から０.８までの類似度に対応した領域に対する目盛り幅として、それぞれ３０が格納される。また、本処理において、決定された増分を目盛り半径に加算する。処理を終えるとステップＳ９０５へ進む。ステップＳ９０５では、領域番号によって示される領域の次の領域を処理するために、領域番号の値を１だけカウントアップする。処理を終えるとステップＳ９０３へ進む。
【０１１８】
ステップＳ９０６では、領域番号によって示される領域の半径の増分を決定する。半径の増分は、一致領域データ６０５及び半径増分データ６０７と分布情報６１１と領域番号から求めることができる。分布情報６１１を用いて、領域番号によって示される領域に表示する画像の個数を求め、領域番号が０の場合は一致領域データ６０５を用い、領域番号が０以外の場合は半径増分データ６０７を用いて、領域に表示する画像の個数に対応する半径の増分を求める。
【０１１９】
例えば、クエリボックス７０１に「ｒｅｄａｐｐｌｅ」が格納されている場合、分布情報６１１は図１７の（Ｔ１０１）のようになっているので、領域番号が０、１、２、３、４、５に対して、それぞれの領域に、３、５、８、６、０、５個の画像が表示されることが分かり、図１１に示されている一致領域データ６０５、及び、図１３に示されている半径増分データ６０７を用いることによって、それぞれの領域の半径の増分は、１２０、９０、９０、９０、３０、９０であることが分かる。
【０１２０】
また、クエリボックス７０１に文字列が存在せず、比較元ＩＤに９９９が格納されている場合は、分布情報６１１は図１７の（Ｔ１０２）のようになっているので、領域番号が０、１、２、３、４、５に対して、それぞれの領域に、１、３、４、２、３、０個の画像が表示されることが分かり、図１１に示されている一致領域データ６０５、及び、図１３に示されている半径増分データ６０７を用いることによって、それぞれの領域の半径の増分は、６０、６０、６０、６０、６０、６０であることが分かる。処理を終えるとステップＳ９０７へ進む。
【０１２１】
ステップＳ９０７において、領域番号によって示される領域が検索結果表示領域に表示できるかどうかによって分岐する。目盛り半径の値にステップＳ９０６で求めた半径の増分を加えた値が検索結果表示領域のサイズ６００ドットの半分よりも大きければ、領域番号によって示される領域を検索結果表示領域に表示できないのでステップＳ９１０へ進む。６００ドットの半分以下であれば、表示できるのでステップＳ９０８へ進む。例えば、分布情報６１１が図１７の（Ｔ１０１）のようになっている場合、画面番号が０で領域番号が２の場合は、目盛り半径の値は３００になっており、ステップＳ９０８へ進むが、画面番号が０で領域番号が３の場合は、目盛り半径の値は３９０になるのでステップＳ９１０へ進む。
【０１２２】
ステップＳ９０８では、ステップＳ９０６で求めた領域番号に対する領域の半径の増分を画面情報６１３に格納する。例えば、分布情報６１１が図１７の（Ｔ１０１）のようになっている場合、画面情報６１３には、図１９の（Ｔ２０１）に示されるように、画面番号が０に対する類似度が１.０から０.８までの領域に対する目盛り幅として、それぞれ、１２０、９０、９０が、画面番号が１に対する類似度が０.７から０.５までの領域に対する目盛り幅に、それぞれ、９０、３０、９０が格納される。また、分布情報６１１が図１７の（Ｔ１０２）のようになっている場合は、画面情報６１３には、図２０の（Ｔ２０２）に示されるように、画面番号が０に対する類似度が１.０から０.６までの領域に対する目盛り幅に、それぞれ、６０、６０、６０、６０、６０、６０が格納される。また、本処理において、決定された半径の増分は目盛り半径に加算される。処理を終えるとステップＳ９０９へ進む。
【０１２３】
ステップＳ９０９では、領域番号によって示される領域の次の領域を処理するために、領域番号の値を１だけカウントアップする。処理を終えるとステップＳ９０６へ進む。ステップＳ９１０において、類似画像バッファ６０９に格納されている画像に対して全て処理を行ったかどうかによって分岐する。分布情報６１１の領域番号で示される領域以降の要素の値が全て０であれば、全ての画像に対して処理を行ったので、ステップＳ７０３の表示目盛り決定の処理を終了する。そうでなければ、次の画面にまだ処理されていない画像を表示するためにステップＳ９１１へ進む。ステップＳ９１１では、先ず、画面情報６１３の画面番号に対応した開始領域に開始領域の値を代入する。そして、次の画面を処理するために画面番号の値を１だけカウントアップする。また、開始領域に領域番号の値を代入する。処理を終えるとステップＳ９０２へ進む。
【０１２４】
図３５、図３６は上記ステップＳ３１０、ステップＳ４０５、ステップＳ５０３及びステップＳ６０３の検索結果表示の処理を説明するフローチャートである。本処理は、画面情報６１３に格納された画面の構成の情報と、類似画像バッファ６０９及び画像データベース６０４に格納された画像の情報を元に、画面番号で示される画面をディスプレイ２０８に表示する処理である。以下、本処理の詳細を説明する。
【０１２５】
ステップＳ１００１では、指定された画面番号に対する画面情報６１３中の目盛り幅を用いて、検索結果表示領域７０３に目盛りを表示する。類似度１.０に対応した目盛り幅から順番に、目盛り幅の値が−１になるまで、目盛りの半径を加算していき、各目盛りの半径に対して、検索結果表示領域７０３の中心を中心とする円を表示していく。類似度１.０の目盛りに対しては、その内側をグレーで塗りつぶす。処理を終えるとステップＳ１００２へ進む。
【０１２６】
ステップＳ１００２では、一致領域７０６の中に類似度１.０の画像を表示する。類似画像バッファ６０９の先頭から類似度１.０の項目に対する画像ＩＤを求め、画像データベース６０４の中からその画像ＩＤに対応した画像ファイルを求め、その画像ファイルを一致領域７０６に表示する。画像ファイルを表示する座標は、一致画像データ６０６を用いて、一致領域７０６に表示する画像の個数に対応した座標を求める。また、クエリボックス７０１に文字列が存在しない場合は、図９に示すように、比較元ＩＤで示される画像の縁を二重枠で表示する。この場合は、必ず、比較元ＩＤで示される画像は、類似度１.０として類似画像バッファ６０９の中に格納されている。処理を終えるとステップＳ１００３へ進む。
【０１２７】
ステップＳ１００３は、類似画像バッファ６０９の中から類似度１.０以外の先頭の画像ＩＤを表示する対象の画像ＩＤとして取得する処理である。処理を終えるとステップＳ１００４へ進む。ステップＳ１００４において、対象となっている画像が代表画像であるかどうかによって分岐する。対象となる画像の画像ＩＤがグループ情報の画像ＩＤとして格納されていれば、代表画像ではないとしてステップＳ１００５へ進む。画像ＩＤとして格納されていなければ、代表画像であるとしてステップＳ１００７へ進む。
【０１２８】
ステップＳ１００５では、表示の対象となる画像ＩＤとして類似画像バッファ中の次の画像ＩＤに変更する。処理を終えるとステップＳ１００６へ進む。ステップＳ１００６において、画像の表示を終了するかどうかによって分岐する。類似画像バッファ６０９中の全ての画像を処理し終えた場合、または、対象となる画像が表示される領域の目盛り幅が−１である場合は、画像の表示を終了するものと判定してステップＳ１０１１へ進む。そうでない場合は、まだ画像の表示を続けるものとしてステップＳ１００４へ進む。
【０１２９】
ステップＳ１００７では、表示の対象となっている画像、即ち代表画像の表示位置を決定する。先ず、検索結果表示領域７０３の中心から表示する画像の中心の座標の方向を、配置角度データ６０８を用いて決定する。配置角度データ６０８を用いると、何番目の代表画像を表示するかによって、中心からの方向を一意に決定することができる。次に、表示する画像の中心の座標の検索結果表示領域７０３の中心から表示する画像の中心の座標までの距離を画面情報６１３を用いて決定する。検索結果表示領域７０３の中心から画像を表示する領域までの距離は、指定された画面番号と表示する画像の類似度から、画面情報６１３の対応する目盛り幅を１.０の領域から累計することで求めることができる。領域の中での中心からの距離は、領域の目盛り幅が画面情報６１３から求めることができるので、その目盛り幅と類似度から求めることができる。
【０１３０】
例えば、画面情報６１３が図１９の（Ｔ２０１）の状態で、画面番号として１が指定されている場合に類似度０.５６の画像を表示する場合は、この画像は０.５の領域に表示されることが分かり、検索結果表示領域７０３の中心から０.５までの領域の距離は、１.０の目盛り幅から０.６の目盛り幅を加えることにより、３０＋３０＋３０＋９０＋３０＝２１０ドットであることが分かる。また、０.５の領域の中での中心からの距離は、０.５の領域の目盛り幅が９０ドットであるので、９０×（０.６−０.５６）／０.１＝３６ドットであることが分かる。従って、この場合、検索結果表示領域７０３の中心から類似度０.５６の画像の中心までの距離は、２１０＋３６＝２４６ドットであることが分かる。このようにして、検索結果表示領域７０３の中心からの角度と距離を求めることができるので、画像を表示する位置を決定することができる。処理を終えるとステップＳ１００８へ進む。
【０１３１】
ステップＳ１００８は、検索結果表示領域７０３の中心から、ステップＳ１００７で求めた表示位置まで代表線を表示する処理である。但し、一致領域７０６には、代表線を表示しないようにする。処理を終えるとステップＳ１００９へ進む。ステップＳ１００９は、対象となっている代表画像が属するグループの画像を、代表画像以外全て表示する処理である。代表画像が属するグループの画像は、グループ情報６１２を用いて求めることができる。グループ情報６１２中の代表画像ＩＤの値が、表示の対象となっている代表画像の画像ＩＤの値と等しい画像ＩＤに対応した画像は、全て表示の対象になる。
【０１３２】
検索結果表示領域７０３の中心から表示する各画像までの距離は、類似画像バッファ６０９中の各画像の類似度から、ステップＳ１００７の時と同じようにして求めることができる。また、代表画像の表示位置から各画像の表示位置までの距離は、グループ情報６１２から決定することができる。例えば、代表画像ＩＤと表示する画像の画像ＩＤから、グループ情報６１２の中から対応する類似度を求め、１.０から類似度を引いた値を５００倍することによって決定することができる。また、各画像は、代表画像との類似度の低い順に、検索結果表示領域７０３を中心として、代表線の反時計回り側、時計回り側と、交互になるように表示する。
【０１３３】
このように、検索結果表示領域７０３の中心と代表画像の中心の２点からの距離を求めることができ、また、その２点を結ぶ線のどちらかに表示するかを決定できるので、各画像を表示する位置が決定できる。各画像の表示位置が決定されると、各画像の中心と代表画像の中心を結ぶ線を表示し、代表画像との類似度が低い順に各画像を表示する。このような順番に表示することで、各画像が重なり合った場合、代表画像との類似度が高い画像ほど、他の画像によって表示が遮られにくくなる。処理を終えるとステップＳ１０１０へ進む。ステップＳ１０１０では、ステップＳ１００７で求めた位置に代表画像を表示する。このように、グループの中で代表画像を一番最後に表示するので、グループの中で最も類似度の高い代表画像が、他の画像に遮られて見えなくなることを防ぐことができる。処理を終えるとステップＳ１００５へ進む。
【０１３４】
ステップＳ１０１１では、前画面ボタン７１２と次画面ボタン７１３を表示する。指定されている画面番号が０であれば前画面は存在しないので、前画面ボタン７１２の三角形は白地で表示し、０でなければ前画面が存在するので、前画面ボタン７１２の三角形は黒地で表示する。指定されている画面番号に１を加えた画面番号に対する画面情報６１３の開始領域の値が−１であれば、次画面は存在しないので、次画面ボタン７１３の三角形は白地で表示し、−１でなければ次画面が存在するので、次画面ボタン７１３の三角形は黒地で表示する。処理を終えると検索結果表示の処理を終了する。
【０１３５】
以上説明したように、本発明の実施の形態に係る情報検索装置によれば、検索条件を入力する入力部１０１と、検索対象となる個々の情報を格納した情報記憶部１０７と、情報記憶部１０７に格納された個々の情報と入力部１０１から入力された検索条件とを比較し検索条件を満たす度合いである一致度を算出する一致度算出部１０３と、一致度が完全一致となる情報を表示する領域を完全一致領域として決定する完全一致領域決定部１０４と、一致度が完全一致となる情報は完全一致表示領域の中に表示すると共に、一致度が完全一致でない情報は完全一致領域からの表示位置を一致度に基づき決定して完全一致領域の外側に表示する検索結果表示部１０５とを有するため、下記のような効果を奏する。
【０１３６】
上記構成において、検索条件と完全一致する情報を表示する領域を、完全一致領域として他の情報を表示する領域と区別し、完全一致する情報は完全一致領域に表示するので、検索結果として最も見たい情報を見やすくすることができるという効果がある。また、完全一致領域に表示する情報は、互いに重なり合わないように表示するので、最も見たい検索結果の情報が他の情報に隠れることなく全て見られるようにすることができるという効果がある。また、完全一致領域の外側に一致度が高い情報ほど完全一致領域の近くに表示するので、一致度の高い情報が互いに重なり合って見えにくくなることを避けることができるようになるという効果がある。また、完全一致領域を他の領域と区別して表示するために、完全一致であるのかどうかが一目で分かるようになるという効果がある。
【０１３７】
［他の実施の形態］
上記実施形態では、類似画像情報６１０を図２１のステップＳ１０２において毎回作成する例を示したが、予め類似画像情報をステップＳ１０２と同様な処理を行うことで作成し、関連データとしてＣＤ−ＲＯＭ２０５に格納しておき、ステップＳ１０１においてＲＡＭ２０３にロードするようにしてもよい。
【０１３８】
また、上記実施形態では、画像データベース５０２をＣＤ−ＲＯＭ２０５に格納する例を示したが、ＨＤドライブ２０６のＨＤに格納されている画像データベースを扱ってもよい。
【０１３９】
また、上記実施形態では、外部記憶装置としてＣＤ−ＲＯＭ２０５から情報検索プログラム及び関連データを直接ＲＡＭ２０３にロードして実行させる例を示したが、この他に、ＣＤ−ＲＯＭ２０５から情報検索プログラム及び関連データを一旦ＨＤドライブ２０６のＨＤに格納（インストール）しておき、本情報検索プログラムを動作させる時点で、ＨＤドライブ２０６のＨＤからＲＡＭ２０３にロードするようにしてもよい。また、本情報検索プログラムを記憶する媒体は、ＣＤ−ＲＯＭ以外にＦＤ（フロッピーディスク）、ＩＣメモリカード等であってもよい。更に、本情報検索プログラムをＲＯＭ２０２に記憶しておき、これをメモリマップの一部となるように構成し、直接ＣＰＵ２０１で実行することも可能である。
【０１４０】
また、上記実施形態では、クエリ及び説明文として使用する言語として英語を使用した例を示したが、本発明は英語のみに適用可能な発明ではなく、日本語を含めあらゆる言語に適用可能な発明である。
【０１４１】
また、上記実施形態では、図２２のステップＳ１１１において、指定された画像に類似する画像を求めるために、画像に付与されている説明文を用いて類似度を算出しているが、本発明では、類似度の算出方法に依存するものではない。例えば、画像の輝度や色彩や画像の構図などといった画像そのものの情報を用いて類似度を算出してもよい。
【０１４２】
また、上記実施形態では、情報検索の対象として画像を検索する例を示したが、本発明の扱う検索対象は画像に限定されるものではない。例えば、文書や映像や音声などといった様々な情報検索に対して有効である。検索結果表示領域に表示する検索結果として、画像を検索する場合はそのものを表示する例を示したが、文書を検索する場合は、画像の代わりに文書のタイトルやキーワードなどを表示してもよい。映像の場合は、タイトルや代表的なシーンなど、映像を代表する情報を表示してもよいし、個々の結果の映像を再生してもよい。
【０１４３】
また、上記実施形態では、図７に示すように、一致領域を検索結果表示領域の中心を中心とする円の領域として、各目盛りは一致領域との同心円で表示し、検索結果の各画像は、類似度を一致領域からの距離に対応させて、検索結果表示領域の中心から放射状に配置されるように表示していた。しかし、本発明は、上記のような表示方法に限定されるものではない。例えば図３７に示すように、一致領域を３００１で示す検索結果表示領域の左側の矩形領域とし、各目盛りを３００２、３００３で示す線のように左辺との平行線とし、各画像から一致領域への垂線の直線の距離を各画像の類似度に対応させて表示するようにしてもよい。この場合、配置角度データ６０８のように、各画像の配置位置を一致領域の中心に対する角度で指定するのではなく、代わりに、検索結果表示領域の上辺からの距離で指定することにより、上記実施形態で示した手順と全く同じ手順で検索結果の画像を所望の位置に表示することができる。また、検索結果をこのように表示する場合でも、図３７に示すように、上記実施形態と同じようにして検索結果の画像をグループ化して表示することが可能である。
【０１４４】
尚、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。前述した実施形態の機能を実現するソフトウエアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【０１４５】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１４６】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０１４７】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１４８】
更に、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１４９】
【発明の効果】
以上説明したように、本発明によれば、検索条件に完全一致する複数の情報を完全一致領域内に表示させ、検索条件と完全一致しない情報を不完全一致領域内の一致度に対応する位置に表示させ、検索条件に完全一致する複数の情報を互いに重ならせないように完全一致領域の大きさを変えて表示させるので、検索結果として最も見たい情報を見やすくすることができるという効果がある。また、一致度の高い情報が互いに重なり合って見えにくくなることを避けることができるようになるという効果がある。
【０１５０】
また、本発明によれば、完全一致領域に表示する情報は、互いに重なり合わないように表示するので、最も見たい検索結果の情報が他の情報に隠れることなく全て見られるようにすることができるという効果がある。
【０１５１】
また、本発明によれば、完全一致領域を不完全一致領域と識別可能に表示するために、完全一致であるのかどうかが一目で分かるようになるという効果がある。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る情報検索装置の概念を示す機能ブロック図である。
【図２】本発明の実施の形態に係る情報検索装置のシステム構成を示すブロック図である。
【図３】本発明の実施の形態に係る情報検索装置の記憶媒体であるＣＤ−ＲＯＭからプログラム等がコンピュータシステム（情報検索装置）に供給される概念を示す説明図である。
【図４】本発明の実施の形態に係る情報検索装置のＲＯＭの構成を示す説明図である。
【図５】本発明の実施の形態に係る情報検索装置のＣＤ−ＲＯＭの構成を示す説明図である。
【図６】本発明の実施の形態に係る情報検索装置のＣＤ−ＲＯＭに格納されている情報検索プログラム等がＲＡＭにロードされ実行可能となった状態のメモリマップの構造を示す説明図である。
【図７】本発明の実施の形態に係る情報検索装置でクエリ検索を行った場合の最初の検索結果の画面構成例を示す説明図である。
【図８】本発明の実施の形態に係る情報検索装置でクエリ検索の検索結果の次の画面構成例を示す説明図である。
【図９】本発明の実施の形態に係る情報検索装置で類似検索を行った場合の最初の検索結果の画面構成例を示す説明図である。
【図１０】本発明の実施の形態に係る情報検索装置のＲＡＭに読み込まれた画像データベースの構成を示す説明図である。
【図１１】本発明の実施の形態に係る情報検索装置のＲＡＭに読み込まれた一致領域データの構成を示す説明図である。
【図１２】本発明の実施の形態に係る情報検索装置のＲＡＭに読み込まれた一致画像データの構成を示す説明図である。
【図１３】本発明の実施の形態に係る情報検索装置のＲＡＭに読み込まれた半径増分データの構成を示す説明図である。
【図１４】本発明の実施の形態に係る情報検索装置のＲＡＭに確保された配置角度データの構成を示す説明図である。
【図１５】本発明の実施の形態に係る情報検索装置のＲＡＭに確保された類似画像バッファの構成を示す説明図である。
【図１６】本発明の実施の形態に係る情報検索装置のＲＡＭに確保された類似画像情報の構成を示す説明図である。
【図１７】本発明の実施の形態に係る情報検索装置のＲＡＭに確保された分布情報の構成を示す説明図である。
【図１８】本発明の実施の形態に係る情報検索装置のＲＡＭに確保されたグループ情報の構成を示す説明図である。
【図１９】本発明の実施の形態に係る情報検索装置のＲＡＭに確保された画面情報の構成を示す説明図である。
【図２０】本発明の実施の形態に係る情報検索装置のＲＡＭに確保された画面情報の構成を示す説明図である。
【図２１】本発明の実施の形態に係る情報検索装置における情報検索方法を示すフローチャートである。
【図２２】本発明の実施の形態に係る情報検索装置における情報検索方法を示すフローチャートである。
【図２３】本発明の実施の形態に係る情報検索装置における検索初期化方法を示すフローチャートである。
【図２４】本発明の実施の形態に係る情報検索装置における検索初期化方法を示すフローチャートである。
【図２５】本発明の実施の形態に係る情報検索装置におけるクエリ検索方法を示すフローチャートである。
【図２６】本発明の実施の形態に係る情報検索装置におけるクエリ検索方法を示すフローチャートである。
【図２７】本発明の実施の形態に係る情報検索装置における類似検索方法を示すフローチャートである。
【図２８】本発明の実施の形態に係る情報検索装置における次画面表示方法を示すフローチャートである。
【図２９】本発明の実施の形態に係る情報検索装置における前画面表示方法を示すフローチャートである。
【図３０】本発明の実施の形態に係る情報検索装置における画面構成決定方法を示すフローチャートである。
【図３１】本発明の実施の形態に係る情報検索装置におけるグループ化方法を示すフローチャートである。
【図３２】本発明の実施の形態に係る情報検索装置におけるグループ化方法を示すフローチャートである。
【図３３】本発明の実施の形態に係る情報検索装置における表示目盛り決定方法を示すフローチャートである。
【図３４】本発明の実施の形態に係る情報検索装置における表示目盛り決定方法を示すフローチャートである。
【図３５】本発明の実施の形態に係る情報検索装置における検索結果表示方法を示すフローチャートである。
【図３６】本発明の実施の形態に係る情報検索装置における検索結果表示方法を示すフローチャートである。
【図３７】本発明の他の実施の形態に係る情報検索装置における検索結果を表示する別の方法を説明するための検索結果表示領域を示す説明図である。
【符号の説明】
１０１ 入力部
１０２ 制御部
１０３ 一致度算出部
１０４ 完全一致領域決定部
１０５ 検索結果表示部
１０６ 記憶部
１０７ 情報記憶部
１０８ 表示部[0001]
BACKGROUND OF THE INVENTION
  The present invention provides informationprocessingEquipment, informationprocessingThe present invention relates to a method and a storage medium, and more particularly, information suitable for information retrieval and display on a computer or the like.processingEquipment, informationprocessingThe present invention relates to a method and a storage medium.
[0002]
[Prior art]
Conventionally, there is a method for searching for information and displaying a search result. In the prior art, as shown in, for example, Japanese Patent Application Laid-Open No. 08-339375, search result information is displayed in a two-dimensional or three-dimensional space, and a search result with a higher degree of matching is displayed closer to the origin of the space. Therefore, a technique is adopted in which the search results are displayed by making the degree of matching of the search results visually easy to understand.
[0003]
[Problems to be solved by the invention]
However, with the above-described conventional method alone, when there are a plurality of pieces of information having a perfect match, these pieces of information are displayed in an overlapping manner, so that there is a problem in that all the information that the user wants to see the result cannot be seen at all. there were. In addition, even if it is not a perfect match, information with a high degree of coincidence tends to overlap each other, and information with a high degree of coincidence becomes difficult to see. Also, it is difficult to distinguish between completely matched information and information that is not completely matched.
[0004]
  The present invention has been made in view of the above-described points, and information that makes it easier to see information that is most desired to be viewed as a search result.processingEquipment, informationprocessingA first object is to provide a method and a storage medium.
[0005]
  In addition, the present invention has been made in view of the above-described points, and information that enables the search result information that the user wants to see most to be seen without being hidden by other information.processingEquipment, informationprocessingA second object is to provide a method and a storage medium.
[0006]
  In addition, the present invention has been made in view of the above-described points, and information that can prevent information with high matching degrees from overlapping each other and becoming difficult to see.processingEquipment, informationprocessingA third object is to provide a method and a storage medium.
[0007]
  In addition, the present invention has been made in view of the above-described points, and is information that can be seen at a glance whether or not it is a perfect match.processingEquipment, informationprocessingA fourth object is to provide a method and a storage medium.
[0008]
[Means for Solving the Problems]
  To achieve the above object, the present invention provides a search condition input means for inputting a search condition and an information storage means for storing individual information to be searched in an information processing apparatus for displaying searched information. And a degree of coincidence calculating means for calculating a degree of coincidence that is a degree satisfying the search condition by comparing the individual information stored in the information storage means with the search condition input from the search condition input means; A complete match area and an incomplete match area outside the complete match area, and a plurality of pieces of information that completely match the search condition are included in the complete match areaInSearch result display control means for displaying and displaying information that does not completely match the search condition at a position corresponding to the degree of match in the incomplete match area.The search result display control means displays a plurality of pieces of information that completely match the search condition by changing the size of the complete match area so as not to overlap each other.It is characterized by that.
[0017]
  In order to achieve the above object, the present invention provides an information processing method of an information processing apparatus for displaying searched information, wherein individual information stored in information storage means for storing individual information to be searched; A degree of coincidence calculation step for calculating a degree of coincidence that is a degree satisfying the search condition by comparing the input search condition, and an incomplete match area outside the complete match area; A plurality of pieces of information that completely match the search conditionsInA search result display control step for displaying information that does not completely match the search condition at a position corresponding to the degree of matching in the incompletely matched area.In the search result display control step, the plurality of pieces of information that completely match the search condition are displayed with the size of the complete match area changed so as not to overlap each other.It is characterized by that.
[0026]
  In order to achieve the above object, the present invention provides the following claims.6 toClaim10The computer-readable storage medium which memorize | stored the program for performing the information processing method of any one of these is characterized.
[0035]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0036]
FIG. 1 is a functional block diagram showing the concept of an information search apparatus according to an embodiment of the present invention. The information search apparatus according to the embodiment of the present invention includes an input unit 101, a matching degree calculation unit 103, a complete match area determination unit 104, a control unit 102 having a search result display unit 105, and a memory having an information storage unit 107. The unit 106 and the display unit 108 are provided.
[0037]
The function of each part will be described in detail. The input unit 101 includes a keyboard having character keys, function keys, and the like, and inputs search conditions to the control unit 102. The control unit 102 includes a microprocessor, compares individual search target information stored in the information storage unit 107 of the storage unit 106 with the search condition, and the matching degree calculation unit 103 determines individual information and a query ( (Queries) matching degree is calculated according to the individual importance of the query, the complete matching area determining unit 104 determines an area displaying information satisfying all of the search conditions as a complete matching area, and the search result displaying unit 105 Information satisfying all of the search conditions is obtained in the complete match area, and the display position of information satisfying a part of the search conditions is obtained from the coincidence in an area other than the complete match area, and the information is output to the display unit 108 and displayed. . The information storage unit 107 of the storage unit 106 stores individual information to be searched. The display unit 108 displays information based on the control of the control unit 102.
[0038]
FIG. 2 is a block diagram showing a system configuration of the information search apparatus according to the embodiment of the present invention. An information search apparatus according to an embodiment of the present invention includes a CPU 201, ROM 202, RAM 203, CD-ROM drive 204, CD-ROM 205, HD (hard disk) drive 206, keyboard 207, display 208, mouse 207, printer 210, control bus. 211 is provided. The configuration shown in FIG. 2 is an example and is not limited to the illustrated configuration.
[0039]
The configuration of each unit will be described in detail. The CPU 201 is a central control device, and executes processing shown in flowcharts of FIGS. The ROM 202 is a read-only memory, and stores a control procedure program 401 as shown in FIG. The RAM 203 is a read / write memory as needed. As shown in FIG. 6 described later, the information search program 603, the image database 604, the matching area data 605, the matching image data 606, the radius increment data 607, the arrangement angle data 608, and the like An image buffer 609, similar image information 610, distribution information 611, group information 612, screen information 613, and the like are stored.
[0040]
The CD-ROM drive 204 controls reading of an information search program and the like from the CD-ROM 205. The CD-ROM 205 stores an information search program and the like. The HD drive 206 controls writing / reading of data to / from the HD. The keyboard 207 includes character keys, function keys, and the like, and is used for various inputs. The display 208 performs display based on the control of the CPU 201. The mouse 207 is used for inputting a coordinate position on the display 208. The printer 210 performs printing on a recording medium. The control bus 211 is a common signal path to which the above parts are connected.
[0041]
FIG. 3 is a conceptual diagram showing how a program or the like is supplied from a CD-ROM 205 which is a storage medium of the information search apparatus according to the embodiment of the present invention to a computer system (information search apparatus). The information retrieval program and the like are supplied by inserting the CD-ROM 205 into the CD-ROM drive 204 of the computer system 300. Thereafter, an information retrieval program or the like from the CD-ROM 205 can be loaded into the RAM 203 and executed. Alternatively, an information retrieval program or the like from the CD-ROM 205 may be temporarily stored in the HD of the HD drive 206, and loaded from the HD into the RAM 203 and executed when the information retrieval program is operated.
[0042]
FIG. 4 is a conceptual diagram showing the configuration of the ROM 202 of the information search apparatus according to the embodiment of the present invention. A control procedure program 401 and the like are stored in the storage area 400 of the ROM 202 of the information search apparatus according to the embodiment of the present invention.
[0043]
FIG. 5 is a conceptual diagram showing a configuration of the CD-ROM 205 which is a storage medium of the information search apparatus according to the embodiment of the present invention. In the storage area 500 of the CD-ROM 205 of the information search apparatus according to the embodiment of the present invention, an information search program 501, an image database 502 that is related data, match area data 503, match image data 504, radius increment data 505, Arrangement angle data 506 and the like are stored.
[0044]
FIG. 6 shows an information search program 501 stored in the CD-ROM 205 of the information search apparatus according to the embodiment of the present invention, an image database 502 which is related data, match area data 503, match image data 504, radius increment. It is a conceptual diagram showing a memory map 600 in a state where data 505, arrangement angle data 506, etc. are loaded into the RAM 203 and become executable. In an executable state, in addition to the information search program 603, the image database 604, the matching area data 605, the matching image data 606, the radius increment data 607, and the arrangement angle data 608, a similar image is used as a memory used by the information searching program. The areas of the buffer 609, similar image information 610, distribution information 611, group information 612, and screen information 613 are secured and initialized.
[0045]
7, 8, and 9 show an example of a screen configuration displayed on the display 208 by the information search program 603 and an image search using the information search program 603 in the information search apparatus according to the embodiment of the present invention. It is explanatory drawing which shows operation.
[0046]
In FIG. 7, reference numeral 701 denotes a query box for inputting a query (Query), and shows a state in which “redapple” is input as a query. Reference numeral 702 denotes a search button for instructing search. By clicking the search button 702 using the mouse 209, the image database 604 is searched by the query stored in the query box 701, and the search result is 703. Displayed in the displayed search result display area.
[0047]
The search result display area 703 is a square area of, for example, 600 dots vertically and 600 dots horizontally. Squares indicated by 704, 705, etc. indicate searched images. The size of each image is displayed with, for example, 60 dots vertically and 60 dots horizontally. In FIG. 7 to FIG. 9, actual images are not shown for convenience of explanation. Also, a number such as “ID: 234” in the square, such as 704, indicates that the image ID of the image 704 is “234”. A hatched circle area indicated by 706 is a matching area for displaying an image that completely satisfies the search condition. The image displayed in the matching area 706 is an image that completely satisfies the search condition.
[0048]
Dashed circles indicated by reference numerals 707 and 708 are scales for indicating the degree to which the search condition is satisfied. In the present embodiment, the degree of satisfying the search condition is expressed by similarity. When the condition is completely satisfied, the similarity is 1.0, and when the condition is not satisfied at all, the similarity is 0. 707 is a scale with a similarity of 0.9, and 708 is a scale with a similarity of 0.8. The coincidence area 706 indicates that the similarity is 1.0. In the present embodiment, the scale is displayed in increments of 0.1. As can be seen, the degree of similarity decreases as the distance from the center of the search result display area 703 increases. That is, an image having a higher degree of satisfying the search condition is displayed near the center of the search result display area 703, and an image having a lower degree of satisfying the search condition is displayed farther from the center of the search result display area 703.
[0049]
Images with image IDs “567”, “765”, and “851” are displayed so as to overlap each other little by little. This indicates that these images are similar to each other and form a group. Further, the image indicated by 705 and the image indicated by 711 are connected by a straight line indicated by 710. This straight line is called a group connection line. Thus, even if the images do not overlap, the images connected by straight lines are also similar, indicating that one group is formed. Within each group, a straight line always extends from one image toward the center of the search result display area 703. This straight line is called a representative line. An image having a representative line is referred to as a representative image.
[0050]
For example, an image indicated by 711 is a representative image and has a representative line indicated by 709. The representative image indicates that the similarity is the highest in the group. In each group, the center distance between the representative image and the other images indicates the similarity with the representative image. When the degree of similarity with the representative image is high, the group connection line is not displayed and the images are overlapped and displayed as in the images with the image IDs “567”, “765”, and “851”. Here, as shown in the image 704, even one image is regarded as forming a group and a representative line is displayed. Reference numeral 712 denotes a previous screen button for displaying an image having a higher similarity than the image displayed in the search result display area 703.
[0051]
In FIG. 7, since the first search result display area 703 when a search is performed for the query “redapple” is shown, there is no image having a higher similarity than the image displayed here. The triangle of the screen button 712 is displayed on a white background. Reference numeral 713 denotes a next screen button for displaying an image having a lower similarity than the image displayed in the search result display area 703. Since the next screen exists, the triangle of the next screen button 713 is displayed in black.
[0052]
FIG. 8 is a diagram showing the state of the display 208 after the next screen button 713 is clicked using the mouse 209 in the state of FIG. Reference numerals 801, 802, and 803 are scales indicating the degrees of similarity of 0.8, 0.7, and 0.6, respectively. The distance between the scales 802 and 803 is narrower than the distance between the scales 801 and 802 since there is no image displayed in the area between the two scales. Further, the interval between the scales inside the scale 801 and the size of the coincidence area are smaller than those in FIG. 7 because no image is displayed therein. The previous screen button 712 has a high similarity image, so the triangle is displayed in black. The next screen button 713 has no lower similarity image, so the triangle is displayed in white. Yes.
[0053]
FIG. 9 is a diagram showing a state of the display 208 after clicking the image 711 using the mouse 209 in the state of FIG. When an image displayed in the search result display area 703 is clicked using the mouse 209, an image similar to the clicked image is searched, and the search result is displayed in the search result display area 703. The query box 701 is cleared because there is no query for the search result. Instead, the image 711 that is the source of the search is displayed in the matching area. At this time, the image 711 is displayed in a double frame so as to be distinguished from a case where the image is searched by a query. Further, the interval between the scales is narrower than that in the state of FIG.
[0054]
FIG. 10 is an explanatory diagram showing the configuration of the image database 604 read into the RAM 203 of the information search apparatus according to the embodiment of the present invention. The image database 604 stores a plurality of items, each of which corresponds to an image ID, an image file name corresponding to the image ID, and an explanatory text, one by one. For example, in the drawing, as one item, an image ID “0”, an image file “0000000.jpg”, and an explanatory text “aredapple” are stored in association with each other.
[0055]
The image ID is a number for identifying an image stored in the image database, and is assigned to the image in ascending order from 0 in the order stored in the image database. Therefore, the maximum value of the image ID stored in the image database matches the value obtained by subtracting 1 from the number of images stored in the image database. The image file is information indicating the storage location of the image data file registered in the image database. Therefore, an image can be displayed on the display 208 by obtaining image data from the image file. The explanatory text is a text describing a corresponding image, and the information search program 603 searches the image display 208 for a desired image using the explanatory text. Each item is sorted in ascending order by image ID.
[0056]
FIG. 11 is an explanatory diagram showing the configuration of the matching area data 605 read into the RAM 203 of the information search apparatus according to the embodiment of the present invention. The matching area data 605 stores data for changing the size of the matching area as shown by 706 in FIG. 7 according to the number of images displayed in the matching area. As shown in FIG. 11, the matching area data is a one-dimensional array, and the number of images displayed in the matching area corresponds as a subscript of the array, and the number of dots in the radius of the matching area is an element of the array. Stored. The correspondence between the number of images displayed in the matching area and the radius size of the matching area is determined in advance so that the images displayed in the matching area can be displayed without overlapping each other.
[0057]
For example, from FIG. 11, when the number of images displayed in the coincidence area is 0, the radius of the coincidence area is 30 dots, when it is 1, 60 dots, when it is 2, 90 dots, 3 pieces When it is, it turns out that it is 120 dots.
[0058]
FIG. 12 is an explanatory diagram showing a configuration of the coincidence image data 606 read into the RAM 203 of the information search apparatus according to the embodiment of the present invention. In the coincidence image data 606, the coordinates of the center of the image displaying the image of similarity 1.0 displayed in the coincidence area 706 in FIG. 7 are stored in correspondence with the number of images displayed in the coincidence area. ing. That is, one coordinate is displayed when displaying one image in the matching area, two coordinates are displayed when displaying two images, and three coordinates are displayed when displaying three images. In addition, the same number of coordinates are stored in association with the number of images displayed in the matching area. Each coordinate stores coordinates when the center of the coincidence area is the origin, the right horizontal direction on the screen is the x axis, and the upper vertical direction is the y axis. The coordinates of each image are determined in advance so that the coordinates displayed in the matching area are displayed without overlapping each other.
[0059]
For example, from FIG. 12, when displaying one image in the matching area 706, the coordinates (0, 35), (0, -35) are displayed at the position of the coordinates (0, 0). When three images are displayed at the position), it can be seen that information to be displayed at the positions of the coordinates (0, 35), (45, -35), (-45, -35) is stored.
[0060]
FIG. 13 is an explanatory diagram showing the configuration of the radius increment data 607 read into the RAM 203 of the information search apparatus according to the embodiment of the present invention. The radius increment data 607 is used to determine the interval of the scales such as 707 and 708 in FIG. The interval between the scales is determined by the number of images displayed between the two scales. Accordingly, the radius increment data 607 stores a plurality of items in which the number displayed between the scales and the interval between the scales are associated with each other, and is sorted in ascending order according to the number. As the interval between the scales, the increment of the radius with the scale larger by 0.1 than the target scale is stored as the number of dots.
[0061]
For example, from FIG. 13, when the number of images is 0, a scale with a 30 dot radius is displayed, and when the number of images is 1 or more and 4 or less, a scale with a 60 dot radius is displayed. When the number of images is 5 or more and 10 or less, it can be seen that a scale having a 90-dot radius may be displayed.
[0062]
FIG. 14 is an explanatory diagram showing a configuration of the arrangement angle data 608 secured in the RAM 203 of the information search apparatus according to the embodiment of the present invention. The arrangement angle data 608 is used to determine the position of the representative image displayed in the search result display area. The arrangement angle data 608 defines the angle at which the representative image is displayed when the angle in the horizontal right direction from the center of the search result display area is 0 degrees. The arrangement angle data 608 is a one-dimensional array, and stores the angles at which the representative images are displayed in the order in which the representative images are displayed from the top of the array.
[0063]
For example, it can be seen from FIG. 14 that the first representative image is displayed in a 90 degree direction, the second is 270 degrees, the third is 180 degrees, and the fourth is in a 0 degree direction.
[0064]
FIG. 15 is an explanatory diagram showing the configuration of the similar image buffer 609 secured in the RAM 203 of the information search apparatus according to the embodiment of the present invention. The similar image buffer 609 stores the result of searching the image database 604. For one image obtained as a result of the search, the image ID and the similarity are stored in association with each other. Each retrieved image is stored in descending order according to similarity. As described above, the degree of similarity takes a value from 1.0 to 0.0, and a larger value means that the degree of similarity is higher, indicating that 1.0 is completely matched.
[0065]
For example, from FIG. 15, three images with image IDs “0”, “456”, and “789” are searched with a similarity of 1.0, and an image with image ID “123” is searched with a similarity of 0.952. I understand that.
[0066]
FIG. 16 is an explanatory diagram showing the configuration of the similar image information 610 secured in the RAM 203 of the information search apparatus according to the embodiment of the present invention. For all images stored in the image database 604, similarities with other images are calculated, and the obtained similarities are stored in correspondence with each image as a similar image list. As shown in FIG. 16, each similar image list is stored in ascending order from the top of the similar image information in order from the similar image list corresponding to the image ID0. The structure of each similar image list is exactly the same as the structure of the similar image buffer 609 shown in FIG.
[0067]
FIG. 17 is an explanatory diagram showing the configuration of the distribution information 611 secured in the RAM 203 of the information search apparatus according to the embodiment of the present invention. The distribution information 611 is for storing the distribution of the number of images existing between the scales when displaying the search result. (T101) and (T102) indicate distribution information when searching for “redapple” as a query, and distribution information when searching for an image similar to the image ID “999”, respectively. From (T101), there are 3 images with a similarity of 1.0, 5 images with a similarity of less than 1.0 and 0.9 or more, and a similarity of less than 0.9 and 0.8 or more. You can see that there are 8 images.
[0068]
FIG. 18 is an explanatory diagram showing the configuration of the group information 612 secured in the RAM 203 of the information search apparatus according to the embodiment of the present invention. The group information 612 is used for grouping images. The image stored in the group information 612 stores an image other than the representative image, and the image ID, the image ID of the representative image of the group to which the image belongs, and the similarity between the image and the representative image are associated with each other. Stored.
[0069]
For example, from FIG. 18, the image with the image ID “345” belongs to the group represented by the image ID “876”, and the similarity between the image with the image ID “345” and the representative image with the image ID “876” is 0. It can be seen that it is 928. Each image stored in the group information 612 is stored in ascending order by the representative image ID.
[0070]
19 and 20 are explanatory diagrams showing the configuration of the screen information 613 secured in the RAM 203 of the information search apparatus according to the embodiment of the present invention. The screen information 613 is for storing information of each screen to be displayed in the search result display area with respect to the search result. The number of screens necessary to display all the search results and the screen information are displayed on each screen. The screen range, the scale layout of each screen, and the like can be obtained. (T201) and (T202) respectively show screen information when searching for “redapple” as a query, and screen information when searching for an image similar to the image ID “999”.
[0071]
The screen information 613 stores, for each screen, the subscript of the array of the distribution information 611 for indicating an image to start display and the scale width of the scale in association with each other. The scale width of the scale starts from the radius of the coincidence area, that is, the scale of similarity 1.0, and the width between adjacent scales, that is, the difference in radius is stored in order by the number of dots. For scales that are not displayed on the screen, “−1” is stored.
[0072]
For example, it can be seen from (T201) that the first screen starts displaying from an image corresponding to the subscript 0 of the array of the distribution information 611, that is, an image having a similarity of 1.0. In the first screen, the radius of the matching area is 120 dots, the scale with a similarity of 0.9 is 90 dots larger than the matching area, and the scale with a similarity of 0.8 has a similarity of 0.9. It can be seen that the radius is 90 dots larger than the scale, and the scale after the similarity of 0.7 is not displayed. Further, it can be seen that the next screen starts display from an image corresponding to the subscript 3 of the array of the distribution information 611, that is, an image having a similarity of less than 0.8.
[0073]
In the first screen, the size of the radius of the coincidence area is 30 dots and the scale with a similarity of 0.9 has a radius 30 dots larger than that of the coincidence area, and the scale with a similarity of 0.8 has a similarity of 0.9. The scale is 30 dots larger than the scale, the scale with a similarity of 0.7 is 90 dots larger than the scale with a similarity of 0.8, and the scale with a similarity of 0.6 is larger than the scale with a similarity of 0.7 Also, it can be seen that the radius is increased by 90 dots, the scale with a similarity of 0.5 is made larger by 90 dots than the scale with a similarity of 0.6, and the scale after the similarity of 0.4 is not displayed.
[0074]
  Correspondence between each component in the claims and each part in the information search apparatus according to the embodiment of the present invention is as follows. The search condition input unit corresponds to the input unit 101, the information storage unit corresponds to the information storage unit 107 of the storage unit 106, and the matching degree calculation unit corresponds to the matching degree calculation unit 103 of the control unit 102., InspectionThe search result display control means corresponds to the search result display unit 105 of the control unit 102.
[0075]
Next, the operation of the information search program of the information search apparatus according to the embodiment of the present invention configured as described above will be described with reference to the flowcharts of FIGS. 21 and 22 are flowcharts showing an information search method in the information search apparatus according to the embodiment of the present invention.
[0076]
First, in step S101, the information retrieval program 501 stored in the CD-ROM 205 of the information retrieval apparatus, and the image database 502, matching area data 503, radius increment data 505, and arrangement angle data 506 of the related data are stored in the CD-ROM. The image data is loaded from the drive 204 to the RAM 203, and areas of the similar image buffer 609, similar image information 610, distribution information 611, group information 612, and screen information 613 are secured in the RAM 203.
[0077]
Next, in step S102, control is transferred to the information search program 501, and the information search program 501 performs initialization necessary for performing the search. That is, the image database 604 is searched using all the individual images stored in the image database 604, and the search result is stored in the similar image information 610. Details of this processing will be described later with reference to FIGS.
[0078]
Next, in step S103, the process is branched according to the event that occurs. If an event occurs in which a character key is pressed using the keyboard 207, the process branches to step S104. If an event for clicking the OK button 702 shown in FIG. 7 using the mouse 209 occurs, the process branches to step S105. If an event occurs in which an image such as 704 or 705 in FIG. 7 is clicked using the mouse 209, the process branches to step S106. If an event for clicking the next screen button 713 shown in FIG. 7 using the mouse 209 occurs, the process branches to step S107. If an event for clicking the previous screen button 712 shown in FIG. 7 using the mouse 209 occurs, the process branches to step S108.
[0079]
Step S104 is processing when a query is input. The character pressed in step S103 is captured and displayed in the query box 701 shown in FIG. When the process is finished, step S 103 follows. Step S105 is a process in the case where a search is instructed using the query displayed in the query box 701. In step S105, the process branches depending on whether a query is input in the query box 701. That is, if there is a character in the query box 701, it is possible to search for an image using the query, so the process proceeds to step S109 to perform a search using the query. If there is no character in the query box 701, the search cannot be performed using the query. Therefore, the process proceeds to step S110 and the search is performed using the randomly selected image.
[0080]
Step S106 is processing when an instruction is given to search using a specific image. An image ID corresponding to the clicked image is obtained and stored in the comparison source ID. The comparison source ID is secured in the RAM 203. When the process is finished, the process proceeds to step S111. Step S107 is processing when an instruction to display the next screen of the search result is given. Details of this processing will be described later with reference to FIG. Step S108 is processing when an instruction to display the previous screen of the search result is given. Details of this processing will be described later with reference to FIG. Step S 109 is a process of searching the image database 604 using the character string stored in the query box 701 and displaying the search result on the display 208. Details of this processing will be described later with reference to FIGS. When the process is finished, step S 103 follows.
[0081]
In step S110, an image is randomly selected from the image database 604, and the image ID for the selected image is stored in the comparison source ID. The comparison source ID is secured in the RAM 203. When the process is finished, the process proceeds to step S111. Step S111 is a process of displaying an image similar to the image selected in step S106 or step S110 on the display 208. Since similar images have already been stored in the similar image buffer 609 in step S106 or step S110, a process for searching for particularly similar images is not performed. Details of this processing will be described later with reference to FIG. When the process is finished, step S 103 follows.
[0082]
23 and 24 are flowcharts for explaining the search initialization process in step S102. In this process, various necessary initializations are performed. Further, similar images are searched for all the individual images stored in the image database 604, and the search results are stored in the similar image information 610. Details of this process will be described below.
[0083]
In step S201, various initializations are performed. That is, information such as the similar image buffer 609, similar image information 610, distribution information 611, group information 612, and screen information 613 secured in the RAM 203 is initialized. Further, other initialization is performed as necessary. When the process is finished, step S202 follows. In step S202, the initial value 0 is stored in the comparison source ID indicating the comparison source image. The comparison source ID is secured in the RAM 203. When the process is finished, step S203 follows. In step S203, in order to search for an image similar to the comparison source image, an explanatory text of the comparison source image is stored in the query buffer. An explanation corresponding to the comparison source ID is obtained from the image database 604 and copied to the query buffer. The query buffer is secured in the RAM 203. When the process is finished, step S 204 follows.
[0084]
In step S204, the initial value 0 is stored in the comparison source ID indicating the comparison source image. The comparison source ID is secured in the RAM 203. When the process is finished, step S205 follows. In step S205, the similarity between the image indicated by the comparison source ID and the image indicated by the comparison destination ID is calculated. The similarity is calculated from the explanatory text for the image corresponding to the comparison source ID and the explanatory text for the image corresponding to the comparison destination ID. The explanatory text for the image corresponding to the comparison source ID is stored in the query buffer. An explanatory text corresponding to the comparison destination ID can be obtained from the image database 604. The technique for obtaining the similarity between two sentences is generally performed in the field of information retrieval, and thus will not be described in detail here. However, the maximum value of similarity is 1.0 and the minimum value is Normalization is performed so that it becomes 0.0. When the similarity is obtained, the process proceeds to step S206.
[0085]
Step S206 is processing to determine whether or not the image indicated by the comparison destination ID can be stored in the similar image buffer 609, and to branch depending on the determination result. If the similar image buffer 609 is not full, it is determined that it can be stored unconditionally. When the similar image buffer 609 is full, the similarity value of the item at the end of the similar image buffer is compared with the similarity value obtained in step S205, and the similarity value obtained in step S205 is larger. It can be stored. If it is not larger, it is determined that it cannot be stored. If it is determined that the data can be stored, the process proceeds to step S207. If it is determined that the data cannot be stored, the process proceeds to step S208.
[0086]
Step S207 is processing to store the comparison destination ID in the similar image buffer 609 in association with the similarity calculated in step S205. Each item in the similar image buffer 609 is stored so as to be sorted in descending order according to the similarity. When the similar image buffer 609 is full, the last item in the similar image buffer 609 is discarded. When the process is finished, step S 208 follows. Step S 208 is a process of counting up the value of the comparison destination ID by 1 and changing the comparison destination image to the next image in the image database 604. When the process is finished, step S209 follows. Step S209 is a process that branches depending on whether all the images in the image database 604 have been compared with the comparison source image. If the value of the comparison destination ID is larger than the value of the last image ID stored in the image database 604, all the images have been compared, and the process proceeds to step S210. Otherwise, the process proceeds to step S205.
[0087]
Step S <b> 210 is a process of counting up the value of the comparison source ID by 1 and changing the comparison source image to the next image in the image database 604. When the process is finished, step S211 follows. Step S211 is a process that branches depending on whether or not similar images have been obtained for all the images in the image database 604. If the value of the comparison source ID is larger than the value of the last image ID stored in the image database 604, all the images have been processed, so the search initialization process in step S102 ends. . Otherwise, the process proceeds to step S203.
[0088]
25 and 26 are flowcharts for explaining the query search processing in step S109. In this process, the image database 604 is searched using the query stored in the query box 701, and the search result is displayed on the display 208. Details of this process will be described below.
[0089]
In step S301, the character string stored in the query box 701 is copied to the query buffer. The query buffer is secured in the RAM 203. When the process is finished, step S302 follows. In step S302, the initial value 0 is stored in the comparison destination ID indicating the comparison destination image. The comparison destination ID is secured in the RAM 203. When the process is finished, step S 303 follows. In step S303, the degree of similarity between the sentence stored in the query buffer and the explanatory text of the image corresponding to the comparison destination ID is calculated. An explanatory text for the image corresponding to the comparison destination ID can be obtained from the image database 604. The technique for obtaining the similarity between two sentences is generally performed in the field of information retrieval, and thus will not be described in detail here. However, the maximum value of similarity is 1.0 and the minimum value is Normalization is performed so that it becomes 0.0. When the similarity is obtained, the process proceeds to step S304.
[0090]
Step S304 is a process of determining whether or not the image indicated by the comparison destination ID can be stored in the similar image buffer 609 and branching depending on the determination result. If the similar image buffer 609 is not full, it is determined that it can be stored unconditionally. When the similar image buffer 609 is full, the similarity value of the item at the end of the similar image buffer is compared with the similarity value obtained in step S303, and the similarity value obtained in step S303 is larger. It can be stored. If it is not larger, it is determined that it cannot be stored. If it is determined that the data can be stored, the process proceeds to step S305. If it is determined that the data cannot be stored, the process proceeds to step S306.
[0091]
Step S305 is processing for storing the comparison destination ID in the similar image buffer 609 in association with the similarity calculated in step S303. Each item in the similar image buffer is stored so as to be sorted in descending order according to the similarity. When the similar image buffer 609 is full, the last item in the similar image buffer is discarded. When the process is finished, step S306 follows. Step S306 is a process of counting up the value of the comparison destination ID by 1 and changing the comparison destination image to the next image in the image database 604. When the process is finished, step S307 follows. Step S307 is a process that branches depending on whether all the images in the image database 604 have been compared with the query. If the value of the comparison destination ID is larger than the value of the last image ID stored in the image database 604, all the images have been compared, and the process proceeds to step S308. Otherwise, the process proceeds to step S303.
[0092]
Step S308 is processing for determining the screen configuration for displaying the search results from the search results stored in the similar image buffer 609 and outputting the determined screen configuration information to the screen information 613. Details of this processing will be described later with reference to FIG. When the process is finished, step S309 follows. Step S309 is a process of substituting 0 for the screen number in order to display the first screen of the search result. The screen number is secured in the RAM 203. When the process is finished, step S 310 follows. Step S <b> 310 is a process of displaying the search result on the display 208 based on the screen configuration stored in the screen information 613 and the search result stored in the similar image buffer 609. Details of this processing will be described later with reference to FIGS. When the process is finished, the query search process in step S109 is finished.
[0093]
FIG. 27 is a flowchart for explaining the similarity search processing in step S111. In this processing, an image similar to the image stored in the comparison source ID is obtained from the similar image information 610, and the similar image is displayed on the display 208. Details of this process will be described below.
[0094]
In step S401, the character string stored in the query buffer is cleared, the query box 701 is cleared, and displayed on the display 208. When the process is finished, step S 402 follows. In step S402, a similar image list corresponding to the image ID stored in the comparison source ID is obtained from the similar image information 610, and the contents of the similar image list are copied to the similar image buffer 609. When the process is finished, the process proceeds to step S403. Step S403 is a process of determining the screen configuration for displaying the search result from the search results stored in the similar image buffer 609 and outputting the determined screen configuration information to the screen information 613. Details of this processing will be described later with reference to FIG. When the process is finished, step S 404 follows.
[0095]
Step S404 is a process of substituting 0 for the screen number in order to display the first screen of the search result. The screen number is secured in the RAM 203. When the process is finished, step S 405 follows. Step S405 is a process of displaying the search result on the display 208 based on the screen configuration stored in the screen information 613 and the search result stored in the similar image buffer 609. Details of this processing will be described later with reference to FIGS. When the process ends, the similarity search process in step S111 ends.
[0096]
FIG. 28 is a flowchart for explaining the next screen display processing in step S107. This process is a process for displaying the next screen of the search result displayed on the display 208. Details of this process will be described below.
[0097]
In step S501, the process branches depending on whether the next screen exists. If an item corresponding to a value obtained by adding 1 to the value stored in the screen number exists in the screen information 613, it is determined that the next screen exists and the process proceeds to step S502. If it does not exist in the screen information 613, it is determined that there is no next screen, and the next screen display process in step S107 is terminated. Whether or not an item corresponding to a value obtained by adding 1 to the value stored in the screen number exists in the screen information 613 can be determined by whether or not the display start value of the corresponding item is -1. If it is -1, it will be determined that it does not exist, and if it is not -1, it will be determined that it will exist.
[0098]
Step S502 is a process of adding 1 to the value of the screen number in order to display the next screen that is currently displayed. When the process is finished, step S503 follows. Step S503 is processing to display the screen indicated by the screen number on the display 208 based on the screen configuration stored in the screen information 613 and the search result stored in the similar image buffer 609. Details of this processing will be described later with reference to FIGS. When the process is finished, the next screen display process in step S107 is finished.
[0099]
FIG. 29 is a flowchart for explaining the previous screen display processing in step S108. This process is a process for displaying the screen before the search result displayed on the display 208. Details of this process will be described below.
[0100]
In step S601, the process branches depending on whether a previous screen exists. If the value of the screen number is not 0, it is determined that the previous screen exists and the process proceeds to step S602. If the value of the screen number is 0, it is determined that there is no previous screen, and the previous screen display process in step S108 is terminated. Step S602 is a process of counting down the value of the screen number by 1 in order to display the previous screen that is currently displayed. When the process is finished, step S603 follows.
[0101]
Step S603 is processing to display the screen indicated by the screen number on the display 208 based on the screen configuration stored in the screen information 613 and the search result stored in the similar image buffer 609. Details of this processing will be described later with reference to FIGS. When the process is finished, the process of displaying the previous screen in step S108 is finished.
[0102]
FIG. 30 is a flowchart illustrating the screen configuration determination processing in steps S308 and S403. This process is a process of determining the screen configuration for displaying the search result based on the information stored in the similar image buffer 609 and outputting the screen configuration information to the screen information 613. Details of this process will be described below.
[0103]
In step S <b> 701, the distribution status with respect to the similarity of the images stored in the similar image buffer 609 is checked, and the distribution status is stored in the distribution information 611. First, the number of image IDs having a similarity of 1.0 is obtained from the similar image buffer 609, stored in the distribution information 611, and then the number of image IDs having a similarity of less than 1.0 and not less than 0.9. It is obtained from the image buffer 609 and stored in the distribution information 611. Thereafter, similarly, the number of image IDs stored in the similar image buffer 609 is obtained in increments of 0.1 and stored in the distribution information 611. When the process is finished, step S702 follows.
[0104]
Step S702 is a process of grouping the images stored in the similar image buffer 609 in accordance with the degree of similarity and storing the grouped result in the group information 612. Details of this processing will be described later with reference to FIGS. When the process is finished, step S703 follows. Step S703 is a process of determining the scale to be displayed on each screen and storing the determined result in the screen information 613. Details of this processing will be described later with reference to FIGS. When the processing is finished, the screen configuration determination processing is finished.
[0105]
31 and 32 are flowcharts for explaining the grouping process in step S702. Details of this process will be described below.
[0106]
In step S801, 0 is substituted into the buffer item indicating each item in the similar image buffer 609 so that the buffer item indicates the head item of the similar image buffer. Buffer items are reserved in the RAM 203. When the process is finished, step S802 follows. In step S802, a similar image list corresponding to the image ID in the similar image buffer 609 indicated by the buffer item is obtained from the similar image information 610. The similar image information 610 has an array of similar image lists as shown in FIG. 16, and the subscript of the array is an image ID. Therefore, the corresponding similar image list can be easily extracted. When the process is finished, step S 803 follows.
[0107]
In step S803, 0 is substituted into the list item indicating each item in the similar image list extracted in step S802 so that the list item indicates the top item of the similar image list. List items are secured in the RAM 203. When the process is finished, step S804 follows. In step S804, the process branches depending on whether the similarity of the item in the similar image list indicated by the list item is equal to or greater than a specified value. If it is greater than or equal to the specified value, the process proceeds to step S805, and if smaller than the specified value, the process proceeds to step S809. The specified value is set to 0.8, for example.
[0108]
In step S805, the process branches depending on whether or not the image ID indicated by the list item is present in the item in the similar image buffer located at the head of the item indicated by the buffer item. That is, if there is an image ID that matches the image ID of the item in the similar image list indicated by the list item among the items in the similar image buffer corresponding to a value smaller than the value of the buffer item, the process branches to step S806. If not, the process branches to step S807.
[0109]
In step S806, a set of image ID corresponding to the buffer item, image ID corresponding to the list item, and similarity corresponding to the list item is stored in the group information 612. The image ID corresponding to the buffer item is stored in the image ID storage area of the group information 612, the image ID corresponding to the list item is stored in the representative image ID storage area of the group information 612, and the similarity corresponding to the list item is displayed in the group information 612. Are stored in the storage areas of the similarities. When the process is finished, the process branches to step S809.
[0110]
In step S807, the value of the list item is incremented by 1 to indicate the next item in the similar image list extracted in step S802. When the process is finished, step S 808 follows. In step S808, the process branches depending on whether the item indicated by the list item is valid. If it is not valid, since all the valid items in the similar image list extracted in step S802 have been processed, the process proceeds to step S809. If it is valid, it still needs to be processed, and the process proceeds to step S804. In step S809, the value of the buffer item is incremented by 1 to indicate the next item in the similar image buffer 609. When the process is finished, step S810 follows.
[0111]
In step S810, the process branches depending on whether the item indicated by the buffer item is valid. If it is not valid, since all valid items in the similar image buffer 609 have been processed, the process advances to step S811. If it is valid, it still needs to be processed, and the process proceeds to step S802. In step S811, the effective items stored in the group information 612 are sorted in ascending order according to the value of the representative image ID. When the process is finished, the grouping process in step S702 is finished.
[0112]
33 and 34 are flowcharts for explaining the display scale determination processing in step S703. Details of this process will be described below.
[0113]
In step S901, initialization necessary for determining the display scale is performed. That is, 0 is stored in the screen number and 0 is stored in the start area. The screen number is the number of the screen on which the search result is displayed, and the start area means the number of the area where image display is started on each screen. Here, the region refers to a space between adjacent scales. The region number corresponds to a subscript of the array of the distribution information 611. The screen number and start area are secured in the RAM 203. Also, the value of each element such as the display start of the screen information 613 and the scale width is initialized with -1. When the process is finished, step S902 follows.
[0114]
In step S902, 0 is assigned to each of the area number and the scale radius. The area number and the scale radius are secured in the RAM 203. The region number corresponds to a subscript of the distribution information 611, the region number for the coincidence region 706 is 0, the number for the region between the similarity 1.0 and 0.9 is 1, and similarly, the similarity is It is a number given in descending order. The scale radius is a value expressing the scale radius displayed in the search result display area 703 by the number of dots. When the process is finished, step S 903 follows. In step S903, the process branches based on the comparison result between the area number and the start number. If the area number value is smaller than the start number value, no image is displayed in the area corresponding to the area number, and the process advances to step S904. If the area number value is greater than or equal to the start number value, the area image corresponding to the area number is displayed. Since it displays, it progresses to step S906.
[0115]
In step S904, the increment of the radius of the area indicated by the area number is stored in the screen information 613. The radius increment is determined using the matching region data 605 when the region number is 0, and using the radius increment data 607 when the region number is other than 0. Here, since the region number is smaller than the value of the start region, no image is displayed in this region, that is, since the number of images to be displayed is 0, the radius increment is shown in FIGS. It can be seen that there are 30 dots in both cases of 0 and not 0.
[0116]
However, when there is no character string in the query box 701, an image similar to the image ID stored in the comparison source ID is stored in the similar image buffer 609, and when the start area is other than 0, the comparison source If the image indicated by the ID is not displayed, the comparison source image will not be known. Therefore, only in this case, one image indicated by the comparison source ID is displayed in the matching area 706. Therefore, in this case, when the area number is 0, it can be seen that the radius increment is 60 dots from the coincidence area data 605 shown in FIG.
[0117]
When the radius increment is determined, the radius increment is stored in the scale width corresponding to the screen number and area number of the screen information 613. For example, when “redapple” is stored in the query box 701 and the value of the screen number is 1, in this process, as shown in FIG. 19 (T201), the similarity between 1.0 and 0.8 30 are stored as the scale widths for the areas corresponding to. In this process, the determined increment is added to the scale radius. When the process is finished, step S905 follows. In step S905, the value of the area number is incremented by 1 in order to process the area next to the area indicated by the area number. When the process is finished, step S 903 follows.
[0118]
In step S906, the increment of the radius of the area indicated by the area number is determined. The radius increment can be obtained from the matching region data 605, the radius increment data 607, the distribution information 611, and the region number. Using the distribution information 611, the number of images to be displayed in the region indicated by the region number is obtained. When the region number is 0, the matching region data 605 is used, and when the region number is other than 0, the radius increment data 607 is used. Thus, an increase in radius corresponding to the number of images displayed in the area is obtained.
[0119]
For example, when “redapple” is stored in the query box 701, the distribution information 611 is as shown in FIG. 17 (T101), so that the area numbers are 0, 1, 2, 3, 4, 5 Thus, it can be seen that three, five, eight, six, zero, and five images are displayed in the respective areas, which are shown in the matching area data 605 shown in FIG. 11 and FIG. By using the radius increment data 607, it can be seen that the radius increment of each region is 120, 90, 90, 90, 30, 90.
[0120]
Further, when there is no character string in the query box 701 and 999 is stored in the comparison source ID, the distribution information 611 is as shown in (T102) of FIG. 2, 3, 4, 5, it can be seen that 1, 3, 4, 2, 3, 0 images are displayed in the respective areas, and the matching area data 605 shown in FIG. 11 is displayed. By using the radius increment data 607 shown in FIG. 13, it can be seen that the radius increment of each region is 60, 60, 60, 60, 60, 60. When the process is finished, step S907 follows.
[0121]
In step S907, the process branches depending on whether the area indicated by the area number can be displayed in the search result display area. If the value obtained by adding the radius increment obtained in step S906 to the value of the scale radius is larger than half of the search result display area size of 600 dots, the area indicated by the area number cannot be displayed in the search result display area. Proceed to If it is less than half of 600 dots, it can be displayed and the process proceeds to step S908. For example, when the distribution information 611 is as shown in FIG. 17 (T101), when the screen number is 0 and the area number is 2, the value of the scale radius is 300, and the process proceeds to step S908. If the screen number is 0 and the area number is 3, the value of the scale radius is 390, so the process proceeds to step S910.
[0122]
In step S908, the increment of the area radius with respect to the area number obtained in step S906 is stored in the screen information 613. For example, when the distribution information 611 is as shown in FIG. 17 (T101), the screen information 613 has a similarity with respect to the screen number 0 from 1.0 as shown in FIG. 19 (T201). The scale widths for the areas up to 0.8 are 120, 90, 90, respectively, and the scale widths for the areas whose similarity is 0.7 to 0.5 for the screen number 1 are 90, 30, 90, respectively. Is stored. When the distribution information 611 is as shown in FIG. 17 (T102), the screen information 613 has a similarity with respect to the screen number 0 of 1.0 as shown in FIG. 20 (T202). 60, 60, 60, 60, 60, 60 are stored in the scale widths for the areas from 1 to 0.6, respectively. In this process, the determined radius increment is added to the scale radius. When the process is finished, step S909 follows.
[0123]
In step S909, the value of the area number is incremented by 1 in order to process the area next to the area indicated by the area number. When the process is finished, step S906 follows. In step S910, the process branches depending on whether all the images stored in the similar image buffer 609 have been processed. If the values of the elements after the region indicated by the region number of the distribution information 611 are all 0, the processing has been performed for all the images, and the display scale determination processing in step S703 is terminated. Otherwise, the process proceeds to step S911 in order to display an unprocessed image on the next screen. In step S911, first, the value of the start area is substituted into the start area corresponding to the screen number of the screen information 613. Then, the value of the screen number is incremented by 1 in order to process the next screen. Also, the area number value is substituted for the start area. When the process is finished, step S902 follows.
[0124]
FIGS. 35 and 36 are flowcharts for explaining the search result display processing in steps S310, S405, S503, and S603. This process is a process for displaying the screen indicated by the screen number on the display 208 based on the screen configuration information stored in the screen information 613 and the image information stored in the similar image buffer 609 and the image database 604. It is. Details of this process will be described below.
[0125]
In step S1001, the scale is displayed in the search result display area 703 using the scale width in the screen information 613 for the designated screen number. Starting from the scale width corresponding to the similarity of 1.0, the scale radius is added until the scale width value becomes −1, and the center of the search result display area 703 is set to each scale radius. The center circle is displayed. For scales with a similarity of 1.0, the inside is filled with gray. When the process is finished, step S 1002 follows.
[0126]
In step S1002, an image with a similarity of 1.0 is displayed in the matching area 706. An image ID for the item of similarity 1.0 is obtained from the top of the similar image buffer 609, an image file corresponding to the image ID is obtained from the image database 604, and the image file is displayed in the matching area 706. As coordinates for displaying the image file, coordinates corresponding to the number of images to be displayed in the matching area 706 are obtained using the matching image data 606. When no character string exists in the query box 701, the edge of the image indicated by the comparison source ID is displayed with a double frame as shown in FIG. In this case, the image indicated by the comparison source ID is always stored in the similar image buffer 609 as the similarity 1.0. When the process is finished, step S 1003 follows.
[0127]
Step S1003 is a process of acquiring from the similar image buffer 609 the first image ID other than the similarity 1.0 as the image ID to be displayed. When the process is finished, step S 1004 follows. In step S1004, the process branches depending on whether the target image is a representative image. If the image ID of the target image is stored as the image ID of the group information, the process proceeds to step S1005 because it is not a representative image. If it is not stored as an image ID, the process proceeds to step S1007 because it is a representative image.
[0128]
In step S1005, the image ID to be displayed is changed to the next image ID in the similar image buffer. When the process is finished, step S 1006 follows. In step S1006, the process branches depending on whether or not to end the display of the image. When all the images in the similar image buffer 609 have been processed, or when the scale width of the area in which the target image is displayed is −1, it is determined that the image display is to be ended, and the step The process proceeds to S1011. If not, the process proceeds to step S1004 on the assumption that the image is still displayed.
[0129]
In step S1007, the display position of the image to be displayed, that is, the representative image is determined. First, the direction of the coordinates of the center of the image to be displayed from the center of the search result display area 703 is determined using the arrangement angle data 608. When the arrangement angle data 608 is used, the direction from the center can be uniquely determined depending on which representative image is displayed. Next, the distance from the center of the search result display area 703 for the coordinates of the center of the image to be displayed to the coordinates of the center of the image to be displayed is determined using the screen information 613. The distance from the center of the search result display area 703 to the area for displaying an image is obtained by accumulating the corresponding scale width of the screen information 613 from the area of 1.0 based on the similarity between the designated screen number and the displayed image. Can be obtained. The distance from the center in the area can be obtained from the scale width and similarity since the scale width of the area can be obtained from the screen information 613.
[0130]
For example, when the screen information 613 is in the state of (T201) in FIG. 19 and an image with a similarity of 0.56 is displayed when 1 is specified as the screen number, this image is displayed in the 0.5 region. The distance from the center of the search result display area 703 to 0.5 is 30 + 30 + 30 + 90 + 30 = 210 dots by adding the scale width of 1.0 to 0.6. I understand. The distance from the center in the 0.5 area is 90 × (0.6-0.56) /0.1=36 dots because the scale width of the 0.5 area is 90 dots. It turns out that it is. Therefore, in this case, the distance from the center of the search result display area 703 to the center of the image having the similarity of 0.56 is 210 + 36 = 246 dots. In this way, the angle and distance from the center of the search result display area 703 can be obtained, so the position for displaying the image can be determined. When the process is finished, step S 1008 follows.
[0131]
Step S1008 is processing for displaying a representative line from the center of the search result display area 703 to the display position obtained in step S1007. However, a representative line is not displayed in the matching area 706. When the process is finished, step S 1009 follows. Step S1009 is processing for displaying all the images of the group to which the target representative image belongs except for the representative image. The image of the group to which the representative image belongs can be obtained using the group information 612. All the images corresponding to the image ID in which the value of the representative image ID in the group information 612 is equal to the value of the image ID of the representative image to be displayed are to be displayed.
[0132]
The distance from the center of the search result display area 703 to each image to be displayed can be obtained from the similarity of each image in the similar image buffer 609 in the same manner as in step S1007. Further, the distance from the display position of the representative image to the display position of each image can be determined from the group information 612. For example, the corresponding similarity can be obtained from the group information 612 from the representative image ID and the image ID of the image to be displayed, and can be determined by multiplying the value obtained by subtracting the similarity from 1.0 by 500. In addition, the images are displayed alternately in the counterclockwise direction and the clockwise direction of the representative line, with the search result display area 703 as the center, in descending order of similarity to the representative image.
[0133]
In this way, the distance from the two points of the center of the search result display area 703 and the center of the representative image can be obtained, and it can be determined which of the lines connecting the two points is displayed. The position to display can be determined. When the display position of each image is determined, a line connecting the center of each image and the center of the representative image is displayed, and the images are displayed in order of decreasing similarity to the representative image. By displaying in this order, when images overlap each other, an image with a higher similarity to the representative image is less likely to be blocked by other images. When the process is finished, step S1010 follows. In step S1010, a representative image is displayed at the position obtained in step S1007. Thus, since the representative image is displayed last in the group, it is possible to prevent the representative image having the highest similarity in the group from being obstructed by being blocked by other images. When the process is finished, step S 1005 follows.
[0134]
In step S1011, a previous screen button 712 and a next screen button 713 are displayed. If the designated screen number is 0, there is no previous screen, so the triangle of the previous screen button 712 is displayed in white, and if it is not 0, the previous screen exists, the triangle of the previous screen button 712 is black. indicate. If the value of the start area of the screen information 613 for the screen number obtained by adding 1 to the designated screen number is -1, the next screen does not exist, so the triangle of the next screen button 713 is displayed on a white background, and -1 Otherwise, since the next screen exists, the triangle of the next screen button 713 is displayed in black. When the process is finished, the search result display process is terminated.
[0135]
As described above, according to the information search device of the embodiment of the present invention, the input unit 101 for inputting search conditions, the information storage unit 107 for storing individual information to be searched, and the information storage unit A matching degree calculation unit 103 that compares the individual information stored in 107 with the search condition input from the input unit 101 and calculates a matching degree that is a degree satisfying the searching condition, and information that matches completely. The complete match area determination unit 104 that determines the display area as the complete match area, and information that the match level is completely matched is displayed in the complete match display area, and information that does not have a perfect match level is displayed from the complete match area. The search result display unit 105 that determines the display position based on the degree of coincidence and displays it on the outside of the complete coincidence area has the following effects.
[0136]
In the above configuration, the area that displays information that completely matches the search condition is distinguished from the area that displays other information as the complete match area, and the information that completely matches is displayed in the complete match area. This has the effect of making it easier to see the information you want. Further, since the information displayed in the complete match area is displayed so as not to overlap each other, there is an effect that all the information of the search result that is most desired to be viewed can be seen without being hidden by other information. Further, since information having a higher matching degree outside the perfect matching area is displayed closer to the perfect matching area, it is possible to prevent information having a high matching degree from overlapping each other and becoming difficult to see. In addition, since the completely matched area is displayed separately from the other areas, there is an effect that it can be seen at a glance whether or not it is completely matched.
[0137]
[Other embodiments]
In the above embodiment, the similar image information 610 is generated every time in step S102 of FIG. 21. However, similar image information is generated in advance by performing the same processing as in step S102, and is stored in the CD-ROM 205 as related data. It may be stored and loaded into the RAM 203 in step S101.
[0138]
In the above embodiment, an example in which the image database 502 is stored in the CD-ROM 205 has been described. However, an image database stored in the HD of the HD drive 206 may be handled.
[0139]
In the above-described embodiment, an example in which an information search program and related data are directly loaded from the CD-ROM 205 to the RAM 203 as an external storage device and executed is shown. In addition to this, the information search program and related data are read from the CD-ROM 205. May be temporarily stored (installed) in the HD of the HD drive 206 and loaded into the RAM 203 from the HD of the HD drive 206 when the information search program is operated. In addition to the CD-ROM, the medium for storing the information retrieval program may be an FD (floppy disk), an IC memory card, or the like. Further, the information retrieval program can be stored in the ROM 202, configured to be a part of the memory map, and directly executed by the CPU 201.
[0140]
Moreover, although the example which used English as a language used as a query and an explanatory sentence was shown in the said embodiment, this invention is not an invention applicable only to English, The invention applicable to all languages including Japanese. It is.
[0141]
In the above embodiment, in order to obtain an image similar to the designated image in step S111 of FIG. 22, the similarity is calculated using the explanatory text attached to the image. It does not depend on the similarity calculation method. For example, the similarity may be calculated using information on the image itself such as the brightness and color of the image and the composition of the image.
[0142]
Moreover, although the example which searches an image as an information search object was shown in the said embodiment, the search object handled by this invention is not limited to an image. For example, it is effective for various information retrieval such as documents, images, and voices. As an example of the search result displayed in the search result display area, the image itself is displayed when searching for an image. However, when searching for a document, the document title or keyword may be displayed instead of the image. . In the case of a video, information representative of the video, such as a title and a representative scene, may be displayed, and video of individual results may be reproduced.
[0143]
  In the above embodiment, as shown in FIG. 7, the matching area is a circle area centered on the center of the search result display area, and each scale is displayed as a concentric circle with the matching area. The similarity is displayed so as to be arranged radially from the center of the search result display area in correspondence with the distance from the matching area. But,The present inventionIs not limited to the display method as described above. For example, as shown in FIG. 37, the matching area is a rectangular area on the left side of the search result display area indicated by 3001, and each scale is a parallel line to the left side such as lines indicated by 3002 and 3003. The distance between the straight lines may be displayed in correspondence with the similarity of each image. In this case, as in the arrangement angle data 608, the arrangement position of each image is not specified by the angle with respect to the center of the matching area, but instead is specified by the distance from the upper side of the search result display area. The search result image can be displayed at a desired position in exactly the same procedure as shown in the form. Even when the search results are displayed in this way, as shown in FIG. 37, it is possible to display the search result images as a group in the same manner as in the above embodiment.
[0144]
The present invention may be applied to a system composed of a plurality of devices or an apparatus composed of a single device. A storage medium storing software program codes for realizing the functions of the above-described embodiments is supplied to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus stores the program code stored in the storage medium. Needless to say, this can also be achieved by executing read.
[0145]
In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention.
[0146]
As a storage medium for supplying the program code, for example, a floppy disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.
[0147]
Further, by executing the program code read out by the computer, not only the functions of the above-described embodiments are realized, but also the OS operating on the computer based on the instruction of the program code performs the actual processing. Needless to say, a case where the function of the above-described embodiment is realized by performing part or all of the processing is also included.
[0148]
Further, after the program code read from the storage medium is written into a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. It goes without saying that the CPU or the like provided in the board or the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
[0149]
【The invention's effect】
  As described above, according to the present invention, a plurality of pieces of information that completely match the search condition are stored in the complete match area.InAnd display information that does not exactly match the search conditions at a position corresponding to the degree of match in the incomplete match area., And display multiple information that completely matches the search criteria, changing the size of the exact match area so that they do not overlap each otherTherefore, there is an effect that it is possible to make it easy to see information that is most desired to be viewed as a search result. In addition, there is an effect that it is possible to avoid that information having a high degree of coincidence overlaps each other and is difficult to see.
[0150]
  Also,The present inventionAccording to the above, since the information displayed in the complete matching area is displayed so as not to overlap with each other, it is possible to make it possible to see all of the search result information that is most desired to be viewed without being hidden by other information. is there.
[0151]
  In addition, according to the present invention, the exact match region isIncomplete matchArea andIdentifiableIn order to display it, there is an effect that it can be known at a glance whether or not it is a perfect match.
[Brief description of the drawings]
FIG. 1 is a functional block diagram showing a concept of an information search apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a system configuration of the information search apparatus according to the embodiment of the present invention.
FIG. 3 is an explanatory diagram showing a concept in which a program or the like is supplied from a CD-ROM which is a storage medium of the information search apparatus according to the embodiment of the present invention to a computer system (information search apparatus).
FIG. 4 is an explanatory diagram showing a configuration of a ROM of the information search device according to the embodiment of the present invention.
FIG. 5 is an explanatory diagram showing a configuration of a CD-ROM of the information search device according to the embodiment of the present invention.
FIG. 6 is an explanatory diagram showing the structure of a memory map in a state where an information search program or the like stored in a CD-ROM of the information search apparatus according to the embodiment of the present invention is loaded into a RAM and can be executed; .
FIG. 7 is an explanatory diagram showing a screen configuration example of a first search result when a query search is performed by the information search apparatus according to the embodiment of the present invention.
FIG. 8 is an explanatory diagram illustrating a next screen configuration example of a search result of a query search in the information search device according to the exemplary embodiment of the present invention.
FIG. 9 is an explanatory diagram showing a screen configuration example of a first search result when a similar search is performed by the information search apparatus according to the embodiment of the present invention.
FIG. 10 is an explanatory diagram showing a configuration of an image database read into a RAM of the information search apparatus according to the embodiment of the present invention.
FIG. 11 is an explanatory diagram showing a configuration of matching area data read into the RAM of the information search device according to the embodiment of the present invention;
FIG. 12 is an explanatory diagram showing a configuration of coincidence image data read into a RAM of the information search apparatus according to the embodiment of the present invention.
FIG. 13 is an explanatory diagram showing a configuration of radius increment data read into the RAM of the information search device according to the embodiment of the present invention;
FIG. 14 is an explanatory diagram showing a configuration of arrangement angle data secured in the RAM of the information search device according to the embodiment of the present invention.
FIG. 15 is an explanatory diagram showing a configuration of a similar image buffer secured in a RAM of the information search device according to the embodiment of the present invention.
FIG. 16 is an explanatory diagram showing a configuration of similar image information secured in a RAM of the information search apparatus according to the embodiment of the present invention.
FIG. 17 is an explanatory diagram showing a configuration of distribution information secured in a RAM of the information search apparatus according to the embodiment of the present invention.
FIG. 18 is an explanatory diagram showing a configuration of group information secured in a RAM of the information search device according to the embodiment of the present invention.
FIG. 19 is an explanatory diagram showing a configuration of screen information secured in a RAM of the information search device according to the embodiment of the present invention.
FIG. 20 is an explanatory diagram showing a configuration of screen information secured in a RAM of the information search device according to the embodiment of the present invention.
FIG. 21 is a flowchart showing an information search method in the information search apparatus according to the embodiment of the present invention.
FIG. 22 is a flowchart showing an information search method in the information search apparatus according to the embodiment of the present invention.
FIG. 23 is a flowchart showing a search initialization method in the information search apparatus according to the embodiment of the present invention.
FIG. 24 is a flowchart showing a search initialization method in the information search apparatus according to the embodiment of the present invention.
FIG. 25 is a flowchart showing a query search method in the information search apparatus according to the embodiment of the present invention.
FIG. 26 is a flowchart showing a query search method in the information search apparatus according to the embodiment of the present invention.
FIG. 27 is a flowchart showing a similarity search method in the information search apparatus according to the embodiment of the present invention.
FIG. 28 is a flowchart showing a next screen display method in the information search apparatus according to the embodiment of the present invention.
FIG. 29 is a flowchart showing a previous screen display method in the information search apparatus according to the embodiment of the present invention.
FIG. 30 is a flowchart showing a screen configuration determination method in the information search apparatus according to the embodiment of the present invention.
FIG. 31 is a flowchart showing a grouping method in the information search apparatus according to the embodiment of the present invention.
FIG. 32 is a flowchart showing a grouping method in the information search apparatus according to the embodiment of the present invention.
FIG. 33 is a flowchart showing a display scale determination method in the information search apparatus according to the embodiment of the present invention.
FIG. 34 is a flowchart showing a display scale determination method in the information search apparatus according to the embodiment of the present invention.
FIG. 35 is a flowchart showing a search result display method in the information search apparatus according to the embodiment of the present invention.
FIG. 36 is a flowchart showing a search result display method in the information search apparatus according to the embodiment of the present invention.
FIG. 37 is an explanatory view showing a search result display area for explaining another method of displaying a search result in the information search device according to another embodiment of the present invention.
[Explanation of symbols]
101 Input section
102 Control unit
103 coincidence calculation unit
104 perfect match area determination unit
105 Search result display area
106 Storage unit
107 Information storage unit
108 Display

Claims (11)

検索された情報を表示する情報処理装置において、
検索条件を入力する検索条件入力手段と、
検索対象となる個々の情報を格納している情報記憶手段と、
前記情報記憶手段に格納された個々の情報と、前記検索条件入力手段から入力された検索条件とを比較することにより、検索条件を満たす度合いである一致度を算出する一致度算出手段と、
完全一致領域と該完全一致領域の外側の不完全一致領域とを設け、前記検索条件に完全一致する複数の情報を前記完全一致領域内に表示させ、前記検索条件と完全一致しない情報を前記不完全一致領域内の前記一致度に対応する位置に表示させる検索結果表示制御手段とを有し、
前記検索結果表示制御手段は、前記検索条件に完全一致する複数の情報を互いに重ならせないように前記完全一致領域の大きさを変えて表示させることを特徴とする情報処理装置。In an information processing apparatus that displays searched information,
Search condition input means for inputting search conditions;
Information storage means for storing individual information to be searched;
A degree of coincidence calculating means for calculating a degree of coincidence that is a degree satisfying a search condition by comparing the individual information stored in the information storage means with the search condition input from the search condition input means;
An exact match area and an incomplete match area outside the complete match area are provided, a plurality of information that completely matches the search condition is displayed in the complete match area, and information that does not completely match the search condition is displayed in the non-matching area. possess a search result display control means for displaying a position corresponding to the degree of matching perfectly matched region,
The information processing apparatus, wherein the search result display control means displays a plurality of pieces of information that completely match the search condition while changing the size of the complete match area so as not to overlap each other . 前記検索結果表示制御手段は、完全一致となる情報の個数に基づいて大きさが決定された完全一致領域を表示させることを特徴とする請求項１に記載の情報処理装置。  The information processing apparatus according to claim 1, wherein the search result display control unit displays an exact match area whose size is determined based on the number of pieces of information that become an exact match. 前記検索結果表示制御手段は、前記完全一致領域を円形に表示させ、
前記完全一致領域を中心として、前記検索条件を満たす情報を放射状に表示させることを特徴とする請求項１又は２に記載の情報処理装置。The search result display control means displays the complete match area in a circle,
The information processing apparatus according to claim 1, wherein information that satisfies the search condition is displayed radially centering on the complete matching area. 前記検索結果表示制御手段は、前記完全一致領域を前記不完全一致領域と識別可能に表示させることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。  The information processing apparatus according to any one of claims 1 to 3, wherein the search result display control means displays the complete match area so as to be distinguishable from the incomplete match area. 前記検索結果表示制御手段は、前記一致度の指標として、所定位置を中心とする同心円の目盛りを表示させることを特徴とする請求項３又は４に記載の情報処理装置。  5. The information processing apparatus according to claim 3, wherein the search result display control means displays a concentric scale centering on a predetermined position as the index of coincidence. 検索された情報を表示する情報処理装置の情報処理方法において、
検索対象となる個々の情報を記憶する情報記憶手段に格納された個々の情報と、入力された検索条件とを比較することにより、検索条件を満たす度合いである一致度を算出する一致度算出ステップと、
完全一致領域と該完全一致領域の外側の不完全一致領域とを設け、前記検索条件に完全一致する複数の情報を前記完全一致領域内に表示させ、前記検索条件と完全一致しない情報を前記不完全一致領域内の前記一致度に対応する位置に表示させる検索結果表示制御ステップとを有し、
前記検索結果表示制御ステップにおいて、前記検索条件に完全一致する複数の情報を互いに重ならせないように前記完全一致領域の大きさを変えて表示させることを特徴とする情報処理方法。In an information processing method of an information processing apparatus for displaying searched information,
A degree of coincidence calculation step of calculating a degree of coincidence that is a degree satisfying the search condition by comparing the individual information stored in the information storage means for storing the individual information to be searched and the input search condition. When,
An exact match area and an incomplete match area outside the complete match area are provided, a plurality of information that completely matches the search condition is displayed in the complete match area, and information that does not completely match the search condition is displayed in the non-matching area. possess a search result display control step of displaying a position corresponding to the degree of matching perfectly matched region,
In the search result display control step, a plurality of pieces of information that completely match the search condition are displayed with the size of the complete match area changed so as not to overlap each other . 前記検索結果表示制御ステップにおいて、完全一致となる情報の個数に基づいて決定された大きさの完全一致領域を表示させることを特徴とする請求項６に記載の情報処理方法。  The information processing method according to claim 6, wherein in the search result display control step, a perfect match area having a size determined based on the number of pieces of information that become perfect match is displayed. 前記完全一致領域は円形であり、
前記検索結果表示制御ステップにおいて、前記完全一致領域を中心として前記検索条件を満たす情報を放射状に表示させることを特徴とする請求項６又は７に記載の情報処理方法。The perfect match region is circular;
8. The information processing method according to claim 6, wherein in the search result display control step, information satisfying the search condition is displayed radially with the perfect match area as a center. 9. 前記検索結果表示制御ステップにおいて、前記完全一致領域を前記不完全一致領域と識別可能に表示させることを特徴とする請求項６乃至８のいずれか１項に記載の情報処理方法。  The information processing method according to claim 6, wherein in the search result display control step, the complete match area is displayed so as to be distinguishable from the incomplete match area. 前記検索結果表示制御ステップにおいて、前記一致度の指標として、所定位置を中心とする同心円の目盛りを表示させることを特徴とする請求項８又は９に記載の情報処理方法。  The information processing method according to claim 8 or 9, wherein, in the search result display control step, a scale of a concentric circle centered on a predetermined position is displayed as the index of coincidence. 請求項６乃至請求項１０のうちいずれか１項に記載の情報処理方法を実行させるためのプログラムを記憶したコンピュータ読み出し可能な記憶媒体。  A computer-readable storage medium storing a program for executing the information processing method according to any one of claims 6 to 10.
JP11792299A 1999-04-26 1999-04-26 Information processing apparatus, information processing method, and storage medium Expired - Fee Related JP4886101B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP11792299A JP4886101B2 (en) 1999-04-26 1999-04-26 Information processing apparatus, information processing method, and storage medium
US09/553,858 US6853389B1 (en) 1999-04-26 2000-04-21 Information searching apparatus, information searching method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11792299A JP4886101B2 (en) 1999-04-26 1999-04-26 Information processing apparatus, information processing method, and storage medium

Publications (3)

Publication Number Publication Date
JP2000305944A JP2000305944A (en) 2000-11-02
JP2000305944A5 JP2000305944A5 (en) 2006-06-22
JP4886101B2 true JP4886101B2 (en) 2012-02-29

Family

ID=14723517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11792299A Expired - Fee Related JP4886101B2 (en) 1999-04-26 1999-04-26 Information processing apparatus, information processing method, and storage medium

Country Status (1)

Country Link
JP (1) JP4886101B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006107020A (en) 2004-10-04 2006-04-20 Sony Corp Content management system, content management method and computer program

Also Published As

Publication number Publication date
JP2000305944A (en) 2000-11-02

Similar Documents

Publication Publication Date Title
US6564206B1 (en) Information search apparatus and method, and storage medium
US6853389B1 (en) Information searching apparatus, information searching method, and storage medium
JP4546291B2 (en) Image processing apparatus and control method thereof
JP3132738B2 (en) Text search method
CN1920829B (en) Character input aiding method and information processing apparatus
US6594650B2 (en) File management system and its method and storage medium
JP2004240750A (en) Picture retrieval device
WO2005004007A1 (en) Method for referencing image data
CN103995816B (en) Information processing equipment and information processing method
JP2000305946A (en) Information retrieving device, information retrieving method and storage medium
JP2007047943A (en) Image processor, control method and program
JP2001125917A (en) Method and device for retrieving image
JP3978962B2 (en) Information search method and information search apparatus
JP2005216203A (en) Table format data processing method and table format data processing apparatus
JP2005182460A (en) Information processor, annotation processing method, information processing program, and recording medium having information processing program stored therein
JP4886101B2 (en) Information processing apparatus, information processing method, and storage medium
US5671427A (en) Document editing apparatus using a table to link document portions
JPH0869476A (en) Retrieval system
JP2000305933A (en) Information retrieving device, information retrieving method and storage medium
JP2000112991A (en) Device for information retrieval, method therefor and storage medium
JP2004240751A (en) Picture retrieval device
JP4585742B2 (en) Image display device, image display method, program, and recording medium
JP4646300B2 (en) Repeating line determination device, repeating line determination method, program, and recording medium
JPH0769913B2 (en) Document editing device
JP7358838B2 (en) Information processing device and information processing program

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060209

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060426

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060426

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20070626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080924

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081119

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090209

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090406

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20090501

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111209

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141216

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees