JP4021025B2 - 画像検索方法、画像検索装置、及び画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
画像検索方法、画像検索装置、及び画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4021025B2 JP4021025B2 JP01375798A JP1375798A JP4021025B2 JP 4021025 B2 JP4021025 B2 JP 4021025B2 JP 01375798 A JP01375798 A JP 01375798A JP 1375798 A JP1375798 A JP 1375798A JP 4021025 B2 JP4021025 B2 JP 4021025B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- sub
- main
- display area
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、多数の画像からユーザの嗜好に合った画像を検索する画像検索方法に係わり、関連のある画像を辿ることによって所望の画像を効率よく検索することができる画像検索方法および装置および検索プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
例えば、静止画或は動画からなる画像から所望の画像を探すには、すべての画像を見て選び出したり、画像を何らかの尺度、例えば被写体の種類や撮影日時や撮影時の条件などで分類しておき、所望とする画像の含まれていそうな分類から選び出すなどの作業を行っていた。しかし、画像の数が膨大になると、このような画像の検索作業を人手で行うことは限界があった。
【０００３】
そこで、従来、このような画像の検索を支援するために、コンピュータを利用した画像検索装置が多く提案されている。図２２は、従来の一般的な画像検索システムの例を示す図である。表示画面には記憶されている画像の縮小画像が一覧表示されており、ユーザはその中から所望の画像を探しだして拡大表示したり、別の用途に利用したりする。縮小画像の数が位置画面に表示できないほど多い場合は、ウィンドウをスクロールしたりページを切り替えることができる。また、検索機能を用いて画像自体の持つ情報や画像に付与された情報からユーザの指定したキーワード等を持つ画像を検索することもできる。
【０００４】
また、特開平８−２４９３５２号に示される装置では、検索用の特徴量を表示のＸＹ軸に設定することによって設定された特徴量に基づいて類似の画像を抽出して表示している。この装置に於いては、類似の画像が一覧できるため比較ながらより好みにあった画像を選択することができる。
【０００５】
【発明が解決しようとする課題】
ところで、実際に画像を探す場合に於いては、ユーザが所望する画像を予め意図しているとは限らず、例えば、風景の写真を見ながら山の写真が気に入り、更に山の写真を見ていると雪山が気に入る、というように、画像を見ながら要求を固めていくことがある。
【０００６】
また、例えば、最初友人と写った写真を見ており、その友人と写っている別の写真を見たくなり、更にその友人と移っている別の写真を見てその場所で撮った他の写真を見たくなる、というように、画像を探していく過程で明確な要求が無く、関連する画像を連想的に探していくということもある。
【０００７】
これらの状況に於いては、ユーザは自分の要求を明確にシステムに伝えることが困難であるため、従来のキーワード等による検索は効果的とは言えない。また、特開平８−２４９３５２号に示される装置では類似の画像から目的とする画像を決定することができるが、類似画像の検索のために特徴量を設定する必要があるため、同様の問題があった。
【０００８】
本発明の目的は、ユーザが漠然とした要求しか持っていない時に画像を連想的に検索することのできる方法を提供することである。
【０００９】
【課題を解決するための手段】
本発明は、上記課題を解決するために、次のように構成している。
【００１０】
この発明（請求項１）に係る画像検索方法によれば、記憶装置に複数の画像及び各画像に付随した情報が記憶され、前記記憶装置から画像を検索し表示する画像検索方法であって、前記記憶装置から任意の画像を主画像として選択し、主表示領域に表示する主画像表示ステップと、前記主画像に付随した情報を取り出す主画像付随情報取り出しステップと、取り出された主画像付随情報と、記憶装置に記憶された主画像以外の画像付随情報との関連度を計算する関連度計算ステップと、計算された付随情報の関連度の順に応じて、対応する画像を副画像として副表示領域に表示する副画像表示ステップと、前記副画像から所望の画像を選択し、該選択した副画像を新たな主画像に置き換える主画像選択ステップと、前記主画像選択ステップにて置き換えた主画像に付随した情報を取り出し、取り出された主画像付随情報と、記憶装置に記憶された該主画像以外の画像付随情報との関連度を計算し、計算された付随情報の関連度の順に応じて、対応する画像を新たな副画像として副表示領域に表示する副画像更新ステップとを含むことによって上記の目的を達成する。
【００１１】
この発明（請求項２）に係る画像検索方法によれば、前記関連度計算ステップにより算出された主画像との関連度に応じて色を計算する色計算ステップを備え、前記副画像表示ステップが、当該色計算ステップにより算出された色を目印として各副画像に併せて表示してなることによって上記の目的を達成する。
【００１２】
この発明（請求項３）に係る画像検索方法によれば、前記関連度計算ステップにより算出された主画像との関連度に応じて表示座標を計算する表示座標計算ステップを備え、前記副画像表示ステップが、当該表示座標計算ステップにより算出された表示座標に応じて各副画像を表示してなることによって上記の目的を達成する。
【００１３】
この発明（請求項４）に係る画像検索方法によれば、前記関連度計算ステップにより算出された主画像との関連度に応じて表示サイズを計算する表示サイズ計算ステップを備え、前記副画像表示ステップが、当該表示サイズ計算ステップにより算出されたサイズに応じて各副画像を表示してなることによって上記の目的を達成する。
【００１４】
この発明（請求項５）に係る画像検索方法によれば、前記副画像表示ステップが、前記関連度計算ステップにより算出された主画像との関連度に応じた副画像に加え、ランダムに選択した副画像も併せて表示してなることによって上記の目的を達成する。
【００１５】
この発明（請求項６）に係る画像検索方法によれば、前記副表示領域に表示する副画像の数を設定する副画像数設定ステップを備え、前記副画像表示ステップが、当該副画像数設定ステップにより設定された数に応じた大きさで各副画像を表示してなることによって上記の目的を達成する。
【００１６】
この発明（請求項７）に係る画像検索方法は、前記関連度計算ステップにより算出された主画像との関連度に応じて環状のリストを計算する環状リスト計算ステップと、当該環状リスト計算ステップにより算出された環状リスト中の任意の位置を原点画像位置として記憶装置に記憶する原点画像位置記憶ステップと、を備え、前記副画像表示ステップが、前記環状リスト中の原点画像位置から主画像との関連度の順に応じて各副画像を表示してなることによって上記の目的を達成する。
【００１７】
この発明（請求項８）に係る画像検索方法は、前記原点画像位置を一定期間毎に環状リスト中の次の位置に更新する原点画像更新ステップと、を備え、副表示領域に表示される画像を一定期間毎に移動させてなることによって上記の目的を達成する。
【００１８】
この発明（請求項９）に係る画像検索方法は、前記主表示領域に表示された画像を主画像更新履歴として順次、前記記憶装置に記憶する主表示領域履歴記憶ステップと、前記主画像更新履歴に記憶された画像を主表示領域又は副表示領域に表示する主画像更新履歴画像表示ステップとを、備え、前記主画像更新履歴画像表示ステップが、任意のタイミングで前記主画像更新履歴に記憶された画像を表示させてなることによって上記の目的を達成する。
【００１９】
この発明（請求項１０）に係る画像検索方法は、前記関連度計算ステップが、前記主画像更新履歴に記憶された画像の付随情報と、記憶装置に記憶された当該画像以外の画像の付随情報との関連度を計算してなることによって上記の目的を達成する。
【００２０】
この発明（請求項１１）に係る画像検索方法は、前記主表示領域又は副表示領域に表示された所望の画像を選択して登録画像とする画像登録ステップと、を備えてなることによって上記の目的を達成する。
【００２１】
この発明（請求項１２）に係る画像検索方法は、前記登録画像を、前記副表示領域の一部又は登録画像表示領域に表示する登録画像表示ステップと、を備えてなることことによって上記の目的を達成する。
【００２２】
この発明（請求項１３）に係る画像検索方法は、前記関連度計算ステップが、前記登録画像の付随情報と、前記記憶装置に記憶された画像の付随情報との関連度を計算するものであり、前記登録画像表示ステップは、前記関連度計算ステップで算出された関連度に応じて登録画像を副表示領域の一部又は登録画像表示領域に表示してなることによって上記の目的を達成する。
【００２３】
この発明（請求項１５）に係る画像検索装置は、請求項１乃至１４のいずれかに記載の画像検索方法を用い、記憶手段に多数の画像及び各画像に付随した情報が記憶され、前記記憶手段から画像を検索し表示する画像検索装置であって、前記記憶手段から任意の画像を主画像として選択し、主表示領域に表示する主画像表示手段と、前記主画像に付随した情報を取り出す主画像付随情報取り出し手段と、取り出された主画像付随情報と、記憶装置に記憶された主画像以外の画像付随情報との関連度を計算する関連度計算手段と、計算された付随情報の関連度の順に応じて、対応する画像を副画像として副表示領域に表示する副画像表示手段と、前記副画像から所望の画像を選択し、新たな主画像とする主画像選択手段と、を少なくとも備え、選択された主画像に応じて、副画像が更新されてなることによって上記の目的を達成する。
【００２４】
この発明（請求項１６）に係る記録媒体は、コンピュータを、記憶手段に多数の画像及び各画像に付随した情報が記憶され、前記記憶手段から画像を検索し表示する手段として機能させるための、画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記記憶手段から任意の画像を主画像として選択し、主表示領域に表示する主画像表示手段と、前記主画像に付随した情報を取り出す主画像付随情報取り出し手段と、取り出された主画像付随情報と、記憶装置に記憶された主画像以外の画像付随情報との関連度を計算する関連度計算手段と、計算された付随情報の関連度の順に応じて、対応する画像を副画像として副表示領域に表示する副画像表示手段と、前記副画像から所望の画像を選択し、該選択した副画像を新たな主画像に置き換える主画像選択手段と、前記主画像選択手段にて置き換えた主画像に付随した情報を取り出し、取り出された主画像付随情報と、記憶装置に記憶された該主画像以外の画像付随情報との関連度を計算し、計算された付随情報の関連度の順に応じて、対応する画像を新たな副画像として副表示領域に表示する副画像更新手段と、を実現させるための画像検索プログラムを記録したことによって上記の目的を達成する。
【００２５】
以下、本発明の作用を記載する。
【００２６】
この発明（請求項１、１５、１６）によれば、主表示領域に表示されている画像に関連する画像が副表示領域に選択候補として表示され、副表示領域に表示された画像を選択して主表示領域に表示することによって、新たに主表示領域に表示した画像に関連する画像が副表示領域に表示されるので、関連する画像を見ながら連想的に探すことができる。
【００２７】
この発明（請求項２）によれば、前記主表示領域に表示されている画像と副表示領域に表示されている画像との関連度が色で示されるので、ユーザは直感的に関連の程度を認識することができる。
【００２８】
この発明（請求項３）によれば、前記主表示領域に表示されている画像と副表示領域に表示されている画像との関連度が副表示領域中の位置で示されるので、ユーザは直感的に関連の程度を認識することができる。
【００２９】
この発明（請求項４）によれば、前記主表示領域に表示されている画像と副表示領域に表示されている画像との関連度が副表示領域中の表示画像の大きさで示されるので、ユーザは直感的に関連の程度を認識することができる。
【００３０】
この発明（請求項５）によれば、前記副表示領域に表示される画像の数をユーザが変更できるので、ユーザは少ない関連画像を大きな画像で見たり小さな画像でより多くの関連画像を見たりすることができ、画像の検索がより容易となる。
【００３１】
この発明（請求項６）によれば、前記主表示領域に表示されている画像に関連の高い画像だけでなく関連の低い画像も併せて副表示領域に表示されるので、ユーザは意図しなかった画像を発見して検索していくことが可能となる。
【００３２】
この発明（請求項７）によれば、前記副表示領域に表示される画像が関連度に応じて環状に並べて表示されるので、ユーザは関連の高い画像から関連の低い画像まで連続的に検索することができる。
【００３３】
この発明（請求項８）によれば、前記副表示領域に表示される画像が自動的に更新されるので、ユーザは自動的に提示される画像から所望の画像に近い画像を見付だして更により所望の画像を検索することができる。
【００３４】
この発明（請求項９）によれば、前記主表示領域に表示された画像の履歴を辿ることができるので、ユーザは一旦検索した画像を再度確認することができる。
【００３５】
この発明（請求項１０）によれば、ユーザは今までに見た画像に関連のある画像を副表示領域に表示するので、ユーザの嗜好に合った画像を提示することができる。
【００３６】
この発明（請求項１１）によれば、ユーザは表示されている画像に対して関心のある画像であることを設定して記憶するので、検索の過程で気になる画像を一旦保留して別の検索を行うことができる。
【００３７】
この発明（請求項１２）によれば、表示されている画像を登録画像表示領域に表示しておくことができるので、ユーザは検索の過程で気になる画像を一旦保留して別の検索を行い、その途中で保留した画像と比較したり、保留した画像から改めて検索を行うことが容易となる。
【００３８】
この発明（請求項１３）によれば、登録された画像と関連のある画像を副表示領域に表示するので、特別な操作をすることなくユーザの嗜好にあった画像を提示することができる。
【００３９】
【発明の実施の形態】
以下、本発明の一実施例を図面を参照して詳細に説明する。
【００４０】
図１は本発明の画像検索方法を実施した画像検索装置のブロック図である。同図において１０１は記憶装置、１０２は演算処理装置、１０３は表示装置、１０４は入力装置である。記憶装置１０１は磁気ディスクや光ディスクやメモリ等で構成される。演算処理装置１０２はＭＰＵ・ＲＡＭ・ＲＯＭ等で構成され、処理の制御及び記憶装置１０１、表示装置１０３、画像選択装置１０４の制御を行う。表示装置１０３はＣＲＴや液晶ディスプレイ等で構成されており、画像や情報の表示を行う。入力装置１０４はキーボードやマウス等の入力装置で構成されており、表示装置に表示された画像を選択するなどの本装置に対する各種の入力を行うために用いる。
【００４１】
画像検索プログラムは、磁気テープ又はＣＤ−ＲＯＭ等の記録媒体によって供給される。画像検索プログラムはコンピュータ本体によって実行され、操作者は表示装置１０３を見ながら、入力装置１０４を操作することによって画像検索を行う。また、画像検索プログラムは他のコンピュータより通信回路を経由し、通信モデムを介してコンピュータ本体に供給されてもよい。
【００４２】
更に、記憶装置１０１には、画像を記憶する画像記憶部１０５と、それぞれの画像に対応して付随する情報を記憶する情報記憶部１０６が設けられている。画像記憶部１０５に記憶される画像は静止画や動画データの他、テレビ放送などのリアルタイムに配送される画像を一旦読み込んだものでもよい。情報記憶部１０６に記憶される情報についても同様にリアルタイムに配送される情報を読み込んだものでも良い。
【００４３】
演算処理装置１０２には、画像記憶部１０５に記憶されている画像のうち主表示領域１１１に表示すべき画像を主画像として管理し主表示領域１１１に該主画像を表示する主画像表示部１０７、画像記憶部１０５に記憶されている画像のうち副表示領域１１２に表示すべき画像を副画像として管理し副表示領域１１２に該副画像を表示する副画像表示部１０８、画像記憶部１０５に記憶されている画像に対して付随する情報を情報記憶部１０６から得る付随情報取得部１０９、付随情報取得部１０９で得られた付随情報間の関連度を計算する関連度計算部１１０が設けられている。
【００４４】
表示領域１０３には、主画像表示部１０７に管理されている主画像が表示される主表示領域１１１、副画像表示部１１２に管理されている副画像が表示される副表示領域１１２が設けられている。
【００４５】
図２は本発明の画像検索方法の処理全体の大まかな流れを示すものである。
【００４６】
まず表示のための初期化処理を行う（ｓｔｅｐ１０１）。ここでは主画像表示部１０７に初期の主画像として表示する画像を、副画像表示部１０８に初期の副画像として表示する画像を、それぞれ設定する。初期の副画像を設定するには後述の副画像選択処理（ｓｔｅｐ１０８）と同じ処理を行ってもよい。次に、主画像表示部１０７に設定されている画像を主画像表示領域１１１に表示する（ｓｔｅｐ１０２）。主画像表示部１０７では表示すべき画像のインデックスを管理し、実際に表示する際に画像の実データを画像記憶部１０５から読み込むようにしてもよい。
【００４７】
次に、副画像表示部１０８に設定されている画像を副画像表示領域１１２に表示する（ｓｔｅｐ１０３）。ｓｔｅｐ１０２と同様に、副画像表示部１０７では表示すべき画像のインデックスを管理し、実際に表示する際に画像の実データを画像記憶部１０５から読み込むようにしてもよい。次に、入力装置１０４によるユーザの入力の処理を行う（ｓｔｅｐ１０４）。
【００４８】
次に、入力処理ｓｔｅｐ１０４において主画像を別の画像に置き換える入力があったかどうかを判定する（ｓｔｅｐ１０５）。主画像が更新されていればｓｔｅｐ１０６に進む。主画像が更新されていなければｓｔｅｐ１０８に進む。ｓｔｅｐ１０５において主画像が更新されていた場合、主画像表示部１０７で管理している主画像をｓｔｅｐ１０４で置き換えられた画像に更新し（ｓｔｅｐ１０６）、副画像表示部１０８で管理している副画像を更新する（ｓｔｅｐ１０７）。副画像選択処理ｓｔｅｐ１０７の詳細は後述する。次に、ユーザが終了処理を行ったかどうかを判定する（ｓｔｅｐ１０８）。終了しない場合はｓｔｅｐ１０２に戻る。
【００４９】
図３は図２におけるｓｔｅｐ１０７の処理を詳細に説明するためのものである。
【００５０】
まず主画像に付随する情報を取得する（ｓｔｅｐ２０１）。ここで付随する情報とは画像記憶部１０５に記憶されている主画像に対応して情報記憶部１０６に記憶されている文字列や数値などの各種情報でもよいし、画像データを処理して得られた情報、例えば画像中に用いられている色調に関する情報や画像中に含まれる物体を認識した結果などでもよい。次に、カウンタｉを１に初期化する（ｓｔｅｐ２０２）。次に、画像記憶部１０５に記憶されている画像のうちｉ番目の画像に付随する情報を取得する（ｓｔｅｐ２０３）。
【００５１】
次に、ｓｔｅｐ２０１で取得された主画像に付随する情報とｓｔｅｐ２０３で取得されたｉ番目の画像に付随する情報との関連度を計算し、ｉの値とセットでリストに記憶する（ｓｔｅｐ２０４）。関連度の計算については後述する。次に、ｉの値に１を加算する（ｓｔｅｐ２０５）。次に、ｉの値が画像記憶部１０５に記憶されている全画像の個数より大きいかどうかを判定する（ｓｔｅｐ２０６）。
【００５２】
ｉが全画像の個数よりも大きければ次の処理に移る。そうでなければｓｔｅｐ２０３〜ｓｔｅｐ２０６を繰り返す。次に、ｓｔｅｐ２０４で記憶された関連度のリストを関連度の大きい順にソートする（ｓｔｅｐ２０７）。この時セットで記憶されているｉの値もソートされるので、この処理により全画像が主画像に関連する順にソートされることになる。次に、ｓｔｅｐ２０７でソートされた順に対応する画像を副画像表示部に設定する（ｓｔｅｐ２０８）。ここで設定する画像は副画像表示部に表示される画像の個数だけ設定しても良いし、後の表示個数の変更のためにすべての画像を設定するようにしても良い。
【００５３】
次に図４〜図８を参照して本発明の画像検索方法を用いた検索例を示す。
【００５４】
図４は表示画面の一例を示した図である。表示画面は主表示領域１１１と副表示領域１１２から構成される。主表示領域１１１には現在ユーザが着目している画像が大きく表示されている。副表示領域１１２には主表示領域１１１に表示されている画像に関連する画像が、この図では６つ表示されている。
【００５５】
図５は別の表示画面の一例を示した図である。図４と同様に表示画面は主表示領域１１１と副表示領域１１２から構成される。この例では副表示領域１１２は主表示領域１１１の周囲に配置されており、１２の主表示領域１１１に表示されている画像に関連する画像が表示されている。
【００５６】
図４あるいは図５において副表示領域１１２に表示される画像に、主表示領域に表示されている画像との関連度を表す数値を併せて表示しても良い。
【００５７】
図６〜図８は図４の状態から関連する画像を検索する操作の一例を示すものである。
【００５８】
まず入力装置１０４を用いて副表示領域１１２に表示されている画像の中から興味のある画像を選択する（図６）。このとき副表示領域１１２に興味のある画像が表示されていなければ表示切り替えを行って別の画像が副表示領域１１２に表示されるようにすればよい。
【００５９】
次に選択した画像を主表示領域１１１に移動させる（図７）。この操作は一般的に「ｄｒａｇ＆ｄｒｏｐ」として知られる操作である。
【００６０】
以上の操作の結果、図２におけるｓｔｅｐ１０５にて主画像が変更されたと判断され、ｓｔｅｐ１０６およびｓｔｅｐ１０７の処理により主画像表示領域１１１には図６で選択された画像が表示され、副画像表示領域１１２には新たに主画像表示領域１１１に表示された画像に関連する画像が表示される（図８）。
【００６１】
画像の選択や主画像の更新操作は現在の選択画像を示す目印と選択画像を変更するカーソル移動キーと主画像の更新を指示する操作ボタンによる操作でもよい。
【００６２】
図９は情報記憶部１０６に記憶されている、それぞれの画像に付随する情報の例を示すものである。以下図９を参照して関連度計算部１１０における図３のｓｔｅｐ２０４での関連度の計算の一例を示す。
【００６３】
図９では、画像記憶部１０５に記憶されているそれぞれの画像に付せられた管理番号（ＩＤ）、画像の内容を表すキーワード、画像を撮影した日時、などがセットで記憶されている。
【００６４】
図９においてキーワードのみを使用して関連度を計算する例を示す。関連度αを以下の式で算出するとする。
【００６５】
αi,j ＝ Ｎshared ／ Ｎunique
ここで、αi,jはｉ番目とｊ番目との関連度、Ｎsharedはｉ番目とｊ番目で両方に含まれるキーワードの個数、Ｎuniqueはｉ番目とｊ番目に含まれるキーワードの全種類の個数、であり、０≦αi,j≦１となる。例えばＩＤ＝１と４の場合、ｉ番目とｊ番目で両方に含まれるキーワードは｛砂丘，青空｝なのでＮshared＝２、ｉ番目とｊ番目に含まれるキーワードの種類は｛海岸，砂丘，人々，青空，駱駝｝なのでＮunique＝５となり、α1,5＝２／５＝０．４となる。
【００６６】
以上の例ではキーワードのみを関連度の計算に使用したが、この他にも撮影日時を数値化して差に定数を乗じた値を関連度に加えてもよい。また、これら以外の数値データを関連度の算出に加味することも可能であるし、キーワードの比較による関連度の計算においてキーワード間の意味の近さを数値化して表現したテーブルを用意しておき、それを参照して関連度を計算することも可能である。また、複数のデータ種を用いて関連度の計算を行う際に、データ種毎に関連度に寄与する度合いを設定しておいてもよい。この度合いをユーザが設定できるようにすれば、例えば画像の内容を重視するように設定したり、撮影した時刻を重視するように設定するなど、状況に応じて関連画像を探すためにどのようなデータの種類を重視するかを設定できることになる。
【００６７】
図１０は請求項２の本発明の表示画面の一例を示した図である。この図では副表示領域１１２に表示される画像の周囲に関連度に応じた色の枠２０１が表示されている。例えば０≦α≦１の関連度αに対して、赤色成分Ｃr、緑色成分Ｃg、青色成分Ｃbが
Ｃr＝Ｃg＝Ｃb＝１−α
となるようにすると関連度の高いほど黒く、低いほど白い枠となる。
【００６８】
図１１は請求項３の本発明の表示画面の一例を示した図である。この図では副表示領域１１２は関連度を位置で表しており、位置に応じた関連度を示すための目印２０２、表示される関連度の範囲を制御するためのスライダ２０３が表示されている。目印２０２やスライダ２０３は一般的なＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒ Ｉｎｔｅｒｆａｃｅ）部品である。副表示領域１１２に表示される画像はその関連度に応じた位置に表示される。
【００６９】
図１２は請求項４の本発明の表示画面の一例を示した図である。この図では副表示領域１１２に表示される画像は関連度の順位に応じて大きさを変えて表示している。
【００７０】
図１３は請求項７の本発明の表示画面の一例を示した図である。この図では副表示領域１１２に表示される画像は「コ」の字型に配置されている。ここで、副表示領域１１２に表示されるべき画像は図１４の点線で示すように仮想的に環状のリストをなすように並んでおり、その一部の実線で示す部分が図１３のように実際に表示されていると考える。
【００７１】
更に、図１４の環状に配置される副表示領域１１２の一方の端が主表示領域１１１に表示されている画像に関連度の高い画像、その反対の端が関連度の低い画像が配置されるようにし、ユーザの操作によりこの環状のリストを回すようにして表示される範囲にある画像を変更することによって、ユーザは関連の高い画像から低い画像までを直感的に一覧することができる。
【００７２】
この際、各画像には図１０のように関連度に応じた色の枠を表示すればより直感的に一覧することが可能となる。また、この環状のリストが一定時間毎に回るように表示される範囲にある画像を自動的に変更するとユーザは自ら操作することなく気に入った画像が表示されたときに図６〜図８で説明したのと同様の操作を行うことで関連する画像を辿るように探していくことができる。
【００７３】
図１５は本発明の画像検索方法のもう一つの実施例のブロック図である。図１に加え、記憶装置１０１には、登録された画像を記憶する登録画像記憶部１１３が、演算処理装置１０２には、登録画像記憶部１１３に記憶された画像を副表示領域１１２に表示する登録画像表示部１１４が、それぞれ設けられている。
【００７４】
図１６は本発明の画像検索方法のもう一つの実施例の処理全体の大まかな流れを示すものである。
【００７５】
ｓｔｅｐ３０１〜ｓｔｅｐ３０７の処理は図２におけるｓｔｅｐ１０１〜ｓｔｅｐ１０７の処理とそれぞれ同じである。
【００７６】
次に、入力処理ｓｔｅｐ３０４において主画像ないしは副画像のうちいづれかを選択して登録画像に加えるための入力があったかどうかを判定する（ｓｔｅｐ３０８）。登録画像に加えるための入力があればｓｔｅｐ３０９に進む。なければｓｔｅｐ３１０に進む。ｓｔｅｐ３０８において登録画像に加えるための入力があった場合、選択された画像を登録画像記憶部１１３に記憶して登録画像表示部１１４により副表示領域の一部に登録画像を表示し（ｓｔｅｐ３０９）。次に副画像表示部１０８で管理している副画像を更新する（ｓｔｅｐ３０７）。
【００７７】
次に、入力処理ｓｔｅｐ３０４において副画像表示領域１１２に表示されている登録画像のうちいづれかを選択して登録画像を解除する入力があったかどうかを判定する（ｓｔｅｐ３１０）。登録画像を解除するための入力があればｓｔｅｐ３１１に進む。なければｓｔｅｐ３１２に進む。ｓｔｅｐ３１０において登録画像を解除するための入力があった場合、選択された画像を登録画像記憶部１１３から解除して登録画像表示部１１４により副表示領域の一部に表示される登録画像を更新し（ｓｔｅｐ３１１）。次に副画像表示部１０８で管理している副画像を更新する（ｓｔｅｐ３０７）。
【００７８】
図１７〜図２１を用いて動作例を説明する。図１７の状態で、登録ボタンを押すなどの操作によってマウスカーソル１０４が指し示している画像を登録すると、図１８のように副画像表示領域１０２の一部に登録画像３０１が登録画像であることを示す枠つきで表示される。同様の操作を繰り返すと図１９のように順次登録画像３０１が追加される。この状態で図２０のように主画像１１１を置き換える操作を行うと、図２１のように登録画像３０１以外の副画像表示領域１１２に表示される画像が更新される。
【００７９】
【発明の効果】
以上のように、本発明の画像検索方法によれば、注目する画像に関連する画像が併せて表示され、その中から気に入った画像を探したり、更にその気に入った画像を主画像に置き換えると関連する画像も更新されていくので、検索したい画像が明確でない場合でも気に入った画像を辿るようにして所望の画像を検索することができる。
【００８０】
本発明はまた、主画像に関連する度合いを色や表示位置や画像の大きさで示すことによって、どの程度の関連があるのかをユーザは直感的に知ることができる。
【００８１】
本発明はまた、主画像に関連する画像に加えてランダムに選択された画像も併せて表示することによって、ユーザの予期しなかった画像から気に入った画像を探し出す可能性があるという機能を提供できる。
【００８２】
本発明はまた、副表示領域に表示する画像の数を変更することによって、表示される主画像に関連する画像の数を変更できるので、沢山の関連画像を小さく表示して多くの中から探し、ある程度絞り込んでから関連画像を少なくして大きく表示して内容を確認することができる。
【００８３】
本発明はまた、関連する画像を環状に並べて表示することによって、関連画像を直感的に探すことができ、更に環状に並べられた関連画像を回転させるように更新していくことで、ユーザは自ら操作しなくても気に入った画像が表示されたらそれを取り出して更に関連画像を探すことができる。
【００８４】
本発明はまた、表示されている画像を選択して登録し登録された画像を表示しておくことによって、検索の途中で気になった画像を残しておいてあとで参照することができる。
【００８５】
本発明はまた、主画像表示領域に表示された画像を順次記憶しておき後でその更新履歴を確認することができるので、一旦見た画像を後で呼び出すことが容易になる。
【００８６】
本発明はまた、登録された関心のある画像や、一旦登録保持された画像や、主画像に表示された画像に関連する画像を併せて表示することによって、ユーザの興味のある画像に関連する画像をユーザに提示することができる。
【図面の簡単な説明】
【図１】本発明の一実施例のブロック図である。
【図２】本発明の一実施例の処理全体を示すフローチャートである。
【図３】本発明の一実施例で処理の詳細を示すフローチャートである。
【図４】本発明の一実施例の表示例を示す図である。
【図５】本発明の一実施例の表示例を示す図である。
【図６】本発明の一実施例の操作例を示す図である。
【図７】本発明の一実施例の操作例を示す図である。
【図８】本発明の一実施例の操作例を示す図である。
【図９】本発明の一実施例での画像に付随する情報の例を示す図である。
【図１０】本発明の一実施例の表示例を示す図である。
【図１１】本発明の一実施例の表示例を示す図である。
【図１２】本発明の一実施例の表示例を示す図である。
【図１３】本発明の一実施例の表示例を示す図である。
【図１４】本発明の一実施例の表示例を詳細に説明するための図である。
【図１５】本発明の別の実施例のブロック図である。
【図１６】本発明の別の実施例の処理全体を示すフローチャートである。
【図１７】本発明の別の実施例の操作例を示す図である。
【図１８】本発明の別の実施例の操作例を示す図である。
【図１９】本発明の別の実施例の操作例を示す図である。
【図２０】本発明の別の実施例の操作例を示す図である。
【図２１】本発明の別の実施例の操作例を示す図である。
【図２２】従来の画像検索システムを説明する図である。
【符号の説明】
１０１ 記憶装置
１０２ 演算処理装置
１０３ 表示装置
１０４ 入力装置
１０５ 画像記憶部
１０６ 情報記憶部
１０７ 主画像表示部
１０８ 副画像表示部
１０９ 付随情報取得部
１１０ 関連度計算部
１１１ 主表示領域
１１２ 副表示領域
１１３ 登録画像記憶部
１１４ 登録画像表示部
２０１ 関連度に応じた色の枠
２０２ 関連度を示す目印
２０３ スライダ
３０１ 登録画像
【発明の属する技術分野】
本発明は、多数の画像からユーザの嗜好に合った画像を検索する画像検索方法に係わり、関連のある画像を辿ることによって所望の画像を効率よく検索することができる画像検索方法および装置および検索プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
例えば、静止画或は動画からなる画像から所望の画像を探すには、すべての画像を見て選び出したり、画像を何らかの尺度、例えば被写体の種類や撮影日時や撮影時の条件などで分類しておき、所望とする画像の含まれていそうな分類から選び出すなどの作業を行っていた。しかし、画像の数が膨大になると、このような画像の検索作業を人手で行うことは限界があった。
【０００３】
そこで、従来、このような画像の検索を支援するために、コンピュータを利用した画像検索装置が多く提案されている。図２２は、従来の一般的な画像検索システムの例を示す図である。表示画面には記憶されている画像の縮小画像が一覧表示されており、ユーザはその中から所望の画像を探しだして拡大表示したり、別の用途に利用したりする。縮小画像の数が位置画面に表示できないほど多い場合は、ウィンドウをスクロールしたりページを切り替えることができる。また、検索機能を用いて画像自体の持つ情報や画像に付与された情報からユーザの指定したキーワード等を持つ画像を検索することもできる。
【０００４】
また、特開平８−２４９３５２号に示される装置では、検索用の特徴量を表示のＸＹ軸に設定することによって設定された特徴量に基づいて類似の画像を抽出して表示している。この装置に於いては、類似の画像が一覧できるため比較ながらより好みにあった画像を選択することができる。
【０００５】
【発明が解決しようとする課題】
ところで、実際に画像を探す場合に於いては、ユーザが所望する画像を予め意図しているとは限らず、例えば、風景の写真を見ながら山の写真が気に入り、更に山の写真を見ていると雪山が気に入る、というように、画像を見ながら要求を固めていくことがある。
【０００６】
また、例えば、最初友人と写った写真を見ており、その友人と写っている別の写真を見たくなり、更にその友人と移っている別の写真を見てその場所で撮った他の写真を見たくなる、というように、画像を探していく過程で明確な要求が無く、関連する画像を連想的に探していくということもある。
【０００７】
これらの状況に於いては、ユーザは自分の要求を明確にシステムに伝えることが困難であるため、従来のキーワード等による検索は効果的とは言えない。また、特開平８−２４９３５２号に示される装置では類似の画像から目的とする画像を決定することができるが、類似画像の検索のために特徴量を設定する必要があるため、同様の問題があった。
【０００８】
本発明の目的は、ユーザが漠然とした要求しか持っていない時に画像を連想的に検索することのできる方法を提供することである。
【０００９】
【課題を解決するための手段】
本発明は、上記課題を解決するために、次のように構成している。
【００１０】
この発明（請求項１）に係る画像検索方法によれば、記憶装置に複数の画像及び各画像に付随した情報が記憶され、前記記憶装置から画像を検索し表示する画像検索方法であって、前記記憶装置から任意の画像を主画像として選択し、主表示領域に表示する主画像表示ステップと、前記主画像に付随した情報を取り出す主画像付随情報取り出しステップと、取り出された主画像付随情報と、記憶装置に記憶された主画像以外の画像付随情報との関連度を計算する関連度計算ステップと、計算された付随情報の関連度の順に応じて、対応する画像を副画像として副表示領域に表示する副画像表示ステップと、前記副画像から所望の画像を選択し、該選択した副画像を新たな主画像に置き換える主画像選択ステップと、前記主画像選択ステップにて置き換えた主画像に付随した情報を取り出し、取り出された主画像付随情報と、記憶装置に記憶された該主画像以外の画像付随情報との関連度を計算し、計算された付随情報の関連度の順に応じて、対応する画像を新たな副画像として副表示領域に表示する副画像更新ステップとを含むことによって上記の目的を達成する。
【００１１】
この発明（請求項２）に係る画像検索方法によれば、前記関連度計算ステップにより算出された主画像との関連度に応じて色を計算する色計算ステップを備え、前記副画像表示ステップが、当該色計算ステップにより算出された色を目印として各副画像に併せて表示してなることによって上記の目的を達成する。
【００１２】
この発明（請求項３）に係る画像検索方法によれば、前記関連度計算ステップにより算出された主画像との関連度に応じて表示座標を計算する表示座標計算ステップを備え、前記副画像表示ステップが、当該表示座標計算ステップにより算出された表示座標に応じて各副画像を表示してなることによって上記の目的を達成する。
【００１３】
この発明（請求項４）に係る画像検索方法によれば、前記関連度計算ステップにより算出された主画像との関連度に応じて表示サイズを計算する表示サイズ計算ステップを備え、前記副画像表示ステップが、当該表示サイズ計算ステップにより算出されたサイズに応じて各副画像を表示してなることによって上記の目的を達成する。
【００１４】
この発明（請求項５）に係る画像検索方法によれば、前記副画像表示ステップが、前記関連度計算ステップにより算出された主画像との関連度に応じた副画像に加え、ランダムに選択した副画像も併せて表示してなることによって上記の目的を達成する。
【００１５】
この発明（請求項６）に係る画像検索方法によれば、前記副表示領域に表示する副画像の数を設定する副画像数設定ステップを備え、前記副画像表示ステップが、当該副画像数設定ステップにより設定された数に応じた大きさで各副画像を表示してなることによって上記の目的を達成する。
【００１６】
この発明（請求項７）に係る画像検索方法は、前記関連度計算ステップにより算出された主画像との関連度に応じて環状のリストを計算する環状リスト計算ステップと、当該環状リスト計算ステップにより算出された環状リスト中の任意の位置を原点画像位置として記憶装置に記憶する原点画像位置記憶ステップと、を備え、前記副画像表示ステップが、前記環状リスト中の原点画像位置から主画像との関連度の順に応じて各副画像を表示してなることによって上記の目的を達成する。
【００１７】
この発明（請求項８）に係る画像検索方法は、前記原点画像位置を一定期間毎に環状リスト中の次の位置に更新する原点画像更新ステップと、を備え、副表示領域に表示される画像を一定期間毎に移動させてなることによって上記の目的を達成する。
【００１８】
この発明（請求項９）に係る画像検索方法は、前記主表示領域に表示された画像を主画像更新履歴として順次、前記記憶装置に記憶する主表示領域履歴記憶ステップと、前記主画像更新履歴に記憶された画像を主表示領域又は副表示領域に表示する主画像更新履歴画像表示ステップとを、備え、前記主画像更新履歴画像表示ステップが、任意のタイミングで前記主画像更新履歴に記憶された画像を表示させてなることによって上記の目的を達成する。
【００１９】
この発明（請求項１０）に係る画像検索方法は、前記関連度計算ステップが、前記主画像更新履歴に記憶された画像の付随情報と、記憶装置に記憶された当該画像以外の画像の付随情報との関連度を計算してなることによって上記の目的を達成する。
【００２０】
この発明（請求項１１）に係る画像検索方法は、前記主表示領域又は副表示領域に表示された所望の画像を選択して登録画像とする画像登録ステップと、を備えてなることによって上記の目的を達成する。
【００２１】
この発明（請求項１２）に係る画像検索方法は、前記登録画像を、前記副表示領域の一部又は登録画像表示領域に表示する登録画像表示ステップと、を備えてなることことによって上記の目的を達成する。
【００２２】
この発明（請求項１３）に係る画像検索方法は、前記関連度計算ステップが、前記登録画像の付随情報と、前記記憶装置に記憶された画像の付随情報との関連度を計算するものであり、前記登録画像表示ステップは、前記関連度計算ステップで算出された関連度に応じて登録画像を副表示領域の一部又は登録画像表示領域に表示してなることによって上記の目的を達成する。
【００２３】
この発明（請求項１５）に係る画像検索装置は、請求項１乃至１４のいずれかに記載の画像検索方法を用い、記憶手段に多数の画像及び各画像に付随した情報が記憶され、前記記憶手段から画像を検索し表示する画像検索装置であって、前記記憶手段から任意の画像を主画像として選択し、主表示領域に表示する主画像表示手段と、前記主画像に付随した情報を取り出す主画像付随情報取り出し手段と、取り出された主画像付随情報と、記憶装置に記憶された主画像以外の画像付随情報との関連度を計算する関連度計算手段と、計算された付随情報の関連度の順に応じて、対応する画像を副画像として副表示領域に表示する副画像表示手段と、前記副画像から所望の画像を選択し、新たな主画像とする主画像選択手段と、を少なくとも備え、選択された主画像に応じて、副画像が更新されてなることによって上記の目的を達成する。
【００２４】
この発明（請求項１６）に係る記録媒体は、コンピュータを、記憶手段に多数の画像及び各画像に付随した情報が記憶され、前記記憶手段から画像を検索し表示する手段として機能させるための、画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記記憶手段から任意の画像を主画像として選択し、主表示領域に表示する主画像表示手段と、前記主画像に付随した情報を取り出す主画像付随情報取り出し手段と、取り出された主画像付随情報と、記憶装置に記憶された主画像以外の画像付随情報との関連度を計算する関連度計算手段と、計算された付随情報の関連度の順に応じて、対応する画像を副画像として副表示領域に表示する副画像表示手段と、前記副画像から所望の画像を選択し、該選択した副画像を新たな主画像に置き換える主画像選択手段と、前記主画像選択手段にて置き換えた主画像に付随した情報を取り出し、取り出された主画像付随情報と、記憶装置に記憶された該主画像以外の画像付随情報との関連度を計算し、計算された付随情報の関連度の順に応じて、対応する画像を新たな副画像として副表示領域に表示する副画像更新手段と、を実現させるための画像検索プログラムを記録したことによって上記の目的を達成する。
【００２５】
以下、本発明の作用を記載する。
【００２６】
この発明（請求項１、１５、１６）によれば、主表示領域に表示されている画像に関連する画像が副表示領域に選択候補として表示され、副表示領域に表示された画像を選択して主表示領域に表示することによって、新たに主表示領域に表示した画像に関連する画像が副表示領域に表示されるので、関連する画像を見ながら連想的に探すことができる。
【００２７】
この発明（請求項２）によれば、前記主表示領域に表示されている画像と副表示領域に表示されている画像との関連度が色で示されるので、ユーザは直感的に関連の程度を認識することができる。
【００２８】
この発明（請求項３）によれば、前記主表示領域に表示されている画像と副表示領域に表示されている画像との関連度が副表示領域中の位置で示されるので、ユーザは直感的に関連の程度を認識することができる。
【００２９】
この発明（請求項４）によれば、前記主表示領域に表示されている画像と副表示領域に表示されている画像との関連度が副表示領域中の表示画像の大きさで示されるので、ユーザは直感的に関連の程度を認識することができる。
【００３０】
この発明（請求項５）によれば、前記副表示領域に表示される画像の数をユーザが変更できるので、ユーザは少ない関連画像を大きな画像で見たり小さな画像でより多くの関連画像を見たりすることができ、画像の検索がより容易となる。
【００３１】
この発明（請求項６）によれば、前記主表示領域に表示されている画像に関連の高い画像だけでなく関連の低い画像も併せて副表示領域に表示されるので、ユーザは意図しなかった画像を発見して検索していくことが可能となる。
【００３２】
この発明（請求項７）によれば、前記副表示領域に表示される画像が関連度に応じて環状に並べて表示されるので、ユーザは関連の高い画像から関連の低い画像まで連続的に検索することができる。
【００３３】
この発明（請求項８）によれば、前記副表示領域に表示される画像が自動的に更新されるので、ユーザは自動的に提示される画像から所望の画像に近い画像を見付だして更により所望の画像を検索することができる。
【００３４】
この発明（請求項９）によれば、前記主表示領域に表示された画像の履歴を辿ることができるので、ユーザは一旦検索した画像を再度確認することができる。
【００３５】
この発明（請求項１０）によれば、ユーザは今までに見た画像に関連のある画像を副表示領域に表示するので、ユーザの嗜好に合った画像を提示することができる。
【００３６】
この発明（請求項１１）によれば、ユーザは表示されている画像に対して関心のある画像であることを設定して記憶するので、検索の過程で気になる画像を一旦保留して別の検索を行うことができる。
【００３７】
この発明（請求項１２）によれば、表示されている画像を登録画像表示領域に表示しておくことができるので、ユーザは検索の過程で気になる画像を一旦保留して別の検索を行い、その途中で保留した画像と比較したり、保留した画像から改めて検索を行うことが容易となる。
【００３８】
この発明（請求項１３）によれば、登録された画像と関連のある画像を副表示領域に表示するので、特別な操作をすることなくユーザの嗜好にあった画像を提示することができる。
【００３９】
【発明の実施の形態】
以下、本発明の一実施例を図面を参照して詳細に説明する。
【００４０】
図１は本発明の画像検索方法を実施した画像検索装置のブロック図である。同図において１０１は記憶装置、１０２は演算処理装置、１０３は表示装置、１０４は入力装置である。記憶装置１０１は磁気ディスクや光ディスクやメモリ等で構成される。演算処理装置１０２はＭＰＵ・ＲＡＭ・ＲＯＭ等で構成され、処理の制御及び記憶装置１０１、表示装置１０３、画像選択装置１０４の制御を行う。表示装置１０３はＣＲＴや液晶ディスプレイ等で構成されており、画像や情報の表示を行う。入力装置１０４はキーボードやマウス等の入力装置で構成されており、表示装置に表示された画像を選択するなどの本装置に対する各種の入力を行うために用いる。
【００４１】
画像検索プログラムは、磁気テープ又はＣＤ−ＲＯＭ等の記録媒体によって供給される。画像検索プログラムはコンピュータ本体によって実行され、操作者は表示装置１０３を見ながら、入力装置１０４を操作することによって画像検索を行う。また、画像検索プログラムは他のコンピュータより通信回路を経由し、通信モデムを介してコンピュータ本体に供給されてもよい。
【００４２】
更に、記憶装置１０１には、画像を記憶する画像記憶部１０５と、それぞれの画像に対応して付随する情報を記憶する情報記憶部１０６が設けられている。画像記憶部１０５に記憶される画像は静止画や動画データの他、テレビ放送などのリアルタイムに配送される画像を一旦読み込んだものでもよい。情報記憶部１０６に記憶される情報についても同様にリアルタイムに配送される情報を読み込んだものでも良い。
【００４３】
演算処理装置１０２には、画像記憶部１０５に記憶されている画像のうち主表示領域１１１に表示すべき画像を主画像として管理し主表示領域１１１に該主画像を表示する主画像表示部１０７、画像記憶部１０５に記憶されている画像のうち副表示領域１１２に表示すべき画像を副画像として管理し副表示領域１１２に該副画像を表示する副画像表示部１０８、画像記憶部１０５に記憶されている画像に対して付随する情報を情報記憶部１０６から得る付随情報取得部１０９、付随情報取得部１０９で得られた付随情報間の関連度を計算する関連度計算部１１０が設けられている。
【００４４】
表示領域１０３には、主画像表示部１０７に管理されている主画像が表示される主表示領域１１１、副画像表示部１１２に管理されている副画像が表示される副表示領域１１２が設けられている。
【００４５】
図２は本発明の画像検索方法の処理全体の大まかな流れを示すものである。
【００４６】
まず表示のための初期化処理を行う（ｓｔｅｐ１０１）。ここでは主画像表示部１０７に初期の主画像として表示する画像を、副画像表示部１０８に初期の副画像として表示する画像を、それぞれ設定する。初期の副画像を設定するには後述の副画像選択処理（ｓｔｅｐ１０８）と同じ処理を行ってもよい。次に、主画像表示部１０７に設定されている画像を主画像表示領域１１１に表示する（ｓｔｅｐ１０２）。主画像表示部１０７では表示すべき画像のインデックスを管理し、実際に表示する際に画像の実データを画像記憶部１０５から読み込むようにしてもよい。
【００４７】
次に、副画像表示部１０８に設定されている画像を副画像表示領域１１２に表示する（ｓｔｅｐ１０３）。ｓｔｅｐ１０２と同様に、副画像表示部１０７では表示すべき画像のインデックスを管理し、実際に表示する際に画像の実データを画像記憶部１０５から読み込むようにしてもよい。次に、入力装置１０４によるユーザの入力の処理を行う（ｓｔｅｐ１０４）。
【００４８】
次に、入力処理ｓｔｅｐ１０４において主画像を別の画像に置き換える入力があったかどうかを判定する（ｓｔｅｐ１０５）。主画像が更新されていればｓｔｅｐ１０６に進む。主画像が更新されていなければｓｔｅｐ１０８に進む。ｓｔｅｐ１０５において主画像が更新されていた場合、主画像表示部１０７で管理している主画像をｓｔｅｐ１０４で置き換えられた画像に更新し（ｓｔｅｐ１０６）、副画像表示部１０８で管理している副画像を更新する（ｓｔｅｐ１０７）。副画像選択処理ｓｔｅｐ１０７の詳細は後述する。次に、ユーザが終了処理を行ったかどうかを判定する（ｓｔｅｐ１０８）。終了しない場合はｓｔｅｐ１０２に戻る。
【００４９】
図３は図２におけるｓｔｅｐ１０７の処理を詳細に説明するためのものである。
【００５０】
まず主画像に付随する情報を取得する（ｓｔｅｐ２０１）。ここで付随する情報とは画像記憶部１０５に記憶されている主画像に対応して情報記憶部１０６に記憶されている文字列や数値などの各種情報でもよいし、画像データを処理して得られた情報、例えば画像中に用いられている色調に関する情報や画像中に含まれる物体を認識した結果などでもよい。次に、カウンタｉを１に初期化する（ｓｔｅｐ２０２）。次に、画像記憶部１０５に記憶されている画像のうちｉ番目の画像に付随する情報を取得する（ｓｔｅｐ２０３）。
【００５１】
次に、ｓｔｅｐ２０１で取得された主画像に付随する情報とｓｔｅｐ２０３で取得されたｉ番目の画像に付随する情報との関連度を計算し、ｉの値とセットでリストに記憶する（ｓｔｅｐ２０４）。関連度の計算については後述する。次に、ｉの値に１を加算する（ｓｔｅｐ２０５）。次に、ｉの値が画像記憶部１０５に記憶されている全画像の個数より大きいかどうかを判定する（ｓｔｅｐ２０６）。
【００５２】
ｉが全画像の個数よりも大きければ次の処理に移る。そうでなければｓｔｅｐ２０３〜ｓｔｅｐ２０６を繰り返す。次に、ｓｔｅｐ２０４で記憶された関連度のリストを関連度の大きい順にソートする（ｓｔｅｐ２０７）。この時セットで記憶されているｉの値もソートされるので、この処理により全画像が主画像に関連する順にソートされることになる。次に、ｓｔｅｐ２０７でソートされた順に対応する画像を副画像表示部に設定する（ｓｔｅｐ２０８）。ここで設定する画像は副画像表示部に表示される画像の個数だけ設定しても良いし、後の表示個数の変更のためにすべての画像を設定するようにしても良い。
【００５３】
次に図４〜図８を参照して本発明の画像検索方法を用いた検索例を示す。
【００５４】
図４は表示画面の一例を示した図である。表示画面は主表示領域１１１と副表示領域１１２から構成される。主表示領域１１１には現在ユーザが着目している画像が大きく表示されている。副表示領域１１２には主表示領域１１１に表示されている画像に関連する画像が、この図では６つ表示されている。
【００５５】
図５は別の表示画面の一例を示した図である。図４と同様に表示画面は主表示領域１１１と副表示領域１１２から構成される。この例では副表示領域１１２は主表示領域１１１の周囲に配置されており、１２の主表示領域１１１に表示されている画像に関連する画像が表示されている。
【００５６】
図４あるいは図５において副表示領域１１２に表示される画像に、主表示領域に表示されている画像との関連度を表す数値を併せて表示しても良い。
【００５７】
図６〜図８は図４の状態から関連する画像を検索する操作の一例を示すものである。
【００５８】
まず入力装置１０４を用いて副表示領域１１２に表示されている画像の中から興味のある画像を選択する（図６）。このとき副表示領域１１２に興味のある画像が表示されていなければ表示切り替えを行って別の画像が副表示領域１１２に表示されるようにすればよい。
【００５９】
次に選択した画像を主表示領域１１１に移動させる（図７）。この操作は一般的に「ｄｒａｇ＆ｄｒｏｐ」として知られる操作である。
【００６０】
以上の操作の結果、図２におけるｓｔｅｐ１０５にて主画像が変更されたと判断され、ｓｔｅｐ１０６およびｓｔｅｐ１０７の処理により主画像表示領域１１１には図６で選択された画像が表示され、副画像表示領域１１２には新たに主画像表示領域１１１に表示された画像に関連する画像が表示される（図８）。
【００６１】
画像の選択や主画像の更新操作は現在の選択画像を示す目印と選択画像を変更するカーソル移動キーと主画像の更新を指示する操作ボタンによる操作でもよい。
【００６２】
図９は情報記憶部１０６に記憶されている、それぞれの画像に付随する情報の例を示すものである。以下図９を参照して関連度計算部１１０における図３のｓｔｅｐ２０４での関連度の計算の一例を示す。
【００６３】
図９では、画像記憶部１０５に記憶されているそれぞれの画像に付せられた管理番号（ＩＤ）、画像の内容を表すキーワード、画像を撮影した日時、などがセットで記憶されている。
【００６４】
図９においてキーワードのみを使用して関連度を計算する例を示す。関連度αを以下の式で算出するとする。
【００６５】
αi,j ＝ Ｎshared ／ Ｎunique
ここで、αi,jはｉ番目とｊ番目との関連度、Ｎsharedはｉ番目とｊ番目で両方に含まれるキーワードの個数、Ｎuniqueはｉ番目とｊ番目に含まれるキーワードの全種類の個数、であり、０≦αi,j≦１となる。例えばＩＤ＝１と４の場合、ｉ番目とｊ番目で両方に含まれるキーワードは｛砂丘，青空｝なのでＮshared＝２、ｉ番目とｊ番目に含まれるキーワードの種類は｛海岸，砂丘，人々，青空，駱駝｝なのでＮunique＝５となり、α1,5＝２／５＝０．４となる。
【００６６】
以上の例ではキーワードのみを関連度の計算に使用したが、この他にも撮影日時を数値化して差に定数を乗じた値を関連度に加えてもよい。また、これら以外の数値データを関連度の算出に加味することも可能であるし、キーワードの比較による関連度の計算においてキーワード間の意味の近さを数値化して表現したテーブルを用意しておき、それを参照して関連度を計算することも可能である。また、複数のデータ種を用いて関連度の計算を行う際に、データ種毎に関連度に寄与する度合いを設定しておいてもよい。この度合いをユーザが設定できるようにすれば、例えば画像の内容を重視するように設定したり、撮影した時刻を重視するように設定するなど、状況に応じて関連画像を探すためにどのようなデータの種類を重視するかを設定できることになる。
【００６７】
図１０は請求項２の本発明の表示画面の一例を示した図である。この図では副表示領域１１２に表示される画像の周囲に関連度に応じた色の枠２０１が表示されている。例えば０≦α≦１の関連度αに対して、赤色成分Ｃr、緑色成分Ｃg、青色成分Ｃbが
Ｃr＝Ｃg＝Ｃb＝１−α
となるようにすると関連度の高いほど黒く、低いほど白い枠となる。
【００６８】
図１１は請求項３の本発明の表示画面の一例を示した図である。この図では副表示領域１１２は関連度を位置で表しており、位置に応じた関連度を示すための目印２０２、表示される関連度の範囲を制御するためのスライダ２０３が表示されている。目印２０２やスライダ２０３は一般的なＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒ Ｉｎｔｅｒｆａｃｅ）部品である。副表示領域１１２に表示される画像はその関連度に応じた位置に表示される。
【００６９】
図１２は請求項４の本発明の表示画面の一例を示した図である。この図では副表示領域１１２に表示される画像は関連度の順位に応じて大きさを変えて表示している。
【００７０】
図１３は請求項７の本発明の表示画面の一例を示した図である。この図では副表示領域１１２に表示される画像は「コ」の字型に配置されている。ここで、副表示領域１１２に表示されるべき画像は図１４の点線で示すように仮想的に環状のリストをなすように並んでおり、その一部の実線で示す部分が図１３のように実際に表示されていると考える。
【００７１】
更に、図１４の環状に配置される副表示領域１１２の一方の端が主表示領域１１１に表示されている画像に関連度の高い画像、その反対の端が関連度の低い画像が配置されるようにし、ユーザの操作によりこの環状のリストを回すようにして表示される範囲にある画像を変更することによって、ユーザは関連の高い画像から低い画像までを直感的に一覧することができる。
【００７２】
この際、各画像には図１０のように関連度に応じた色の枠を表示すればより直感的に一覧することが可能となる。また、この環状のリストが一定時間毎に回るように表示される範囲にある画像を自動的に変更するとユーザは自ら操作することなく気に入った画像が表示されたときに図６〜図８で説明したのと同様の操作を行うことで関連する画像を辿るように探していくことができる。
【００７３】
図１５は本発明の画像検索方法のもう一つの実施例のブロック図である。図１に加え、記憶装置１０１には、登録された画像を記憶する登録画像記憶部１１３が、演算処理装置１０２には、登録画像記憶部１１３に記憶された画像を副表示領域１１２に表示する登録画像表示部１１４が、それぞれ設けられている。
【００７４】
図１６は本発明の画像検索方法のもう一つの実施例の処理全体の大まかな流れを示すものである。
【００７５】
ｓｔｅｐ３０１〜ｓｔｅｐ３０７の処理は図２におけるｓｔｅｐ１０１〜ｓｔｅｐ１０７の処理とそれぞれ同じである。
【００７６】
次に、入力処理ｓｔｅｐ３０４において主画像ないしは副画像のうちいづれかを選択して登録画像に加えるための入力があったかどうかを判定する（ｓｔｅｐ３０８）。登録画像に加えるための入力があればｓｔｅｐ３０９に進む。なければｓｔｅｐ３１０に進む。ｓｔｅｐ３０８において登録画像に加えるための入力があった場合、選択された画像を登録画像記憶部１１３に記憶して登録画像表示部１１４により副表示領域の一部に登録画像を表示し（ｓｔｅｐ３０９）。次に副画像表示部１０８で管理している副画像を更新する（ｓｔｅｐ３０７）。
【００７７】
次に、入力処理ｓｔｅｐ３０４において副画像表示領域１１２に表示されている登録画像のうちいづれかを選択して登録画像を解除する入力があったかどうかを判定する（ｓｔｅｐ３１０）。登録画像を解除するための入力があればｓｔｅｐ３１１に進む。なければｓｔｅｐ３１２に進む。ｓｔｅｐ３１０において登録画像を解除するための入力があった場合、選択された画像を登録画像記憶部１１３から解除して登録画像表示部１１４により副表示領域の一部に表示される登録画像を更新し（ｓｔｅｐ３１１）。次に副画像表示部１０８で管理している副画像を更新する（ｓｔｅｐ３０７）。
【００７８】
図１７〜図２１を用いて動作例を説明する。図１７の状態で、登録ボタンを押すなどの操作によってマウスカーソル１０４が指し示している画像を登録すると、図１８のように副画像表示領域１０２の一部に登録画像３０１が登録画像であることを示す枠つきで表示される。同様の操作を繰り返すと図１９のように順次登録画像３０１が追加される。この状態で図２０のように主画像１１１を置き換える操作を行うと、図２１のように登録画像３０１以外の副画像表示領域１１２に表示される画像が更新される。
【００７９】
【発明の効果】
以上のように、本発明の画像検索方法によれば、注目する画像に関連する画像が併せて表示され、その中から気に入った画像を探したり、更にその気に入った画像を主画像に置き換えると関連する画像も更新されていくので、検索したい画像が明確でない場合でも気に入った画像を辿るようにして所望の画像を検索することができる。
【００８０】
本発明はまた、主画像に関連する度合いを色や表示位置や画像の大きさで示すことによって、どの程度の関連があるのかをユーザは直感的に知ることができる。
【００８１】
本発明はまた、主画像に関連する画像に加えてランダムに選択された画像も併せて表示することによって、ユーザの予期しなかった画像から気に入った画像を探し出す可能性があるという機能を提供できる。
【００８２】
本発明はまた、副表示領域に表示する画像の数を変更することによって、表示される主画像に関連する画像の数を変更できるので、沢山の関連画像を小さく表示して多くの中から探し、ある程度絞り込んでから関連画像を少なくして大きく表示して内容を確認することができる。
【００８３】
本発明はまた、関連する画像を環状に並べて表示することによって、関連画像を直感的に探すことができ、更に環状に並べられた関連画像を回転させるように更新していくことで、ユーザは自ら操作しなくても気に入った画像が表示されたらそれを取り出して更に関連画像を探すことができる。
【００８４】
本発明はまた、表示されている画像を選択して登録し登録された画像を表示しておくことによって、検索の途中で気になった画像を残しておいてあとで参照することができる。
【００８５】
本発明はまた、主画像表示領域に表示された画像を順次記憶しておき後でその更新履歴を確認することができるので、一旦見た画像を後で呼び出すことが容易になる。
【００８６】
本発明はまた、登録された関心のある画像や、一旦登録保持された画像や、主画像に表示された画像に関連する画像を併せて表示することによって、ユーザの興味のある画像に関連する画像をユーザに提示することができる。
【図面の簡単な説明】
【図１】本発明の一実施例のブロック図である。
【図２】本発明の一実施例の処理全体を示すフローチャートである。
【図３】本発明の一実施例で処理の詳細を示すフローチャートである。
【図４】本発明の一実施例の表示例を示す図である。
【図５】本発明の一実施例の表示例を示す図である。
【図６】本発明の一実施例の操作例を示す図である。
【図７】本発明の一実施例の操作例を示す図である。
【図８】本発明の一実施例の操作例を示す図である。
【図９】本発明の一実施例での画像に付随する情報の例を示す図である。
【図１０】本発明の一実施例の表示例を示す図である。
【図１１】本発明の一実施例の表示例を示す図である。
【図１２】本発明の一実施例の表示例を示す図である。
【図１３】本発明の一実施例の表示例を示す図である。
【図１４】本発明の一実施例の表示例を詳細に説明するための図である。
【図１５】本発明の別の実施例のブロック図である。
【図１６】本発明の別の実施例の処理全体を示すフローチャートである。
【図１７】本発明の別の実施例の操作例を示す図である。
【図１８】本発明の別の実施例の操作例を示す図である。
【図１９】本発明の別の実施例の操作例を示す図である。
【図２０】本発明の別の実施例の操作例を示す図である。
【図２１】本発明の別の実施例の操作例を示す図である。
【図２２】従来の画像検索システムを説明する図である。
【符号の説明】
１０１ 記憶装置
１０２ 演算処理装置
１０３ 表示装置
１０４ 入力装置
１０５ 画像記憶部
１０６ 情報記憶部
１０７ 主画像表示部
１０８ 副画像表示部
１０９ 付随情報取得部
１１０ 関連度計算部
１１１ 主表示領域
１１２ 副表示領域
１１３ 登録画像記憶部
１１４ 登録画像表示部
２０１ 関連度に応じた色の枠
２０２ 関連度を示す目印
２０３ スライダ
３０１ 登録画像
Claims (16)
- 記憶装置に複数の画像及び各画像に付随した情報として撮影日時およびキーワードの少なくともいずれか一方が記憶され、前記記憶装置から画像を検索し表示する画像検索方法であって、前記記憶装置から任意の１つの画像を主画像として選択し、主表示領域に表示する主画像表示ステップと、前記主画像に付随した情報を取り出す主画像付随情報取り出しステップと、取り出された主画像付随情報と、記憶装置に記憶された主画像以外の画像付随情報との関連度を計算する関連度計算ステップと、計算された付随情報の関連度の順に応じて、対応する画像を副画像として副表示領域に表示する副画像表示ステップと、前記副画像から所望の画像を選択し、該選択した副画像を新たな主画像に置き換える主画像選択ステップと、前記主画像選択ステップにて置き換えた主画像に付随した情報を取り出し、取り出された主画像付随情報と、記憶装置に記憶された該主画像以外の画像付随情報との関連度を計算し、計算された付随情報の関連度の順に応じて、対応する画像を新たな副画像として副表示領域に表示する副画像更新ステップとを含むことを特徴とする画像検索方法。
- 前記関連度計算ステップにより算出された主画像との関連度に応じて色を計算する色計算ステップを備え、前記副画像表示ステップは、当該色計算ステップにより算出された色を目印として各副画像に併せて表示してなることを特徴とする請求項１に記載の画像検索方法。
- 前記関連度計算ステップにより算出された主画像との関連度に応じて表示座標を計算する表示座標計算ステップを備え、前記副画像表示ステップは、当該表示座標計算ステップにより算出された表示座標に応じて各副画像を表示してなることを特徴とする請求項１、又は２に記載の画像検索方法。
- 前記関連度計算ステップにより算出された主画像との関連度に応じて表示サイズを計算する表示サイズ計算ステップを備え、前記副画像表示ステップは、当該表示サイズ計算ステップにより算出されたサイズに応じて各副画像を表示してなることを特徴とする請求項１乃至３のいずれかに記載の画像検索方法。
- 前記副画像表示ステップは、前記関連度計算ステップにより算出された主画像との関連度に応じた副画像に加え、ランダムに選択した副画像も併せて表示してなることを特徴とする請求項１乃至４のいずれかに記載の画像検索方法。
- 前記副表示領域に表示する副画像の数を設定する副画像数設定ステップを備え、前記副画像表示ステップは、当該副画像数設定ステップにより設定された数に応じた大きさで各副画像を表示してなることを特徴とする請求項１乃至５のいずれかに記載の画像検索方法。
- 前記関連度計算ステップにより算出された主画像との関連度に応じて環状のリストを計算する環状リスト計算ステップと、当該環状リスト計算ステップにより算出された環状リスト中の任意の位置を原点画像位置として記憶装置に記憶する原点画像位置記憶ステップと、を備え、前記副画像表示ステップは、前記環状リスト中の原点画像位置から主画像との関連度の順に応じて各副画像を表示してなることを特徴とする請求項１乃至６のいずれかに記載の画像検索方法。
- 前記原点画像位置を一定期間毎に環状リスト中の次の位置に更新する原点画像更新ステップと、を備え、副表示領域に表示される画像を一定期間毎に移動させてなることを特徴とする請求項７に記載の画像検索方法。
- 前記主表示領域に表示された画像を主画像更新履歴として順次、前記記憶装置に記憶する主表示領域履歴記憶ステップと、前記主画像更新履歴に記憶された画像を主表示領域又は副表示領域に表示する主画像更新履歴画像表示ステップとを、備え、前記主画像更新履歴画像表示ステップは、任意のタイミングで前記主画像更新履歴に記憶された画像を表示させてなることを特徴とする請求項１乃至８のいずれかに記載の画像検索方法。
- 前記関連度計算ステップは、前記主画像更新履歴に記憶された画像の付随情報と、記憶装置に記憶された当該画像以外の画像の付随情報との関連度を計算してなることを特徴とする請求項９に記載の画像検索方法。
- 前記主表示領域又は副表示領域に表示された所望の画像を選択して登録画像とする画像登録ステップと、を備えてなることを特徴とする請求項１乃至１０のいずれかに記載の画像検索方法。
- 前記登録画像を、前記副表示領域の一部又は登録画像表示領域に表示する登録画像表示ステップと、を備えてなることを特徴とする請求項１１に記載の画像検索方法。
- 前記関連度計算ステップは、前記登録画像の付随情報と、前記記憶装置に記憶された画像の付随情報との関連度を計算するものであり、前記登録画像表示ステップは、前記関連度計算ステップで算出された関連度に応じて登録画像を副表示領域の一部又は登録画像表示領域に表示してなることを特徴とする請求項１２に記載の画像検索方法。
- 前記画像の付随情報に日時が含まれることを特徴とする請求項１乃至１３のいずれかに記載の画像検索方法。
- 請求項１乃至１４のいずれかに記載の画像検索方法を用い、記憶手段に多数の画像及び各画像に付随した情報が記憶され、前記記憶手段から画像を検索し表示する画像検索装置であって、前記記憶手段から任意の画像を主画像として選択し、主表示領域に表示する主画像表示手段と、前記主画像に付随した情報を取り出す主画像付随情報取り出し手段と、取り出された主画像付随情報と、記憶装置に記憶された主画像以外の画像付随情報との関連度を計算する関連度計算手段と、計算された付随情報の関連度の順に応じて、対応する画像を副画像として副表示領域に表示する副画像表示手段と、前記副画像から所望の画像を選択し、新たな主画像とする主画像選択手段と、を少なくとも備え、選択された主画像に応じて、副画像が更新されてなることを特徴とする画像検索装置。
- コンピュータを、記憶手段に多数の画像及び各画像に付随した情報として撮影日時およびキーワードの少なくともいずれか一方が記憶され、前記記憶手段から画像を検索し表示する手段として機能させるための、画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体であって、前記記憶手段から任意の１つの画像を主画像として選択し、主表示領域に表示する主画像表示手段と、前記主画像に付随した情報を取り出す主画像付随情報取り出し手段と、取り出された主画像付随情報と、記憶装置に記憶された主画像以外の画像付随情報との関連度を計算する関連度計算手段と、計算された付随情報の関連度の順に応じて、対応する画像を副画像として副表示領域に表示する副画像表示手段と、前記副画像から所望の画像を選択し、該選択した副画像を新たな主画像に置き換える主画像選択手段と、前記主画像選択手段にて置き換えた主画像に付随した情報を取り出し、取り出された主画像付随情報と、記憶装置に記憶された該主画像以外の画像付随情報との関連度を計算し、計算された付随情報の関連度の順に応じて、対応する画像を新たな副画像として副表示領域に表示する副画像更新手段と、を実現させるための画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01375798A JP4021025B2 (ja) | 1998-01-27 | 1998-01-27 | 画像検索方法、画像検索装置、及び画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01375798A JP4021025B2 (ja) | 1998-01-27 | 1998-01-27 | 画像検索方法、画像検索装置、及び画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11212991A JPH11212991A (ja) | 1999-08-06 |
| JP4021025B2 true JP4021025B2 (ja) | 2007-12-12 |
Family
ID=11842132
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01375798A Expired - Lifetime JP4021025B2 (ja) | 1998-01-27 | 1998-01-27 | 画像検索方法、画像検索装置、及び画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4021025B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3596454B2 (ja) * | 2000-03-31 | 2004-12-02 | 松下電工株式会社 | カタログ画像データ提供システム及びカタログ画像データ提供方法 |
| JP4333902B2 (ja) * | 2003-02-26 | 2009-09-16 | 株式会社インテックシステム研究所 | 情報検索装置、情報検索方法、及び情報検索プログラム |
| JP2005033712A (ja) | 2003-07-11 | 2005-02-03 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| JP2007206919A (ja) * | 2006-02-01 | 2007-08-16 | Sony Corp | 表示制御装置および方法、プログラム、並びに記録媒体 |
| JP4802790B2 (ja) | 2006-03-20 | 2011-10-26 | セイコーエプソン株式会社 | サーバ装置 |
| JP4769624B2 (ja) * | 2006-04-25 | 2011-09-07 | 富士フイルム株式会社 | 画像再生装置ならびにその制御方法およびその制御プログラム |
| JP2010085748A (ja) * | 2008-09-30 | 2010-04-15 | Canon Inc | 画像表示装置、画像表示システム及び画像表示方法 |
| EP2518641A4 (en) * | 2009-12-24 | 2013-07-24 | Nikon Corp | RESEARCH MANAGEMENT SYSTEM, RESEARCH MANAGEMENT METHOD, AND RESEARCH MANAGEMENT PROGRAM |
| JP5225330B2 (ja) * | 2010-06-15 | 2013-07-03 | 株式会社東芝 | 電子機器及び画像処理方法 |
| WO2014024533A1 (ja) * | 2012-08-08 | 2014-02-13 | ソニー株式会社 | 情報処理装置および記録媒体 |
| CN106021587B (zh) * | 2016-06-03 | 2022-02-15 | 北京小米移动软件有限公司 | 页面更新的方法、装置及系统 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04333168A (ja) * | 1991-05-08 | 1992-11-20 | Mitsubishi Electric Corp | 図形検索装置 |
| JP3026712B2 (ja) * | 1993-12-09 | 2000-03-27 | キヤノン株式会社 | 画像検索方法及びその装置 |
| JPH07239856A (ja) * | 1994-02-25 | 1995-09-12 | Canon Inc | 画像検索方法および装置 |
| JPH08263477A (ja) * | 1995-03-23 | 1996-10-11 | Matsushita Electric Ind Co Ltd | 文書表示装置および文書表示方法 |
| JPH08287086A (ja) * | 1995-04-13 | 1996-11-01 | Nippon Telegr & Teleph Corp <Ntt> | 適合度順画像強調表示方法及び装置 |
| JP3205220B2 (ja) * | 1995-06-09 | 2001-09-04 | シャープ株式会社 | データ検索装置 |
| JPH09204440A (ja) * | 1996-01-29 | 1997-08-05 | Fujitsu Ltd | 画像検索システム、画像検索方法、及び記録媒体 |
-
1998
- 1998-01-27 JP JP01375798A patent/JP4021025B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11212991A (ja) | 1999-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6628313B1 (en) | Information retrieval method and apparatus displaying together main information and predetermined number of sub-information related to main information | |
| US7639254B2 (en) | Intuitive hierarchical time-series data display method and system | |
| US7698657B2 (en) | System and process for presenting search results in a histogram/cluster format | |
| US7719548B2 (en) | Viewing digital images using a floating controller | |
| US9672591B2 (en) | Collage display of image projects | |
| US8090712B2 (en) | Method for navigating large image sets using sort orders | |
| US7587681B2 (en) | Method and apparatus for presenting information | |
| US8456488B2 (en) | Displaying digital images using groups, stacks, and version sets | |
| US7746360B2 (en) | Viewing digital images on a display using a virtual loupe | |
| US7705858B2 (en) | Techniques for displaying digital images on a display | |
| US7542994B2 (en) | Graphical user interface for rapid image categorization | |
| US6353442B1 (en) | Information processing apparatus, information processing method, and providing medium | |
| US20060106764A1 (en) | System and method for presenting video search results | |
| US8094935B2 (en) | Representative color extracting method and apparatus based on human color sense and data histogram distributions | |
| JP4021025B2 (ja) | 画像検索方法、画像検索装置、及び画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2007286864A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
| US20100057722A1 (en) | Image processing apparatus, method, and computer program product | |
| JPH07146871A (ja) | 静止画検索装置および静止画検索方法 | |
| JP2000276484A (ja) | 画像検索装置、画像検索方法及び画像表示装置 | |
| JP2008097175A (ja) | 電子ファイル検索装置 | |
| US20020111939A1 (en) | Image data retrieval apparatus and method capable of facilitating retrieval of desired image data from image database | |
| US20100332485A1 (en) | Ordering of data items | |
| JP2011039944A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP4650293B2 (ja) | 画像分類表示装置及び画像分類表示プログラム | |
| US20030046267A1 (en) | Image retrieving method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040811 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040811 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061114 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070115 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070220 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070522 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070723 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070803 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070925 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070926 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101005 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111005 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121005 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131005 Year of fee payment: 6 |
|
| EXPY | Cancellation because of completion of term |