JP5117154B2

JP5117154B2 - 画像検索表示装置、画像検索表示方法

Info

Publication number: JP5117154B2
Application number: JP2007255667A
Authority: JP
Inventors: 猛士鈴木
Original assignee: Olympus Imaging Corp
Current assignee: Olympus Imaging Corp
Priority date: 2007-09-28
Filing date: 2007-09-28
Publication date: 2013-01-09
Anticipated expiration: 2027-09-28
Also published as: JP2009087005A

Description

本発明は、複数の画像データの中から所定の検索条件に基づいて画像データを検索し表示する画像検索表示装置、画像検索表示方法に関する。

近年では、デジタルカメラやデジタルビデオカメラの普及により、画像のデータ量が飛躍的に増大しつつあり、目的の画像を素早く的確に検索することができる技術の開発が望まれている。

このような画像を検索する方法としては、大きく分けて、次の２種類の方法が知られている。

まず第１の方法は、画像の内容を反映したキーワードを人間がその画像に対して予め付与しておき、検索時には、ユーザーが入力したキーワードと同等のキーワードが付与された画像を画像データベースから抽出して提示する方法である。

また第２の方法は、画像が備える色や形状、テクスチャーなどの物理的特徴を定量化して属性値としておき、この属性値を利用して情報処理装置が自動的に検索する方法である。すなわち、この方法においては、参照画像の各属性値を、画像データベースに記憶されている検索対象画像群の各画像の各属性値と比較して、類似性の高い画像を画像データベースから抽出して検索結果として提示する。

しかし、上述した第１の方法では、検索を行おうとしているユーザーと、画像データベースの各画像にキーワードを付与した人とが別人である場合には、概念的には同じキーワードであっても、参照キーワードが画像データベースにおいて使用されているキーワードとは一致しない場合があり、検索洩れを生じるという課題がある。

また、上述した第２の方法では、所定のアルゴリズムに基づいて属性値が比較され、類似度が高いとして抽出された画像が、必ず人間の視覚により参照画像と類似性が高いと判定されるとは限られず、感覚的にはむしろ類似性が低い場合も多いために、検索精度が低いという課題が指摘されていた。

これらの課題を解決するための技術として、例えば特開平１０−２８９２４０号公報には、画像に付与したキーワードによって検索を実行し、さらに、この検索結果の画像の属性値を用いて類似検索を実行する方法が提案されている。
特開平１０−２８９２４０号公報

しかしながら、上記特開平１０−２８９２４０号公報に記載の技術は、まずキーワードを用いて画像の検索を実行するが、同一のキーワードを持つ画像であっても画像の属性値が大きく異なる場合があることは上述した通りであるために、その後に属性値に基づいて類似画像を検索したとしても、検索精度の低下を解決することができるとは限らない。

本発明は上記事情に鑑みてなされたものであり、検索した画像の中から所望の画像を効率良く迅速に表示することができる画像検索表示装置、画像検索表示方法を提供することを目的としている。

上記の目的を達成するために、第１の発明による画像検索表示装置は、複数の画像データの中から所定の検索条件に基づいて画像データを検索する検索部と、上記検索した画像データに対応する画像を表示する表示部と、上記表示部に画像を表示した時間に相応する表示時間を測定する計時部と、上記所定の検索条件毎に、上記表示時間を上記表示部に表示した画像に対応する画像データに関連付けて記録する記録部と、上記記録部に記録した表示時間を読み出して該表示時間が長い程表示の優先順位が高いことを表す所定の表示態様で該表示時間が関連付けられている画像データに対応する画像を上記表示部に表示するように制御する制御部と、を具備し、上記記録部は、画像を鑑賞するモードにおいては、上記検索部により上記所定の検索条件と同一の検索条件で画像データの検索が行われ、上記表示部により検索された画像データに対応する画像が表示され、上記計時部により上記表示時間が測定される毎に、上記表示部に表示した画像に対応する画像データに関連付けて該検索条件に対して記録されている表示時間に、新たに測定された表示時間を加算して、該加算した表示時間を記録し、画像が適切な画像であるかどうかを検分するモードにおいては該新たに測定された表示時間を加算しないものである。

また、第２の発明による画像検索表示装置は、上記第１の発明による画像検索表示装置において、上記制御部が、上記記録部に記録した表示時間を読み出して、該表示時間が長い順に、該表示時間が関連付けられている画像データに対応する画像を上記表示部に表示するように制御するものである。

第３の発明による画像検索表示装置は、上記第１の発明による画像検索表示装置において、上記記録部が、表示時間がまだ関連付けられていない画像データが存在する場合には、関連付け可能な表示時間の内の最大値を該画像データに関連付けて記録し、その後に、該画像データに対応する画像が上記表示部に表示されて上記計時部により上記表示時間が測定されたところで、上記最大値に代えて該表示時間を該画像データに関連付けて記録するものである。

第４の発明による画像検索表示方法は、複数の画像データの中から所定の検索条件に基づいて画像データを検索するステップと、上記検索した画像データに対応する画像を表示部に表示するステップと、上記表示部に画像を表示した時間に相応する表示時間を測定するステップと、上記所定の検索条件毎に、上記表示時間を上記表示部に表示した画像に対応する画像データに関連付けて記録部に記録するステップと、上記記録部に記録した表示時間を読み出して該表示時間が長い程表示の優先順位が高いことを表す所定の表示態様で該表示時間が関連付けられている画像データに対応する画像を上記表示部に表示するように制御するステップと、を有し、画像を鑑賞するモードにおいては、上記所定の検索条件と同一の検索条件で画像データの検索が行われ、該検索された画像データに対応する画像が表示され、上記表示時間が測定される毎に、上記表示部に表示された画像に対応する画像データに関連付けて該検索条件に対して記録されている表示時間に、新たに測定された表示時間を加算して、該加算した表示時間を記録し、画像が適切な画像であるかどうかを検分するモードにおいては該新たに測定された表示時間を加算しない方法である。

本発明の画像検索表示装置、画像検索表示方法によれば、検索した画像の中から所望の画像を効率良く迅速に表示することが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図５は本発明の実施形態１を示したものであり、図１は画像検索表示装置が適用されるカメラの構成を示すブロック図である。

このカメラは、図１に示すように、レンズ１と、ＣＣＤ２と、撮像回路３と、Ａ／Ｄ変換器４と、フレームメモリ５と、ＦＩＦＯメモリ６と、ＴＦＴ液晶駆動回路７と、ＴＦＴパネル８と、バックライトユニット９と、ビデオ出力回路１１と、ビデオ出力端子１２と、記録バッファ１３と、記録媒体インタフェース（記録媒体Ｉ／Ｆ）１４と、記録媒体１５と、アクチュエータ駆動回路１６と、アクチュエータ１７と、ＬＣＤ表示回路１８と、ＬＣＤパネル１９と、電池２１と、バックアップ電源２２と、電源回路２３と、電池状態検出回路２４と、キーマトリクス２５と、外部有線データインタフェース（外部有線データＩ／Ｆ）２６と、ＥＥＰＲＯＭ２７と、第１ＣＰＵ２８と、第２ＣＰＵ２９と、を有して構成されている。

レンズ１は、光学的な被写体像をＣＣＤ２へ結像するためのものであり、撮像部の一部である。

ＣＣＤ２は、レンズ１により結像された光学的な被写体像を光電変換して、電気的な画像信号を出力する撮像素子であり、撮像部の一部である。なお、ここでは撮像素子としてＣＣＤを例に挙げているが、もちろん、ＣＭＯＳやその他のタイプの撮像素子を用いても構わない。

撮像回路３は、ＣＣＤ２からの出力に各種のアナログ信号処理を行うものであり、撮像部の一部である。

Ａ／Ｄ変換器４は、撮像回路３から出力されるアナログの画像信号をデジタルの画像信号に変換するためのものであり、撮像部の一部である。

フレームメモリ５は、スルー画像を表示する際にはフレーム単位で出力される動画像の画像信号を記憶し、さらに静止画像を撮像したときにはその静止画像を記憶するメモリであり、例えばＳＤＲＡＭ等により構成されている。

ＦＩＦＯメモリ６は、画像を表示したり出力したりする際にバッファリングを行うためのメモリである。

ＴＦＴ液晶駆動回路７は、ＦＩＦＯメモリ６から出力される画像信号に基づき、ＴＦＴパネル８を制御するものであり、表示部の一部である。

ＴＦＴパネル８は、カラー表示可能なものであって、ＴＦＴ液晶駆動回路７の制御に基づき、画像やこのカメラに係る各種の情報等を表示したりするためのものであり、表示部の一部である。

バックライトユニット９は、ＴＦＴパネル８の背面側に設けられていて、ＴＦＴパネル８を背面側から照明するためのものであり、表示部の一部である。

ビデオ出力回路１１は、ＦＩＦＯメモリ６からの画像信号を、ビデオ出力端子１２を介して外部へ出力するためのものである。

ビデオ出力端子１２は、外部のビデオケーブル等を接続するための接続端子である。

記録バッファ１３は、フレームメモリ５に記憶されている画像信号を記録媒体１５に記録する際にバッファリングするものであり、記録部を構成するものとなっている。また、記録バッファ１３は、記録媒体１５から読み出される信号のバッファリングも行うようになっている。

記録媒体インタフェース１４は、記録媒体１５へのデータの記録や、記録媒体１５からのデータの読み出しを制御するためのものであり、記録部を構成するものとなっている。

記録媒体１５は、画像検索の対象となる画像データ群やその他の各種データを記録するための不揮発性の記録媒体（記録部）であり、このカメラに対して例えば着脱自在に構成されたものとなっている。

アクチュエータ駆動回路１６は、第１ＣＰＵ２８の制御に基づいて、アクチュエータ１７を制御し駆動するものである。

アクチュエータ１７は、レンズ１を駆動して、オートフォーカスを行ったり、あるいは自動ズーム機能が備えられている場合には自動ズームを行ったりするための駆動源である。

ＬＣＤ表示回路１８は、第１ＣＰＵ２８の制御に基づき、ＬＣＤパネル１９を制御して各種の表示を行わせるための回路である。

ＬＣＤパネル１９は、例えばモノクロＬＣＤを含んで構成されていて、このカメラに設定されている撮影モード等の動作モードや、記録媒体１５に記録可能な画像の枚数、撮影時のシャッタ速度や絞り値などの情報を表示するための表示部である。

電池２１は、このカメラのメイン電源である。

バックアップ電源２２は、このカメラにおける日付表示用の電源を供給するための電源である。

電源回路２３は、第１ＣＰＵ２８の指令に基づいて、電池２１およびバックアップ電源２２からの電力を、このカメラ内の各回路へ供給する制御を行う回路である。

電池状態検出回路２４は、電池２１の電圧等を検出して、電池２１の電池残量等を算出し、その結果を第１ＣＰＵ２８へ出力するものである。

キーマトリクス２５は、操作部であって、このカメラに設けられている各種の操作スイッチや操作ボタン等を含む操作入力装置の総称である。このキーマトリクス２５は、具体例としては、このカメラの電源をオンするための電源スイッチや、撮影動作を入力するためのレリーズボタン、カメラの撮影モードを設定するためのモードボタン等を含んでいる。そして、このキーマトリクス２５が操作されることにより発生した信号は、第１ＣＰＵ２８に入力されるようになっている。

外部有線データインタフェース２６は、例えばＵＳＢ等で構成されていて、外部の機器とデータの送受信を行うためのインタフェースである。

ＥＥＰＲＯＭ２７は、このカメラに係る各種のデータや、第１ＣＰＵ２８あるいは第２ＣＰＵ２９により実行される処理プログラム等を保存するための不揮発性の記憶媒体であり、例えばフラッシュＲＯＭ（ＦｌａｓｈＲＯＭ）等の書き換え可能な記憶媒体として構成されている。このＥＥＰＲＯＭ２７には、記録媒体１５内に記録されている画像データ群の中から所望の画像データを検索する際に用いられる検索パラメータ情報がさらに記憶されるようになっている。ここに、この検索パラメータ情報は、記録媒体１５内の画像データのファイルヘッダに記録されている検索パラメータに関連する情報となっている。

第１ＣＰＵ２８は、メインＣＰＵであって、このカメラの各回路を統括的に制御するためのものである。この第１ＣＰＵ２８は、このカメラのシステムをコントロールするためのシステムコントロール機能を備えており、このシステムコントロール機能としては、画像検索・分類機能、検索情報管理機能、時計機能、再生時間カウント機能が含まれている。

ここに、画像検索・分類機能は、設定された検索条件に基づいて記録媒体１５に記録されている画像データ群に対して画像検索を行い、その検索結果を分類する機能である。すなわち、画像は複数種類の検索条件に基づき検索されるために、各検索条件のどれに対してどの程度の重要性をもっているかを分類する機能となっている。

検索情報管理機能は、記録媒体１５に記録されている画像データ群に含まれる各画像の検索情報、つまり例えば画像ファイルのヘッダ等に検索パラメータとして記録されている情報に基づいて、現在の検索条件における画像の重要度（優先順位）を判定し、画像検索・分類機能により検索条件に合致するとしてリストアップされた画像を重要度が高い順にソート等して管理する機能である。

時計機能は、通常のコンピュータ等に備えられているのと同様の、時間を計測する機能であり、画像の撮影日時や画像ファイルの作成日時等の管理に用いられる機能である。

再生時間カウント機能は、検索条件に基づいて再生されている画像の再生時間を、上述した時計機能を用いてカウントする機能である。ここでカウントされた画像の再生時間は、後述するように、検索条件における画像の重要度（優先順位）を判定する基準となる。第１ＣＰＵ２８に備えられたこれら時計機能および再生時間カウント機能は、計時部を構成している。

こうして、第１ＣＰＵ２８は主に制御を行い、画像データを扱う処理に関しては主に第２ＣＰＵ２９が行うようになっている。

すなわち、第２ＣＰＵ２９は、フレームメモリ５に記憶されている画像データを処理するものである。この第２ＣＰＵ２９は、ファイル内検索パラメータ検出機能と、画像圧縮伸長機能と、記録媒体アクセス機能と、を備えている。

ファイル内検索パラメータ検出機能は、記録媒体１５に記録されている各画像ファイルの例えばヘッダに記録されている検索パラメータを検出する機能である。ここに、ヘッダに記録されている検索パラメータとしては、第１ＣＰＵ２８の再生時間カウント機能によりカウントされた再生時間が含まれている。

画像圧縮伸長機能は、フレームメモリ５に記憶されている画像データを、例えばＪＰＥＧ圧縮等したり、あるいは記録媒体１５から読み出された圧縮されている画像データを伸長したりする機能である。

記録媒体アクセス機能は、記録媒体インタフェース１４による記録媒体１５のアクセスを制御する機能である。

なお、これら第１ＣＰＵ２８および第２ＣＰＵ２９は、記録媒体１５に記録されている検索対象画像データ群の中から、設定された検索条件に合致する画像データを検索する検索部を構成している。さらに、これら第１ＣＰＵ２８および第２ＣＰＵ２９は、記録媒体１５に記録されている画像データを読み出して、画像データに関連付けられた表示時間が長い程、表示の優先順位が高いことを表す所定の表示態様でＴＦＴパネル８に表示するように制御する制御部を構成している。

このような画像検索表示装置による画像の検索は、例えば次の図２に示すように行われるようになっている。ここに、図２は、画像解析により画像を検索して、検索された画像をリスト化するときの作用を示すフローチャートである。

この処理が開始されると、まず、第１ＣＰＵ２８の内部カウンタｎを１に設定する（ステップＳ１）。

次に、キーマトリクス２５を介して、ユーザが検索条件の入力を行う（ステップＳ２）。ここに、検索条件は、特定の画像を指定して該画像に類似する画像を検索するという条件でも良いし、画像認識により顔認証を行って同一人物が写っている画像を検索するという条件でも構わないし、画像認識による人物、風景、花などの検索であっても良いし、さらにその他の検索条件であっても構わない。

続いて、記録媒体１５に記録されている画像の中から、ｎ枚目の画像をＴＦＴパネル８等に再生して表示する（ステップＳ３）。

さらに、再生している画像を第２ＣＰＵ２９により画像解析する（ステップＳ４）。

そして、画像解析の結果に基づいて、検索条件に合致する画像であるか否かを第１ＣＰＵ２８が判定する（ステップＳ５）。

ここで、対象画像であると判定した場合には、第１ＣＰＵ２８の検索情報管理機能により、検索対象の画像であるとしてリストに追加する（ステップＳ６）。このリストは、検索パラメータ情報としてＥＥＰＲＯＭ２７に記録される。

このステップＳ６が終了するか、またはステップＳ５において検索対象の画像ではないと判定された場合には、次に、記録媒体１５に含まれる全ての画像データの解析が終了したか否かを判定する（ステップＳ７）。

ここで、まだ記録媒体１５に含まれる全ての画像の解析が終了していないと判定した場合には、内部カウンタｎをインクリメントしてから（ステップＳ８）、ステップＳ３へ戻って、次の画像について上述したような処理を行う。

また、ステップＳ７において、記録媒体１５に含まれる全ての画像の解析が終了したと判定した場合には、後述する第１検索結果表示処理を行って（ステップＳ９）、その後にこの処理を終了する。

次に、図３は、図２のステップＳ９における第１検索結果表示処理の詳細を示すフローチャートである。

この処理を開始すると、検索結果の画像をリストアップする（ステップＳ１１）。ここに、ステップＳ２の検索条件に合致すると判定された画像が、記録媒体１５内にはＮ枚あるものとする（総画像枚数：Ｎ）。

次に、内部カウンタｎを１に初期化する（ステップＳ１２）。

そして、現在の検索条件に基づいて記録媒体１５内に記録されている画像データ群を検索するのが初めてであるか否かを判定する（ステップＳ１３）。

ここで、初めてであると判定された場合には、検索結果の画像リスト順におけるｎ枚目の画像をＴＦＴパネル８等に再生する（ステップＳ１４）。

そして、第１ＣＰＵ２８に内蔵されるタイマ（時計機能）を用いて、再生時間カウント機能により時間測定を開始する（ステップＳ１５）。

次に、表示されている画像が次の画像にコマ変更されたか否かを判定する（ステップＳ１６）。

ここで、画像表示コマの変更が行われていないと判定された場合には、この検索結果表示を終了する操作がキーマトリクス２５を介してユーザによりなされたか否かを判定する（ステップＳ１７）。

そして、まだ終了操作がなされていないと判定された場合には、ステップＳ１６へ戻って画像表示コマの変更がなされたか否かの判定を行う。

こうして、ステップＳ１６において、画像表示コマの変更がなされたと判定された場合には、次に、ステップＳ１５により開始した時間測定を終了して、測定時間（表示時間）を画像ファイルのヘッダの該当部分に上書きする（なお、上書きするのは、ステップＳ１３において初めての検索であると判定されたためであり、２回目もしくはそれ以降の検索においては加算されてその結果が上書きされることになる。また、画像ファイルが生成されたときには、ヘッダの測定時間（表示時間）を記録する部分には、後述するように最大時間ＭＡＸが記録されるようになっている。これは、記録媒体１５に新たに追加されたファイルが、検索時に最上位に表示されるようにするためである）（ステップＳ１８）。

ここで、図５を参照して、画像ファイルについて説明する。図５は画像ファイルの構造を模式的に示す図である。

画像ファイルは、図５に示すように、ＪＰＥＧ等により圧縮されている画像データ本体を格納する部分と、この画像データ本体に付随する情報を格納するためのファイルヘッダと、を備えている。

そして、ファイルヘッダ内には、検索パターンに応じた重要度（優先順位）を表示時間として記録する領域が設けられている。

このファイルヘッダ内には、検索パターンを示す第１の値と、検索元情報を示す第２の値と、検索結果に対する重要度（優先順位）を示す第３の値と、がセットになった情報が、検索されたパターンの数だけ記録されるようになっている。

図５に示す例においては、第１の値として、類似画像検索を示す検索パターン１、画像認識による顔認証（同一人物）検索を示す検索パターン２、画像認識による被写体分類（人、風景、花など）を示す検索パターン３、等が記録されている。

また、第２の値として、検索パターン１に対応する画像ファイル名「０００２．ｊｐｇ」が記録されている。これは、類似画像検索を行う際に、このファイル名の画像を元画像として、この画像に類似する画像であるとしてパターン検索が行われたことを示すものである。さらに、第２の値として、検索パターン２に対応する人物特定情報（図５では「人物１」と記している）が記録されている。これは、人物１と同様の特徴データを備えた人物が写っている画像であるとして検索されたことを示すものである。加えて、第２の値として、検索パターン３に対応する認識対象の情報「風景」が記録されている。これは、画像認識により、風景の画像に該当する画像であるとして検索されたことを示すものである。

さらに、第３の値として、検索パターン１により画像が表示された測定時間と、検索パターン２により画像が表示された測定時間と、検索パターン３により画像が表示された測定時間と、が記録されている。これらの測定時間（表示時間）は、該当する検索パターンにおける画像の重要度（優先順位）を示す情報として用いられる。

図３の説明に戻って、内部カウンタｎが総画像枚数Ｎに等しくなったか否かを判定する（ステップＳ１９）。

ここで、内部カウンタｎが総画像枚数Ｎに等しくないと判定された場合には、まだ全ての検索画像を表示していないことになるために、内部カウンタをインクリメントしてから（ステップＳ２０）、ステップＳ１４へ戻って、次の画像について上述したような処理を繰り返して行う。

一方、ステップＳ１３において、初めての検索ではないと判定された場合には、後述する第２検索結果表示処理を行う（ステップＳ２１）。

こうして、ステップＳ１９において内部カウンタｎが総画素枚数Ｎに等しくなったと判定された場合、ステップＳ１７においてこの検索結果表示を終了する操作がなされたと判定された場合、あるいはステップＳ２１における第２検索結果表示処理が終了した場合には、この処理から図２に示した処理にリターンする。

続いて、図４は、図３のステップＳ２１における第２検索結果表示処理の詳細を示すフローチャートである。

この処理を開始すると、検索の結果リストアップされた各画像ファイルのヘッダから、第２ＣＰＵ２９のファイル内検索パラメータ検出機能により、各画像の測定時間（表示時間）を読み出す（ステップＳ３１）。

そして、第１ＣＰＵ２８の検索情報管理機能により、測定時間が大きい順にリストを並び替える（ソートする）（ステップＳ３２）。

そして、並べ替えられた後の検索結果の画像リスト順におけるｎ枚目の画像をＴＦＴパネル８等に再生する（ステップＳ３３）。

そして、第１ＣＰＵ２８に内蔵されるタイマ（時計機能）を用いて、再生時間カウント機能により時間測定を開始する（ステップＳ３４）。

次に、表示されている画像が次の画像にコマ変更されたか否かを判定する（ステップＳ３５）。

ここで、画像表示コマの変更が行われていないと判定された場合には、この検索結果表示を終了する操作がキーマトリクス２５を介してユーザによりなされたか否かを判定する（ステップＳ３６）。

そして、まだ終了操作がなされていないと判定された場合には、ステップＳ３５へ戻って画像表示コマの変更がなされたか否かの判定を行う。

こうして、ステップＳ３５において、画像表示コマの変更がなされたと判定された場合には、次に、ヘッダに記録されている測定時間が最大値ＭＡＸであるか否かを判定する（ステップＳ３７）。ここに、最大値ＭＡＸは、ヘッダに測定時間として記録可能な最大値であり、画像ファイルが生成された時点で自動的に設定されるようになっている。この最大値ＭＡＸは、標準的な再生表示を行う限りは到達し得ないような大きな値になるように設計されている。従って、ここで最大値ＭＡＸが設定されていると判定されたということは、現在の検索条件による画像の検索および表示がまだ行われていない画像ファイルである（つまり、例えば最近撮像されて生成された画像ファイルである）ということを意味している。

そして、ステップＳ３７において、ヘッダに記録されている測定時間が最大値ＭＡＸであると判定された場合には、図３に示した第１検索結果表示処理におけるステップＳ１８と同様に、ステップＳ３４により開始した時間測定を終了して、測定時間を画像ファイルのヘッダの該当部分に上書きする（ステップＳ３８）。

一方、ステップＳ３７において、ヘッダに記録されている測定時間が最大値ＭＡＸではないと判定された場合には、ステップＳ３４により開始した時間測定を終了して、ヘッダに記録されていた測定時間に今回の測定時間を加算して、この加算した結果を画像ファイルのヘッダの該当部分に上書きする（ステップＳ３９）。

ステップＳ３８またはステップＳ３９の処理が終了したら、次に、内部カウンタｎが総画像枚数Ｎに等しくなったか否かを判定する（ステップＳ４０）。

ここで、内部カウンタｎが総画像枚数Ｎに等しくないと判定された場合には、まだ全ての検索画像を表示していないことになるために、内部カウンタをインクリメントしてから（ステップＳ４１）、ステップＳ３３へ戻って、次の画像について上述したような処理を繰り返して行う。

こうして、ステップＳ４０において内部カウンタｎが総画素枚数Ｎに等しくなったと判定された場合、またはステップＳ３６においてこの検索結果表示を終了する操作がなされたと判定された場合には、この処理から図３に示した処理にリターン（すなわち、図２に示した処理にリターン）する。

なお、上述ではＴＦＴパネル８に画像を表示した時間を例えば秒単位で測定しているが、これに限らず、画像の表示がどれくらいの時間行われているかを示す他の情報を表示時間の情報として測定するようにしても良い。例えば、発生されるクロックの何クロック分であるかを測定したり、あるいは表示されるフレーム数が何フレーム分であるかを測定したりするようにしても良い。

また、上述では画像ファイル生成時に測定時間として最大値ＭＡＸを自動的に設定することにより、設定された検索条件において一度も検索されていない画像であるか否かを判定するようにしたが、これに限るものではない。例えば、該当検索条件における新規画像であるか否かを示すフラグ等を立てて判定するようにしても構わない。

さらに、一般には、画像を鑑賞する時間が長いほど、ユーザにとってその画像の重要度（優先順位）が高いと考えることができるが、画像を鑑賞するのではなく、画像が自分にとって適切な画像であるかどうかを検分する際には、重要であるとすぐに判断が付く画像は表示時間が短いが、重要であるか否かの判断を付けるのが難しい画像については長い時間表示させて考え込む、等の使い方もあり得る。そこで、鑑賞モードと検分モードとを設けて、鑑賞モード時には上述したように表示時間を自動的に加算するようにし、検分モード時には表示時間の加算を行わないようにしても良い。

そして、検索された画像を優先順位が高いことを表す所定の表示態様で表示する例としては、優先順位が高い順に１画像ずつコマ送りで表示しても良いし、優先順位が高い順に複数画像を配列してサムネイル表示しても良いし、その他の表示態様であっても構わない。

加えて、上述では、測定した表示時間を画像ファイルのヘッダに記録するようにしているが、これに限るものではない。画像データとの関連付けが行われていれば、画像ファイル以外のデータファイル形式で記録しても構わないし、あるいは画像ファイルが記録されている記録媒体１５に記録する代わりに、ＥＥＰＲＯＭ２７に記録するようにすることも可能である。この場合には、ＥＥＰＲＯＭ２７は記録部となる。

また、上述では主に画像検索表示装置について説明したが、上述したような手順を実行する画像検索表示方法、あるいは該手順をコンピュータに行わせるための処理プログラム、さらにあるいは該処理プログラムが記録された記録媒体、等であっても構わない。

このような実施形態１によれば、同一検索条件における２回目またはそれ以降の結果表示においては、優先順位が高い順に（測定時間の大きい順に）画像が表示されるために、ユーザが鑑賞している時間が長い画像、つまりユーザにとっての重要度が長い画像が高い順位で表示されることになり、画像検索の効率を向上することが可能となる。従って、検索した画像の中から所望の画像を効率良く迅速に表示することが可能となる。

また、前回の検索後に記録媒体１５に新たに記録された画像については、測定時間として最大値が自動的に設定されているために、高い表示順位で表示されることになる。従って、最新の撮影画像が設定された検索条件において未表示であっても、すぐに表示して検分し、再生時間に応じた重要度を設定することが可能となる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明の実施形態１における画像検索表示装置が適用されるカメラの構成を示すブロック図。上記実施形態１において、画像解析により画像を検索して、検索された画像をリスト化するときの作用を示すフローチャート。上記実施形態１において、図２のステップＳ９における第１検索結果表示処理の詳細を示すフローチャート。上記実施形態１において、図３のステップＳ２１における第２検索結果表示処理の詳細を示すフローチャート。上記実施形態１における画像ファイルの構造を模式的に示す図。

符号の説明

１…レンズ
２…ＣＣＤ
３…撮像回路
４…Ａ／Ｄ変換器
５…フレームメモリ
６…ＦＩＦＯメモリ
７…ＴＦＴ液晶駆動回路（表示部）
８…ＴＦＴパネル（表示部）
９…バックライトユニット（表示部）
１１…ビデオ出力回路
１２…ビデオ出力端子
１３…記録バッファ
１４…記録媒体インタフェース（記録媒体Ｉ／Ｆ）
１５…記録媒体（記録部）
１６…アクチュエータ駆動回路
１７…アクチュエータ
１８…ＬＣＤ表示回路
１９…ＬＣＤパネル
２１…電池
２２…バックアップ電源
２３…電源回路
２４…電池状態検出回路
２５…キーマトリクス
２６…外部有線データインタフェース（外部有線データＩ／Ｆ）
２７…ＥＥＰＲＯＭ
２８…第１ＣＰＵ（検索部、計時部、制御部）
２９…第２ＣＰＵ（検索部、制御部）

Claims

複数の画像データの中から所定の検索条件に基づいて画像データを検索する検索部と、
上記検索した画像データに対応する画像を表示する表示部と、
上記表示部に画像を表示した時間に相応する表示時間を測定する計時部と、
上記所定の検索条件毎に、上記表示時間を上記表示部に表示した画像に対応する画像データに関連付けて記録する記録部と、
上記記録部に記録した表示時間を読み出して、該表示時間が長い程、表示の優先順位が高いことを表す所定の表示態様で、該表示時間が関連付けられている画像データに対応する画像を上記表示部に表示するように制御する制御部と、
を具備し、
上記記録部は、画像を鑑賞するモードにおいては、上記検索部により上記所定の検索条件と同一の検索条件で画像データの検索が行われ、上記表示部により検索された画像データに対応する画像が表示され、上記計時部により上記表示時間が測定される毎に、上記表示部に表示した画像に対応する画像データに関連付けて該検索条件に対して記録されている表示時間に、新たに測定された表示時間を加算して、該加算した表示時間を記録し、画像が適切な画像であるかどうかを検分するモードにおいては該新たに測定された表示時間を加算しないことを特徴とする画像検索表示装置。
上記制御部は、上記記録部に記録した表示時間を読み出して、該表示時間が長い順に、該表示時間が関連付けられている画像データに対応する画像を上記表示部に表示するように制御するものであることを特徴とする請求項１に記載の画像検索表示装置。
上記記録部は、表示時間がまだ関連付けられていない画像データが存在する場合には、関連付け可能な表示時間の内の最大値を該画像データに関連付けて記録し、その後に、該画像データに対応する画像が上記表示部に表示されて上記計時部により上記表示時間が測定されたところで、上記最大値に代えて該表示時間を該画像データに関連付けて記録するものであることを特徴とする請求項１に記載の画像検索表示装置。
複数の画像データの中から所定の検索条件に基づいて画像データを検索するステップと、
上記検索した画像データに対応する画像を表示部に表示するステップと、
上記表示部に画像を表示した時間に相応する表示時間を測定するステップと、
上記所定の検索条件毎に、上記表示時間を上記表示部に表示した画像に対応する画像データに関連付けて記録部に記録するステップと、
上記記録部に記録した表示時間を読み出して、該表示時間が長い程、表示の優先順位が高いことを表す所定の表示態様で、該表示時間が関連付けられている画像データに対応する画像を上記表示部に表示するように制御するステップと、
を有し、
画像を鑑賞するモードにおいては、上記所定の検索条件と同一の検索条件で画像データの検索が行われ、該検索された画像データに対応する画像が表示され、上記表示時間が測定される毎に、上記表示部に表示された画像に対応する画像データに関連付けて該検索条件に対して記録されている表示時間に、新たに測定された表示時間を加算して、該加算した表示時間を記録し、画像が適切な画像であるかどうかを検分するモードにおいては該新たに測定された表示時間を加算しないことを特徴とする画像検索表示方法。