JP4565617B2 - 画像記録装置及びその制御方法 - Google Patents

Description

本発明は、被写体の画像を記録する画像記録装置に係り、とりわけ、当該画像記録装置において画像検索を実行する技術に関する。

近年、デジタルカメラやカメラ機能付き携帯電話の普及に伴い、画像データを記憶する記憶媒体の容量も目覚しく増加している。記憶媒体の容量が大きくなったことに伴い、記憶媒体に記憶される画像データの数も飛躍的に増加している。

しかしながら、大量の画像データが記憶媒体に記憶されていると、ユーザは、閲覧を希望する画像データを即座に見つけ出すことができなくなる。

従来、所望の画像データを見つけ出す技術として、画像検索技術が提案されている（特許文献１）。

また、類似度の度合いを視覚的に理解し易くする手法も提案されている（特許文献２）。当該文献に記載の発明は、類似画像を表示する際に、各画像の画像データから特徴量を抽出し、抽出された特徴量に基づいて特徴量空間を階層的に分割し、さらに木構造を作成し、木構造に基づいて表示空間を作成している。
特開２０００− ７６３０２号公報。 特開２０００−３１１２４６号公報。

しかしながら、従来は、検索結果である類似画像データを表示する表示装置の画面サイズを十分に考慮しておらず、視認性の面で問題がある。デジタルカメラやカメラ機能付き携帯電話では、複数の類似画像データが見つかったときに、どれがキー画像データに類似しているかを、視覚的に比較できるような態様で表示していなかった。

とりわけ、特許文献１に記載の発明は、検索抽出された４つの類似画像データを同一のサイズで並べて表示しているだけであり、これらとキー画像データとを同時に表示してはいない。そのため、どの類似画像データが検索キー画像データに最も類似しているかを視覚的に判断しにくかった。

そこで、本発明は、このような課題および他の課題を解決することを目的とする。なお、他の課題については明細書の全体を通して理解できよう。

上記課題を解決すべく、本発明は、複数の検索対象画像データを記憶する記憶媒体を有する画像記録装置において、複数の検索対象画像データの中からキー画像データに類似する類似画像データを検索抽出し、検索抽出された類似画像データとキー画像データとを視覚的に区別できる態様で表示する。

本発明によれば、検索抽出された類似画像データとキー画像データとを視覚的に区別できる態様で表示するので、ユーザは、どの類似画像データがキー画像データに最も類似しているかを判断しやすくなる。

以下に本発明の上位概念、中位概念および下位概念の理解に役立つ一実施形態を示す。なお、以下の実施形態に含まれる概念について、そのすべてが特許請求の範囲に記載されているとは限らない。ただし、これは特許発明の技術的範囲から意識的に除外したのではなく、特許発明と均等の関係にあるため特許請求の範囲には記載していない場合があることを理解していただきたい。

＜ハードウエアの構成例＞
図１は、本実施形態に係る画像記録装置の例示的な構成を示す図である。画像記録装置１００は、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話機、カメラ付きＰＤＡなどの画像記録機能を有する装置をいう。

画像記録装置１００は、レンズ１０１を通じて入射する被写体の光信号を撮像部１０２によって電気信号に変換する。撮像部１０２には、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ （Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の光電変換デバイスが含まれる。

撮像部１０２は、撮影に必要なパラメータを決定し、そのパラメータを表示部１０９に表示する。撮影に必要なパラメータとしては、例えば、露出に関連する情報（例えば、シャッタースピードや絞りの値など）や、合焦状態を示す情報等がある。これらの情報は、光学ファインダーの内部液晶ディスプレイまたは外部の液晶ディスプレイに表示されることが一般的である。なお、この例での表示部１０９は、外部の液晶ディスプレイであるものとする。

撮像部１０２は、決定されたパラメータに基づき、被写体の画像に対応する電気信号を取得し、画像処理部１０３に出力する。画像処理部１０３は、電気信号を画像データとして保存できるようにするための画像処理を施す。これらの処理は、プログラムに従って動作するＣＰＵ１０７によって制御される。なお、プログラムのコードは、ＲＯＭコントローラ１０８によって制御されるＲＯＭ１１３に格納されているものとする。

ＲＡＭコントローラ１０４によって制御されるＲＡＭ１０５は、プログラムの動作に関連するデータを一時的に記憶する。

通信部１０６は、外部デバイス（例えばプリンタなど）と通信するための通信回路である。通信部１０６は、ＣＰＵ１０７の制御によって、ＰＣやプリンタなどの外部デバイスとの間でデータの送信処理または受信処理を実行する。

画像処理部１０３は、撮像部１０２から出力される電気信号に対して様々な画像処理を実行し画像データを生成する。画像処理の施された画像データは、記憶コントローラ１１１に制御されつつ、コンパクトフラッシュ（登録商標）カードやハードディスクドライブなどの記憶媒体１１４に記憶される。

操作部１１０に存在するシャッターボタンが操作されると、ＣＰＵ１０７は、撮影処理を実行する。この例で、シャッターボタンの押し込み量は２段階あるものとする。１段階目まで押し込まれたことを検出すると、ＣＰＵ１０７は、絞り、シャッタースピードおよび合焦具合等の撮影パラメータの決定命令を撮像部１０２に出力する。二段階目まで押し込まれたことを検出すると、ＣＰＵ１０７は、画像データの取得するための撮影処理を実行する。なお、このシャッターボタンの仕組みは銀塩カメラ、デジタルカメラにかかわらず一般的であるので、これ以上の説明は不要であろう。

類似画像検索部１１２は、必要に応じて記憶媒体１１４やＲＡＭ１０５に記憶されている画像データの中から、キー画像データに類似する画像データを検索抽出する。例えば、ユーザが旅行先で風景の写真（画像データ）を撮影した場合に、以前に撮影した写真の中で類似した風景の写真を検索するが如くである。また、人物を撮影した場合はその人物が撮影されている写真を以前に撮影した写真の中から検索したり、あるいはその人物の表情に着目して同様の表情が撮影されている写真を以前に撮影した写真の中から検索抽出したりする。
類似画像の検索手法の最も簡便な例をいくつか紹介する。一つ目の手法は、画像内の個々の画素について、その画素の濃淡を、ある閾値より高いか低いかで二値化して二値化画像を生成し、生成された二値化画像と二値化されたキー画像データとを比較（例えば、類似度を求める。）することで、類似画像データを検索抽出する。また、他の手法としては、画像全体の明暗を表現したヒストグラムを利用する手法や、画像の周波数成分に着目して輪郭抽出を行なう手法もある。さらに他の手法としては、色情報、被写体の形状または傾き等の情報を比較して、類似検索を行なう手法もある。なお、検索精度を向上させるためには、人物を識別したり、さらにその表情を認識したりするなど、より高度な特徴量を利用して類似検索処理をすればよい。もちろん、これらの類似判定方法は単なる例示であり、本発明は他の類似判定方法を採用できることは言うまでもない。
＜画像検索処理＞
１．プレビュー時の画像検索
図２は、本実施形態に係る画像検索処理の例示的なフローチャートである。この画像検索処理は、撮影処理前にプレビュー画像データを表示する際に、当該プレビュー画像データに類似する画像データを検索抽出するものである。

ステップＳ２０１において、ＣＰＵ１０７は、操作部１１０に含まれるシャッターボタンが１段目まで押し下げられているか否かを検出する。押し下げられていれば、ステップＳ２０２へと進む。

ステップＳ２０２において、ＣＰＵ１０７は、撮像部１０２を制御して撮影パラメータを決定させる。

ステップＳ２０３において、ＣＰＵ１０７は、決定されたパラメータに従ったプレビュー画像データを生成する。

ステップＳ２０４において、ＣＰＵ１０７は、生成されたプレビュー画像データを検索キー画像データとして類似画像検索部１１２に検索処理を実行させる。類似画像検索部１１２は、検索キー画像データに類似する類似画像データを記憶媒体１１４から検索抽出する。

ステップＳ２０５において、ＣＰＵ１０７は、検索抽出された類似画像データとプレビュー画像データとを視覚的に区別できる態様で表示する。両方の画像を視覚的に区別できる態様であればどのような手法を用いて表示してもよい。例えば、検索抽出された類似画像データとプレビュー画像データとを並列的に表示するが如くである。

図３は、本実施形態に係る検索結果の表示例を示す図である。表示部１０９には、キー画像データ（例えば、プレビュー画像データ）３００と、検索結果である類似画像データ３０１〜３０３が表示される。

ステップＳ２０６において、ＣＰＵ１０７は、操作部１１０に含まれるシャッターボタンが１段目まで押し下げられているか否かを検出する。すなわち、シャッターボタンの一段目がＯＮの状態を持続されていなければ撮影が中断されたものと見なし、Ｓ２０１へ戻る。ＯＮの状態が持続されていれば、ステップＳ２０７に進む。

ステップＳ２０７において、ＣＰＵ１０７は、操作部１１０に含まれるシャッターボタンが２段目まで押し下げられているか否かを検出する。２段目まで押し下げられている場合は、ステップＳ２０８に進む。

ステップＳ２０８において、ＣＰＵ１０７は、撮影処理を実行する。例えば、撮像部１０２から出力されたデータを画像処理部１０３において圧縮処理等を施し、画像データを作成し、作成された画像データを記憶媒体１１４に書き込む。

ステップＳ２０９において、ＣＰＵ１０７は、撮影処理された画像データを表示部１０９に表示させる。

本実施形態によれば、プレビュー画像データに類似している画像データを、記憶媒体１１４またはＲＡＭ１０５に記憶されている画像データの中から検索抽出し、プレビュー画像データと類似画像データとを視覚的に区別できる態様で表示するようにする。したがって、ユーザは、検索抽出された画像データを評価しやすくなるだろう。

また、本実施形態によれば、プレビュー画像データをキー画像データとすることで、無駄な撮影処理を低減できる。例えば、ユーザが、被写体の撮り忘れを懸念して撮影を実行しようとする際に、既に同様の被写体についての画像データが記憶媒体に存在していれば、撮影を中止することができる。したがって、無駄な撮影を事前に防止することが可能となろう。

逆に、撮り忘れている被写体をプレビュー表示した場合は、類似画像データが見つからず、表示部１０９には類似画像データが表示されないため、ユーザは、当該被写体を撮り忘れていると認識できよう。よって、画像の撮り忘れを防止する効果も期待できよう。なお、ＣＰＵ１０７が、表示部１０９またはファインダー内の液晶表示部に「類似画像データが見つかりません」の如くの警告表示をすれば、撮り忘れをさらに防止しやすくなろう。

ところで、データ量が多いために撮影処理に時間のかかるＲＡＷ画像等では、ＪＰＥＧ等に比較し、撮影処理を中止する効果がより高くなろう。ＲＡＷ形式の画像データはＪＰＥＧ形式などと比較し画像データのサイズが大きいため、１つ目の撮影から次の撮影までのタイムラグが大きくなってしまう。このようなＲＡＷ形式で撮影する場合は、撮影前のプレビューの際に類似画像データを検索することで、検索結果にもとづいて撮影が必要かどうかをユーザは判断しやすくなろう。本実施形態によれば、このようにして無駄な撮影処理を回避しやすくなるので、ＲＡＷ形式の画像データであっても、スムーズに撮影処理を実行できよう。

なお、上述のプレビュー画像データについての画像検索を実行する際に、ＣＰＵ１０７は、当該画像検索を実行するように設定されているか否かを判定した上で、画像検索を実行するようにしてもよい。例えば、ＣＰＵ１０７は、操作部１１０から指示に応じて、プレビュー時の画像検索を実行したり、スキップしたりするように予め設定しておく。ＣＰＵ１０７は、設定の内容をＥＥＰＲＯＭなどのＲＯＭ１１３に記憶しておき、判定の際の基準として利用する。プレビュー時の画像検索をユーザの都合に応じて実行しないように設定しておけば、画像検索により撮影が中断されることがないため、ユーザは撮影に専念できるであろう。

２．撮影直後の画像検索
上述の実施形態では、プレビュー処理時に類似画像を検索抽出したが、本実施形態では、撮影処理の直後に画像検索を実施することにする。

図４は、本実施形態に係る画像検索処理の他の例示的なフローチャートである。なお、既に説明した処理については同一の参照符号を付すことで説明を簡略にする。

ステップＳ２０１〜Ｓ２０３を実行した後、ステップＳ４０４において、ＣＰＵ１０７は、プレビュー画像データを表示部１０９に表示する。その後、上述のステップＳ２０６〜Ｓ２０８を実行し、被写体の撮影処理を実行し、ステップＳ４０９に進む。

ステップＳ４０９において、ＣＰＵ１０７は、撮影処理された画像データを検索キー画像データとして類似画像検索部１１２に検索処理を実行させる。類似画像検索部１１２は、検索キー画像データに類似する類似画像データを記憶媒体１１４またはＲＡＭ１０５から検索抽出する。

ステップＳ４１０において、ＣＰＵ１０７は、検索抽出された類似画像データと被写体の画像データとを視覚的に区別できる態様で表示する。例えば、図３に示したように、検索抽出された類似画像データと被写体の画像データとを並列的に表示する。

本実施形態によれば、撮影処理の直後であって次の撮影処理の前に、撮影処理により得られた画像データと、既存の画像データとを比較して評価することができるようになる。例えば、ある被写体について撮り直しを行った際には、最初の撮影結果と取り直しによる撮影結果とを評価しやすくなろう。

なお、ＣＰＵ１０７は、当該画像検索を実行するように設定されているか否かを判定した上で、画像検索を実行してもよいことは上述したとおりである。すなわち、ユーザは、画像検索をプレビュー時に実行するか、撮影直後に実行するか、あるいは、これらのタイミングでは一切実行しないかを選択することができる。なお画像検索処理は、画像データの閲覧時に実行してもよい。例えば、ＣＰＵ１０７は、操作部１１０により選択された画像データを表示部１０９に表示させ、続いて、操作部１１０から画像検索が指示されると、上述の画像検索を実行し類似画像データを表示する。これによって、画像データの閲覧時にも画像検索を実行し、しかも、キー画像データと類似画像データとを比較可能な態様で表示できるようになる。

３．連写時における画像検索処理のスキップ
画像の検索処理は、１枚の画像データを撮影する処理に比べ、相対的に負荷の重い処理である。そのため、連写時に得られる画像データの一つごとに画像検索処理を実行してしまうと、連写スピードが極端に低下するおそれがある。そこで、本実施形態では、連写処理を実行している際には、類似画像データの検索処理をスキップすることで、連写速度の低下を抑制する。

図５は、本実施形態に係る画像検索処理のさらに他の例示的なフローチャートである。なお、既に説明した処理については同一の参照符号を付すことで説明を簡略にする。

ステップＳ２０１ないしＳ２０７を実行した後、ステップＳ２０８において、ＣＰＵ１０７は、一つの画像データを撮影処理する。その後、ステップＳ５０１に進む。

ステップＳ５０１において、ＣＰＵ１０７は、操作部１１０のシャッターボタンにより連写を指示されているかどうかを判定する。例えば、シャッターボタンが引き続き２段目まで押し下げられているかどうかを判定する。連写を指示されている場合は、類似画像データの検索処理をスキップし、ステップＳ５０１に進む。一方、連写処理が指示されていなければ、ステップＳ４０９に進む。ステップＳ４０９において、ＣＰＵ１０７は、最後に撮影された画像データについて画像検索を実行する。なお、ＣＰＵ１０７は、連写された個々の画像データのすべてについて画像検索を順次実行してもよい。あるいは、ＣＰＵ１０７は、操作部１１０からの操作指示に応じて、一部の画像データを選択して画像検索処理を実行してもよい。

以上説明したように、本実施形態によれば、ＣＰＵ１０７が、シャッターボタンにより連写処理が指示されている間は、検索抽出処理を停止させるように制御するので、連写性能の低下を抑制できる。

なお、連写時には、類似画像を連続して撮影することになるため、そのすべてについて画像検索処理を実行するのは無駄である。そのため、最後に取得された画像データや、選択された画像データについてだけ画像検索処理を実行することで、類似画像検索を効率よく実行することができるようになろう。

４．画像検索対象の優先順位付け
記憶媒体１１４に大量の画像データを記憶されていると、画像検索の処理時間が増加してしまう。しかしながら、必ずしもすべての記憶済み画像データについて画像検索を実行する必要性は高くはない。例えば、複数の類似している画像データが存在する場合は、撮影時刻の新しいほう撮影時刻の古いデータよりも、キー画像データに近いと思われる。また、ユーザの記憶にないほど昔に撮影した画像データに注目して検索したい場合は、撮影時刻の古い画像データから順に検索を行こうとよいだろう。

また、画像データのデータ量に着目すれば、キー画像データのデータ量に近いものほど、類似している可能性が高いと考えられる。また、撮影パラメータに着目すれば、キー画像データの撮影パラメータに近いものほど、より類似していると考えられる。

いずれにしても、検索対象となる複数の画像データについて、予め優先順序を決定し、その優先順序に従って画像検索を実行したほうが、任意の順序で画像検索を実行するよりも、高速に類似画像データを抽出できるであろう。

そこで、本実施形態では、予め検索対象となる画像データについて、優先順序を決定し、その優先順序に従って画像検索を実行するようにする。すなわち、検索対象となる画像データが有する撮影時刻、データ量または撮影パラメータなどの付随情報に基づいて、画像データをソートし、ソートされた順序に従って画像検索を実行する。

図６は、本実施形態に係る画像検索処理の例示的なフローチャートである。当該フローチャートは、上述したステップＳ２０４、ステップＳ４０９のサブルーチンに相当する。

ステップＳ６０１において、ＣＰＵ１０７は、優先順序に従って画像検索を実行するように設定されているかどうかを判定する。優先順序に従って画像検索を実行する場合は、ステップＳ６０２に進み、そうでなければ、ステップＳ６０４に進み、任意の順序で画像検索を実行する。

ステップＳ６０２において、ＣＰＵ１０７は、ＲＯＭ１１３または記憶媒体１１４から優先順序を決定するためのルールを読み出す。当該ルールは、検索対象となる画像データについて優先順序を決定するための決定ルールである。この決定ルールには、例えば、撮影時刻の新しい順、古い順、もしくはキー画像データの撮影時刻に近い順から画像検索するといったルールや、データ量の多い順、少ない順、もしくはキー画像データのデータ量に近い順から画像検索するといったルールや、撮影パラメータの大きい順、小さい順またはキー画像データの撮影パラメータに近い順から画像検索するといったルールなどが一例としてあげられる。

ステップＳ６０３において、ＣＰＵ１０７は、読み出されたルールに従って、各画像データの優先順序を決定する。決定された優先順序については、例えば、ＣＰＵ１０７が、テーブル化してＲＡＭ１０５または記憶媒体１１４に記憶しておくものとする。

ステップＳ６０４において、ＣＰＵ１０７は、優先順序の高い画像データから順に、キー画像データと比較処理して、類似画像データを検索抽出する。

以上説明したように、本実施形態によれば、優先順序に従って画像検索を実行するようにしたので、任意の順序で画像検索を実行する場合よりも画像検索処理の効率が向上しよう。

とりわけ、操作部１１０から画像検索中に、画像検索の停止処理が指示されるとＣＰＵ１０７が画像検索を停止する場合は、優先順序による画像検索の効果は大きいだろう。すなわち、本実施形態の優先順序による画像検索によれば、ユーザの希望する類似画像データが画像検索の初期の段階で発見される確率が高い。ゆえに、すべての画像データについて画像検索を実行する意味は小さい。そのため、画像検索を途中で打ち切れるようにしたほうが、所望の画像データを発見しつつ、画像検索を早期に終了でき、ユーザにとってメリットは大きいだろう。

＜画像表示処理＞
図７は、本実施形態に係る検索結果の表示処理に関する例示的なフローチャートである。当該フローチャートは、上述したステップＳ２０５、ステップＳ４１０のサブルーチンに相当する。

ステップＳ７０１において、ＣＰＵ１０７は、一度に表示する類似画像データの数を示すデータをＲＯＭ１１３から読み出す。なお、一度に表示する類似画像データの数は、予め操作部１１０を通じて設定され、ＲＯＭ１１３に記憶されているものとする。例えば、表示画像の数を少なくすれば、一つの類似画像の表示サイズが大きくなるので、詳細な比較が可能となろう。一方、表示画像の数を多くすれば、記録されている画像のおおよその傾向を把握しつつ、一度に多くの類似画像を評価できる効果がある。なお、代替的に、当該数を、常に固定の値としてもよい。その場合は、ステップＳ７０１は不要となろう。

ステップ７０２において、ＣＰＵ７０１は、検索抽出された画像データの表示順序を決定する。例えば、ＣＰＵ１０７は、ＲＯＭ１１３または記憶媒体１１４から表示順序を決定するためのルールを読み出す。当該ルールとしては、上述した優先順序の決定ルールと同一であってもよい。あるいは、類似度の高い順、または低い順といったルールであってもよい。ＣＰＵ１０７は、この読み出したルールに従って、検索抽出された類似画像データの表示順番を決定する。当該表示順番についてもテーブル化してＲＡＭ１０５等に記憶しておく。なお、本ステップもオプションであり、通常は、検索抽出された順番で表示してもよい。

ステップＳ７０３において、ＣＰＵ１０７は、類似画像データの表示態様が、アイコン表示に設定されているかどうかを判定する。アイコン表示に設定されているかどうかの情報は、予め操作部１１０から入力され、ＲＯＭ１１３等に記憶されているものとする。アイコン表示する場合はステップＳ７０８に進む。そうでなければ、ステップＳ７０４に進む。なお、アイコン表示に関する処理もまたオプションである。

ステップＳ７０４において、ＣＰＵ１０７は、類似画像データとキー画像データとの表示態様が、類似個所の強調表示に設定されているかどうかを判定する。強調表示に設定されているかどうかの情報は、予め操作部１１０から入力され、ＲＯＭ１１３等に記憶されているものとする。強調表示する場合はステップＳ７０６に進む。そうでなければ、ステップＳ７０５に進む。

ステップＳ７０５において、ＣＰＵ１０７は、キー画像データと類似画像データとを並列表示する（例：図３）。

強調表示の場合は、ステップ７０６において、ＣＰＵ１０７は、強調表示用のデータを作成する。ＣＰＵ１０７は、例えば、類似画像データとキー画像データとについて、それぞれ画像の一部（例えば、類似個所）を拡大した画像データを作成してもよい。あるいは、画像の一部（例えば、類似個所）を点滅表示するためのデータを作成してもよい。また、ＣＰＵ１０７は、画像の一部（例えば、類似個所）を線で囲って表示するためのデータを作成してもよい。或いは、画像の一部（例えば、類似個所）の色を変化させるためのデータを作成してもよい。なお、予め複数の強調表示方法を画像記録装置１００が搭載している場合は、操作部１１０等から何れかの強調表示方法を選択できるようにすることで、ユーザの好みに応じて強調表示を行なうことができよう。なお、ＣＰＵ１０７が、手振れ、目つむり、白飛びなどを判断できるような画像の部分を強調表示すれば、不要な画像を削除する際に役立つであろう。

ステップＳ７０７において、ＣＰＵ１０７は、キー画像データ、類似画像データおよび強調表示用のデータを用いて表示部１０９に強調表示を実行させる。

図８は、本実施形態に係る検索結果の表示例を示す図である。この例では、類似した特徴を示す部分８００を線で囲うことで、強調表示している。通常、デジタルカメラが備えている表示部１０９は数インチの液晶ディスプレイであり、複数の画像を同時に評価することが困難である。したがって、画像の一部を強調することにより評価がより容易になろう。

類似画像データを直接表示する代わりに、アイコンを表示することで、類似画像データの存在をユーザに知らせることができるようにしてもよい。

ステップＳ７０８において、ＣＰＵ１０７は、類似画像データに対応するアイコンデータをＲＯＭ１１３から読み出す。アイコンは、例えば、類似の度合いを示すものや、類似の特徴を示すものなどがある。類似の度合いや、類似した特徴については、類似画像検索部１１２またはＣＰＵ１０７が、キー画像データと類似画像データとに基づいて決定する。そして、ＣＰＵ１０７は、決定された類似度合いや特徴に対応するアイコンデータを読み出す。読み出す代わりに、毎回、ＣＰＵ１０７が作成してもよい。

類似の度合いに関しては、例えば、類似度を数段階（例：５段階）に数値化したアイコンや、類似度を表すアルファベットを模したアイコンとしてもよい。類似の特徴に関しては、画像上の人物が類似している場合は人の顔を模したアイコンとしたり、風景が類似している場合は山や川などを模したアイコンとしたり、色の分布が類似していた場合は赤や青等の色を示すアイコンとしたりしてもよい。また、類似した特徴を示すアイコンについては、類似した特徴に応じた一文字の文字を使って「人」、「景」、「色」等の文字アイコンとしてもよい。

ステップＳ７０９において、ＣＰＵ１０７は、類似画像データに対応するアイコンをキー画像データとともに表示する。

図９は、本実施形態に係るアイコンの表示例を示す図である。この例では、キー画像データ３００に対し、類似画像データの検索結果を文字アイコン９００によって表示している。アイコンを用いて類似画像データの存在やその類似点を表示することで、表示部１０９が小さい場合であっても、プレビュー画像や撮影済み画像の表示をほとんど妨げることなく、類似画像の存在をユーザに認識させることが可能となる。

ステップＳ７１０において、ＣＰＵ１０７は、操作部１１０からの選択指示に応じて、削除の対象となる画像データを選択する。

ステップＳ７１１において、ＣＰＵ１０７は、選択された画像データを記憶媒体１１４またはＲＡＭ１０５から削除する。このように、検索結果が表示部１０９に表示されている際に、いずれかの画像データを削除できるようにすることで、不要な画像を削除しやすくなる。

デジタルカメラなどの画像記録装置では、フィルムカメラに比べて気軽に撮影することができるため、不要な画像が累積しやすい。例えば、撮影してすぐに画像を閲覧できるため、撮影結果に満足できなければ、すぐに同様の状況下で再度撮影することになる。これもまた、不要な画像が累積しやすい原因となる。また、以前に似たような画像を撮影していたことを失念した状態で撮影を行なえば、類似した画像データが累積してしまう。そのような場合に類似画像データを適宜削除できれば、ユーザは、所持している画像データを整理できる。

以上説明したように、本実施形態によれば、表示部の大きさが十分でない画像記録装置においても、アイコンを表示することで類似画像の存在をユーザに認識させやすくなる。

また、強調表示を用いることで、表示部の大きさが十分でないデジタルカメラにおいても類似画像データの評価をしやすくなろう。

さらに、撮影画像データやその類似画像データを並列して表示するので、ユーザは、不要なデータを認識して削除しやすくなろう。
＜画像印刷処理＞
本実施形態では、ＰＣを介さずに画像記録装置と画像形成装置（例えば、プリンタ、複写機、複合機など）とを直接接続して印刷を行なう、いわゆるダイレクトプリントの際に類似画像データの検索処理と検索結果の表示を行なう。もちろん、検索結果をダイレクトプリントにより印刷してもよい。

画像データを印刷する際には、通常の印刷に使用する印刷紙とは異なる写真専用紙を用いることも多い。また、写真専用紙は通常の印刷紙よりも高価である。したがって、類似した画像データを何枚も印刷してしまうのは、無駄であるばかりか、コストを浪費してしまう。そのため、印刷前に類似画像データの検索処理を実行することで、このような無駄を低減できると考えられる。すなわち、類似する画像データについて何枚も印刷処理を実行してしまう無駄を抑制できよう。

図１０は、本実施形態に係るダイレクトプリントシステムの一例を示す図である。この例では、画像記録装置１００の通信部１０６と、プリンタ１０００とを接続ケーブル１００１で接続している。接続方式としては、例えば、ＵＳＢ、ＩＥＥＥ１３９４などの有線方式だけでなく、ブルートゥース、無線ＬＡＮ、ＩｒＤＡなどの無線方式を採用してもよい。通信部１０６は、これらの少なくとも一つの方式に準拠した通信回路とコネクタ等が含まれている。

図１１は、本実施形態に係るダイレクトプリント処理の例示的なフローチャートである。この例では、画像記録装置１００とプリンタ１０００とをＰＣを介さずに直接接続し、ダイレクトプリントに必要な印刷設定がすでに実行されているものとする。

ステップＳ１１０１において、ＣＰＵ１０７は、操作部１１０からの選択指示に応じて、印刷を希望する画像データを選択する。

ステップＳ１１０２において、ＣＰＵ１０７は、ダイレクトプリントの際に類似画像の検索を実行するように設定されているかどうかを判定する。なお、当該設定は、予め操作部１１０からの設定指示に応じて、ＣＰＵ１０７が、設定情報をＲＯＭ１１３に記憶しているものとする。例えば、表示部１０９に表示されるメニュー表示と操作部１１０とを用いてユーザが予め設定しておくものとする。当該設定情報が、類似画像データの検索を実行するように設定されていなければ、ステップＳ１１０９に進み、ＣＰＵ１０７は、選択された画像データを印刷するための命令（印刷ジョブデータ）を、通信部１０６を通じてプリンタ１０００に送信する。一方、当該設定情報が、類似画像データの検索を実行するように設定されていれば、ステップＳ１１０３に進む。

ステップＳ１１０３において、ＣＰＵ１０７は、類似画像データを検索抽出する。具体的な検索抽出方法は、ステップＳ２０４やステップＳ４０９において説明したとおりである。

ステップＳ１１０４において、ＣＰＵ１０７は、検索抽出された類似画像データを表示部１０９に表示するか、表示せずに即座に印刷するかを判定する。なお、どちらの処理を選択するかは、ステップＳ１１０２において説明した設定情報と同様に、予め操作部１１０を通じて設定されているものとする。あるいは、ＣＰＵ１０７が、表示部１０９に問い合せメッセージを表示させ、操作部１１０からの操作指示に応じて、いずれかを判定してもよい。印刷すると判定した場合は、ステップＳ１１０８に進み、ＣＰＵ１０７は、抽出された類似画像データを印刷対象として追加する。一方、表示すると判定した場合は、ステップＳ１１０５に進む。

ステップＳ１１０５において、ＣＰＵ１０７は、抽出された類似画像データを表示部１０９に表示する。具体的な表示処理については、ステップＳ２０５やステップＳ４１０において説明したとおりである。

ステップＳ１１０６において、ＣＰＵ１０７は、キー画像データ（この例では、Ｓ１１０１で選択された画像データ）と、抽出された類似画像データの中から、最終的に印刷する画像データを選択するように設定されているかどうかを判定する。この設定内容も上述したように予め設定され、設定情報としてＲＯＭ１１３にＣＰＵ１０７が記憶しておくものとする。最終的な印刷対象を選択するように設定されている場合は、ステップＳ１１０７に進み、そうでなければ、ステップＳ１１０９に進む。なお、ＣＰＵ１０７は、表示部１０９に問い合せメッセージを表示し、操作部１１０からの選択指示に応じて、判定を実行してもよい。

ステップＳ１１０７において、操作部１１０からの選択指示に応じて、キー画像データ（この例では、Ｓ１１０１で選択された画像データ）と、抽出された類似画像データの中から、最終的に印刷する画像データを選択する。

ステップＳ１１０９において、ＣＰＵ１０７は、選択された画像データについてダイレクトプリントによる印刷処理を実行する。

図１１に示されている検索結果の印刷例では、印刷対象画像データ１０１０と、その類似画像データ１０３０とが、印刷媒体１０２０上に印刷されている。

本実施形態によれば、ダイレクトプリントの際に、印刷対象となる画像データに類似する画像データを検索してユーザが確認できるようになる。従って、既に類似画像データについて印刷した場合などは、ユーザの判断で印刷を中止できることになり、無駄な印刷を抑制できよう。

また、抽出された類似画像データをすべて、または一部を選択して印刷すれば、一般に、印刷媒体は、表示部１０９のサイズより大きいため、視認性が向上し、ユーザは、画像の比較が容易になろう。

また、画像検索の際に、上述の優先順序による画像検索を用い、その検索結果をダイレクトプリントにより印刷すれば、ユーザの閲覧希望に添った印刷が可能となろう。

また、一枚の記録媒体に印刷する画像の数を操作部１１０から指示できるようにしてもよい。例えば、印刷される画像の数を少なくすれば、類似画像の詳細な比較が可能となろう。一方、画像の数を多くすれば、類似画像のおおよその傾向を知ることが可能となるだけでなく、印刷に必要となる記録媒体の数を削減できる。とりわけ、サムネイル画像として印刷すれば、類似画像についての概要と類似性の傾向を一度に判断可能となろう。

上述のステップＳ１１０２、Ｓ１１０４およびＳ１１０６はオプションであり、一つも採用しなくてもよいし、一以上を採用してもよい。

［他の実施形態］
以上、様々な実施形態を詳述したが、本発明は、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

また、複数の画像検索処理や検索結果の表示処理および印刷処理については、どのように組み合わせてもよい。すなわち、すべての組み合わせに相当する発明が開示されていることは言うまでもない。

類似画像の検索を実行する際には、実行するか否かを予め設定情報としてＲＯＭ１１３に記憶しておき、その都度、ＣＰＵ１０７が設定情報に基づいて、実行するか否かを判定してもよい。設定情報は、表示部１０９に表示されるメニュー表示から、操作部１１０を操作することにより設定できる。操作部１１０は、十字キーやボタンを備えていれば、設定作業がしやすくなるだろう。

類似画像の検索処理は、操作部１１０からの指示に応じて、ＣＰＵ１０７が、検索途中で停止することできる。途中で停止した場合には、その段階での検索結果を表示部１０９に表示する。なお、検索の途中停止はダイレクトプリント時の検索にも適用してもよい。

上述の類似画像データの検索処理は、パノラマ画像を生成する際に実行することで、撮影画像データ（キー画像データ）に対して、接続することでパノラマ画像データを形成できるような類似画像データを抽出できる。すなわち、ＣＰＵ１０７は、撮影画像データと類似画像データとを並べて接続したり、撮影画像データの一部と類似画像データの一部とを重ね合わせたりすることにより、パノラマ画像データを作成する。よって、ユーザは意識することなくパノラマ撮影を実行することができよう。

上述した検索結果の表示方法に代えて、ＣＰＵ１０７は、類似画像データのサムネイル画像データを作成し、当該サムネイル画像データを表示部１０９に表示させてもよい。サムネイル画像は詳細な情報が省略されているため、類似画像の評価の観点では好ましくないが、検索結果を高速に表示できる利点がある。なお、上述したダイレクトプリントの際も、ＣＰＵ１０７は、サムネイル画像データを印刷処理してもよい。

なお、本発明は、前述した実施形態の各機能を実現するソフトウェアプログラム（本実施形態では図２、図４〜図７または図１１に示すフローチャートに対応したプログラム）を、システム若しくは装置に対して直接または遠隔から供給し、そのシステム若しくは装置に含まれるコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される。

従って、本発明の機能・処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、上記機能・処理を実現するためのコンピュータプログラム自体も本発明の一つである。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明の構成要件となる場合がある。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

図１は、本実施形態に係る画像記録装置の例示的な構成を示す図である。 図２は、本実施形態に係る画像検索処理の例示的なフローチャートである。 図３は、本実施形態に係る検索結果の表示例を示す図である。 図４は、本実施形態に係る画像検索処理の他の例示的なフローチャートである。 図５は、本実施形態に係る画像検索処理のさらに他の例示的なフローチャートである。 図６は、本実施形態に係る画像検索処理の例示的なフローチャートである。 図７は、本実施形態に係る検索結果の表示処理に関する例示的なフローチャートである。 図８は、本実施形態に係る検索結果の表示例を示す図である。 図９は、本実施形態に係るアイコンの表示例を示す図である。 図１０は、本実施形態に係るダイレクトプリントシステムの一例を示す図である。 図１１は、本実施形態に係るダイレクトプリント処理の例示的なフローチャートである。

Claims (21)

1. 被写体からの光信号を電気信号に変換して出力する光電変換手段と、
   前記電気信号に対応する被写体の画像データを表示する表示手段と、
   複数の検索対象画像データを記憶する記憶媒体と、
   複数の前記検索対象画像データから前記被写体の画像データに類似する類似画像データを検索抽出する検索抽出手段と、
   検索抽出された前記類似画像データと前記被写体の画像データとを視覚的に区別できる態様で前記表示手段に表示するよう制御する表示制御手段とを備えた画像記録装置であって、
   前記表示制御手段は、前記類似画像データに代えて、類似度合いまたは類似する特徴点を表すアイコン画像データを前記表示手段に表示させることを特徴とする画像記録装置。
2. 検索対象画像データを記憶する記憶媒体を備える画像記録装置であって、
   被写体からの光信号を電気信号に変換して出力する光電変換手段と、
   前記電気信号に対応する前記被写体の画像データを前記記憶媒体に記憶させる記憶制御手段と、
   前記記憶媒体への前記被写体の画像データの記憶が完了すると、該被写体の画像データに類似する類似画像データを前記記憶媒体から検索抽出する検索抽出手段と、
   前記被写体についての撮影処理を指示するためのシャッターボタンと、
   前記シャッターボタンにより連続撮影が指示されている間は、前記検索抽出手段による検索抽出処理を停止させる停止制御手段と
   を備えたことを特徴とする画像記録装置。
3. 前記検索抽出手段は、前記被写体の画像データとして撮影処理前のプレビュー画像データを用いて画像検索を実行する手段を含むことを特徴とする請求項１または２に記載の画像記録装置。
4. 前記検索抽出手段は、前記被写体の画像データについて撮影処理が実行された直後に、該被写体の画像データを用いて画像検索を実行する手段を含むことを特徴とする請求項１または２に記載の画像記録装置。
5. 前記表示手段に表示されている前記類似画像データを選択する選択手段と、
   選択された前記類似画像データを前記記憶媒体から削除する削除手段と
   をさらに含むことを特徴とする請求項１乃至４の何れか１項に記載の画像記録装置。
6. 前記検索抽出手段は、前記被写体の画像データに代えて、前記記憶媒体に記憶されているいずれかの画像データを用いて前記類似画像データを検索抽出することを特徴とする請求項１乃至５の何れか１項に記載の画像記録装置。
7. 前記検索抽出手段は、前記検索対象画像データが有する撮影時刻、データ量または撮影パラメータなどの付随情報に基づく優先順序に従って、前記類似画像データの検索抽出を実行する優先検索手段を含むことを特徴とする請求項１乃至６の何れか１項に記載の画像記録装置。
8. 前記表示制御手段は、前記類似画像データを表示する際に、該類似画像データについての類似度、または撮影時刻、データ量もしくは撮影パラメータなどの付随情報に基づく優先順序に従って、前記類似画像データを前記表示手段に表示させることを特徴とする請求項１に記載の画像記録装置。
9. 前記表示制御手段は、前記表示手段に同時に表示させる前記類似画像データの数を指定する手段と、指定された数の前記類似画像データを前記表示手段に表示させる手段をさらに含むことを特徴とする請求項１に記載の画像記録装置。
10. 前記表示制御手段は、前記類似画像データのサムネイルデータを作成する手段と、作成された該サムネイルデータを該類似画像データに代えて前記表示手段に表示させる手段をさらに含むことを特徴とする請求項１に記載の画像記録装置。
11. 被写体からの光信号を電気信号に変換して出力する光電変換手段と、
    前記電気信号に対応する被写体の画像データを含む複数の検索対象画像データを記憶する記憶媒体と、
    前記検索対象画像データのうちキー画像データとして設定されたものに類似する類似画像データを検索抽出する検索抽出手段と、
    検索抽出された前記類似画像データと前記被写体の画像データとを視覚的に区別できる態様で印刷するための印刷データを作成する印刷データ作成手段と、
    前記印刷データを印刷するための画像印刷装置に直接的に接続し、前記印刷データを送信する送信手段と
    を含む、画像記録装置。
12. 複数の前記検索対象画像データの中から印刷対象となる印刷対象データを指示する印刷指示手段をさらに含み、
    前記検索抽出手段は、前記印刷対象データを前記キー画像データとして使用することを特徴とする請求項１１に記載の画像記録装置。
13. 前記印刷データ作成手段は、前記類似画像データのうち前記キー画像データと類似する部分を強調して印刷するよう前記印刷データを作成することを特徴とする請求項１１または１２に記載の画像記録装置。
14. 前記印刷データ作成手段は、前記類似画像データに代えて、類似度合いまたは類似する特徴点を表すアイコン画像データを印刷するよう前記印刷データを作成することを特徴とする請求項１１乃至１３の何れか１項に記載の画像記録装置。
15. 前記検索抽出手段は、前記検索対象画像データが有する撮影時刻、データ量または撮影パラメータなどの付随情報に基づく優先順序に従って、前記類似画像データの検索抽出を実行する優先検索手段を含むことを特徴とする請求項１１乃至１４の何れか１項に記載の画像記録装置。
16. 前記印刷データ作成手段は、前記類似画像データを印刷する際に、該類似画像データについての類似度、または撮影時刻、データ量もしくは撮影パラメータなどの付随情報に基づく優先順序に従って、前記類似画像データを印刷するよう前記印刷データを作成することを特徴とする請求項１１乃至１５の何れか１項に記載の画像記録装置。
17. 前記印刷データ作成手段は、一つの印刷媒体に印刷させる前記類似画像データの数を指定する手段と、指定された数の前記類似画像データについて前記印刷データを作成する手段をさらに含むことを特徴とする請求項１１乃至１８の何れか１項に記載の画像記録装置。
18. 前記類似画像データのサムネイルデータを作成する手段をさらに含み、
    前記印刷データ作成手段は、作成された前記サムネイルデータを前記類似画像データに代えて前記印刷データを作成することを特徴とする請求項１１乃至１７の何れか１項に記載の画像記録装置。
19. 被写体からの光信号を電気信号に変換して出力する光電変換手段と、
    前記電気信号に対応する被写体の画像データを表示する表示手段と、
    複数の検索対象画像データを記憶する記憶媒体とを備えた画像記録装置の制御方法であって、
    検索抽出手段が、複数の前記検索対象画像データから前記被写体の画像データに類似する類似画像データを検索抽出するステップと、
    表示制御手段が、検索抽出された前記類似画像データと前記被写体の画像データとを視覚的に区別できる態様で前記表示手段に表示するよう制御するステップと、
    を備え、
    前記表示制御手段は、前記類似画像データに代えて、類似度合いまたは類似する特徴点を表すアイコン画像データを前記表示手段に表示させることを特徴とする画像記録装置の制御方法。
20. 検索対象画像データを記憶する記憶媒体と、
    被写体からの光信号を電気信号に変換して出力する光電変換手段と、
    前記電気信号に対応する前記被写体の画像データを前記記憶媒体に記憶させる記憶制御手段と、
    前記被写体についての撮影処理を指示するためのシャッターボタンとを備える画像記録装置の制御方法であって、
    検索抽出手段が、前記記憶媒体への前記被写体の画像データの記憶が完了すると、該被写体の画像データに類似する類似画像データを前記記憶媒体から検索抽出するステップと、
    前記シャッターボタンにより連続撮影が指示されている間は、前記検索抽出手段による検索抽出処理を停止させるステップと、
    を有することを特徴とする画像記録装置の制御方法。
21. 複数の検索対象画像データを記憶する記憶媒体を有する画像記録装置の制御方法であって、
    被写体からの光信号を電気信号に変換して出力する光電変換ステップと、
    前記電気信号に対応する被写体の画像データを前記検索対象画像データの一つとして前記記憶媒体に記憶する記憶ステップと、
    前記検索対象画像データのうちキー画像データとして設定されたものに類似する類似画像データを検索抽出する検索抽出ステップと、
    検索抽出された前記類似画像データと前記被写体の画像データとを視覚的に区別できる態様で印刷するための印刷データを作成する印刷データ作成ステップと、
    前記印刷データを印刷するための画像印刷装置と前記画像記録装置とが接続されている場合に、該画像印刷装置に対して前記印刷データを送信する送信ステップとを有することを特徴とする画像記録装置の制御方法。

Images