JP5601513B2 - 画像表示装置及びプログラム - Google Patents

Description

本発明は、撮影画像を表示する画像表示装置及びプログラムに関する。

一般に、毎年のように同じ場所で撮影した多くの撮影画像を画像表示装置に表示させて見比べるようにすれば、例えば、子供や植物などの成長具合や街の発展具合、イベントの変化具合などを容易に確認することができるようになるが、膨大な数の撮影画像の中から同じ場所で撮影した画像を探し出す作業は、ユーザにとって時間と労力を必要とする。このような場合、例えば、過去に同じ場所（撮影位置）で撮影された各画像を呼び出して表示する技術を利用するようにすれば、ユーザへの負担を軽減することができるはずである。この種の技術としては、従来、風景画像をその撮影位置及び撮影日時と共に記憶しておくことで、指定された年代の地図と同じ位置で撮影された風景画像を表示するようにした技術が知られている（特許文献１参照）。また、現在の映像と同じ場所で同じ方向を撮影した過去の映像を見比べながら監視するようにした技術も知られている（特許文献２参照）。

特開２００９−１１６５００号公報 特開２００６−４２２４９号公報

しかしながら、上述した各先行技術にあっては、同じ場所で同じ方向を撮影した画像を表示するだけの技術であり、このような技術を、子供や植物の成長具合などを確認するための画像表示に利用したとしても、画像を効率よく検索することはできない。すなわち、例えば、自宅の居間で家族、親戚、友人などを撮影した画像が多数存在していたり、庭の中で季節毎に色々な花を撮影した画像が多数存在していたりしている場合に、居間の同じ場所で撮影した全ての画像、庭の同じ場所で撮影した全ての画像が表示されてしまうため、似たような画像の中から目的の画像（例えば、子供の画像）を探し出さなければならなかった。

本発明の課題は、同じ場所で時を経て撮影された各画像を見比べてそれらの変化具合を確認するのに適した画像表示をユーザに負担をかけずに実現できるようにすることである。

上述した課題を解決するために請求項１記載の発明は、
撮影画像を表示する画像表示装置であって、
撮影位置及び／又は撮影方向の情報が付加されている複数の撮影画像のうち、選択された画像に付加されている付加情報を参照してその撮影位置及び／又は撮影方向を特定する特定手段と、
前記選択された画像内に写し込まれている被写体を認識する認識手段と、
前記特定手段により特定された撮影位置及び／又は撮影方向並びに前記認識手段により認識された被写体に基づき、前記選択された画像と前記複数の撮影画像とが所定の類似度以上類似するか否かを判別し、この判別結果から前記撮影位置及び／又は撮影方向並びに前記被写体のうちのどのパラメータが所定の類似度以上類似するかにより分類することで、類似する撮影画像を検索する画像検索手段と、
前記画像検索手段により検索された撮影画像のうち、前記パラメータの全てが所定の類似度以上類似する撮影画像を優先して表示し、全ての該パラメータが所定の類似度以上類似する撮影画像が検索されない場合は、所定の類似度以上類似する該パラメータの数が多い撮影画像を表示する表示手段と、
を具備したことを特徴とする画像表示装置である。
請求項１に従属する発明として、
前記特定手段は、前記選択された画像に付加されている付加情報に付加されている付加情報を参照して、前記画像検索手段が撮影画像を検索するための撮影位置及び／又は撮影方向を特定する、
ようにしたことを特徴とする請求項２記載の発明であってもよい。

請求項１あるいは２に従属する発明として、
前記各撮影画像の付加情報は、撮影日時を更に含み、
前記画像検索手段は、前記撮影日時が現在日時から所定期間以上経過した画像を検索対象外とする、
ようにしたことを特徴とする、請求項３記載の発明であってもよい。

請求項１〜３のいずれかに従属する発明として、
前記各撮影画像の付加情報は、撮影条件を更に含み、
前記画像検索手段は、前記撮影位置及び／又は撮影方向が所定の類似度以上に類似する撮影画像であり、かつ、前記撮影条件が所定の条件を満たす撮影画像を検索する、
ようにしたことを特徴とする、請求項４記載の発明であってもよい。

請求項１〜４のいずれかに従属する発明として、
前記各撮影画像の付加情報は、撮影日時を更に含み、
前記表示手段は、前記画像検索手段により検索された撮影画像を表示する場合に、その撮影画像の付加情報に含まれている前記撮影日時も併せて表示する、
ようにしたことを特徴とする、請求項５記載の発明であってもよい。

請求項１〜５のいずれかに従属する発明として、
前記各撮影画像の付加情報は、撮影日時を更に含み、
前記表示手段は、前記画像検索手段により検索された複数の撮影画像を表示する場合に、その撮影画像の付加情報に含まれている前記撮影日時に応じた順に表示する、
ようにしたことを特徴とする、請求項６記載の発明であってもよい。

請求項１〜５のいずれかに従属する発明として、
前記表示手段は、前記画像検索手段により検索された複数の撮影画像を一覧表示する、
ようにしたことを特徴とする、請求項７記載の発明であってもよい。

請求項１〜７のいずれかに従属する発明として、
複数の撮影画像を記憶する記憶手段を更に備え、
前記画像検索手段は、前記記憶手段に記憶されている複数の撮影画像を検索対象とする、
ようにしたことを特徴とする、請求項８記載の発明であってもよい。

請求項１〜８のいずれかに従属する発明として、
通信手段を更に備え、
前記画像検索手段は、前記通信手段を介して外部の記憶装置に記憶されている複数の撮影画像を検索対象とする、
ようにしたことを特徴とする、請求項９記載の発明であってもよい。

請求項１に従属する発明として、
前記画像検索手段は、前記撮影位置及び／又は撮影方向並びに前記被写体に所定の類似度以上類似する撮影画像を類似画像として分類、検索し、前記撮影位置及び／又は撮影方向に所定の類似度以上類似するが、前記被写体には所定の類似度以上は類似しない撮影画像を参考画像として分類、検索し、
前記表示手段は、前記類似画像を優先して表示し、該類似画像が検索されない場合は、前記参考画像を表示する、
ようにしたことを特徴とする請求項１０記載の発明であってもよい。

請求項１〜１０のいずれかに従属する発明として、
前記表示手段は、前記画像検索手段により検索された複数の撮影画像を予め任意にユーザ指定された表示形式に基づいて表示する、
ようにしたことを特徴とする請求項１１記載の発明であってもよい。
また、上述した課題を解決するために請求項１２記載の発明は、
撮影位置及び／又は撮影方向の情報が付加されている複数の撮影画像のうち、選択された画像に付加されている付加情報を参照してその撮影位置及び／又は撮影方向を特定する工程と、
前記選択された画像内に写し込まれている被写体を認識する工程と、
前記特定された撮影位置及び／又は撮影方向並びに前記認識された被写体に基づき、前記選択された画像と前記複数の撮影画像とが所定の類似度以上類似するか否かを判別し、この判別結果から前記撮影位置及び／又は撮影方向並びに前記被写体のうちのどのパラメータが所定の類似度以上類似するかにより分類することで、類似する撮影画像を検索する工程と、
前記検索された撮影画像のうち、前記パラメータの全てが所定の類似度以上類似する撮影画像を優先して表示し、全ての該パラメータが所定の類似度以上類似する撮影画像が検索されない場合は、所定の類似度以上類似する該パラメータの数が多い撮影画像を表示する工程と、
を含む画像表示方法であることを特徴とする。

また、上述した課題を解決するために請求項１３記載の発明は、
コンピュータに対して、
撮影位置及び／又は撮影方向の情報が付加されている複数の撮影画像のうち、選択された画像に付加されている付加情報を参照してその撮影位置及び／又は撮影方向を特定する機能と、
前記選択された画像内に写し込まれている被写体を認識する機能と、
前記特定された撮影位置及び／又は撮影方向並びに前記認識された被写体に基づき、前記選択された画像と前記複数の撮影画像とが所定の類似度以上類似するか否かを判別し、この判別結果から前記撮影位置及び／又は撮影方向並びに前記被写体のうちのどのパラメータが所定の類似度以上類似するかにより分類することで、類似する撮影画像を検索する機能と、
前記検索された撮影画像のうち、前記パラメータの全てが所定の類似度以上類似する撮影画像を優先して表示し、全ての該パラメータが所定の類似度以上類似する撮影画像が検索されない場合は、所定の類似度以上類似する該パラメータの数が多い撮影画像を表示する機能と、
を実現させるためのプログラムであることを特徴とする。

本発明によれば、同じ場所で時を経て撮影された各画像を見比べてそれらの変化具合を確認するのに適した画像表示をユーザに負担をかけずに実現することができ、利便性に富んだものとなる。

画像表示装置として適用した再生専用機としてのデジタルフォトフレームの基本的な構成要素を示したブロック図。 ユーザ操作により任意の選択された選択画像に基づいて画像を検索した場合の検索結果を示した図。 画像検索処理の検索結果に基づいて作成した画像リスト（類似画像リスト及び参考画像リスト）と、その画像リストをどのように表示させるかを示す表示形式を選択するための表示フラグを説明するための図。 電源投入に応じて実行開始され、本実施形態の特徴部分におけるデジタルフォトフレームの動作概要を示したフローチャート。 図４の動作に続くフローチャート。 検索処理（図５のステップＡ２９、Ａ３１、Ａ３３）を詳述するためのフローチャート。

以下、図１〜図６を参照して本発明の実施形態を説明する。
この実施形態は、画像表示装置として適用した再生専用機としてのデジタルフォトフレームの基本的な構成要素を示したブロック図である。
デジタルフォトフレームは、好みの場所に自由に設置可能なスタンドタイプや壁掛けタイプで、複数の画像データを順次読み出して再生するスライドショー機能、複数の画像データをサムネイル一覧表示する一覧機能、画像データを受信取得する通信機能、現在日時を計測する計時機能などを備えたもので、制御部１を中核として動作する構成となっている。制御部１は、電源部（例えば、商用電源又は二次電池）２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのデジタルフォトフレームの全体動作を制御する中央演算処理装置やメモリ（図示省略）などを有している。記憶部３は、例えば、ＲＯＭ、ＲＡＭ、ハードディスク、フラッシュメモリなどの２以上を組み合わせた構成で、プログラム記憶部Ｍ１、画像データ記憶部Ｍ２、一時情報記憶部Ｍ３などを有している。

プログラム記憶部Ｍ１は、図４〜図６に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているほか、それに必要となる各種の情報が記憶されている。画像データ記憶部Ｍ２は、撮像装置（図示省略）で撮影された各撮影画像（静止画データ、動画データ）を再生用として保存記憶する領域であり、各画像データをファイル形式で記憶するようにしている。なお、メモ帳やアドレス帳（図示省略）などに記憶されている画像データも含めて画像データ記憶部Ｍ２に記憶するようにしてもよい。この各画像データの付加情報（例えば、ファイルヘッダ情報）には、「撮影位置」、「撮影方向」、「撮影日時」、「撮影条件」の項目を有している。「撮影位置」は、例えば、上述の撮像装置が撮像時に取得した経緯度情報（ＧＰＳ情報）である。また、「撮影方向」は、撮影位置から被写体への方向である。「撮影日時」は、年月日時分秒情報であり、「撮影条件」は、撮影機材、露出設定などである。一時情報記憶部Ｍ３は、フラグ情報、画面情報など、このデジタルフォトフレームが動作するために必要となる各種の情報を一時的に記憶するワーク領域である。

表示部４は、例えば、高精細液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイ、電気泳動型ディスプレイ（電子ペーパ）などを使用し、例えば、画像データを高精細に表示するもので、制御部１は、画像データ記憶部Ｍ２に記憶されている画像データを読み出して表示部４に表示させる。この表示部４は、その表面に指の接触を検出する接触操作部（透明なタッチパネル）を積層配設されており、例えば、静電容量方式、抵抗膜方式、圧電方式などのタッチスクリーン（タッチ画面）を構成する。このタッチ画面に初期メニュー画面が表示されている状態において、そのメニュー画面の中から所望するメニュー項目の位置がタッチ（選択）されると、制御部１は、タッチ（選択）されたメニュー項目に対応する処理を実行する。操作部５は、図示省略したが、例えば、電源をオン／オフさせるキーなどを備え、制御部１は、この操作部５からの入力操作信号に応じた処理を行う。

カードＩＦ（インターフェース）６は、カードスロット（図示省略）に挿入接続されたメモリカード（図示省略）との間で画像データの送受信を行うもので、撮像装置（図示省略）で撮影された各画像データを、メモリカード（例えば、ＳＤカード）を介して取得するが、その際、制御部１は、カードＩＦ６に接続されたメモリカードから画像データを読み出すようにしている。なお、図示しないが、ＵＳＢ（Universal Serial Bus）インタフェースを設け、ＵＳＢメモリから画像データを読み出してもよい。

通信部７は、そのアンテナＡＴを介してネットワーク８に接続可能なもので、このネットワーク８は、例えば、無線ＬＡＮ（構内ネットワーク）又は公衆移動体通信網（公衆無線回線）であり、例えば、自宅側又は通信事業者側などの記憶装置９に接続されている。すなわち、このネットワーク８には、複数台の記憶装置９が接続されており、制御部１は、ネットワーク８を介して外部の記憶装置９に画像データ（撮影画像）をアップロードしたり、外部の記憶装置９から画像データをダウンロードしたりするが、その際、そのいずれかの記憶装置９を任意に指定して、その記憶装置９との間で画像データを送受信するようにしている。また、外部の記憶装置９内の画像データに付加されている付加情報は、「撮影位置」、「撮影方向」、「撮影日時」のほか、撮影機材、露出設定などの「撮影条件」の項目を有している。デジタルフォトフレームは、ネットワーク８を介して外部の記憶装置９に接続されている状態において、この外部の記憶装置９に画像データを格納したり、記憶装置９から画像データを読み出したりするシンクライアント端末として機能するようになる。

図２は、ユーザ操作により任意の選択された選択画像に基づいて画像を検索した場合の検索結果を示した図である。
画像データ記憶部Ｍ２から読み出した画像データ、カードＩＦ６を介してメモリカードから読み出した画像データ、通信部７からネットワーク８を介して受信取得した画像データの中からユーザ操作により任意の画像が選択されると、制御部１は、その選択画像に付加されている付加情報を参照して、その撮影位置及び撮影方向を特定するほか、この選択画像を解析することにより選択画像内に写し込まれている被写体を認識した後、この撮影位置、撮影方向、認識した被写体に基づいて、画像データ記憶部Ｍ２、メモリカード、外部の各記憶装置９の内容をそれぞれ検索するようにしている。この場合、撮影位置及び撮影方向並びに被写体に類似する画像を検索するようにしているが、その際、それらに所定の類似度以上に類似する画像を検索するようにしている。その結果、所定の類似度以上に類似する画像を検索することができた場合には、この検索画像を選択画像に対する“類似画像”として読み出し、また、撮影位置及び撮影方向には類似するが、被写体には類似していない場合には、この検索画像を選択画像に対する“参考画像”として読み出すようにしている。

図３は、上述した画像検索処理の検索結果に基づいて作成した画像リスト（類似画像リスト及び参考画像リスト）と、その画像リストをどのように表示させるかを示す表示形式を選択するための表示フラグを説明するための図である。
制御部１は、画像検索処理により得られた画像データが“類似画像”であれば、類似画像リストＬ１に追加登録し、“参考画像”であれば、参考画像リストＬ２に追加登録することにより画像リスト（類似画像リスト、参考画像リスト）を作成するようにしている。なお、各画像リストＬ１、Ｌ２には、その入手先が画像データ記憶部Ｍ２であれば、“内蔵”の情報を付加するようにし、入手先がメモリカードであれば、複数枚のカードのいずれであるかを示すために“カード（１）”又はカード（２）のように情報を付加するようにし、入手先が外部の記憶装置９であれば、複数台の記憶装置９のいずれであるかを示すために“外部（１）又は外部（２）”の情報を付加するようにしている。

この画像リスト（類似画像リスト、参考画像リスト）Ｌ１、Ｌ２を表示させる場合に、この実施形態においては、画像リストをどのように表示させるかを示す表示形式を、ユーザ操作により任意に選択可能としている。すなわち、表示フラグＦの値が“０”のときには、画像リストの内容を撮影日時が古い順にスライドショー表示させる表示形式を選択し、表示フラグＦの値が“１”のときには、画像リストの内容を撮影日時が新しい順にスライドショー表示させる表示形式を選択し、表示フラグＦの値が“２”のときには、画像リストの内容をサムネイル一覧表示させる表示形式を選択するようにしている。

次に、本実施形態におけるデジタルフォトフレームの動作概念を図４〜図６に示すフローチャートを参照して説明する。ここで、このフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。

図４及び図５は、本実施形態の特徴部分におけるデジタルフォトフレームの動作概要を示したフローチャートで、電源投入に応じて実行開始される。
先ず、各種のメモリをクリアするなどの初期化処理を実行した後（図４のステップＡ１）、表示部４に初期メニュー画面を表示させる（ステップＡ２）。このメニュー画面には、“画像一覧表示”、“スライドショー表示”、“類似画像検索”、“その他”の各メニュー項目が表示され、ユーザは、その中から任意の項目位置に対してタッチ操作を行う。

いま“画像一覧表示”の項目位置をタッチする操作（一覧表示操作）が行われたときには（ステップＡ３でＹＥＳ）、記憶部３内の画像データ記憶部Ｍ２に記憶されている画像データをアクセスすると共に（ステップＡ４）、カードＩＦ６を介してメモリーカードをアクセスし（ステップＡ５）、更に外部の記憶装置９に記憶されている当該ユーザ対応の画像データを通信部７からネットワーク８を介してアクセスする（ステップＡ６）。そして、画像データ記憶部Ｍ２内の各画像データ、メモリーカード内の各画像データ、外部の記憶装置９内の各画像データをそれぞれサムネイル画像に変換して表示部４に一覧表示させる（ステップＡ７）。なお、表示部４の１画面内に全ての画像データを収めることができなかった場合には、画面切り換え操作やスクロール操作により、この一覧表示の内容を自由に変更することが可能となっている。

この状態において、一覧画面の中からユーザの所望する任意のサムネイル画像を選択するためにその表示位置をタッチする操作（サムネイル選択操作）が行われたかを調べたり（ステップＡ８）、一覧表示の終了を指示する終了操作が行われたかを調べたりしながら操作待ち状態となる（ステップＡ９）。いま、サムネイル選択操作が行われたときには（ステップＡ８でＹＥＳ）、選択された画像を表示する画面に切り替えた後（ステップＡ１０）、この選択画像を一時情報記憶部Ｍ３に一時記憶させる（ステップＡ１１）。そして、選択画像の表示終了を指示する終了操作に応答して（ステップＡ１２でＹＥＳ）、上述のメニュー表示に戻る（ステップＡ２）。また、一覧表示終了操作が行われたときにも（ステップＡ９でＹＥＳ）、上述のメニュー表示に戻る（ステップＡ２）。

また、メニュー画面の中から“スライドショー表示”の項目位置をタッチする操作（スライドショー操作）が行われたときには（ステップＡ１３でＹＥＳ）、画像データ記憶部Ｍ２に記憶されている画像データをアクセスすると共に（ステップＡ１４）、カードＩＦ６を介してメモリーカードをアクセスし（ステップＡ１５）、更に外部の記憶装置９に記憶されている各画像データを通信部７からネットワーク８を介してアクセスする（ステップＡ１６）。そして、画像データ記憶部Ｍ２内の各画像データ、メモリーカード内の各画像データ、外部の記憶装置９内の各画像データを表示部４に順次表示させるスライドショー表示を開始させる（ステップＡ１７）。そして、スライドショー表示の一時停止操作が行われたかを調べたり（ステップＡ１８）、スライドショー表示の終了を指示する終了操作が行われたかを調べたりしながら操作待ち状態となる（ステップＡ１９）。

いま、一時停止操作が行われたときには（ステップＡ１８でＹＥＳ）、一時停止操作時の画像を選択画像としてそのまま停止表示させる（ステップＡ２０）。そして、この停止表示された画像を選択画像として一時情報記憶部Ｍ３に一時記憶させた後（ステップＡ２１）、この選択画像の表示終了を指示する終了操作に応答して（ステップＡ２２でＹＥＳ）、上述のメニュー表示に戻る（ステップＡ２）。また、スライドショー表示終了操作が行われたときにも（ステップＡ１９でＹＥＳ）、上述のメニュー表示に戻る（ステップＡ２）。

一方、メニュー画面内の“画像一覧表示”、“スライドショー表示”の項目以外の項目位置がタッチする操作が行われたときには（ステップＡ１３でＮＯ）、“類似画像検索”の項目位置をタッチする操作（類似画像検索操作）が行われたのかを調べたり（図５のステップＡ２３）、“その他”の項目位置をタッチする操作（その他の操作）が行われたのかを調べたりする（ステップＡ２４）。いま、その他の操作が行われたときには（ステップＡ２４でＹＥＳ）、操作に応じたその他の処理として、例えば、画像データ記憶部Ｍ２に画像データを登録したり、画像データ記憶部Ｍ２から不要の画像データを削除したりする処理を行った後（ステップＡ２５）、図４のステップＡ２に戻る。

類似画像検索操作が行われたときには（ステップＡ２３でＹＥＳ）、一時情報記憶部Ｍ３内の選択画像に付加されている付加情報から「撮影位置」、「撮影方向」、「撮影日時」、「撮影条件」を取得する（ステップＡ２６）。そして、選択画像を解析することにより選択画像内に写し込まれている被写体（例えば、人物、ペットなど）を認識する（ステップＡ２７）。すなわち、選択画像を解析して被写体部分を特定してその特徴を抽出し、予め人物、ペットなどを撮影して登録しておいた登録画像の特徴と比較することにより被写体を認識する処理を行う。その後、画像データ記憶部Ｍ２内に記憶されている各画像データをアクセスして（ステップＡ２８）、その画像データを検索する検索処理を行い（ステップＡ２９）、カードＩＦ６を介してメモリーカードにアクセスして（ステップＡ３０）、その画像データを検索する検索処理を行い（ステップＡ３１）、更に外部の記憶装置９に記憶されている各画像データを通信部７からネットワーク８を介してアクセスして（ステップＡ３２）、その画像データを検索する検索処理を行う（ステップＡ３３）。

図６は、検索処理（図５のステップＡ２９、Ａ３１、Ａ３３）を詳述するためのフローチャートである。
先ず、制御部１は、画像データ記憶部Ｍ２内の各画像データ、メモリーカード内の各画像データ、外部の記憶装置９内の各画像データを検索対象として、その検索対象画像のいずれかを指定し、この指定画像に付加されている付加情報から「撮影日時」を読み出す（ステップＢ１）。そして、現在日時を取得し（ステップＢ２）、その「撮影日時」は現在日時から所定期間以上（例えば、１０年以上）経過していないか、つまり古過ぎる画像であるかを調べる（ステップＢ３）。

ここで、撮影から所定期間以上経過した古過ぎる画像であれば（ステップＢ３でＮＯ）、その指定画像を検索対象外とするためにステップＢ１２に移るが、所定期間内に撮影された画像であれば（ステップＢ３でＹＥＳ）、その指定画像の付加情報から「撮影位置」、「撮影方向」を読み出して（ステップＢ４）、選択画像の「撮影位置」、「撮影方向」と比較し、指定画像の「撮影位置」、「撮影方向」と選択画像の「撮影位置」、「撮影方向」とは所定の類似度以上に類似しているかを判別する（ステップＢ５）。ここで、所定の類似度以上の類似とは、両方の画像が略同じ場所で撮影されたことを確認できる程度として「撮影位置」及び「撮影方向」が略同様であればよい。

いま、指定画像と選択画像との「撮影位置」、「撮影方向」が所定の類似度以上に類似していなければ（ステップＢ５でＮＯ）、別の場所で撮影された画像であると判断して、その指定画像を検索対象外とするためにステップＢ１２に移る。また、指定画像と選択画像との「撮影位置」及び「撮影方向」が所定の類似度以上に類似していれば（ステップＢ５でＹＥＳ）、指定画像の付加情報から「撮影条件」を読み出し（ステップＢ６）、選択画像の「撮影条件」と比較して、指定画像の「撮影条件」と選択画像の「撮影条件」とは合致するかを判別する（ステップＢ７）。

ここで、指定画像と選択画像との「撮影条件」が合致していなければ（ステップＢ７でＮＯ）、その指定画像を検索対象外とするためにステップＢ１２に移るが、指定画像と選択画像との「撮影条件」が合致していれば（ステップＢ７でＹＥＳ）、指定画像内に写し込まれている被写体（例えば、人物、ペットなど）を認識し（ステップＢ８）、選択画像の被写体と比較して、所定の類似度以上に類似する被写体であるかを判別する（ステップＢ９）。いま、指定画像と選択画像とは「撮影位置」及び「撮影方向」のほか、被写体同士も所定の類似度以上に類似していれば（ステップＢ９でＹＥＳ）、その指定画像をその「撮影日時」と共に類似画像リストＬ１に追加する（ステップＢ１０）。

また、指定画像と選択画像とは「撮影位置」及び「撮影方向」とは類似しているが、被写体同士が所定の類似度以上に類似していなければ（ステップＢ９でＮＯ）、その指定画像をその「撮影日時」と共に参考画像リストＬ２に追加する（ステップＢ１１）。そして、ステップＢ１２に移り、画像データ記憶部Ｍ２内の各画像データ、メモリーカード内の各画像データ、外部の記憶装置９内の各画像データの中から、次の画像データを指定する（ステップＢ１２）。そして、未指定の画像が残っていないかを調べ（ステップＢ１３）、未指定の画像が残っていれば（ステップＢ１３でＮＯ）、最初のステップＢ１に移り、以下、全ての画像データを指定し終わるまで上述の動作を繰り返す。

このように検索処理（図５のステップＡ２９、Ａ３１、Ａ３３）が終わると、類似画像リストＬ１にデータが存在しているかを調べたり（ステップＡ３４）、参考画像リストＬ２にデータが存在しているかを調べたりする（ステップＡ３５）。いま、いずれの画像リストＬ１、Ｌ２にもデータが存在していなければ（ステップＡ３５でＮＯ）、メニュー画面を表示する図４のステップＡ２に戻るが、類似画像リストＬ１にデータが存在していれば（ステップＡ３４でＹＥＳ）、表示フラグＦを参照し、その値は“１”であるか（ステップＡ３６）、“２”又は“０”であるかを調べる（ステップＡ３７）。ここで、表示フラグＦの値が“１”であれば（ステップＡ３６でＹＥＳ）、類似画像リストＬ１内の各画像データの「撮影日時」を参照して、撮影の古い順に各画像データをその「撮影日時」と共にスライドショー表示させる動作を開始させる（ステップＡ３８）。

また、表示フラグＦの値が“２”であれば（ステップＡ３７でＹＥＳ）、類似画像リストＬ１内の各画像の「撮影日時」を参照して、撮影の新しい順に各画像データをその「撮影日時」と共にスライドショー表示させる動作を開始させる（ステップＡ３９）。このようにしてスライドショー表示を開始させた後は（ステップＡ３８、Ａ３９）、図４のステップＡ１８に戻り、一時停止操作又はスライドショー表示の終了操作の待ち状態となる（図４のステップＡ１８、Ａ１９）。

また、表示フラグＦの値が“０”であれば（ステップＡ３７でＮＯ）、類似画像リストＬ１内の各画像データをその「撮影日時」と共に一覧表示させる（ステップＡ４０）。その後、図４のステップＡ８に戻り、サムネイル選択操作又は一覧表示終了操作の待ち状態となる（図４のステップＡ８、Ａ９）。一方、参考画像リストＬ２にデータが存在している場合には（ステップＡ３５でＹＥＳ）、参考画像リストＬ２内の各画像データをその「撮影日時」と共に一覧表示させる（ステップＡ４１）。その後、図４のステップＡ８に戻り、サムネイル選択操作又は一覧表示終了操作の待ち状態となる（図４のステップＡ８、Ａ９）。

以上のように、この実施形態において制御部１は、選択された画像の付加情報を参照して、その撮影位置及び撮影方向を特定するほか、この選択画像内に写し込まれている被写体を認識し、特定した撮影位置及び撮影方向と、認識した被写体に基づいて画像検索を行い、撮影位置及び撮影方向並びに被写体に所定の類似度以上に類似する画像を表示するようにしたので、同じ場所を時を経て撮影された各画像を見比べてそれらの変化具合を確認するのに適した画像表示をユーザに負担をかけずに実現することができ、利便性に富んだものとなる。例えば、毎年誕生日に同じ場所で撮影された子供の写真を見比べることでその成長具合が一目分かり、また祭りの山車のように定期的に行われるイベントの特定の被写体を見比べることでその変化具合が一目分かるといった効果がある。

撮影日時が現在日時から所定期間以上経過した画像を検索対象外とするようにしたので、古過ぎて比較の対象とならないような画像を検索対象から排除することができ、それだけ検索効率を良くすることができるほか、被写体の認識率も高めることも可能となる。

撮影位置及び撮影方向が所定の類似度以上に類似する撮影画像であり、かつ、撮影条件が所定の条件を満たす画像を検索するようにしたので、同じ撮影機材や露出設定などで撮影した画像だけを検索対象として限定することができ、それだけ検索効率を良くすることができるほか、被写体の認識率も高めることも可能となる。

検索画像と共にその撮影日時も併せて表示するようにしたので、ユーザにあっては何時撮影した画像であるかを一目で分かるようになる。

複数の画像をその撮影日時に応じた順に表示するようにしたので、日時の新しい順や古い順に連続して表示することができ、時の経過に応じた移り変わり具合（成長具合や発展具合など）を順次確認することが可能となる。

検索した複数の画像を一覧表示するようにしたので、移り変わり具合を同一画面上で見比べることができる。

記憶部３に記憶されている複数の画像、カードＩＦ６を介してメモリカードに記憶されている複数の画像を検索対象とするようにしたので、デジタルフォトフレームに内蔵されている全ての画像を検索対象とすることができる。

通信部７からネットワーク８を介して接続した外部の記憶装置９内の画像を検索対象とするようにしたので、デジタルフォトフレーム本体のメモリ容量を超えた膨大な数の画像も含めて検索対象とすることができる。

撮影位置及び撮影方向並びに被写体に類似する画像を類似画像として検索するほか、撮影位置及び撮影方向には類似するが、被写体には類似しない画像を参考画像として検索するようにしたので、参考画像の検索によりユーザにあっては予期していなかった画像を見つけることができる可能性もあり、楽しみを広げることができる。

検索した各画像を予め任意にユーザ指定された表示形式に基づいて表示するようにしたので、時間をかけて各画像を見比べるか、短時間に変化具合を確認するかなどに応じた表示を選択することができ、柔軟性に富んだものとなる。

なお、上述した実施形態においては、無秩序に撮影された画像を表示する場合を例示したが、所定の場所を定期的に撮影された画像を表示して観測する定点観測にも同様に適用することもできる。

上述した実施形態においては、画像表示装置としてデジタルフォトフレームに適用した場合を示したがパーソナルコンピュータ（ＰＣ）、携帯電話機、卓上電子計算機、ハンディターミナル、腕時計、ＰＤＡ、デジタルカメラ、音楽プレイヤーなどに適用するようにしてもよい。

その他、上述した実施形態において示した“装置”や“機”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

１ 制御部
３ 記憶部
４ 表示部
５ 操作部
６ カードＩＦ
７ 通信部
８ ネットワーク
９ 外部の記憶装置
Ｍ１ プログラム記憶部
Ｍ２ 画像データ記憶部

Claims (13)

1. 撮影画像を表示する画像表示装置であって、
   撮影位置及び／又は撮影方向の情報が付加されている複数の撮影画像のうち、選択された画像に付加されている付加情報を参照してその撮影位置及び／又は撮影方向を特定する特定手段と、
   前記選択された画像内に写し込まれている被写体を認識する認識手段と、
   前記特定手段により特定された撮影位置及び／又は撮影方向並びに前記認識手段により認識された被写体に基づき、前記選択された画像と前記複数の撮影画像とが所定の類似度以上類似するか否かを判別し、この判別結果から前記撮影位置及び／又は撮影方向並びに前記被写体のうちのどのパラメータが所定の類似度以上類似するかにより分類することで、類似する撮影画像を検索する画像検索手段と、
   前記画像検索手段により検索された撮影画像のうち、前記パラメータの全てが所定の類似度以上類似する撮影画像を優先して表示し、全ての該パラメータが所定の類似度以上類似する撮影画像が検索されない場合は、所定の類似度以上類似する該パラメータの数が多い撮影画像を表示する表示手段と、
   を具備したことを特徴とする画像表示装置。
2. 前記特定手段は、前記選択された画像に付加されている付加情報に付加されている付加情報を参照して、前記画像検索手段が撮影画像を検索するための撮影位置及び／又は撮影方向を特定する、
   ようにしたことを特徴とする請求項１記載の画像表示装置。
3. 前記各撮影画像の付加情報は、撮影日時を更に含み、
   前記画像検索手段は、前記撮影日時が現在日時から所定期間以上経過した画像を検索対象外とする、
   ようにしたことを特徴とする請求項１あるいは請求項２に記載の画像表示装置。
4. 前記各撮影画像の付加情報は、撮影条件を更に含み、
   前記画像検索手段は、前記撮影位置及び／又は撮影方向が所定の類似度以上に類似する撮影画像であり、かつ、前記撮影条件が所定の条件を満たす撮影画像を検索する、
   ようにしたことを特徴とする請求項１〜３のいずれかに記載の画像表示装置。
5. 前記各撮影画像の付加情報は、撮影日時を更に含み、
   前記表示手段は、前記画像検索手段により検索された撮影画像を表示する場合に、その撮影画像の付加情報に含まれている前記撮影日時も併せて表示する、
   ようにしたことを特徴とする請求項１〜４のいずれかに記載の画像表示装置。
6. 前記各撮影画像の付加情報は、撮影日時を更に含み、
   前記表示手段は、前記画像検索手段により検索された複数の撮影画像を表示する場合に、その撮影画像の付加情報に含まれている前記撮影日時に応じた順に表示する、
   ようにしたことを特徴とする請求項１〜５のいずれかに記載の画像表示装置。
7. 前記表示手段は、前記画像検索手段により検索された複数の撮影画像を一覧表示する、
   ようにしたことを特徴とする請求項１〜５のいずれかに記載の画像表示装置。
8. 複数の撮影画像を記憶する記憶手段を更に備え、
   前記画像検索手段は、前記記憶手段に記憶されている複数の撮影画像を検索対象とする、
   ようにしたことを特徴とする請求項１〜７のいずれかに記載の画像表示装置。
9. 通信手段を更に備え、
   前記画像検索手段は、前記通信手段を介して外部の記憶装置に記憶されている複数の撮影画像を検索対象とする、
   ようにしたことを特徴とする請求項１〜８のいずれかに記載の画像表示装置。
10. 前記画像検索手段は、前記撮影位置及び／又は撮影方向並びに前記被写体に所定の類似度以上類似する撮影画像を類似画像として分類、検索し、前記撮影位置及び／又は撮影方向に所定の類似度以上類似するが、前記被写体には所定の類似度以上は類似しない撮影画像を参考画像として分類、検索し、
    前記表示手段は、前記類似画像を優先して表示し、該類似画像が検索されない場合は、前記参考画像を表示する、
    ようにしたことを特徴とする請求項１に記載の画像表示装置。
11. 前記表示手段は、前記画像検索手段により検索された複数の撮影画像を予め任意にユーザ指定された表示形式に基づいて表示する、
    ようにしたことを特徴とする請求項１〜１０のいずれかに記載の画像表示装置。
12. 撮影位置及び／又は撮影方向の情報が付加されている複数の撮影画像のうち、選択された画像に付加されている付加情報を参照してその撮影位置及び／又は撮影方向を特定する工程と、
    前記選択された画像内に写し込まれている被写体を認識する工程と、
    前記特定された撮影位置及び／又は撮影方向並びに前記認識された被写体に基づき、前記選択された画像と前記複数の撮影画像とが所定の類似度以上類似するか否かを判別し、この判別結果から前記撮影位置及び／又は撮影方向並びに前記被写体のうちのどのパラメータが所定の類似度以上類似するかにより分類することで、類似する撮影画像を検索する工程と、
    前記検索された撮影画像のうち、前記パラメータの全てが所定の類似度以上類似する撮影画像を優先して表示し、全ての該パラメータが所定の類似度以上類似する撮影画像が検索されない場合は、所定の類似度以上類似する該パラメータの数が多い撮影画像を表示する工程と、
    を含む画像表示方法。
13. コンピュータに対して、
    撮影位置及び／又は撮影方向の情報が付加されている複数の撮影画像のうち、選択された画像に付加されている付加情報を参照してその撮影位置及び／又は撮影方向を特定する機能と、
    前記選択された画像内に写し込まれている被写体を認識する機能と、
    前記特定された撮影位置及び／又は撮影方向並びに前記認識された被写体に基づき、前記選択された画像と前記複数の撮影画像とが所定の類似度以上類似するか否かを判別し、この判別結果から前記撮影位置及び／又は撮影方向並びに前記被写体のうちのどのパラメータが所定の類似度以上類似するかにより分類することで、類似する撮影画像を検索する機能と、
    前記検索された撮影画像のうち、前記パラメータの全てが所定の類似度以上類似する撮影画像を優先して表示し、全ての該パラメータが所定の類似度以上類似する撮影画像が検索されない場合は、所定の類似度以上類似する該パラメータの数が多い撮影画像を表示する機能と、
    を実現させるためのプログラム。

Images