JP5868776B2 - 画像表示装置、およびコンピュータプログラム - Google Patents

Description

本発明は、カメラにより撮影された画像を表示画面に表示する画像表示装置、および画像表示装置に動作制御させるためのコンピュータプログラムに関する。

従来から、デジタルカメラなど（以下、「カメラなど」という。）を用いて画像を撮影する際、撮影日時や撮影場所の位置座標情報などの撮影状況情報を撮影画像に重畳して表示したり、撮影された画像を撮影状況情報と対応付けて記憶メモリに記憶したりする撮像装置が知られている。

下記特許文献１に示すように、かかる撮像装置は、外光パッシブ方式などの測距装置によって得られる複数の測距点の値に基づいて距離画像を作成し、この距離画像に基づいて抽出された人物などの位置座標情報を算出し、人物などの固有の情報を主被写体情報として抽出し、これら位置座標情報と主被写体情報とを記録媒体に記録するという構成を備えている。

このような撮像装置によると、主被写体の撮影画像上での位置座標情報を算出することができ、当該位置座標と、主被写体の有する固有の情報とを撮影画像とともに記録することができる。

ここで、従来の撮像装置においては、主被写体の有する固有の情報として抽出できる情報は、画像から算出可能な主被写体の大きさや、画像のもつ物理的特徴量から推定できる事項（例えば主被写体が人物であるか否か）などであり、主被写体の名称など、何を撮影したのかが特定できる情報を記録する手段としては、ユーザが改めて情報を入力するしかなかった。このような画像撮影装置によると、ユーザが初めて行った場所などで撮影した画像の情報を把握していない場合、ユーザは、画像に写っている地物（例えば湖の一部や外観が特徴的なビルなど）の名称を判別することができないため、目的と異なる地物の画像を記録してしまうという問題があった。

このような問題を解決すべく、本出願人は、カメラにより撮影された画像を表示装置の表示画面に表示する撮像装置（画像表示装置）が、カメラにより撮影された画像に応じた地物特定情報（位置や名称など地物を特定するための情報）を検索し、検索した地物特定情報と撮影された画像とを重畳して表示画面に表示するようにしたものを提案している（例えば、特許文献２参照）。

特開２００５−１２３０７号公報 特開２０１１−４１１４５号公報

しかしながら、上述した従来の画像表示装置では、カメラにより撮影された画像に応じた地物を特定できない場合（例えば、画像に応じた地物特定情報が検索できなかった場合や、画像に応じた地物特定情報として検索した地物特定情報が多すぎて、どの地物特定情報が適切なのか判断が困難な場合）に、撮影者（ユーザ）に対して有用な情報を提供できないという問題があった。

本発明は、上記課題を解決するためになされたものであって、カメラなどにより地物を撮影する際に、地物を特定できない場合であってもユーザに対して有用な情報を提供することができるようすることを目的とする。

本発明の画像表示装置は、カメラにより撮影された画像を表示装置の表示画面に表示する画像表示装置であって、位置や名称を含む情報により地物を特定するための地物特定情報を記憶する地物特定情報記憶手段と、予め各方位に対応付けされた方位画像を示す方位画像情報を記憶する方位画像情報記憶手段と、前記カメラの撮影方位を検出する方位検出手段と、前記カメラにより撮影された画像に応じた前記地物特定情報を検索する地物特定情報検索手段と、該地物特定情報検索手段により検索された地物特定情報の数が所定数未満であるか否かを判定する地物特定情報数判定手段と、該地物特定情報数判定手段が前記所定数未満であると判定した場合に、前記撮影方位をユーザに報知するための撮影方位画像を示す撮影方位画像情報であって、前記撮影方位に応じた方位画像情報を含む当該撮影方位画像情報を作成する撮影方位画像情報作成手段と、該撮影方位画像情報作成手段により作成された撮影方位画像情報に基づいて、前記撮影された画像に前記撮影方位画像を重畳表示する撮影方位画像表示手段とを含むことを特徴とする。

上記の構成としたことで、カメラなどにより地物を撮影する際に、地物を特定できない場合であってもユーザに対して有用な情報を提供することができるようになる。

また、本発明の画像表示装置は、カメラにより撮影された画像を表示装置の表示画面に表示する画像表示装置であって、位置や名称を含む情報により地物を特定するための地物特定情報を記憶する地物特定情報記憶手段と、前記カメラの撮影方位を検出する方位検出手段と、前記カメラにより撮影された画像に応じた前記地物特定情報を検索する地物特定情報検索手段と、該地物特定情報検索手段により検索された地物特定情報の数が所定数未満であるか否かを判定する地物特定情報数判定手段と、該地物特定情報数判定手段が前記所定数未満であると判定した場合に、前記撮影方位をユーザに報知するための撮影方位画像を示す撮影方位画像情報を作成する撮影方位画像情報作成手段と、該撮影方位画像情報作成手段により作成された撮影方位画像情報に基づいて、前記撮影された画像に前記撮影方位画像を重畳表示する撮影方位画像表示手段と、前記地物特定情報検索手段により検索された地物特定情報と前記撮影された画像とを重畳して前記表示画面に表示する地物特定情報表示手段とを含み、該地物特定情報表示手段は、前記地物特定情報数判定手段が前記所定数未満でないと判定した場合に、前記検索された地物特定情報と前記撮影された画像とを重畳して前記表示画面に表示することを特徴とする。

予め各方位に対応付けされた方位画像を示す方位画像情報を記憶する方位画像情報記憶手段を含み、前記撮影方位画像情報作成手段は、前記撮影方位に応じた方位画像情報を含む撮影方位画像情報を作成する構成としてもよい。

前記表示画面上に地図を表示するための地図情報を記憶する地図情報記憶手段と、撮影地点を特定する撮影地点特定手段を含み、前記撮影方位画像情報作成手段は、前記撮影地点を含む地図情報を検索する地図情報検索手段を有し、該地図情報検索手段により検索された地図情報を用いて前記撮影方位画像情報を作成する構成としてもよい。

前記所定数は１である構成としてもよい。

また、本発明の画像表示プログラムは、カメラにより撮影された画像を表示装置の表示画面に表示するように画像表示装置に動作制御させるための画像表示プログラムであって、前記画像表示装置に、前記カメラの撮影方位を検出する方位検出処理と、位置や名称を含む情報により地物を特定するための地物特定情報を記憶する地物特定情報記憶手段に記憶された地物特定情報の中から、前記カメラにより撮影された画像に応じた前記地物特定情報を検索する地物特定情報検索処理と、該地物特定情報検索処理にて検索した地物特定情報の数が所定数未満であるか否かを判定する地物特定情報数判定処理と、該地物特定情報数判定処理にて前記所定数未満であると判定した場合に、前記撮影方位をユーザに報知するための撮影方位画像を示す撮影方位画像情報であって、予め各方位に対応付けされた方位画像を示す方位画像情報を記憶する方位画像情報記憶手段に記憶された方位画像情報のうち前記撮影方位に応じた方位画像情報を含む当該撮影方位画像情報を作成する撮影方位画像情報作成処理と、該撮影方位画像情報作成処理にて作成した撮影方位画像情報に基づいて、前記撮影された画像に前記撮影方位画像を重畳表示する撮影方位画像表示処理とを実行させるためのものである。
さらに、本発明の画像表示プログラムは、カメラにより撮影された画像を表示装置の表示画面に表示するように画像表示装置に動作制御させるための画像表示プログラムであって、前記画像表示装置に、
前記カメラの撮影方位を検出する方位検出処理と、位置や名称を含む情報により地物を特定するための地物特定情報を記憶する地物特定情報記憶手段に記憶された地物特定情報の中から、前記カメラにより撮影された画像に応じた前記地物特定情報を検索する地物特定情報検索処理と、該地物特定情報検索処理にて検索した地物特定情報の数が所定数未満であるか否かを判定する地物特定情報数判定処理と、該地物特定情報数判定処理にて前記所定数未満であると判定した場合に、前記撮影方位をユーザに報知するための撮影方位画像を示す撮影方位画像情報を作成する撮影方位画像情報作成処理と、該撮影方位画像情報作成処理にて作成した撮影方位画像情報に基づいて、前記撮影された画像に前記撮影方位画像を重畳表示する撮影方位画像表示処理と、前記地物特定情報検索処理にて検索した地物特定情報と前記撮影された画像とを重畳して前記表示画面に表示する地物特定情報表示処理とを実行させ、該地物特定情報表示処理において、前記地物特定情報数判定処理にて前記所定数未満でないと判定した場合に、前記検索された地物特定情報と前記撮影された画像とを重畳して前記表示画面に表示させる処理とを実行させるためのものである。

本発明によれば、カメラなどにより地物を撮影する際に、地物を特定できない場合であってもユーザに対して有用な情報を提供することができるようになる。

本発明に係る画像表示装置を用いたデジタルカメラの構成の一例を示すブロック図である。 地物特定情報の格納状態の例を示す説明図である。 表示態様情報の格納状態の例を示す説明図である。 画像表示処理の例を示すフローチャートである。 画像表示処理の例を示すフローチャートである。 撮影空間について説明するための説明図である。 撮影方位画像が表示された表示画面の例を示す説明図である。 地図画像が表示された表示画面の例を示す説明図である。 本例における表示態様決定処理の例を示すフローチャートである。 各地物が表示画面に表示されているかを判定する方法を説明するための説明図である。 表示態様情報の格納状態の例を示す説明図である。 地図画像が表示された表示画面の例を示す説明図である。 平面範囲を検索範囲とする場合の例を示す説明図である。

以下、本発明の一実施の形態について図面を参照して説明する。なお、以下の実施の形態は、各請求項に係る発明を限定するものではなく、また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明に係る画像表示装置１０を用いたデジタルカメラ１００の構成の一例を示すブロック図である。図１に示すようにデジタルカメラ１００は、画像表示装置１０と、撮影部２０とを含む。

撮影部２０は、集光レンズ２１、エリアセンサ２２およびＡ／Ｄ変換機２３を含む。集光レンズ２１は、被写体からの光をエリアセンサ２２へ集光する。エリアセンサ２２は、例えばＣＣＤなどの光電変換素子を複数有している。エリアセンサ２２は、画素を構成する複数の撮像素子を有している。画素を構成する撮像素子は、水平方向ならびに垂直方向にマトリクス状に複数個配置されている。

画素は、それぞれ受光面側にカラーフィルタが配置されている。カラーフィルタとしては、Ｃｙ（Ｃｙａｎ）、Ｍｇ（Ｍａｇｅｎｔａ）、Ｙｅ（Ｙｅｌｌｏｗ）およびＧ（Ｇｒｅｅｎ）からなる補色フィルタが使用されている。エリアセンサ２２の各画素へ入射された光は電気信号に変換され、エリアセンサ２２から出力される。エリアセンサ２２から出力された電気信号はアナログ信号であるので、Ａ／Ｄ変換機２３でデジタルの電子データへ変換される。

また、集光レンズ２１には、後述する撮影空間特定部６０の方位情報取得部６２が接続されており、方位情報取得部６２によって集光レンズ２１の向いている方向（カメラ視線の方向）を示す撮影方位情報を取得することができる。

画像表示装置１０は、撮影部２０により撮影された画像を表示するための装置であり、記憶部３０と、処理部４０と、表示部５０と、撮影空間特定部６０と、地図情報記憶部８０と、地物特定情報記憶部８１と、表示態様情報記憶部８２と、検索部Ｆ１と表示態様決定部Ｆ２とを含む。

記憶部３０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｉ）３１およびフラッシュメモリ３２を有している。フラッシュメモリ３２は、通電しなくても記録内容を保持することができる書き換え可能な記録媒体であり、画像表示装置１０に内蔵、またはデジタルカメラ１００に着脱自在に取り付けられている。ＲＡＭ３１は、Ａ／Ｄ変換機２３から出力されたデジタルの電子データ、ならびに処理部４０で処理された画像データを一時的に記憶する。フラッシュメモリ３２は、ＲＡＭ３１に一時的に記録されている画像データを蓄積して格納・保管する。

処理部４０は、撮影部２０から出力された電子データを処理するための電気回路であり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４２および処理回路４３を有している。

ＲＯＭ４２には、ＣＰＵ４１および処理回路４３で実行されるコンピュータプログラムが記憶されている。処理回路４３は、撮影部２０から出力されたデジタルの電子データに露出補正、画素補間あるいはデータ圧縮などの各種画像処理を実行する機能を有する。処理回路４３は、画像処理を実施する画像処理専用の電子回路である。ＣＰＵ４１は、ＲＯＭ４２に記憶されたコンピュータプログラムに従い、画像表示装置１０の各構成要素を統制制御し、各種のプログラム処理を実行する。

また、処理部４０には、ユーザからの入力を受け付けるための入力部が接続されている。入力部としては、例えばユーザにより押下されたことに応じて撮影された画像の記録要求を受け付けるシャッターボタン７１と、デジタルカメラ１００における種々の機能の操作入力を受け付ける入力ボタン７２などを有する。

表示部５０は、処理部４０で処理された電子データを画像として表示するディスプレイ（モニタ）であり、例えば周知の液晶パネルが用いられる。

撮影空間特定部６０は、位置情報取得部６１と方位情報取得部６２と、３次元姿勢検出部６３とを有する。

位置情報取得部６１は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などによって撮影地点の位置情報（経度、緯度、標高）を取得する機能を有する。

方位情報取得部６２は、方位検出センサを有しており、集光レンズ２１の姿勢を検知して、集光レンズ２１の向いている方向（方位と仰角）を示す撮影方位情報を取得する機能を有する。

３次元姿勢検出部６３は、姿勢検出センサを有しており、集光レンズ２１の３次元姿勢を示す姿勢情報を取得する機能を有する。

撮影空間特定部６０は、撮影地点の位置情報と撮影方位情報と姿勢情報とに基づいて、撮影部２０により撮影される撮影空間を特定する。本例においては、撮影空間特定部６０は、撮影地点を頂点とし、所定の角度を頂角とし、集光レンズ２１の向いている方向に所定の高さを有する略錐体形状の空間を撮影空間とする。

地図情報記憶部８０は、一定の経度幅と緯度幅で区切られた矩形状の範囲（メッシュ）に分割して地図情報を記憶する記憶媒体である。地図情報は、地図情報記憶部８０に記憶されるほか、例えばＳＤメモリカードと呼ばれるリムーバルメディアとしての補助記憶装置等に保存することができる。なお、地図情報は、座標に応じた画像を表示画面に表示するために用いられる各種情報（例えば、２次元画像情報や３次元画像情報など）を含むものとする。また、現在位置や縮尺に応じた地図の表示方法などについては公知の技術を用いるので、ここでの詳細な説明は省略する。

地物特定情報記憶部８１は、地点や地物（建物、山、川、湖など）の名称、位置、大きさ、平面形状、代表的な映像データなどの情報を含む地物特定情報を記憶する記憶媒体である。

図２は、地物特定情報記憶部８１に記憶されている地物特定情報の格納状態の例を示す説明図である。図２に示すように、本例における地物特定情報は、地物ＩＤと、地物のジャンルと、地物の名称と、代表点座標と、平面形状と、高さ情報と、代表的な画像とが対応づけされた情報である。ここで、平面形状とは、地図を２次元平面（高さ情報のない２次元座標）で考えた場合に各地物が占める領域を示すためのものであり、地物の詳細な形状を示すものに限定されず、例えば「代表点座標を中心とした半径○メートルの円」というような情報であってもよいし、緯度と経度の範囲で各地物が存在する領域を示す情報であってもよい。本例においては平面形状が緯度と経度の範囲で各地物が存在する領域を示す場合を例に説明する。

表示態様情報記憶部８２は、撮影空間内に位置する地物の地物特定情報と、各地物特定情報を表示画面に表示するときの表示態様を示す情報とが対応付けされた表示態様情報を記憶するための記憶媒体である。

図３は、表示態様情報記憶部８２に記憶される表示態様情報の格納状態の例を示す説明図である。図３に示すように、表示態様情報は、地物の名称と表示態様とが対応付けされた情報である。本例においては表示態様として、「実線」、「リスト」、「破線」、「表示なし」とがあることとする。表示態様情報については、後で詳しく説明する。

検索部Ｆ１は、地物特定情報記憶部８１を参照して、撮影空間特定部６０により特定された撮影空間内に存在する地物を示す地物特定情報を検索する機能を有する。なお、ユーザにより予め検索条件を設定可能な構成として、検索処理に要する処理時間を調節可能な構成としてもよい。この場合、画像表示装置１０がユーザによる設定操作を受け付ける検索条件としては、例えば地物のジャンルや最大検索数など種々の検索条件が考えられる。

表示態様決定部Ｆ２は、撮影空間内に存在する地物の地物特定情報が検索されたことに応じて、後述する表示態様決定処理（図９参照）を実行し、表示部５０の表示画面に表示する地物特定情報の表示態様を決定する機能を有する。

次に、本例における画像表示装置１０の動作について図面を参照して説明する。なお、本発明に特にかかわらない処理については、その詳細な説明を省略している場合がある。

図４と図５は、画像表示装置１０が実行する画像表示処理の例を示すフローチャートである。画像表示処理では、撮影部２０により撮影された画像に応じた地物特定情報を検索して、各種画像（本例においては、撮影方位画像、地図画像、または地物特定情報）を表示画面に表示するための処理が行われる。本例においては、画像表示装置１０が、地物特定情報として地物の名称（すなわち、地物の名称を示す画像。地物特定画像。）を表示する場合を例にして説明を行なう。なお、本例における画像表示装置１０は、撮像素子からの出力に応じて撮影部２０がとらえた画像を略リアルタイムで表示画面に表示するライブビュー機能を有しており、「撮影部２０により撮影された画像」とは、記憶部３０に記憶される画像だけでなく、ライブビュー機能により表示部５０の表示画面に表示される画像を含む意味であることとする。

本例における画像標示処理は、例えば、処理部４０に対して撮影部２０から電子データが出力されたことに応じて開始される。画像表示処理において、先ず、処理部４０は、位置情報取得部６１により撮影地点を特定して位置情報を取得する（ステップＳ１０１）。なお、本例においては撮影地点を示す位置として撮影部２０の焦点を用いることとする。撮影地点の位置情報を取得すると、処理部４０は、方位情報取得部６２により撮影方位情報を取得する（ステップＳ１０２）。

撮影方位情報を取得すると、処理部４０は、撮影空間取得部６０により撮影空間を特定するための処理を行う（ステップＳ１０３）。

図６は、このとき特定される撮影空間について説明するための説明図である。図６に示すように、撮影空間特定部６０は、撮影地点の位置情報が示す座標を頂点Ｏ（以下、「撮影地点Ｏ」という。）とし、デジタルカメラ１００の画角を頂角θとし、デジタルカメラ１００において焦点を合わせることのできる限界距離を高さＨとする四角錐体形状の空間９０を撮影空間とする。なお、図６における点ａ〜ｅは、地物Ａ〜Ｅの代表点を示している。

撮影空間を特定すると、処理部４０は、検索部Ｆ１により撮影空間内に存在する地物を示す地物特定情報を検索する（ステップＳ１０４）。ここで、本例においては、地物特定情報における代表点座標が特定された撮影空間内に位置していることを検索条件とする場合を例にして説明を行う。すなわち、図６で示す状況においては、検索部Ｆ１は、空間９０内に代表点ａ〜ｅが位置する地物Ａ〜Ｄを検索結果として記憶する。

地物特定情報を検索すると、処理部４０は、撮影空間内に存在する地物があるか否か（すなわち、撮影空間内に存在する地物を示す地物特定情報として検索された地物特定情報があるか否か）を判定する（ステップＳ１０５）。ここで、撮影空間内に存在する地物がないと判定すると（ステップＳ１０５のＮ）、処理部４０は、撮影方位画像情報を作成する（ステップＳ１０６）。本例においては、処理部４０は、地図情報記憶部８０に記憶された地図情報の中から、撮影地点を含む地図情報（例えば、位置情報が示す地点を中心とする地図を示すむ地図情報）を検索し、検索した地図情報を用いて、撮影方位をユーザに報知するための撮影方位画像を示す撮影方位画像情報を作成する。

撮影方位画像情報を作成すると、処理部４０は、作成した撮影方位画像情報に基づいて、撮影方位画像を表示する（ステップＳ１０７）。

図７は、撮影方位画像が表示された表示画面（撮影方位画像表示画面）の例を示す説明図である。図７に示すように、撮影方位画像表示画面では、撮影部２０により撮影された画像（地物Ａ，Ｂ，Ｃを含む画像）に撮影方位画像７０１が重畳して表示される。本例においては、撮影方位画像７０１は、撮影方位が表示画面の上方（図７における紙面上方向）に配置された地図であって、撮影地点Ｐと、地物Ａ，Ｂ，Ｃに対応する画像ＭＡ，ＭＢ，ＭＣと、撮影方位を示す文字列の表示領域７０２とを含むことにより、ユーザに対して撮影方位を報知する役割を果たす。この場合、撮影方位と表示画面における地図画像の表示態様とが関連付けされた情報が撮影方位画像情報となる。

撮影方位画像を表示すると、処理部４０は、後述するステップＳ１１３の処理に移行する。

一方、撮影空間内に存在する地物があると判定すると（ステップＳ１０５のＹ）、処理部４０は、撮影空間内に存在する地物の数（すなわち、撮影空間内に存在する地物を示す地物特定情報として検索された地物特定情報の数）が予め定められた特定数以上（例えば、４つ以上）であるか否かを判定する（ステップＳ１０８）。ここで、地物の数が特定数以上であると判定すると（ステップＳ１０８のＹ）、処理部４０は、地図情報記憶部に記憶された地図情報の中から、撮影地点を含む地図情報を検索する（ステップＳ１０９）。

地図情報を検索すると、処理部４０は、検索した地図情報と検索した地物特定情報とに基づいて、地図情報が示す地図と地物特定情報とが関連付けされていることをユーザに報知するための画像である地図画像を示す地図画像情報を作成する（ステップＳ１１０）。なお、地図と関連付けされる地物特定情報は、地物の名称など、地物特定情報の一部であってもよいし、全部であってもよい。

地図画像情報を作成すると、処理部４０は、作成した地図画像情報に基づいて、地図画像を表示する（ステップＳ１１１）。

図８は、地図画像が表示された表示画面（地図画像表示画面）の例について説明するための説明図である。図８に示すように、地図画像表示画面では、撮影部２０により撮影された画像（地物Ａ，Ｂ，Ｃを含む画像）に地図画像８０１が重畳して表示される。本例においては、地図画像８０１は、撮影方位が表示画面の上方（図８における紙面上方向）に配置された地図であって、撮影地点Ｐと、地物Ａ，Ｂ，Ｃに対応する地図上の画像ＭＡ，ＭＢ，ＭＣと、地上に位置する地物Ｄに対応する画像ＭＤと、画像ＭＡ，ＭＢ，ＭＣ及び画像ＭＤとにそれぞれ地物特定情報が対応付けされていることを示す識別画像８１１〜８１４とを含む。なお、識別画像の構成は特に限定されず、地図と関連付けされた地物特定情報の内容を示す文字列などであってもよい。

地図画像を表示すると、処理部４０は、後述するステップＳ１１３の処理に移行する。なお、本例においては、地図画像表示画面の表示中、ユーザによる識別画像８１１〜８１４の選択操作を受け付けた場合、処理部４０は、受け付けた選択操作が示す識別画像に対応する地物特定情報に関連する情報（例えば、地物特定情報の一部）を表示画面に表示する。

一方、ステップＳ１０８の処理において、地物の数が特定数以上でないと判定すると（ステップＳ１０８のＮ）、処理部４０は、地物特定情報における地物名称を表示部５０の表示画面に表示するときの表示態様を決定するための処理（表示態様決定処理）を実行する（ステップＳ２００）。

ここで、本例における表示態様決定処理について図面を参照して説明する。

図９は、本例における表示態様決定処理の例を示すフローチャートである。表示態様決定処理では、表示部５０の表示画面上に撮影空間内に代表点を有する地物を示す地物特定情報を表示するときの表示態様を決定するための処理が行われる。以下、ステップＳ１０８の処理において参照される特定数が「３」の場合を例にして説明を行う。すなわち、図８について説明したときとは、特定数として設定された数が異なるものとする。

表示態様決定処理において、先ず、処理部４０は、表示態様決定部Ｆ２により、撮影地点と各地物の代表点との距離を算出する（ステップＳ２０１）。なお、本例においては撮影地点と代表点の位置情報から撮影地点と各地物の代表点との距離を算出する。

撮影地点と各地物との距離を算出すると、処理部４０は、表示態様決定部Ｆ２により、被写体距離と被写界深度とに基づいて、撮影空間においてピントがあっているように見える空間（以下、「合焦空間」という。）を特定する処理を行う（ステップＳ２０２）。なお、被写体距離と被写界深度の算出処理などには公知の技術を用いるので、ここでの詳細な説明は省略する。

合焦空間を特定すると、処理部４０は、表示態様決定部Ｆ２により、撮影空間の情報と各地物に対応する地物特定情報とに基づいて、各地物が表示画面に表示されているか否かを判定する（ステップＳ２０３）。

図１０は、各地物が表示画面に表示されているかを判定する方法を説明するための説明図である。図１０に示すように、本例において撮影空間に特定された空間９０内に位置する地物を示す地物特定情報は、地物の平面形状と高さを示す情報を有しているため、地物の存在範囲を示すことができる。そこで、表示態様決定部Ｆ２は、撮影地点Ｏと各地物の存在範囲とを結ぶ直線上に他の地物の存在範囲が位置しているか否かによって、表示範囲に表示されている地物であるか否かを判定する。図１０においては、表示態様決定部Ｆ２は、地物Ａ〜Ｃが表示画面に表示されている地物であると判定する。なお、図１０において、ステップＳ２０２で特定した合焦空間は被写界深度を高さＳとする四角錘台形状の空間９１で示すことができる。

表示画面に表示されている地物であると判定すると（ステップＳ２０３のＹ）、処理部４０は、表示態様決定部Ｆ２により、地物の代表点が合焦空間内に存在しているか否かを判定する（ステップＳ２０４）。本例においては、表示態様決定部Ｆ２は、表示画面に表示されている地物Ａ〜Ｃが全て合焦空間９１内に代表点があるものと判定する。

ここで、合焦空間内に代表点があると判定すると（ステップＳ２０４のＹ）、処理部４０は、表示態様決定部Ｆ２により、代表点の近傍に表示する情報として表示態様情報に設定し（ステップＳ２０５）、ステップＳ２１０の処理に移行する。なお、本例においては、処理部４０は、表示態様決定部Ｆ２により、代表点に応じた地物特定情報を代表点の近傍に表示する情報として表示態様情報に記憶する。一方、合焦空間内に代表点がないと判定した場合（ステップＳ２０４のＮ）、処理部４０は、表示態様決定部Ｆ２により、リスト表示する情報として表示態様情報に設定し（ステップＳ２０６）、ステップＳ２１０の処理に移行する。

一方、ステップＳ２０３において、表示画面に表示されている地物でないと判定した場合（ステップＳ２０３のＮ）、処理部４０は、表示態様決定部Ｆ２により、合焦区間内に存在する地物である否かを判定する（ステップＳ２０７）。本例においては、表示態様決定部Ｆ２は、地物Ｄが表示画面に表示されていない地物であると判定し、合焦空間９２内に代表点があるものと判定する。

合焦空間内に代表点があると判定すると（ステップＳ２０７のＹ）、処理部４０は、表示態様決定部Ｆ２により、表示画面に表示されていないが撮影空間内には存在することをユーザに報知する情報として表示態様情報に設定し（ステップＳ２０８）、ステップＳ２１０の処理に移行する。ここで、合焦空間内に代表点がないと判定した場合（ステップＳ２０７のＮ）、処理部４０は、表示態様決定部Ｆ２により、表示しない情報として表示態様情報に設定し（ステップＳ２０９）、ステップＳ２１０の処理に移行する。

ステップＳ２１０では、処理部４０は、表示態様情報記憶部８２を参照して、撮影空間内にある地物を示す地物特定情報の表示態様が全て決定されたか否かを判定する。

表示態様が全て決定されていないと判定した場合（ステップＳ２１０のＮ）、処理部４０はステップＳ２０１の処理に移行する。一方、表示態様が全て決定さたと判定した場合（ステップＳ２１０のＹ）、処理部４０は、画像表示処理のステップＳ１１２の処理に移行する（図５参照）。

画像表示処理におけるステップＳ２００の処理として表示態様決定処理を実行すると、処理部４０は、表示態様情報記憶部８２を参照し、各地物特定情報に設定された表示態様情報に基づいて、表示画面に表示された画像に地物名称を重畳して表示する（ステップＳ１０７）。本例においては、このときの表示態様情報は（すなわち、表示態様情報記憶部８２に記憶される表示態様情報の格納状態は）、図１１に示すような状態になる。

図１２は、このときの表示画面の例を示す説明図である。図１２に示すように、表示画面には、撮影された地物Ａ〜Ｃの画像の近傍（例えば、各地物の代表点座標を表示画面上の座標に変換した場合の座標の近傍）に、それぞれ対応する地物名称１０１〜１０３が実線で表示される。

また、表示態様として「報知」が設定された地物Ｄは、地物Ｄの存在範囲を示す情報に基づいて、表示画面における地物Ｄの存在範囲が破線で示され、その近傍に地物名称１０４が表示されることでその存在がユーザに報知される。

なお、表示態様として「リスト」が設定されているものは、表示画面上に地物名称が所定のリスト表示領域に表示されることとする。また、「表示なし」のが設定されている場合には、入力ボタン７２の操作により周辺地物情報として地物名称などが表示されることとする。なお、地物特定情報の表示態様はこれに限定されず、例えば表示画面に表示されていない地物の地物名称を点滅表示させるなど、種々の方法が考えられる。

地物名称を表示画面に重畳して表示すると（または、撮影方位画像や地図画像を表示すると）、処理部４０は、シャッターボタン７１により、撮影部２０により撮影された画像の記録要求を受け付けたか否かを判定する（ステップＳ１１３）。ここで、例えばユーザが指でシャッターボタン７１を押下したことによる記録要求を受け付けたと判定すると（ステップＳ１１３のＹ）、処理部４０は、表示画面に表示された画像と検索部Ｆ１により検索された地物特定情報とを対応付けして記憶部３０に記憶する（ステップＳ１１４）。なお、本例においては、処理部４０は、撮影空間を示す情報（撮影地点の位置情報や撮影方位情報など）を表示画面に表示された画像などと併せて記憶部３０に記憶することとする。また、本例においては、画像記録要求を受け付けたと判定したときに、表示画面に撮影方位画像が表示されている場合（図７参照）、処理部４０は、作成した撮影方位画像情報を記憶部３０に記憶する。また、画像記録要求を受け付けたと判定したときに、表示画面に地図画像が表示されている場合（図８参照）、処理部４０は、作成した地図画像情報を記憶部３０に記憶する。

画像記録要求を受け付けたときに表示画面に表示された画像と地物特定情報とを対応付けして記憶することで、ユーザが記憶された画像を探すときに、目的の画像を取り出しやすくなる。すなわち、例えば画像表示装置１０が、検索ワードに基づいて記憶した画像を検索する機能を有している場合に、ユーザにより入力された検索ワードを含む地物特定情報が対応付けされた画像を検索することができるようになる。なお、本例においては、例えば記憶した画像を表示画面に再生する場合に、地物名称などの表示の有無をユーザが選択可能となるように、処理部４０が地物特定情報などを記憶部３０に記憶する。

画像記録要求を受け付けたときに表示画面に表示された画像と地物特定情報を記憶すると、またはユーザによる記録要求を受け付けていないと判定すると（ステップＳ１１３のＮ）、処理部４０は、撮影部２０による撮影が終了したか否かを判定する（ステップＳ１１５）。ここで、例えばユーザによる入力ボタン７２の操作により撮影終了要求やライブビューモードの終了を受けつけると、処理部４０は、撮影が終了したものと判定して（ステップＳ１１５のＹ）、画像表示処理を終了する。一方、撮影が終了していないと判定した場合（ステップＳ１１５のＮ）、処理部４０は、ステップＳ１０１の処理に移行する。

以上に説明したように、上述した実施の形態では、カメラ（例えば、撮影部２０）により撮影された画像を表示装置（例えば、表示部５０）の表示画面に表示する画像表示装置１０が、位置や名称などにより地物を特定するための地物特定情報を記憶する地物特定情報記憶部８１を備え、カメラの撮影方位を検出し（例えば、ステップＳ１０２）、カメラにより撮影された画像に応じた地物特定情報を検索し（例えば、ステップＳ１０４）、検索した地物特定情報の数が所定数（例えば、１）未満であるか否かを判定し（例えば、ステップＳ１０５）、所定数未満であると判定した場合に（例えば、ステップＳ１０５のＮ）、撮影方位をユーザに報知するための撮影方位画像を示す撮影方位画像情報を作成し（例えば、ステップＳ１０６）、作成した撮影方位画像情報に基づいて、撮影された画像に撮影方位画像を重畳表示する（例えば、ステップＳ１０７）構成としているので、カメラなどにより地物を撮影する際に、地物を特定できない場合であってもユーザに対して有用な情報を提供することができるようになる。

すなわち、カメラに撮影された画像に応じた地物特定情報が無いため（または、少ないため）にユーザに対して地物を特定するために有用な情報（地物特定情報）を提供できない場合に、撮影位置に応じた地図と撮影方位とを示す情報（画像）を提供することができるようになる。これにより、ユーザに対して何ら有用な情報を提供しなくなるという状況が生じることを防止することができるようになる。

また、上述した実施の形態では、画像表示装置１０が、表示画面上に地図を表示するための地図情報を記憶する地図情報記憶部８０を備え、撮影地点を特定し（例えば、ステップＳ１０１）、撮影地点を含む地図情報を検索し、検索した地図情報を用いて撮影方位画像情報を作成する（例えば、ステップＳ１０６）構成としているので、地物特定情報を提供できない場合であっても、ユーザが撮影対象としている地物を認識するのに有用となり得る情報としての地図（撮影方位が認識可能な地図。図７参照。）を提供することができるようになる。

なお、上述した実施の形態では特に言及していないが、画像表示装置１０が、予め各方位（例えば、東西南北それぞれ）に対応付けされた方位画像（例えば、東西南北それぞれの文字画像）を示す方位画像情報を記憶する方位画像情報記憶手部を備え、撮影方位に応じた方位画像情報を含む撮影方位画像情報を作成する構成としてもよい。このような構成とすることにより、ユーザに直接的に撮影方位を報知することができるようになる。なお、撮影方位画像情報の構成は、上述した実施の形態や方位画像情報を含むものに限定されず、例えば、コンパスを表示したり、方角が固定された地図上に撮影方向が識別可能なアイコンを表示したりするなど、ユーザに対して撮影方位を報知することができる構成であればどのような構成であってもよい。

また、上述した実施の形態では、画像表示装置１０が、検索した地物特定情報とカメラ（例えば、撮影部２０）により撮影された画像とを重畳して表示画面に表示する構成としているので、カメラなどにより地物を撮影する際に、周辺の地物に関する情報を用いて写し間違いなどを軽減することができるようなる。すなわち、ユーザが、表示画面に表示される地物特定情報を参考にして撮影を行なうことができるので、表示画面に表示されている画像が何であるかを認識することができるようになり、誤撮影を防止することができるようになる。

また、上述した実施の形態では、画像表示装置１０が、カメラ（例えば、撮影部２０）により撮影された画像に応じた地物特定情報として検索された地物特定情報の数が所定数未満でないと判定した場合に（例えば、ステップＳ１０５のＹ）、検索した地物特定情報を表示画面に表示する構成としているので、地物特定情報がない場合にまで地物特定情報を表示するための処理（例えば、ステップＳ２００）を実行してしまうといったことを防止することができるようになる。

また、上述した実施の形態では、所定数が「１」である構成としているので（すなわち、地物特定情報がない場合に撮影方位画像情報を作成する構成としているので）、地物特定情報がある場合には撮影方位画像が表示しないこととなり、情報過多による表示画面の視認性の低下を効果的に防止することができるようになる。

また、上述した実施の形態では、画像表示装置１０が、カメラにより撮影される撮影空間を特定し、特定された撮影空間内に存在する地物の地物特定情報を検索する構成としているので、表示画面に表示される可能性のある地物を効率的に検索することができるようになる。また、実際にユーザが視認可能な地物以外の周辺情報を考慮して撮影を行なうことができるようになる。

また、上述した実施の形態では、画像表示装置１０が、撮影地点を特定し、カメラの撮影方位を検出し、カメラの３次元姿勢を検出し、撮影地点と撮影方位と３次元姿勢とから撮影空間を特定する構成としているので、位置情報をもつ撮影空間の特定を行なうことができるようになる。

また、上述した実施の形態では、画像表示装置１０が、カメラの焦点を頂点とし、カメラの画角を頂角とする所定の高さ（例えば焦点を合わせることのできる限界距離）の四角錘型の空間を撮影空間として特定する構成としているので、実際にカメラに撮影される可能性のある範囲を撮影空間として特定することができるようになる。

また、上述した実施の形態では、地物特定情報が、各地物の代表点を示す代表点情報（例えば代表点座標）と、各地物の存在範囲を示す情報（例えば、平面形状と高さ）とを有し、画像表示装置１０が、複数の地物特定情報が検索されたことに応じて、特定された撮影空間における各地物の代表点と存在範囲とに基づいて地物特定情報を表示する構成としているので、ユーザに対して表示画面に表示する地物特定情報の位置関係を認識させることが容易になる。

また、上述した実施の形態では、画面表示装置１０が、カメラにより撮影された画像の焦点を合わせ、撮影空間のうち焦点が合っている部分（例えば合焦空間内）に存在する地物の地物特定情報とその他の地物特定情報とを識別可能に表示する構成としているので、表示画面の視認性を向上させることができるようになる。

なお、上述した実施の形態では特に言及していないが、画面表示装置１０が、検索された地物特定情報のうち、表示画面に表示する地物特定情報の選択を受け付け、選択を受け付けた地物特定情報を表示する構成としてもよい。このような構成とすることにより、表示画面に表示する情報が煩雑になることを防止することができるようになる。

なお、上述した実施の形態では特に言及していないが、画面表示装置１０が、カメラにより撮影された画像における撮影対象物までの距離（例えば撮影位置と地物の代表点との距離）を特定し、特定された撮影対象物までの距離に応じて地物特定情報の検索条件を設定する構成としてもよい。すなわち、例えば地物特定情報において地物を特定の大きさを基準にして複数種類に分類し（例えば、山やビルなどの大きなものを第１種別、銅像などの大きさのもの第２種別とする。）、撮影対象までの距離が特定の距離以内の場合に検索する地物と、撮影対象が特定の距離よりも遠い場合に検索する地物とを分けるようにすることで、処理部４０が検索に要する負荷を軽減させることができる。また、撮影対象が特定の距離以内の場合に、地物特定情報を検索するのではなく、予め記憶された物品などの地物よりも小さい規模のものに関する情報を検索する構成としてもよい。なお、この場合、撮影対象物までの距離ではなく、撮影部２０における焦点距離に応じて地物特定情報の検索条件を設定する構成としてもよい。

なお、上述した実施の形態では特に言及していないが、画面表示手段１０が、検索された地物特定情報が示す地物が、カメラにより撮影された画像として表示画面に表示される表示可能性を算出し、算出された表示可能性に基づいて地物特定情報を表示する構成としてもよい。すなわち、例えば画像表示装置１０が、表示画面に表示されている地物であるか否かを判定できない場合に、撮影地点と地物特定情報が有する情報を含む画像表示装置１０が取得可能な各種の情報（例えば、各地物の大きさや位置関係）をパラメータとして、表示画面に表示されている可能性を算出し、例えば算出された可能性を数値にして地物の名称とともに表示画面に表示する構成とすることで、ユーザに対して有用性のある情報を提供することができるようになる。この場合、地物特定情報に各地物の属するジャンルを対応付けて記憶しておき、ユーザの好みのジャンルを登録可能として、登録されたジャンルに属する地物の表示可能性を高く設定する構成としてもよい。

なお、上述した実施の形態では特に言及していないが、方位情報取得部が集光レンズ２１の向いている方向（カメラ視線の方向）を示す撮影方位情報として、集光レンズ２１の仰角を取得することができない場合や、地物特定情報として高さ情報が記憶されていない場合には、画像表示装置１０が、３次元の撮影空間ではなく、２次元の平面範囲を地物の検索範囲とする構成としてもよい。この場合、図１３に示すように、撮影地点を頂点とし、所定の角度と高さが設定された三角形状の平面範囲９１内に位置する地物として地物Ａ〜Ｄを検索することとなる。なお、三角形状以外にも、例えば扇形の平面範囲を地物の検索範囲とする構成としてもよい。平面範囲は、原理的には０ｍ〜∞ｍまでの距離範囲をとるが、一般的な撮影においては、数１００ｍ〜数１０ｋｍとすると好適である。

なお、上述した実施の形態では特に言及していないが、画像表示装置１０が、複数の地物の候補が検索された場合に撮影地点に近い地物の名称を表示する構成としてもよい。

なお、上述した実施の形態では特に言及していないが、画像表示装置１０が、予め所定の地点（例えば、東京タワー展望台、大阪城天守閣、清水寺大舞台など）から撮影可能な地物を記憶しておき、特定された撮影地点が所定の地点であるか否かを判定し、所定の地点であると判定されたことに応じて地物名称を表示する構成としてもよい。

また、地物特定情報の検索において、特定された位置情報から地物特定情報を検索する方法について説明したが、この検索方法は、地物情報記憶部８１に予め記憶された施設の代表的画像情報に基づいて、撮影された画像を、画像認識技術を用いて判別する構成としてもよい。また、ユーザが予め撮影対象とする地物を把握している場合には、撮影対象を指定しておき、方位情報取得部６２による方位の測定のみで地物名称を表示する構成としてもよい。

なお、上述した実施の形態では特に言及していないが、画像表示装置１０が、撮影方位画像、地図画像、及び地物特定情報を、例えばユーザによる操作入力等に応じて、適宜組み合わせて１つの表示画面に表示する構成としてもよい。

また、上記実施形態においては、本発明をデジタルカメラの表示部に適用した場合について説明したが、本発明はハンディータイプのナビゲーションシステムに適用しても構わない。

本発明は、撮影装置に使用される画像表示装置に有用である。

Ｆ１ 検索部
Ｆ２ 表示態様決定部
１０ 画像表示装置
２０ 撮影部
３０ 記憶部
４０ 処理部
５０ 表示部
６０ 撮影空間特定部
７１ シャッターボタン
８０ 地図情報記憶部
８１ 地物特定情報記憶部
８２ 表示態様情報記憶部
１００ デジタルカメラ

Claims (7)

1. カメラにより撮影された画像を表示装置の表示画面に表示する画像表示装置であって、
   位置や名称を含む情報により地物を特定するための地物特定情報を記憶する地物特定情報記憶手段と、
   予め各方位に対応付けされた方位画像を示す方位画像情報を記憶する方位画像情報記憶手段と、
   前記カメラの撮影方位を検出する方位検出手段と、
   前記カメラにより撮影された画像に応じた前記地物特定情報を検索する地物特定情報検索手段と、
   該地物特定情報検索手段により検索された地物特定情報の数が所定数未満であるか否かを判定する地物特定情報数判定手段と、
   該地物特定情報数判定手段が前記所定数未満であると判定した場合に、前記撮影方位をユーザに報知するための撮影方位画像を示す撮影方位画像情報であって、前記撮影方位に応じた方位画像情報を含む当該撮影方位画像情報を作成する撮影方位画像情報作成手段と、
   該撮影方位画像情報作成手段により作成された撮影方位画像情報に基づいて、前記撮影された画像に前記撮影方位画像を重畳表示する撮影方位画像表示手段とを含む
   ことを特徴とする画像表示装置。
2. カメラにより撮影された画像を表示装置の表示画面に表示する画像表示装置であって、
   位置や名称を含む情報により地物を特定するための地物特定情報を記憶する地物特定情報記憶手段と、
   前記カメラの撮影方位を検出する方位検出手段と、
   前記カメラにより撮影された画像に応じた前記地物特定情報を検索する地物特定情報検索手段と、
   該地物特定情報検索手段により検索された地物特定情報の数が所定数未満であるか否かを判定する地物特定情報数判定手段と、
   該地物特定情報数判定手段が前記所定数未満であると判定した場合に、前記撮影方位をユーザに報知するための撮影方位画像を示す撮影方位画像情報を作成する撮影方位画像情報作成手段と、
   該撮影方位画像情報作成手段により作成された撮影方位画像情報に基づいて、前記撮影された画像に前記撮影方位画像を重畳表示する撮影方位画像表示手段と、
   前記地物特定情報検索手段により検索された地物特定情報と前記撮影された画像とを重畳して前記表示画面に表示する地物特定情報表示手段とを含み、
   該地物特定情報表示手段は、前記地物特定情報数判定手段が前記所定数未満でないと判定した場合に、前記検索された地物特定情報と前記撮影された画像とを重畳して前記表示画面に表示する
   ことを特徴とする画像表示装置。
3. 予め各方位に対応付けされた方位画像を示す方位画像情報を記憶する方位画像情報記憶手段を含み、
   前記撮影方位画像情報作成手段は、前記撮影方位に応じた方位画像情報を含む撮影方位画像情報を作成する
   請求項２記載の画像表示装置。
4. 前記表示画面上に地図を表示するための地図情報を記憶する地図情報記憶手段と、
   撮影地点を特定する撮影地点特定手段を含み、
   前記撮影方位画像情報作成手段は、前記撮影地点を含む地図情報を検索する地図情報検索手段を有し、該地図情報検索手段により検索された地図情報を用いて前記撮影方位画像情報を作成する
   請求項１から請求項３のうち何れかに記載の画像表示装置。
5. 前記所定数は１である
   請求項１から請求項４のうち何れかに記載の画像表示装置。
6. カメラにより撮影された画像を表示装置の表示画面に表示するように画像表示装置に動作制御させるための画像表示プログラムであって、
   前記画像表示装置に、
   前記カメラの撮影方位を検出する方位検出処理と、
   位置や名称を含む情報により地物を特定するための地物特定情報を記憶する地物特定情報記憶手段に記憶された地物特定情報の中から、前記カメラにより撮影された画像に応じた前記地物特定情報を検索する地物特定情報検索処理と、
   該地物特定情報検索処理にて検索した地物特定情報の数が所定数未満であるか否かを判定する地物特定情報数判定処理と、
   該地物特定情報数判定処理にて前記所定数未満であると判定した場合に、前記撮影方位をユーザに報知するための撮影方位画像を示す撮影方位画像情報であって、予め各方位に対応付けされた方位画像を示す方位画像情報を記憶する方位画像情報記憶手段に記憶された方位画像情報のうち前記撮影方位に応じた方位画像情報を含む当該撮影方位画像情報を作成する撮影方位画像情報作成処理と、
   該撮影方位画像情報作成処理にて作成した撮影方位画像情報に基づいて、前記撮影された画像に前記撮影方位画像を重畳表示する撮影方位画像表示処理とを
   実行させるための画像表示プログラム。
7. カメラにより撮影された画像を表示装置の表示画面に表示するように画像表示装置に動作制御させるための画像表示プログラムであって、
   前記画像表示装置に、
   前記カメラの撮影方位を検出する方位検出処理と、
   位置や名称を含む情報により地物を特定するための地物特定情報を記憶する地物特定情報記憶手段に記憶された地物特定情報の中から、前記カメラにより撮影された画像に応じた前記地物特定情報を検索する地物特定情報検索処理と、
   該地物特定情報検索処理にて検索した地物特定情報の数が所定数未満であるか否かを判定する地物特定情報数判定処理と、
   該地物特定情報数判定処理にて前記所定数未満であると判定した場合に、前記撮影方位をユーザに報知するための撮影方位画像を示す撮影方位画像情報を作成する撮影方位画像情報作成処理と、
   該撮影方位画像情報作成処理にて作成した撮影方位画像情報に基づいて、前記撮影された画像に前記撮影方位画像を重畳表示する撮影方位画像表示処理と、
   前記地物特定情報検索処理にて検索した地物特定情報と前記撮影された画像とを重畳して前記表示画面に表示する地物特定情報表示処理とを実行させ、
   該地物特定情報表示処理において、前記地物特定情報数判定処理にて前記所定数未満でないと判定した場合に、前記検索された地物特定情報と前記撮影された画像とを重畳して前記表示画面に表示させる処理を
   実行させるための画像表示プログラム。

Images