JP5396708B2

JP5396708B2 - 電子カメラ

Info

Publication number: JP5396708B2
Application number: JP2007307848A
Authority: JP
Inventors: 直晶寄田
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2007-11-28
Filing date: 2007-11-28
Publication date: 2014-01-22
Anticipated expiration: 2027-11-28
Also published as: JP2009135597A

Description

本発明は、光電変換により画像を生成する電子カメラと、その電子カメラで撮影された画像データに関する情報処理を行う情報処理装置並びに情報処理方法と、その情報処理装置を実現するプログラムに関する。

近年、光電変換により画像を生成する電子カメラが広く普及してきている。この種の電子カメラでは、撮影画像内に存在する建物などの被写体の名称を付帯情報として画像データに付加する電子カメラも知られている（例えば、特許文献１参照）。

この特許文献１に開示された電子カメラでは、まず、人工衛星を用いた汎地球測位システム（ＧＰＳ：ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）から取得した位置情報、撮影方位、撮影画角などの撮影条件を表す撮影情報を撮影時に検出する。続いて、この電子カメラがその撮影情報に基づいて地図情報から撮影画像内に存在する被写体の名称を抽出する。さらに、この電子カメラが画像内の被写体の名称を付帯情報として画像データに付加する。
特開２００１−３４６３２号公報

しかしながら、上記撮影情報だけでは、電子カメラがその撮影情報に基づいて地図情報から抽出した被写体の名称と、実際に撮影された画像に存在する被写体の名称とが必ずしも一致しない場合があるという問題が生じている。

そこで、本発明は、上記事情に鑑み、撮影画像内に存在する被写体の名称を地図情報から精度良く抽出してその被写体の名称を付帯情報として画像データに付加する手段を提供することを目的とする。

上記問題点を解決するために請求項１に係る発明の電子カメラは、光電変換により被写体の画像を生成する撮像手段と、撮影角度、撮影方位、撮影画角および撮影位置を含む前記画像の撮影情報を撮影時に生成する撮影情報生成手段と、被写体の名称と該被写体の位置との対応関係を有し、前記被写体の高さの情報を含む地図情報を記憶する地図情報記憶手段と、前記画像内に存在する被写体の名称を、前記撮影情報を用いて前記地図情報から抽出する名称抽出手段と、前記名称抽出手段にて抽出された被写体の名称を、前記画像のデータに付帯情報として付加する付帯情報付加手段と、前記付帯情報を用いて前記画像のデータを検索する画像データ検索手段と、前記画像データ検索手段によって検出された前記画像を表示する表示手段とを備え、前記名称抽出手段は、前記撮影角度と前記被写体の高さの情報とに基づいて、前記被写体が前記撮影画角内に写っているか否かを判定し、地図上に対応付けられない被写体を撮影する撮影モードの場合には、前記地図情報に基づく前記被写体の名称の抽出の処理を実行しないことを特徴とする。

請求項２の発明は、請求項１に記載の電子カメラにおいて、前記撮像手段は、構図確認用の動画像であるスルー画像を撮像し、前記名称抽出手段は、前記スルー画像内に存在する被写体の名称を抽出し、前記表示手段は、前記スルー画像に重畳して前記被写体の名称をさらに表示することを特徴とする。

請求項３の発明は、請求項１に記載の電子カメラにおいて、ユーザからの操作を受け付ける操作手段をさらに備え、前記名称抽出手段は、前記画像内に存在する被写体の名称の候補を、前記撮影情報を用いて前記地図情報から抽出し、前記表示手段は、前記画像と共に前記被写体の名称の候補を表示し、前記操作手段は、前記被写体の名称の候補を選別する確定入力を受け付け、前記付帯情報付加手段は、前記確定入力で選別された被写体の名称を画像のデータに付帯情報として付加することを特徴とする。

請求項４の発明は、請求項１に記載の電子カメラにおいて、前記地図情報を外部から取得する通信インターフェースをさらに備え、前記地図情報記憶手段は、前記通信インターフェースを介して取得した地図情報を書き換え可能に記憶することを特徴とする。

本発明の電子カメラによれば、上記地図情報から上記撮影情報を用いて上記撮像手段にて撮像された画像内に存在する被写体の名称を抽出する。これにより、電子カメラは被写体の名称を精度良く抽出することができる。さらに、電子カメラはその被写体の名称を付帯情報として画像データに付加することができる。

以下、図面に基づいて本発明の実施の形態を詳細に説明する。
（第１実施形態）
図１は、第１実施形態に係る電子カメラのブロック図である。この電子カメラ１には、レンズ光学系１００、撮像素子１０１、レンズ制御部１０２、タイミングジェネレータ（ＴＧ）１０３、ＣＰＵ（ＣｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０４、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１０９、ＡＥ検出部１１０、ＡＦ検出部１１１、操作部１２０が備えられている。レンズ光学系１００は、フォーカスレンズ１００ａとズームレンズ１００ｂとを構成する。

電子カメラ１は、操作部１２０の各種の操作ボタンからの操作を受け付けてＣＰＵ１０４に処理の命令を出す。ＣＰＵ１０４は、ＲＯＭ１０９に記憶されたプログラムに従って電子カメラ１の撮影動作を制御する。なお、操作ボタンは、後述する図１０に示すようにシャッタボタン２が電子カメラ１の上面に配置されている。また、広角ズームキー３と、望遠ズームキー４と、電源ボタン５と、モードスイッチ６と、メニュー切替・実行キー７とが電子カメラ１の背面に配置されている。広角ズームキー３は、焦点距離を広角側に変更するための操作ボタンである。望遠ズームキー４は、焦点距離を望遠側に変更するための操作ボタンである。モードスイッチ６は、撮影モードを静止画撮影または静止画再生に切り替える操作ボタンである。メニュー切替・実行キー７は、静止画撮影や静止画再生などに使用されるメニューを自在に切り替えて設定条件を選択もしくは実行する操作ボタンである。

レンズ制御部１０２は、ＣＰＵ１０４の指示に応じてフォーカスレンズ１００ａやズームレンズ１００ｂの位置を移動させる。タイミングジェネレータ（ＴＧ）１０３は、ＣＰＵ１０４の指示に応じて所定のタイミングで撮像素子１０１を駆動させる。ＡＥ検出部１１０は、ＣＰＵ１０４の指示に応じてバス１０７を介して画像の輝度情報を検出する。ＡＦ検出部１１１は、ＣＰＵ１０４の指示に応じてバス１０７を介して画像のピント情報を検出する。

また、電子カメラ１には、Ａ／Ｄ変換部１０５と、画像処理部１０６と、記憶部１０８と、表示制御部１１５と、液晶表示画面１１６と、記録インターフェース（Ｉ／Ｆ）１１７と、外部インターフェース（Ｉ／Ｆ）１１９とが備えられている。記憶部１０８は、画像データを一時的に処理する一時バッファや画像データを記録する記録バッファを有する。さらに、記憶部１０８には、被写体の名称とその被写体の位置との対応関係を有する地図情報が記憶されている。この地図情報は、後述するＧＰＳの位置座標にも対応づけられている。これにより、ＧＰＳの位置座標から地図上の被写体の位置を特定することができる。さらに、この地図情報は被写体の高さの情報も含む。この地図情報は予め記憶部に格納することが可能である。あるいは、外部インターフェース（Ｉ／Ｆ）１１９を介して地図情報が記憶部１０８に書き換え可能にダウンロードされてもよい。

電子カメラ１において、レンズ光学系１００を介して入射した被写体光は、撮像素子１０１の受光面に結像される。撮像素子１０１は、受光面に結像された光をアナログの画像信号に変換してＡ／Ｄ変換部１０５に出力する。Ａ／Ｄ変換部１０５は、アナログの画像信号をデジタルの画像データに変換する。この画像データは、バス１０７を介して記憶部１０８の一時バッファに記憶される。

画像処理部１０６は、一時バッファに記憶された画像データを読み出す。そして、画像処理部１０６は、ホワイトバランス処理や画像圧縮処理をなどの画像処理を行う。画像処理が施された画像データは、記憶部１０８の記録バッファに記録される。記録バッファに記録された画像データは、バス１０７を介して表示制御部１１５に入力される。表示制御部１１５は、画像を液晶表示画面１１６に表示する。また、画像データは、必要に応じて記録Ｉ／Ｆ１１７を介して装着されている記録媒体に記憶される。この記録Ｉ／Ｆ１１７は、圧縮された画像データを記録媒体１１８に記録できるように通信インターフェースを提供するものである。

また、この電子カメラ１には、ＧＰＳ１１２と、方位センサ１１３と、加速度センサ１１４とが備えられている。ＧＰＳ１１２は、不図示の人工衛星から撮影者が現在いる場所の位置情報（経度、緯度）を取得するものである。

方位センサ１１３は、半導体を用いた地磁気センサであって、地球の南北の地磁気を検出して方角を算出するものである。この方位センサ１１３にて検出された、方角を表す検出値はＣＰＵ１０４に送信される。

加速度センサ１１４は、３次元方向（相互に直交するＸ軸、Ｙ軸、Ｚ軸の３軸方向）の加速度を計測するセンサである。この加速度センサ１１４にて検出された、各軸方向における検出値はＣＰＵ１０４に送信される。

図１に示すように、このＣＰＵ１０４には、ＲＯＭ１０９に記憶されているプログラムが組み込まれることによって、位置情報検出部１０４ａと、撮影方位検出部１０４ｂと、撮影画角検出部１０４ｃと、撮影角度検出部１０４ｄと、名称抽出部１０４ｅと、付帯情報付加部１０４ｆと、画像検索部１０４ｇとが構築される。

この位置情報検出部１０４ａは、ＧＰＳ１１２から位置情報（経度、緯度）を取得して撮影者が現在いる場所の位置を地図情報に基づいて特定する。また、この撮影方位検出部１０４ｂは、方位センサ１１３から方角を表す検出値を取得して電子カメラ１の撮影方位を算出する。本実施例では、方位センサ１１３で検出される北の方角を基準（０度）とする。そして、撮影方位検出部１０４ｂは、電子カメラ１を正位置に構えた状態（レンズ光学系の光軸を水平とし、電子カメラの底面が下向きになる状態）で、レンズ光学系の光軸前向きの方位を算出する。

また、撮影画角検出部１０４ｃは、レンズ制御部１０２にて検出されるズームレンズ１００ｂの位置データを取得する。そして、撮影画角検出部１０４ｃは、ズームレンズ１００ｂの位置データに基づいて撮影画角を算出する。

また、撮影角度検出部１０４ｄは、加速度センサ１１４の検出データに基づいて、電子カメラ本体に生じた３軸方向の加速度の合成値を検出する。そして、撮影角度検出部１０４ｄは、その合成値に基づいて撮影角度を検出する。

図２は、撮影角度検出部にて検出される撮影角度を説明するための図である。本実施例では、レンズ光学系の光軸が、地面Ｇ（水平面）に対して水平に保たれている状態を撮影角度０度とする（図２（ａ））。そして、電子カメラ１の仰角を表す撮影角度は、レンズ光学系１００の光軸が地面Ｇ（水平面）となす角度とする（図２（ｂ））。

名称抽出部１０４ｅは、撮影時の撮影情報を用いて撮像された画像内に存在する被写体の名称を地図情報から抽出する。

図３は、被写体の名称を地図情報から抽出する手段を説明する図である。名称抽出部１０４ｅは、位置情報検出部１０４ａが検出した位置情報に基づいて記憶部１０８の地図情報から撮影位置上の地図を所定の縮尺で抽出する。ここでは簡単のため、図３に示す地図上には、Ａ、Ｂ、Ｃ、Ｄの被写体（建物）が存在しているものとする。まず、名称抽出部１０４ｅは、撮影位置、撮影画角、撮影方位からＢ、Ｃ、Ｄの被写体（建物）を特定する。さらに、名称抽出部１０４ｅは、撮影角度に基づいてＢ、Ｃ、Ｄの被写体（建物）が撮影画角内に実際に写っているか否かについて、Ｂ、Ｃ、Ｄの被写体（建物）の高さの情報に基づいて判定する。また、例えば、Ｃの被写体の背後にあるＤの被写体について、Ｄの被写体の方が低い高さの場合には、名称抽出部１０４ｅは、実際の撮影画角内にはＤの被写体が写っていないものと判定する。その結果、名称抽出部１０４ｅは、Ｄの被写体を抽出しない。なお、ここで説明した被写体の名称を地図情報から抽出する手段は、一例であって、これに限定されるものではない。

付帯情報付加部１０４ｆは、名称抽出部１０４ｅにて抽出された被写体の名称をその被写体が撮像された画像の画像データに付帯情報として付加する。

図４は、Ｅｘｉｆの画像ファイルを模式的に表した図である。本実施例では、画像ファイルは、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅｉｍａｇｅｆｉｌｅ）のファイルフォーマットに準拠している。このＥｘｉｆは、電子カメラの代表的なファイルフォーマットである。Ｅｘｉｆには、ＴＩＦＦファイル（ＴａｇｇｅｄＩｍａｇｅＦｉｌｅＦｏｒｍａｔ）形式の非圧縮画像ファイルとＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）ファイル形式の圧縮画像ファイルとの２種類のフォーマットが規定されている。図４では、従来より公知のＴＩＦＦファイルの構造を表している。

ＴＩＦＦファイルは、ＴＩＦＦヘッダで始まる階層的な構造となっている。ＴＩＦＦファイルでは、ＴＩＦＦヘッダに続いてイメージファイルディレクトリ（ＩＦＤ：ＩｍａｇｅＦｉｌｅＤｉｒｅｃｔｏｒｙ）が配置されている。また、画像データはストリップやタイルと呼ばれるブロック状に分割されて記録される。そして、「ＶａｌｕｅｏｆＩＦＤ領域」には分割された各画像データに対応するポインタ値がストリップやタイルの数だけ格納されている。

ＩＦＤ領域にはデータブロック（ＩＦＤＥｎｔｒｙ）が複数含まれている。ここで、「ＩＦＤＥｎｔｒｙ」の先頭２バイトは、個々の付帯情報を表す識別番号が配置されている。そして、この識別番号は具体的な付帯情報（イメージの大きさ、圧縮法の種類、解像度等）に対応付けされている。なお、Ｅｘｉｆでは、通常のＴＩＦＦでは定義されていない付帯情報が定義できる。本実施例では、撮影情報や被写体の名称を表す識別番号を追加する。これにより、撮影情報や被写体の名称の付帯情報は識別番号に対応付けて記録することができる。

画像検索部１０４ｇは、被写体の名称の付帯情報に基づいて画像データを検索する。

次に電子カメラ１の動作について説明する。

図５は、電源投入操作を受け付けて開始される撮影の処理ルーチンを表すフローチャートである。

（ステップＳ１０１）ＣＰＵ１０４は、ＧＰＳ１１２、方位センサ１１３、加速度センサ１１４に計測開始の指示を出す。すると、ＧＰＳ１１２、方位センサ１１３、加速度センサ１１４は計測を開始する。

（ステップＳ１０２）ＣＰＵ１０４は、表示制御部１１５に指示を出してスルー画像を液晶表示画面１１６に表示させる。

（ステップＳ１０３）ＣＰＵ１０４が操作部１２０から半押し操作の信号を受け付けると（ステップＳ１０３：Ｙｅｓ）、ＡＥ検出部１１０、ＡＦ検出部１１１の処理（ステップＳ１０４）に進む。一方、ＣＰＵ１０４が操作部１２０から半押し操作の信号を受け付けない場合には（ステップＳ１０３：Ｎｏ）、スルー画表示（ステップＳ１０２）の処理に戻る。

（ステップＳ１０４）ＡＥ検出部１１０は、画像の輝度情報を検出する。また、ＡＦ検出部１１１は、画像のピント情報を検出する。

（ステップＳ１０５）ＣＰＵ１０４が操作部１２０から全押し操作の信号を受け付けると（ステップＳ１０５：Ｙｅｓ）、撮影の処理（ステップＳ１０６）に進む。一方、ＣＰＵ１０４が操作部１２０から全押し操作の信号を受け付けない場合には（ステップＳ１０５：Ｎｏ）、ＡＥ検出部１１０、ＡＦ検出部１１１の処理（ステップＳ１０４）に戻る。

（ステップＳ１０６）ＣＰＵ１０４は、撮影の処理を実行する。まず、撮像素子１０１に入射されている被写体光が光電変換される。そして、光電変換された信号はアナログ画像信号として撮像素子１０１から出力される。次に、Ａ／Ｄ変換部１０５によって、アナログ画像信号がデジタル画像データに変換される。すると、このデジタル画像データは上述した通り、画像処理部１０６で画像処理が施された後、記憶部１０８の記録バッファに保存される。

（ステップＳ１０７）ＣＰＵ１０４は、撮影角度、撮影方位、撮影画角、および撮影位置からなる撮影情報を取得する。この撮影情報は撮影時に生成される。具体的には、図１に示す位置情報検出部１０４ａは、ＧＰＳ１１２から位置情報（経度、緯度）を取得する。

また、撮影方位検出部１０４ｂは、方位センサ１１３から方角を表す検出値を取得する。そして、撮影方位検出部１０４ｂは、その検出値に基づいて電子カメラ１の撮影方位を算出する。また、撮影画角検出部１０４ｃは、全押し操作がなされたときのズームレンズ１００ｂの位置データをレンズ制御部１０２から取得する。そして、撮影画角検出部１０４ｃは、ズームレンズ１００ｂの位置データに基づいて撮影画角を算出する。また、撮影角度検出部１０４ｄは、加速度センサ１１４の検出データに基づいて撮影角度を検出する。

（ステップＳ１０８）名称抽出部１０４ｅは、後述するサブルーチンを実行して画像内に存在する被写体の名称を撮影情報に基づいて地図情報から抽出する。

（ステップＳ１０９）付帯情報付加部１０４ｆは、名称抽出部１０４ｅが抽出した被写体の名称を付帯情報として画像データに付加して記録する。そして、この処理ルーチンを終了する。

次に、名称抽出部１０４ｅにて実行されるサブルーチンの処理について説明をする。図６は、名称抽出部にて実行されるサブルーチンを表すフローチャートである。

（ステップＳ２０１）名称抽出部１０４ｅは、位置情報検出部１０４ａが検出した位置情報に基づいて記憶部１０８の地図情報から撮影位置上の地図を所定の縮尺で抽出する。続いて、名称抽出部１０４ｅは、撮影位置、撮影画角、撮影方位から被写体の名称を特定する。

（ステップＳ２０２）名称抽出部１０４ｅは、撮影角度を参照する。

（ステップＳ２０３）ここで、撮影角度が上向き９０度以上または下向き９０度以上の場合は（ステップＳ２０３：Ｙｅｓ）、このサブルーチンの処理は終了する。これは、上向き９０度以上の場合は、ユーザが上空を撮影しているものと考えられるためである。また、同様に下向き９０度以上の場合は、例えば、ユーザが地面にある被写体を撮影しているものと考えられるためである。

なお、この撮影角度の範囲の設定は、一例であって、上向き９０度以上または下向き９０度以上に限定されるものではなく適宜設定できる。例えば、撮影角度の範囲の設定が上向き６０度以上または下向き６０度以上であってもよい。また、例えば、近距離撮影用のマクロモードや人物撮影用のポートレートモードのように撮影モードが地図上の建物などの被写体を撮影しないモードの場合には、被写体の名称の抽出の処理は行わないように設定してもよい。

一方、撮影角度が上向き９０度未満または下向き９０度未満の場合は（ステップＳ２０３：Ｎｏ）、被写体の名称抽出の処理（ステップＳ２０４）に進む。

（ステップＳ２０４）名称抽出部１０４ｅは、撮影角度（仰角）をさらに考慮して地図上の被写体の名称を抽出する。そして、このサブルーチンは終了して図５に示すステップＳ１０９の処理に戻る。なお、この場合、電子カメラ１の地上高をディフォルト値として１．５ｍとする。これは一例であって、ユーザが地上高を入力してもよい。

図７および図８は、撮影角度によって撮影対象が異なることを説明するための図である。図７では、ユーザ２１が電子カメラ１を三脚に設置して同じ位置から撮影角度を変えて撮影をしている様子を表している。なお、この場合、撮影角度以外の撮影条件は同一であるものとする。図７に示すように、被写体としては、川２２、第１のビル２３、第２のビル２４がある。撮影角度が異なると、図８（ａ）では川２２のみが撮影されている。一方、図８（ｂ）では第１のビル２３が撮影されている。

すなわち、撮影角度が異なると撮影される被写体が異なってしまう。この場合、従来のように撮影角度を考慮せずに地図情報から被写体の名称を抽出しようとすると、誤ってしまう場合があることを意味する。しかしながら、本実施形態の電子カメラ１では、撮影角度、撮影方位、撮影画角、撮影位置からなる４つの撮影情報に基づいて、地図情報から被写体の名称を抽出する。そのため、上述した問題が解消される。

次に、被写体の名称の付帯情報が付加された画像のデータを検索して画像を液晶表示画面１１６上に表示する処理について説明をする。

図９は、被写体の名称の付帯情報が付加された画像のデータを検索して画像を液晶表示画面上に表示する処理ルーチンを表すフローチャートである。ここでは、まず、ユーザが画像検索のメニューを表示画面１１６上で選択すると、この処理ルーチンが開始される。

（ステップＳ３０１）ＣＰＵ１０４は、操作部１２０を介して画像検索の入力を受け付ける。すると、画像検索部１０４ｇは、予め記憶部１０８に登録されている被写体の名称がリスト化された名称リストを読み出す。本実施例では、付帯情報付加部１０４ｆが被写体の名称を付帯情報として画像データに記録する際に被写体の名称がこのリストに登録される。

（ステップＳ３０２）ＣＰＵ１０４は、表示制御部１１５を介して、被写体の名称リストを液晶表示画面１１６に表示させる。

図１０は、液晶表示画面に表示された被写体の名称リストの一例を表す図である。説明を簡単にするため、ここでは、ア行の名称のリストが表示されている。なお、ユーザがメニュー切替・実行キー７にて図中に矢印が指し示す被写体の名称を選択するものとする。

（ステップＳ３０３）ＣＰＵ１０４は、操作部１２０を介して、被写体の名称の入力を受け付ける。

（ステップＳ３０４）画像検索部１０４ｇは、ユーザにより選択された被写体の名称が付帯情報として付加された画像のデータの画像ファイルを記憶部１０８および記録媒体１１８の中から検索する。

（ステップＳ３０５）画像検索部１０４ｇは、ユーザにより選択された被写体の名称が付帯情報として付加された画像のデータの画像ファイルを特定する。

（ステップＳ３０５）ＣＰＵ１０４は、表示制御部１１５を介して、特定された画像のデータによる画像を液晶表示画面１１６に表示させる。なお、画像ファイルが複数存在する場合には、表示制御部１１５は、複数の画像をサムネイル形式で液晶表示画面１１６に表示させる。そして、この処理ルーチンを終了する。

図１１は、液晶表示画面上に表示された画像の一例を表す図である。

ここでは、簡単のため、図４に示すＥＸＩＦファイル形式の画像ファイルに付帯情報として○ビルが付加されているものとする。液晶表示画面１１６上には、○ビルの画像の近傍に付帯表示として○ビルの名称が重畳されて表示される。

以上より、本発明の電子カメラは、上述した撮影情報を用いることで撮影画像内に存在する被写体の名称を精度良く抽出することができる。さらに、本発明の電子カメラは、被写体の名称からその被写体が撮影された画像を容易に表示することができる。これにより、
画像検索時の利便性の向上が図られる。

なお、本実施例では、撮影情報として、撮影角度、撮影方位、撮影画角、および撮影位置の情報を用いた。電子カメラ１が高度計を搭載して高度の情報も撮影情報にさらに加えることで、被写体の名称を抽出する精度をあげてもよい。

また、被写体の名称を抽出して記録する仕方として、例えば、画像中の大部分を占める被写体については、その名称のみを付帯情報として記録しても良いし、あるいは、画像に存在するすべての被写体についての名称を付帯情報として記録しても良い。また、撮影画像中に写っていない遠くの位置情報を利用して、○○方向と記録したり、単純に△△から北東の方向というような記録を行ってもよい。さらに、同一方向に複数の被写体が並んで存在している場合には、撮影位置から最も近い被写体を優先的に抽出するようにしてもよい。

（第２実施形態）
次に、本発明の第２実施形態について説明する。なお、本発明の第１実施形態と本発明の第２実施形態とでは、同じ要素については同じ符号を付して説明を省略し、第１実施形態と異なる構成について詳細に説明する。

図１２は、第２実施形態の電子カメラにおいて、電源投入操作を受け付けて開始される処理ルーチンを表すフローチャートである。

（ステップＳ４０１）図５に示すステップＳ１０１と同様、ＣＰＵ１０４は、ＧＰＳ１１２、方位センサ１１３、加速度センサ１１４に計測開始の指示を出す。すると、ＧＰＳ１１２、方位センサ１１３、加速度センサ１１４は計測を開始する。

（ステップＳ４０２）ＣＰＵ１０４は、表示制御部１１５にスルー画像表示の指示を出す。表示制御部１１５は、スルー画像を液晶表示画面１１６に表示させる。

（ステップＳ４０３）ＣＰＵ１０４は、撮影角度、撮影方位、撮影画角、および撮影位置からなる撮影情報を取得する。

（ステップＳ４０４）名称抽出部１０４ｅは、図６に示すサブルーチンを実行して、被写体の名称を抽出する。

（ステップＳ４０５）ＣＰＵ１０４は、被写体の名称をスルー画像に重畳する指示を表示制御部１１５に出す。表示制御部１１５は、被写体の名称をスルー画像に重畳して表示させる。

図１３は、被写体の名称が重畳されたスルー画像の一例を表す図である。本実施例では被写体の名称を重畳して表示させる位置については、表示制御部１１５が被写体の近傍に表示するようにしている。

（ステップＳ４０６）ＣＰＵ１０４が操作部１２０から半押し操作の信号を受け付けると（ステップＳ４０６：Ｙｅｓ）、撮影処理（ステップＳ４０７）に進む。一方、ＣＰＵ１０４が操作部１２０から半押し操作の信号を受け付けない場合には（ステップＳ４０７：Ｎｏ）、スルー画表示（ステップＳ４０２）の処理に戻る。

（ステップＳ４０７）ＣＰＵ１０４は、図５に示すステップＳ１０４からステップＳ１０９と同様の処理を実行する。この処理ルーチンにより、スルー画像に被写体の名称が重畳して表示される。そのため、ユーザにとっては、今撮影しようとしている被写体の名称が何かという情報を知ることができる。

（第３実施形態）
次に、本発明の第３実施形態について説明する。なお、本発明の第１実施形態と本発明の第３実施形態とでは、同じ要素については同じ符号を付して説明を省略し、第１実施形態と異なる構成について詳細に説明する。

ここで、第１の実施形態と第３の実施形態との異なる点は、上述した図６に示したサブルーチン内の処理の違いである。

図１４は、第３実施形態の電子カメラで実行されるサブルーチンを表すフローチャートである。まず、図５に示す第１実施形態の処理ルーチンと同様にして、地図情報とのマッチングのサブルーチンがコールされると、この図１４に示すフローチャートが開始される。

（ステップＳ５０１）名称抽出部１０４ｅは、位置情報検出部１０４ａが検出した位置情報に基づいて記憶部１０８の地図情報から撮影位置上の地図を所定の縮尺で抽出する。続いて、名称抽出部１０４ｅは、撮影位置、撮影画角、撮影方位から被写体の名称を特定する。

（ステップＳ５０２）名称抽出部１０４ｅは、撮影角度を参照する。

（ステップＳ５０３）ここで、撮影角度が上向き９０度以上または下向き９０度以上の場合は（ステップＳ５０３：Ｙｅｓ）、このサブルーチンの処理を終了する。

（ステップＳ５０４）名称抽出部１０４ｅは、静止画像の被写体に対して候補の名称を抽出する。

（ステップＳ５０５）ＣＰＵ１０４は、被写体の名称の候補を静止画像に重畳する指示を表示制御部１１５に出す。表示制御部１１５は、被写体の名称の候補を静止画像に重畳して表示させる。なお、表示制御部１１５が被写体の名称の候補を重畳して表示させるのは一例であって、これに限定されるものではない。

図１５は、被写体の名称の候補が液晶表示画面上に表示された画像の一例を表す図である。この図では、○ビル、△ビル、□ビルというように被写体の名称の候補が被写体の画像の横に表示される。ユーザは、○ビル、△ビル、□ビルのいずれかを選択する。

（ステップＳ５０６）ＣＰＵ１０４は、操作部１２０にて確定入力で選別された被写体の名称の入力を受け付ける。

（ステップＳ５０７）名称抽出部１０４ｅは、確定入力で選別された被写体の名称を抽出する。そして、この処理ルーチンを終了して図５に示したフローチャートのステップＳ１０９に戻る。

続いて、図５に示したフローチャートのステップＳ１０９では、付帯情報付加部１０４ｆは、名称抽出部１０４ｅが抽出した被写体の名称を付帯情報として画像データに付加して記録する。これにより、被写体の名称を正確に登録することができる。なお、本実施例においては、ユーザが被写体の名称の候補を登録することを必要としない場合には、メニュー切替・実行キー７を操作し、登録しない選択も可能である。

（第４実施形態）
次に、本発明の第４実施形態について説明する。

図１６は、サーバ装置の内部構成を説明するための図である。図１６に示すサーバ装置２０には、サーバ用ＣＰＵ２００と、サーバ用記憶部２００ｄとが備えられている。

この図１６に示すように、サーバ用記憶部２００ｄには、建物などの被写体の高さに関する情報を含む地図情報２００ｅが格納されている。また、プロバイダが提供するユーザごとのユーザメモリ２００ｆが備えられている。さらに、本発明の一実施形態であるプログラムも格納されている。

このサーバ用ＣＰＵ２００には、本発明の一実施形態であるプログラムが組み込まれることによって、通信部２００ａと、名称抽出部２００ｂと、付帯情報付加部２００ｃとが構築される。

通信部２００ａは、ネットワーク４０を介して電子カメラ１から撮影角度、撮影方位、撮影画角、および撮影位置の撮影情報からなる付帯情報が付加された第１の画像データを受信する。さらに、通信部２００ａは、被写体の名称を新たに付加した第２の画像データを通信相手に向けて送信する。

なお、電子カメラ１は、図１で説明した構成と同じであるので説明を省略する。

次に、サーバ装置２０の動作について説明する。本実施例では、ユーザが使用する電子カメラ１とネットワークを介して接続されたサーバ装置２０とを備えたシステムを構成する。

図１７は、システム全体の動作の一例を示すシーケンス図である。ＣＰＵ１０４は、撮影角度、撮影方位、撮影画角、および撮影位置の撮影情報の検出を開始する（ステップＳ６０１）。続いて、ユーザがシャッタボタン６を全押しすることにより、ＣＰＵ１０４は、撮影を実行する（ステップＳ６０２）。ＣＰＵ１０４は、撮影時の撮影情報を取得する（ステップＳ６０３）。さらに、ＣＰＵ１０４は、撮影情報が付加された付帯情報付きの第１の画像データを生成する（ステップＳ６０４）。そして、ＣＰＵ１０４は、送信の入力を受け付けると、サーバ装置２０に向けて第１の画像データを送信する（ステップＳ６０５）。

サーバ装置２０の通信部２００ａは、ネットワークを介して第１の画像データを受信する（ステップＳ７０１）。すると、ユーザごとにユーザメモリ２００ｆに撮影情報が記憶される。

続いて、名称抽出部２００ｂは、ユーザメモリ２００ｆにある撮影情報を参照して地図情報２００ｅを検索して、画像データの画像内に存在する被写体の名称を抽出する（ステップＳ７０２）。次に、付帯情報付加部２００ｃは、名称抽出部２００ｂにて抽出された被写体の名称を付帯情報に付加する（ステップＳ７０３）。さらに、通信部２００ａは、被写体の名称を新たに付加した第２の画像データを通信相手に向けて送信する（ステップＳ７０４）。

すると、電子カメラ１は、ネットワーク４０を介して外部Ｉ／Ｆ１１９より第２の画像データを受信する（ステップＳ６０６）。

ＣＰＵ１０４は、第２の画像データに付加された被写体の名称の入力を受け付けると、表示制御部１１５に指示を出して画像データの画像を液晶表示画面１１６に表示させる（ステップＳ６０７）
これにより、電子カメラ１に地図情報を持たなくてもよい。この場合、電子カメラ１は、第２の画像データを取得してその画像データの画像を液晶表示画面１１６に表示することができる。

（第５実施形態）
次に、本発明の第５実施形態について説明する。本発明の第５実施形態では、コンピュータが電子地図をメモリに格納している。

図１８は、コンピュータの内部構成を説明するための図である。図１８に示すコンピュータ３０には、コンピュータ用ＣＰＵ３００と、コンピュータ用記憶部３００と、通信インターフェース（Ｉ／Ｆ）３０１と、キーボード３０２と、表示モニタ３０３とが備えられている。コンピュータ用記憶部３００ｆには、被写体の名称とその被写体の位置との対応関係を有する地図情報３００ｇが格納されている。この地図情報３００ｇは、建物などの被写体の高さに関する情報を含む。また、本発明の一実施形態であるプログラムも格納されている。

このコンピュータ用ＣＰＵ３００には、本発明の一実施形態であるプログラムが組み込まれることによって、通信部３００ａと、名称抽出部３００ｂと、付帯情報付加部３００ｃと、画像検索部３００ｄと、画像表示部３００ｅとが構築される。

通信部３００ａは、通信インターフェース（Ｉ／Ｆ）３０１を介して電子カメラ１から撮影角度、撮影方位、撮影画角、および撮影位置の撮影情報からなる付帯情報が付加された第１の画像データを受信する。名称抽出部３００ｂは、撮影情報に基づいて地図情報３００ｇから被写体の名称を抽出する。付帯情報付加部３００ｃは、名称抽出部３００ｂが抽出した被写体の名称を付帯情報として画像データに付加する。

画像検索部３００ｄは、入力を受け付けた被写体の名称を付帯情報として有する画像データを検索する。画像表示部３００ｅは、画像検索部３００ｄが特定した画像データの画像を表示モニタ３０３に表示する。

次に、コンピュータ３０の動作について説明する。図１９は、コンピュータの処理を表すフローチャートである。

（ステップＳ８０１）通信部３００ａが電子カメラ１から通信インターフェース（Ｉ／Ｆ）３０１を介して画像データを受信する。

（ステップＳ８０２）名称抽出部３００ｂは、地図情報３００ｆを検索して、画像データの画像内に存在する被写体を抽出する。

（ステップＳ８０３）付帯情報付加部３００ｃは、名称抽出部３００ｂにて抽出された被写体の情報を付帯情報として画像データに付加する。そして、この処理ルーチンを終了する。なお、画像検索部３００ｄが被写体の名称の入力を受け付けると、その被写体の名称が付帯情報として付加された画像データの画像ファイルを検索する。そして、画像表示部３００ｅは、その画像ファイルの画像を表示モニタ３０３に表示する。

これにより、電子カメラ１は地図情報を持たなくてもよい。ユーザは、表示モニタ３０３を介して被写体の名称が付帯情報として付加された画像データの画像を見ることができる。なお、撮影情報の付帯情報が付加された画像データが記録された記録媒体１１６を電子カメラ１から抜き出して、コンピュータ３０の記録媒体の装填口（不図示）に差し込んで、ステップＳ８０２以降の処理を実行してもよい。

なお、本発明にいう電子カメラは、電子カメラを内蔵した携帯電話であってもよい。また、本発明にいう情報処理装置は、記憶メモリを搭載した、静止画像や動画像を見ることができる携帯型の電子機器であってもよい。

第１実施形態に係る電子カメラのブロック図撮影角度検出部にて検出される撮影角度を説明するための図被写体の名称を地図情報から抽出する手段を説明する図付帯情報が付加された画像データの画像ファイルを模式的に表した図電源投入操作を受け付けて開始される撮影の処理ルーチンを表すフローチャート名称抽出部にて実行されるサブルーチンを表すフローチャート撮影角度によって撮影対象が異なることを説明するための図撮影角度によって撮影対象が異なることを説明するための図被写体の名称の付帯情報が付加された画像のデータを検索して画像を液晶表示画面上に表示する処理ルーチンを表すフローチャート液晶表示画面に表示された被写体の名称リストの一例を表す図液晶表示画面上に表示された画像の一例を表す図第２実施形態の電子カメラにおいて、電源投入操作を受け付けて開始される処理ルーチンを表すフローチャート被写体の名称が重畳されたスルー画像の一例を表す図第３実施形態の電子カメラで実行されるサブルーチンを表すフローチャート被写体の名称の候補が液晶表示画面上に表示された画像の一例を表す図サーバ装置の内部構成を説明するための図システム全体の動作の一例を示すシーケンス図コンピュータの内部構成を説明するための図コンピュータの処理を表すフローチャート

符号の説明

１・・・電子カメラ、１１２・・・ＧＰＳ、１１３・・・方位センサ、１１４・・・加速度センサ、１０４ａ・・・位置情報検出部、１０４ｂ・・・撮影方位検出部、１０４ｃ・・・撮影画角検出部、１０４ｄ・・・撮影角度検出部、１０４ｅ・・・名称抽出部、１０４ｆ・・・付帯情報付加部、１０４ｇ・・・画像検索部、２０・・・サーバ装置、３０・・・コンピュータ

Claims

光電変換により被写体の画像を生成する撮像手段と、
撮影角度、撮影方位、撮影画角および撮影位置を含む前記画像の撮影情報を撮影時に生成する撮影情報生成手段と、
被写体の名称と該被写体の位置との対応関係を有し、前記被写体の高さの情報を含む地図情報を記憶する地図情報記憶手段と、
前記画像内に存在する被写体の名称を、前記撮影情報を用いて前記地図情報から抽出する名称抽出手段と、
前記名称抽出手段にて抽出された被写体の名称を、前記画像のデータに付帯情報として付加する付帯情報付加手段と、
前記付帯情報を用いて前記画像のデータを検索する画像データ検索手段と、
前記画像データ検索手段によって検出された前記画像を表示する表示手段とを備え、
前記名称抽出手段は、前記撮影角度と前記被写体の高さの情報とに基づいて、前記被写体が前記撮影画角内に写っているか否かを判定し、地図上に対応付けられない被写体を撮影する撮影モードの場合には、前記地図情報に基づく前記被写体の名称の抽出の処理を実行しないことを特徴とする電子カメラ。
請求項１に記載の電子カメラにおいて、
前記撮像手段は、構図確認用の動画像であるスルー画像を撮像し、
前記名称抽出手段は、前記スルー画像内に存在する被写体の名称を抽出し、
前記表示手段は、前記スルー画像に重畳して前記被写体の名称をさらに表示することを特徴とする電子カメラ。
請求項１に記載の電子カメラにおいて、
ユーザからの操作を受け付ける操作手段をさらに備え、
前記名称抽出手段は、前記画像内に存在する被写体の名称の候補を、前記撮影情報を用いて前記地図情報から抽出し、
前記表示手段は、前記画像と共に前記被写体の名称の候補を表示し、
前記操作手段は、前記被写体の名称の候補を選別する確定入力を受け付け、
前記付帯情報付加手段は、前記確定入力で選別された被写体の名称を画像のデータに付帯情報として付加することを特徴とする電子カメラ。
請求項１に記載の電子カメラにおいて、
前記地図情報を外部から取得する通信インターフェースをさらに備え、
前記地図情報記憶手段は、前記通信インターフェースを介して取得した地図情報を書き換え可能に記憶することを特徴とする電子カメラ。