JP5687480B2 - 撮影装置、撮影方法及び撮影プログラム - Google Patents

Description

本発明は、撮影場所を撮影画像と関連付けて記録可能な撮影装置、撮影方法及び撮影プログラムに関する。

近年、ＧＰＳ（Global Positioning System）等による測位機能を備えた撮影装置に関する提案が各種なされている。このような測位機能を備えた撮影装置の１つとして例えば特許文献１の技術が提案されている。特許文献１では、撮影がなされた場合に、そのときの撮影場所の地名や撮影場所付近の地図を表示させるようにしている。このような特許文献１の技術では、再生モードに切り替えなくとも撮影場所の情報を確認できる。これにより、ユーザは、撮影の時点で所望の地名を撮影画像と関連付けすることが可能である。

特開２００１−１５７０９８号公報

ユーザの利便性を考慮した場合、撮影画像と撮影場所（地名）とを関連付けるに際して撮影者の撮影意図を反映して地名を関連付けることが望ましい。例えば、鉄道が趣味の人が撮影した画像でかつ撮影場所付近に鉄道に関連したものがあるのであれば、地名として単なる住所を関連付けるよりも、鉄道に関連した地名が優先して関連付けされることが望ましい。また、観光旅行に行った際に撮影された画像であれば、観光地の名称が優先して関連付けされることが望ましい。ここで、特許文献１等の従来の技術では、このような撮影場所の種別単位での関連付けが自動的に行われるわけではなく、撮影後等の確認時においてユーザが手動で関連付けを行う必要がある。

本発明は、上記の事情に鑑みてなされたもので、ユーザの撮影意図を反映して撮影画像と撮影場所の種別との関連付けを自動的に行うことが可能な撮影装置、撮影方法及び撮影プログラムを提供することを目的とする。

上記の目的を達成するために、本発明の一態様の撮影装置は、被写体を撮影して、該被写体の画像データを取得する撮影部と、上記取得された画像データを解析し、画像データの特徴の有無を項目毎に記録したパラメータ表を作成する画像解析部と、上記パラメータ表に記録されている項目毎の特徴の有無の情報と、上記項目毎の重み係数を撮影場所の種別毎に記憶したランドマーク対応表とに基づいて、上記画像データの撮影場所の種別を示すランドマーク種別を判別するランドマーク種別判別部と、を具備することを特徴とする。
上記の目的を達成するために、本発明の一態様の撮影方法は、撮影部により、被写体を撮影して、該被写体の画像データを取得することと、画像解析部により、上記取得された画像データを解析し、画像データの特徴の有無を項目毎に記録したパラメータ表を作成することと、ランドマーク種別判別部により、上記パラメータ表に記録されている項目毎の特徴の有無の情報と、上記項目毎の重み係数を撮影場所の種別毎に記憶したランドマーク対応表とに基づいて、上記画像データの撮影場所の種別を示すランドマーク種別を判別することと、を具備することを特徴とする。
上記の目的を達成するために、本発明の一態様の撮影プログラムは、撮影部により、被写体を撮影して、該被写体の画像データを取得することと、画像解析部により、上記取得された画像データを解析し、画像データの特徴の有無を項目毎に記録したパラメータ表を作成することと、ランドマーク種別判別部により、上記パラメータ表に記録されている項目毎の特徴の有無の情報と、上記項目毎の重み係数を撮影場所の種別毎に記憶したランドマーク対応表とに基づいて、上記画像データの撮影場所の種別を示すランドマーク種別を判別することと、をコンピュータに実行させる。

本発明によれば、ユーザの撮影意図を反映して撮影画像と撮影場所の種別との関連付けを自動的に行うことが可能な撮影装置、撮影方法及び撮影プログラムを提供することができる。

本発明の各実施形態に係る撮影装置の一例としてのデジタルカメラの構成を示す図である。 カメラのメインの動作について示すフローチャートである。 ＧＰＳ情報の取得処理の詳細について示すフローチャートである。 撮影モードの処理の詳細を示すフローチャートである。 撮影モードの処理によって生成される画像ファイルの構造の例を示す図である。 撮影画の表示例を示す図である。 画像解析処理の詳細を示すフローチャートである。 画像解析処理の例を示す図である。 画像解析処理によって作成されるパラメータ表の例を示す図である。 ランドマーク対応表の例を示す図である。 図９に示すようにして作成されたパラメータ表に対するランドマーク種別毎の判断値の算出結果の例を示す図である。 ＧＰＳ情報とランドマークの名称とをランドマーク種別毎に記録した対応表の例を示す図である。 第１の実施形態の変形例における画像解析処理の詳細を示すフローチャートである。 カメラ撮影パラメータ表の例を示した図である。 カメラ撮影パラメータとランドマーク種別とを関連付けて記録したランドマーク対応表の例を示す図である。 図１４に示すようなカメラ撮影パラメータ表が作成されている場合において算出される補正値の例を示す図である。 最終的な判断値の算出手法の例を示す図である。 第２の実施形態における画像解析処理の詳細を示すフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
まず、本発明の第１の実施形態について説明する。図１は、本発明の各実施形態に係る撮影装置の一例としてのデジタルカメラの構成を示す図である。図１に示すデジタルカメラ（カメラ）１００は、レンズ１０１と、レンズ用アクチュエータ１０２と、撮像素子（ＣＣＤ）１０３と、アナログフロントエンド（ＡＦＥ）回路１０４と、一時記憶部（ＳＤＲＡＭ）１０５と、表示駆動回路１０６と、表示パネル１０７と、バックライトユニット１０８と、映像信号出力回路１０９と、映像信号出力端子１１０と、記録媒体１１１と、フラッシュコントロール回路１１２と、フラッシュ１１３と、手ブレ補正用ジャイロセンサ１１４と、手ブレ補正用アクチュエータ１１５と、ＧＰＳモジュール１１６と、ＧＰＳアンテナ１１７と、マイクロホン（マイク）１１８と、スピーカ１１９と、外部有線データ通信インターフェース（Ｉ/Ｆ）１２０と、Ｆｌａｓｈメモリ１２１と、操作部１２２と、ＡＳＩＣ（ＣＰＵ）１２３と、電源回路１２４と、２次電池１２５と、を有している。

レンズ１０１は、図示しない被写体の像（被写体像）をＣＣＤ１０３の受光面上に結像させるための光学系である。このレンズ１０１は、フォーカスレンズ及びズームレンズ等の複数のレンズや、絞りを有している。レンズ用アクチュエータ１０２は、モータ等を有し、ＣＰＵ１２３の制御に従ってレンズ１０１内のフォーカスレンズやズームレンズをその光軸方向に駆動させたり、絞りを開閉駆動させたりする。

ＣＣＤ１０３は、フォトダイオード等で構成された受光面を有している。このＣＣＤ１０３は、レンズ１０１を介して受光面上に結像された被写体の像を電気信号（画像信号）に変換する。図１では、撮像素子の例としてＣＣＤ方式の撮像素子を例示しているが、ＣＭＯＳ方式の撮像素子を用いても良い。

ＡＦＥ回路１０４は、ＣＣＤ１０３により得られた画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、ＡＦＥ回路１０４は、アナログ処理した画像信号をデジタル信号（画像データ）に変換することも行う。

ここで、レンズ１０１、レンズ用アクチュエータ１０２、ＣＣＤ１０３、ＡＦＥ回路１０４が、撮影部の一例として機能する。
ＳＤＲＡＭ１０５は、ＡＦＥ回路１０４で得られた画像データを一時的に保管する画像一時保管機能１０５１を有している。この他、ＳＤＲＡＭ１０５は、ＣＰＵ１２３による処理中のデータ等の各種データを一時的に保管する。

表示駆動回路１０６は、ＳＤＲＡＭ１０５に保管されている画像データに基づく画像や記録媒体１１１に記録されている画像データに基づく画像を表示パネル１０７に表示させるように表示パネル１０７を駆動する。表示パネル１０７は、例えば液晶パネルである。この表示パネル１０７は、表示駆動回路１０６によって駆動されて各種の画像を表示する。バックライトユニット１０８は、表示パネル１０７が液晶パネルの場合に設けられるものである。このバックライトユニット１０８は、ＣＰＵ１２３の制御に従って液晶パネルのバックライトを発光させる。映像信号出力回路１０９は、ＳＤＲＡＭ１０５に保管されている画像データや記録媒体１１１に記録されている画像データを、映像信号出力端子１１０を介して例えばテレビジョン受像機（ＴＶ）等の外部画像表示装置２００に出力させる。映像信号出力端子１１０は、コンポジット映像端子やＨＤＭＩ（登録商標）端子等の映像信号出力端子である。

記録媒体１１１は、例えばＦｌａｓｈメモリ等であって、例えばＣＰＵ１２３の画像圧縮伸長機能１２３４を用いて得られた画像ファイルを記録する。記録媒体１１１は、カメラ１００に内蔵するようにしても良いし、カメラ１００に対して着脱自在に構成するようにしても良い。

フラッシュコントロール回路１１２は、フラッシュ充電用のコンデンサやフラッシュの発光回路等を備えており、ＣＰＵ１２３の制御に従ってフラッシュ１１３を発光させる。フラッシュ１１３は、例えば低輝度時や逆光時において発光されるものであり、この発光によって被写体を照明する。

手ブレ補正用ジャイロセンサ１１４は、カメラ１００の互いに直交する３軸方向の振動をカメラ１００の手ブレとして検出するジャイロセンサである。手ブレ補正用アクチュエータ１１５は、ＣＣＤ１０３が取り付けられたアクチュエータであって、ＣＰＵ１２３の制御に従って、ＣＣＤ１０３をその受光面と平行な平面内で移動させる。手ブレ補正用ジャイロセンサ１１４によって検出される手ブレの影響を打ち消すように、ＣＣＤ１０３を移動させることにより、カメラ１００の手ブレによって生じる画像ブレが軽減される。

ＧＰＳモジュール１１６は、ＧＰＳアンテナ１１７を介して受信されたＧＰＳ電波の受信状況から、カメラ１００の位置（緯度・経度）を示す情報（ＧＰＳ情報）を算出する。ＧＰＳアンテナ１１７は、上空のＧＰＳ衛星からＧＰＳ電波を受信するためのアンテナである。ＧＰＳモジュール１１６とＧＰＳアンテナ１１７が、位置検出部の一例として機能する。

マイク１１８は、外部から入力された音声を電気信号（音声信号）に変換する。例えば、動画像の撮影時においては、ＣＣＤ１０３による画像信号の取得と並行してマイク１１８による音声信号の取得が行われる。この音声信号は、画像信号とともに１つの動画像ファイルとして記録媒体１１１に記録される。スピーカ１１９は、記録媒体１１１に記録された音声信号に基づく音声を出力する。

外部有線データ通信Ｉ/Ｆ１２０は、例えばＵＳＢインターフェースである。この外部有線データ通信Ｉ/Ｆ１２０は、カメラ１００が、パーソナルコンピュータ（ＰＣ）等と有線データ通信するための各種のデータ処理を行う。
Ｆｌａｓｈメモリ１２１は、カメラの駆動情報の記憶機能１２１１と、ＧＰＳ関連情報の保管機能１２１２と、ランドマークデータベースの記憶機能１２１３とを主に有している。

カメラの駆動情報の記憶機能１２１１とは、撮影動作時の設定、画像処理設定、カメラ１００の各ブロックの動作設定といった設定情報、ＣＣＤ１０３やレンズ１０１の特性情報、カメラ１００の動作に必要な処理プログラムといったカメラ１００の各種の動作に必要な情報、及び撮影動作時の撮影条件等の、各種のカメラの駆動情報を記憶しておく機能である。ＧＰＳ関連情報の保管機能１２１２とは、ＧＰＳモジュール１１６によって定期的に計測されるＧＰＳ情報（緯度情報・経度情報を有する測位データ）を逐次記憶しておく機能である。ランドマークデータベースの記憶機能１２１３とは、撮影場所を判別するための各種の情報が登録されたランドマークデータベースを記憶しておく機能である。このランドマークデータベースの詳細については後述する。ここで、ランドマークデータベースの記憶機能１２１３が、ランドマーク記憶部の一例である。

操作部１２２は、ボタンやスイッチ、タッチパネル等の、ユーザの操作に応じて操作信号をＣＰＵ１２３に出力する各種の操作部材である。操作部１２２により、ユーザは、撮影実行や再生実行の指示、カメラ１００の動作モードやシーンモードの設定、カメラ１００の電源のオン/オフ切り替え等を行うことが可能である。操作部１２２が、シーンモード設定部の一例として機能する。

ＣＰＵ１２３は、システムコントロール機能１２３１と、ＧＰＳ制御機能１２３２と、記録媒体アクセス機能１２３３と、画像圧縮伸長機能１２３４と、画像解析機能１２３５と、ランドマーク種別選択機能１２３６と、ＧＰＳ情報とランドマークの関連付け機能１２３７と、シーン（ＳＣＮ）モード制御機能１２３８とを主に有している。

システムコントロール機能１２３１は、Ｆｌａｓｈメモリ１２１に記憶されている処理プログラムに従って、レンズ１０１等のカメラ１００の各ブロックの動作を制御する機能である。ＧＰＳ制御機能１２３２は、Ｆｌａｓｈメモリ１２１に記憶されている処理プログラムに従ってＧＰＳモジュール１１６を制御する機能である。記録媒体アクセス機能１２３３は、記録媒体１１１にアクセスしてデータの書き込み又は読み出しを行う機能である。画像圧縮伸長機能１２３４は、ＣＣＤ１０３を介して得られた画像データをＪＰＥＧ形式やＭＰＥＧ形式等の所定の形式で圧縮したり、圧縮された画像データを伸長したりする機能である。画像解析機能１２３５は、ＣＣＤ１０３を介して得られた画像データ中の被写体の特徴を解析する機能である。ランドマーク種別選択機能１２３６は、画像解析機能を用いて解析された被写体の特徴から、ランドマーク種別を選択する機能である。ＧＰＳ情報とランドマークの関連付け機能１２３７は、ＧＰＳ情報とランドマークデータベースに登録されているランドマークの名称とを関連付ける機能である。ＳＣＮモード制御機能１２３８は、シーンモードに従った各種の撮影動作を制御するための機能である。ここで、シーンモードとは、特定の撮影シーンに適した設定で撮影動作を行えるようにしたモードである。

ここで、ＣＰＵ１２３の画像解析機能１２３５が、画像解析部の機能の一例である。また、ＣＰＵ１２３のランドマーク種別選択機能１２３６が、ランドマーク種別判別部の機能、ランドマーク選択部の機能の一例である。ＣＰＵ１２３のＧＰＳ情報とランドマークの関連付け機能１２３７が、関連付け部の機能の一例である。

電源回路１２４は、２次電池１２５の電圧をカメラ１００の各ブロックが必要とする電圧に変換する回路である。２次電池１２５は、カメラ１００の電源電圧を供給するための電池である。
以下、カメラ１００の動作について説明する。まず、カメラ１００のメインの動作について、図２を参照して説明する。図２の動作は、カメラ１００の電源がオンされた場合に開始される。カメラ１００の電源がオンされた場合に、ＣＰＵ１２３は、ＧＰＳ情報の取得処理を行う（ステップＳ１０１）。ＧＰＳ情報の取得処理の詳細については後述する。

ＧＰＳ情報の取得処理の後、ＣＰＵ１２３は、カメラ１００の現在の動作モードが撮影モードであるか否かを判定する（ステップＳ１０２）。ここでは、例えばカメラ１００は、動作モードとして撮影モードと再生モードの２種のモードを有している。撮影モードとは、画像データ（静止画像又は動画像）を撮影して記録媒体１１１に記録するための動作モードである。一方、再生モードとは、記録媒体１１１に記録された画像データに基づく画像を表示パネル１０７に再生するための動作モードである。勿論、カメラ１００がこれら２種以外の動作モードを有していても良い。

ステップＳ１０２の判定において、カメラ１００の現在の動作モードが撮影モードである場合に、ＣＰＵ１２３は、撮影モードの処理を行う（ステップＳ１０３）。撮影モードの処理の詳細については後述する。また、ステップＳ１０２の判定において、カメラ１００の現在の動作モードが撮影モードでない、即ち再生モードである場合に、ＣＰＵ１２３は、再生モードの処理を行う（ステップＳ１０４）。再生モードの処理の詳細については説明を省略するが、再生モードにおいては、記録媒体１１１内の何れかの画像ファイルがユーザによって選択されると、ＣＰＵ１２３は、その画像ファイル中の画像データを伸長する。その後に、ＣＰＵ１２３は、伸長した画像データに対応した画像を、表示駆動回路１０６を制御して表示パネル１０７に表示させる。

ステップＳ１０３又はステップＳ１０４の処理の後、ＣＰＵ１２３は、カメラ１００の電源をオフさせるか否かを判定する（ステップＳ１０５）。例えば、ユーザによってカメラ１００の電源のオフ操作がなされた場合や、無操作状態が所定時間継続された場合に、カメラ１００の電源をオフさせる。ステップＳ１０５の判定において、カメラ１００の電源をオフさせない場合に、ＣＰＵ１２３は、ステップＳ１０１のＧＰＳ情報の取得処理を行う。即ち、カメラ１００の電源がオンされている間は、ＣＰＵ１２３は、ＧＰＳ情報の取得処理を繰り返し行う。また、ステップＳ１０５の判定において、カメラ１００の電源をオフさせる場合に、ＣＰＵ１２３は、カメラ１００の電源をオフさせて待機状態となる。この場合には、図２の処理が終了する。

図３は、ＧＰＳ情報の取得処理の詳細について示すフローチャートである。ＧＰＳ情報の取得処理が開始すると、ＣＰＵ１２３は、ＧＰＳモジュール１１６を制御してＧＰＳ測位を実行させる（ステップＳ２０１）。ＧＰＳ測位の手法は、従来周知の各種の手法を用いることが可能である。

ＧＰＳ測位を実行させた後、ＣＰＵ１２３は、ＧＰＳ情報を取得できたか、即ち所定時間内にＧＰＳモジュール１１６からＧＰＳ情報が入力されてきたか否かを判定する（ステップＳ２０２）。
ステップＳ２０２の判定において、ＧＰＳ情報を取得できた場合に、ＣＰＵ１２３は、内部の図示しないレジスタに、ＧＰＳ情報を取得できたことを示すＯＫフラグをセットする（ステップＳ２０３）。その後、ＣＰＵ１２３は、ＧＰＳ情報の取得処理の実行時刻と取得したＧＰＳ情報とを関連付けてＦｌａｓｈメモリ１２１に記憶させる（ステップＳ２０４）。ＧＰＳ関連情報を記憶させた後、ＣＰＵ１２３は、図３の処理を終了させて図２の処理に復帰する。

また、ステップＳ２０２の判定において、ＧＰＳ情報を取得できなかった場合に、ＣＰＵ１２３は、内部の図示しないレジスタに、ＧＰＳ情報を取得できなかったことを示すＮＧフラグをセットする（ステップＳ２０５）。その後、ＣＰＵ１２３は、表示駆動回路１０６を制御して、ＧＰＳ情報を取得できなかったことを表示パネル１０７に表示させる（ステップＳ２０６）。ＧＰＳ情報を取得できなかった旨の表示を行った後、ＣＰＵ１２３は、図３の処理を終了させて図２の処理に復帰する。

図４は、撮影モードの処理の詳細を示すフローチャートである。撮影モードの処理の開始後、ＣＰＵ１２３は、スルー画表示処理を実行する（ステップＳ３０１）。スルー画表示処理として、ＣＰＵ１２３は、ＣＣＤ１０３を連続動作させる。そして、ＣＰＵ１２３は、表示駆動回路１０６を制御して、ＣＣＤ１０３の連続動作によって逐次得られる画像データに対応した画像を表示パネル１０７に表示させる。このようなスルー画表示処理により、ユーザは、表示パネル１０７に表示された画像に基づいて構図の決定等を行うことが可能である。

スルー画表示の後、ＣＰＵ１２３は、ユーザの操作部１２２の操作により１ｓｔレリーズスイッチがオンされたか否かを判定することにより、撮影動作の開始が指示されたか否かを判定する（ステップＳ３０２）。ステップＳ３０２の判定において、１ｓｔレリーズスイッチがオンされていない場合に、ＣＰＵ１２３は、ステップＳ３０１のスルー画表示処理を継続する。

また、ステップＳ３０２の判定において、１ｓｔレリーズスイッチがオンされた場合に、ＣＰＵ１２３は、撮影動作を実行する（ステップＳ３０３）。例えば静止画像の撮影動作の場合、ＣＰＵ１２３は、合焦処理を行ってレンズ１０１のフォーカスレンズを合焦位置に駆動させたり、必要に応じてズーム処理を行ってレンズ１０１のズームレンズを駆動させたりする。また、ＣＰＵ１２３は、レンズ１０１の合焦処理と並行して、撮影動作の実行時の露出条件（絞りの開放量、ＣＣＤ１０３の露光時間・感度）をシーンモードや被写体輝度等に応じて決定する。その後、ユーザの操作部１２２の操作により２ｎｄレリーズスイッチがオンされた場合に、ＣＰＵ１２３は、先に決定した条件に従って、ＣＣＤ１０３による撮像を実行させる。この際、必要に応じてフラッシュコントロール回路１１２を制御して、フラッシュ１１３を発光させる。また、動画像の撮影動作の場合には、ＣＣＤ１０３による撮像を連続的に実行させる。ＣＣＤ１０３を介して得られた画像データは、ＳＤＲＡＭ１０５に保管される。

ＣＣＤ１０３による撮像の後、ＣＰＵ１２３は、Ｆｌａｓｈメモリ１２１に記憶されている各種の特性情報や撮影動作時の撮影条件を示す情報等のカメラ駆動情報を取得する（ステップＳ３０４）。その後、ＣＰＵ１２３は、画像解析処理を行う（ステップＳ３０５）。画像解析処理の詳細は後述する。

画像解析処理の後、ＣＰＵ１２３は、ＯＫフラグがセットされているか否かを判定する（ステップＳ３０６）。ステップＳ３０６の判定において、ＯＫフラグがセットされている、即ち撮影動作の直前のＧＰＳ情報が取得できている場合に、ＣＰＵ１２３は、ＧＰＳ情報とランドマーク情報（ランドマークの名称を示す情報）とを関連付けする（ステップＳ３０７）。この関連付けの詳細は後述する。ＧＰＳ情報とランドマーク情報との関連付けの後、ＣＰＵ１２３は、ステップＳ３０３において得られた画像データに、ステップＳ３０３における撮影条件を示す撮影情報、ステップＳ３０７において関連付けられたＧＰＳ情報とランドマーク情報とを付与して画像ファイルを生成する（ステップＳ３０８）。図５は、ステップＳ３０８において生成される画像ファイルの構造例を示す図である。図５に示すように、画像ファイルは、ヘッダ情報部と、画像データ部とに分かれている。ヘッダ情報部は、例えばＥｘｉｆ（Exchangeable image file format）規格に対応している。ヘッダ情報部には、上述した撮影情報、ＧＰＳ情報、ランドマーク情報といった各種の情報がメタデータの形式で記録される。画像データ部には、ステップＳ３０３において得られた画像データが圧縮されて記録される。図５に示すような形式で画像ファイルを生成することで、ＧＰＳ情報やランドマーク情報を画像データと関連付けて記録することが可能である。

ステップＳ３０８において、画像ファイルを生成した後、ＣＰＵ１２３は、表示駆動回路１０６を制御して、ステップＳ３０８において得られた画像ファイルに基づく画像を表示パネル１０７に表示させる（ステップＳ３０９）。図６に、ステップＳ３０９において表示される撮影画の一例を示す。このような確認用の撮影画の表示の後、ＣＰＵ１２３は、ステップＳ３０８において得られた画像ファイルを記録媒体１１１に記録させる（ステップＳ３１０）。その後、ＣＰＵ１２３は、図４の処理を終了させて図２の処理に復帰する。

以下、図７〜図１２を参照して、本実施形態におけるＧＰＳ情報とランドマーク情報との関連付けについて説明する。図７は、画像解析処理の詳細を示すフローチャートである。画像解析処理の開始後、ＣＰＵ１２３は、ＣＣＤ１０３を介して得られた画像データに対して各種の画像解析処理を行う（ステップＳ４０１）。

図８は、ステップＳ４０１で行う画像解析処理の例を示す図である。図８の例では、３種類の画像解析処理を例示している。
図８に示す人検出を利用した画像解析処理は、画像データ中の人を検出し、検出した人の特徴を解析する処理である。なお、人の検出の手法としては例えば顔検出を利用する。人の顔は、例えば周知の特徴点検出によって検出することが可能である。また、人検出を利用した具体的な解析の内容としては、例えば、画像中の人の数や、性別、大人が写っているか子供が写っているか、等を判別する。例えば、画像中の人数は、画像中の人の顔の数をカウントすることで判別する。性別は、顔と推定される特徴点の特徴量（形状や色、配置等）を、男性の顔の特徴量や女性の顔の特徴量と比較することで判別する。大人が写っているか子供が写っているかについても、性別と同様に特徴量の比較によって判別する。

図８に示す風景検出を利用した画像解析処理は、画像データ中の風景を検出し、検出した風景の特徴を解析する処理である。風景は、例えば色検出と領域検出とを組み合わせることで検出することが可能である。例えば、空であれば、画像内の上方に位置する比較的大きな面積を有する青色領域を検出すれば良く、草原等であれば、画像内の下方に位置する比較的大きな面積を有する緑色領域を検出すれば良い。また、風景検出を利用した具体的な解析の内容としては、例えば、風景写真（自然物写真）であるか又は人工物写真であるか、屋内写真であるか又は屋外写真であるか、等を判別する。ここで、風景写真（自然物写真）であるかは、山等の特徴のある自然物が検出できたか否かを判別することによって判別するようにしても良いし、屋外で撮影がなされている場合には一律に風景写真であると判別するようにしても良い。人工物写真であるかは、ビル等の特徴のある人工物が検出できたか否かを判別するようにしても良いし、屋内で撮影がなされている場合には一律に人工物写真であると判別するようにしても良い。屋外写真であるか否かの判別は、例えば、空の青色が検出できた場合には屋外写真であると判別し、空の青色が検出できない場合には屋内写真であると判別する。

図８に示す主要被写体判別を利用した解析処理は、画像内の人の顔以外の特徴のある被写体がそれぞれ何であるかを解析する処理である。具体的には、画像内の特徴点の特徴量を特定パターン（電車、車等）の特徴量と比較する。
図８に示した特徴量の比較やパターンマッチング等の解析を行うためのデータは、Ｆｌａｓｈメモリ１２１に構築されているランドマークデータベースに予め登録しておく。

以下、図７に戻って説明を続ける。図８で示したような各種の画像解析処理を行った後、ＣＰＵ１２３は、画像解析処理の結果としてのパラメータ表を作成する（ステップＳ４０２）。作成したパラメータ表は、例えばＦｌａｓｈメモリ１２１のランドマークデータベースに登録しておく。

図９は、図８で示した画像解析処理によって作成されるパラメータ表の例を示す図である。なお、図９で示すパラメータ表は、図７で示したような撮影シーンに対する画像解析処理として、（１）人が写っているか、（２）大勢の人（５人以上）が写っているか、（３）男性が写っているか、（４）女性が写っているか、（５）大人が写っているか、（６）子供が写っているか、（７）風景写真か、（８）人工物写真か、（９）屋内写真か、（１０）屋外写真か、（１１）電車が写っているか、（１２）車が写っているか、（１３）飛行機が写っているか、（１４）山が写っているか、（１５）川が写っているか、（１６）橋が写っているか、をそれぞれ判別し、条件を満たす場合（ＹＥＳ）には「１」を記録し、条件を満たしていない場合（ＮＯ）には「０」を記録することで作成したものである。例えば、図７の撮影シーンでは、２人の人が写っているので、（１）の「人が写っているか」の項目には「１」が記録され、（２）の「大勢の人（５人以上）が写っているか」の項目には「０」が記録される。また、図７の撮影シーンでは、山が写っているので、（１４）の「山が写っているか」の項目には「１」が記録される。他の項目についても画像解析処理の判別結果がそれぞれ記録される。なお、図９で示した解析の内容は一例であって適宜変更可能である。

以下、図７に戻って説明を続ける。図９で示したようなパラメータ表を作成した後、ＣＰＵ１２３は、作成したパラメータ表とランドマーク対応表とを対比して、撮影動作によって取得された画像データに対応したランドマーク種別を選択する（ステップＳ４０３）。その後、ＣＰＵ１２３は、図７の処理を終了させて図４の処理に復帰する。

図１０は、ランドマーク対応表の例を示す図である。ランドマーク対応表とは、画像解析処理の内容と重み係数とを関連付けてランドマーク種別毎に記録したものである。ランドマーク種別とは、撮影場所の種別（グループ）を示す。ランドマーク種別によって、撮影された画像データの撮影場所を分類することが可能である。ここで、図１０の例では、ランドマーク種別として、「建物」、「観光地」、「駅」、「学校」、「山」、「野球場」の６個を示しているが、ランドマーク種別の数は６個に限定されるものではない。

例えば、ランドマーク種別「学校」は、運動会で撮影が行われた場合等の、「学校」が撮影場所であることを示している。運動会等の「学校」で撮影された写真であれば、大勢が一度に写っている可能性が高く、また、写っている人が子供である可能性も高い。したがって、これらの項目に対する重み係数を高めに設定する。なお、図１０の例では、「大勢の人（５人以上）が写っているか」の項目に対応した重み係数を「５」とし、「子供が写っているか」の項目に対応した重み係数を「３」としている。これに対し、「学校」で撮影された写真において「飛行機」等が写っている可能性は低いと考えられる。このため、「飛行機が写っているか」の項目に対する重み係数は「０」としている。このようにして重み係数を設定した場合、後述するランドマーク種別の選択において、子供が大勢写っている画像データについては、ランドマーク種別「学校」が選択され易くなる。

また、ランドマーク種別「駅」は、「駅」が撮影場所であることを示している。「駅」が撮影場所の場合、駅自体を撮影するよりも、電車を撮影することを意図していた可能性が高いと考えられる。このため、ランドマーク種別「駅」の場合には、「電車が写っているか」の項目に対応した重み係数を他のランドマーク種別よりも大きい「６」としている。このようにして重み係数を設定した場合、後述するランドマーク種別の選択において、電車が写っている画像データについては、ランドマーク種別「電車」が選択され易くなる。

「学校」や「駅」以外のランドマーク種別についても同様に、各ランドマーク種別に分類される撮影場所で撮影される写真における被写体の特徴であると考えられる項目については重み係数を高く設定し、そうではない項目については重み係数を低く設定する。なお、図１０で示した重み係数の設定は、一例であって、適宜変更可能である。

次に、ランドマーク対応表を用いたランドマーク種別の選択について説明する。
まず、ＣＰＵ１２３は、パラメータ表の各画像解析項目に対応した値とランドマーク対応表の各画像解析項目に対応して設定されている重み係数との積和を、ランドマーク種別毎に計算して、ランドマーク種別毎の判断値を算出する。図１１は、図９のようにして作成されたパラメータ表に対するランドマーク種別毎の判断値の算出結果の例を示す図である。図９の例では、（１）人が写っているか、（３）男性が写っているか、（５）大人が写っているか、（６）子供が写っているか、（７）風景写真か、（１０）屋外写真か、（１４）山が写っているか、の項目に「１」が記録されている。この場合、例えばランドマーク種別「建物」に対応した判断値は、１（人が写っているか）×０＋１（男性が写っているか）×０＋１（大人が写っているか）×０＋１（子供が写っているか）×０＋１（風景が写っているか）×０＋１（屋外写真か）×２＋１（山が写っているか）×０＝２となる。また、例えばランドマーク種別「山」に対応した判断値は、１（人が写っているか）×０＋１（男性が写っているか）×０＋１（大人が写っているか）×０＋１（子供が写っているか）×０＋１（風景が写っているか）×２＋１（屋外写真か）×３＋１（山が写っているか）×５＝１０となる。その他のランドマーク種別に対しても同様にして判断値を算出する。

ランドマーク種別毎の判断値を算出した後、ＣＰＵ１２３は、判断値が最も大きいランドマーク種別（図１１の例ではランドマーク種別「山」）を選択する。なお、ステップＳ４０３の算出結果によっては、複数のランドマーク種別の判断値が最大となる可能性がある。この場合には、判断値が最大となる全てのランドマーク種別を選択するようにしても良いし、逆に、全てのランドマーク種別を選択しないようにしても良い。また、判断値の最大値が小さい場合には、必ずしもユーザの意図を反映したランドマーク種別が選択されているとは限らない。このため、判断値の最大値がある許容値以上となる場合にのみランドマーク種別を選択するようにしても良い。

上述した判断値は、対応するランドマーク種別の特徴を画像データ中に多く有している場合に大きくなる。このように、本実施形態では、画像データ中の被写体の特徴からユーザの撮影意図を判別し、撮影意図に応じたランドマーク種別の選択を行っている。これにより、ユーザの撮影意図を反映した形で、画像データを撮影場所の種別単位で分類することが可能である。

ランドマーク種別を選択した後、ＣＰＵ１２３は、ステップＳ３０７において、ＧＰＳ情報とランドマーク情報とを関連付けする。図１２は、ＧＰＳ情報（緯度・経度情報）とランドマークの名称とをランドマーク種別毎に登録した対応表の例を示す図である。図１２に示すように、本実施形態では、１つの緯度・経度情報に対して、ランドマーク種別毎にランドマークの名称が関連付けられている。上述したように、ランドマーク種別は、画像データ中の被写体の特徴によって選択されるものである。したがって、ＧＰＳ情報に、ランドマーク種別に対応した名称を関連付けることで、ユーザの撮影意図を反映したランドマークの名称をＧＰＳ情報に関連付けることが可能である。例えば、図１２に示す北緯３５．３°…、東経１３８．７°…、の場所の名称は、ランドマーク種別が「観光地」、「山」の場合には「高尾山」が関連付けられており、ランドマーク種別が「駅」の場合には「高尾山駅」が関連付けられている。このように、本実施形態では、ＧＰＳ情報としては同じ位置を示していても、選択されるランドマーク種別によって、ＧＰＳ情報に関連付けられるランドマークの名称が変化する。

ここで、図１２に示すように、ランドマーク種別に対応したランドマークの名称が存在していない場合もある。この場合には、例えばＧＰＳ情報とランドマーク種別に対応したランドマークの名称との関連付けを行わないようにしても良い。また、図１２には、画像解析の結果とは関係ないランドマーク種別として「住所」が登録されている。ランドマーク種別「住所」に対応した情報は、ＧＰＳ情報で示される場所の名称であってＧＰＳ情報と１対１で対応するので、他のランドマーク種別からランドマークの名称が検索できなかった場合には、ランドマーク種別「住所」に対応した情報を、ＧＰＳ情報と関連付けるようにしても良い。この他、ランドマークの名称や住所以外の情報をＧＰＳ情報と関連付けるようにしても良い。

以上説明したように、第１の実施形態では、ユーザによって撮影された画像の特徴を解析し、この特徴に従って撮影場所（ランドマーク）の種別を判別している。さらに、第１の実施形態では、判別したランドマークの種別に対応した名称をＧＰＳ情報と関連付けるようにしている。これにより、ユーザの撮影意図を考慮して、ＧＰＳ情報とランドマークの名称情報とを関連付けることが可能である。

ここで、画像ファイルのヘッダ情報部には、ランドマーク種別の情報も記録するようにしても良い。ランドマーク種別の情報も記録しておくことにより、例えば画像ファイルをランドマーク種別毎に分類して管理することが可能である。
また、図１２で示した対応表において、ランドマーク名称に対応付けるＧＰＳ情報の分解能はそれほど高くしておく必要はなく、ある程度の範囲を持たせるようにしても良い。これは、本実施形態が、ランドマーク種別に応じたランドマークの名称の判別を行うようにしているためである。ランドマーク種別により、撮影場所をある程度予測できるので、ＧＰＳ情報の精度がそれほど高くなくとも、ユーザの意図を反映した所望のランドマークの名称を画像データに関連付けることが可能である。また、この場合には、ランドマークデータベースのデータ量を削減することも可能となる。勿論、ランドマークの名称に対応付けるＧＰＳ情報の分解能を高くしても良い。

第１の実施形態の変形例について説明する。図１３は、第１の実施形態の変形例における画像解析処理の詳細を示すフローチャートである。この変形例は、画像解析結果だけではなく、シーンモード等のカメラで用いられる各種のカメラ撮影パラメータを利用して画像解析を行う例である。例えば、シーンモードが設定されている場合、シーンモードからユーザが撮影しようとした撮影シーンを特定できる。変形例では、画像解析結果に加えて各種のカメラ撮影パラメータも利用して、より正確にランドマーク種別の判別を行えるようにしたものである。

画像解析処理の開始後、ＣＰＵ１２３は、ＣＣＤ１０３を介して得られた画像データに対して各種の画像解析処理を行う（ステップＳ５０１）。画像解析処理は、図８で示したものを用いることが可能である。各種の画像解析処理を行った後、ＣＰＵ１２３は、画像解析処理の結果としてのパラメータ表を図９で示したようにして作成してランドマークデータベースに登録する。そして、ＣＰＵ１２３は、作成したパラメータ表からランドマーク種別毎の判断値を算出する（ステップＳ５０２）。この判断値も、図１１で示した例と同様にして算出できる。

判断値の算出後、ＣＰＵ１２３は、ステップＳ５０２において作成したパラメータ表から算出される判断値を補正するためのカメラ撮影補正値を、カメラ撮影パラメータ表から算出する（ステップＳ５０３）。
図１４は、カメラ撮影パラメータ表の例を示した図である。図１４の例では、（１）シーンモード（撮影ＳＣＮモード）、（２）フラッシュ１１３の発光の有無、（３）撮影日が休日であるか否か、（４）ズーム方向、をカメラ撮影パラメータとして示している。

図１５は、カメラ撮影パラメータとランドマーク種別とを関連付けて登録したランドマーク対応表の例を示す図である。図１５に示すランドマーク対応表も、カメラ撮影パラメータと重み係数とを関連付けてランドマーク種別毎に記録している。重み係数は、各ランドマーク種別に分類される撮影場所で撮影される写真に設定されると考えられるカメラ撮影パラメータについては高く設定し、そうではないカメラ撮影パラメータについては低く設定する。なお、図１５で示した重み係数の設定は、一例であって、適宜変更可能である。

カメラ撮影補正値は、判断値と同様にして算出する。即ち、カメラ撮影パラメータ表の各カメラ撮影パラメータに対応した値とランドマーク対応表の各カメラ撮影パラメータに対応して設定されている重み係数との積和をランドマーク種別毎に計算してランドマーク種別毎の補正値を算出する。例えば、図１６は、図１４に示すようなカメラ撮影パラメータ表が作成されている場合において算出される補正値（カメラ撮影補正値）を示している。

以下、図１３に戻って説明を続ける。補正値を作成した後、ＣＰＵ１２３は、作成したパラメータ表とランドマーク対応表とを対比して、撮影動作によって取得された画像データに対応したランドマーク種別を選択する（ステップＳ５０４）。その後、ＣＰＵ１２３は、図１３の処理を終了させて図４の処理に復帰する。

図１７に示すように、最終の判断値は、ステップＳ５０２において算出した判断値とステップＳ５０３において算出した補正値とのランドマーク種別毎の和である。ＣＰＵ１２３は、このようにして算出した最終の判断値のうちで、値が最も大きいランドマーク種別（図１７の例ではランドマーク種別「山」）を選択する。

以上説明したような変形例では、カメラが通常有しているカメラ撮影パラメータを考慮してランドマーク種別を判別する。したがって、よりユーザの撮影意図を判別し易くなり、ユーザの撮影意図に応じたランドマークの名称（又はランドマーク種別）を画像データに関連付けることが可能である。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第２の実施形態は、画像解析処理のさらなる変形例である。画像解析処理以外の処理や撮影装置の構成は第１の実施形態で説明したものが適用できる。
図１８は、第２の実施形態における画像解析処理の詳細を示すフローチャートである。画像解析処理の開始後、ＣＰＵ１２３は、ＣＣＤ１０３を介して得られた画像データに対して各種の画像解析処理を行う（ステップＳ６０１）。画像解析処理は、図８で示したものを用いることが可能である。各種の画像解析処理を行った後、ＣＰＵ１２３は、画像解析処理の結果としてのパラメータ表を図９で示したようにして作成する（ステップＳ６０２）。

パラメータ表の作成後、ＣＰＵ１２３は、今回の撮影動作の実行時刻（撮影時刻）と前回の撮影動作の実行時刻（撮影時刻）とを取得する。そして、ＣＰＵ１２３は、取得した撮影時刻から、前回の撮影動作から今回の撮影動作までに所定時間（例えば１時間）以上経過しているか否かを判定する（ステップＳ６０３）。

ステップＳ６０３の判定において、前回の撮影動作から今回の撮影動作までに１時間以上経過している場合に、ＣＰＵ１２３は、Ｆｌａｓｈメモリ１２１内のランドマークデータベースに登録しているパラメータ表をリセットする（ステップＳ６０４）。その後、ＣＰＵ１２３は、Ｆｌａｓｈ１２１内のランドマークデータベースを読み出して、読み出したランドマークデータベースに、ステップＳ６０２で作成されたパラメータ表を新たに登録する（ステップＳ６０５）。

また、ステップＳ６０３の判定において、前回の撮影動作から今回の撮影動作までに１時間以上経過していない場合に、ＣＰＵ１２３は、Ｆｌａｓｈメモリ１２１内のランドマークデータベースに登録しているパラメータ表のリセットを行わずに、Ｆｌａｓｈ１２１内のランドマークデータベースを読み出す（ステップＳ６０６）。そして、ＣＰＵ１２３は、読み出したランドマークデータベースに、ステップＳ６０２で作成されたパラメータ表を追加する（ステップＳ６０７）。

ステップＳ６０５又はステップＳ６０７の後、ＣＰＵ１２３は、最終的なパラメータ表を作成する（ステップＳ６０８）。ステップＳ６０４においてパラメータ表のリセットが行われていた場合には、ステップＳ６０５において新たに登録されたパラメータ表を最終的なパラメータ表とする。一方、ステップＳ６０７においてパラメータ表の追加登録が行われていた場合には、過去１時間の間に登録されている全てのパラメータ表を最終的なパラメータ表とする。

最終的なパラメータ表を作成した後、ＣＰＵ１２３は、最終的なパラメータ表とランドマーク対応表とを対比して、撮影動作によって取得された画像データに対応したランドマーク種別を選択する（ステップＳ６０９）。その後、ＣＰＵ１２３は、図１８の処理を終了させて図４の処理に復帰する。

パラメータ表が１つの場合には第１の実施形態と同様にして判断値を算出することができる。一方、複数のパラメータ表が存在する場合には、各パラメータ表に対して図１１に示したような判断値の算出を行う。そして、パラメータ表毎に算出された判断値の総和をランドマーク種別毎に算出して最終的な判断値とする。判断値からランドマーク種別を選択する手法については第１の実施形態と同様である。

以上説明したように、本実施形態によれば、所定時間の間に複数のパラメータ表が作成されていた場合には、これらの複数のパラメータ表による判断結果を総合してランドマーク種別を選択するようにしている。短期間の間であれば、ユーザは同じ撮影意図を持って撮影を行っている可能性が高いと考えられる。この場合には、複数のパラメータ表による判断結果を総合してランドマーク種別を選択することで、第１の実施形態に比べてよりユーザの撮影意図に対応したランドマーク種別を選択することが可能となる。

ここで、第２の実施形態では、カメラ撮影パラメータを用いていないが、カメラ撮影パラメータについても画像解析結果のパラメータ表と同様にして第２の実施形態の手法を適用することが可能である。
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００…デジタルカメラ（カメラ）、１０１…レンズ、１０２…レンズ用アクチュエータ、１０３…撮像素子（ＣＣＤ）、１０４…アナログフロントエンド（ＡＦＥ）回路、１０５…一時記憶部（ＳＤＲＡＭ）、１０６…表示駆動回路、１０７…表示パネル、１０８…バックライトユニット、１０９…映像信号出力回路、１１０…映像信号出力端子、１１１…記録媒体、１１２…フラッシュコントロール回路、１１３…フラッシュ、１１４…手ブレ補正用ジャイロセンサ、１１５…手ブレ補正用アクチュエータ、１１６…ＧＰＳモジュール、１１７…ＧＰＳアンテナ、１１８…マイクロホン（マイク）、１１９…スピーカ、１２０…外部有線データ通信インターフェース（Ｉ/Ｆ）、１２１…Ｆｌａｓｈメモリ、１２２…操作部、１２３…ＡＳＩＣ（ＣＰＵ）、１２４…電源回路、１２５…２次電池

Claims (6)

1. 被写体を撮影して、該被写体の画像データを取得する撮影部と、
   上記取得された画像データを解析し、画像データの特徴の有無を項目毎に記録したパラメータ表を作成する画像解析部と、
   上記パラメータ表に記録されている項目毎の特徴の有無の情報と、上記項目毎の重み係数を撮影場所の種別毎に記憶したランドマーク対応表とに基づいて、上記画像データの撮影場所の種別を示すランドマーク種別を判別するランドマーク種別判別部と、
   を具備することを特徴とする撮影装置。
2. ランドマークの名称とランドマークの位置との関連付け情報を上記ランドマーク種別毎に記憶するランドマーク記憶部と、
   上記撮影が行われた場所の位置を検出する位置検出部と、
   上記検出された位置に対応したランドマークの名称を上記ランドマーク記憶部から選択するランドマーク選択部と、
   上記取得された画像データと上記選択されたランドマークの名称とを関連付けて記録媒体に記録する関連付け部と、
   をさらに具備することを特徴とする請求項１に記載の撮影装置。
3. 上記撮影部による撮影条件を設定するためのシーンモードを設定するシーンモード設定部をさらに具備し、
   上記ランドマーク種別判別部は、さらに、上記シーンモードに応じて上記ランドマーク種別を判別することを特徴とする請求項１又は２に記載の撮影装置。
4. 上記ランドマーク種別判別部は、所定時間内に得られた過去の複数の上記パラメータ表に応じて、上記画像データの撮影場所の種別を示すランドマーク種別を判別することを特徴とする請求項１乃至３の何れか１項に記載の撮影装置。
5. 撮影部により、被写体を撮影して、該被写体の画像データを取得することと、
   画像解析部により、上記取得された画像データを解析し、画像データの特徴の有無を項目毎に記録したパラメータ表を作成することと、
   ランドマーク種別判別部により、上記パラメータ表に記録されている項目毎の特徴の有無の情報と、上記項目毎の重み係数を撮影場所の種別毎に記憶したランドマーク対応表とに基づいて、上記画像データの撮影場所の種別を示すランドマーク種別を判別することと、
   を具備することを特徴とする撮影方法。
6. 撮影部により、被写体を撮影して、該被写体の画像データを取得することと、
   画像解析部により、上記取得された画像データを解析し、画像データの特徴の有無を項目毎に記録したパラメータ表を作成することと、
   ランドマーク種別判別部により、上記パラメータ表に記録されている項目毎の特徴の有無の情報と、上記項目毎の重み係数を撮影場所の種別毎に記憶したランドマーク対応表とに基づいて、上記画像データの撮影場所の種別を示すランドマーク種別を判別することと、
   をコンピュータに実行させるための撮影プログラム。

Images