JP5914714B2 - 撮影機器および撮影方法 - Google Patents

Description

本発明は、撮影機器および撮影方法に関し、特に、被写体に関連した情報を表示可能な撮影機器および撮影方法に関する。

従来より、デジタルカメラ等の撮影機器には、撮影画像を確認するためのLCD等の表示デバイスを有しているものがある。撮影者であるユーザは、その表示デバイスに表示される画像を見て、撮影画像を確認することができる。

ところで、自動的に対象物の名称等の関連する情報を取得して、撮影している画像情報における観測方向に存在する対象物に名称を表示する携帯通信端末が開示されている（例えば、特許文献１参照）。

この携帯通信端末は、現在位置している場所の位置情報と、現在位置からの被写体の方位情報とに基づいて、地図情報データベースより検索された被写体名称を取得し、被写体画像に被写体名称を合成して表示デバイスに表示するように制御している。

このような特許文献１に開示されている技術を撮影機器に適応し、撮影される被写体に、被写体に関連する情報を合成して、撮影機器の表示デバイスに表示することによって、被写体をよく確認しながら撮影の楽しみを倍加することが考えられる。

特開２０１０−１２４１８５号公報

しかしながら、撮影機器は、ユーザによりレンズの画角、焦点、絞り等のレンズ特性が変更される。また、レンズ交換式の撮影機器は、交換されるレンズ毎にレンズ特性が変更される。

そのため、特許文献１に開示されている技術を適応した撮影機器は、撮影機器のレンズ特性が変更された場合に、位置情報及び方位情報からだけでは被写体に関連する情報を的確に表示することができない上、ユーザの興味のもの以外をも整理せず表示してしまうという問題がある。

そこで、本発明は、ユーザの撮影操作を考慮することによって、被写体に関連する情報を的確に表示することができる撮影機器および撮影方法を提供することを目的とする。

本発明による一態様の撮影機器は、被写体を撮影するためのズームレンズ部を有する撮影機器であって、前記被写体を撮影した撮影画像を表示する表示部と、前記ズームレンズ部のレンズ状態を変更操作するための操作部と、前記操作部により変更操作された前記ズームレンズ部のレンズ状態を検出する検出部と、前記ズームレンズ部のレンズ状態に係るレンズ状態情報、および、当該ズームレンズ部に係るレンズ収差情報を格納可能なレンズデータ格納部と、前記被写体に関連した被写体情報および前記被写体周辺に関連した被写体周辺情報を記録したデータベースを有する記録部と、前記撮影機器の位置情報および方位情報に応じて、前記データベースから前記被写体に関連した前記被写体情報および前記被写体周辺に関連した前記被写体周辺情報を読み出す読出制御部と、前記読出制御部によって前記データベースから読み出した前記被写体情報および被写体周辺情報のうち前記検出部により検出された前記レンズ状態に応じた前記被写体情報を選択するとともに、選択された当該被写体情報に係る第１の重畳画像を前記撮影画像に重畳して前記表示部に表示可能とする表示制御部と、前記レンズデータ格納部に格納された当該ズームレンズ部に係る前記レンズ収差情報に基づいて、前記ズームレンズ部のズーム位置に応じた歪特性を取得する歪特性取得部と、前記歪特性取得部において取得した前記歪特性に応じて、前記第１の重畳画像に対して所定の歪を付加し、当該歪が付加された第２の重畳画像を生成する歪付加画像生成部と、を有し、前記表示制御部は、さらに、前記歪付加画像生成部において生成された前記第２の重畳画像を前記撮影画像に重畳して前記表示部に表示可能とする。

本発明による一態様の撮影方法は、被写体を撮影するためのズームレンズ部を有する撮影機器が実行する撮影方法であって、前記被写体を撮影した撮影画像を表示部に表示する表示ステップと、前記ズームレンズ部のレンズ状態を変更操作するための操作部により変更操作された前記ズームレンズ部のレンズ状態を検出する検出ステップと、前記撮影機器の位置情報および方位情報に応じて、前記被写体に関連した被写体情報および前記被写体周辺に関連した被写体周辺情報を記録したデータベースから前記被写体に関連した前記被写体情報および前記被写体周辺に関連した前記被写体周辺情報を読み出す読出制御ステップと、前記読出制御ステップによって前記データベースから読み出した前記被写体情報および被写体周辺情報のうち前記検出ステップにより検出された前記レンズ状態に応じた前記被写体情報を選択するとともに、選択された当該被写体情報に係る第１の重畳画像を前記撮影画像に重畳して前記表示部に表示する第１の表示制御ステップと、前記ズームレンズ部のレンズ状態に係るレンズ状態情報、および、当該ズームレンズ部に係るレンズ収差情報を格納可能なレンズデータ格納部に格納された当該ズームレンズ部に係る前記レンズ収差情報に基づいて、前記ズームレンズ部のズーム位置に応じた歪特性を取得する歪特性取得ステップと、前記歪特性取得ステップにおいて取得した前記歪特性に応じて、前記第１の重畳画像に対して所定の歪を付加し、当該歪が付加された第２の重畳画像を生成する歪付加画像生成ステップと、前記歪付加画像生成ステップにおいて生成された前記第２の重畳画像を前記撮影画像に重畳して前記表示部に表示する第２の表示制御ステップと、を有する。

本発明の撮影機器および撮影方法によれば、ユーザの撮影操作を考慮することによって、被写体に関連する情報を的確に表示することができる。

本発明の第１の実施の形態に係るデジタルカメラの構成を示すブロック図である。 被写体にタグを合成表示する場合について説明するための図である。 焦点情報に応じて被写体にタグを合成表示する場合について説明するための図である。 画角情報に応じて被写体に関連する情報を表示する場合について説明するための図である。 画角情報に応じて被写体に関連する情報を表示する場合について説明するための図である。 焦点及び絞り情報に応じて被写体に関連する情報を表示する場合について説明するための図である。 被写体にアバター情報を重畳表示する場合を説明するための図である。 デジタルカメラ１の撮影時の処理の流れの例を示すフローチャートである。 本発明の第２の実施の形態に係わる、ユーザPが月撮影モードに変更する状態を説明するための図である。 ユーザPがレンズ３をズーミングして月を撮影する場合を説明するための図である。 デジタルカメラ１の月撮影モード時の処理の流れの例を示すフローチャートである。 本発明の第３の実施の形態に係わる、歪特性及び画像データを説明するための図である。 歪特性に合わせて重畳画像に歪を付加する例を説明するための図である。 樽型歪の場合の撮影画像と重畳画像とを説明するための図である。 歪特性に応じて重畳画像に歪を付加する処理の流れの例を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施の形態）
（構成）
本実施の形態の撮影機器としてのデジタルカメラ１は、レンズ３が交換可能な本体部２を含む、一眼式のデジタルカメラである。図１は、本実施の形態に係るデジタルカメラの構成を示すブロック図である。

なお、以下の説明では、撮影機器は、一眼式のデジタルカメラであるとして説明するが、撮影機器は、いわゆるレンズ交換のできないカメラであってよく、例えば、レンズ一体型のカメラ、所謂コンパクトカメラ等、あるいは画角調整機能付きカメラ付き携帯電話であってもよい。第２及び第３の実施の形態においても同様である。

図１に示すように、デジタルカメラ１は、いわゆるボディである本体部２と、レンズ３とを有する。

まず、本体部２は、信号処理及び制御部１１と、通信部１２，１３と、撮像部１４と、モーション判定部１５と、記録部１６と、GPS部１７と、表示部１８と、方位判定部１９と、操作判定部２０と、時計部２１とを含んで構成されている。これらの各部は、本体部２内の回路基板上に搭載されている。

信号処理及び制御部１１は、中央処理装置（以下、CPUとい）を含み、撮像部１４からの画像信号に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種のデジタル処理を行う。信号処理及び制御部１１は、画像信号及び音声信号等の記録に際して、符号化処理を施して圧縮した画像情報及び音声情報等を出力することもできるようになっている。また、信号処理及び制御部１１は、記録部１６からの画像情報及び音声情報を復号化して、画像信号及び音声信号を得ることができるようになっている。

信号処理及び制御部１１のCPUが、デジタルカメラ１の全体の動作の制御を行う。CPUが実行するソフトウエアプログラムは、図示しないROMに記憶されている。

また、信号処理及び制御部１１は、物体認識部１１ａと、表示制御部１１ｂとを含む。物体認識部１１ａ及び表示制御部１１ｂは、CPUにより実行されるソフトウエアプログラムでもよいし、ハードウエア回路でもよい。

物体認識部１１ａは、撮像部１４により得られた撮像信号から人物の顔あるいは建物の外観等の物体を認識する。

表示制御部１１ｂは、撮像結果に被写体に関連する関連情報である後述するタグまたはアバター情報を合成し、表示部１８に表示するように制御する処理部である。

通信部１２は、レンズ３の通信部（後述）との各種データ通信を行う回路である。

通信部１３は、無線通信機能を有し、インターネット等の通信回線を介し、データベース３６等とデータ通信を行う回路である。

撮像部１４は、CCDやCMOSセンサ等の撮像素子によって構成されている。レンズ３からの被写体の光学像は、撮像部１４を構成する撮像素子の撮像面に結像するようになっている。この撮像部１４は、信号処理及び制御部１１によって駆動制御される。信号処理及び制御部１１は、撮像部１４に撮像素子の駆動信号を出力すると共に、撮像素子が光学像を光電変換して得た画像信号を取り込む。

モーション判定部１５は、加速度センサ等を含み、本体部２の動き、例えば、本体部２の仰角、ブレ及び姿勢等を判定する。

記録部１６は、信号処理及び制御部１１からの画像情報及び音声情報を図示しない記録媒体に記録する回路である。なお、記録部１６は、例えばカードインターフェースを採用することができ、記録部１６は、メモリカード等に画像情報及び音声情報等を記録可能である。また、記録部１６は、記録媒体に記録された画像情報及び音声情報を読み出して信号処理及び制御部１１に供給することができる。

また、記録部１６は、データベース１６ａを有する。データベース１６ａには、地図情報及びアバター情報等が記録されている。地図情報及びアバター情報等は、信号処理及び制御部１１によって読み出される。

GPS部１７は、GPSシステムからの信号を受信して、デジタルカメラ１の位置情報を取得する回路である。

表示部１８は、液晶表示器（LCD）等の表示デバイスにより構成され、撮影画像及び後述する補助画像を表示するユニットである。表示部１８は、撮像部１４からの撮像画像や記録部１６からの再生画像が信号処理及び制御部１１から供給されて、これらの画像表示を行うことができる。また、表示部１８は信号処理及び制御部１１により制御されて、デジタルカメラ１の操作を行うためのメニュー表示等を表示することもできるようになっている。

方位判定部１９は、地磁気センサ等を含み、デジタルカメラ１のレンズ３の向いている方向である方位を判定するためのセンサを含む。

操作判定部２０は、本体部２に設けられた操作部２０ａ（図３（ａ）参照）、各種スイッチ、タッチパネル等への操作信号を入力して、ユーザの種々の操作内容を判定する回路である。操作判定部２０は、ユーザによる各種釦操作に応じた操作信号を発生させて、信号処理及び制御部１１に出力するようになっている。信号処理及び制御部１１は、操作信号に基づいて、各部を制御する。

時計部２１は、信号処理及び制御部１１が用いる時間情報を発生する。

レンズ３は、ズームレンズ部３１（単焦点レンズでもよい）と、通信部３２と、駆動部３３と、操作部３４と、レンズデータ格納部３５とを含んで構成されている。

ズームレンズ部３１は、ズームレンズの光学系を有しており、かつ駆動部３３に駆動されることにより被写体の像を合焦させるオートフォーカス機能を備えている。なお、本実施の形態では、ズームレンズの光学系を有するズームレンズ部３１として説明するが、これに限定されることなく、例えば、単焦点レンズの光学系を有する単焦点レンズ部であってもよい。

通信部３２は、本体部２の通信部１２との通信を行う回路である。レンズ３が本体部２に装着されると、それぞれに設けられた複数の切片あるいは複数のピンが接触して、通信部１２と１３間で信号の送受信が可能となる。通信部３２は、レンズデータ格納部に格納されているレンズ３に関する情報を本体部２へ送信することができる。

レンズ３は、交換レンズであるので、種々のレンズが本体部２へ装着可能である。よって、装着される複数のレンズは、ズームレンズとしての倍率、焦点距離、明るさ（Ｆ値）等の情報が互いに異なっている。

駆動部３３は、ズームレンズ部３１の絞り、焦点、および画角（ズーム状態）等を制御するために、ズームレンズ部３１を駆動する回路である。ズームレンズ部３１のズーム状態、合焦状態、および絞りは、図示しない検出部によって検出され、その検出されたズームレンズ部３１の状態等は通信部３２を介して本体部２へ送信される。

操作部３４は、レンズ３のズームリングあるいはズームスイッチであり、操作部３４を操作することによって、ユーザは、レンズ３のズームをすることができる。また、焦点位置や絞りを手動調整できるような操作部を有してもよい。もちろん、シーンに応じて、自動でこれらの変数を変更できる仕様でもよい。

レンズデータ格納部３５には、レンズ３の絞り、焦点、画角及び収差等の情報が記録されている。

従って、デジタルカメラ１は、信号処理及び制御部１１、記録部１６及び表示部１８により、撮像部１４からの撮像信号に基づく動画像及び静止画についての処理が可能である。即ち、信号処理及び制御部１１は、撮像部１４からの撮像信号に所定の信号処理を施して動画像の映像信号を生成すると共に、この映像信号を表示部１８に与えて表示させる。また、信号処理及び制御部１１は、生成した映像信号を圧縮して記録部１６に与える。記録部１６は、信号処理及び制御部１１からの映像信号を図示しない記録媒体に記録すると共に、記録媒体に記録されている映像信号を読み出して信号処理及び制御部１１に出力することができる。信号処理及び制御部１１は記録部１６からの映像信号を復号化して、本体部２の表示部１８に与えて表示させることができる。

図２は、被写体にタグを合成表示する場合について説明するための図である。

信号処理及び制御部１１は、ユーザPによりAR表示モード（Augmented Reality＝拡張現実）に設定されると、GPS部１７からのデジタルカメラ１の位置情報と、方位判定部１９からの方位情報とに基づき、データベース１６ａの地図情報を参照し、被写体を説明するためのタグを読み出す。表示制御部１１ｂは、信号処理及び制御部１１によって読み出されたタグを表示画面１８ａに表示することができる。

図２（ａ）に示すように、ユーザPが、被写体の一例として、富士山を撮影している場合、表示部１８の表示画面１８ａには、被写体を説明するための、即ち、被写体に関連する情報であるタグ４１が被写体に合成表示される。

しかしながら、図２（ｂ）に示すように、ユーザPが、街中の雑然とした場所で撮影する場合、被写体に関連する情報である複数のタグ４２〜４４が表示部１８の表示画面１８ａに合成表示される。この場合、複数のタグ４２〜４４が表示画面１８ａの多くの部分を占めるようになり、被写体の撮影に支障がでる。

図３は、焦点情報に応じて被写体にタグを合成表示する場合について説明するための図である。

表示制御部１１ｂは、GPS部１７からのデジタルカメラ１の位置情報と、方位判定部１９からの方位情報と、レンズ３からの焦点情報とに応じて、被写体に関連する情報のみを選択して表示画面１８ａに表示する。そして、被写体周辺に関連した情報は選択されず、表示画面１８ａに表示されない。

図３（ａ）に示すように、ユーザPは、本体部２の背面の表示部１８の表示画面１８ａに表示される撮影画像を見ながら、本体部２の操作部２０ａあるいはレンズ３の操作部３４を操作する。ユーザPが、例えば、遠距離のタワーに焦点を合わせると、その操作に応じて、図３（ｂ）に示すように、遠距離のタワーに関連するタグ４２のみが表示画面１８ａに表示される。また、ユーザPが、例えば、近距離の△ビルに焦点を合わせると、その操作に応じて、図３（ｃ）に示すように、近距離の△ビルに関連するタグ４４のみが表示画面１８ａに表示される。なお、図３（ａ）及び（ｂ）に示すタグ４２及びタグ４４は、３D表示にしてもよい。

このように、本実施の形態のデジタルカメラ１は、ユーザPのレンズ操作に応じて、ユーザPの必要とするタグ情報のみを表示部１８の表示画面１８ａに表示するようにしている。

図４及び図５は、画角情報に応じて被写体に関連する情報を表示する場合について説明するための図である。

ユーザPが図４に示す向きにデジタルカメラ１を向けると、GPS部１７及び方位判定部１９は、それぞれデジタルカメラ１の位置（経度ｘ０、緯度ｙ０）及び向きθ０を検出する。ユーザPがレンズ３をズーミングして画角θ１から画角θ２に変更すると、信号処理及び制御部１１は、画角θ２を考慮して、図５の（式１）を算出する。

信号処理及び制御部１１は、デジタルカメラ１の経度ｘ０、緯度ｙ０を基準にして、Ａビル５１の経度ｘ１、緯度ｙ１に基づき、Ａビル５１の相対経度（ｘ１−ｘ０）、相対緯度（ｙ１−ｙ０）を求める。同様に、信号処理及び制御部１１は、Ｂビルの（ｘ２−ｘ０）、相対緯度（ｙ２−ｙ０）を求める。

信号処理及び制御部１１は、このように求めたＡビル５１及びＢビル５２の相対経度をそれぞれ図５の（式１）に代入して得られる緯度が、それぞれＡビル５１及びＢビル５２の相対緯度より小さいか否かを判定する。図５の（式１）に代入して得られる緯度が、相対緯度より小さい場合、撮影範囲で表示候補となる。従って、Ａビル５１は、撮影対象ではなく、Ｂビル５２は、撮影対象となる。この結果、Ａビルに関連するタグは表示画面１８ａに表示されず、Ｂビル５２に関連するタグが表示画面１８ａに表示される。

図６は、焦点及び絞り情報に応じて被写体に関連する情報を表示する場合について説明するための図である。

信号処理及び制御部１１は、デジタルカメラ１またはレンズ３によって設定された焦点位置L１、L２、または、絞りによる被写界深度（L１−L２）に基づき、被写体としてのBビル５２の距離Lb、X駅の距離LCが表示条件に入るか否かを判定する。

Bビル５１の距離は、図６の（式２）で算出できるので、信号処理及び制御部１１は、算出した距離を焦点位置によって決まる焦点合わせ距離、または、絞りによって決まる被写界深度を加味した距離幅と比較する。そして、信号処理及び制御部１１は、Bビル５１が焦点合わせ距離、または、被写界深度を加味した距離幅内に存在すると判定すると、Bビル５１に関連するタグを表示画面１８ａに表示させる。

次に、アバター情報を表示することについて説明する。

図７は、被写体にアバター情報を重畳表示する場合を説明するための図である。ここでアバター情報とは、被写体や撮影者など、人物を単純化して図像化したもので、対応するデジタルデータが、適宜、記録部から読み出されて画像として合成されるものである。もちろん、被写体の場合、その特徴を抽出して、輪郭を単純化したり、顔パーツを合成してアバター画像を形成してもよい。

図７（ａ）に示すように、被写体５５をデジタルカメラ１で撮影する場合、GPS部１７及び方位判定部１９によりデジタルカメラ１の位置及び方位が検出される。信号処理及び制御部１１は、位置及び方位情報から、地図上のどこの位置で撮影するかを検出し、図７（ｂ）に示すように、対応する場所の簡易地図情報５６をデータベース１６ａから読み出す。

また、物体認識部１１ａは、被写体５５に対応するアバター情報がデータベース１６ａに記録されているか否かを検出する。信号処理及び制御部１１は、被写体５５に対応するアバター情報がデータベース１６ａに記録されていることを物体認識部１１ａが検出すると、図７（ｃ）に示すように、簡易地図情報５６の対応する位置にアバター情報５７を合成する。

表示制御部１１ｂは、合成された簡易地図情報５６及びアバター情報５７をアイコン化し、図７（ｄ）に示すように、撮影画像に重畳表示する。これにより、ユーザPは、単に個々の被写体の名称のみならず、自分の位置と周りの環境を含めた撮影時の状況を把握して撮影することが可能となる。これによって、見のがしていたものや、歩行者や人物によって隠れていた背景などを考慮して、より良い記念写真を撮影することが可能となる。
（処理）
次に、デジタルカメラ１の撮影時の処理を説明する。図８は、デジタルカメラ１の撮影時の処理の流れの例を示すフローチャートである。図８の処理は、信号処理及び制御部１１のCPUが実行する。図８の処理プログラムは、信号処理及び制御部１１内のROM（図示せず）に記憶されている。

デジタルカメラ１の電源がオンにされているときに、CPUは、ユーザにより撮影モードが設定されているか否かを判定する（S1）。撮影モードでないとき（S1:NO）は、その他のモードの処理、例えば再生モードの処理、が実行される。

撮影モードであるとき（S1:YES）、CPUは、レンズ３の各種データを取得し（S2）、AR表示モードであるか否かを判定する（S3）。このAR表示モードは、被写体にAR情報、即ち、被写体に関連する情報を仮想現実的に重畳表示するモードであり、デジタルカメラ１がユーザによって、AR表示モードに設定されているか否かが判定される。これは、タグやアバターなどのデジタル情報を実際の画像のデータの中に合成するので、現実の情報がリッチコンテンツになるということで、現実を拡張したように見えるのでこのように呼ぶ。ここでは、こうして現実画像内に重ねて表示するデジタル情報を「ＡＲデータ」と呼ぶ。

デジタルカメラ１がAR表示モードに設定されていない場合（S3: NO）、CPUは、ズーム操作がされたか否かを判定する（S4）。ズーム操作がされたときは（S4:YES）、CPUは、光学ズーム制御操作を実行し（S5）、全域表示を行う（S6）。全域表示は、撮像部１４の撮像素子で撮像して得られた画像を表示部１８の表示画面１８ａ上に表示することである。ズーム操作がされていないときは（S4:NO）、CPUは、全域表示を行う（S6）。

次に、撮影釦が押されたか否かが判定され（S7）、撮影釦が押されたとき（S7:YES）、CPUは、撮像範囲の画像を記憶する（S8）。撮影釦が押されないとき（S7:NO）、処理は、S1へ戻る。CPUは、AR表示モードであるか否かを判定する（S9）。デジタルカメラ１がAR表示モードに設定されていない場合（S9: NO）、処理は、S1へ戻る。なお、デジタルカメラ１がAR表示モードに設定されている際の処理は、S3の処理から説明する。

デジタルカメラ１がAR表示モードに設定されている場合（S3:YES）、CPUは、デジタルカメラ１に状態変化があったか否かを判定する（S10）。状態変化があったときは（S10:YES）、CPUは、位置検出、方位検出、レンズ広角画角情報より必要データをデータベース１６ａから取得し、（S11）CPUは、ズーム操作があったか否かを判定する（S12）。状態変化がないときは（S10: NO）、CPUは、ズーム操作があったか否かを判定する（S12）。ズーム操作があった場合（S12:YES）、CPUは、取得したデータを画角で限定し（S13）、焦点操作があったか否かを検出する（S14）。ズーム操作がなかった場合（S12: NO）、CPUは、焦点操作があったか否かを検出する（S14）。焦点操作があった場合（S14:YES）、CPUは、取得したデータを距離で限定し（S15）、絞り操作があったか否かを検出する（S16）。焦点操作がなかった場合（S14: NO）、CPUは、絞り操作があったか否かを検出する（S16）。絞り操作があった場合（S16:YES）、CPUは、取得したデータを距離範囲で限定し（S17）、撮像結果にデータを3Dデータとして合成表示する（S17）。絞り操作がなかった場合（S16:NO）、CPUは、撮像結果にデータを3Dデータとして合成表示する（S17）。

S17の処理後、S7の処理で撮影釦が押されたか否かが判定される。CPUは、S7で撮影釦が押されたと判定されると、撮像範囲の画像を記憶する。

そして、デジタルカメラ１がAR表示モードに設定されている場合（S9:YES）、CPUは、データを記録する（S19）。CPUは、アバター画像を作成し（S20）、処理は、S1へ戻る。

以上のように、デジタルカメラ１は、位置情報と方位情報と加え、レンズ３の画角、焦点、絞り情報に応じて、被写体に関連する情報を表示画面１８ａに表示する。レンズ交換式カメラの場合、装着されたレンズ特性に応じた表示が可能となる。

よって、本実施の形態の撮影機器によれば、ユーザの撮影操作を考慮することによって、被写体に関連する情報を的確に表示することができる。
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。
（構成）
第２の実施の形態に係る撮影機器は、被写体として「月」を撮影する月撮影モードを有する。第２の実施の形態に係る撮影機器の構成は、第１の実施の形態で説明した撮影機器の構成と略同じであるので、以下、第２の実施の形態に係る撮影機器を、第１の実施の形態の撮影機器と異なる構成について主として説明する。

図９は、ユーザPが月撮影モードに変更する状態を説明するための図である。

図９に示すように、ユーザPは、デジタルカメラ１Aを手に持って操作部２０ａを操作することにより、デジタルカメラ１Aの設定を月撮影モードに変更する。

図１０は、ユーザPがレンズ３をズーミングして月を撮影する場合を説明するための図である。

図１０（ａ）に示すように、ユーザPがデジタルカメラ１Aを手に持って月Mを撮影しようとするとき、ユーザPは表示部１８の表示画面１８ａを見ながら、デジタルカメラ１Aのレンズ３の向きを調整する。

ユーザPは、図１０（ｂ）に示すように、月Mを大きく撮影するため、レンズ３をズーミングする、あるいは、レンズ３を望遠レンズに交換することになる。図１０（ａ）において、点線の枠が、ユーザPがズーミングしている撮影範囲ZAを示す。

しかし、ユーザPにとっては、月Mを狭い画角内の略中心に位置させて、図１０（ｂ）に示すように、表示画面１８ａ上に月画像MIが表示されるように、デジタルカメラ１Aの向きを調整することは容易でない。

この場合、図１０（ｃ）に示すように、表示画面１８ａ上に、撮影範囲ZAに対応する撮影枠６１を表示するとともに、月Mの方向を示すAR情報６２を撮影枠６１外に表示する。

この月Mの方向を示すAR情報６２を検出するために、データベース１６ａには、月Mの日時及び場所に応じた軌跡情報が記録されている。ユーザPにより月撮影モードに変更されると、GPS部１７、方位判定部１９及びモーション判定部１５は、それぞれデジタルカメラ１Aの位置、方位及び仰角を検出する。

信号処理及び制御部１１は、データベース１６ａに記録されている月Mの日時及び場所に応じた軌跡情報と、デジタルカメラ１Aの位置情報、方位情報及び仰角情報とに基づき、現在の月Mの位置を検出し、月Mが撮影範囲ZA内にあるか否かを判定する。

なお、信号処理及び制御部１１は、デジタルカメラ１Aの位置情報と、方位情報及び仰角情報から検出されるデジタルカメラ１Aの観察方向情報とを、通信部１３を介してインターネットに送信するとともに、インターネットを介して観察方向の天体情報を受信することにより、現在の月Mの位置を検出し、月Mが撮影範囲ZA内にあるか否かを判定するようにしてもよい。

信号処理及び制御部１１は、月Mが撮影範囲ZA内にないと判定すると、撮影枠６１に対する月Mの位置を検出し、月Mの方向を示すAR情報６２を検出する。

検出された月Mの方向を示すAR情報６２は、表示制御部１１ｂにより撮影枠６１外に重畳され、表示部１８の表示画面１８ａに表示される。

なお、データベース１６ａに月M以外の天体の場所及び日時の情報を記録し、その天体の軌道を算出することにより、月撮影モードは、月以外の天体にも適応可能である。また、天体に限定されることなく、例えば、ある建物等の方向をAR情報として、撮影枠６１外に重畳して表示画面１８ａに表示するようにしてもよい。天体でない場合は、仰角は０と考えて処理すればよく、必ずしも、仰角情報を取得しなくてもよい。また、撮影画面内の画像パターンを利用して、例えば、地面と空の割合を検出して仰角相当の情報を得たり、各ビルの配置や高さを参照したりして、これらのＡＲ情報の付与の位置を調整してもよい。
（処理）
次に、デジタルカメラ１Aの月撮影モード時の処理を説明する。図１１は、デジタルカメラ１Aの月撮影モード時の処理の流れの例を示すフローチャートである。図１１の処理は、信号処理及び制御部１１のCPUが実行する。図１１の処理プログラムは、信号処理及び制御部１１内のROM（図示せず）に記憶されている。なお、図１１において、図８と同様の処理については、同一の符号を付して説明を省略する。

CPUは、S1の処理で撮影モードと判定し、S2の処理でレンズデータを取得すると、月撮影モードであるか否かを判定する（S31）。

デジタルカメラ１Aが月撮影モードに設定されていない場合（S31: NO）、CPUは、図８と同様に、S4〜S8の処理を行う。デジタルカメラ１Aが月撮影モードに設定されている場合（S31: YES）、CPUは、ズーム操作がされたか否かを判定する（S32）。ズーム操作がされたときは（S32:YES）、CPUは、光学ズームが限界か否かを判定する（S33）。光学ズームが限界の場合（S33:YES）、CPUは、電子ズームを実行する（S34）。光学ズームが限界でない場合（S33:NO）、CPUは、光学ズーム制御操作を実行する（S35）。

S34、S34の処理後、あるいは、ズーム操作がなかったときは（S32:NO）、CPUは、デジタルカメラ１Aの位置、方位及び仰角を判定する（S36）。CPUは、判定された位置、方位及び仰角からデジタルカメラ１Aの位置情報、観察方向情報をインターネットに送信し（S37）、観察方向の天体情報をインターネットから受信する（S38）。CPUは、受信した観察方向の天体情報から撮影対象の天体が撮影範囲外か否かを判定する（S39）。天体が撮影範囲外の場合（S39:YES）、CPUは、画角外の天体情報（AR情報）を撮影枠外に付加表示し（S40）、S7の処理に移行する。天体が撮影範囲外でない場合（S39:NO）、CPUは、天体を表示し（S41）、S7の処理に移行する。

以上のように、デジタルカメラ１Aは、撮影枠６１階に被写体に関連する情報を表示することができる。
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。
（構成）
第３の実施の形態に係る撮影機器は、レンズ３の収差条件に応じて重畳画像（被写体に関連する情報）に歪を付加する制御を行うようになっている。第３の実施の形態に係る撮影機器の構成は、第１の実施の形態で説明した撮影機器の構成と略同じであるので、以下、第３の実施の形態に係る撮影機器を、第１の実施の形態の撮影機器と異なる構成について主として説明する。

図１２は、歪特性及び画像データを説明するための図である。

図１２（ａ）において、像高は、画像中心からの距離を示し、図１２（ｂ）に示す画像データにおける中心が０、４つの隅が１となる。また、理想像高は、歪がない、理想的な画像での像高を示し、実像高は、実際に撮影された歪を含む像高を示す。

また、図１２（ａ）の符号７１は、糸巻き型歪の場合の特性例を示し、符号７２は、樽型歪の場合の特性例を示している。

図１２（ａ）において、対角の中点Aの画像は、糸巻き型歪の特性例では、点Bに映る。これに伴い、図１２（ｂ）の画像データにおいて、対角の中点Aの画像が点Bに映る。

図１３は、歪特性に合わせて重畳画像に歪を付加する例を説明するための図である。

図１３（ａ）に示すように、信号処理及び制御部１１は、第１の実施の形態と同様に、被写体を説明するための文字列、即ち、被写体に合成するための重畳画像８１ａ〜８１ｄを検出する。

信号処理及び制御部１１は、レンズ３からズーム位置に応じた歪特性を取得する。信号処理及び制御部１１は、取得した歪特性に応じて、重畳画像８１ａ〜８１ｄに歪を付加する。これにより、図１３（ｂ）に示すように、画面内の位置に従った歪特性に応じて歪が付加された重畳画像８２ａ〜８２ｄが生成される。

信号処理及び制御部１１は、撮影画像と、歪が付加された重畳画像８２ａ〜８２ｄとを合成する。合成された合成画像は、表示制御部１１ｂにより表示画面１８ａに表示される。

また、信号処理及び制御部１１は、必要に応じて合成画像に歪補正を行う。このように、合成画像に歪補正を行うことで、撮影画像及び重畳画像８２ａ〜８２ｄは、同等の歪特性にすることができる。

図１４は、樽型歪の場合の撮影画像と重畳画像とを説明するための図である。

図１４に示すように、信号処理及び制御部１１は、樽型歪の特性に応じて重畳画像に歪を付加し、歪を付加した重畳画像９１〜９３をAビル５１、Bビル５２及びCビル５３に合成する。また、信号処理部及び制御部１１は、歪特性に応じて看板９４に重畳画像として表示される広告にも歪を付加することができる。
（処理）
次に、歪特性に応じて重畳画像に歪を付加する処理（歪み付与処理）について説明する。図１５は、歪特性に応じて重畳画像に歪を付加する処理の流れの例を示すフローチャートである。図１５の処理は、信号処理及び制御部１１のCPUが実行する。図１５の処理プログラムは、信号処理及び制御部１１内のROM（図示せず）に記憶されている。

まず、CPUは、レンズ３からズーム位置に応じた歪特性を取得し（S51）、重畳画像を生成する（S52）。なお、CPUは、重畳画像を生成する際、歪ませていない重畳画像を生成する。CPUは、歪特性に合わせて、重畳画像（AR情報）に歪を付加し（S53）、被写体像と、歪を付加した重畳画像とを合成する（S54）。CPUは、必要に応じた歪補正を行い（S55）、処理を終了する。この際、建物の外観や輪郭から重畳画像を合成する位置を決定する。
例えば、空の境のビルの屋上部とか、ビルとビルの間の輪郭から、看板状表示をするなどの制御を行い、現実と仮想情報を混在させるようにしてもよい。

以上のように、デジタルカメラ１Bは、レンズ３の収差による歪特性に応じて、重畳画像に歪を付加するため、ユーザPは、違和感なく撮影画像を認識することができる。この発明によれば、撮影レンズの操作に応じて重畳表示が刻々と切り替り、ユーザの興味や思惑に応じた最適表示がなされる。これを見ながら、有効な画角や構図や撮影場所を考えながらの撮影が可能となる。この情報は一緒に撮影しても良いし、画像ファイル内に付与して、後で読み出せるようにしてもよい。

なお、本明細書における各フローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

１…デジタルカメラ、２…本体部、３…レンズ、１１…信号処理及び制御部、１１ａ…物体認識部、１１ｂ…表示制御部、１２，１３，３２…通信部、１４…撮像部、１５…モーション判定部、１６…記録部、１７…GPS部、１８…表示部、１９…方位判定部、２０…操作判定部、２１…時計部、３１…ズームレンズ部、３３…駆動部、３４…操作部、３５…レンズデータ格納部。

Claims (6)

1. 被写体を撮影するためのズームレンズ部を有する撮影機器であって、
   前記被写体を撮影した撮影画像を表示する表示部と、
   前記ズームレンズ部のレンズ状態を変更操作するための操作部と、
   前記操作部により変更操作された前記ズームレンズ部のレンズ状態を検出する検出部と、
   前記ズームレンズ部のレンズ状態に係るレンズ状態情報、および、当該ズームレンズ部に係るレンズ収差情報を格納可能なレンズデータ格納部と、
   前記被写体に関連した被写体情報および前記被写体周辺に関連した被写体周辺情報を記録したデータベースを有する記録部と、
   前記撮影機器の位置情報および方位情報に応じて、前記データベースから前記被写体に関連した前記被写体情報および前記被写体周辺に関連した前記被写体周辺情報を読み出す読出制御部と、
   前記読出制御部によって前記データベースから読み出した前記被写体情報および被写体周辺情報のうち前記検出部により検出された前記レンズ状態に応じた前記被写体情報を選択するとともに、選択された当該被写体情報に係る第１の重畳画像を前記撮影画像に重畳して前記表示部に表示可能とする表示制御部と、
   前記レンズデータ格納部に格納された当該ズームレンズ部に係る前記レンズ収差情報に基づいて、前記ズームレンズ部のズーム位置に応じた歪特性を取得する歪特性取得部と、
   前記歪特性取得部において取得した前記歪特性に応じて、前記第１の重畳画像に対して所定の歪を付加し、当該歪が付加された第２の重畳画像を生成する歪付加画像生成部と、
   を有し、
   前記表示制御部は、さらに、前記歪付加画像生成部において生成された前記第２の重畳画像を前記撮影画像に重畳して前記表示部に表示可能とする
   ことを特徴とする撮影機器。
2. 前記被写体情報は、被写体を説明するためのタグである
   ことを特徴とする請求項１に記載の撮影機器。
3. 前記被写体情報は、被写体に係る看板状表示である
   ことを特徴とする請求項１に記載の撮影機器。
4. 前記表示制御部は、前記第２の重畳画像を前記撮影画像に重畳して前記表示部に表示する際、被写体の外観または輪郭に応じて当該重畳画像を合成する位置を決定する
   ことを特徴とする請求項１に記載の撮影機器。
5. 前記撮影機器はレンズ交換式撮影機器であることを特徴とする請求項１に記載の撮影機器。
6. 被写体を撮影するためのズームレンズ部を有する撮影機器が実行する撮影方法であって、
   前記被写体を撮影した撮影画像を表示部に表示する表示ステップと、
   前記ズームレンズ部のレンズ状態を変更操作するための操作部により変更操作された前記ズームレンズ部のレンズ状態を検出する検出ステップと、
   前記撮影機器の位置情報および方位情報に応じて、前記被写体に関連した被写体情報および前記被写体周辺に関連した被写体周辺情報を記録したデータベースから前記被写体に関連した前記被写体情報および前記被写体周辺に関連した前記被写体周辺情報を読み出す読出制御ステップと、
   前記読出制御ステップによって前記データベースから読み出した前記被写体情報および被写体周辺情報のうち前記検出ステップにより検出された前記レンズ状態に応じた前記被写体情報を選択するとともに、選択された当該被写体情報に係る第１の重畳画像を前記撮影画像に重畳して前記表示部に表示する第１の表示制御ステップと、
   前記ズームレンズ部のレンズ状態に係るレンズ状態情報、および、当該ズームレンズ部に係るレンズ収差情報を格納可能なレンズデータ格納部に格納された当該ズームレンズ部に係る前記レンズ収差情報に基づいて、前記ズームレンズ部のズーム位置に応じた歪特性を取得する歪特性取得ステップと、
   前記歪特性取得ステップにおいて取得した前記歪特性に応じて、前記第１の重畳画像に対して所定の歪を付加し、当該歪が付加された第２の重畳画像を生成する歪付加画像生成ステップと、
   前記歪付加画像生成ステップにおいて生成された前記第２の重畳画像を前記撮影画像に重畳して前記表示部に表示する第２の表示制御ステップと、
   を有することを特徴とする撮影方法。

Images