以下、図面を参照して本発明の実施の形態について詳細に説明する。
(第1の実施の形態)
図1は本発明の第1の実施の形態に係る表示機器が組み込まれた撮影装置を示すブロック図であり、図2はその外観を示す説明図である。本実施の形態はカメラを有するタブレットPC(パーソナルコンピュータ)に適用したものである。これはスマートフォンや携帯電話でもよい。本実施の形態は、相互に別視点で撮影を行う2つの撮像部を連携して制御すると共に、2つの撮像部からの撮像画像を連携させて表示するものであり、2つの撮像部としては、タブレットPCに内蔵された内蔵カメラと、タブレットPCに外付けされるレンズ型カメラとを採用する。
図3は本実施の形態において撮影を行う様子を示す説明図である。図3はユーザ41が草花42等を撮影する様子を示している。ユーザ41は右手41aで撮影装置であるタブレットPC21(図1参照)の筐体21aを保持し、草花42等を撮影範囲に収めた状態で内蔵カメラ23及びレンズ型カメラ11のシャッタボタン(図示せず)によって撮影を行う。タブレットPC21の表示部28には、後述するように、タブレットPC21に内蔵された内蔵カメラ23及びレンズ型カメラ11による撮像画像が連携表示されている。
図1において、タブレットPC21にはカメラ用通信部22が設けられ、レンズ型カメラ11には通信部15が設けられており、タブレットPC21とレンズ型カメラ11とは、これらの通信部22,15を介して相互に通信可能に構成されている。
図2に示すように、タブレットPC21の筐体21aには取り付け器具32が着脱自在に取り付けられるようになっており、取り付け器具32にはレンズ型カメラ11を取り付けるための取付部33が設けられている。レンズ型カメラ11は基端側に取付部11bが設けられており、この取付部11bを取り付け器具32の取付部33に、嵌込み又はねじ込み等によって取り付けるようになっている。
図1に示すように、タブレットPC21には表示部28が設けられており、タブレットPC21内のカメラ用通信部22、制御部25、操作部26及び表示制御部27によって構成される表示機器によって、表示部28の表示画面28a(図4参照)の表示が制御されるようになっている。
なお、図1においては、撮影装置であるタブレットPC21に表示機器が組み込まれ、後述するように、表示機器によって、タブレットPC21の内蔵カメラ23とレンズ型カメラ11の撮像が連携して制御されると共に、内蔵カメラ23及びレンズ型カメラ11からの撮像画像が連携表示される例を示している。即ち、表示機器は、2台のカメラを連携制御する機能と、2台のカメラからの画像を連携して画像処理する機能と、画像処理された画像を表示画面に表示させる機能とを有しているが、これらの機能については、一部又は全部の機能をレンズ型カメラ11側に設けるようにしてもよい。
レンズ型カメラ11には、光学系12aを有する撮像部12が設けられている。撮像部12にはCCDやCMOSセンサ等によって構成された図示しない撮像素子が設けられており、光学系12aによって被写体像が撮像素子の撮像面に導かれるようになっている。光学系12aは、鏡筒11a内にピント合わせによりフォーカス(合焦)状態に設定するために可動されるフォーカスレンズやフォーカス状態で変倍するズームレンズ等を有する。また、光学系12aは、これらのレンズ及び絞りを駆動する図示しない機構部を有する。制御部13は光学系12aの機構部を制御して、これらのフォーカスレンズ、ズームレンズ及び絞りを駆動制御するようになっている。
レンズ型カメラ11には、ユーザによる撮影に関するパラメータ、例えば、ピント、ズームや絞りに関するパラメータの設定操作のために、操作リング14a等の操作部14が設けられている。制御部13は、操作部に対するユーザ操作を検出して検出結果に基づく制御を行う。制御部13は、CPU等によって構成されており、操作部14に対するユーザ操作と後述するタブレットPC21からの信号とに基づいて、レンズ型カメラ11の各部を制御する。
撮影制御部13cは、フォーカス信号、ズーム信号及び絞り制御信号を発生して、光学系12aのフォーカス、ズーム及び絞りを駆動制御する。また、撮影制御部13cは、撮像素子に駆動信号を供給して、被写体の撮像を制御する。
画像処理部13bは、撮像素子からの撮像画像が与えられ、所定の画像信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を施した後、記録部16に与えて記録することができる。記録部16としては例えばICメモリを採用することができる。また、画像処理部13bは、撮像画像を通信部15を介してタブレットPC21に転送することができるようになっている。
レンズ情報処理部13aは、ズームレンズ、フォーカスレンズ等のレンズ状態、絞り状態等のレンズに関する情報を取得して、通信部15を介してタブレットPC21に転送することができるようになっている。レンズに関する情報には、ピント位置、被写界深度の範囲等の光軸方向の距離の情報が含まれる。
通信部15は、タブレットPC21に設けられたカメラ用通信部22との間で所定の伝送路を介して通信が可能である。伝送路としては、有線及び無線による各種伝送路、例えば、USB(Universal Serial Bus)ケーブルやWifi(Wireless Fidelity)等の無線LANの伝送路等を採用することができるようになっている。制御部13は、タブレットPC21との間で通信が確立すると、タブレットPC21の制御部25に従って撮影が制御されると共に、撮像画像及びレンズに関する情報をタブレットPC21に転送することができるようになっている。
タブレットPC21は、CCDやCMOSセンサ等の撮像素子によって構成された撮像部を含む内蔵カメラ23を有している。内蔵カメラ23は、筐体21aの背面(表示画面28aが構成されていない面)に設けられたレンズ23aからの被写体像を光電変換して撮影画像を得る。内蔵カメラ23は、制御部25によって駆動制御されて、撮像画像を出力する。
制御部25は、例えばCPU等によって構成されてタブレットPC21の各部を制御する。制御部25は、内蔵カメラ23に撮像素子の駆動信号を出力すると共に、内蔵カメラ23からの撮像画像を読み出す。制御部25は、読み出した撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。
タブレットPC21には、操作部26も配設されている。操作部26は、タブレットPC21に設けられた図示しないスイッチ、キー、ソフトウェアキーボード等の各種の操作部によって構成され、ユーザ操作に基づく操作信号を発生して、制御部25に出力するようになっている。制御部25は、操作信号に基づいて、各部を制御する。
制御部25は、撮像画像の記録及び再生に関する処理を行うことができる。例えば、制御部25は、信号処理後の撮影画像を圧縮処理し、圧縮後の画像を記録部24に与えて記録させることができる。記録部24としては、例えばICメモリ等の各種記録媒体を採用することができ、記録部24は記録媒体に画像情報及び音声情報等を記録可能である。
表示制御部27は表示に関する各種処理を実行する。表示制御部27は、制御部25から信号処理後の撮影画像が与えられて、表示部28に与えることができる。表示部28は、LCD等の表示画面を有しており、表示制御部27から与えられた画像を表示する。また、表示制御部27は、各種メニュー表示等を表示部28の表示画面に表示させることもできるようになっている。制御部25は、記録部24に記録されている撮像画像を読み出して伸張処理することができる。表示制御部27は伸張処理された撮像画像を表示部28に与えることで、記録画像の再生が可能である。
表示部28は、撮像画像を表示する表示画面28aを有している。なお、表示画面28a上には、図示しないタッチパネルが設けられている。タッチパネルは、ユーザが指で指し示した表示画面28a上の位置に応じた操作信号を発生することができる。この操作信号は、制御部25に供給される。これにより、制御部25は、ユーザが表示画面28a上をタッチしたりスライドさせたりした場合には、ユーザのタッチ位置、指を閉じ離間させる操作(ピンチ操作)、スライド操作やスライド操作によって到達した位置、スライド方向、タッチしている期間等の各種操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。
なお、表示部28は、タブレットPC21の例えば前面の略全域を占めるように配設されており、ユーザは、内蔵カメラ23やレンズ型カメラ11による撮影時に表示部28の表示画面28a上に表示された撮像画像を確認することができ、撮像画像を確認しながら撮影操作を行うことができる。
本実施の形態においては、制御部25及び表示制御部27によって、内蔵カメラ23による撮像画像とレンズ型カメラ11による撮像画像とを、連携表示させることができるようになっている。
図4はこのような連携表示の一例を示す説明図である。タブレットPC21の表示部28の表示画面28a上には、内蔵カメラ23による撮像画像45とレンズ型カメラ11による撮像画像46とが同時に表示されている。図4は図3に示す撮影に対応した画像を示している。即ち、レンズ型カメラ11による撮像画像46は、草花42等を略水平方向から撮像して得たものであり、内蔵カメラ23による撮像画像45は、草花42等を略上方から俯瞰するように撮像して得たものである。2台のカメラでこのような撮像を行うことから、本実施の形態においては、内蔵カメラ23による撮像画像45中にレンズ型カメラ11の撮像におけるピント範囲を示すことができる。このような工夫を行うためには、後述するように、撮像部の位置関係が重要なので、レンズ型カメラ11をタブレットPC21に組み付ける際の位置情報を表示して、誤差を減らす必要がある。表示制御部がこれを表示制御する。
従って、本実施の形態を用いることで、異なる位置から対象物を撮像する複数の撮像部と、上記撮像部で撮像された画像を表示する表示部からなる撮影装置であって、上記複数の撮像部の位置関係を上記表示部に表示可能な表示制御部とからなることを特徴とする撮影システムを構成することができる。
図5は内蔵カメラ23の光軸とレンズ型カメラ11の光軸とが平行であると仮定した場合におけるピント位置の算出法を説明するための説明図である。なお、図3では内蔵カメラ23の光軸とレンズ型カメラ11の光軸が平行でない例を示しているが、被写体までの距離が比較的長い場合や内蔵カメラ23として広角レンズを有するものを採用した場合等においては、内蔵カメラ23の光軸とレンズ型カメラ11の光軸とが平行である場合でも、図4と同様の撮像画像を得ることが可能である。
図5に示すように、内蔵カメラ23のレンズ23aのレンズ中心とレンズ型カメラ11の光学系12a中のレンズ12bのレンズ中心との距離はBである。この距離Bは、タブレットPC21の筐体21aにおける取り付け器具32の取付位置によって決定される。この距離Bを規定の値にするために、取り付け器具32には位置決め用のマーク35が表示されており、タブレットPC21にはマーク48が表示されている。ユーザがこれらのマーク35,48の位置を一致させるように取り付け器具32をタブレットPC21の筐体21aに取り付けることによって、規定の値Bが得られる。このマーク(取付位置表示)は、取付器具の種別や、タブレットPCの機種に従って、あるいはユーザーの設定によって変更可能な仕様とすることが好ましい。
一方、レンズ型カメラ11は、制御部13によって撮像部12を制御してオートフォーカスを行い、合焦時における被写体までの距離Dp(あるいはカメラやレンズからの位置とも言える)を求める。例えば、制御部13は、いわゆる山登り方式のオートフォーカスによって合焦動作を行ってもよく、また、撮像部12の撮像素子にフォーカス用の素子が形成されている場合には、像面位相差法を用いてオートフォーカスを行ってもよい。
図5において、合焦位置における被写体51とレンズ12bとの距離Dpと、距離Bとの関係は、被写体51と内蔵カメラ23の中心とを結ぶ直線(光線)52とレンズ型カメラ11の光軸とのなす角度をθpとして、下記(1)式によって示される。
B=Dp×tanθp …(1)
従って、角度θpは、下記(2)式によって与えられる。
θp=arctan(B/Dp) …(2)
内蔵カメラ23の光軸に対し角度θpの方向から入射した光が内蔵カメラ23の撮像素子23bの撮像面のいずれの位置に結像するかは求めることができる。即ち、光線の入射角度と撮像面上の結像位置とは1対1に対応し、タブレットPC21の制御部25は、レンズ型カメラ11から合焦時の被写体までの距離Dpの情報が与えられることで、上記(2)式の演算によって、レンズ型カメラ11の合焦時における光軸方向の位置が、内蔵カメラ23による撮像画像45中のいずれの位置に相当するかを求めることができる。制御部25は、この情報を算出して表示制御部27に出力する。こうして、表示制御部27は、表示画面28a上の撮像画像45上に合焦位置を示す表示47(図4参照)を表示させることができる。
同様に、レンズ型カメラ11は、被写界深度の距離情報をタブレットPC21に出力することができる。タブレットPC21の制御部25は、上記(2)式に従って、被写界深度の範囲を示す情報を求めて表示制御部27に出力することができる。こうして、表示制御部27は、図4に示すように、表示画面28a上の撮像画像45上に被写界深度の範囲を示すマーク48など、機器使用時に有効な情報を表示させることができる。撮影のみならず観察時などにも、どの範囲に対してピントの合った観察が出来ているかを表示することは有効な情報伝達となる。
また、同様に、タブレットPC21の制御部25は、レンズ型カメラ11による被写体までの距離情報(あるいはカメラやレンズからの位置情報とも言える)を、内蔵カメラ23による撮像画像中に表示させることも可能である。レンズ型カメラ11を略水平に構えて草花等を撮影しようとすると、草花までの距離や草花間の距離等がその撮像画像からだけでは認識しにくいが、内蔵カメラ23の撮像画像中に距離情報を表示させることで、マクロ撮影等において有効な情報表示が得られる。タブレットPC21の表示画面28aは比較的サイズが大きいことが多く、2つの画像を表示させた場合でも、十分な視認性が得られる。
即ち、本実施の形態における連携表示は、同一被写体を異なる視点から撮像する撮像部からの撮像画像を単に並べて同時に表示させるだけでなく、一方の撮像部の撮像に関する情報又は一方の撮像部による撮像画像に関する情報(撮像に関わる情報)、即ち、一方の撮像部による被写体の撮像に関する情報であって、一方の撮像画像中には表示が困難であったり表示が見にくくなる情報を他方の画像中に表示させることを可能にするものである。また、このような表示を可能にするために、各撮像部から撮像に関する情報が得られるように、各撮像部を連携して制御するようになっている。
図6は図3に対応したものであり、内蔵カメラ23の光軸とレンズ型カメラ11の光軸とが平行でない場合におけるピント位置の算出法を説明するための説明図である。
図6に示すように、レンズ型カメラ11の光軸は、内蔵カメラ23の光軸に対してθlだけ傾斜している。従って、この場合には、角度θpは、上記(2)式を変形させた下記(3)式によって与えられる。
θp=arctan{B/(Dp−θl)}… (3)
タブレットPC21の制御部25は、レンズ型カメラ11から距離Dpの情報や被写界深度の距離情報が与えられて、上記(3)式に従って、内蔵カメラ23からの撮像画像上における合焦位置及び被写界深度の範囲を求めることができる。なお、内蔵カメラ23の画角がθbである場合には、撮像画像45中の上下方向中心から撮像画像45の画像下端までの距離のθp/θbの位置の対象物がピント合わせされる被写体であり、この位置に合焦位置を示す表示を表示させればよい。
なお、制御部25は、合焦位置及び被写界深度の範囲の表示のいずれか一方のみを表示させるようにしてもよく、また、ユーザによるピント確認操作があった場合にのみ、合焦位置や被写界深度の範囲を示す表示を表示させるようにしてもよい。
次に、このように構成された実施の形態の動作について図7を参照して説明する。図7はレンズ型カメラ11におけるカメラ制御とタブレットPC21の制御とを説明するためのフローチャートである。なお、図7において、レンズ型カメラ11のカメラ制御フローとタブレットPC21の制御フローとの間を結ぶ矢印は、処理によって通信が行われることを示している。
タブレットPC21の制御部25は、ステップS1において、カメラ連携モードが指定されたか否かを判定する。カメラ連携モードが指定されると、制御部25は内蔵カメラ23を起動して撮像を開始させる。
一方、レンズ型カメラ11においては、ステップS11において電源投入の有無が判定される。電源が投入されると、レンズ型カメラ11の制御部13は、ステップS12において、撮影モードが指示されたか否かを判定する。撮影モードが指示されると、制御部13は、ステップS13において、撮像部12による撮像を開始させてスルー画を取得する。また、制御部13は、ピント位置及び被写界深度を判定して判定結果を取得する(ステップS14)。
制御部13は、ステップS15において通信部15とタブレットPC21のカメラ用通信部22との間で通信が確立したか否かを判定する。レンズ型カメラ11の制御部13は、タブレットPC21との間で通信が確立すると、ステップS16において、撮像部12による撮像画像をスルー画としてタブレットPC21に送信する。
タブレットPC21は、ステップS3において、レンズ型カメラ11からのスルー画の送信があるか否かを判定する。タブレットPC21の制御部25は、レンズ型カメラ11からスルー画が送信されると、このスルー画を受信して表示制御部27に出力する。表示制御部27には、制御部25から内蔵カメラ23による撮像画像も与えられており、表示部28の表示画面28a上に、レンズ型カメラ11による撮像画像及び内蔵カメラ23による撮像画像(スルー画)の両方を表示させる(ステップS4)。
レンズ型カメラ11の制御部13は、ステップS16のスルー画の送信開始に続けて、ピント位置情報及び被写界深度情報をタブレットPC21に送信する(ステップS17)。タブレットPC21の制御部25は、ステップS5において、ピント確認操作が行われたか否かを判定する。ピント確認操作が行われた場合には、制御部25は、レンズ型カメラ11からのピント位置情報及び被写界深度情報を用いて、上記(3)式等によって、内蔵カメラ23からの撮像画像中に、レンズ型カメラ11の合焦位置や被写界深度の範囲を示す表示を表示させる(ステップS6)。
タブレットPC21は、内蔵カメラ23に対する撮影指示だけでなく、レンズ型カメラ11に対する撮影指示を行うこともできる。タブレットPC21の操作部26によって、レンズ型カメラ11に対する撮影指示が発生すると(ステップS7)、タブレットPC21の制御部25は、カメラ用通信部22を介してレンズ型カメラ11に撮影要求のコマンドを送信する(ステップS8)。
レンズ型カメラ11は、ステップS18において、撮影要求の通信が行われたか否かを判定しており、タブレットPC21からの撮影要求のコマンドを受信すると、制御部13は、撮影要求時点における静止画像を取得して、通信部15を介してタブレットPC21に転送する(ステップS19)。タブレットPC21の制御部25は、レンズ型カメラ11から撮像画像が転送されると、ステップS9において、転送された撮像画像に対して所定の信号処理を施した後、記録部24に与えて記録させる。
また、レンズ型カメラ11は、操作部14の操作によって、撮像部12による撮像画像の記録が可能である。制御部13は、ステップS20において操作部14による撮影操作の有無を判定しており、撮影操作が行われると、撮像部12を制御して撮影を行い、撮像部12からの撮像画像に所定の信号処理を施した後、記録部16に与えて記録させる(ステップS22)。
このように本実施の形態においては、同一被写体を異なる視点から撮像する2つの撮像部からの撮像画像を同時に表示すると共に、一方の撮像部の撮像に関する情報又は一方の撮像部による撮像画像に関する情報であって、一方の撮像画像中には表示が困難であったり表示が見にくくなる情報を他方の画像中に表示させることを可能にする。これにより、例えば、一方の撮像部による合焦位置や被写界深度の範囲等の情報を、他方の撮像部による撮像画像中に表示することができ、ユーザの利便性を向上させることができる。このように、本実施の形態では、単に異なる視点から撮像した撮像画像を並べて表示させるだけでなく、一方の撮像画像に表示困難であったり見にくくなる情報を他方の撮像画像に表示する連携表示が可能である。
なお、上記実施の形態においては、2つの撮像部間の距離Bを規定の値にするために、マークを用いた。このマークは、タブレットPC21の筐体21a上に表示してもよく、また、表示部28の表示画面28a上に画像として表示してもよい。例えば、図7のステップS1において、カメラ連携モードが指定されたものと判定すると、制御部25が表示制御部27を制御して、このマークを表示画面28a上に表示させるようにしてもよい。
ここでは、異なる角度から得られた広がりのある対象物(被写体)の情報(被写体の撮像に関わる情報)より、その対象物の存在する位置関係、広がりの距離関係の有用な情報を得るようにしていたが、異なる角度から得られた対象物の情報としては、対象物の広がりと距離による大きさ情報、補助光の到達情報や対象物の光沢など質感の情報や立体感の情報、あるいは、対象物を同定する際の補助情報などが考えられる。対象物の大きさが分かると、昆虫や花などの同定が容易になることは言うまでもない。形状と名称の関係の図鑑データベースの活用も簡単になる。スマートフォンなど通信部があれば、クラウドコンピューティングを利用した同定などが容易に行える。つまり、複数の撮像部の一方の撮像結果に対して、もう一方の撮像結果によって補助表示を行う撮影装置を得ることもできる。
(第2の実施の形態)
図8は本発明の第2の実施の形態を示すブロック図である。また、図9は第2の実施の形態の外観を説明するための説明図である。本実施の形態は2台の撮像部として、カメラとカメラに装着される内蔵カメラを有するスマートフォンを採用した例である。本実施の形態は、第1の実施の形態と同様に、例えば図4に示す連携表示を行うことを可能にするものであり、例えば、スマートフォンの表示画面上に図4と同様の画像を表示させる。
図8において、カメラ61とスマートフォン71とは、カメラ61に設けた通信部65及びスマートフォン71に設けたカメラ用通信部72によって、相互に通信可能に構成されている。カメラ61中の光学系62aが構成された撮像部62、レンズ情報処理部63a、画像処理部63b及び撮影制御部63cが構成された制御部63、操作部64、通信部65、並びに記録部66の構成は、図1のレンズ型カメラ11中の光学系12aが構成された撮像部12、レンズ情報処理部13a、画像処理部13b及び撮影制御部13cが構成された制御部13、操作部14、通信部15、並びに記録部16の構成とそれぞれ同様である。また、同様に、スマートフォン71中のカメラ用通信部72、内蔵カメラ73、制御部75、操作部76、表示制御部77及び表示部78の構成は、図1のタブレットPC21中のカメラ用通信部22、内蔵カメラ23、制御部25、操作部26、表示制御部27及び表示部28の構成とそれぞれ同様である。
図9において、カメラ61の光学系62aは、筐体61aの前面に配置された鏡筒62b内に収納されており、カメラ61の前方の被写体の光学像を撮像素子に入射させる。カメラ61はLCD等の表示部68を備えており、表示部68は筐体61aの背面に表示画面が構成されて、表示画面上に制御部63から与えられた画像を表示する。
表示部68の表示画面上には、タッチパネル68bが設けられている。タッチパネル68bは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部63に供給される。これにより、制御部63は、ユーザが表示画面上をタッチしたりスライドさせたりした場合には、ユーザのタッチ位置、指を閉じ離間させる操作(ピンチ操作)、スライド操作やスライド操作によって到達した位置、スライド方向、タッチしている期間等の各種操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。
また、スマートフォン71は筐体71aの背面にレンズ73bが設けられて、スマートフォン71の背面側の被写体の光学像を内蔵カメラ73によって撮像する。スマートフォン71の筐体71aの前面には、表示部78の表示画面が設けられて、表示画面上に、表示制御部77からの画像が表示される。
図8に示すように、本実施の形態においては、カメラ61は、姿勢検出部67が設けられている。姿勢検出部67は、加速度センサ等によって構成されており、カメラ61の姿勢を検出して検出結果を制御部13に出力することができる。
一方、スマートフォン71においては、姿勢検出部79が設けられている。姿勢検出部79は、加速度センサ等によって構成されており、スマートフォン71の姿勢を検出して検出結果を制御部75に出力することができる。制御部75は姿勢の検出結果をカメラ用通信部72を介してカメラ61に送信することができるようになっている。
また、本実施の形態においては、制御部75は、内蔵カメラ73がレンズ73bを介して取得した撮像画像及び内蔵カメラ73のレンズに関する情報を、カメラ用通信部72を介してカメラ61に転送することができるようになっている。レンズに関する情報には、ピント位置、被写界深度の範囲等の光軸方向の距離の情報が含まれる。
本実施の形態においては、制御部63には、撮像部62による撮像画像とスマートフォン71による撮像画像とが与えられて、第1の実施の形態と同様に、これらの撮像画像を連携表示させることができるようになっている。
本実施の形態においては、カメラ61とスマートフォン71の傾斜角の情報を用いて、図4と同様の連携表示を行うことを可能にしている。
図10は本実施の形態におけるピント位置の算出法を説明するための説明図である。
内蔵カメラ73のレンズ73bのレンズ中心と、カメラ61の光学系62aのレンズ62cの中心との間の距離であって、光軸に垂直な方向の距離をBとし、光軸方向の距離をDcとする。また、レンズ62cの光軸に垂直な線と内蔵カメラ73の撮像素子73cの撮像面とのなす傾斜角をθcsとする。傾斜角θcsは、カメラ61及びスマートフォン71に設けた姿勢検出部は67,79の検出結果から求められる。
レンズ62c,73b間の距離B,Dcは、傾斜角θcsに応じて変化する。仮に、傾斜角θcsに応じた距離B,Dcの値が既知であるものとする。例えば、傾斜角θcsに応じた距離B,Dcの値を、カメラ61又はスマートフォン71内の図示しないメモリに記憶させて、制御部63においてメモリから距離B,Dcの値を読出すようにしてもよい。この場合には、カメラ61の撮像部62によるピント位置や被写界深度の範囲等の距離情報Dfから、距離(Df−Dc)を求めることができ、(Df−Dc)と距離Bとによって、図10のθinを算出することができる。
カメラ61の光軸に垂直な方向に対して角度θinの方向からスマートフォン71の内蔵カメラ73に入射した光が内蔵カメラ73の撮像素子73cの撮像面のいずれの位置に結像するかは求めることができる。即ち、光線の入射角度と撮像面上の結像位置とは1対1に対応し、カメラ61の制御部63は、撮像部62の合焦時の被写体である草花42までの距離Dfの情報が与えられることで、撮像部62の合焦時における光軸方向の位置が、内蔵カメラ73による撮像画像中のいずれの位置に相当するかを求めることができる。制御部63は、この情報を算出して、表示部68の表示画面上に表示した内蔵カメラ73による撮像画像上に、合焦位置を示す表示を表示させることができる。同様に、制御部63は、撮像部62の被写界深度の範囲を示す表示を、表示部68の表示画面上に表示した内蔵カメラ73による撮像画像上に、表示させることができる。
距離B,Dcの値が既知でない場合には、画像解析によって、距離情報Dfに応じた入射角θinを求めることができる。制御部63は、撮像部62による撮像画像及び内蔵カメラ73による撮像画像の画像解析によって、撮像部62に入射する被写体像に対応する被写体像が撮像素子73cの撮像面のいずれの位置に入射するかを求める。図10のZ1点は、撮像部62の光軸上の画像部分に対応する被写体像の入射位置を示している。いま、Z1点を通る入射光線を延長した点Z2を仮定し、撮像部62の光軸に垂直な方向におけるレンズ73bとZ2点との距離をFとする。また、撮像部62の光軸方向におけるレンズ73bとZ2点までの距離をZfとする。
撮像素子73cの情報及び傾斜角θcs等が既知であるので、Z1点及びZ2点の位置及び距離Zfを求めることができる。この場合には、下記(4),(5)式が得られる。
Zf:(Df−Dc)=B:f …(4)
(Df−Dc)=Zf×F/B …(5)
更に、下記(6)式、(7)式が得られる。
Zf=F×tanθin …(6)
(Df−Dc)=F×F×tanθin/B …(7)
また、スマートフォン71の内蔵カメラ73による測距によって取得した被写体までの距離Dsoを用いると、下記(8)式が成立する。
B=Dso/tanθin …(8)
従って、下記(9)式が得られる。
(Df−Dc)=F×F×(tanθin)2/Dso …(9)
こうして、制御部63は、上記(8),(9)式によって、距離情報Dfに応じた入射角θinの情報を求めることができる。これにより、制御部63は、撮像部62からの距離情報Dfに応じた表示を内蔵カメラ73による撮像画像のいずれの位置に表示すれば良いかを求めて、表示部68にこの表示を表示させる。
なお、本実施の形態においては、スマートフォン71は内蔵カメラ73による撮像画像及びレンズに関する情報をカメラ61に出力し、カメラ61の制御部63において、連携表示のための全ての処理を行う例を説明したが、連携表示のための一部又は全ての処理をスマートフォン71の制御部75において実行するようにしてもよい。例えば、制御部75において、内蔵カメラ73による撮像画像中に表示する距離情報に基づく表示の生成及び合成を行い、距離情報に基づく表示が撮像画像に合成された合成画像をカメラ用通信部72を介してカメラ61に出力し、カメラ61の制御部63において、連携表示を行うようにしてもよい。
次に、このように構成された実施の形態の動作について図11及び図12を参照して説明する。図11はカメラ61におけるカメラ制御とスマートフォン71の制御とを説明するためのフローチャートである。図11において図7と同一の手順には同一符号を付して説明を省略する。図11において、カメラ61のカメラ制御フローとスマートフォン71の制御フローとの間を結ぶ矢印は、処理によって通信が行われることを示している。なお、図11は距離情報に基づく表示を撮像画像に合成する処理については、スマートフォン71側で行う例を示している。図12は本実施の形態における撮影の様子及び表示を説明するための説明図である。
スマートフォン71の制御部75は、ステップS41において、連携撮影開始時であるか否かを判定する。連携撮影時には、図12に示すように、カメラ61によって被写体である草花42を略水平方向から撮影すると共に、スマートフォン71によって被写体である草花42を略上方から撮影する。連携撮影の開始時においては、制御部75は、ユーザがスマートフォン71の傾斜角を認識可能なように、姿勢検出部79,67の出力によって、カメラ61の光軸に対するスマートフォン71の光軸の傾斜角を示す表示91を表示させる(ステップS42)。
スマートフォン71の制御部75は、ステップS43において、内蔵カメラ73を駆動して撮影画像を取得する。次に、制御部75は、カメラ61の撮像部62の撮像時の距離情報に対応した表示を撮像画像中に表示するために、カメラ61に対してピント位置や被写界深度の範囲等を示す距離情報Dfを要求する。
一方、カメラ61の制御部63は、ステップS13において、撮像部62からの撮像画像を表示部68にスルー画として表示させた後、ステップS31において通信要求があったか否かを判定する。制御部63は、スマートフォン71からの通信要求がない場合には、ステップS20において撮影操作の有無を判定し、撮影操作があった場合には、撮影を行う(ステップS21)。通信要求があると、制御部63は、ステップS32において、ピント位置や被写界深度の範囲等を示す距離情報Dfを求めて、スマートフォン71に送信する。また、制御部63は、撮像部62による撮像画像もスマートフォン71に送信する。
スマートフォン71の制御部75は、ステップS44において距離情報をDfを取得すると、次のステップS45において、撮像部62による撮像画像と内蔵カメラ73による撮像画像との画像解析によって共通画像を存在するか否かを判定する。共通画像が存在しない場合には、図10のZ1点,Z2点を取得することができないので、連携表示を行うことができないことを示す情報(NG)を送信する。この情報に基づく表示をスマートフォン71及びカメラ61の各表示部78,68に表示させてもよい。
制御部75は、ステップS45において、撮像部62による撮像画像と内蔵カメラ73による撮像画像とに共通画像が存在するものと判定した場合には、ステップS46において連携表示が可能であることを示す情報(OK)を送信し、次のステップS48において、距離情報Dfから入射角θinを算出して、距離情報Dfに対応する位置が内蔵カメラ73の撮像画像中のいずれの位置に相当するかを求める。制御部75は、求めた位置に、距離情報Dfに対応した表示を表示させるための表示データを生成して(ステップS49)、内蔵カメラ73からの撮像画像と生成した表示データとを合成し、合成画像を生成する。制御部75は、生成した合成画像をカメラ用通信部72を介してカメラ61に送信する(ステップS50)。
カメラ61の制御部63は、撮像部62からの撮像画像をメイン画像とし、スマートフォン71からの合成画像をサブ画像として、表示部68にメイン画像及びサブ画像を表示する(ステップS33)。
図12は制御部75が距離情報Dfとして被写界深度の範囲の情報を用いて、内蔵カメラ73の撮像画像中に、カメラ61の撮像部62による撮像時に被写界深度外の範囲となる領域を連携表示として表示する例を示している。
図12(a)は、ステップS33において、表示部68の表示画面68c上に、撮像部62によるメイン画像42mが表示されるとともに、内蔵カメラ73の撮像画像に基づくサブ画像42cがサブ画像表示領域69に表示されていることを示している。サブ画像表示領域69中には、スマートフォン71の傾斜角が45度であることを示す調整表示92も表示されている。
図12(b)は、サブ画像表示領域69中のサブ画像42cに重ねて、被写界深度範囲外の表示93a,93bが表示されている様子を示している。被写界深度範囲外の表示93a,93bによって、ユーザは、カメラ61の被写界深度の範囲を簡単に把握することができる。
このように本実施の形態においても、第1の実施の形態と同様の効果を得ることができる。更に、本実施の形態においては、カメラのアクセサリーシューにスマートフォンを取り付けるという簡単な作業によって、カメラのピント合わせに関する情報を連携表示によって表示させることができ、利便性に優れている。
ここでは、異なる角度から得られた広がりのある対象物の情報(撮像に関わる情報)より、その対象物(被写体)の存在するあるいは広がっている位置関係、広がりの距離関係の有用な情報を得るようにしていたが、異なる角度から得られた対象物の情報としては、対象物の広がりと距離による大きさ情報、補助光の到達情報や対象物の光沢など質感の情報や立体感の情報、あるいは、対象物を同定する際の補助情報などが考えられる。対象物の大きさが分かると、昆虫や花などの同定が容易になることは言うまでもない。形状と名称の関係の図鑑データベースの活用も簡単になる。スマートフォンなど通信部があれば、クラウドコンピューティングを利用した同定などが容易に行える。例えば、図12において、サブ画像表示領域69の画像では、花の花弁の広がりや数から同定が容易であるが、表示画面68cの画像では重なりなどで同定困難な場合がある。このシステム、方法では、距離分布から花弁のサイズもわかり、同定が容易になる。つまり、複数の撮像部の一方の撮像結果に対して、もう一方の撮像結果によって補助表示を行う撮影装置を得ることもできる。
さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、実施の携帯のように、携帯電話やスマートフォンなど携帯情報端末(PDA:Personal Digital Assist)等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよい。撮影装置でなくとも、このような工夫によって、ユーザが希望する画像を正確に観察できる観察装置、表示装置を提供することが可能となる。
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。
また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、CD−ROM等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の撮影装置を実現することができる。