以下、本発明の実施の形態を図面を参照して説明する。
(第1の実施の形態)
まず、本発明の第1の実施の形態に係る撮像装置の全体構成を図1〜13を用いて説明する。図1(a)、(b)は、撮像装置としてのカメラ100の正面図、背面図である。
カメラ100は、カメラ本体部1の正面側に撮影レンズ保持部3、撮影レンズ部2、グリップ6を有する。カメラ本体部1の上部にシャッタボタン4、ズームレバー5が設けられる。カメラ本体部1の背面側には、撮影中や記録後の画像等を表示するモニタ43、撮影モードを選択するモードダイヤル8、露出補正のためのAEダイヤル9が配設される。撮影レンズ部2は複数(16個)の光学系で構成されている。
図2は、撮影レンズ部2の正面視による光学系の配置を示す図である。図2における「○(白丸)」が、撮影レンズ部2を構成する16個の光学系である。光学系として、焦点距離の異なる4つの種類(ユニット)があり、それらを光学系A、B、C、Dと記す。「○」の中の文字は種類を示している。各光学系A、B、C、Dはいずれも4つの光学系からなる。光学系の総数は、4種類×4個=16個である。以降、各光学系(例えば、光学系A)における単一の光学系を指すときには、光学系A1、A2、A3、A4のように番号を付加する。
光学系A1、A2、A3、A4の4つの光軸の重心位置が、O’で示す重心に一致するように4つの光学系Aが配置されている。同様に、光学系B、C、Dのそれぞれの光軸の重心位置が、いずれも重心O’で一致するように配置されている。従って、全16個の光学系の重心位置も、重心O’に一致する。
図3は、光学系A、B、C、Dの構造の模式図である。種類を同じくする光学系の構成は同様である。
光学系Aは、物体側すなわち被写体側(カメラ本体部1の正面側)から順に配置された、凹レンズ11a、凸レンズ12a、凸レンズ13a、凹レンズ14aから構成される。結像面には撮像素子15aが配置されている。同様に、光学系Bは、被写体側から凹レンズ11b、凸レンズ12b、凸レンズ13b、凹レンズ14bから構成され、その結像面に撮像素子15bが配置されている。光学系Cは、被写体側から凸レンズ11c、凹レンズ12c、凹レンズ13c、凸レンズ14cから構成され、その結像面に撮像素子15cが配置されている。光学系Dは、被写体側から凸レンズ11d、凹レンズ12d、凹レンズ13d、凸レンズ14dから構成され、その結像面に撮像素子15dが配置されている。
光学系A、B、C、Dの光軸Oa、Ob、Oc、Odは、カメラ本体部1の前後方向に平行である。凸レンズ14(14a〜14d)と撮像素子15(15a〜15d)との間に光量調整素子17が配置される。光量調整素子17は、エレクトロ・ルミネッセンス・フィルタ等で構成され、各光学系A〜Dに共通に設けられて、各光学系A〜Dに共通の減光率で作用するように構成されている。
なお、複数の光学系が近接して配置される。そのため、隣の光学系からの不要な光が撮像素子15に到達しないように、隣接する光学系の関係において、レンズ間、レンズと撮像素子15との間には、光線の有効範囲を限定する開口絞りまたは遮光壁を設けるのが望ましい。
光学系A、B、C、Dの焦点距離をそれぞれfa、fb、fc、fdとする。光学系間における焦点距離が、下記数式1で示される関係となるように構成されている。
[数1]
fb/fa=fc/fb=fd/fc=2.0
凸レンズ11a〜11d及び凹レンズ12a〜12dがフォーカス群FGである。フォーカス群FGは、撮影時に合焦のために被写体距離に応じて移動する。このフォーカス群FGの動作について図4〜図6で説明する。
図4は、無限遠にある被写体にピントが合っている場合の光学系A、B、C、Dの状態図である。図5は、図4に示す状態から被写体が有限距離に移動した場合の光学系A、B、C、Dの状態図である。
図4の状態では、各光学系における結像位置を黒矢印で示しており、撮像素子15a〜15dに結像していることがわかる。図5に示すように、図4に示す状態から被写体が有限距離に移動し、フォーカス群FGが移動していない状態では、結像位置が撮像素子15a〜15dより後方(被写体から遠ざかる側)にずれる。図5に示す白矢印が、被写体距離が無限遠であった場合における結像位置(図4で黒矢印で示したもの)を示し、黒矢印が有限距離に移動したときの結像位置を示す。
それぞれの光学系A、B、C、Dの焦点距離が異なるため、被写体距離が変化したことによる結像位置の移動量(黒矢印と白矢印との間隔)が異なっている。光学系Aのピント移動量(被写体の移動量に対する結像位置の移動量)をΔaとする。同様に、光学系B、C、Dのピント移動量をΔb、Δc、Δdとする。各々のピント移動量の関係は下記数式2、3、4で示すものとなる。
[数2]
Δb/Δa=(fb/fa)2=4
[数3]
Δc/Δb=(fc/fb)2=4
[数4]
Δd/Δc=(fd/fc)2=4
図6は、図5に示す状態から、フォーカス群FGを被写体側に移動させてピントを合わせた場合の光学系A、B、C、Dの状態図である。図6において、白矢印がフォーカス群FGを移動する前における結像位置(図5で黒矢印で示したもの)を示し、黒矢印がフォーカス群FGを移動した後の結像位置を示す。
フォーカス群FGにおける各光学系A、B、C、Dのそれぞれの合成光学系(凸レンズ11と凹レンズ12の組)の光軸方向の移動量に対する結像位置の移動の敏感度βをβa、βb、βc、βdとする。敏感度βは、合成光学系の移動量に対する結像位置の移動量である。各敏感度βの関係は、下記数式5、6、7で表される。
[数5]
βb/βa=(fb/fa)2=4
[数6]
βc/βb=(fc/fb)2=4
[数7]
βd/βc=(fd/fc)2=4
この関係により、被写体距離が変化したとき、ピントを合わせるために必要なフォーカス群FGの必要移動量が同一となる。これにより、ピント調整のために各光学系を一体で移動させて、それぞれの光学系の結像位置を撮像素子15の位置に一斉に一致させることができる。
図7は、カメラ100のブロック図である。
カメラ100は、撮影動作を制御するシステム制御部21、撮像部22、転送部23、画像修復部42、現像部24、画像処理部25、多眼画像処理部26、モニタ画像処理部27、距離演算部28、AF/AE評価部29を有する。カメラ100はまた、操作部30、駆動制御部31、駆動ドライバ32、エンコーダ33、露出制御部34、記録エンコード部35、記録部36、通信エンコード部37、通信部38、外部出力部39、手ぶれ検知部40、顔検出部44を有する。
システム制御部21は、CPUと、CPUが実行する制御プログラムを格納するROM(いずれも図示せず)を含み、カメラ100全体の処理を制御する。操作部30は、ユーザが撮影に関する指示を与えるために用いられるキーやボタンなどの入力デバイス(シャッタボタン4、ズームレバー5等を含む)を有する。システム制御部21は、これらの入力デバイスの操作に応じたモード遷移やメニュー画面や各種情報などを表示するためのデータをモニタ43へ供給し、そのデータを撮影時/再生時の画像とともにモニタ43に表示させる。
図8は、撮像部22及びその関連要素のブロック図である。図7及び図8を参照して撮像部22及び関連要素の動作を詳細に説明する。
撮像部22は、上述した光学系A〜D、光学系A〜Dに対応する撮像素子15及びA/D変換部41、さらには光量調整素子17を含んでいる。画像の撮影時には、ユーザが操作部30から撮影指示を行う。撮影指示がされるとシステム制御部21は撮影指示信号を撮像部22へ送る。
システム制御部21からの撮影指示信号は、それぞれの撮像素子15に送られ、所定の期間、露光がなされ、光電変換により電荷が生成さる。撮像素子15はCMOS型イメージセンサであり、ローリングシャッタ方式により撮像信号がアナログで所定の読み出しタイミングで読み出され、A/D変換部41にてデジタルデータ列に変換されて転送部23へ供給される。
転送部23は、光学系A〜Dからの撮像信号につき、後工程の現像と画像処理と、処理部の構成とに応じて、データ出力の順番とタイミングを適宜調整する。図7に示す画像修復部42は、転送部23から転送された画像データに画素毎のノイズや欠陥を補修する画像処理を行い、いわゆるRAWデータとして現像部24へ供給する。現像部24は、RAWデータの各画素について色補間処理により画像信号を生成し、所定のダイナミックレンジの範囲のデジタル撮像信号として画像処理部25へ供給する。色補間処理では、撮像素子15a〜15dのカラーフィルタ構造に対応して全画素にRGB情報が割り当てられるように色でコード処理が施される。
操作部30のシャッタボタン4が押されると、システム制御部21から画像処理部25に画像処理の指示が出される。画像処理部25は、さらにホワイトバランス補正、ガンマ補正、シャープネス補正、彩度補正などの画像処理を行う。
次に、図7及び図9を参照して距離マップの作成に関して説明する。図9(a)は、測距原理図である。距離演算部28は、画像処理部25からの同一の焦点距離の異なる光学系の画像信号から距離マップを算出する。距離マップは、各光学系A〜Dにつき作成される。
図9(a)では、例示として、同じ焦点距離の2つの光学系A1、A2から距離マップを作成する様子を表している。光学系A1、A2の光軸をOa1、Oa2とする。光学系A1、A2に対応する撮像素子15aをそれぞれ撮像素子S1、S2と記す。被写体Pは2つの光学系A1、A2により、それぞれの撮像素子S1、S2における結像位置p1’、p2’に結像し、撮像信号として読み出される。
光軸方向において、光学系A1、A2の主点P0の位置から被写体Pまでの距離を被写体距離L、主点P0から撮像素子S1、S2までの距離をfa’とする。2つの光軸Oa1、Oa2の間隔をD、光軸Oa1、Oa2から結像位置p1’、p2’までの距離をそれぞれd1、d2とする。これらには下記数式8の関係が成り立つ。
[数8]
L=D×fa'/(d1+d2)
図9(b)は、撮像素子S1、S2の撮像画像を、光軸方向に見て光軸Oa1、Oa2が一致するように示した図である。上記数式8の(d1+d2)は、図9(b)に示すように、被写体の結像位置p1’、p2’の撮像画像上での間隔Δと等しい。
異なる光軸の画像から被写体の対応点を検出する、ブロックマッチングの手法などの相関検出式特徴点マッチング手法を用いて、撮像素子上の間隔Δを計算する。これにより、(d1+d2)が判明するから、その後、予めメモリ等に記録してある撮影状態の情報(距離fa’、光軸間隔D)を用いて、上記数式8により、距離演算部28は、被写体Pまでの被写体距離Lを取得することができる(取得手段)。
このような計算を画面内全体において実行すると距離マップが生成できる。ここでは2つの画像を用いて距離マップを生成する方法を説明したが、物体の影などにより対応点がない画像を補うために2つよりも多くの画像を用いるのが望ましい。
算出された距離マップは、システム制御部21を介して、画像処理部25や多眼画像処理部26にフィードバックされ、再構成画像信号に被写体距離に応じたボケを重畳処理するなどの特殊効果を付与する画像処理にも用いられる。図9においては2つの光学系を用いて説明したが、複数の光学系を用いることでオクルージョンの問題や光学系の誤差などに対するロバスト性が向上する。
図7に示す多眼画像処理部26は、ユーザが操作部30のズームレバー5で指示した撮影画角の仮想光軸Oa0から撮影した画像に相当するRGB画像を生成する。以下、これを再構成画像信号と呼ぶ。ここで仮想光軸Oa0とは、図2に示した視点の重心O’に仮想の光学系を設定した場合の光軸である(図11(b)も参照)。多眼画像処理部26は、焦点距離が同じである光学系に対応する4つの視点のRGB画像から、仮想光軸Oa0に視点を補正した画像信号を再構成画像信号として生成する(生成手段)。これにより、撮影中の画像から、撮影後に合焦位置を変更できる再構成画像信号が生成される。
多眼画像処理部26はさらに、ユーザが指定した撮像画角が光学系A〜Dのいずれの焦点距離とも合致しない場合は、指定された画角より一段階だけ広角の焦点距離の光学系で撮影した再構成画像信号から、指定した画角に相当する領域を切り出す。これが電子ズーム処理である。
図10は、多眼画像処理部26により実行される画像出力処理のフローチャートである。
まず、多眼画像処理部26は、画像処理部25から画像信号を読み込み(ステップS101)、同一焦点距離の画像をグループ化する(ステップS102)。次に、多眼画像処理部26は、各焦点距離に応じた演算係数を読み込む(ステップS103)。ここで演算係数とは、焦点距離やイメージサイズ、光学系の間隔など、視点を補正するのに必要なデータであり、図12で後述するヘッダ部におけるレンズの指定、レンズの情報、レンズの位置関係の情報が相当する。
多眼画像処理部26は、演算係数を用いて、視点を補正し、再構成画像信号を生成する(ステップS104)。多眼画像処理部26は、全ての焦点距離に関する処理を終了したか否を判別し(ステップS105)、処理未終了の焦点距離があれば処理をステップS104に戻す。全ての焦点距離に関する処理を終了した場合は、多眼画像処理部26は、システム制御部21からの画角の指示に基づき、切り出しが必要か否かを判別する(ステップS106)。ユーザが指定した撮像画角が光学系A〜Dの焦点距離と異なる場合に、切り出しが必要と判別される。
その判別の結果、多眼画像処理部26は、切り出しが必要でないなら処理をステップS109に進める一方、切り出しが必要である場合は、指示された画角よりも1段広角の再構成画像信号を読み込む(ステップS107)。そして、多眼画像処理部26は、読み込んだ再構成画像信号から指示された画角に応じて画像信号の切り出しを行う(ステップS108)。ステップS109では、多眼画像処理部26は、指示された画角と一致した再構成画像信号を出力し、本処理が終了する。
再構成画像は公知の手法で生成可能である。多眼画像処理部26等による再構成画像の生成方法の一例を、図9及び図11を用いて詳細に説明する。
図9で前述したように、被写体Pは2つの光学系によりそれぞれの撮像素子S1、S2の結像位置p1’、p2’に結像し、撮像信号として読み出される。距離演算部28はまず、画像の輝度信号分布や色信号分布の相関性に基づき、異なる光学系A1、A2で生成された画像から結像位置p1’、p2’を抽出する。距離演算部28は、上記数式8により、主点P0から被写体Pまでの被写体距離Lを求める。
図11(a)は、測距原理図である。図11(a)に示すように、多眼画像処理部26は、光学系A1、A2による撮像画像の原点(光軸Oa1、Oa2が通る撮像素子S1、S2面上の位置)を基準とした結像位置p1’の座標(x1’、y1’)、結像位置p2’の座標(x2’、y2’)を求める。そして多眼画像処理部26は、被写体距離L、距離fa’、光軸間隔Dを用いて、撮像系原点でもある重心O’(図11(a)では2つの光学系A1、A2の中点)に対する計算上の被写体P’’の座標(x’’、y’’、L)を求める。
ここで、光学系の焦点距離の誤差や光学系と撮像素子の位置ずれ等から、図11(a)における逆トレース直線R1’’、R2’’が、計算上三次元の空間で交差しない場合がある。しかしその場合には、2つの直線が最も接近する位置に仮想の平面を設定し、その平面とそれぞれの逆トレース直線との交点の中点を座標として求めてもよい。光学系が2つよりも多いときにはそれぞれの光学系から求められる直線を用いて同様な計算を行う。
図11(b)は、計算上の被写体P’’を仮想の撮像素子S0面上に射影した図である。上記求められた計算上の被写体P’’を、撮像系原点(重心O’)に仮想的に配置した焦点距離fa’の光学系A0により仮想の撮像素子S0面上に射影した場合を考える。多眼画像処理部26は、この場合における仮想の撮像素子S0面上の仮想の結像位置p0’の座標(x0’、y0’)を求める。多眼画像処理部26は、このような画像処理を画像全体に対して実行し、仮想の光学系A0による仮想光軸Oa0の再構成画像を生成する。
図7に示す記録エンコード部35は、多眼画像処理部26から出力された再構成画像信号を所定の信号フォーマットにエンコードする。
図12は、再構成画像信号の記録用フォーマットの概念図である。図13は、再構成画像信号の通信用フォーマットの概念図である。
図12に示すように、記録用フォーマットは、撮影の情報が格納されているファイルのヘッダ部のほか、画像データ部、距離マップ部からなる。ヘッダ部のデータ構成は、一例として、上記した演算係数(レンズの指定、レンズの情報、レンズの位置関係)のほか、撮影情報、画素構造及び画像形式からなる。
ヘッダ部におけるレンズの指定には、カメラ100に設けられた光学系の構成に関する情報(例えば、光学系の数で本実施の形態では16)等が格納されている。レンズの情報には、各光学系の画角情報などが格納されている。レンズの位置関係には、各光学系の光軸の位置関係の情報が格納されている。撮影情報には、ユーザが撮影を指示したときの画角の情報、撮影した場所の経度、緯度の情報、撮影した場所の時刻の情報、撮影したときのカメラの方向の情報が格納されている。画素構造には記録された画像データの縦横の画素数の情報が格納されている。画像形式には、画像の圧縮の有無および圧縮の種類の情報が格納されている。
記録用フォーマットにおける画像データ部には、ユーザが指示した画角で生成された再構成画像信号Eが記録され、次に光学系Aで撮像された画像信号(A1、A2、A3、A4)が記録される。その次に光学系Bで撮像された画像信号(B1、B2、B3、B4)が記録され、次に光学系Cで撮像された画像信号(C1、C2、C3、C4)が記録され、次に光学系Dで撮像された画像信号(D1、D2、D3、D4)が記録される。なお、図12では、画像信号(A3、A4、B1〜B4、C1〜C4、D1〜D3は不図示となっている。
記録用フォーマットにおける距離マップ部には、光学系Aで撮像された画像信号からの距離マップ(A)が記録され、以降、光学系B、C、Dでそれぞれ撮像された画像信号からの距離マップ(B、C、D)が記録される。
図7に示す記録部36は、記録エンコード部35でエンコードされた再構成画像信号を不図示のメモリカードなどの記録媒体に記録する。通信エンコード部37は、多眼画像処理部26から出力された再構成画像信号を図13に示す通信用フォーマットにエンコードする。
図13に示すように、通信用フォーマットは、撮影の情報が格納されているファイルのヘッダ部のほか、画像データ部、距離マップ部からなる。通信時のデータ量を削減するために、画像データ部は、ユーザが指示した画角で生成された再構成画像信号E、光学系Aで撮像され視点を補正した画像信号(A)、光学系B、C、Dで撮像され視点をそれぞれ補正した画像信号(B、C、D)が記録される。これに伴い、ヘッダ部には、記録用フォーマット(図12)のヘッダ部に対してレンズの位置関係が削除され、レンズの指定、レンズの情報、撮影情報、画素構造、画像形式が格納されている。
通信部38は、通信エンコード部37でエンコードされた再構成画像信号を、WiFi等の無線を通じて外部のサーバに送信する。
次に、その他の動作について説明する。まず、オートフォーカスの制御に関して図7で説明する。AF/AE評価部29は画像処理部25からの画像信号の輝度成分を評価し、被写体にピントが合っているかどうかを判定する。判定した結果はシステム制御部21に送信される。その判定結果が非合焦である場合は、システム制御部21は、撮像部22のフォーカス群FGを移動させる指示とその移動量及び移動方向とを駆動制御部31に送信する。
駆動制御部の動作を図8で説明する。駆動制御部31は、システム制御部21からの指示に従い、駆動ドライバ32を制御して不図示のモータを駆動し、フォーカス群FGを合焦の方向に移動させる。フォーカス群FGの移動量はエンコーダ33で検知され、検知した移動量が駆動制御部31にフィードバックされる。駆動制御部31は、エンコーダ33から受けた移動量がシステム制御部21から指示された移動量と一致するまで、フォーカス群FGを移動させる。
自動露出の制御に関して図7で説明する。AF/AE評価部29は、画像処理部25からの画像信号の輝度成分を評価し、露出が適切かどうかを判定する。判定した結果はシステム制御部21に送信される。その判定結果が露出不良のときには、システム制御部21は、撮像部22の露出補正量を露出制御部34に送信する。
露出制御部34の動作を図8で説明する。露出制御部34は、システム制御部21からの指示に従い、各撮像素子15の露光期間や光量調整素子17の可視光の透過率を制御し、露光量を制御する。ここで、撮像素子15と光量調整素子17の制御パターンは、ユーザが操作部30のモードダイヤル8やAEダイヤル9を操作して、公知のAEプログラム線図(不図示)を選択する等により指示する。
手ぶれ補正の制御に関して図7で説明する。手ぶれ検知部40は、いわゆるジャイロセンサや加速度センサ等で構成され、撮影時の手ぶれ量と手ぶれの方向を検出し、検出結果をシステム制御部21に送信する。システム制御部21は、送信された手ぶれ量及び手ぶれ方向に応じて撮像素子15の撮像信号を読み出す領域を変更する指示を撮像素子15に対して行う。撮像信号を読み出す領域の変更量は、光学系の焦点距離によって異なり、焦点距離が長いほど変更量が大きい。
外部出力の制御に関して図7で説明する。外部への画像の出力については、ユーザが操作部30から直接指示したり、カメラシステムのモード遷移に応じて対応したりする場合がある。ユーザからの指示はシステム制御部21に送られ、システム制御部21から外部出力部39に送信される。
記録されている画像を出力するときには、外部出力部39は、記録部36で記録された画像からユーザが選択したファイルを再生し、再構成画像信号を読み出す。そしてそれをPC(パーソナルコンピュータ)や外部モニタなど出力先の信号フォーマットに変換して映像出力端子から出力する。撮影した画像を直接出力するときには、外部出力部39は、多眼画像処理部26からの再構成画像信号を出力先の信号フォーマットに変換して映像出力端子から出力する。
再生画像をモニタ43に表示する制御に関して図7で説明する。モニタ43への画像の表示については、ユーザが直接指示する場合と、再生機器システムのモード遷移に応じて対応する場合とがある。モニタ43には、記録された画像のサムネイル画像が表示され、ユーザがモニタ43を直接タッチして画像を選択できる。サムネイル画像は撮影のときにユーザが指定した画角の画像である。ユーザからの指示はシステム制御部21に送られ、システム制御部21からモニタ画像処理部27に送信される。
顔検出部44は、画像処理部25からの画像信号に対して公知の顔検出処理を施し、撮像素子15の撮像画像内に含まれる人物の顔領域を検出する。検出した結果はシステム制御部21に送られる。なお、公知の顔検出処理としては、例えば、画像信号で表される各画素の階調色から肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法がある。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔検出を行う方法等も開示されている。なお、顔検出処理の手法については、上述した手法に限るものではなく、公知の種々の手法を用いることができる。
本実施の形態では、被写体検出(顔検出部44による顔検出)を用いて、モニタ43に後からフォーカスできる範囲を表示する例を示す。すなわち、再構成画像における合焦可能な範囲を、取得した被写体距離と併せて、撮影中にモニタ43に表示させる。
図14、図15は、モニタ43への出力映像の一例を示す図である。
図14、図15に示すように、撮影中においては、システム制御部21は、モニタ43には、光学系A〜Dのうちいずれかによって取得された撮影画像を表示させる。例えば、光学系A〜Dのうちユーザが指定した画角のものから取得された撮影画像が選択的に表示される。被写体101、102は、顔検出により検出された被写体である。被写体検出枠113において被写体101の顔が検出され、被写体検出枠114において被写体102の顔が検出されている。図14に対し、図15では、カメラ100からの被写体102の距離が遠くなっている。
システム制御部21はさらに、モニタ43に、撮影中の画像に重畳させて、後から(再生時に)フォーカスできる合焦可能範囲を示すフォーカスバー群103を表示させるよう制御する。フォーカスバー群103は、上下方向を長手方向にして並列に配置された4本のフォーカスバー104、105、106、107からなる。フォーカスバー104、105、106、107の長さが、それぞれ、互いに焦点距離の異なる光学系A、B、C、Dの合焦可能範囲を示す。各フォーカスバーの長さは、対応する光学系における後から合焦可能な範囲に対応している。
図14、図15において、カメラ100から見て、「F」が遠い側、「N」が近い側である。従って、各フォーカスバー104〜107のF側端位置(上端位置)が、最も遠い合焦可能位置を示し、N側端位置(下端位置)が、最も近い合焦可能位置を示す。フォーカスバー104を例にとると、縦の長さが光学系Aの合焦可能範囲108を示している。同様に、フォーカスバー105、106、107の縦方向の長さは、光学系B、C、Dのフォーカス可能な範囲を示している。
システム制御部21はさらに、モニタ43に、距離情報表示111(111A、111B、111C、111D)、112(112A、112B、112C、112D)を、フォーカスバー群103と併せて表示させるよう制御する(制御手段)。距離情報表示111、112は、被写体101、102のそれぞれのカメラ100からの距離(被写体距離)を示す情報であり、フォーカスバー群103の長さ方向における被写体101、102の被写体距離に対応する位置に表示される。
距離情報表示111A〜111Dは、それぞれ光学系A〜Dに対応するフォーカスバー104〜107の長さ方向に沿う位置(延長上も含む)に表示され、いずれもフォーカスバー104〜107の長さ方向(上下方向)における同一位置に表示される。上下方向における距離情報表示111、112の位置は、それぞれカメラ100から被写体101までの被写体距離109、110を示す。被写体距離109、110は、上述した被写体距離Lの算出手法により、撮影中に距離演算部28により取得される。
ただし、各4つの距離情報表示111A〜111D、112A〜112Dのうち、現在表示されている撮影中の画像の取得元である光学系に対応する各1つの距離情報表示111、112だけは、他の3つは異なる表示態様で表示される。一例として、図14、図15に示すように、光学系Bを取得元とする撮影画像が表示されているとき、フォーカスバー105に対応する距離情報表示111B、112Bだけが濃い色で表示される。そしてこれら以外の距離情報表示111A、111C、111D、及び距離情報表示112A、112C、112Dは、薄い色で表示されている。これにより、撮影画像の取得元の光学系が告知される。
図14を参照すると、距離情報表示111、112が、フォーカスバー104〜107のいずれの全長の範囲内に対しても収まっている。これらから、ユーザは、光学系A〜Dのいずれの画角においても、撮影後に、被写体101と被写体102のいずれに対してもフォーカスを合わせることが可能であることがわかる。
一方、図15を参照すると、距離情報表示111、112が、フォーカスバー105〜107の全長の範囲内に対して収まっているが、フォーカスバー104に対しては、距離情報表示111だけが収まり、距離情報表示112は上方に外れている。すなわち、距離情報表示112は光学系Aの合焦可能範囲から外れている。これらからユーザは、光学系B、C、Dの画角では、撮影後に被写体101、102に対してフォーカスを合わせることが可能であるが、光学系Aの画角では、撮影後に被写体102に対してフォーカスを適切に合わせることができないことがわかる。
このようにして、複数の光学系A〜Dごとに、検出された複数の被写体が、後からフォーカスを合わせられるかどうかをユーザは認識することができる。なお、被写体の数が3以上でも同様に考えることができ、被写体数に対応して距離情報表示も増やせばよい。
本実施の形態によれば、撮影中の画像から生成された再構成画像における合焦可能な範囲を、被写体距離と併せて、撮影中にモニタ表示するので、撮影後に合焦可能な範囲を、被写体距離との関係と共に撮影中に認識させることができる。これにより、撮影後に意図した被写体にフォーカスが合わずに、撮影をやり直すなどの手間を省くことができる。
また、フォーカスバー104〜107は、焦点距離の異なる複数の光学系(A〜D)ごとに表示されるので、各々の光学系について(各画角において)合焦可能な範囲を知ることができる。しかも、フォーカスバーの長さが合焦可能な範囲に対応するので、合焦可能範囲を視覚的に把握しやすい。
また、距離情報表示111、112は、被写体ごとに表示されるので、各々の被写体に対する合焦可否の判断をユーザは行うことができる。しかも距離情報表示111、112は、フォーカスバー104〜107の長さ方向に沿った範囲における、被写体距離に対応する位置に表示されるので、フォーカスバーと距離情報表示との相対的位置関係から、各々の被写体に対する合焦可否を視覚的に認識しやすい。
また、距離情報表示111、112の表示色の濃度によって、現在、モニタ表示されている撮影画像の取得元である光学系を告知するので、モニタ表示される画角についての合焦可能範囲の認識がしやすい。
(第2の実施の形態)
第1の実施の形態では、モニタ表示において、被写体距離を顔検出された被写体ごとに表示させた。これに対し、本発明の第2の実施の形態では、撮影中の撮影画像を複数に分割した領域ごとに被写体距離を取得し、分割領域ごとに被写体距離を表示させる。その他の構成は第1の実施の形態と同様である。従って、図14、図15に代えて図16、図17を用いて第2の実施の形態を説明する。
図16、図17は、モニタ43への出力映像の一例を示す図である。
第1の実施の形態では、被写体検出された領域に対して被写体距離を算出していたが、第2の実施の形態では、分割した領域ごとに被写体距離を距離演算部28が算出する。領域213、214は、画面を分割した際に被写体101、102が映っている領域である。領域の分割手法は問わない。
図16、図17に示した例では、説明の簡略化のため、被写体が映っている領域213、214に対してのみ被写体距離を算出し、それを距離情報表示111、112としてフォーカスバー群103に併せて表示する例を示す。他の分割領域内の被写体についても同様に考えることができる。モニタ43に表示されるフォーカスバー群103は第1の実施の形態のものと同じである。
図16では、領域213にいる被写体101と、領域214にいる被写体102は、フォーカスバー群103において、距離情報表示111、112として表示されている。距離情報表示111、112とフォーカスバー群103との相対的な位置関係から、光学系ごと、被写体ごとに合焦可能範囲を視覚的に把握できる点は第1の実施の形態(図14、図15)と同様である。
本実施の形態によれば、撮影後に合焦可能な範囲を、被写体距離との関係と共に撮影中に認識させることに関し、第1の実施の形態と同様の効果を奏することができる。特に本実施の形態では、各画角において、画面内の各分割領域にいる被写体について、後からフォーカスを合わせられるかどうかをユーザに認識させることが可能となる。さらに、人物以外の、被写体検出できない被写体に対しても、合焦可能範囲を知らせることが可能となる。
なお、第1、第2の実施の形態において、撮影後の合焦可能な範囲については、モニタ43には、少なくとも、最も近い合焦可能位置と最も遠い合焦可能位置とがわかるような表示を採用すればよい。従って、フォーカスバー群103のような表示態様に限定されない。このようにバー形式を用いない場合、距離情報表示については、最も近い合焦可能位置と最も遠い合焦可能位置の表示に対して、距離的に相対的な関係となる位置に表示させてもよい。
なお、現在、モニタ表示されている撮影画像の取得元である光学系を告知する態様として、距離情報表示111、112の色の濃さで区別した。しかしこれに限るものでなく、取得元の光学系とそうでない光学系とで距離情報表示の表示態様を区別すればよい。例えば、表示色や付加するマークで区別してもよい。
また、必ずしも距離情報表示(例えば111A〜111D)を全ての光学系に対応して表示させる必要はなく、取得元の光学系に対応する距離情報表示(例えば111A)だけを表示させ、それ以外(例えば111B〜D)は表示させない、という手法も考えられる。あるいは、距離情報表示を廃止し、取得元の光学系に対応するフォーカスバーだけを、それ以外のフォーカスバーとは色等において異なる表示態様となるようにしてもよい。なお、フォーカスバー群103の長手方向の設定は上下方向に限定されるものではない。
なお、撮影中の画像から、撮影後に合焦位置を変更できる再構成画像を生成する観点からは、平面方向に複数のレンズを配置したレンズアレイを撮像素子15の被写体側に配置する構成を採用してもよい。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。