JP6429440B2 - 撮像装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、複数の焦点距離を有する光学系を備えて、複数の焦点距離で被写体を撮影して画像を得る撮像装置に関する。

画角の異なる短焦点レンズと長焦点レンズが被写体の同じ部分を含むように撮像する複眼撮像装置が特許文献１で提案されている。つまり、短焦点レンズに対応した撮像素子により広角の画像を取得し、長焦点レンズに対応した撮像素子により望遠の画像を取得する構成である。

従来、デジタルカメラなどの撮像装置において、画角の異なる短焦点レンズユニット（以下単に短焦点レンズと呼ぶ）と長焦点レンズユニット（以下単に長焦点レンズと呼ぶ）とを備えるものが知られている（特許文献１参照）。

この撮像装置では、短焦点レンズおよび長焦点レンズを用いて同一の被写体を撮像して画像を得ている。この種の撮像装置は複眼撮像装置と呼ばれている。つまり、複眼撮像装置では、短焦点レンズを介して被写体像（光学像）が結像される撮像素子によって広角の画像を取得する。さらに、長焦点レンズを介して光学像が結像される撮像素子によって望遠の画像を取得する。そして、撮影動作におけるフレーミングの際には、短焦点レンズで得られた画像を優先的に表示部に表示すれば、ユーザは長焦点レンズの撮影範囲も観察することができる。

特開２００５−３０３６９４号公報

ところで、特許文献１に記載の複眼撮像装置においては、短焦点レンズおよび長焦点レンズに対応する撮像素子をそれぞれ露光した際、短焦点レンズおよび長焦点レンズによってその被写界深度が異なる。このため、短焦点レンズにおいては被写界深度内であるものの、長焦点レンズでは被写界深度外となる被写体が存在することがある。

図１０は、従来の撮像装置において被写体距離と短焦点レンズおよび長焦点レンズの被写界深度との関係を模式的に示す図である。

図１０において、撮像装置（以下カメラと呼ぶ）カメラ６０寄りの位置６１の側を至近側とし、カメラ６０から離れた位置６２の側を無限側とする。いま短焦点レンズおよび長焦点レンズにおける絞り値が同一であると、長焦点レンズの方がその被写界深度は浅くなる（狭くなる）。

ここで、短焦点レンズにおける被写界深度を短焦点被写界深度と呼び、長焦点レンズにおける被写界深度を長焦点被写界深度と呼ぶ。図中、長焦点被写界深度６５および短焦点被写界深度６６はそれぞれ主被写体６３に焦点を合わせた際に同一の絞り値における被写界深度を表しており、図示のように、長焦点被写界深度６５は短焦点被写界深度６６より狭くなる。

図示の例では、主被写体６３から無限側位置６２の方向に背景被写体６４が存在している。当該背景被写体６４は短焦点被写界深度６６の範囲内ではあるものの、長焦点被写界深度６５の範囲外である。この場合、短焦点レンズおよび長焦点レンズによって得られる画像において、主被写体６３については被写界深度内であるのでピントのずれは許容範囲内、つまり、ピントが合っている状態である。

なお、被写体が被写界深度内にある場合をその焦点状態が合焦状態にあるとし、被写体が被写界深度外にある場合をその焦点状態が非合焦状態にあるとする。

一方、背景被写体６４については短焦点レンズでは合焦状態であるものの、長焦点レンズでは被写界深度外になるので非合焦状態となって、長焦点レンズで得られた画像はぼけた状態となる。よって、フレーミングの際に短焦点レンズで得られた画像を表示部に表示して、ユーザが撮影条件の設定を行って撮影すると、長焦点レンズで得られた画像において、フレーミングの際に表示部に表示された画像と比べて背景被写体について合焦状態が異なる事態が生じる。

その結果、撮影の後に画像を確認した際、ユーザはフレーミグの際に表示部に表示された画像と撮影によって得られた画像とが異なって、ユーザが意図しない状態で撮影された画像であることを知るといった事態が発生する。

よって、本発明の目的は、複数の異なる焦点距離の光学系を有する撮像装置において、光学系の被写界深度の相違によってユーザが意図しない画像が撮影されることを防止することのできる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、複数の光学系のうち少なくとも１つの光学系が他の光学系と焦点距離が異なる撮像光学群を備え、前記光学系を介して撮像を行う撮像装置であって、前記複数の光学系の各々を介して結像された光学像を複数の撮像素子でそれぞれ受光し、該光学像に応じた画像を生成する撮像手段と、前記複数の光学系の各々を介して入射される前記光学像についてその光量を調整して前記撮像手段における絞りを制御する絞り制御手段と、前記複数の光学系の１つを選択光学系として選択する選択手段と、前記撮像手段により前記複数の光学系を介してそれぞれ撮像された複数の画像を、予め定められた記録方式でそれぞれ記録部に記録する記録制御手段と、を有し、前記絞り制御手段は、前記選択光学系における絞り値を基準として、前記複数の光学系の被写界深度が同等になるように、前記複数の光学系のうち前記選択光学系を除く他の光学系に係る絞り値を決定し、前記複数の光学系のうち一つを介して画像を得ることが設定されている際には、当該１つの光学系については絞り値を制限せず、前記記録制御手段は、前記絞り制御手段によって被写界深度が同等になるように制御された前記複数の光学系を介してそれぞれ撮像された複数の画像をそれぞれ前記記録部に記録することを特徴とする。

本発明による制御方法は、複数の光学系のうち少なくとも１つの光学系が他の光学系と焦点距離が異なる撮像光学群を備え、前記複数の光学系の各々を介して結像された光学像を複数の撮像素子でそれぞれ受光し、該光学像に応じた画像を生成する撮像手段を有する撮像装置の制御方法であって、前記複数の光学系の各々を介して入射される前記光学像についてその光量を調整して前記撮像手段における絞りを制御する絞り制御ステップと、前記複数の光学系の１つを選択光学系として選択する選択ステップと、前記撮像手段により前記複数の光学系を介してそれぞれ撮像された複数の画像を、予め定められた記録方式でそれぞれ記録部に記録する記録制御ステップと、を有し、前記絞り制御ステップでは、前記選択光学系における絞り値を基準として、前記複数の光学系の被写界深度が同等になるように、前記複数の光学系のうち前記選択光学系を除く他の光学系に係る絞り値を決定し、前記複数の光学系のうち一つを介して画像を得ることが設定されている際には、当該１つの光学系については絞り値を制限せず、前記記録制御ステップでは、前記絞り制御ステップによって被写界深度が同等になるように制御された前記複数の光学系を介してそれぞれ撮像された複数の画像をそれぞれ前記記録部に記録することを特徴とする。

本発明による制御プログラムは、複数の光学系のうち少なくとも１つの光学系が他の光学系と焦点距離が異なる撮像光学群を備え、前記複数の光学系の各々を介して結像された光学像を複数の撮像素子でそれぞれ受光し、該光学像に応じた画像を生成する撮像手段を有する撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記複数の光学系の各々を介して入射される前記光学像についてその光量を調整して前記撮像手段における絞りを制御する絞り制御ステップと、前記複数の光学系の１つを選択光学系として選択する選択ステップと、前記撮像手段により前記複数の光学系を介してそれぞれ撮像された複数の画像を、予め定められた記録方式でそれぞれ記録部に記録する記録制御ステップと、を実行させ、前記絞り制御ステップでは、前記選択光学系における絞り値を基準として、前記複数の光学系の被写界深度が同等になるように、前記複数の光学系のうち前記選択光学系を除く他の光学系に係る絞り値を決定し、前記複数の光学系のうち一つを介して画像を得ることが設定されている際には、当該１つの光学系については絞り値を制限せず、前記記録制御ステップでは、前記絞り制御ステップによって被写界深度が同等になるように制御された前記複数の光学系を介してそれぞれ撮像された複数の画像をそれぞれ前記記録部に記録することを特徴とする。

本発明によれば、光学系の被写界深度の相違によってユーザが意図しない画像が撮影されることを防止することができる。

本発明の実施の形態による撮像装置の一例である多眼光学群を有する撮像装置を説明するための図であり、（ａ）は撮像装置を正面側からみた斜視図、（ｂ）は撮像装置を背面側からみた斜視図である。 図１に示すカメラの構成の一例を示すブロック図である。 図１に示すカメラによる撮影の結果得られる画像およびその表示を説明するための図であり、（ａ）は撮影動作を行う際のフレーミング中に表示部に表示される画像（ライブビュー画像）の一例を示す図、（ｂ）は図１（ａ）に示す第１の光学系で撮影した画像を示す図、（ｃ）は図１（ａ）に示す第２の光学系で撮影した画像を示す図、（ｄ）は図１（ａ）に示す第３の光学系で撮影した画像を示す図、（ｅ）は図１（ａ）に示す第４の光学系で撮影した画像を示す図である。 撮影の際に背景被写体の焦点状態が焦点距離によって異なる状態を説明するための図であり、（ａ）はライブビュー表示が行われる第１の光学系で得られた画像の一例を示す図、（ｂ）は第３の光学系で撮影した画像の一例を示す図、（ｃ）は（ａ）に示す画像に（ｂ）に示す画像を合成した合成画像の一例を示す図である。 図１に示すカメラにおける被写界深度を説明するための図である。 図１に示すカメラにおいて光学系の被写界深度が同等になる絞り値の組み合わせが登録された被写深度調整絞り値テーブルの一例を示す図である。 図２に示すカメラにおける撮影動作を説明するためのフローチャートである。 本発明の実施の形態によるカメラの他の例についてその外観（正面）を示す斜視図である。 図８に示すカメラによる撮影の結果得られる画像およびその表示を説明するための図であり、（ａ）は撮影動作を行う際のフレーミング中に表示部に表示される画像（ＬＶ画像）の一例を示す図、（ｂ）は図８に示す第１の光学系で撮影した画像を示す図、（ｃ）は図８に示す第２の光学系で撮影した画像を示す図、（ｄ）は図８に示す第３の光学系で撮影した画像を示す図、（ｅ）は図８に示す第４の光学系で撮影した画像を示す図、（ｆ）は図８に示す第５の光学系で撮影した画像を示す図である。 従来の撮像装置において被写体距離と短焦点レンズおよび長焦点レンズの被写界深度との関係を模式的に示す図である。

以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による撮像装置の一例である多眼光学群を有する撮像装置を説明するための図である。そして、図１（ａ）は撮像装置を正面側からみた斜視図であり、図１（ｂ）は撮像装置を背面側からみた斜視図である。

図示の撮像装置１は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、このカメラ１は複数の光学系（レンズ群）を備える撮像光学群（撮像光学系ともいう）２を有している。そして、カメラ１の筐体（カメラ筐体）の正面には撮像光学系２に備えられたレンズ群のうち最前部に位置するレンズが露出するようにして配置されている。また、カメラ筐体の上面には撮影の命令を行うためのレリーズ釦１６が配置されている。

カメラ筐体の背面には撮影の設定および撮影の結果得られた画像を表示するための表示部１４が配置されるともに、撮影の設定および画像に関して操作を行うための画面操作部１７が配置されている。

図示の例では、撮影光学系２は第１〜第４の光学系（レンズ群）２ａ〜２ｄを有しており、カメラ筐体には２×２＝４個の光学系（レンズ）２ａ〜２ｄがマトリックス状に配置され、その焦点距離が異なる。図１（ａ）においては、光学系２ａ〜２ｄの焦点距離は、光学系２ａ＜光学系２ｂ＜光学系２ｃ＜光学系２ｄの順である。

図２は、図１に示すカメラの構成の一例を示すブロック図である。

図示のカメラ１に備えられた撮像光学系２は前述の光学系２ａ〜２ｄの他にレンズ・絞り駆動部７を有している。なお、図示の例では、説明の便宜上、光学系２ａおよび２ｂのみが示されているが、ここでは、図１（ａ）に示す光学系２ａ〜２ｄが備えられている。そして、これら光学系２ａ〜２ｄは同一の構成を有している。

光学系２ａおよび２ｂはレンズ群とも呼ばれ、光学系２ａおよび２ｂはそれぞれフォーカスレンズ４ａおよび４ｂと絞り５ａおよび５ｂを備えており。光学系２ａおよび２ｂの後段にはそれぞれ撮像素子６ａおよび６ｂが配置されている。そして、フォーカスレンズ４ａおよび４ｂは、カメラシステム制御部１１の制御下でレンズ・絞り駆動部７によってそれぞれ光軸５ａおよび５ｂに沿って駆動される。また、絞り５ａおよび６ｂは、カメラシステム制御部１１の制御下でレンズ・絞り駆動部７によってそれぞれその開口が調整されて、これによって、撮像素子６ａおよび６ｂに入射する光量を調整する。

光学系２ａおよび２ｂを介して入射した被写体像（光学像）はそれぞれ撮像素子６ａおよび６ｂに結像する。そして、撮像素子６ａおよび６ｂはそれぞれ光学像に応じたアナログ信号（画像信号）出力する。以下の説明では、撮像素子６ａの出力である画像信号を第１の画像信号と呼び、撮像素子６ｂの出力である画像信号を第２の画像信号と呼ぶ。

なお、図２に示す例では、光学系２ａおよび２ｂに対してそれぞれ撮像素子６ａおび６ｂが備えられているが、光学系２ａおよび２ｂの結像領域を有する単一の撮像素子を設けて、撮像の後、これら結像領域から出力される画像信号を信号処理するようにしてもよい。

図示のカメラ１は、さらに、カメラシステム制御部１１、画像処理部１２、メモリ部１３、表示部１４、および操作検出部１５を有している。カメラ１では、光学系２ａおよび２ｂと撮像素子６ａおよび６ｂとによって撮像系が構成され、画像処理部１２によって画像処理系が構成される。そして、メモリ部１３および表示部１４によって記録再生系が構成され、カメラシステム制御部１１、操作検出部１５、およびレンズ・絞り駆動部７によって制御系が構成される。

図示はしないが、画像処理部１２は、Ａ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、および補間演算回路などを有しており、前述の第１および第２の画像信号を受けて記録用の画像データを生成する。

メモリ部１３は記録部に加えて画像の記録に必要な処理回路を備えている。そして、メモリ部１３は記録部に画像データを記録するとともに、処理回路によって表示部１４に出力する表示用画像を生成して保存する。ここでは、第１および第２の画像信号を画像処理した結果得られる画像データをそれぞれ第１および第２の画像データと呼ぶ。

なお、メモリ部１３は、予め定められた記録方式を用いて画像（静止画像）、動画、および音声などの圧縮処理を行ってこれら静止画像、動画、および音声の記録を行う。図２に示すカメラ１においては、音声の記録に係るブロックは省略されている。

カメラシステム制御部１１はカメラ１全体の制御を司る。そして、カメラシステム制御部１１は外部操作（つまり、ユーザ操作）に応じて撮像系、画像処理系、および記録再生系を制御する。

例えば、図１（ａ）に示すレリーズ釦１６の押下を操作検出部１５が検出すると、カメラシステム制御部１１は撮像素子６ａおよび６ｂを駆動制御するとともに、画像処理部１２の動作およびメモリ部１３における圧縮処理などを制御する。さらに、さらに、カメラシステム制御部１１はメモリ部１３から読み出した表示用画像を表示部１４に表示制御するとともに、撮影に係る各種情報を表示部１４に表示制御する。

なお、ここでは、レリーズ釦１６の押下に応じて、予め設定された絞り値および露光時間などに応じて撮像素子６ａおよび６ｂを駆動して静止画を撮影することを本撮影と呼ぶ。

図３は、図１に示すカメラによる撮影の結果得られる画像およびその表示を説明するための図である。そして、図３（ａ）は撮影動作を行う際のフレーミング中に表示部に表示される画像（ライブビュー画像）の一例を示す図であり、図３（ｂ）は図１（ａ）に示す光学系２ａで撮影した画像を示す図である。また、図３（ｃ）は図１（ａ）に示す光学系２ｂで撮影した画像を示す図であり、図３（ｄ）は図１（ａ）に示す光学系２ｃで撮影した画像を示す図である。さらに、図３（ｅ）は図１（ａ）に示す光学系２ｄで撮影した画像を示す図である。

いま、図３（ａ）においては、光学系２ａ（つまり、最も焦点距離が短い光学系）で撮影された画像が表示部１４にライブビュー（ＬＶ）表示されているとする。そして、表示部１４には光学系２ａで撮影した場合の画像の画角範囲が画角フレーム４０ａで表示される。

この際、カメラシステム制御部１１は光学系２ｂ、２ｃ、および２ｄで撮影した際の画像の画角範囲をそれぞれ画角フレーム４０ｂ、４０ｃ、および４０ｄで表示部１４に表示する。

このようにして、最短の焦点距離である光学系２ａで得られた画像をＬＶ表示し、当該ＬＶ表示において、画角フレーム４０ａ〜４０ｄを表示すれば、ユーザは他の焦点距離の光学系２ｂ〜２ｄの画角範囲を確認して撮影を行うことができる。

図３（ａ）に示す例では、カメラシステム制御部１１は光学系２ｂ〜２ｄに係る画角フレーム４０ｂ〜４０ｄを表示部１４に表示するようにしたが、画角フレーム４０ｂ〜４０ｄの全てを表示しなくてもよい。さらには、カメラシステム制御部１１は画角フレーム４０ａの他に画角フレーム４０ｄのみを表示するなど、画角フレーム４０ａの他に一部の画角フレームのみを表示するようにしてもよい。

図３（ａ）に示す状態で撮影が行われると、光学系２ａ〜２ｄに対応する撮像素子の出力に応じて、画像処理部１２はそれぞれ図３（ｂ）〜図３（ｅ）に示す画像を生成する。図３（ｂ）〜図３（ｅ）に示す画像はそれぞれ光学系２ａ〜２ｄに対応する撮像素子の出力に応じて得られた画像であるので、電子ズームなどの拡大処理と異なって、各画像の解像度は同様であり、焦点距離が長い光学系で得られた画像についても高精細な画像が得られる。

前述したように、ＬＶ表示の際には、表示部１４には最も短い焦点距離の光学系２ａによって得られた画像とその画角フレーム４０ａが表示されるので、ユーザはその他の焦点距離の光学系２ｂ〜２ｄにおいて、どのようにフレーミングされた画像が得られるか視覚的に把握することができる。

このようにして、図示のカメラでは、一度の撮影で互いに焦点距離の異なる画像を同時に取得することができる。

なお、ＬＶ表示又は本撮影の後の再生表示の際には、光学系２ａで得られた画像（画角フレーム４０ａ）に、光学系２ｂ〜２ｄで得られた画像をはめ込み合成して一枚の合成画像を表示するようにしてもよい。

例えば、画像処理部１２は、カメラシステム制御部の制御下で、少なくとも２つの光学系で得られた画像を合成して１枚の合成画像を生成する。これによって、画角が広い画像でありながらも、画像の中央に行くほど高精細な画像を再生表示することができる。

さらに、画像処理部１２ははめ込み合成ではなく、互いに重なり合う画角の範囲について複数枚の画像の出力を加算処理するようにしてもよい。これによって、画像のダイナミックレンジの拡大およびＳ／Ｎの改善がなされた合成画像を生成することができる。なお、互いに異なる複数の焦点距離の光学系で得られた画像を加算合成する際には、加算する画素数を合わせるための補正処理が必要である。

ところで、図１０で説明したように、背景被写体６４の距離によっては、光学系によっては背景被写体６４が被写界深度内に入って合焦状態となるが、他の光学系では背景被写体６４が被写界深度外となって非合焦状態になることがある。

図４は、撮影の際に背景被写体の焦点状態が焦点距離によって異なる状態を説明するための図である。そして、図４（ａ）はライブビュー表示が行われる光学系２ａで得られた画像の一例を示す図であり、図４（ｂ）は光学系２ｃで撮影した画像の一例を示す図である。また、図４（ｃ）は図４（ａ）に示す画像に図４（ｂ）に示す画像を合成した合成画像の一例を示す図である。

図４（ａ）に示す例では、図３（ａ）と同様に光学系２ａ〜２ｄの画角フレーム４０が表示されている。図４（ａ）において、画面中央に主被写体４１が存在し、当該主被写体４１の後方には背景被写体４２が存在する。そして、光学系２ａ〜２ｄのフォーカスレンズによって主被写体４１の位置で焦点を結ぶように焦点調整が行われている。

いま、光学系２ａ（第１の光学系）の被写界深度を、図１０に示す短焦点被写界深度６４とし、光学系２ｃ（第３の光学系）の被写界深度を長焦点被写界深度６５とする。この場合、主被写体４１および背景被写体４２の関係は、図１０に示す主被写体６３および背景被写体６４の関係となる。

この際、図４（ａ）においては、主被写体４１および背景被写体４２はともに合焦状態にあるが、図４（ｂ）においては、主被写体４１は合焦状態にあるが、背景被写体４２は非合焦状態である。なお、図４（ｂ）においては、非合焦状態におけるぼけた様子を画像に斜線を重ねて示している。

ユーザ、つまり、撮影者はフレーミングの際にはＬＶ表示によって、図４（ａ）に示す画像を確認する。そして、当該確認に応じて本撮影を行った場合、ユーザが光学系２ｃで得られた画像を再生表示すると、当再生画像がフレーミング際に確認した画像とは異なる焦点状態であることに気付くこととなる。

さらに、短焦点の光学系で得られた画像に長焦点の光学系で得られた画像をはめ込み合成して表示する際も不具合が生じる。図４（ｃ）においては、画角フレーム４０ａにおいて背景被写体４２は合焦状態であるが、画角フレーム４０ｃにおいては斜線で示すように非合焦状態である。同様に、加算合成処理によってダイナミックレンジの拡大を行う場合又はＳ／Ｎの改善を行う場合においても、焦点状態の相違に起因して加算合成処理後の画像は劣化する。

このように不具合を防止するため、ここでは光学系２ａ〜２ｄの被写界深度が同等になるように、光学系２ａ〜２ｄの焦点距離に応じて絞り値を変更する。

ここで、被写界深度を求める際の手法の一例について説明する。図５は、図１に示すカメラにおける被写界深度を説明するための図である。

図５においては、レンズ７１に対してその左側を物体面とし右側を像面として、許容錯乱円径δ、焦点深度ε、および被写界深度Ｌが示されている。レンズ７１の焦点距離は、物体距離ａである物体７２が像面距離ｂの像面７３の位置で結像する焦点距離ｆであり、許容錯乱円径をδ、レンズ７１の絞り値をＦとすると、後方被写界深度Ｌｆ、前方被写界深度Ｌｎ、および被写界深度Ｌはそれぞれ次の式（１）、式（２）、および式（３）によって求めることができる。

式（１）および式（２）から容易に理解できるように、後方被写界深度Ｌｆおよび前方被写界深度Ｌｎの各々は許容錯乱円径δ、物体距離ａ、絞り値Ｆ、およびレンズ７１の焦点距離ｆによって求めることができる。ここで、２つのレンズの焦点距離をそれぞれｆ１およびｆ２、絞り値をＦ１およびＦ２とすると、物体距離ａおよび許容錯乱円径δが同一である場合、２つのレンズの後方被写界深度を同一にするためには、式（１）から式（４）が成り立てばよい。

式（４）を解くと、２つのレンズの焦点距離ｆ１およびｆ２と絞り値Ｆ１およびＦ２とは式（５）の関係となる。

つまり、同一の許容錯乱円径を有する撮像素子を備えるとともに、互いに異なる焦点距離の２つの光学系を備える場合に後方被写界深度を同一にするためには、一方の光学系における絞り値を決定すれば、他方の光学系の絞り値が式（５）に応じて決定されることになる。

なお、ここでは、光学系の各々に対応する撮像素子は同一の性能を有しているとして許容錯乱円径δが同一であるとしたが、焦点距離毎に許容錯乱円径δが異なる場合には、式（６）にと基づいて他方の光学系の絞り値が求められる。なお、式（６）において、一方の光学系に対応する撮像素子の許容錯乱円をδ１、他方の光学系に対応する撮像素子の許容錯乱円をδ２で示す。

図２に示すカメラにおいては、式（５）又は式（６）に基づいて、カメラシステム制御部１１はレンズ・絞り駆動部７によって光学系の各々の被写界深度が同等になるように絞りを調整して絞り値を変更する。例えば、ユーザが絞り値優先焦点距離として選択した焦点距離の光学系（つまり、選択光学系）の絞り値を基準として、カメラシステム制御部１１は式（５）に基づいて他の光学系における絞り値（つまり、ここでは算出絞り値）を変更する。

図６は図１に示すカメラにおいて光学系の被写界深度が同等になる絞り値の組み合わせが登録された被写深度調整絞り値テーブルの一例を示す図である。

図示の例では、光学系２ａ、２ｂ、２ｃ，および２ｄの焦点距離をそれぞれ２８ｍｍ、３５ｍｍ、５０ｍｍ、および７０ｍｍとした際の絞り値が１２通りの組み合わせで示されている。ＬＶ表示中にユーザが絞り値優先焦点距離の光学系として光学系２ａを選択すると、カメラシステム制御部１１は本撮影動作において光学系２ａの露光が適正となる絞り値Ｆｎを算出する。

光学系２ａの絞り値Ｆｎが”１．８”であるとすると、カメラシステム制御部１１は、図６に示すテーブルにおける組み合わせＮｏ３に応じて、光学系２ｂの絞り値Ｆｎを”２．８”、光学系２ｃの絞り値Ｆｎを”５．６”、そして、光学系２ｄの絞り値Ｆｎを”１１”とする。そして、カメラシステム制御部１１は、これら絞り値Ｆｎに基づいてレンズ・絞り駆動部７を制御して光学系２ａ〜２ｄの絞りを調整する。

なお、絞り値優先焦点距離の光学系に係る絞り値はカメラシステム制御部１１が適正露光になるように決定するようにしてもよく、ユーザが直接絞り値を選択して設定するようにしてもよい。ユーザが、絞り値優先焦点距離の光学系に係る絞り値を選択・設定する際には、図６に示すテーブルに登録された絞り値から選択するようにする。

また、図６に示すテーブルにおける焦点距離と絞り値との組み合わせは、絞り値が１／２段又は１／３段刻みで示されているので、必ずしも式（５）から求められる絞り値と一致しないが、上記の刻み段数であれば光学系の被写界深度を同等とみなすことができる。さらに、表示部１４に絞り値を表示する際には、図６に示すテーブルにおける絞り値を用いた場合においても、実際の絞り値は式（５）を満たすように設計してよい。

図７は、図２に示すカメラにおける撮影動作を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、カメラシステム制御部１１の制御下で行われる。

撮影が開始されると、カメラシステム制御部１１は光学系２ａ〜２ｄに対応する撮像素子を所定の時間露光する。光学系２ａ〜２ｄに対応する撮像素子の出力は画像処理部１２で処理されて、それぞれ第１〜第４の画像データとされる。そして、カメラシステム制御部１１は最も焦点距離の短い光学系２ａで得られた第１の画像データに応じた画像を表示部１４に表示してＬＶ表示を開始する（ステップＳ１００１）。なお、撮像素子から画像信号を読み込む周期は、例えば、３０ｆｐｓなどの所定のフレームレートで行われる。

続いて、カメラシステム制御部１１は第１〜第４の画像データにおいて焦点状態を検出して第１〜第４の画像における主被写体を決定する（ステップＳ１００２）。ここでは、カメラシステム制御部１１はカメラ側（至近側）に存在する被写体を主被写体として検出する。

なお、焦点状態を検出する際には、例えば、図示はしないが位相差検出ユニットを用いて、分離された２つの光学像の位相差に応じて焦点状態が検出される。また、レンズ・絞り駆動部７を制御してフォーカスレンズを光軸に沿って移動させて、その際に得られた画像データにおけるコントラストに応じて焦点状態を検出する所謂コントラスト焦点検出手法を用いるようにしてもよい。

さらに、主被写体を選択する際、ユーザがＬＶ表示を確認しつつ画面操作部１７によって主被写体を選択するようにしてもよい。さらには、顔認識手法などを用いて主被写体を決定するようにしてもよい。

続いて、カメラシステム制御部１１はレンズ・絞り駆動部７を制御して、主被写体が合焦状態になるように光学系２ａ〜２ｄに備えられたフォーカスレンズ４を光軸に沿って駆動させる（ステップＳ１００３）。そして、ユーザは画面操作部１７を用いて、基準とする絞り値（以下基準絞り値という）の光学系における焦点距離を絞り値優先焦点距離として選択する（ステップＳ１００４）。ここで、所定の時間を経過してもユーザが絞り値優先焦点距離を選択しないと、カメラシステム制御部１１は最も焦点距離の短い光学系２ａの焦点距離を絞り値優先焦点距離として設定する。

続いて、カメラシステム制御部１１は絞り値優先焦点距離の光学系において適正露光における絞り値を算出する（ステップＳ１００５）。例えば、カメラシステム制御部１１は、ＬＶ表示の際に絞り優先焦点距離の光学系で得られた画像データがダイナミックレンジに収まるように、露光時間、絞り値、およびＩＳＯ感度値を決定する。露光時間優先の撮影モードであれば、カメラシステム制御部１１は、ユーザによって設定された露光時間において適正露光となるように図６に示すテーブルの絞り値とＩＳＯ感度との組み合わせを算出する。

次に、カメラシステム制御部１１は絞り値優先焦点距離の光学系における絞り値に基づいて図６に示すテーブルを参照して、その他の焦点距離の光学系における絞り値を決定する（ステップＳ１００６）。そして、カメラシステム制御部１１は、上述のようにして算出又は決定された絞り値に応じてレンズ・絞り駆動部７を制御して光学系２ａ〜２ｄに備えられた絞り（絞り機構ともいう）を駆動する（ステップＳ１００７）させる。

続いて、カメラシステム制御部１１は操作検出部１５を介してユーザがレリーズ釦１６を押圧して撮影命令を行ったか否かを判定する（ステップＳ１００８）。撮影命令がないと（ステップＳ１００８において、ＮＯ）、カメラシステム制御部１１はステップＳ１００１の処理に戻る。

一方、撮影命令があると（ステップＳ１００８において、ＹＥＳ）、カメラシステム制御部１１は、所定のフレームレートによる露光動作を一旦停止して、上述のようにして設定された絞り値、露光時間、およびＩＳＯ感度（つまり、撮影条件）で露光を行って、第１〜第４の画像データを得る（ステップＳ１００９）。これら第１〜第４の画像データは、前述のように、画像処理部１２で画像処理されて、メモリ部１３に記録される。さらに、カメラシステム制御部１１は絞り値優先焦点距離の光学系で得られた画像データに応じた画像を表示部１４に表示する（ステップＳ１０１０）。そして、カメラシステム制御部１１は撮影動作を終了する。

なお、上述の例では、複数の光学系における被写界深度を互いに同等にするため、光学系における絞り値の組み合わせを被写界深度情報テーブルに登録するようにしたが、例えば、上記の式（５）を用いてその都度算出するようにしてもよい。

さらに、図７に示す例では、カメラシステム制御部１１が画像データに応じて絞り値優先焦点距離の光学系における絞り値を算出するようにしたが、ユーザが当該絞り値を設定するようにしてもよい。例えば、カメラ１の撮影モードが絞り値優先モードを有している場合、前述のステップＳ１００４において絞り値優先焦点距離の光学系を選択した後、ユーザが当該焦点距離の光学系における絞り値を被写界深度情報テーブルに登録された絞り値から選択する。

また、撮影モードが完全自動設定モードを有している場合、ステップＳ１００４で撮影者は絞り値優先焦点距離の選択を行わず、絞り値優先焦点距離を最も焦点距離の短い光学系に予め設定するようにしてもよい。この場合、前述のステップＳ１００５においては、適正露光であり、かつ被写界深度情報テーブルにおいて焦点距離の短い光学系の絞り値がもっとも小さくなる組み合わせが選択される。

式（５）および図６から容易に理解できるように、複数の光学系における被写界深度を同等とする場合、焦点距離の短い光学系の方が絞り値は小さくなる。よって、焦点距離が短い光学系の方が絞りを開放にした際の絞り値（開放絞り値）が小さくなるように構成することが望ましい。つまり、光学系２ａ、２ｂ、２ｃ、および２ｄの順で最小の絞り値である開放絞り値が大きくなるように撮像光学系を構成することが望ましい。

さらに、カメラ１が被写界深度統一モードを備えて、当該被写界深度統一モードが設定されている場合にのみ、光学系の絞り値を上述したようにして制御するようにしてもよい。例えば、最も焦点距離が長い光学系２ｄで画像データを得ることが目的である場合には、フレーミングの際にのみ、ＬＶ表示に最大の画角である光学系２ａで得られた画像データを用いる。このようにすれば、所望の画像データを得る光学系２ｄの絞り値について制限が掛けられずに絞り開放値まで絞り値を下げることができる結果、撮影条件の設定の自由度が増すことになる。

さらに、上述の例では、互いに異なる焦点距離の光学系を４つ有するカメラについて説明したが、互いに異なる焦点距離の光学系は少なくとも２つあれば、同様にして被写界深度の相違によってユーザが意図しない焦点状態の画像が撮影されてしまうという事態を回避することができる。例えば、基準なる焦点距離の光学系と当該光学系も焦点距離の短い光学系とを有するカメラであればよい。

図８は、本発明の実施の形態によるカメラの他の例についてその外観（正面）を示す斜視図である。なお、図８において、図１に示すカメラと同一の構成要素については同一の参照番号を付して説明を省略する。

図８に示すカメラ１に備えられた撮像光学系２は第１〜第５の光学系２０１ａ〜２０１ｅを有しており、第２〜第５の光学系２０１ｂ〜２０１ｅは四角形の頂点の位置に配置されている。そして、これら第１〜第５の光学系２０１ｂ〜２０１ｅの焦点距離は同一である。さらに、四角形の中心には、第１の光学系２０１ａが配置され、この第１の光学系２０１ａの焦点距離は第２〜第５の光学系２０１ｂ〜２０１ｅよりも短い。そして、これら第１〜第５の光学系２０１ａ〜２０１ｅに対応して撮像素子が配置されている。なお、図９に示すカメラ１における制御系などは図２に示すカメラと同様である。

図９は図８に示すカメラによる撮影の結果得られる画像およびその表示を説明するための図である。そして、図９（ａ）は撮影動作を行う際のフレーミング中に表示部に表示される画像（ＬＶ画像）の一例を示す図であり、図９（ｂ）は図８に示す第１の光学系で撮影した画像を示す図である。また、図９（ｃ）は図８に示す第２の光学系で撮影した画像を示す図であり、図９（ｄ）は図８に示す第３の光学系で撮影した画像を示す図である。さらに、図９（ｅ）は図８に示す第４の光学系で撮影した画像を示す図であり、図９（ｆ）は図８に示す第５の光学系で撮影した画像を示す図である。

図９（ａ）において、第１〜第５の光学系２０１ａ〜２０１ｅで得られた画像の画角範囲がそれぞれ画角フレーム４３ａ、４３ｂ、４３ｃ、４３ｄ、および４３ｅで示されている。図９（ａ）に示すように、画角フレーム４３ｂ、４３ｃ、４３ｄ、および４３ｅは互いに同一の画像領域が重なりつつ、しかも第１の光学系２０１ａの画角フレーム４３ａの範囲を含んでいる。

画角フレーム４３ｂ、４３ｃ、４３ｄ、および４３ｅにおける画像を合成すると、第１の光学系２０１ａの画角フレーム４３ａにおける画像を高精細とすることができる。図８に示すように、第１〜第５の光学系２０１ａ〜２０１ｅを配置することによって、図１で説明したカメラと同様の効果を得ることができる。

例えば、ＬＶ表示を行いかつ絞り値優先焦点距離の光学系を第１の光学系２０１ａとして、第１の光学系２０１ａの絞り値に合わせて、第２〜第５の光学系２０１ｂ〜２０１ｅの絞り値を被写界深度が同等になるように調整する。第２〜第５の光学系２０１ｂ〜２０１ｅの焦点距離は同一であるので、これら第２〜第５の光学系２０１ｂ〜２０１ｅにおける絞り値は同一の値となる。この結果、撮影の後に図９（ｂ）に示す画像を再生表示してその一部を拡大した場合であっても、図９（ｃ）〜図９（ｆ）に示すいずれかの画像の一部を表示すれば、被写界深度の差が小さく高精細な拡大画像を得ることができる。

なお、図８に示すカメラ１は、第２〜第５の光学系２０１ｂ〜２０１ｅの光軸は互いに平行ではなく、かつ各光軸が第１の光学系２０１ａの光軸と反対方向に延びるように構成することによって、図９に示す画像を得ることができる。また、第１〜第５の光学系２０１ａ〜２０１ｅの光軸に対して略直交方向にシフト可能なシフトレンズを設けて、このシフトレンズを駆動させて、図９に示す画像を得るようにしてもよい。

このように、本発明の実施の形態では、焦点距離の異なる複数の光学系を備えるカメラにおいて、光学系における被写界深度が互いに同等になるように絞りを制御する。これによって、被写界深度の相違によってユーザが意図しない焦点状態の画像が撮影されてしまうという事態を回避することができる。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

２ 撮像光学群
２ａ，２ｂ，２ｃ，２ｄ 光学系
３ａ，３ｂ 光軸
４ａ，４ｂ フォーカスレンズ
６ａ，６ｂ 撮像素子
７ レンズ・絞り駆動部
１１ カメラシステム制御部
１２ 画像処理部
１３ メモリ部
１４ 表示部

Claims (13)

1. 複数の光学系のうち少なくとも１つの光学系が他の光学系と焦点距離が異なる撮像光学群を備え、前記光学系を介して撮像を行う撮像装置であって、
   前記複数の光学系の各々を介して結像された光学像を複数の撮像素子でそれぞれ受光し、該光学像に応じた画像を生成する撮像手段と、
   前記複数の光学系の各々を介して入射される前記光学像についてその光量を調整して前記撮像手段における絞りを制御する絞り制御手段と、
   前記複数の光学系の１つを選択光学系として選択する選択手段と、
   前記撮像手段により前記複数の光学系を介してそれぞれ撮像された複数の画像を、予め定められた記録方式でそれぞれ記録部に記録する記録制御手段と、を有し、
   前記絞り制御手段は、前記選択光学系における絞り値を基準として、前記複数の光学系の被写界深度が同等になるように、前記複数の光学系のうち前記選択光学系を除く他の光学系に係る絞り値を決定し、前記複数の光学系のうち一つを介して画像を得ることが設定されている際には、当該１つの光学系については絞り値を制限せず、
   前記記録制御手段は、前記絞り制御手段によって被写界深度が同等になるように制御された前記複数の光学系を介してそれぞれ撮像された複数の画像をそれぞれ前記記録部に記録することを特徴とする撮像装置。
2. 前記絞り制御手段は、前記選択手段による選択に応じて前記選択光学系の第１の絞り値を決定し、前記選択光学系の焦点距離及び決定された絞り値に基づいて、前記選択光学系を除く他の光学系の被写界深度が前記選択光学系の被写界深度と同等になるように前記選択光学系を除く他の光学系に係る第２の絞り値を決定することを特徴とする請求項１に記載の撮像装置。
3. 前記絞り制御手段は、前記複数の光学系の間で対応する絞り値のテーブルを有し、前記選択光学系の前記第１の絞り値を決定した後、該テーブルを用いて前記選択光学系を除く他の光学系の前記第２の絞り値を決定することを特徴とする請求項２に記載の撮像装置。
4. 前記テーブルは、前記複数の光学系の各々の焦点距離と、当該焦点距離において前記複数の光学系の間で前記被写界深度が同等となる絞り値を対応づけたテーブルであることを特徴とする請求項３に記載の撮像装置。
5. 前記絞り制御手段は、前記選択光学系の絞り値をＦ１、焦点距離をｆ１、対応する撮像素子の許容錯乱円をδ１とし、他の光学系の絞り値をＦ２、焦点距離をｆ２、対応する撮像素子の許容錯乱円をδ２とするとき、以下の式を満たすように他の光学系の絞り値Ｆ２を決定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
   Ｆ２＝Ｆ１・（ｆ２／ｆ１） ^２ ・δ１／δ２
6. 前記選択手段は、モードに応じて最も焦点距離の短い光学系を前記選択光学系として選択することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記複数の光学系において、前記焦点距離が短い光学系は前記焦点距離が長い光学系に比べて前記絞りを開放にした際の絞り値が小さいことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記記録制御手段により記録される前記複数の画像が撮像される前に、前記撮像手段で得られる前記複数の画像のいずれか１つに対応する画像を表示部に表示する表示制御手段を有することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記表示制御手段は、前記表示部に表示する画像に、該画像に対応する光学系以外の光学系を介して撮像された画像の画角範囲を示す情報を合せて表示することを特徴とする請求項８に記載の撮像装置。
10. 前記表示制御手段は、前記複数の光学系のうち、最も焦点距離の短い光学系を介して撮像された画像に対応する画像を前記表示部に表示することを特徴とする請求項８又は９に記載の撮像装置。
11. 前記表示制御手段は、前記記録制御手段により記録される複数の画像が撮像されたことに応じて、前記表示部に前記選択手段により選択された前記選択光学系に対応する画像を前記表示部に表示することを特徴とする請求項８乃至１０のいずれか１項に記載の撮像装置。
12. 複数の光学系のうち少なくとも１つの光学系が他の光学系と焦点距離が異なる撮像光学群を備え、前記複数の光学系の各々を介して結像された光学像を複数の撮像素子でそれぞれ受光し、該光学像に応じた画像を生成する撮像手段を有する撮像装置の制御方法であって、
    前記複数の光学系の各々を介して入射される前記光学像についてその光量を調整して前記撮像手段における絞りを制御する絞り制御ステップと、
    前記複数の光学系の１つを選択光学系として選択する選択ステップと、
    前記撮像手段により前記複数の光学系を介してそれぞれ撮像された複数の画像を、予め定められた記録方式でそれぞれ記録部に記録する記録制御ステップと、を有し、
    前記絞り制御ステップでは、前記選択光学系における絞り値を基準として、前記複数の光学系の被写界深度が同等になるように、前記複数の光学系のうち前記選択光学系を除く他の光学系に係る絞り値を決定し、前記複数の光学系のうち一つを介して画像を得ることが設定されている際には、当該１つの光学系については絞り値を制限せず、
    前記記録制御ステップでは、前記絞り制御ステップによって被写界深度が同等になるように制御された前記複数の光学系を介してそれぞれ撮像された複数の画像をそれぞれ前記記録部に記録することを特徴とする制御方法。
13. 複数の光学系のうち少なくとも１つの光学系が他の光学系と焦点距離が異なる撮像光学群を備え、前記複数の光学系の各々を介して結像された光学像を複数の撮像素子でそれぞれ受光し、該光学像に応じた画像を生成する撮像手段を有する撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    前記複数の光学系の各々を介して入射される前記光学像についてその光量を調整して前記撮像手段における絞りを制御する絞り制御ステップと、
    前記複数の光学系の１つを選択光学系として選択する選択ステップと、
    前記撮像手段により前記複数の光学系を介してそれぞれ撮像された複数の画像を、予め定められた記録方式でそれぞれ記録部に記録する記録制御ステップと、を実行させ、
    前記絞り制御ステップでは、前記選択光学系における絞り値を基準として、前記複数の光学系の被写界深度が同等になるように、前記複数の光学系のうち前記選択光学系を除く他の光学系に係る絞り値を決定し、前記複数の光学系のうち一つを介して画像を得ることが設定されている際には、当該１つの光学系については絞り値を制限せず、
    前記記録制御ステップでは、前記絞り制御ステップによって被写界深度が同等になるように制御された前記複数の光学系を介してそれぞれ撮像された複数の画像をそれぞれ前記記録部に記録することを特徴とする制御プログラム。