JP6624776B2 - 撮像装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、複数の光学系を備えて、複数の光学系を介して被写体を撮影して複数の画像を得る撮像装置に関する。

従来、デジタルカメラなどの撮像装置において、複数の光学系を備えて、撮影条件を異ならせて複数の光学系を介して同時に被写体を撮影を行って複数の画像を得るようにしたものが知られている（特許文献１参照）。

特許文献１に記載の撮像装置では、同一の焦点距離を有する複数の光学系が備えられており、光学系毎に備えられた撮像部においてその露光時間を変更して同時に撮影を行う。

さらに、光学系として画角の異なる短焦点レンズユニット（以下単に短焦点レンズと呼ぶ）と長焦点レンズユニット（以下単に長焦点レンズと呼ぶ）とを備える撮像装置が知られている（特許文献２参照）。そして、この種の撮像装置は複眼撮像装置と呼ばれている。

特許文献２に記載の撮像装置では、短焦点レンズおよび長焦点レンズを用いて同一の被写体を撮像して画像を得ている。つまり、特許文献２に記載の撮像装置では、短焦点レンズを介して被写体像（光学像）が結像される撮像素子によって広角の画像を取得する。さらに、長焦点レンズを介して光学像が結像される撮像素子によって望遠の画像を取得する。そして、撮影動作におけるフレーミングの際には、短焦点レンズで得られた画像を優先的に表示部に表示すれば、ユーザは長焦点レンズにおける撮影範囲も観察することができる。

加えて、特許文献１および特許文献２に記載の複眼撮像装置においては、光学系毎の撮像部から得られた画像において同一の被写体の範囲において画像を加算合成することによって画像におけるＳ／Ｎ比が向上し、さらには、所謂超解像画像およびダイナミックレンジが拡大された画像を得ることができる。

特開２０１２‐１９５６６８号公報 特開２００５−３０３６９４号公報

ところで、特許文献１に記載の複眼撮像装置においては、光学系毎に露光時間および絞り値を異ならせて撮影を行うことがある。そして、特許文献１に記載の複眼撮像装置においては、光学系毎に露光開始タイミングを揃えて露光時間を異ならせている。このような場合、露光中に手振れ又は被写体の動きなど画像に変化が生じると、光学系毎に露光時間が異なるので、光学系毎に得られる画像に相違が生じることになる。

つまり、露光時間が短い光学系で得られた画像は露光時間が長い光学系で得られた画像と露光開始直後において一致するだけである。この結果、画像間の相違が大きくなって、ユーザの意図しない画像となってしまうことがある。さらには、画像合成の際には画像間の相違によって画質が劣化してしまう。

よって、本発明の目的は、複数の光学系を備える撮像装置において、光学系毎に露光時間を異ならせて撮影を行った際に画像間の相違を低減することのできる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、少なくとも１つの光学系が他の光学系と焦点距離が異なる複数の光学系を介して撮影を行う撮像装置であって、前記複数の光学系の各々を介して結像された光学像に応じた画像を各々生成する複数の撮像部を有する撮像手段と、前記複数の撮像部の露出を制御する制御手段と、を有し、前記制御手段は、前記複数の撮像部の各々に設定された露光時間に応じて、前記複数の撮像部各々における露光を開始する露光開始タイミング又は露光を終了する露光終了タイミングを制御し、予めメモリに記憶された前記複数の光学系の被写界深度が同等になるような前記複数の光学系の絞り値の組み合わせを示すテーブルに基づき設定された１つの光学系の絞り値を基準として、前記テーブルから前記複数の光学系の被写界深度が同等になるような前記複数の光学系の絞り値を参照して、前記複数の光学系の絞り値を制御することを特徴とする。

本発明による制御方法は、少なくとも１つの光学系が他の光学系と焦点距離が異なる複数の光学系を介して結像された光学像に応じた画像を各々生成する複数の撮像部を有する撮像装置の制御方法であって、前記複数の撮像部の各々に設定された露光時間に応じて、前記複数の撮像部の各々における露光を開始する露光開始タイミング又は露光を終了する露光終了タイミングを制御し、予めメモリに記憶された前記複数の光学系の被写界深度が同等になるような前記複数の光学系の絞り値の組み合わせを示すテーブルに基づき設定された１つの光学系の絞り値を基準として、前記テーブルから前記複数の光学系の被写界深度が同等になるような前記複数の光学系の絞り値を参照して、前記複数の光学系の絞り値を制御することを特徴とする。

本発明による制御プログラムは、少なくとも１つの光学系が他の光学系と焦点距離が異なる複数の光学系を介して結像された光学像に応じた画像を各々生成する複数の撮像部を有する撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記複数の撮像部の各々に設定された露光時間に応じて、前記複数の撮像部の各々における露光を開始する露光開始タイミング又は露光を終了する露光終了タイミングを制御し、予めメモリに記憶された前記複数の光学系の被写界深度が同等になるような前記複数の光学系の絞り値の組み合わせを示すテーブルに基づき設定された１つの光学系の絞り値を基準として、前記テーブルから前記複数の光学系の被写界深度が同等になるような前記複数の光学系の絞り値を参照して、前記複数の光学系の絞り値を制御する制御ステップを実行させることを特徴とする。

本発明によれば、光学系毎に露光時間を異ならせて撮影を行った際に画像間の相違を低減することができる。

本発明の第１の実施形態による撮像装置の一例である多眼光学群を有する撮像装置を説明するための図であり、（ａ）は撮像装置を正面側からみた斜視図、（ｂ）は撮像装置を背面側からみた斜視図である。 図１に示すカメラの構成についてその一例を示すブロック図である。 図１に示すカメラによる撮影の結果得られる画像およびその表示を説明するための図であり、（ａ）は撮影動作を行う際のフレーミング中に表示部に表示される画像（ライブビュー画像）の一例を示す図、（ｂ）は図１（ａ）に示す第１の光学系で撮影した画像を示す図、（ｃ）は図１（ａ）に示す第２の光学系で撮影した画像を示す図、（ｄ）は図１（ａ）に示す第３の光学系で撮影した画像を示す図、（ｅ）は図１（ａ）に示す第４の光学系で撮影した画像を示す図である。 図１に示すカメラにおいて光学系の被写界深度が同等になる絞り値の組み合わせが登録された絞り値テーブルの一例を説明するための図であり、（ａ）は絞り値テーブルを示す図、（ｂ）は（ａ）に示すパターン”１”において第１の光学系の露光時間が１／１０００ｓｅｃに設定された際の第２〜第４の光学系の絞り値と露光時間との関係を示す図である。 図１に示すカメラにおいて第１〜第４の光学系による露光開始タイミングを一致させた際の動作を説明するためのタイミングチャートであり、（ａ）は第１の光学系の動作を示すタイミングチャート、（ｂ）は第２の光学系の動作を示すタイミングチャート、（ｃ）は第３の光学系の動作を示すタイミングチャート、（ｄ）は第４の光学系の動作を示すタイミングチャートである。 図１に示すカメラにおいて第１〜第４の光学系においてその露光時間の中央値（中央時刻）を一致させた際の動作を説明するためのタイミングチャートであり、（ａ）は第１の光学系の動作を示すタイミングチャート、（ｂ）は第２の光学系の動作を示すタイミングチャート、（ｃ）は第３の光学系の動作を示すタイミングチャート、（ｄ）は第４の光学系の動作を示すタイミングチャートである。 図２に示すカメラにおける撮影動作を説明するためのフローチャートである。 図１に示すカメラにおいて発光撮影モードが設定された際の第１〜第４の光学系の動作の一例を説明するためのタイミングチャートであり、（ａ）は第１の光学系の動作を示すタイミングチャート、（ｂ）は第２の光学系の動作を示すタイミングチャート、（ｃ）は第３の光学系の動作を示すタイミングチャート、（ｄ）は第４の光学系の動作を示すタイミングチャート、（ｅ）はストロボの発光動作を示すタイミングチャートである。 図１に示すカメラにおいて発光撮影モードが設定された際の第１〜第４の光学系の動作の他の例を説明するためのタイミングチャートであり、（ａ）は第１の光学系の動作を示すタイミングチャート、（ｂ）は第２の光学系の動作を示すタイミングチャート、（ｃ）は第３の光学系の動作を示すタイミングチャート、（ｄ）は第４の光学系の動作を示すタイミングチャート、（ｅ）はストロボの発光動作を示すタイミングチャートである。 図１に示すカメラにおいて発光撮影モードが設定された際の第１〜第４の光学系の動作のさらに他の例を説明するためのタイミングチャートであり、（ａ）は第１の光学系の動作を示すタイミングチャート、（ｂ）は第２の光学系の動作を示すタイミングチャート、（ｃ）は第３の光学系の動作を示すタイミングチャート、（ｄ）は第４の光学系の動作を示すタイミングチャート、（ｅ）はストロボの発光動作を示すタイミングチャートである。 本発明の第２の実施形態によるカメラにおいて露光時間が最も短い第１光学系で複数の露光動作を行った際の第１〜第４の光学系の露光動作を説明するためのタイミングチャートであり、（ａ）は第１の光学系の動作を示すタイミングチャート、（ｂ）は第２の光学系の動作を示すタイミングチャート、（ｃ）は第３の光学系の動作を示すタイミングチャート、（ｄ）は第４の光学系の動作を示すタイミングチャートである。 本発明の第２の実施形態によるカメラで行われる同光学系画像合成の一例を説明するための図であり、（ａ）は図１１（ａ）に示す露光”５１”で得られた画像を示す図、（ｂ）は図１１（ａ）に示す露光”５２”で得られた画像を示す図、（ｃ）は図１１（ａ）に示す露光”５３”で得られた画像を示す図、（ｄ）は（ａ）〜（ｃ）に示す画像を合成処理した結果得られる合成画像を示す図である。 本発明の第３の実施形態によるカメラで行われる異光学系画像合成の一例を説明するための図であり、（ａ）は全ての被写体における輝度値がダイナミックレンジに入った状態の画像を示す図、（ｂ）は露光時間が短い場合の画像を示す図、（ｃ）は露光時間が長い場合の画像を示す図である。

以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例である多眼光学群を有する撮像装置を説明するための図である。そして、図１（ａ）は撮像装置を正面側からみた斜視図であり、図１（ｂ）は撮像装置を背面側からみた斜視図である。

図示の撮像装置１は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、このカメラ１は複数の光学系（レンズ群）を備える撮像光学群（撮像光学系ともいう）２を有している。そして、カメラ１の筐体（カメラ筐体）の正面には撮像光学系２に備えられたレンズ群のうち最前部に位置するレンズが露出するようにして配置されている。また、カメラ筐体の上面には撮影命令を行うためのレリーズ釦１６が配置されている。

ユーザがレリーズ釦１６を所謂半押しすると、カメラ１は撮影前の焦点検出動作などを行う。一方、ユーザがレリーズ釦１６を全押しすると、カメラ１は撮影のための露光動作を行う。

カメラ筐体の背面には撮影の設定および撮影の結果得られた画像を表示するための表示部１４が配置されるともに、撮影の設定および画像に関して操作を行うための画面操作部１７が配置されている。

図示の例では、撮影光学系２は第１〜第４の光学系（レンズ群）２ａ〜２ｄを有しており、カメラ筐体には２×２＝４個の光学系（レンズ）２ａ〜２ｄがマトリックス状に配置され、その焦点距離が異なる。図１（ａ）においては、第１〜第４の光学系２ａ〜２ｄの焦点距離は、第１の光学系２ａ＜第２の光学系２ｂ＜第３の光学系２ｃ＜第４の光学系２ｄの順である。例えば、第１の光学系２ａの焦点距離＝２８ｍｍ、第２の光学系２ｂの焦点距離＝３５ｍｍ、第３の光学系２ｃの焦点距離＝５０ｍｍ、第４の光学系２ｄの焦点距離＝７０ｍｍである。

図２は、図１に示すカメラの構成についてその一例を示すブロック図である。

図示のカメラ１に備えられた撮像光学系２は前述の第１〜第４の光学系２ａ〜２ｄの他にレンズ駆動部７およびシャッター駆動部９を有している。なお、図示の例では、説明の便宜上、第１の光学系２ａおよび第２の光学系２ｂのみが示されているが、ここでは、図１（ａ）に示す第１〜第４の光学系２ａ〜２ｄが備えられている。そして、これら第１〜第４の光学系２ａ〜２ｄは同一の構成を有している。

第１の光学系２ａおよび第２の光学系２ｂはレンズ群とも呼ばれ、第１の光学系２ａおよび第２の光学系２ｂはそれぞれフォーカスレンズ４ａおよび４ｂと絞り５ａおよび５ｂを備えている。そして、第１の光学系２ａおよび第２の光学系２ｂの後段にはそれぞれシャッター８ａおよび８ｂを介して撮像素子６ａおよび６ｂが配置されている。

フォーカスレンズ４ａおよび４ｂは、カメラシステム制御部１１の制御下でレンズ駆動部７によってそれぞれ光軸３ａおよび３ｂに沿って駆動される。また、絞り５ａおよび５ｂは、カメラシステム制御部１１の制御下でレンズ駆動部７によってそれぞれその開口が調整されて、これによって、撮像素子６ａおよび６ｂに入射する光量が調整される。

フォーカルプレーンシャッター（以下単にシャッターと呼ぶ）８ａおよび８ｂは、カメラシステム制御部１１の制御下でシャッター駆動部９によって開閉制御される。つまり、カメラシステム制御部１１はシャッター駆動部９によってシャッター８ａおよび８ｂを駆動して撮像素子６ａおよび６ｂの露光タイミングを制御する。

なお、シャッター８ａおよび８ｂの各々は先幕および後幕（図示せず）を有しており、先幕および後幕を走行させることによってシャッター８ａおよび８ｂの各々についてその開口部の開閉が行われる。

第１の光学系２ａおよび第２の光学系２ｂを介して入射した被写体像（光学像）は、それぞれ撮像素子６ａおよび６ｂに結像する。そして、撮像素子６ａおよび６ｂはそれぞれ光学像に応じたアナログ信号（画像信号）出力する。以下の説明では、撮像素子６ａの出力である画像信号を第１の画像信号と呼び、撮像素子６ｂの出力である画像信号を第２の画像信号と呼ぶ。

なお、図２に示す例では、第１の光学系２ａおよび第２の光学系２ｂに対してそれぞれ撮像素子６ａおよび６ｂが備えられているが、第１の光学系２ａおよび第２の光学系２ｂの結像領域を有する単一の撮像素子を設けて、撮像の後、これら結像領域から出力される画像信号を信号処理するようにしてもよい。

図示のカメラ１は、さらに、カメラシステム制御部１１、画像処理部１２、メモリ部１３、表示部１４、および操作検出部１５を有している。カメラ１では、第１の光学系２ａおよび第２の光学系２ｂと撮像素子６ａおよび６ｂとによって撮像系が構成され、画像処理部１２によって画像処理系が構成される。そして、メモリ部１３および表示部１４によって記録再生系が構成され、カメラシステム制御部１１、操作検出部１５、レンズ駆動部７、およびシャッター駆動部９によって制御系が構成される。

図示はしないが、画像処理部１２は、Ａ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、および補間演算回路などを有しており、前述の第１および第２の画像信号を受けて記録用の画像データを生成する。

メモリ部１３は記録部に加えて画像の記録に必要な処理回路を備えている。そして、メモリ部１３は記録部に画像データを記録するとともに、処理回路によって表示部１４に出力する表示用画像を生成して保存する。ここでは、第１および第２の画像信号を画像処理した結果得られる画像データをそれぞれ第１および第２の画像データと呼ぶ。

なお、メモリ部１３は、予め定められた記録方式を用いて画像（静止画像）、動画、および音声などの圧縮処理を行ってこれら静止画像、動画、および音声の記録を行う。図２に示すカメラ１においては、音声の記録に係るブロックは省略されている。

カメラシステム制御部１１はカメラ１全体の制御を司る。そして、カメラシステム制御部１１は外部操作（つまり、ユーザ操作）に応じて撮像系、画像処理系、および記録再生系を制御する。

例えば、図１（ａ）に示すレリーズ釦１６の押下（例えば、全押し）を操作検出部１５が検出すると、カメラシステム制御部１１はシャッター駆動部９によってシャッター８ａおよび８ｂの先幕をシャッター開口部で光束を遮光するように走行させる。続いて、カメラシステム制御部１１は、先幕をシャッター開口部から退避するように走行させる。これによって、撮像素子６ａおよび６ｂの露光が開始される。なお、シャッター開口部から先幕および後幕が退避している状態を開状態と呼ぶ。

さらに、カメラシステム制御部１１は、後幕をシャッター開口部を塞ぐように走行させて、撮像素子６ａおよび６ｂの露光を終了する。なお、シャッター開口部を先幕又は後幕が遮光している状態を閉状態と呼ぶ。

また、カメラ制御部１１は撮像素子６ａおよび６ｂを駆動制御するとともに、画像処理部１２の動作およびメモリ部１３における圧縮処理などを制御する。さらに、さらに、カメラシステム制御部１１はメモリ部１３から読み出した表示用画像を表示部１４に表示制御するとともに、撮影に係る各種情報を表示部１４に表示制御する。

なお、ここでは、レリーズ釦１６の押下に応じて、予め設定された絞り値および露光時間などに応じて撮像素子６ａおよび６ｂを駆動して静止画を撮影することを本撮影と呼ぶ。

さらに、カメラシステム制御部１１は、撮像素子６ａおよび６ｂにおける露光時間を決定する露光時間制御を行うとともに、シャッター８ａおよび８ｂを駆動するタイミングを制御する露光タイミング制御を行う。

図３は、図１に示すカメラによる撮影の結果得られる画像およびその表示を説明するための図である。そして、図３（ａ）は撮影動作を行う際のフレーミング中に表示部に表示される画像（ライブビュー画像）の一例を示す図であり、図３（ｂ）は図１（ａ）に示す第１の光学系２ａで撮影した画像を示す図である。また、図３（ｃ）は図１（ａ）に示す第２の光学系２ｂで撮影した画像を示す図であり、図３（ｄ）は図１（ａ）に示す第３の光学系２ｃで撮影した画像を示す図である。さらに、図３（ｅ）は図１（ａ）に示す第４の光学系２ｄで撮影した画像を示す図である。

いま、図３（ａ）においては、第１の光学系２ａ（つまり、最も焦点距離が短い光学系）で撮影された画像が表示部１４にライブビュー（ＬＶ）表示されているとする。そして、表示部１４には第１の光学系２ａで撮影した場合の画像の画角範囲が第１の画角フレーム４０ａで表示される。

この際、カメラシステム制御部１１は第２の光学系２ｂ、第３の光学系２ｃ、および第４の２ｄで撮影した際の画像の画角範囲をそれぞれ第２の画角フレーム４０ｂ、第３の画角フレーム４０ｃ、および第４の画角フレーム４０ｄで表示部１４に表示する。

このようにして、最短の焦点距離である第１の光学系２ａで得られた画像をＬＶ表示し、当該ＬＶ表示において、第１〜第４の画角フレーム４０ａ〜４０ｄを表示すれば、ユーザは他の焦点距離の第２〜第４の光学系２ｂ〜２ｄの画角範囲を確認して撮影を行うことができる。

なお、図３（ａ）に示す例では、カメラシステム制御部１１は第２〜第４の光学系２ｂ〜２ｄに係る第２〜第４の画角フレーム４０ｂ〜４０ｄを表示部１４に表示するようにしたが、第２〜第４の画角フレーム４０ｂ〜４０ｄの全てを表示しなくてもよい。さらには、カメラシステム制御部１１は、第１の画角フレーム４０ａの他に第４の画角フレーム４０ｄのみを表示するなど、第１の画角フレーム４０ａの他に一部の画角フレームのみを表示するようにしてもよい。

図３（ａ）に示す状態で撮影が行われると、第１〜第４の光学系２ａ〜２ｄに対応する撮像素子の出力に応じて、画像処理部１２はそれぞれ図３（ｂ）〜図３（ｅ）に示す画像を生成する。図３（ｂ）〜図３（ｅ）に示す画像はそれぞれ第１〜第４の光学系２ａ〜２ｄに対応する撮像素子の出力に応じて得られた画像であるので、電子ズームなどの拡大処理と異なって、各画像の解像度は同様であり、焦点距離が長い光学系で得られた画像についても高精細な画像が得られる。

なお、ＬＶ表示又は本撮影の後の再生表示の際には、第１の光学系２ａで得られた画像（第１の画角フレーム４０ａ）に、第２〜第４の光学系２ｂ〜２ｄで得られた画像をはめ込み合成して一枚の合成画像を表示するようにしてもよい。

例えば、画像処理部１２は、カメラシステム制御部の制御下で、少なくとも２つの光学系で得られた画像を合成して１枚の合成画像を生成する。これによって、画角が広い画像でありながらも、画像の中央に行くほど高精細な画像を再生表示することができる。

さらに、画像処理部１２は、はめ込み合成ではなく、互いに重なり合う画角の範囲について複数枚の画像の出力を加算処理するようにしてもよい。これによって、画像のダイナミックレンジの拡大およびＳ／Ｎの改善がなされた合成画像を生成することができる。なお、互いに異なる複数の焦点距離の光学系で得られた画像を加算合成する際には、加算する画素数を合わせるための補正処理が必要である。

図４は、図１に示すカメラにおいて光学系の被写界深度が同等になる絞り値の組み合わせが登録された絞り値テーブルの一例を説明するための図である。そして、図４（ａ）は絞り値テーブルを示す図であり、図４（ｂ）は図４（ａ）に示すパターン”１”において第１の光学系レンズ２ａの露光時間が１／１０００ｓｅｃに設定された際の第２〜第４の光学系２ｂ〜２ｄの絞り値Ｆｎと露光時間ＳＨ［ｓｅｃ］との関係を示す図である。

図４（ａ）に示す例では、第１の光学系２ａ、第２の光学系２ｂ、第３の光学系２ｃ、および第４の光学系２ｄの焦点距離ｆをそれぞれ２８ｍｍ、３５ｍｍ、５０ｍｍ、および７０ｍｍとした際の絞り値が１２通りの組み合わせ（パターン）で示されている。ＬＶ表示中にユーザが絞り値優先焦点距離の光学系として第１の光学系２ａを選択すると、カメラシステム制御部１１は本撮影動作において第１の光学系２ａの露光が適正となる絞り値Ｆｎを算出する。

第１の光学系２ａの絞り値Ｆｎが”１．８”であるとすると、カメラシステム制御部１１は、図４（ａ）に示す絞り値テーブルにおけるパターン”３”に応じて、第２の光学系２ｂの絞り値Ｆｎを”２．８”、第３の光学系２ｃの絞り値Ｆｎを”５．６”、そして、第４の光学系２ｄの絞り値Ｆｎを”１１”とする。そして、カメラシステム制御部１１は、これら絞り値Ｆｎに基づいてレンズ駆動部７を制御して第１〜第４の光学系２ａ〜２ｄの絞りを調整する。

なお、絞り値優先焦点距離の光学系に係る絞り値はカメラシステム制御部１１が適正露光になるように決定するようにしてもよく、ユーザが直接絞り値を選択して設定するようにしてもよい。ユーザが、絞り値優先焦点距離の光学系に係る絞り値を選択・設定する際には、図４（ａ）に示すテーブルに登録された絞り値から選択するようにする。

ところで、カメラ１を用いて撮影を行う際には、第１〜第４の光学系２ａ〜２ｄの焦点距離がそれぞれ異なるので、第１〜第４の光学系２ａ〜２ｄ毎に露光時間、絞り値、およびＩＳＯ感度などの撮影条件を設定することがある。例えば、第１〜第４の光学系２ａ〜２ｄを用いて、同一の被写体の範囲を撮影する際、第１〜第４の光学系２ａ〜２ｄの被写界深度を合わせようとする場合には、第１〜第４の光学系２ａ〜２ｄ毎に絞り値を設定する必要がある。さらに、第１〜第４の光学系２ａ〜２ｄにおいて撮像素子に入射する光量を合わせる場合には、絞り値に合わせて露光時間を変更することになる。

そこで、カメラシステム制御部１１は、次のようにして第１〜第４の光学系２ａ〜２ｄについてその露光時間を制御する。

前述の図４（ａ）に示す絞り値テーブルは、例えば、メモリ部１３に記憶されており、カメラシステム制御部１１は絞り値テーブルを参照して第１〜第４の光学系２ａ〜２ｄ毎のレンズ駆動部７を制御する。例えば、図４（ａ）においてパターン１が選択され、第１の光学系２ａの露光時間が１／１０００ｓｅｃに設定されたとする。この場合、図４（ｂ）に示すように、カメラシステム制御部１１は第２の光学系２ｂ、第３のレンズ２ｃ、および第４の光学系４ｄの絞り値Ｆｎおよび露光時間ＳＨ［ｓｅｃ］を設定する。

ここでは、カメラシステム制御部１１は第２の光学系２ｂ、第３の光学系２ｃ、および第４の光学系２ｄについてその露光時間をそれぞれ、１／４００ｓｅｃ、１／１００ｓｅｃ、１／２５ｓｅｃに設定する。このように、第１〜第４の光学系２ａ〜２ｄについて絞り値および露光時間を設定すれば、第１〜第４の光学系２ａ〜２ｄにおいてその被写界深度がほぼ同等となる画像を得ることができる。

ところが、第１〜第４の光学系２ａ〜２ｄについて露光時間が異なる場合において、露光時間中に被写体が動くなどの画像に変化があると、第１〜第４の光学系２ａ〜２ｄで得られた画像間に差異が生じる。さらに、露光開始が同一のタイミングであると、露光時間の短い光学系と露光時間が長い光学系とでは、露光終了直前における画像の変化が大きい。

図５は、図１に示すカメラにおいて第１〜第４の光学系による露光開始タイミングを一致させた際の動作を説明するためのタイミングチャートである。そして、図５（ａ）は第１の光学系の動作を示すタイミングチャートであり、図５（ｂ）は第２の光学系の動作を示すタイミングチャートである。また、図５（ｃ）は第３の光学系の動作を示すタイミングチャートであり、図５（ｄ）は第４の光学系の動作を示すタイミングチャートである。

図５において、横軸は時間を示し、縦軸はそれぞれシャッターの開閉を示す。そして、シャッターが開状態となると露光動作中となる。また、露光時間ＳＨａ、ＳＨｂ、ＳＨｃ、およびＳＨｄは、それぞれ第１の光学系２ａ、第２の光学系２ｂ、第３の光学系２ｃ、および第４の光学系２ｄによる露光時間を示す。

図５に示すように、第１〜第４の光学系２ａ〜２ｄによる露光開始タイミング（露光開始時間）は同一であるが、その露光時間はＳＨａ＜ＳＨｂ＜ＳＨｃ＜ＳＨｄである。このように光学系毎に露光時間が異なる結果、再生の際に第１〜第４の光学系２ａ〜２ｄによって得られた画像を比較すると、ユーザが意図しない画像になっている可能性がある。そして、これらの画像を合成する際には、画像の差異によって合成画像の画質が低下してしまう。

そこで、ここでは、カメラシステム制御部１１は第１〜第４の光学系２ａ〜２ｄにおいてその露光時間の中央値（中央時刻）におけるタイミングが一致するように、第１〜第４の光学系２ａ〜２ｄの露光開始タイミングを制御する。

図６は、図１に示すカメラにおいて第１〜第４の光学系においてその露光時間の中央値（中央時刻）を一致させた際の動作を説明するためのタイミングチャートである。そして、図６（ａ）は第１の光学系の動作を示すタイミングチャートであり、図６（ｂ）は第２の光学系の動作を示すタイミングチャートである。また、図６（ｃ）は第３の光学系の動作を示すタイミングチャートであり、図６（ｄ）は第４の光学系の動作を示すタイミングチャートである。

図６において、図５に示す例と同一の要素については同一の参照符号を付す。図示の例では、露光時間はＳＨａ、ＳＨｂ、ＳＨｃ、およびＳＨｄにおける中央時刻がＴｃで示されており、カメラシステム制御部１１は、第１〜第４の光学系２ａ〜２ｄにおいて中央時刻Ｔｃが一致するように、露光開始タイミングを制御する。

ここでは、カメラシステム制御部１１は、第１の光学系２ａについては、中央時刻Ｔｃから時間ＳＨａ／２前を露光開始タイミングとし、中央時刻Ｔｃから時間ＳＨａ後を露光終了タイミングとする。同様に、カメラシステム制御部１１は、第２の光学系２ａについては、中央時刻Ｔｃから時間ＳＨｂ／２前を露光開始タイミングとし、中央時刻Ｔｃから時間ＳＨｂ後を露光終了タイミングとする。そして、カメラシステム制御部１１は第３の光学系２ｃおよび第４の光学系２ｄについても、同様にして、露光開始タイミングおよび露光終了タイミングを制御する。

このように、図６に示す例においては、露光時間ＳＨａ、ＳＨｂ、ＳＨｃ、およびＳＨｄにおける中央時刻を一致させる結果、第１〜第４の光学系２ａ〜２ｄの順に露光開始タイミングが遅くなり、第１〜第４の光学系２ａ〜２ｄの順に露光終了タイミングが速くなる。

このように、露光開始タイミングおよび露光終了タイミングを制御すると、露光動作中に被写体に動きがあったとしても、第１〜第４の光学系２ａ〜２ｄにおける露光時間の中央時刻が揃っているので画像間における相違を小さくすることができる。

図７は、図２に示すカメラにおける撮影動作を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、カメラシステム制御部１１の制御下で行われる。

撮影が開始されると、カメラシステム制御部１１はシャッターを開状態として第１〜第４光学系２ａ〜２ｄに対応する撮像素子を所定の時間露光する。そして、第１〜第４の光学系２ａ〜２ｄに対応する撮像素子の出力は画像処理部１２で処理されて、それぞれ第１〜第４の画像データとされる。カメラシステム制御部１１は最も焦点距離の短い第１の光学系２ａで得られた第１の画像データに応じた画像を表示部１４に表示してＬＶ表示を開始する（ステップＳ１００１）。なお、撮像素子から画像信号を読み込む周期は、例えば、３０ｆｐｓなどの所定のフレームレートで行われる。

続いて、カメラシステム制御部１１は、操作検出部１５によってレリーズ釦１６が半押しされたこと（Ｓ１）が検出されたか否かを判定する（ステップＳ１００２）。レリーズ釦のＳ１が検出されないと（ステップＳ１００２において、ＮＯ）、カメラシステム制御部１１は待機する。

一方、レリーズ釦のＳ１が検出されると（ステップＳ１００２において、ＹＥＳ）、カメラシステム制御部１１は第１〜第４の画像データにおいて焦点状態を検出して第１〜第４の画像データにおける主被写体を決定する（ステップＳ１００３）。ここでは、カメラシステム制御部１１はカメラ側（至近側）に存在する被写体を主被写体として検出する。

焦点検出の際には、例えば、別に備えられた位相差検出ユニットを用いて一対の光学像の位相差に応じて焦点検出を行う位相差焦点検出手法が用いられる。さらには、レンズ駆動部７によってフォーカスレンズを光軸に沿って移動しつつ得られた画像データのコントラストに応じて焦点検出を行うコントラスト焦点検出手法を用いるようにしてもよい。

なお、主被写体を選択する際、ユーザがＬＶ表示を確認しつつ画面操作部１７によって主被写体を選択するようにしてもよい。

次に、カメラシステム制御部１１はレンズ駆動部７を制御して、主被写体が合焦状態になるように第１〜第４の光学系２ａ〜２ｄに備えられたフォーカスレンズ４を光軸に沿って駆動させる（ステップＳ１００４）。そして、カメラシステム制御部１１は、操作検出部１５によってレリーズ釦１６が全押しされたこと（Ｓ２）が検出されたか否かを判定する（ステップＳ１００５）。レリーズ釦のＳ２が検出されないと（ステップＳ１００５において、ＮＯ）、カメラシステム制御部１１はステップＳ１００２の処理に戻る。

一方、レリーズ釦のＳ２が検出されると（ステップＳ１００５において、ＹＥＳ）、カメラシステム制御部１１は第１の光学系２ａにおいて適正露光となる絞り値と露光時間とを算出する（ステップＳ１００６）。例えば、カメラシステム制御部１１は第１の光学系２ａに対応する撮像素子から得られる第１の画像データがダイナミックレンジに収まるように絞り値および露光時間を決定する。以下この絞り値および露光時間を第１の絞り値および第１の露光時間と呼ぶ。

次に、カメラシステム制御部１１は第１の絞り値に応じて、図４（ａ）に示す絞りテーブルを参照して、第２〜第４の光学系２ｂ〜２ｄにおける絞り値を決定する（ステップＳ１００７）。ここでは、第２〜第４の光学系２ｂ〜２ｄにおける絞り値をそれぞれ第２〜第４の絞り値と呼ぶ。そして、カメラシステム制御部１１は第２〜第３の絞り値において、第１の光学系２ａと同等の露光量となるように、第２〜第４の光学系２ｂ〜２ｄによる露光時間を決定する（ステップＳ１００８）。

さらに、カメラシステム制御部１１は、第１〜第４の露光時間における中央時刻が一致するように、第１〜第４の光学系２ａ〜２ｄにおける露光開始時間（露光開始タイミング）を決定する（ステップＳ１００８）。以下、第１〜第４の光学系２ａ〜２ｄにおける露光開始タイミングをそれぞれ第１〜第４の露光開始タイミングと呼ぶ。

その後、カメラシステム制御部１１は、上述のようにして得られた第１〜第４の絞り値に応じてレンズ駆動部７を制御して第１〜第４の光学系２ａ〜２ｄに備えられた絞り（絞り機構ともいう）を駆動する（ステップＳ１００９）。

続いて、カメラシステム制御部１１は、第１〜第４の露光開始タイミングおよび第１〜第４の露光時間に基づいてシャッター駆動部９によって第１〜第４の光学系２ａ〜２ｄに備えられたシャッターを駆動制御して、露光動作を行う（ステップＳ１０１０）。露光動作の際には、カメラシステム制御部１１は、まず第１〜第４の光学系２ａ〜２ｄに備えられたシャッター６を一度閉状態にする。そして、カメラシステム制御部１１は第１〜第４の露光開始タイミングおよび第１〜第４の露光時間に応じてシャッター駆動部９を駆動制御してシャッターの先幕および後幕を走行させ撮像素子の露光を行う。

その後、カメラシステム制御部１１は第１〜第４の光学系２ａ〜２ｄに対応する撮像素子の出力に応じて得られた第１〜第４の画像データをメモリ部１３に記録するとともに、第１の画像データに応じた画像を表示部１４に表示する（ステップＳ１０１１）。そして、カメラ制御部１１は撮影動作を終了する。

なお、上述の例では、シャッターとしてフォーカルプレーンシャッターを用いたが、例えば、撮像素子６のリセットタイミングおよび読み込みタイミングによって露光時間を制御する電子シャッターを用いるようにしてもよい。そして、電子シャッターとして、撮像素子の端の画素列から順次読み込み動作を行う所謂ローリング電子シャッター又は撮像素子の全画素を同時に読み込み可能なグローバル電子シャッターが用いられる。

さらに、上述の例では、第１の光学系２ａが適正露光量となる第１の絞り値および第１の露光時間に応じて、第２〜第４の光学系２ｂ〜２ｄの絞り値および露光時間を求めるようにしたが、例えば、ユーザが表示部１４に表示された設定画面によって第１〜第４の光学系に係る絞り値および露光時間を設定するようにしてもよい。

ここで、図１に示すカメラ１が、被写体を照明する発光部であるストロボを備えている場合の撮影動作について説明する。なお、ここでは、カメラシステム制御部１１は、発光撮影モードが設定された際にストロボの発光タイミングを制御する。

図８は、図１に示すカメラにおいて発光撮影モードが設定された際の第１〜第４の光学系の動作の一例を説明するためのタイミングチャートである。そして、図８（ａ）は第１の光学系の動作を示すタイミングチャートであり、図８（ｂ）は第２の光学系の動作を示すタイミングチャートである。また、図８（ｃ）は第３の光学系の動作を示すタイミングチャートであり、図８（ｄ）は第４の光学系の動作を示すタイミングチャートである。さらに、図８（ｅ）はストロボの発光動作を示すタイミングチャートである。

まず、ユーザは発光撮影モードを設定した後、ストロボの発光タイミングを設定する。例えば、発光タイミングの設定として、露光動作の終了直前にストロボの発光タイミングを合わせる所謂後幕シンクロ設定がある。さらに、露光動作の開始直後にストロボの発光タイミングを合わせる所謂先幕シンクロ設定がある。また、第１〜第４の光学系２ａ〜２ｄの露光時間の中央時刻にストロボの発光タイミングを合わせる中央シンクロ設定を行うようにしてもよい。

図８に示す例では、横軸は時間を示し、縦軸はそれぞれシャッターの開閉又はストロボの発光を示す。また、第１の光学系２ａ、第２の光学系２ｂ、第３の光学系２ｃ、および第４の光学系２ｄによる露光時間はそれぞれ露光時間ＳＨａ、ＳＨｂ、ＳＨｃ、およびＳＨｄで示されている。そして、ストロボの発光時間をＳｔとする。

図８においては、前述の後幕シンクロ設定が行われており、ここでは、カメラシステム制御部１１は第１〜第４の光学系２ａ〜２ｄにおける露光終了タイミングが露光終了時刻Ｔｅに一致するように露光動作を制御する。さらに、カメラシステム制御部１１はストロボの発光開始タイミングを露光終了時刻Ｔｅの直前となるようにストロボを制御する。つまり、カメラシステム制御部１１はストロボの発光終了タイミングを露光終了時刻Ｔｅに一致させる。

上述のようにして、露光終了タイミングおよび発光開始タイミングを制御すると、動きのある主被写体と動かない背景被写体とを同時に撮影した場合には、後幕の動きに同期した（シンクロした）画像を得ることができる。

図９は、図１に示すカメラにおいて発光撮影モードが設定された際の第１〜第４の光学系の動作の他の例を説明するためのタイミングチャートである。そして、図９（ａ）は第１の光学系の動作を示すタイミングチャートであり、図９（ｂ）は第２の光学系の動作を示すタイミングチャートである。また、図９（ｃ）は第３の光学系の動作を示すタイミングチャートであり、図９（ｄ）は第４の光学系の動作を示すタイミングチャートである。さらに、図９（ｅ）はストロボの発光動作を示すタイミングチャートである。

図９に示す例では、横軸は時間を示し、縦軸はそれぞれシャッターの開閉又はストロボの発光を示す。また、第１の光学系２ａ、第２の光学系２ｂ、第３の光学系２ｃ、および第４の光学系２ｄによる露光時間はそれぞれ露光時間ＳＨａ、ＳＨｂ、ＳＨｃ、およびＳＨｄで示されている。そして、ストロボの発光時間をＳｔとする。

図９においては、前述の先幕シンクロ設定が行われており、ここでは、カメラシステム制御部１１は第１〜第４の光学系２ａ〜２ｄにおける露光開始タイミングが露光開始時刻Ｔｓに一致するように露光動作を制御する。さらに、カメラシステム制御部１１はストロボの発光終了タイミングを露光開始時刻Ｔｓの直後となるようにストロボを制御する。つまり、カメラシステム制御部１１はストロボの発光開始タイミングを露光開始時刻Ｔｓに一致させる。

上述のようにして、露光開始タイミングおよび発光終了タイミングを制御すると、動きのある主被写体と動かない背景被写体とを同時に撮影した場合には、先幕の動きにシンクロした画像を得ることができる。

図１０は、図１に示すカメラにおいて発光撮影モードが設定された際の第１〜第４の光学系の動作のさらに他の例を説明するためのタイミングチャートである。そして、図１０（ａ）は第１の光学系の動作を示すタイミングチャートであり、図１０（ｂ）は第２の光学系の動作を示すタイミングチャートである。また、図１０（ｃ）は第３の光学系の動作を示すタイミングチャートであり、図１０（ｄ）は第４の光学系の動作を示すタイミングチャートである。さらに、図１０（ｅ）はストロボの発光動作を示すタイミングチャートである。

図１０に示す例では、横軸は時間を示し、縦軸はそれぞれシャッターの開閉又はストロボの発光を示す。また、第１の光学系２ａ、第２の光学系２ｂ、第３の光学系２ｃ、および第４の光学系２ｄによる露光時間はそれぞれ露光時間ＳＨａ、ＳＨｂ、ＳＨｃ、およびＳＨｄで示されている。そして、ストロボの発光時間をＳｔとする。

図１０においては、前述の中央シンクロ設定が行われており、ここでは、カメラシステム制御部１１は露光時間ＳＨａ、ＳＨｂ、ＳＨｃ、およびＳＨｄの中央時刻を時刻Ｔｃに揃えて、第１〜第４の光学系２ａ〜２ｄにおける露光動作（つまり、露光開始タイミング）を制御する。さらに、カメラシステム制御部１１は発光時間Ｓｔの中央時刻を時刻Ｔｃとしてストロボの発光開始タイミングを制御する。

上述のようにして、露光開始タイミングおよび発光開始タイミングを制御すると、動きのある主被写体と動かない背景被写体とを同時に撮影した場合には、発光開始タイミングに基づいて、少なくとも最も焦点距離が短い光学系（第１の光学系２ａ）の露光時間に発光開始タイミングが入るように第１〜第４の光学系２ａ〜２ｄにおける露光開始タイミングを制御することができる。

このように、本発明の第１の実施形態では、互いに焦点距離が異なる複数の光学系を有するカメラにおいて、光学系毎にその露光時間を異ならせた場合に、これら露光時間の中央時刻が一致するように露光動作を制御する。これによって、露光動作中に被写体に動きがあったしても、複数の光学系で得られた画像において相違が少なくなる。その結果、画像再生の際に違和感が低減されるばかりでなく、画像合成の際において画質の劣化を低減することができる。

［第２の実施形態］
続いて、本発明の第２の実施形態によるカメラの一例について説明する。なお、第２の実施形態によるカメラの構成は、図１および図２に示すカメラと同様である。

第２の実施形態によるカメラは、露光時間を短く設定した光学系における露光動作を、露光時間を長く設定した光学系における露光動作中に複数回行わせる連続露光モードを有している。連続露光モードにおいて、露光時間が短い光学系で複数回の露光動作を行う際、カメラシステム制御部１１は一回の露光動作における露光時間の中央時刻を、他の光学系における露光時間の中央時刻と揃えるように露光制御を行う。

その後、カメラシステム制御部１１は複数回の露光動作で得られた複数の画像を、画像マッチングによって位置合わせを行った後、加算合成および平均化処理によって画像合成処理を行う。なお、異なる光学系で得られた画像を合成する処理を異光学系画像合成と呼び、同一の光学系で得られた複数の画像を合成する処理を同光学系画像合成と呼ぶ。

図１１は、本発明の第２の実施形態によるカメラにおいて露光時間が最も短い第１光学系で複数の露光動作を行った際の第１〜第４の光学系の露光動作を説明するためのタイミングチャートである。そして、図１１（ａ）は第１の光学系の動作を示すタイミングチャートであり、図１１（ｂ）は第２の光学系の動作を示すタイミングチャートである。また、図１１（ｃ）は第３の光学系の動作を示すタイミングチャートであり、図１１（ｄ）は第４の光学系の動作を示すタイミングチャートである。

図示の例では、横軸は時間を示し、縦軸はそれぞれシャッターの開閉を示す。また、第１の光学系２ａ、第２の光学系２ｂ、第３の光学系２ｃ、および第４の光学系２ｄによる露光時間はそれぞれ露光時間ＳＨａ、ＳＨｂ、ＳＨｃ、およびＳＨｄで示されている。そして、カメラシステム制御部１１は露光時間ＳＨａ、ＳＨｂ、ＳＨｃ、およびＳＨｄの中央時刻を時刻Ｔｃに一致させて露光動作を制御する。

さらに、カメラシステム制御部１１は、第４の光学系２ｄの露光開始時刻である時刻Ｔｄ１から露光終了時刻である時刻Ｔｄ２の間において、第１の光学系２ａについて複数回の露光動作を行う。そして、カメラシステム制御部１１は第１の光学系２ａにおける複数回の露光動作のうち一回について、露光時間ＳＨａの中央時刻を時刻Ｔｃと一致させる。

なお、カメラシステム制御部１１は、第１の光学系２ａにおける露光動作の回数を、第４の光学系２ｄの露光時間ＳＨｄ、第１の光学系２ａの露光時間ＳＨａ、そして、第１の光学系２ａにおける露光動作間のインターバル時間を考慮して決定する。

上述のようにして、露光時間の最も短い第１の光学系２ａについては複数回の露光を行って複数回の画像を得て、これら画像について同光学系画像合成を行う。これによって、第１の光学系２ａで得られる画像についてはＳ／Ｎ比を向上させることができる。

さらに、中央時刻を時刻Ｔｃに揃えた露光時間ＳＨａにおいて第１の光学系２ａで得られた画像を、他の光学系で得られた画像と合成する異光学系画像合成を行えば画質の劣化を低減することができる。

なお、連続露光モードにおいて、同光学系画像合成を行った後、当該合成後の画像を用いて異光学系画像合成を行うようにしてもよい。つまり、第１の光学系２ａにおいて複数回の露光動作を行って得られた複数の画像を同光学系画像合成して、当該合成画像を、第２〜第４の光学系２ｂ〜２ｄで得られた画像と異光学系画像合成を行うようにしてもよい。

図１２は、本発明の第２の実施形態によるカメラで行われる同光学系画像合成の一例を説明するための図である。そして、図１２（ａ）は図１１（ａ）に示す露光”５１”で得られた画像を示す図であり、図１２（ｂ）は図１１（ａ）に示す露光”５２”で得られた画像を示す図である。また、図１２（ｃ）は図１１（ａ）に示す露光”５３”で得られた画像を示す図であり、図１２（ｄ）は図１２（ａ）〜図１２（ｃ）に示す画像を合成処理した結果得られる合成画像を示す図である。

図１２（ａ）〜図１２（ｃ）においては、図１１（ａ）に示す時刻Ｔｄ１から時刻Ｔｄ２において、被写体は図中右側に移動している。カメラシステム制御部１１は、図１２（ａ）〜図１２（ｃ）に示す画像においてマッチング処理を行う。ここでは、カメラシステム制御部１１は、例えば、図１２（ｂ）に示す画像を基準として、被写体の位置が一致するように画像をシフトして加算合成を行う。これによって、図１２（ｄ）に示す合成画像が得られる。そして、上述の同光学系画像合成で得られた合成画像についてはＳ／Ｎ比が改善される結果、当該合成画像を用いて異光学系画像合成を行えば、その結果得られた合成画像についてはさらにＳ／Ｎ比が改善されることになる。

［第３の実施形態］
次に、本発明の第３の実施形態によるカメラの一例について説明する。なお、第３の実施形態によるカメラの構成は、図１および図２に示すカメラと同様であるが、第３の実施形態においては、第１〜第４の光学系２ａ〜２ｄの焦点距離は同一である。

第３の実施形態では、輝度値の変化が大きい被写体については第１〜第４の光学系２ａ〜２ｄについて露光時間を変更して撮影を行って得られた画像を合成するようにする。例えば、カメラシステム制御部１１は、輝度値の最も高い被写体の範囲が撮像素子のダイナミックレンジに入るように、第１の光学系２ａにおける露光時間を設定する。さらに、カメラシステム制御部１１は、輝度値の最も低い被写体の範囲が撮像素子のダイナミックレンジに入るように、第４の光学系２ｄにおける露光時間を設定する。

この際、カメラシステム制御部１１は第４の光学系２ｄにおける露光時間は、第１の光学系２ａにおける露光時間よりも長く設定する。そして、カメラシステム制御部１１は第２および第３の光学系２ｂおよび２ｃにおける露光時間を第１および第４の光学系２ａおよび２ｄにおける露光時間の間に設定する。さらに、カメラシステム制御部１１は光学系毎の露光時間の中央時刻が一致するように、第１〜第４の光学系２ａ〜２ｄにおける露光動作を制御する。

その後、カメラシステム制御部１１は、光学系毎に得られた画像について異光学系画像合成を行う。この際、カメラシステム制御部１１は光学系毎の露光時間の比率に応じて画像の輝度値に所定の割合を乗算して正規化を行う。

例えば、第１の光学系２ａの露光時間が第４の光学系２ｄの露光時間の１／ｎ倍（ｎは１よりも大きい数）であるとすると、第１の光学系２ａで得られた画像の輝度値はｎ倍される。第２および第３の光学系２ｂおよび２ｃで得られた画像についても、露光時間が最も長い第４の光学系２ｄを基準として、露光時間の比率で正規化される。

続いて、カメラシステム制御部１１は、正規化された画像について加算合成および平均化処理を行う。これによって、輝度の最も高い被写体の範囲がレンジオーバーすることなく、さらには、輝度の最も低い被写体の範囲も輝度値がゼロとなることがなく、擬似的にダイナミックレンジを拡大した画像を得ることができる。

図１３は、本発明の第３の実施形態によるカメラで行われる異光学系画像合成の一例を説明するための図である。そして、図１３（ａ）は全ての被写体における輝度値がダイナミックレンジに入った状態の画像を示す図であり、図１３（ｂ）は露光時間が短い場合の画像を示す図である。また、図１３（ｃ）は露光時間が長い場合の画像を示す図である。

撮像素子のダイナミックレンジが大きい場合に適正露光で撮影を行うと、被写体の輝度値がダイナミックレンジに入った状態の画像を得ることができる（図１３（ａ）参照）。ここでは、被写体６４、６３、６２、および６１はこの順で輝度値が高いものとする。

被写体６４、６３、６２、および６１を、撮像素子のダイナミックレンジが小さいカメラで撮影すると、露光時間が最も短い第１の光学系２ａにおいては図１３（ｂ）に示す画像が得られる。一方、露光時間が最も長い第４の光学系２ｄにおいては図１３（ｃ）に示す画像が得られる。

図１３（ｂ）に示す画像においては、被写体６２，６３、および６４についてはその輝度値がダイナミックレンジに入っているものの、被写体６１については露光時間が足りない結果、適正な輝度値が得られず、所謂黒つぶれの状態となる。

一方、図１３（ｃ）に示す画像においては、被写体６１，６２、および６３についてはその輝度値はダイナミックレンジに入っているものの、被写体６４について露光時間が長すぎて輝度値が飽和した状態となって、所謂白とびの状態となる。

そこで、カメラシステム制御部１１はダイナミックレンジにある被写体６２および６４の輝度値が揃うように、図１３（ｂ）および図１３（ｃ）に示す画像全体の輝度値に所定の係数を乗算する。例えば、第４の光学系２ｄの露光時間が第１の光学系２ａの２倍であれば、カメラシステム制御部１１は第１の光学系２ａで得られた画像の輝度値を２倍にする。

そして、カメラシステム制御部１１は、図１３（ｂ）において黒つぶれしている被写体６１の輝度値については図１３（ｃ）に示す画像から得る。さらに、カメラシステム制御部１１は、図１３（ｃ）において白とびしている被写体６４の輝度値については図１３（ｂ）の画像から得て画像合成を行う。

これによって、ダイナミックレンジが小さい撮像素子を用いた際においても、図１３（ａ）に示すように擬似的にダイナミックレンジが拡大した画像を得ることができる。

上述の説明から明らかなように、図２に示す例においては、撮像素子６ａおよび６ｂと画像処理部１２とが撮像手段として機能する。そして、カメラシステム制御部１１は制御手段として機能し、カメラシステム制御部１１および画像処理部１２は合成手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２ａ〜２ｄ 光学系
４ａ，４ｂ フォーカスレンズ
５ａ，５ｂ 絞り機構
６ａ，６ｂ 撮像素子
７ レンズ駆動部
８ａ，８ｂ シャッター
９ シャッター駆動部
１１ カメラシステム制御部
１２ 画像処理部
１６ レリーズ釦

Claims (14)

1. 少なくとも１つの光学系が他の光学系と焦点距離が異なる複数の光学系を介して撮影を行う撮像装置であって、
   前記複数の光学系の各々を介して結像された光学像に応じた画像を各々生成する複数の撮像部を有する撮像手段と、
   前記複数の撮像部の露出を制御する制御手段と、を有し、
   前記制御手段は、
   前記複数の撮像部の各々に設定された露光時間に応じて、前記複数の撮像部各々における露光を開始する露光開始タイミング又は露光を終了する露光終了タイミングを制御し、予めメモリに記憶された前記複数の光学系の被写界深度が同等になるような前記複数の光学系の絞り値の組み合わせを示すテーブルに基づき設定された１つの光学系の絞り値を基準として、前記テーブルから前記複数の光学系の被写界深度が同等になるような前記複数の光学系の絞り値を参照して、前記複数の光学系の絞り値を制御することを特徴とする撮像装置。
2. 前記１つの光学系は、絞り値優先焦点距離の光学系であることを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、ユーザによって選択された光学系の絞り値を前記絞り値優先焦点距離の光学系の絞り値とすることを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段は、前記複数の光学系の各々について設定された露光時間の中央に位置する中央時刻を一致させて前記露光開始タイミング又は前記露光終了タイミングを制御することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記制御手段は、前記複数の光学系のうちその焦点距離が最も長い光学系から順に露光を開始することを特徴とする請求項４に記載の撮像装置。
6. 撮影の際に被写体を照明する発光手段を有し、
   前記発光手段を発光させて前記被写体を撮影する発光撮影モードの際に、前記制御手段は、前記発光手段が発光を終了する発光終了タイミングに合わせて前記露光終了タイミングを制御することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 撮影の際に被写体を照明する発光手段を有し、
   前記発光手段を発光させて前記被写体を撮影する発光撮影モードの際に、前記制御手段は、前記発光手段が発光を開始する発光開始タイミングに合わせて前記露光開始タイミングを制御することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 撮影の際に被写体を照明する発光手段を有し、
   前記発光手段を発光させて前記被写体を撮影する発光撮影モードの際に、前記制御手段は、前記複数の光学系のうちその焦点距離が最も短い光学系における露光時間に前記発光手段が発光を開始する発光開始タイミングを制御することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記制御手段は、前記複数の光学系のうちその焦点距離が最も短い光学系について前記焦点距離が最も長い光学系の露光時間で前記焦点距離が最も短い光学系の露光時間で複数回の露光を行い、前記複数回の露光のうちの１つにおいて前記露光時間の中央に位置する中央時刻を一致させることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記複数回の露光で得られた画像を合成して第１の合成画像を得る合成手段を有することを特徴とする請求項９に記載の撮像装置。
11. 前記合成手段は、前記焦点距離が最も短い光学系を除く他の光学系について得られた画像と前記第１の合成画像とを合成して第２の合成画像を生成することを特徴とする請求項１０に記載の撮像装置。
12. 前記複数の光学系の各々について得られた画像を合成して合成画像を得る合成手段を有することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 少なくとも１つの光学系が他の光学系と焦点距離が異なる複数の光学系を介して結像された光学像に応じた画像を各々生成する複数の撮像部を有する撮像装置の制御方法であって、
    前記複数の撮像部の各々に設定された露光時間に応じて、前記複数の撮像部の各々における露光を開始する露光開始タイミング又は露光を終了する露光終了タイミングを制御し、予めメモリに記憶された前記複数の光学系の被写界深度が同等になるような前記複数の光学系の絞り値の組み合わせを示すテーブルに基づき設定された１つの光学系の絞り値を基準として、前記テーブルから前記複数の光学系の被写界深度が同等になるような前記複数の光学系の絞り値を参照して、前記複数の光学系の絞り値を制御することを特徴とする制御方法。
14. 少なくとも１つの光学系が他の光学系と焦点距離が異なる複数の光学系を介して結像された光学像に応じた画像を各々生成する複数の撮像部を有する撮像装置で用いられる制御プログラムであって、
    前記撮像装置が備えるコンピュータに、
    前記複数の撮像部の各々に設定された露光時間に応じて、前記複数の撮像部の各々における露光を開始する露光開始タイミング又は露光を終了する露光終了タイミングを制御し、予めメモリに記憶された前記複数の光学系の被写界深度が同等になるような前記複数の光学系の絞り値の組み合わせを示すテーブルに基づき設定された１つの光学系の絞り値を基準として、前記テーブルから前記複数の光学系の被写界深度が同等になるような前記複数の光学系の絞り値を参照して、前記複数の光学系の絞り値を制御する制御ステップを実行させることを特徴とする制御プログラム。