JP6124684B2

JP6124684B2 - 撮像装置、その制御方法、および制御プログラム

Info

Publication number: JP6124684B2
Application number: JP2013109885A
Authority: JP
Inventors: 文裕梶村
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-05-24
Filing date: 2013-05-24
Publication date: 2017-05-10
Anticipated expiration: 2033-05-24
Also published as: JP2014228778A

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、複数の焦点距離を有する光学系を備えて、複数の焦点距離で被写体を撮影して画像を得る撮像装置に関する。

従来、デジタルカメラなどの撮像装置において、画角の異なる短焦点レンズユニット（以下単に短焦点レンズと呼ぶ）と長焦点レンズユニット（以下単に長焦点レンズと呼ぶ）とを備えるものが知られている（特許文献１参照）。

この撮像装置では短焦点レンズおよび長焦点レンズを用いて同一の被写体を撮像して画像を得ている。そして、この種の撮像装置は複眼撮像装置と呼ばれている。つまり、複眼撮像装置では、短焦点レンズを介して被写体像（光学像）が結像される撮像素子によって広角の画像を取得する。さらに、長焦点レンズを介して光学像が結像される撮像素子によって望遠の画像を取得する。

特開２００５−３０３６９４号公報

ところで、特許文献１に記載の複眼撮像装置においては、短焦点レンズおよび長焦点レンズの各々がフォーカスレンズを有していると、フォーカスレンズを駆動して焦点を合焦状態に合わせることができる被写体までの距離範囲（以下合焦可能範囲と呼ぶ）が異なることがある。そして、一般的に、短焦点レンズの方が長焦点レンズに比べて合焦可能範囲が広い。

図７は、従来の撮像装置において被写体距離と短焦点レンズおよび長焦点レンズの合焦可能範囲との関係を模式的に示す図である。

図７において、撮像装置（以下カメラと呼ぶ）カメラ６０寄りの位置６１の側を至近側とし、カメラ６０から離れた位置６２の側を無限側とする。マクロ撮影を目的とする特殊なレンズを除く通常のフォーカスレンズを有するレンズユニットでは、無限側の被写体には合焦可能であるが、至近側の被写体について合焦には限界がある。そして、焦点距離の短いレンズの方が至近側の限界が近くなる。

従って、図示のように、長焦点レンズの合焦可能範囲６４は短焦点レンズの合焦可能範囲６３よりも至近側の分だけ狭くなる。その結果、合焦可能範囲６３および６４が重なり合わない範囲６５に被写体が位置する場合、短焦点レンズによって得られた画像は被写体に合焦しているが、長焦点レンズで得られた画像は被写体に合焦していないことになる。

よって、本発明の目的は、複数の異なる焦点距離の光学系を有する撮像装置において、１つの焦点距離の光学系において合焦状態にある被写体像が他の焦点距離の光学系では非合焦状態となる事態を防止することのできる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、互いに焦点距離が異なる複数の光学系を有する撮像光学群を備え、前記光学系を介して撮影を行う撮像装置であって、前記光学系の各々を介して結像された光学像に応じた画像を生成する撮像手段と、前記光学系のうちの１つについて得られた画像を特定焦点距離画像として表示部に表示する表示制御手段と、前記光学系の各々について得られた画像についてその焦点状態を検出して焦点検出結果を得る焦点検出手段と、前記焦点検出結果に応じて前記光学系の各々において焦点調整を行う焦点調整手段と、前記焦点検出結果に応じて前記特定焦点距離画像と他の焦点距離による画像とが焦点状態が異なる際に警告を行う警告手段と、を有することを特徴とする。

本発明による制御方法は、互いに焦点距離が異なる複数の光学系を有する撮像光学群と、前記光学系の各々を介して結像された光学像に応じた画像を生成する撮像手段とを備える撮像装置の制御方法であって、前記光学系のうちの１つについて得られた画像を特定焦点距離画像として表示部に表示する表示制御ステップと、前記光学系の各々について得られた画像についてその焦点状態を検出して焦点検出結果を得る焦点検出ステップと、前記焦点検出結果に応じて前記光学系の各々において焦点調整を行う焦点調整ステップと、前記焦点検出結果に応じて前記特定焦点距離画像と他の焦点距離による画像とが焦点状態が異なる際に警告を行う警告ステップと、を有することを特徴とする。

本発明による制御プログラムは、互いに焦点距離が異なる複数の光学系を有する撮像光学群と、前記光学系の各々を介して結像された光学像に応じた画像を生成する撮像手段とを備える撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記光学系のうちの１つについて得られた画像を特定焦点距離画像として表示部に表示する表示制御ステップと、前記光学系の各々について得られた画像についてその焦点状態を検出して焦点検出結果を得る焦点検出ステップと、前記焦点検出結果に応じて前記光学系の各々において焦点調整を行う焦点調整ステップと、前記焦点検出結果に応じて前記特定焦点距離画像と他の焦点距離による画像とが焦点状態が異なる際に警告を行う警告ステップと、を実行させることを特徴とする。

本発明によれば、焦点検出結果に応じて特定焦点距離画像と他の焦点距離による画像とが焦点状態が異なる際に警告を行うようにしたので、つまり、異なる焦点距離の画像の間で焦点状態が異なる場合には、ユーザに警告を行うようにしたので、ユーザは当該警告によって撮影のアングルなど変えるので撮影の失敗を防止することができる。

本発明の第１の実施形態による撮像装置の一例である多眼光学群を有する撮像装置を説明するための図であり、（ａ）は撮像装置を正面側からみた斜視図、（ｂ）は撮像装置を背面側からみた斜視図、（ｃ）は撮像装置が有する光学群に備えられた光学系の配置を模式的に示す図である。図１に示すカメラの構成の一例を示すブロック図である。図１に示すカメラ１による撮影の結果得られる画像およびその表示を説明するための図であり、（ａ）は撮影動作を行う際におけるエイミング中に表示部に表示される画像の一例を示す図、（ｂ）は図１（ｃ）に示す符号”Ａ”のレンズに係る光学系で撮影した画像を示す図、（ｃ）は図１（ｃ）に示す符号”Ｂ”のレンズに係る光学系で撮影した画像を示す図、（ｄ）は図１（ｃ）に示す符号”Ｃ”のレンズに係る光学系で撮影した画像を示す図、（ｅ）は図１（ｃ）に示す符号”Ｄ”のレンズに係る光学系で撮影した画像を示す図である。図１に示すカメラで行われる警告表示の一例を説明するための図であり、（ａ）は焦点距離が最も長い光学系で得られる画像において非合焦状態の被写体像が存在する場合の警告表示の一例を示す図、（ｂ）は他の焦点距離の光学系で得られる画像においても非合焦状態の被写体像が存在する場合の警告表示の一例を示す図、（ｃ）は警告表示の他の例を示す図である。図１に示すカメラによる撮影動作の一例を説明するためのフローチャートである。本発明の第２の実施形態によるカメラで行われる撮影動作を説明するためのフローチャートである。従来の撮像装置において被写体距離と短焦点レンズおよび長焦点レンズの合焦可能範囲との関係を模式的に示す図である。

以下、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例である多眼光学群を有する撮像装置を説明するための図である。そして、図１（ａ）は撮像装置を正面側からみた斜視図であり、図１（ｂ）は撮像装置を背面側からみた斜視図である。また、図１（ｃ）は撮像装置が有する光学群に備えられた光学系の配置を模式的に示す図である。

図示の撮像装置１は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、このカメラ１は複数の光学系（レンズ群）を備える撮像光学群２を有している。そして、カメラ１の筐体（カメラ筐体）の正面には撮像光学系２に備えられたレンズ群のうち最前部に位置するレンズが露出するようにして配置されている。また、カメラ筐体の上面には撮影の命令を行うためのレリーズ釦１６が配置されている。

カメラ筐体の背面には撮影の設定および撮影の結果得られた画像を表示するための表示部１４が配置されるともに、撮影の設定および画像に関して操作を行うための画面操作部１７が配置されている。

図示の例では、カメラ筐体から４×４＝１６個のレンズが露出しており、これらレンズはマトリックス状に配置され、その焦点距離が異なる。図１（ｃ）において、符号”Ａ”、”Ｂ”、”Ｃ”、および”Ｄ”はそれぞれ同一の焦点距離を有するレンズを示しており、ここでは、符号”Ａ”が付されたレンズ３１１〜３１４はその焦点距離が最も短い。

符号”Ｂ”が付されたレンズ３２１〜３２４はその焦点距離が符号”Ａ”が付されたレンズ３１１〜３１４よりも長い。さらに、符号”Ｃ”が付されたレンズ３３１〜３３４はその焦点距離が符号”Ｂ”が付されたレンズ３２１〜３２４よりも長い。そして、符号”Ｄ”が付されたレンズ３４１〜３４４はその焦点距離が最も長い。つまり、ここでは、焦点距離は、Ａ＜Ｂ＜Ｃ＜Ｄの順となる。

図２は、図１に示すカメラの構成の一例を示すブロック図である。

図示のカメラ１に備えられた撮像光学系２はレンズ駆動部７、複数の光学系３ａおよび３ｂを有している。

なお、図示の例では、説明の便宜上、光学系３ａおよび３ｂのみが示されているが、ここでは、図１（ｃ）に示すレンズ３１１〜３１４、３２１〜３２４、３３１〜３３４、および３４１〜３４４に対応する光学系が備えられている。つまり、１６個の光学系が備えられている。そして、これら１６個の光学系の各々は光学系３ａ又は３ｂと同様の構成を有している。

光学系３ａおよび３ｂはレンズ群とも呼ばれ、光学系３ａおよび３ｂはそれぞれフォーカスレンズ４ａおよび４ｂと撮像素子６ａおよび６ｂとを備えている。そして、フォーカスレンズ４ａおよび４ｂは、カメラシステム制御部１１の制御下でレンズ駆動部７によってそれぞれ光軸５ａおよび５ｂに沿って駆動される。

光学系３ａおよび３ｂを介して入射した被写体像（光学像）はそれぞれ撮像素子６ａおよび６ｂに結像する。そして、撮像素子６ａおよび６ｂはそれぞれ光学像に応じたアナログ信号（画像信号）出力する。以下の説明では、撮像素子６ａの出力である画像信号を第１の画像信号と呼び、撮像素子６ｂの出力である画像信号を第２の画像信号と呼ぶ。

なお、図２に示す例では、光学系３ａおよび３ｂに対してそれぞれ撮像素子６ａおよび６ｂが備えられているが、光学系３ａおよび３ｂの結像領域を有する単一の撮像素子を設けて、撮像の後、これら結像領域から出力される画像信号を信号処理するようにしてもよい。

図示のカメラ１は、さらに、カメラシステム制御部１１、画像処理部１２、メモリ部１３、表示部１４、および操作検出部１５を有している。カメラ１では、光学系３ａおよび３ｂと撮像素子６ａおよび６ｂとによって撮像系が構成され、画像処理部１２によって画像処理系が構成される。そして、メモリ部１３および表示部１４によって記録再生系が構成され、カメラシステム制御部１１、操作検出部１５、およびレンズ駆動部７によって制御系が構成される。

図示はしないが、画像処理部１２は、Ａ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、および補間演算回路などを有しており、前述の第１および第２の画像信号を受けて記録用の画像データを生成する。

メモリ部１３は記録部に加えて画像の記録に必要な処理回路を備えている。そして、メモリ部１３は記録部に画像データを記録するとともに、処理回路によって表示部１４に出力する表示用画像を生成して保存する。ここでは、第１および第２の画像信号を画像処理した結果得られる画像データをそれぞれ第１および第２の画像データと呼ぶ。

なお、メモリ部１３は、予め定められた記録方式を用いて画像（静止画像）、動画、および音声などの圧縮処理を行ってこれら静止画像、動画、および音声の記録を行う。図２に示すカメラ１においては、音声の記録に係るブロックは省略されている。

カメラシステム制御部１１はカメラ１全体の制御を司る。そして、カメラシステム制御部１１は外部操作（つまり、ユーザ操作）に応じて撮像系、画像処理系、および記録再生系を制御する。

例えば、図１（ａ）に示すレリーズ釦１６の押下を操作検出部１５が検出すると、カメラシステム制御部１１は撮像素子６ａおよび６ｂを駆動制御するとともに、画像処理部１２の動作およびメモリ部１３における圧縮処理などを制御する。さらに、さらに、カメラシステム制御部１１はメモリ部１３から読み出した表示用画像を表示部１４に表示制御するとともに、撮影に係る各種情報を表示部１４に表示制御する。

ここで、前述の制御系による光学系３ａおよび３ｂの調整について説明する。

図示のように、カメラシステム制御部１１には画像処理部１２が接続されており、カメラシステム制御部１１は第１および第２の画像データに応じて光学系３ａおよび３ｂにおける焦点位置をそれぞれ第１および第２の焦点検出結果として検出する。焦点検出の手法については後述する。

カメラシステム制御部１１は第１および第２の焦点検出結果に基づいてレンズ駆動部７を制御して、フォーカスレンズ４ａおよび４ｂを光軸５ａおよび５ｂに沿って駆動して光学系３ａおよび３ｂの焦点位置を調整する。

これによって、フォーカスレンズ４ａおよび４ｂは撮像素子６ａおよび６ｂの撮像面に被写体像を結像する。ここでは、被写体像が撮像素子６ａおよび６ｂの撮像面に結像された状態を合焦状態にあると呼ぶ。

図３は、図１に示すカメラによる撮影の結果得られる画像およびその表示を説明するための図である。そして、図３（ａ）は撮影動作を行う際におけるエイミング中に表示部に表示される画像の一例を示す図であり、図３（ｂ）は図１（ｃ）に示す符号”Ａ”のレンズに係る光学系で撮影した画像を示す図である。また、図３（ｃ）は図１（ｃ）に示す符号”Ｂ”のレンズに係る光学系で撮影した画像を示す図である。さらに、図３（ｄ）は図１（ｃ）に示す符号”Ｃ”のレンズに係る光学系で撮影した画像を示す図であり、図３（ｅ）は図１（ｃ）に示す符号”Ｄ”のレンズに係る光学系で撮影した画像を示す図である。

いま、図３（ａ）においては、符号”Ａ”のレンズに係る光学系（以下光学系Ａと呼ぶ）で撮影された画像が表示部１４に表示されているとする。そして、表示部１４には光学系Ａで撮影した場合の画像の画角範囲が画角フレーム４０ａとして表示される。

カメラシステム制御部１１は符号”Ｂ”、”Ｃ”、および”Ｄ”のレンズに係る光学系で撮影した際の画像の画角範囲をそれぞれ画角フレーム４０ｂ、４０ｃ、および４０ｄとして表示部１４に表示する。以下の説明では、符号”Ｂ”、”Ｃ”、および”Ｄ”のレンズに係る光学系をそれぞれ光学系Ｂ、Ｃ、およびＤと呼ぶ。

図３（ａ）に示す例では、カメラシステム制御部１１は光学系Ｂ〜Ｄに係る画角フレーム４０ｂ〜４０ｄを表示部１４に表示するようにしたが、画角フレーム４０ｂ〜４０ｄは表示しなくてもよい。さらには、カメラシステム制御部１１は画角フレーム４０ａの他に画角フレーム４０ｄのみを表示するなど、画角フレーム４０ａの他に一部の画角フレームのみを表示するようにしてもよい。

図３（ａ）では、被写体像として被写体距離の異なる被写体像４１ａ、４１ｂ、４１ｃ、４１ｄ、および４１ｅが表示されており、図３（ａ）に示す状態で撮影が行われると、光学系Ａ〜Ｄに対応する撮像素子６ａ又は６ｂの出力に応じて、画像処理部１２はそれぞれ図３（ｂ）〜図３（ｅ）に示す画像を生成する。

図３（ｂ）〜図３（ｅ）に示す画像はそれぞれ光学系Ａ〜Ｄに対応する撮像素子６ａ又は６ｂの出力に応じて得られた画像であるので、電子ズームなどの拡大処理と異なって、各画像の解像度は同様であり、長焦点の画像についても高精細な画像が得られる。

エイミングの際には表示部１４には最も短い焦点距離の光学系Ａによって撮影された画像とその画角フレームが表示されるので、ユーザはその他の焦点距離の光学系Ｂ〜Ｄにおいて、どのようにフレーミングされた画像が得られるか視覚的に把握することができる。

なお、エイミングの際には、光学系Ａによって撮影された画像を表示部１４に表示するようにしたが、焦点距離が最も長い光学系Ｄ以外の光学系Ｂ又はＣによって得られた画像を表示部１４に表示するようにしてもよい。

さらに、図１（ｃ）に示す例では、同一の焦点距離を有する光学系がそれぞれ４つ備えられているが、図３（ｂ）〜図３（ｅ）においてはそれぞれ４つの光学系のうち１つで得られた画像が示されている。

例えば、図３（ｂ）に示す画像は図１（ｃ）に示すレンズ３１１を介して撮影された画像であり、レンズ３１２、３１３、又は３１４を介して撮影してもほぼ同様の画像が得られる。但し、レンズの光軸位置がＸＹ平面上でシフトしているので、レンズ３１２〜３１４を介して撮影された画像はレンズ３１１を介して撮影された画像に対してそれぞれ微小量だけシフトする。

レンズ３１２、３１３、および３１４を介して得られた画像は、レンズ３１１を介して画像とともにメモリ部８に視差画像として記憶される。なお、同一の焦点距離の光学系で得られた４つの画像を加算合成してダイナミックレンジを拡大した画像を生成するようにしてもよい。ここでは、光学系Ａについて説明したが、光学系Ｂ〜Ｄについても同様である。

このようにして、図示のカメラでは、一度の撮影で互いに焦点距離の異なる画像を同時に取得することができる。

ところで、被写体距離によっては、１つの光学系においては被写体像が合焦状態にあるが、他の光学系においては同一の被写体像が非合焦状態になってしまうことがある。図３（ａ）に示す被写体像４１ａについては、図３（ｂ）〜図３（ｅ）に示すように、全ての光学系Ａ〜Ｄによって得られた画像において撮影フレームに入る。

前述のように、短焦点レンズの方が長焦点レンズに比べて、被写体像を合焦状態とできる合焦可能範囲が広い。図７に関連して説明したように、光学系Ａの合焦可能範囲を範囲６３とし、光学系Ｄの合焦可能範囲を範囲６４として、被写体像４１ａの被写体像の位置が範囲６５に存在すると、光学系Ｄによって得られる画像については被写体４１ａは合焦状態にすることができない。

露光動作前に表示部１４に光学系Ａによって得られた画像を表示して被写体のフレーミングを行い、続いて、本撮影である露光動作が行われる。そして、ユーザが撮影後に光学系Ｄによって得られた画像を選択して表示部１４に表示した際に初めて光学系Ｄで得られた画像において被写体像が合焦状態にないことに気づく。

そこで、ここでは、各光学系各で得られた画像についてそれぞれ焦点状態を検出して、撮影の際に表示部１４に表示された画像とその他の光学系で得られる画像との焦点状態が異なる場合には、カメラシステム制御部１１は後述するようにユーザに対し警告表示を行う。

図４は、図１に示すカメラで行われる警告表示の一例を説明するための図である。そして、図４（ａ）は焦点距離が最も長い光学系で得られる画像において非合焦状態の被写体像が存在する場合の警告表示の一例を示す図であり、図４（ｂ）は他の焦点距離の光学系で得られる画像においても非合焦状態の被写体像が存在する場合の警告表示の一例を示す図である。そして、図４（ｃ）は警告表示の他の例を示す図である。

図４（ａ）では、図３（ａ）に示す状態、つまり、被写体像が複数存在する画像において、焦点状態（合焦であるか非合焦であるか）が異なる被写体像が存在する際の警告表示が示されている。

図４（ａ）において、焦点距離が最も短い光学系Ａで得られる画像では被写体像の全てが合焦状態にあり、焦点距離が最も長い光学系Ｄで得られる画像では被写体像４１ａが非合焦状態にあるもとする。つまり、被写体像４１ａに係る被写体は光学系Ｄの合焦可能範囲外にある。

この際、カメラシステム制御部１１は被写体像４１ａに、例えば、斜線５１を付して当該被写体像４１ａが非合焦状態である範囲に警告画像を重ねて表示部１４に表示する。図４（ａ）に示す例では、カメラシステム制御部１１は斜線に５１によって警告表示を行っているが、カラーのレイヤー画像などが重ねて視認を容易とすることが望ましい。

図４（ｂ）では、他の焦点距離を有する光学系においても非合焦状態の被写体像が存在する際の警告表示が示されている。図４（ｂ）において、光学系Ｄで得られる画像においてのみ被写体像４１ａは非合焦状態である。

一方、被写体像４１ｂについては、光学系ＡおよびＢでは合焦可能範囲にあり、光学系ＣおよびＤでは合焦可能範囲外にあって、光学系Ａで得られる画像においては合焦状態であるが、光学系Ｃで得られる画像においては非合焦状態にある。

ところで、図３（ａ）で説明したように、被写体４１ｂは光学系Ｄの画角フレーム４０ａ内に含まれていないので、被写体像４１ｂの被写体距離が光学系Ｄの合焦可能範囲であるか否かについては確認する必要がない。この際、カメラシステム制御部１１は被写体像４１ｂに、斜線５２を付して非合焦状態である範囲に警告画像を重ねて表示部１４に表示する。

図示の例では、斜線５２は斜線５１よりも線幅を短くして警告表示を異ならせている。なお、斜線５１の範囲を、例えば、赤のレイヤーで表示し、斜線部５２の範囲を、例えば、青のレイヤーで表示するなどして、焦点距離の異なる光学系毎に異なる色で表示すればユーザは容易に視認することができる。

上述のようにして、合焦状態にあるか否かを被写体像毎にかつ光学系毎に警告表示をするようにすれば、ユーザはいずれの焦点距離の光学系が非合焦状態にあるかを容易に視認することができる。

これによって、ユーザは警告表示に合わせてフレーミングを変更するか又はユーザが移動して被写体距離を変更すれば、非合焦状態にある被写体像が存在する画像の撮影を回避することができる。

また、図４（ｂ）において、被写体像５１が光学系Ｃにおいても合焦可能範囲外に位置する場合には、非合焦状態にある光学系で焦点距離が最も短い光学系Ｃについて斜線５１を重ねて警告表示を行うようにすればよい。

警告表示を行う際には、例えば、図４（ｃ）に示す警告表示を行うようにしてもよい。図４（ｃ）に示す例では、図４（ａ）に示す例と同様に焦点距離が最も長い光学系Ｄで得られる画像のみにおいて被写体像４１ａが非合焦状態にある。

この場合、カメラシステム制御部１１は警告表示フレーム５３によって光学系Ｄの画角フレームを強調表示するとともに、警告アイコン５４によって非合焦状態にある光学系の焦点距離を示す。

なお、図４（ｂ）に示す例と同様に、他の焦点距離の光学系で得られる画像においても非合焦状態の被写体像が存在する場合には、カメラシステム制御部１１は警告フレーム５３と異なる色又は線で同様にして警告フレームを表示する。

図５は、図１に示すカメラによる撮影動作の一例を説明するためのフローチャートである。なお、図５に示すフローチャートに係る処理はカメラシステム制御部１１の制御下で行われる。

撮影を開始すると、つまり、レリーズ釦が半押し操作されると、カメラシステム制御部１１は、光学系Ａ〜Ｄに対応する撮像素子６ａ又は６ｂを所定の時間露光して、各撮像素子６ａおよび６ｂから画像信号を画像処理部１２に出力する。

これによって、画像処理部１２は画像信号を画像処理して画像データを得る。そして、カメラシステム制御部１１は、焦点距離が最も短い光学系Ａで得られた画像（ここでは、光学系Ａで得られた画像が特定焦点距離画像である）を表示部１４に表示する（ステップＳ１００１）。

なお、撮像素子６ａおよび６ｂの露光による画像信号の読み込みは、３０ｆｐｓなど所定のフレームレートで行われる。

続いて、カメラシステム制御部１１は、上述のようにして得られた各画像における被写体像についてその焦点距離を検出して焦点検出結果を得る（ステップＳ１００２）。焦点距離を検出するに当たっては、図示はしないが、例えば、位相差検出ユニットを備えて、瞳分割によって得られた２つの像の位相差を検出して当該位相差に応じて焦点距離を検出する。

なお、同一の焦点距離を有する光学系で得られた画像を比較して得られる位相差によって被写体距離を検出するようにしてもよい。さらには、フォーカスレンズ４ａおよび４ｂを光軸５ａおよび５ｂに沿って移動して、その際に得られる画像のコントラストに応じて焦点距離の検出を行う所謂コントラスト焦点検出を用いるようにしてもよい。

次に、カメラシステム制御部１１は焦点検出結果に基づいて光学系Ａで得られた画像に存在する被写体像が合焦状態となるようにレンズ駆動部７を制御してフォーカスレンズを光軸に沿って移動させる（ステップＳ１００３）。

続いて、カメラシステム制御部１１は焦点検出結果に基づいて、表示部１４に表示された画像では合焦状態であるが、光学系Ａ以外の光学系で得られた画像において非合焦状態にある被写体像が存在するか否かを判定する（ステップＳ１００４）。

非合焦状態にある被写体像が存在すると（ステップＳ１００４において、ＹＥＳ）、カメラシステム制御部１１は警告表示を表示部１４に表示する（ステップＳ１００５）。ここでは、図４（ａ）で説明したように、カメラシステム制御部１１は非合焦状態であると判定した被写体像に警告表示を重ねて表示する。

次に、カメラシステム制御部１１は所定のフレームレートで読み込んだ画像において撮影範囲の変更があったか否かを判定する（ステップＳ１００６）。例えば、ユーザがカメラ１をパンニングするか又はカメラ１を被写体から遠ざかる方向に移動させるなどして、フレーミングの変更があると、カメラシステム制御部１１は撮影範囲に変更があったと判定する。

撮影範囲に変更があると（ステップＳ１００６において、ＹＥＳ）、カメラシステム制御部１１はステップＳ１００２の処理に戻って、再度焦点検出を行う。

一方、撮影範囲に変更がないと（ステップＳ１００６において、ＮＯ）、カメラシステム制御部１１は操作検出部１５によってユーザがレリーズ釦１６を全押しして撮影命令を行ったか否かを判定する（ステップＳ１００７）。撮影命令がないと（ステップＳ１００７において、ＮＯ）、カメラシステム制御部１１はステップＳ１００６の処理に戻って、撮影範囲に変更があったか否かを判定する。

撮影命令があると（ステップＳ１００７において、ＹＥＳ）、カメラシステム制御部１１は焦点検出結果に基づいて、表示部１４に表示された画像では合焦状態であるが、光学系Ａ以外の他の光学系で得られる画像において非合焦状態にある被写体像が未だ存在するか否かを判定する（ステップＳ１００８）。

非合焦状態の被写体像があると（ステップＳ１００８において、ＹＥＳ）、カメラシステム制御部１１は非合焦状態の被写体像をなくすため、ユーザに撮影範囲を変更するよう促す変更表示を表示部１４に表示をする（ステップＳ１００９）。そして、カメラシステム制御部１１は他の焦点距離の光学系で得られる画像に非合焦状態の被写体像がある間について、撮影命令の受け付けを禁止する。その後、カメラシステム制御部１１はステップＳ１００６の処理に戻って撮影範囲の変更があったか否かを判定する。

非合焦状態の被写体像がないと（ステップＳ１００８において、ＮＯ）、カメラシステム制御部１１は所定のフレームレートで行う露光動作を一旦停止する。そして、カメラ制御部１１はユーザによって設定された露光時間およびＩＳＯ感度などの撮影条件で撮像素子６ａおよび６ｂの露光を行って、画像処理部１２によって画像データを得る（ステップＳ１０１０）。

その後、画像処理部１２はカメラシステム制御部１１の制御下で、光学系毎の画像データをメモリ部１３に記録する。カメラシステム制御部１１は光学系Ａで得られた画像データに応じた画像を表示部１４に表示して（ステップＳ１０１１）、撮影を終了する。

このように、本発明の第１の実施形態では、焦点距離がことなる複数の光学系を有するカメラにおいて、表示部１４に表示された画像における被写体像は合焦状態であるにも拘わらず、他の焦点距離の光学系で得られる被写体像が非合焦状態にあると警告を行う。

これによって、撮影後にユーザが表示部１４に表示された画像とは異なる焦点距離の光学系で得られた画像を確認した際に、初めて意図しない画像であることを知るという撮影の失敗を防止することができる。

なお、第１の実施形態では、表示部１４に表示された画像を得た光学系以外の光学系で得られる画像に非合焦状態の被写体像が存在する間、ユーザによる撮影命令を受け付けないようにしているが、マニュアルモードでは撮影禁止を解除するようにしてもよい。

この場合、図５においてステップＳ１００８およびＳ１００９の処理作が省略され、ステップＳ１００７において撮影命令があったと判定すると、カメラシステム制御部１１はステップＳ１０１０の処理に進む。そして、撮影禁止を解除した際には、撮影の結果得られた画像において特定の焦点距離の画像を選択して再生する場合、次のように制限を行うようにしてもよい。

カメラシステム制御部１１は、再生表示の際、各焦点距離における画像の合焦状態、つまり、撮影の際の警告表示に基づいて表示部１４に対する画像の出力を制御する。再生画像の選択に当たっては、各光学系で得られた画像とともに、非合焦状態の被写体像が存在するかを示す情報、つまり、警告表示の有無を示す情報をタグ情報（つまり、警告タグ）としてメモリ部１３に記録する。そして、画像再生の際にユーザが選択した画像にタグ情報が付与又は付加されていると、カメラシステム制御部１１は当該画像の選択を禁止する。

また、第１の実施形態では、焦点距離が異なる４つの光学系を４つ、合計１６個の光学系を有するカメラについて説明したが、焦点距離が異なる光学系が少なくとも２つあればよい。

例えば、第１の焦点距離の光学系を１つ備えるとともに、第１の焦点距離よりも短い第２の焦点距離の光学系を備えるカメラであればよい。もちろん、焦点距離が異なる５つ以上の光学系を備えるようにしてもよいし、焦点距離が同一の５つ以上光学系を備えるようにしてもよい。

さらに、第１の実施形態では、光学系毎に撮像素子６ａ又は６ｂを設けるようにしたが、光学系と撮像素子の数は必ずしも一致しなくてもよい。例えば、光学系の結像位置に、１６個の光学系から光学像を受光可能な撮像素子を備えて、当該撮像素子の出力である画像信号を光学系毎の受光範囲で分割して、光学系毎の画像信号を獲るようにしてもよい。

［第２の実施形態］
次に、本発明の第２の実施形態によるカメラの一例について説明する。なお、第２の実施形態によるカメラの構成は図１および図２に示すカメラと同様である。

図６は、本発明の第２の実施形態によるカメラで行われる撮影動作を説明するためのフローチャートである。なお、図６において、図５に示すフローチャートにおけるステップと同一のステップについては同一の参照符号を付して説明を省略する。

図５で説明したステップＳ１００７において撮影命令があると、カメラシステム制御部１１は所定のフレームレートで行う露光動作を一旦停止する。そして、カメラシステム制御部１１は、ユーザによって設定された露光時間およびＩＳＯ感度などの撮影条件で撮像素子６ａおよび６ｂの露光を行って、画像処理部１２によって画像データを得る（ステップＳ２００１）。

カメラシステム制御部１１は、画像処理部１２で得られた画像データに応じて被写体像の焦点状態を確認する。例えば、カメラシステム制御部１１は表示部１４に表示された光学系Ａで得られた画像において被写体像は合焦状態であるものの、光学系Ａ以外の他の光学系で得られた画像において非合焦状態の被写体像があるか否かを判定する（ステップＳ２００２）。

非合焦状態の被写体像が存在すると（ステップＳ２００２において、ＹＥＳ）、カメラシステム制御部１１は画像合成モードが設定されているか否かを判定する（ステップＳ２００３）。画像合成モードが設定されていると（ステップＳ２００３において、ＹＥＳ）、カメラシステム制御部１１は画像処理部１２を制御して、後述するようにして、例えば、光学系Ａで得られた画像を画像合成して、他の光学系で得られ非合焦状態の被写体像が存在する画像の代わりに用いる（ステップＳ２００４）。

この画像合成によって、非合焦状態の被写体像が存在する画像があったとしても、同一の焦点距離における合焦状態の画像を疑似的に得ることができる。そして、カメラシステム制御部１１は合成画像を、被写体像が非合焦状態である画像と差し替える処理を行う。

続いて、画像処理部１２はカメラシステム制御部１１の制御下で、光学系毎の画像データをメモリ部１３に記録する。カメラシステム制御部１１は光学系Ａで得られた画像データに応じた画像を表示部１４に表示して（ステップＳ２００５）、撮影を終了する。

非合焦状態の被写体像が存在しない場合（ステップＳ２００２において、ＮＯ）、又は画像合成モードが設定されていない場合（ステップＳ２００３において、ＮＯ）、カメラシステム制御部１１はステップＳ２００５の処理に進む。

ここで、画像処理部１２で行われる画像合成について説明する。

ここでは、画素ずらし又はサブピクセルと呼ばれる同一の焦点距離で少しだけ光軸がシフトした画像を複数用いて、撮像素子の画素数以上の解像度の画像を疑似的に得る手法が用いられる。

この手法は、撮像素子における画素と画素との間のデータを、画素ピッチの半分（サブピクセル）だけ光軸をシフトした画像によって補完する手法である。画像合成の際には、画素ずらしによって非合焦状態の被写体像が存在する画像を、当該画像が得られた光学系の焦点距離よりも短い焦点距離の光学系で得られた画像を複数用いて画像合成を行う。

図１に示すカメラでは、焦点距離が異なる複数の光学系を有し、かつ同一の焦点距離の光学系ではその光軸がシフトしているので、画素ずらしによって、短焦点距離の光学系で得られた画像から長焦点距離の光学系で得られる画像を生成することができる。例えば、光学系Ｄで得られた画像にのみ非合焦状態の被写体像があるとすると、光学系Ｃ、つまり、レンズ３４１〜３４４で得られる画像を用いて画像合成が行われる。

レンズ３４１〜３４４は、その光軸がＸＹ平面上でシフトした位置に配置されているので、一回の撮影において画素ずらしに必要とされる光軸がシフトした同一の焦点距離の画像を得ることができる。

このように、光学系Ｄで得られ非合焦状態の被写体像が存在する画像についても、被写体像が合焦状態でありしかも解像度の劣化を低減した画像を得ることができる。なお、光学系Ａ又はＢで得られた画像を画素ずらしによって画像合成して、当該合成画像を光学系Ｄで得られた画像の代わりに用いるようにしてもよい。

以上のように、本発明の第２の実施形態では、警告表示が表示されているにも拘わらず、ユーザが撮影を行っても、非合焦状態の被写体像が存在する画像を、擬似的に他の焦点距離の画像を用いて画像合成によって生成する。

これによって、非合焦状態の被写体像が存在する画像自体又は他の合焦状態にある画像を単純に拡大して非合焦状態の被写体像が存在する画像の画角フレームに合わせるよりも、画質の劣化を低減することができる。

なお、第２の実施形態では、同一の焦点距離を有する光学系で得られた画像を合成処理するようにしたが、時系列的に撮影された（つまり、時間的にずれた）複数の画像を画像合成処理するようにしてもよい。

ユーザがカメラ１を構えて短時間で連続的に撮影を行った場合には、手振れなどに起因して数画素だけ光学系の光軸がシフトすることがある。被写体像の変化を無視できる程度に露光動作間の間隔が短ければ、時系列的に数画素だけ光軸がシフトした画像を用いて画素ずらしによる画像合成を行うことができる。そして、時間的にずれた画像を用いるので、同一の焦点距離の光学系が複数有しないとしても画像合成を行うことができる。

このようにして、本発明の実施の形態では、複数の異なる焦点距離の光学系を有するカメラを用いて撮影を行った際に、１つの焦点距離の光学系において合焦状態にある被写体像が他の焦点距離の光学系では非合焦状態となる事態を防止することができる。

上述の説明から明らかなように、図２に示す例においては、撮像素子６ａおよび６ｂと画像処理部１２とが撮像手段として機能する。そして、カメラシステム制御部１１は表示制御手段、焦点検出手段、および警告手段として機能し、カメラシステム制御部１１およびレンズ駆動部７は焦点調整手段として機能する。

さらに、カメラシステム制御部１１は撮影禁止手段、記録制御手段、および選択制御手段として機能し、カメラシステム制御部１１および画像処理部１２は画像合成手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも表示制御ステップ、焦点検出ステップ、焦点調整ステップ、および警告ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

２撮像光学群
３ａ，３ｂ光学系
４フォーカスレンズ
５ａ，５ｂ光軸
６ａ，６ｂ撮像素子
７レンズ駆動部
１１カメラシステム制御部
１２画像処理部
１３メモリ部
１４表示部

Claims

互いに焦点距離が異なる複数の光学系を有する撮像光学群を備え、前記光学系を介して撮影を行う撮像装置であって、
前記光学系の各々を介して結像された光学像に応じた画像を生成する撮像手段と、
前記光学系のうちの１つについて得られた画像を特定焦点距離画像として表示部に表示する表示制御手段と、
前記光学系の各々について得られた画像についてその焦点状態を検出して焦点検出結果を得る焦点検出手段と、
前記焦点検出結果に応じて前記光学系の各々において焦点調整を行う焦点調整手段と、
前記焦点検出結果に応じて前記特定焦点距離画像と他の焦点距離による画像とが焦点状態が異なる際に警告を行う警告手段と、
を有することを特徴とする撮像装置。
前記警告手段は前記表示部に警告表示を行うことを特徴とする請求項１に記載の撮像装置。
前記警告手段は前記焦点検出結果に応じて前記焦点状態が異なるとされた範囲に警告表示を重ねて表示することを特徴とする請求項２に記載の撮像装置。
前記撮像光学群は少なくとも３つの焦点距離の光学系を有しており、
前記警告手段は、前記特定焦点距離画像を除く焦点距離の光学系毎に互いに異なる警告表示を行うことを特徴とする請求項２又は３に記載の撮像装置。
前記警告表示の各々は互いに異なる色が設定されていることを特徴とする請求項４に記載の撮像装置。
前記警告手段によって警告が行われると、ユーザによる撮影を禁止する撮影禁止手段を有することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
撮影の際に前記警告手段によって警告が行われると、当該警告に係る画像に警告を示す警告タグを付加してメモリに記録する記録制御手段を有することを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
前記撮影によって得られた画像を再生する際、前記警告タグに応じて前記表示部に表示する画像を選択する選択制御手段を有することを特徴とする請求項７に記載の撮像装置。
前記警告手段によって警告された画像を得た光学系の焦点距離よりも焦点距離が短い光学系で得られた画像を合成処理して得た画像を、前記警告手段によって警告された画像の代わりとする画像合成手段を有することを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
前記撮像光学群は前記焦点距離が同一である光学系を少なくとも２つ備えており、
前記画像合成手段は同一の焦点距離である複数の光学系で得られる画像を画像合成することを特徴とする請求項９に記載の撮像装置。
前記画像合成手段は同一の焦点距離である光学系で時間をずらして得られた複数の画像を画像合成することを特徴とする請求項９に記載の撮像装置。
互いに焦点距離が異なる複数の光学系を有する撮像光学群と、前記光学系の各々を介して結像された光学像に応じた画像を生成する撮像手段とを備える撮像装置の制御方法であって、
前記光学系のうちの１つについて得られた画像を特定焦点距離画像として表示部に表示する表示制御ステップと、
前記光学系の各々について得られた画像についてその焦点状態を検出して焦点検出結果を得る焦点検出ステップと、
前記焦点検出結果に応じて前記光学系の各々において焦点調整を行う焦点調整ステップと、
前記焦点検出結果に応じて前記特定焦点距離画像と他の焦点距離による画像とが焦点状態が異なる際に警告を行う警告ステップと、
を有することを特徴とする制御方法。
互いに焦点距離が異なる複数の光学系を有する撮像光学群と、前記光学系の各々を介して結像された光学像に応じた画像を生成する撮像手段とを備える撮像装置で用いられる制御プログラムであって、
前記撮像装置が備えるコンピュータに、
前記光学系のうちの１つについて得られた画像を特定焦点距離画像として表示部に表示する表示制御ステップと、
前記光学系の各々について得られた画像についてその焦点状態を検出して焦点検出結果を得る焦点検出ステップと、
前記焦点検出結果に応じて前記光学系の各々において焦点調整を行う焦点調整ステップと、
前記焦点検出結果に応じて前記特定焦点距離画像と他の焦点距離による画像とが焦点状態が異なる際に警告を行う警告ステップと、
を実行させることを特徴とする制御プログラム。