JP6124703B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、焦点距離の異なる光学系により複数の画像を同時に撮影可能な撮像装置とその制御方法に関する。

画角の異なる短焦点レンズと長焦点レンズを使用して、被写体の同じ部分を含む画像を撮像する複眼撮像装置が特許文献１に提案されている。この装置は、短焦点レンズに対応した撮像素子により広角の画像を取得し、長焦点レンズに対応した撮像素子により望遠の画像を取得する構成である。

特開２００５−３０３６９４号公報

前記特許文献１に開示された従来技術では次のような問題がある。撮像装置において、長焦点レンズで取得される画角の画像範囲は、短焦点レンズにより取得される広角の画像範囲に含まれるので、撮像装置の表示部には短焦点レンズによる画像を表示した状態でフレーミングが行われる。ユーザは、撮影設定による露光条件で撮影を行い、撮影後に所望の画角の画像を選択して再生表示させることができる。しかし、撮影画角内の一部の範囲に輝度の高い光源が存在する場合、長焦点レンズで撮影した画像中に、いわゆるゴーストが発生することがある。この現象は、輝度の高い光源からの光が撮像光学系内の部材で反射することで起こる。ここで述べるゴーストとは、撮像光学系の鏡筒を構成する部品の内壁や光線を制限する開口端部、撮像素子のユニット内での乱反射等で発生するものを想定している。このゴーストは、同時に撮影を行っても異なる光学系であれば発生するとは限らないものである。その結果、フレーミングの為に表示していた短焦点レンズの画像にはゴーストは発生していないのに、撮影後に長焦点レンズの画像を選択して再生した際に、ユーザが初めてゴーストの発生に気付くといったことが起こり得る。

本発明の目的は、複数の異なる焦点距離をもつ複眼光学群を備える撮像装置において、表示部に表示されていない画像にゴーストが発生していることを通知する撮像装置およびその制御方法を提供することである。

上記課題を解決するために、本発明に係る装置は、焦点距離の異なる複数の撮像光学系を備える撮像装置であって、前記複数の撮像光学系からの光を受光して光電変換を行う撮像素子と、前記撮像素子から信号を取得し、前記複数の撮像光学系によりそれぞれ撮像された複数の画像データを生成する画像生成手段と、前記画像生成手段により生成された複数の画像データから選択される画像データを取得して画像を表示する表示手段と、前記表示手段により表示されていない画像にゴーストが発生している場合、当該ゴーストの発生を通知する制御を行う制御手段を備える。

本発明によれば、表示部に表示されていない画像にゴーストが発生していることを撮影者に通知することができる。

本発明の第１実施形態に係る撮像装置と多眼光学群配置を説明する模式図である。 第１実施形態における撮像装置のシステム構成例を示す図である。 第１実施形態における撮像装置の表示画像と取得画像を示す模式図である。 第１実施形態における警告表示例を示す模式図である。 第１実施形態における撮影動作を説明するフローチャートである。 撮影画像に対するゴーストの発生を説明する模式図である。 本発明の第２実施形態における撮影動作を説明するフローチャートである。

以下に、本発明の各実施形態を、添付図面に基づいて詳細に説明する。
［第１実施形態］
図１から図６を参照して、本発明の第1実施形態に係る撮像装置について説明する。
図１は本実施形態の撮像装置である多眼光学群を含むデジタルカメラを示す模式図である。図１（Ａ）はカメラ１を正面から見た場合の斜視図である。図１（Ｂ）はカメラ１を背面から見た場合の斜視図である。図１（Ｃ）は、光学群２が有する、焦点距離の異なる光学系のレンズ配置を示す模式図である。

図１（Ａ）に示すように、カメラ１の正面部には光学群２が配置される。光学群２は、複数のレンズを有する多眼光学群である。カメラ１の上部には、ユーザが撮影操作を行うためのレリーズ釦１６が配置される。また、図１（Ｂ）に示すように、カメラ１の背面に設けた表示部１４は、撮影の設定情報や撮影後の画像を表示する画像表示手段である。画面操作部１７は、撮影の設定や表示部１４に表示された画像を操作する際にユーザが使用する。

図１（Ｃ）に示すように、光学群２は、縦４行かつ横４列、合計１６個のレンズを有する。各レンズは焦点距離の異なるレンズであり、Ａ、Ｂ、Ｃ、Ｄの記号を付記したレンズは、同一記号について同じ焦点距離のレンズであることを表している。記号Ａを付したレンズ３１１〜３１４（以下、Ａレンズという）は焦点距離が最も短いレンズであり、四隅にそれぞれ位置する。記号Ｂを付したレンズ３２１〜３２４（以下、Ｂレンズという）は焦点距離がＡレンズよりも長いレンズであり、また記号Ｃを付したレンズ３３１〜３３４（以下、Ｃレンズという）は焦点距離がＢレンズよりも長いレンズである。ＢレンズとＣレンズは４辺にてＡレンズの間に位置する。記号Ｄを付したレンズ３４１〜３４４（以下、Ｄレンズという）は焦点距離が最も長いレンズであり、Ａレンズ、Ｂレンズ、Ｃレンズに囲まれた状態で、光学群２の中央部に位置する。

図２は、カメラ１の構成例を示すブロック図である。カメラ１に適用されるカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮像光学系３、撮像素子６を含み、画像処理系は、画像処理部１２を含む。また記録再生系は、メモリ部１３、表示部１４を含み、制御系は、カメラシステム制御部１１、操作検出部１５、およびレンズ駆動部７を含む。光学群２のレンズ駆動部７は、焦点調節用のフォーカスレンズ４等の可動光学素子を駆動する。図２では、フォーカスレンズ４ａ，４ｂを例示する。図２では第１の撮像光学系３ａ，第２の撮像光学系３ｂと、第１の撮像素子６ａ，第２の撮像素子６ｂだけを各光軸５ａ，５ｂ上に代表して示す。図１（Ｃ）に示す光学群２の場合、１６個の撮像光学系３が存在し、撮像光学系ごとにそれぞれフォーカスレンズ４と撮像素子６を有する。

撮像系は、撮像光学系３を介して、被写体像からの光を撮像素子６の撮像面に結像させる。撮像素子６の露光により得た信号に基づいて、フォーカスレンズ４を移動させることで適切に撮像光学系３の状態が調整される。撮像素子６は被写体像を光電変換し、画像信号を画像処理部１２に出力する。
画像処理部１２は内部にＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有する。画像処理部１２は、記録用の画像データを生成する画像生成手段である。メモリ部１３は記録部に加えて、データ記録に必要な処理回路を備える。メモリ部１３は、記録部へデータを出力するとともに、表示部１４に出力する表示用画像データを記憶する。また、メモリ部１３は、予め定められた記録方式に従って静止画像、動画像、音声等の圧縮及び記録を行う。

カメラシステム制御部（以下、システム制御部という）１１はＣＰＵ（中央演算処理装置）等を備え、カメラ１の制御を統括する。システム制御部１１は、撮像の際のタイミング信号等を生成して各部に出力し、操作指示を受け付けた場合、該指示に応じて撮像系、画像処理系、記録再生系をそれぞれ制御する。操作検出部１５は、カメラ本体部に設けた操作部材等の操作状態を検出する。例えば、図１（Ａ）に示すレリーズ釦１６の押下を操作検出部１５が検出した場合、システム制御部１１は操作検出部１５の検出信号に従い、撮像素子６の駆動、画像処理部１２の動作、メモリ部１３の圧縮処理等を制御する。さらにシステム制御部１１は、表示部１４に画像や情報を表示させる制御を行う。また、システム制御部１１は警告表示処理、光源検出処理、ゴースト検出処理の機能を有する。

次に光学系の調整動作について説明する。
システム制御部１１は、画像処理部１２を介して撮像素子６からの取得した画像信号に基づいて焦点検出を行い、焦点位置を求める。システム制御部１１はレンズ駆動部７を制御し、各撮像光学系３の焦点調節制御を行う。各撮像光学系３のフォーカスレンズ４が駆動され、撮像光学系３にそれぞれ対応する撮像素子６の受光面に被写体像が適切に結像する。

図３は、カメラ１で取得される画像の表示例を示す模式図である。図３（Ａ）は、カメラ１において撮影動作を行う際のエイミング中での表示部１４による表示例を示す。図３（Ｂ）は、第１焦点距離のＡレンズで撮影した画像を示す。図３（Ｃ）は、第２焦点距離のＢレンズで撮影した画像を示す。図３（Ｄ）は、第３焦点距離のＣレンズで撮影した画像を示す。図３（Ｅ）は、第４焦点距離のＤレンズで撮影した画像を示す。

図３（Ａ）は、表示部１４の画面に最も短焦点距離のＡレンズで撮影した画像が表示されている状態である。画像の画角範囲を画角フレーム４０ａ、４０ｂ、４０ｃ、４０ｄとして表している。図３（Ａ）では説明の便宜のために、表示画面内にＡレンズ以外の各レンズの画角フレーム４０ｂ、４０ｃ、４０ｄの各表示枠を併せて表示している。このような表示画像は例示であり、例えば、画角フレーム４０ｄの表示枠だけを表示する等、一部の画角フレームの表示枠を表示してもよい。図３（Ａ）の状態で撮影が行われた場合、焦点距離の異なる各レンズを通して撮像素子６でそれぞれ得られる画像は、図３（Ｂ）ないし（Ｅ）のように画像処理部１２で生成される。図３（Ｂ）ないし（Ｅ）に示す画像は、各撮像光学系を通ってそれぞれの撮像素子６で得られた画像である。よって電子ズーム等の拡大処理を行う場合とは異なり、各画像の解像度は同様であるため、長焦点距離での撮影画像も高精細に得られる。図３（Ａ）に示す例では、エイミングの際、表示部１４の画面に、最も短い焦点距離のＡレンズの画像と各画角フレームの表示枠が表示される。これにより、その他の焦点距離のレンズにおいて、どのようにフレーミングされた画像が取得されるかをユーザが視覚的に把握できる。ユーザは、例えばエイミング時に最も長い焦点距離のＤレンズ以外のレンズを任意に選択してその撮影画像を表示する指示を行うことも可能である。

図３（Ｂ）ないし（Ｅ）は、図１（Ｃ）に示すように４つずつあるレンズのうちの１つのレンズで撮影した画像を例示する。例えば、図３（Ｂ）は図１（Ｃ）におけるレンズ３１１で撮影された画像であり、その他の同じ焦点距離のレンズ３１２、３１３、３１４についても同様の画像が撮影される。ただし、厳密には、各レンズの光軸位置が光軸に直交するＸＹ平面上でずれているので、各レンズによる撮影画像には微小量のシフトがある。レンズ３１２、３１３、３１４で得られた画像は、レンズ３１１で得られた画像と共にメモリ部１３に視差画像として記憶される。または、同じ焦点距離のレンズでそれぞれ撮影した画像を加算合成して輝度値のダイナミックレンジを拡大した画像データを生成してもよい。あるいは複数の画像の加算合成後に平均化してＳ／Ｎ（信号対ノイズ）比を向上させた画像データを生成してもよい。このことはＡレンズ以外の他のレンズについても同様である。本実施形態では一回の撮影において、焦点距離の異なるレンズによる撮影画像を同時に取得することができる。

ところで、表示画面にて短焦点距離の第１レンズで撮影した画像内の特定の場所に、高輝度の光源の被写体が存在する場合、第１レンズとは異なる焦点距離の第２レンズによる撮影画像にて、高輝度の光源によりゴーストが発生する可能性がある。図６はゴーストが発生する場合の撮影画像を例示する。図６（Ａ）は高輝度の光源を撮影したＡレンズによる画像例を示し、図６（Ｂ）はその時のＣレンズによる画像例を示す。
図６（Ａ）にて、画角フレーム４０ｃはＣレンズの画角フレームを表しており、その外側に輝度の高い光源４１が写っている。一方、図６（Ｂ）では光源４１の像（光源像）は画角内に含まれていないが、光源４１によるゴースト４２が発生している状態を示す。このように、撮影時のエイミング中に短焦点距離であるＡレンズの撮影画像を表示部１４に表示した場合にはゴーストは発生していないが、Ｃレンズの画像にはゴーストが発生する可能性がある。この場合、撮影者は撮影後にＣレンズによる画像を選択して再生し、表示部１４の画面に表示させたときに初めて、Ｃレンズの撮影画像にゴーストが発生していたことに気付く。そこで、本実施形態では各レンズの撮影画像におけるゴーストの発生を検出する。撮影時に表示中の画像ではない、他のレンズによる撮影画像にゴーストが発生している場合には、撮影者に対し警告表示を表示する制御が行われる。

図４は本実施形態の警告表示例を示す模式図である。図４では、撮影時に表示中の画像ではない、他のレンズによる撮影画像にゴーストが発生している場合に、警告表示を行う例を示す。図４（Ａ）は、図６（Ａ）と同様に最も短焦点距離のＡレンズによる撮影画像に輝度の高い光源４１が写っている様子を示す。光源４１はＣレンズによる撮影画像の画角フレーム内には入っていないが、Ｃレンズの撮影画像に対してゴーストを発生させているものとする。この時、システム制御部１１はゴースト検出により、Ｃレンズの撮影画像にゴーストが発生していると判断すると、警告表示制御を行う。例えば、光源４１の写っている表示画像にて、図４（Ａ）の斜線範囲５１で示すように、ゴースト発生の光源範囲に警告表示を重ねて表示する制御が行われる。なお、ゴースト検出手段の動作の詳細については後述する。図４（Ａ）では、警告表示範囲を斜線で示しているが、カラーのレイヤー画像等を重ねると、ユーザが視認しやすくなる。また、画像内の左上部に警告表示としてゴースト発生の警告アイコン５２を表示することにより、撮影者にゴーストの発生について注意を喚起できる。図４（Ａ）は説明の便宜上、斜線範囲５１と警告アイコン５２を併用した表示例であるが、表示はどちらか一方のみでもよい。また、ゴーストが発生している画像が、どのレンズの撮影画像であるかを特定することにより、焦点距離に合わせて警告表示の色や模様を異ならせた警告表示を行ってもよい。警告表示により、ユーザはゴーストの発生に気付き易くなる。つまり、表示されていない画像で発生しているゴーストについての注意喚起を促すことができる。よって、フレーミングの変更や、撮影者の移動により被写体までの距離を変更することで、ゴーストの発生を回避できる。

図４（Ｂ）および（Ｃ）は、その他の警告表示例を示す。図４（Ｂ）は、予め記録されているゴースト発生位置情報に基づき、高輝度光源によりゴーストが発生する位置を斜線部で表示する例を示す。ゴースト発生範囲５３ａ、５３ｂにより、位置の警告表示が行われる。ゴースト発生範囲５３ａ、５３ｂは、当該範囲に光源がある場合にゴーストが発生する蓋然性の高い範囲を示す。これらの範囲は、設計時の光線シミュレーションや実際に光源を撮影して確認することにより特定され、メモリ部１３にゴースト発生位置情報として記録されている。このような警告表示によって、撮影者はカメラを動かして再フレーミングを行い、光源４１の像がゴースト発生範囲５３から外れるように撮影範囲を変更することで、ゴーストの発生を回避できる。

図４（Ｃ）は、高輝度の光源４１に対し、ゴースト発生範囲５３ａと、さらにその近傍にゴースト予測範囲５４を表示する例を示す。ゴースト予測範囲５４は、ゴースト発生範囲５３ａよりも外側に位置する相対的に広い範囲を示し、図中ではゴースト発生範囲５３ａとは異なる向きのハッチング線で区別して表している。このような警告表示によれば、撮影者が再フレーミングで高輝度の光源４１をゴースト発生範囲５３ａから外した場合でも、ゴースト予測発生範囲内にある場合にさらに注意喚起を促すことができる。例えば、レリーズ動作時の手振れ等によって光源４１の位置が再度ゴースト発生範囲内に入ってしまう可能性があることを撮影者に喚起できる。ゴースト発生範囲５３ａを示す第１情報およびゴースト予測範囲５４を示す第２情報はメモリ部１３に記憶されている。

次に、ゴースト検出手段の詳細について説明する。ゴースト検出手段はシステム制御部１１のＣＰＵがメモリからプログラムを読み出して実行し、画像処理部１２の画像データおよびメモリ部１３のデータを用いることで実現される。システム制御部１１は、予め記録されているゴースト発生位置情報をメモリ部１３から読み込む。システム制御部１１は、画像処理部１２から取得した画像データを用いて光源検出処理を実行する。光源検出処理では、撮影画像内において所定の閾値以上の輝度を有する範囲が高輝度光源として検出される。システム制御部１１は検出した画像内の高輝度光源がゴースト発生位置にあるか否かを判定する。この判定結果からゴースト発生の有無を判断することができる。ゴースト発生位置情報については、最も焦点距離が短いレンズ以外の撮像光学系ごとに、光源の存在によりゴーストが発生する位置情報（最も短焦点距離のレンズによる撮影画像内での位置情報）がメモリ部１３に記憶されている。システム制御部１１は、この位置情報に基づいて高輝度の光源がどの撮像光学系の画像にゴーストを発生させているかを判断する。

次に、図５を参照して、本実施形態における一連の撮影動作について説明する。図５は、表示画像とは異なる画角で撮影するレンズでの画像内にゴーストが発生している場合、その警告表示処理を含む撮影動作を説明するフローチャートである。
Ｓ１００１で画像データの読み込みと表示処理が開始する。各撮像光学系の撮像素子６の露光動作が行われ、Ａ／Ｄ変換が行われて画像データの読み込み動作が実行される。最も焦点距離の短いＡレンズの撮影画像（以下、Ａ画像という）のデータが表示部１４に出力され、その画像表示処理が開始する。各撮像素子６の露光による画像データの読み込み動作については、３０ｆｐｓ等の一定のフレームレートで以降の処理中にも随時行われる。

Ｓ１００２でシステム制御部１１はメモリ部１３に記録されているゴースト発生位置情報を読み込む。メモリ部１３にはゴースト発生位置情報として、各レンズの撮影画像内において高輝度の光源が存在する場合にゴーストが発生する光源の位置情報がそれぞれ記録されている。Ｓ１００３でシステム制御部１１は、光源検出により画像内の光源を検出する。つまり、光源検出では、Ｓ１００１で読み込まれた表示中のＡ画像内において、所定の閾値以上の輝度を有し、かつゴーストの原因となり得る光源の存否および位置が検出される。

Ｓ１００４でシステム制御部１１は、Ｓ１００２で取得したゴースト発生位置情報に基づき、ゴースト発生範囲内に高輝度光源が位置するか否かを判定する。Ｓ１００３で検出した光源の位置がゴースト発生範囲内にあり、表示部１４に表示中のＡ画像以外の、他のいずれかのレンズの撮影画像においてゴーストが発生していると判断された場合、Ｓ１００５に移行する。また、Ａ画像以外の他の撮影画像にゴーストが発生していないと判断された場合にはＳ１００６に移行する。

Ｓ１００５でシステム制御部１１は警告表示処理を実行し、表示部１４の画面に警告表示情報を表示する。本実施形態では、表示部１４の画面上での警告表示によって、ゴーストの発生を通知する制御が行われるが、これと併せてスピーカ等で音声や報知音を発生させることでユーザへの通知制御を行ってもよい。

一方、Ｓ１００６でシステム制御部１１は、すでに表示部１４の画面に警告表示が行われていた場合、その警告表示を解除する。警告表示が行われていない場合にはそのままＳ１００７へ進む。
Ｓ１００７でシステム制御部は、Ｓ１００１で画像データが読み込まれた状態から、撮影範囲が変更されたか否かを判断する。例えば、カメラ１のパンニングや、カメラ１を被写体から遠ざかる方向へ移動させる等の操作が行われ、フレーミングが変更された場合、撮影範囲に変更があったと判断される。この場合、Ｓ１００３に処理を戻し、再び光源検出動作が行われ、Ｓ１００４ないしＳ１００６の処理が繰り返される。Ｓ１００７で撮影範囲に変更がないと判断された場合、Ｓ１００８に進む。

Ｓ１００８でシステム制御部１１は操作検出部１５からの信号に基づき、撮影者がレリーズ釦を操作し、撮影命令を出したか否かを判断する。撮影命令が出されていない場合、Ｓ１００７に処理を戻す。撮影命令が出された場合にはＳ１００９へ進む。Ｓ１００９では、Ｓ１００１で開始された一定のフレームレートでの露光動作が一度停止され、露光時間やＩＳＯ感度等の設定された撮影条件で露光動作が行われて、画像データの読み込み動作が行われる。焦点距離の異なるレンズを含む各撮像光学系３の撮像素子６の画像信号がそれぞれ画像処理部１２に出力される。
次のＳ１０１０では、Ｓ１００９で読み込まれた、撮像光学系ごとの画像データはメモリ部１３に記録される。Ａレンズに係る画像データが表示部１４に出力され、Ａ画像が画面に表示されて、一連の処理を終了する。

本実施形態では、異なる焦点距離を有する複数の撮像光学系を備えた撮像装置において、表示中の撮影画像内に存在する光源によって発生し得るゴーストについて、警告表示処理を行う。これにより、撮影後に表示画像とは異なる撮影画像の再生表示時に、撮影者がゴーストの発生に初めて気付くといった事態を未然に防止できる。

本実施形態では、ゴースト検出において、光源検出結果と予め記録されたゴースト発生位置情報に基づきゴースト発生の有無を判断する。これに限らず、次のように判断してもよい。表示部１４に表示されている撮影画像に対応するレンズの焦点距離に比べて、ゴースト発生の検出対象である画像に対応するレンズの焦点距離の方が長いことに着目する。ゴースト発生の有無について、各焦点距離のレンズによる撮影画像を比較することで判断することができる。例えば、図６（Ａ）で示すＡレンズの撮影画像（Ａ画像）内には、図６（Ｂ）で示すＣレンズの撮像画像（Ｃ画像という）の範囲が含まれる。そこで、システム制御部１１は、Ｃ画像の範囲に相当する図６（Ａ）の画角フレーム４０ｃの画像と、図６（Ｂ）で示すＣ画像とを比較し、Ｃ画像に高輝度を示す範囲があるか否かを判定する。つまり、Ｃ画像においてのみ、高輝度を示す範囲が存在する場合、閾値以上の輝度差を有する範囲にゴーストが発生していると判断される。なお、画像同士を比較する際、各レンズの焦点距離が異なるために各画像の画素数が違う場合、比較前に画素数を揃えるために画像変換が実行される。

また、本実施形態では４種類の焦点距離のレンズが４個ずつの、合計１６個のレンズにより構成される撮像装置について説明したが、焦点距離の異なるレンズが少なくとも２つ以上あればよい。例えば、第１焦点距離のレンズ１個と、それよりも焦点距離の短い第２焦点距離のレンズ１個で構成したカメラでも構わない（焦点距離の種類やレンズ数の如何は問わない）。

本実施形態では、図２に示すように撮像光学系３ごとにそれぞれ撮像素子６を設けた構成を例示したが、撮像光学系の数と撮像素子の数を一致させる必要はない。例えば、撮像光学系の結像位置に、各レンズを透過した全ての光線を受光可能な撮像素子を備える構成とする。撮像素子による光電変換後に読み込まれた画像データを、撮像光学系のそれぞれの受光範囲ごとに分割する処理が行われる。分割された画像データは、それぞれの撮像光学系の画像データとしてメモリ部に記録される。このように、Ｎ個の撮像光学系に対し、撮像部がＮ個未満の撮像素子を有する構成でも構わない。

［第２実施形態］
次に、本発明の第２実施形態を説明する。本実施形態にて第１実施形態の場合と同様の構成要素については既に使用した符号を用いることによって、それらの詳細な説明を省略し、主に相違点を説明する。
本実施形態では、システム制御部１１が、同じ焦点距離のレンズで撮影した画像のデータを加算合成し、ダイナミックレンジを拡大した画像データを生成する画像合成処理を実行する。同じ焦点距離のレンズによる撮影画像のうち、所定数（閾値）以上の画像にゴーストが発生している場合、警告表示処理が行われる。画像合成処理によって合成画像を生成する際には、ゴーストが発生している画像のデータに対し、加算合成時の重み付け係数を小さく設定することにより、ゴーストの影響による合成画像の画質劣化を抑制できる。

以下、図７を参照して、本実施形態に係る撮像装置の動作について説明する。図７は本実施形態における警告表示を含む撮影動作を説明するフローチャートである。Ｓ２００１からＳ２００３の処理は、図５のＳ１００１からＳ１００３と同様であるため説明を省略する。
Ｓ２００４でシステム制御部１１は、同じ焦点距離のレンズによる各撮影画像においてゴーストが発生しているか否かを判断する。ゴーストの発生の有無を示す情報が各レンズの撮影画像ごとにゴースト検出情報としてメモリ部１３に記憶される。これは、同じ焦点距離に設定されたレンズを有する光学系であっても、あるレンズではゴーストが発生しているにも関わらず、別のレンズではゴーストが発生していないことが起こり得るからである。その原因は、各レンズの光軸が異なることや、製造上のばらつきでレンズに個体差があること等である。高輝度の光源が検出された場合、Ｓ２００５へ移行し、高輝度の光源が検出されない場合、Ｓ２００７へ移行する。

Ｓ２００５でシステム制御部は、Ｓ２００４でゴースト発生していると判断した、同じ焦点距離のレンズによる撮影画像の数が、所定の閾値（Ｎ個と記す）以上であるか否かを判定する。判定の結果、ゴーストが発生している画像数がＮ個以上である場合、Ｓ２００６へ進み、図５のＳ１００５と同様に警告表示が行われる。一方、Ｓ２００５でゴーストを発生している画像数がＮ個未満であると判定された場合にはＳ２００７へ進み、図５のＳ１００６と同様に警告表示が解除される。例えば、所定の閾値Ｎを４に設定した場合に、同じ焦点距離のレンズ３３１、３３２、３３３、３３４の画像でゴーストが発生しているものとする。この場合、Ｓ２００６の警告表示が行われる。閾値Ｎについては、ユーザの操作指示に従って設定し、または撮影条件等に応じてカメラが自動で設定する（Ｎの上限値は同一の焦点距離の各レンズによる撮影画像の総数である）。Ｓ２００８ないしＳ２０１０の処理は、図５のＳ１００７ないしＳ１００９と同様であるため、説明を省略する。

Ｓ２０１１でシステム制御部１１は、Ｓ２００４でゴースト検出情報として記録された、各画像に関するゴーストの発生の有無を示す情報に基づき、画像合成処理を実行する。つまり、同じ焦点距離の各レンズにより得られる、複数の画像データに対して重み付け加算（加重演算）を行うことで、合成画像データが生成される。例えば、Ｃレンズによる撮影画像（Ｃ画像）の合成加算の場合に、レンズ３３３と３３４の各画像にゴーストが発生しているものとする。加算合成に際して、レンズ３３１と３３２の各画像データに対する重み付け係数ＫをそれぞれＫ３３１、Ｋ３３２とし、レンズ３３３と３３４の各画像データに対する重み付け係数ＬをそれぞれＬ３３３、Ｌ３３４とする。この場合、重み付け係数Ｋ３３１およびＫ３３２の値が「２」に設定され、重み付け係数Ｌ３３３およびＬ３３４の値が「０」に設定される。重み付け係数Ｋ３３１、Ｋ３３２およびＬ３３３、Ｌ３３４を用いて同じ画像領域の画素出力値が加算される。これは、ゴーストが発生していると判定されたレンズ３３３と３３４の各画像のデータは加算に用いずに、ゴーストが発生していないと判定されたレンズの画像データを用いて補間していることと等価である。この結果、合成画像に対しゴーストの影響による画像劣化の度合を低減できる。なお、画像にゴーストが発生していると判定されたレンズに係る重み付け係数Ｌは、画像にゴーストが発生していないと判定されたレンズに係る重み付け係数Ｋよりも小さい値に設定される（Ｌ＜Ｋ）。

次のＳ２０１２では、Ｓ２０１０で取得された画像データ及びＳ２０１１で生成された合成画像データがメモリ部１３に記録される。表示部１４の画面上には、ユーザ操作指示による選択または自動選択により、いずれかの画像が表示されて一連の処理を終了する。
本実施形態では、同じ焦点距離のレンズによる撮影画像のうち、所定数以上の画像にゴーストが発生している場合に、警告表示が行われる。画像合成処理では、ゴーストが発生していることが判定された画像に対する重み付け係数を相対的に小さくして加重演算が行われる。よって、ゴーストの影響による合成画像の画質劣化を抑えつつ、ゴーストが所定数以上の画像に発生している場合にのみ、ユーザへの警告表示が実行される。ユーザへの警告表示が頻繁に発生することによる煩わしさがなくなり、撮影の自由度を向上させることができる。なお、その他の画像合成として、ダイナミックレンジの拡大画像と同様に、同じ焦点距離の各レンズの撮影画像を加算合成した後で、加算数で割り込んだ平均値を取得してＳ／Ｎ比を向上させた画像データを生成してもよい。この場合にも重み付け加算は有効である。

本実施形態では、画像合成によりダイナミックレンジを拡大させた画像を生成する例について説明したが、次のように画像合成を行ってもよい。まず、システム制御部１１は、ゴーストが発生している画像に対し、同じ焦点距離の各レンズの画像でゴーストの発生していない画像との比較を行う。この比較により、輝度が一方のみ極端に高い範囲がゴースト発生範囲として特定される。そして、ゴーストの発生している画像において、ゴースト発生範囲の画素出力を、ゴーストの発生していない画像にて対応する範囲内の画素出力で補間する処理が実行され、補間処理後のデータがメモリ部１３に記録される。これにより、ゴーストの発生した画像におけるゴースト発生範囲について、光軸位置が異なることによる視差の情報は失われるが、画質の低下を抑制することができる。

１．カメラ
２．光学群
３．撮像光学系
６．撮像素子
１１．カメラシステム制御部
１２．画像処理部
１３．メモリ部
１４．表示部

Claims (10)

1. 焦点距離の異なる複数の撮像光学系を備える撮像装置であって、
   前記複数の撮像光学系からの光を受光して光電変換を行う撮像素子と、
   前記撮像素子から信号を取得し、前記複数の撮像光学系によりそれぞれ撮像された複数の画像データを生成する画像生成手段と、
   前記画像生成手段により生成された複数の画像データから選択される画像データを取得して画像を表示する表示手段と、
   前記表示手段により表示されていない画像にゴーストが発生している場合、当該ゴーストの発生を通知する制御を行う制御手段を備えることを特徴とする撮像装置。
2. 前記制御手段は、前記ゴーストの発生範囲を前記表示手段により表示させる制御を行うことを特徴とする請求項１に記載の撮像装置。
3. 焦点距離の異なる第１および第２の撮像光学系を含む多眼光学群を備え、
   前記制御手段は、前記第１の撮像光学系により撮像された画像データと前記第２の撮像光学系により撮像された画像データとを比較し、閾値以上の輝度差を有する範囲を検出した場合にゴーストが発生していると判断することを特徴とする請求項１または２に記載の撮像装置。
4. ゴーストが発生し得る、画像内の位置情報を記憶する記憶手段を備え、
   前記制御手段は、前記記憶手段から前記位置情報を取得し、前記画像生成手段により生成された画像データについて検出した画像内における光源像の位置が前記位置情報の示す範囲内である場合、ゴーストが発生していると判断することを特徴とする請求項１または２に記載の撮像装置。
5. 前記記憶手段は、前記位置情報として、ゴーストが発生し得る、画像内の範囲を示す第１情報、および当該範囲の外側であってゴーストの予測範囲を示す第２情報を記憶しており、
   前記制御手段は、ゴーストが発生していると判断した場合、前記記憶手段から前記第２情報を取得して、前記表示手段により表示される画像に前記ゴーストの予測範囲を表示させる制御を行うことを特徴とする請求項４に記載の撮像装置。
6. 前記制御手段は、検出した前記光源像に対してゴーストの警告表示を重ねて表示させる制御を行うことを特徴とする請求項４または５に記載の撮像装置。
7. 前記複数の撮像光学系はそれぞれ、焦点距離の同じ複数のレンズを有しており、
   前記制御手段は、焦点距離が同じレンズによりそれぞれ撮像された画像のうち、閾値以上の数の画像にゴーストが発生している場合、当該ゴーストの発生を通知する制御を行うことを特徴とする請求項１ないし６のいずれか１項に記載の撮像装置。
8. 前記制御手段は、前記焦点距離が同じレンズにより撮像された複数の画像データのいずれかの画像にゴーストが発生している場合、前記複数の画像データに対して重み付けにより画像合成する制御を行うことを特徴とする請求項７に記載の撮像装置。
9. 前記制御手段は、前記複数の撮像光学系の焦点距離にそれぞれ対応する画角フレームの表示枠を前記表示手段に表示させる制御を行うことを特徴とする請求項１ないし８のいずれか１項に記載の撮像装置。
10. 焦点距離の異なる複数の撮像光学系を備える撮像装置にて実行される制御方法であって、
    前記複数の撮像光学系からの光を撮像素子により受光して光電変換を行うステップと、
    前記撮像素子から信号を取得し、前記複数の撮像光学系によりそれぞれ撮像された複数の画像データを生成する画像生成ステップと、
    前記画像生成ステップで生成された複数の画像データのいずれかを選択して画像を表示手段に表示する表示ステップと、
    前記表示手段により表示されていない画像にゴーストが発生している場合、当該ゴーストの発生を通知する制御ステップを有することを特徴とする撮像装置の制御方法。
    
    
    

Images