JP5256912B2 - 電子カメラ - Google Patents

Description

本発明は、高フレームレート撮影機能を備えた電子カメラに関する。

近年では、撮像素子の高速化が進んでおり、高フレームレート撮影機能を搭載した電子カメラも一般化している。

高フレームレート撮影機能は、動画撮影にはもちろん、静止画の撮影にも利用可能である。静止画への適用では、例えば、適正露光時間を２０フレームに分割露光し、取得した２０フレームの画像データを被写体のずれを補正しつつ合成することにより、各フレームの撮影におけるノイズを平均化し、高画質の静止画を生成する技術がある(特許文献１参照)。

また、電子カメラに搭載される撮像素子の高感度化も進んでおり、高感度の撮像素子を搭載した電子カメラでは、フラッシュを使わなくても、暗い被写体を十分な明るさで撮影できるようになっている。これに伴って、フラッシュを使用しない撮影を好む利用者も増加している。

一方、フラッシュを利用した撮影については、鏡やガラスのようにフラッシュ光を高い反射率で反射する物体が撮像範囲に含まれていることを撮像前に検出し、利用者に警告することで撮影画像にフラッシュ光が写りこむ現象を防ぐ技術が提案されている(特許文献２参照)。
特開２００６−８６９７８号公報 特開２００７−２７４４３９号公報

ところで、記者会見の撮影や結婚式の撮影のように、多数の撮影者が同一の被写体をほぼ同時に撮影しようとする場合に、他の撮影者の撮影に伴うフラッシュ光によって、被写体が意図しない方向から照明されている状態で撮影を行ってしまう場合がある。このように他人のフラッシュ光に意図せずに同期したいわゆる他人シンクロで撮影された画像の多くは、撮影者が想定していない方向から被写体が照明されているために、撮影者が期待したようには被写体が表現されない。

このような現象は、利用者に経験的に知られており、従来は、利用者が、ほぼ同一の場面で多数の撮影を行って、他人シンクロの影響を受けていない画像を選ぶことで対策されていた。

しかしながら、上述したような記者会見や結婚式などでは、多くの撮影者が撮影したいと考える場面が共通している。したがって、ほぼ同一の場面で多数の撮影を行ったとしても、最もよい構図となった瞬間の撮影が他人シンクロとなってしまう場合もあり、結果的にシャッタチャンスを逃してしまう場合もあった。

なお、上述した特許文献２の技術では、撮影前に予備的にフラッシュを発光させ、そのときに取得した画像を解析した結果に基づいて、鏡やガラスなどに対応する異常反射領域の有無を判定しているので、他人シンクロによって被写体が必要以上に照明された場合に適用することはできない。

本発明は、他の撮影者によるフラッシュ発光の有無にかかわらず、適正露出の撮影画像を安定的に取得可能な電子カメラを提供することを目的とする。

上述した目的は、以下に開示する電子カメラによって達成することができる。

この電子カメラの特徴は、所定時間内で被写体を複数回撮影して複数の画像を取得する撮像手段と、撮像手段により取得された複数の画像から、所定の閾値を超える明るさの領域を含む画像を検出する検出手段と、複数の画像のうち、検出手段で検出された画像を除外した画像を合成して合成画像を生成する合成手段とを備え、検出手段は、撮像手段による画像の取得に先立って、測光部で得られた測光値に基づき所定の閾値を決定し、撮像手段は、検出手段により検出された画像の数に応じた回数の追加撮影を行い、合成手段は、追加撮影で得られた画像を含めて合成処理を行う点にある。

上述した基本構成を備えた電子カメラによれば、他の撮影者によるフラッシュ発光の有無にかかわらず、適正露出で撮影された撮影画像に相当する合成画像を安定的に生成することができる。

以下、図面に基づいて、本発明の実施形態について詳細に説明する。
(実施形態１)
図１に、本発明の一実施形態の電子カメラを示す。

図１に示した電子カメラの撮影光学系１１によって撮像素子１２の光電変換面上に結像された被写体像を表す画像信号は、信号処理部１３によって撮影感度に対応するゲイン調整などを施された上でデジタルデータに変換される。撮像素子１２の各画素に対応するデジタルデータからなる画像データは、メモリ１４を介して画像処理部２０に送られ、必要な画像処理が施された後に、記録インタフェース(Ｉ／Ｆ)１７を介してメモリカード１８など記憶媒体に記録される。

図１に示した撮影制御部１５は、操作パネル１６を介して利用者が入力した指示に従って、撮像素子１２や信号処理部１３および画像処理部２０に必要な設定情報を渡すとともに、これらの各部の動作を制御する。

図１に示した画像処理部２０には、画像合成処理のために、画像判別部２１、画像合成部２２および画像調整部２３と、これらの各部の動作を制御する合成制御部２４とが備えられている。

操作パネル１６を介して利用者が高フレームレート撮影機能(例えば、１秒間に数百から１千フレームの画像を取得可能な機能)を静止画撮影に利用する旨を指示したときには、撮影制御部１５からの指示に応じて、適正露光時間Ｓにわたって、撮像素子１２で実現可能なフレームレートに対応する分割露光時間ｄごとに、信号処理部１３により画像信号が読み出され、生成された画像データが画像処理部２０の処理に供される(図２参照)。つまり、高フレームレート撮影では、図２に示すように、適正露光時間Ｓを、高フレームレート撮影機能適用時のフレーム読出間隔ｄで除算して得られる数(例えば、Ｎ)回の撮影が行われ、Ｎフレームの画像が得られる。なお、図２では、各分割露光撮影に対応する露光区間を符号「露光」に順番を示す数字を付して示し、また、各分割露光撮影で取得された画像にも同じ番号を付して示した。

図１に示した画像処理部２０には、このようにして各分割露光に対応して取得された画像が入力され、画像判別部２１によって後述するようにして異常画像と合成対象画像とが判別されて、合成対象画像のみが合成処理部２２によって合成される。また、全ての合成対象画像の合成処理が完了した後に、画像調整部２３により、後述するようにして合成画像の明るさを調整する処理が行われ、調整後の合成画像が画像処理部２０の出力画像として出力される。

以下、上述したような分割露光で得られた画像を合成する処理について詳細に説明する。

図３に、画像合成処理を表す流れ図を示す。

例えば、操作パネル１６に備えられたレリーズボタンが半押しされたことが通知されたときに、合成制御部２４は、露出制御のための測光処理で得られた測光値を撮影制御部１５から取得する(ステップＳ１)。次に、合成制御部２４は、取得した測光値に基づいて、異常画像とが合成対象画像とを判別するための判別閾値Ｔｈと明るさ調整処理のための調整目標値Ｅとを求め、判別閾値Ｔｈを画像判別部２１に渡すとともに、調整目標値Ｅを画像調整部２３に渡す(ステップＳ２)。このとき、合成制御部２４は、例えば、取得した測光値に基づいて、画面に捉えられた被写体の測光対象位置の輝度を推定し、この推定結果に基づいて、判別閾値Ｔｈおよび調整目標値Ｅを求めることができる。判別閾値Ｔｈは、推定された被写体の輝度に基づいて、分割露光で得られる画像の対応する画素の画素値を算出し、この画素値に所定の許容範囲を加えた値に決定すればよい。また、調整目標値Ｅは、推定された被写体輝度の物体を適正露光で撮影した場合の明るさに基づいて決定することができる。

合成制御部２４は、レリーズボタンの半押しが継続している間は(ステップＳ３の肯定判定)、ステップＳ１〜Ｓ３を繰り返し、測光値の変化に応じて判別閾値Ｔｈおよび調整目標値Ｅを更新する。

その後、半押し状態が解除されて(ステップＳ３の否定判定)、レリーズボタンが全押しされたときに(ステップＳ４の肯定判定)、分割露光による画像取得に応じた処理が開始される。

図２に示した各分割露光(露光１、…、露光Ｎ)で画像１〜Ｎが取得されるごとに(ステップＳ５)、画像判別部２１により、上述した閾値Ｔｈに基づいて、異常画像であるかが合成対象画像であるかが判別される(ステップＳ６)。画像判別部２１は、例えば、メモリ１４を参照して各分割露光で得られた画像の測光位置に対応する画素の画素値を取得し、この画素値と上述した判別閾値Ｔｈとの比較結果に基づいて、合成対象画像であるか異常画像であるかを判断することができる。

図２に示した画像１、２、３、５のように、分割露光時間から推定される程度の明るさで取得された画像については、画像判別部２１により合成対象画像と判断され(ステップＳ６の否定判定)、これに応じて、合成処理部２２により、合成画像の生成処理が行われる(ステップＳ７)。このとき、合成処理部２２は、従来の高フレームレート撮影における合成画像生成処理と同様に、取得された合成対象画像の画素値を画素ごとに積算していく処理を行えばよい。更に、合成対象の画像相互の位置ずれを補正して合成することにより、生成される合成画像の画質を向上することができる。

一方、図２に示した画像４のように、対応する露光区間(図２において、「露光４」として示した)において他の撮影者によるフラッシュ発光があった画像では、測光位置に対応する画素の画素値が上述した判別閾値Ｔｈを超えている。この場合は、画像判別部２１により、異常画像として合成対象画像から除外され(図３のステップＳ６の肯定判定)、合成処理はスキップされる。

上述した画像判別処理と合成処理とを分割露光で画像が取得されるごとに繰り返すことにより(ステップＳ５〜ステップＳ８)、各分割露光で取得されたＮフレーム画像から異常画像を除外した合成対象画像を選択的に合成することができる。このように、図２に示した画像４のように、意図した照明条件とは明らかに異なる照明条件で取得されてしまった異常画像を除外して合成処理を行うことにより、所望の照明条件の下で適正露光を適用して取得された画像に相当する合成画像を得ることができる。

図１に示した電子カメラでは、その後、分割露光による撮影が完了したときに(ステップＳ８の肯定判定)、画像調整部２３は、上述した調整目標値Ｅを用いて、合成画像の明るさを調整する処理を行う(ステップＳ９)。例えば、画像調整部２３は、明るさ調整処理として、合成画像の測光位置に対応する画素の明るさを調整目標値Ｅで示される明るさに近づけるように、合成画像船体の画素の画素値を調整する処理を行うことができる。

このように、異常画像を除外して生成された合成画像について、合成対象の画像が不足した分の明るさ調整を行うことにより、合成画像を更に理想的な画像に近づけ、所望の照明条件の下で適正露光を適用して取得された画像と同等な合成画像を得ることができる。

なお、異常画像の判別処理は、分割露光で取得された複数の画像から想定される明るさよりも明るい画像を判別するものであればよい。例えば、画面内に配置された複数の測光点に対応する測光値に基づいて、これらに対応する画素値それぞれに対する判別閾値を求めて、異常画像の判別に用いることもできる。

また、顔検出機能など、電子カメラに搭載されている他の画像処理機能と組み合わせて、より確実な異常画像の判別を実現することも可能である。

(実施形態２)
図４に、本発明の別実施形態の電子カメラを示す。

なお、図４に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図４に示した画像処理部２０は、顔認識処理部２５を備えており、合成制御部２４は、図３に示したステップＳ１の測光値取得処理に代えて、半押し状態が継続している間に顔認識処理部２５によって検出された人物の顔の領域を示す位置情報を取得する。合成制御部２４は、取得した位置情報とともに、人物の顔の明るさについての標準値を考慮して決定した判別閾値Ｔｈを画像判別部２１に渡し、異常画像と合成対象画像とを判別する処理に供する。

画像判別部２１は、例えば、メモリ１４に保持された取得画像を参照し、合成制御部２４を介して受け取った位置情報で示された領域の画素値と、上述した人物の顔の明るさが反映された判別閾値Ｔｈとの比較結果に基づいて異常画像を判別することができる。この場合に、画像判別部２１は、取得画像において顔に対応する領域の画素値が判別閾値Ｔｈを超えている場合に、その画像を異常画像として判別すればよい。

このようにして、顔認識結果を利用して、異常画像と合成対象画像とを判別することができる。この場合は、背景や人物の服などに対応する部分に輝度が高い部分があっても、このような部分の存在によって取得画像が異常画像として合成対象から除外されることはない。これにより、主要な被写体である人物が意図しないフラッシュ光で照明された瞬間に取得された画像のみを異常画像として合成対象から除外することができる。

また、人物の顔の明るさを基準として、合成画像の明るさを調整することも可能である。

例えば、画像調整部２３は、合成制御部２４から人物の顔が捉えられた領域を示す位置情報とともに、人物の顔の明るさについての標準値が反映された調整目標値Ｅを受け取り、位置情報で示された領域の明るさを調整目標値Ｅに近づけるように、明るさ調整処理を行えばよい。

一方、分割露光で取得された複数の画像を蓄積しておける程度の容量をメモリ１４が備えている場合には、これらの画像を互いに比較することにより、異常画像を確実に検出することができる。

(実施形態３)
図５に、本発明の別実施形態の電子カメラを示す。

なお、図５に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図５に示したメモリ１４には、分割露光で取得されたＮフレームの画像データが蓄積される。また、画像処理部２０は、上述した画像判別部２１および画像合成部２２とは異なる画像判別部２６および画像合成部２７を備えて構成されている。この画像処理部２０では、画像調整部２３を設ける代わりに、画像合成部２７における画像合成処理において、後述するように異常画像として除外した分の画像を補完することで、適正露光に対応する明るさの画像を生成する。

画像判別部２６は、撮影制御部１５から分割露光による撮影が完了した旨が通知されたときに、メモリ１４に保持されたＮフレームの画像データを互いに比較する。そして、他の画像と乖離した画素値を持つ画像を異常画像として判別し、判別した異常画像をメモリ１４から削除する。これにより、メモリ１４には、合成対象画像のみが残され、これらの合成対象画像を画像合成部２７の処理に供することができる。

なお、画像判別部２６により、メモリ１４に蓄積されたＮフレームの画像について平均的な明るさを求め、この平均的な明るさからの偏差が大きい画像を異常画像として検出することも可能である。

このようにして、分割露光で取得された各画像の全ての画素情報を考慮することにより、異常画像を極めて高い精度で判別することができる。

次に、上述したようにしてメモリ１４に残された合成対象の画像を利用して、異常画像として除外した分の画像を補完する方法について説明する。

画像合成部２７は、例えば、画像判別部２６から異常画像として削除された画像の番号を受け取り、その画像の前後いずれかの画像を複写して補完画像とし、これを削除された画像の代わりに合成することができる。例えば、図６に示すように、画像４が異常画像として削除された場合には、その前後の画像３あるいは画像５を複写し(図６の例では、画像５を複写している)、複写した画像を補完画像として、合成対象画像に含めればよい。

ここで、異常画像の前後の画像は、異常画像が取得された分割露光で取得することが期待された画像と特に強い相関を持っている。したがって、上述したような補完画像を異常画像の代わりに合成することで、合成画像の明るさを適正露出で取得が期待される明るさに近づけるとともに、異常画像が取得された分割露光で取得することが期待された画像を合成した場合とほぼ同等の合成画像が得られる。

なお、異常画像の後に取得された画像を複写して合成対象に含めることで画像を補完する方法は、図５に示したように、メモリ１４に取得した全ての画像を保持してから合成処理を実行する場合に限らず、図２に示したように、分割露光によって画像を取得するごとに合成処理を進める処理方法でも適用可能である。

また一方、予め余分の画像を取得しておき、削除された異常画像の分だけ余分に取得した画像を合成することも可能である。

例えば、毎秒千フレームの撮影が可能な電子カメラで、適正露光時間５０分の１秒を適用して高フレームレート撮影を行う場合に、図７に示すように、本来の分割露光で取得される２０フレームの画像に加えて、予備画像として２〜３フレームの画像を取得して(図７の例では、２フレームの予備画像を取得している)、異常画像の発生による合成対象画像の減少に備えることができる。

この場合は、画像判別部２１で判別された異常画像(例えば、画像４)に代えて、予備画像として取得された画像２１を合成対象画像に含めることにより、異常画像が取得された分割露光で取得することが期待された画像を合成した場合とほぼ同等の合成画像が得られる。このように、予備画像を補完画像として用いる場合には、合成対象画像に含まれる全ての画像は、補完画像を含めて互いに異なっているので、ノイズの平均化による画質の向上についても、異常画像が検出されなかった場合の合成画像と同等の効果を期待することができる。

また、上述したように、追加取得した画像を補完画像として合成対象画像に含める手法は、分割露光によって画像を取得するごとに異常画像を検出する判別手法を採用した場合にも適用可能である。

例えば、画像判別部２１によって異常画像が検出されるごとに、この検出結果を撮影制御部１５に通知し、撮影制御部１５により、追加画像を取得するための制御を行うことで、検出された異常画像の数だけの追加画像(例えば、図７の画像２１)を取得することができる。

この場合は、異常画像が検出されなかった場合には、追加撮影が発生しない。したがって、異常画像が検出されなかった場合には、本来の適正露光時間で撮影を完了することができ、後の撮影への影響を抑えることができる。

なお、２〜３フレームの予備画像あるいは追加画像の取得に要する時間は、毎秒千フレームの撮影が可能な電子カメラでは２〜３ｍｓｅｃであるので、本来の適正露光時間(例えば、５０分の１秒＝２０ｍｓｅｃ)に対して１０数パーセント露光時間が延長されるに過ぎない。したがって、いずれの場合でも、予備画像の取得あるいは追加画像の取得を行ったことが、次の撮影に支障をきたすおそれは少ない。

その一方、他の撮影者のフラッシュ発光を意識することなく、所望のタイミングでしかも所望の照明条件で撮影した画像と同等の画像を確実に取得することができるので、記者会見や結婚式の撮影のように、シャッタチャンスを逃したくない撮影で絶大な効果を発揮することができる。

以上のような各実施形態による電子カメラによれば、撮像素子１２で取得した複数の画像から、画像処理部２０によって検出された異常画像を除去することで、所定の閾値を超える明るさの領域を含まない画像のみを合成処理の対象とすることができる。

これにより、高フレームレート撮影機能を利用して、分割露光して取得した複数の画像から合成画像を生成する際に、いわゆる他人シンクロ状態で取得された画像を異常画像として合成対象の画像から除外することができる。つまり、意図した照明条件で被写体が照明されている状態で取得した画像のみを、合成画像の生成処理に供することができる。

したがって、記者会見や結婚式のように、多数の撮影者が同一の被写体を撮影しようとする場所でも、他の撮影者によるフラッシュ発光の有無にかかわらず、適正露出で撮影された撮影画像に相当する合成画像を安定的に生成することができる。

これにより、上述したような場面の撮影でも、狙ったシャッタチャンスでの撮影で、期待に近い画像を取得できる可能性が高くなるので、無用に多数の撮影を行ったり、また、これに伴う膨大な撮影画像から所望の画像を取捨選択したりといった煩雑な作業から利用者を解放することができる。

本発明の一実施形態の電子カメラを示す図である。 異常画像を除外した合成処理を説明する図である。 画像合成処理を表す流れ図である。 本発明の別実施形態の電子カメラを示す図である。 本発明の別実施形態の電子カメラを示す図である。 取得画像の複写を用いる画像補完処理を説明する図である。 取得した予備画像を用いた画像補完処理を説明する図である。

符号の説明

１１…撮影光学系、１２…撮像素子、１３…信号処理部、１４…メモリ、１５…撮影制御部、１６…操作パネル、１７…記録インタフェース(Ｉ／Ｆ)，１８…メモリカード、２０…画像処理部、２１，２６…画像判別部、２２，２７…画像合成部、２３…画像調整部、２４…合成制御部、２５…顔認識処理部。

Claims (6)

1. 所定時間内で被写体を複数回撮影して複数の画像を取得する撮像手段と、
   前記撮像手段により取得された前記複数の画像から、所定の閾値を超える明るさの領域を含む画像を検出する検出手段と、
   前記複数の画像のうち、前記検出手段で検出された画像を除外した画像を合成して合成画像を生成する合成手段と
   を備え、
   前記検出手段は、前記撮像手段による画像の取得に先立って、測光部で得られた測光値に基づき前記所定の閾値を決定し、
   前記撮像手段は、前記検出手段により検出された画像の数に応じた回数の追加撮影を行い、
   前記合成手段は、前記追加撮影で得られた画像を含めて合成処理を行う
   ことを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   前記検出手段は、前記複数の画像中の前記被写体の特定部分の明るさにより前記所定の閾値を超える明るさの領域を含む画像を検出することを特徴とする電子カメラ。
3. 請求項２に記載の電子カメラにおいて、
   前記特定部分は人物の顔であり、前記所定の閾値は、人物の顔における明るさの標準値に基づいて決定されることを特徴とする電子カメラ。
4. 請求項１に記載の電子カメラにおいて、
   前記合成手段は、生成した合成画像を構成する各画素の明るさを、測光手段で得られた測光結果に基づいて調整する調整手段を備えた
   ことを特徴とする電子カメラ。
5. 請求項１に記載の電子カメラにおいて、
   前記合成手段は、前記複数の画像中の前記被写体の特定部分における明るさに基づいて、前記合成画像を構成する各画素の明るさを調整する調整手段を
   備えたことを特徴とする電子カメラ。
6. 請求項５に記載の電子カメラにおいて、
   前記特定部分は人物の顔であり、前記調整手段は、前記人物の顔における明るさの標準値に基づいて、前記合成画像を構成する各画素の明るさを調整することを特徴とする電子カメラ。

Images