JP5412953B2 - 撮像装置 - Google Patents

Description

本発明は、撮像装置に関し、実質的なダイナミックレンジを拡大させるために、複数枚の画像を合成する撮像装置に関する。

従来、露光条件の異なる状態で複数回の撮像動作を行い、得られた画像を合成することにより、実質的なダイナミックレンジを拡大させる撮像装置が提案されている。

特許文献１は、フレーム間の画像のズレに基づいて、合成可能な領域を注出し、かかる領域の画像を合成して、実質的なダイナミックレンジを拡大させる撮像装置を開示する。

特開平５−７３３６号公報

しかし、画像ズレが発生した場合には、位置合わせを行って補正しても、撮像装置との距離が異なる領域の総てを一致させることは出来ない。例えば、画像ズレの全体的に少なくなるように位置合わせを行うと、全体的に画像ズレは少ないが、全体的に画像ズレが解消されていない状態の合成画像が得られる。

したがって本発明の目的は、実質的なダイナミックレンジを拡大させるために、特定の領域についての画像ズレを少なくした状態の合成画像を得る撮像装置を提供することである。

本発明に係る撮像装置は、複数回行われる撮像動作のために、光学像を撮像する撮像素子と、複数回の撮像動作で得られた画像の合成を行い、合成画像を生成する制御部とを備え、制御部は、複数回の撮像動作で得られた画像それぞれにおける測距で特定される合焦領域の画像、測光で特定される所定の明るさ領域の画像、画像処理におけるホワイトバランス情報や色情報に基づいて特定される所定の色領域の画像、顔認識処理で特定される顔領域の画像のいずれかに基づいて、合焦領域、所定の明るさ領域、所定の色領域、及び顔領域のいずれかの領域における画像ズレを補正する位置合わせを行った後に、画像の合成を行う。

撮像装置の保持姿勢の変化などにより、撮像素子の移動が発生した場合、複数回の撮像動作で得られた画像間には、被写体像の結像面位置が一致しない画像ズレが発生する。画像ズレが発生した場合には、位置合わせを行って補正しても、撮像装置との距離が異なる領域の総てを一致させることは出来ないが、合焦領域などを主要被写体を含む領域と判断し、かかる領域の画像ズレを少なくするように位置合わせを行うことで、かかる領域が鮮明な画像を得ることが可能になる。

好ましくは、制御部は、複数回の撮像動作で得られた画像それぞれにおける合焦領域の画像を比較し、合成画像を得るための位置合わせを行い、位置合わせが出来なかった場合には、顔領域の画像を比較し、合成画像を得るための位置合わせを行い、位置合わせが出来なかった場合には、所定の色領域の画像を比較し、合成画像を得るための位置合わせを行い、位置合わせが出来なかった場合には、所定の明るさ領域の画像を比較し、合成画像を得るための位置合わせを行い、位置合わせが出来なかった場合には、画像の全領域を比較し、合成画像を得るための位置合わせを行う。

本発明に係る撮像装置は、複数回行われる撮像動作のために、光学像を撮像する撮像素子と、複数回の撮像動作で得られた画像の合成を行い、合成画像を生成する制御部とを備え、制御部は、複数回の撮像動作で得られた画像それぞれにおける測距で特定される合焦領域の画像、測光で特定される所定の明るさ領域の画像、画像処理におけるホワイトバランス情報や色情報に基づいて特定される所定の色領域の画像、顔認識処理で特定される顔領域の画像の少なくとも２つの組み合わせに基づいて特定された領域における画像ズレを補正する位置合わせを行った後に、画像の合成を行う。

撮像装置の保持姿勢の変化などにより、撮像素子の移動が発生した場合、複数回の撮像動作で得られた画像間には、被写体像の結像面位置が一致しない画像ズレが発生する。画像ズレが発生した場合には、位置合わせを行って補正しても、撮像装置との距離が異なる領域の総てを一致させることは出来ないが、合焦領域などの組み合わせに基づいて主要被写体を含む領域を特定し、かかる領域の画像ズレを少なくするように位置合わせを行うことで、かかる領域が鮮明な画像を得ることが可能になる。

好ましくは、制御部は、合焦領域、明るさ領域、所定の色領域、及び顔領域に重み付けを行った情報に基づいて、画像ズレを補正する領域を特定する。

また、好ましくは、複数回の撮像動作は、露光条件の異なる状態で行われる。

以上のように本発明によれば、実質的なダイナミックレンジを拡大させるために、特定の領域についての画像ズレを少なくした状態の合成画像を得る撮像装置を提供することができる。

本実施形態における撮像装置の構成図である。 複数回の撮像動作、及び合成処理順を示すフローチャートである。 ２つの画像と、２つの画像に基づく３種類の合成画像との関係を示す図である。 合焦領域などの重み付け、及びこれらから特定される主要被写体を含む領域を示す図である。

以下、本実施形態について、図を用いて説明する。撮像装置１は、デジタルカメラであり、操作部１１、ＡＦ部１３、ＡＥ部１５、絞り１７、レンズ１９、ミラー２１、シャッタ２３、ＣＣＤなどの撮像素子を含む撮像部２５、ＤＳＰやＣＰＵなどの信号処理部２７、内部メモリ２９、フラッシュメモリ３１、外部メモリ３３、及び表示部３５を備える。

操作部１１は、レリーズボタン、及び使用モード選択キーを有する。

操作部１１に含まれるレリーズボタン（不図示）を半押しすることにより、測光スイッチがオン状態にされ、ＡＦ部１３による測距や、ＡＥ部１５による測光が行われる。測距結果は、ＡＦ部１３から信号処理部２７に出力され、合焦動作に使用される。測光結果は、ＡＥ部１５から信号処理部２７に出力され、露光条件（シャッタ速度や絞り）の算出に使用される。また、本実施形態では、ＡＦ部１３による測距で特定される合焦領域や、ＡＥ部１５による測光で特定される所定の明るさ領域（例えば、中間的な輝度の領域や、適切な露光が得られ主要な被写体であると認識される領域）が、複数回の撮像動作で得られた画像を合成するための位置合わせに使用される。

また、レリーズボタンを全押しすることにより、レリーズスイッチがオン状態にされ、撮像部２３などによる撮像動作が行われる。撮像動作では、所定のタイミングで、絞り１７の開閉、ミラー２１のアップ／ダウン、シャッタ２３の開閉、及び撮像部２５の露光が行われる。

操作部１１に含まれる使用モード選択キーを操作することにより、第１使用モードと、第２使用モードとが切り替えられる。撮像装置１が第１使用モードにされている場合は、露光条件が異なる状態で連続して複数回の撮像動作が行われ、複数回の撮像動作で得られた複数の画像を合成して、実質的にダイナミックレンジが広い画像を得る。撮像装置１が第２使用モードにされている場合は、通常の撮像動作が行われる。

信号処理部２７は、撮像動作において撮像部２５で得られた画像信号について、画像処理を施す。また、信号処理部２７は、該画像信号を、画像処理を施さない状態または画像処理を施した状態で、外部メモリ３３に記録させる。また、信号処理部２７は、画像処理を施して得られた画像を、表示部３５に表示させる。

本実施形態では、画像処理におけるホワイトバランス情報や色情報に基づいて特定される肌色など所定の色領域、及び画像処理における顔認識処理で特定される顔領域が、複数回の撮像動作で得られた画像を合成するための位置合わせに使用される。

信号処理部２７は、撮像装置１が第１使用モードにされている場合に、露光条件が異なる状態で連続して複数回の撮像動作を行うように各部を制御し、複数回の撮像動作で得られた画像信号について画像処理を施し、画像処理を施して得られた複数の画像の合成し、一枚の合成画像を生成する。

すなわち、信号処理部２７は、複数回の撮像動作で得られた画像それぞれにおけるＡＦ部１３による測距で特定される合焦領域の画像、ＡＥ部１５による測光で特定される所定の明るさ領域の画像、画像処理におけるホワイトバランス情報や色情報に基づいて特定される肌色など所定の色領域の画像、顔認識処理で特定される顔領域の画像を比較し、合成画像を得るための位置合わせ（画像ズレの補正）を行う。

具体的には、信号処理部２７は、複数回の撮像動作で得られた画像それぞれにおける合焦領域の画像を比較し、合成画像を得るための位置合わせを行う。位置合わせが出来なかった場合には、顔領域の画像を比較し、合成画像を得るための位置合わせを行う。位置合わせが出来なかった場合には、所定の色領域の画像を比較し、合成画像を得るための位置合わせを行う。位置合わせが出来なかった場合には、所定の明るさ領域の画像を比較し、合成画像を得るための位置合わせを行う。位置合わせが出来なかった場合には、画像の全領域を比較し、合成画像を得るための位置合わせを行う。位置合わせ後、信号処理部２７は、画像の合成を行う。

内部メモリ２９は、画像処理におけるデータの一時記録に使用される。特に、第１使用モードにおいては、合成に使用する複数の画像や、複数回の撮像動作で得られた画像それぞれにおける合焦領域、所定の明るさ領域、所定の色領域、及び顔領域の情報を一時記録する。フラッシュメモリ３１は、画像処理など撮像装置１における各動作を行うためのプログラムを記録する。特に、画像位置合わせ処理を含む、複数回の撮像動作で得た画像の合成処理プログラムがインストールされる。

次に、第１使用モードにおける複数回の撮像動作、及び合成処理順について、図２のフローチャートを用いて説明する。

撮像装置１が第１使用モードにされた状態で、レリーズボタンが全押しされると、ステップＳ１１で、信号処理部２７は、レリーズボタンが半押しされた時に行われた測距結果に基づいて、合焦領域の情報を内部メモリ２９に一時記録させる。ステップＳ１２で、信号処理部２７は、レリーズボタンが半押しされた時に行われた測光結果に基づいて、適正露光領域の情報を内部メモリ２９に一時記録させる。

ステップＳ１３で、信号処理部２７は、撮像動作を行うために撮像装置１の各部の制御を行い、撮像動作が行われる。ステップＳ１４で、画像処理におけるホワイトバランス情報や色情報に基づいて特定される肌色など所定の色領域の情報を内部メモリ２９に一時記録させる。ステップＳ１５で、顔認識処理で特定される顔領域の情報を内部メモリ２９に一時記録させる。ステップＳ１６で、信号処理部２７は、合成画像を得るために設定した複数回の撮像動作が行われたか否かを判断する。行われた場合は、ステップＳ１７に進められ、行われていない場合は、ステップＳ１１に戻され、露光条件が異なる次の撮像動作が行われる。

ステップＳ１７で、信号処理部２７は、複数回の撮像動作で得られた画像それぞれにおける合焦領域の画像を比較し、合成画像を得るための位置合わせが可能であるか否かを判断する。具体的には、合焦領域の画像の中で、合成出来る領域があるか否かを判断する。位置合わせが可能である場合には、合焦領域が主要被写体を含むと判断して、ステップＳ１８で、信号処理部２７は、合焦領域の画像に基づいて、位置合わせに必要な情報（画像のズレ量など）を取得する。位置合わせが可能でない場合には、ステップＳ１９に進められる。

ステップＳ１９で、信号処理部２７は、複数回の撮像動作で得られた画像それぞれにおける顔領域の画像を比較し、合成画像を得るための位置合わせが可能であるか否かを判断する。具体的には、顔領域の画像の中で、合成出来る領域があるか否かを判断する。位置合わせが可能である場合には、顔領域が主要被写体を含むと判断して、ステップＳ２０で、信号処理部２７は、顔領域の画像に基づいて、位置合わせに必要な情報（画像のズレ量など）を取得する。位置合わせが可能でない場合には、ステップＳ２１に進められる。

ステップＳ２１で、信号処理部２７は、複数回の撮像動作で得られた画像それぞれにおける所定の色領域の画像を比較し、合成画像を得るための位置合わせが可能であるか否かを判断する。具体的には、所定の色領域の画像の中で、合成出来る領域があるか否かを判断する。位置合わせが可能である場合には、所定の色領域が主要被写体を含むと判断して、ステップＳ２２で、信号処理部２７は、所定の顔領域の画像に基づいて、位置合わせに必要な情報（画像のズレ量など）を取得する。位置合わせが可能でない場合には、ステップＳ２３に進められる。

ステップＳ２３で、信号処理部２７は、複数回の撮像動作で得られた画像それぞれにおける所定の明るさ領域の画像を比較し、合成画像を得るための位置合わせが可能であるか否かを判断する。具体的には、所定の明るさ領域の画像の中で、合成出来る領域があるか否かを判断する。位置合わせが可能である場合には、所定の明るさ領域が主要被写体を含むと判断して、ステップＳ２４で、信号処理部２７は、所定の明るさ領域の画像に基づいて、位置合わせに必要な情報（画像のズレ量など）を取得する。位置合わせが可能でない場合には、ステップＳ２５に進められる。

ステップＳ２５で、信号処理部２７は、複数回の撮像動作で得られた画像それぞれにおける全領域の画像を比較し、合成画像を得るための位置合わせが可能であるか否かを判断する。具体的には、全領域の画像の中で、合成出来る領域があるか否かを判断する。位置合わせが可能である場合には、ステップＳ２６で、信号処理部２７は、全領域の画像に基づいて、位置合わせに必要な情報（画像のズレ量など）を取得する。手ブレ量が大きすぎるなど、画像ズレが大きく、位置合わせが可能でない場合には、ステップＳ２７で、位置合わせが出来ない旨の警告を表示部３５に表示させ、手順を終了する。

ステップＳ２８で、信号処理部２７は、ステップＳ１８、Ｓ２０、Ｓ２２、Ｓ２４、Ｓ２６のいずれかで取得した情報（画像のズレ量など）に基づいて、複数回の撮像動作で得られた画像について、位置合わせを行った後、合成し、実質的なダイナミックレンジが広げられた一枚の画像を生成し、外部メモリ３３への記録や、表示部３５への表示を行う。

撮像装置１の保持姿勢の変化などにより、撮像素子の移動が発生した場合、複数回の撮像動作で得られた画像間には、被写体像の結像面位置が一致しない画像ズレが発生する。画像ズレが発生した場合には、位置合わせを行って補正しても、撮像装置１との距離が異なる領域の総てを一致させることは出来ない。

例えば、撮像装置１との距離が異なる人と木を含む被写体を撮像して得られた一枚目の画像（図３の上段左部分参照）と、二枚目の画像（図３の上段右部分参照）との合成で説明する。人よりも後方にある木の画像ズレを補正するように位置合わせを行うと、木の領域は画像ズレの無い状態の合成画像が得られるが、かかる合成画像では、他の領域（人の領域）の画像ズレは解消されない（図３の下段左部分参照）。一方、人の領域の画像ズレを補正するように位置合わせを行うと、人の領域は画像ズレの無い状態の合成画像が得られるが、かかる合成画像では、他の領域（木の領域）の画像ズレは解消されない（図３の下段右部分参照）。また、人の領域の画像ズレ、及び木の領域の画像ズレの両方が出来るだけ少なくなるように位置合わせを行うと、全体的に画像ズレは少ないが、全体的に画像ズレが解消されていない状態の合成画像が得られる（図３の下段中央部分参照）。

本実施形態では、合焦領域などが、主要被写体を含む領域であると判断し、かかる領域の画像ズレを少なくするように位置合わせを行い、かかる領域が鮮明な画像を得ることが可能になる。図３の画像の場合、木の領域が主要被写体であると判断した場合には、木の領域が鮮明な画像（図３の下段左部分参照）が得られ、人の領域が主要被写体であると判断した場合には、人の領域が鮮明な画像（図３の下段右部分参照）が得られる。

なお、本実施形態では、主要被写体を含む領域であるか否かの判断を、合焦領域、顔領域、所定の色領域、所定の明るさ領域の順に行った。かかる順序が、主要被写体が含まれる可能性が高い領域である順序であると考えたものであるが、他の優先順位でかかる判断を行っても良い。また、使用者による手動で優先順位を決める形態であってもよい。

また、複数回の撮像動作で得られた画像のそれぞれにおける主要被写体を含む領域の特定を、合焦領域、顔領域、所定の色領域、所定の明るさ領域を組み合わせて行う形態であってもよい。具体的には、これらの領域それぞれに重み付け（点数付け）を行った情報に基づいて、点数の高い領域を、主要被写体を含む領域であると判断する。

例えば、かかる重み付けとして、複数回の撮像動作で得られた画像それぞれにおいて、合焦領域には８点、顔領域に６点、所定の色領域として肌色の領域に２点、青や緑色の領域に−５点、所定の明るさ領域として適正な露光が得られる領域に４点の点数付けを行い、各領域を重ね合わせた結果１０点以上の領域が主要被写体を含む領域であると判断し、かかる主要被写体を含む領域の画像ズレを少なくするような位置合わせを行う（図４参照）。これにより、主要被写体を含む領域の特定を、合焦領域などの各情報を組み合わせて精度良く行うことが可能になる。特に、この場合、顔領域など主要被写体である可能性が高い領域を、主要被写体を含む領域であると判断しやすくする制御だけでなく、青や緑色の領域など主要被写体である可能性が低い領域を、主要被写体を含む領域であると判断しにくくする制御も可能になる。

なお、本実施形態では、露光条件の異なる状態で複数回の撮像動作が行われる形態を説明したが、露光条件が同じ状態で複数回の撮像動作が行われる形態であってもよい。

１ 撮像装置
１１ 操作部
１３ ＡＦ部
１５ ＡＥ部
１７ 絞り
１９ レンズ
２１ ミラー
２３ シャッタ
２５ 撮像部
２７ 信号処理部
２９ 内部メモリ
３１ フラッシュメモリ
３３ 外部メモリ
３５ 表示部
ＬＸ レンズの光軸

Claims (3)

1. 複数回行われる撮像動作のために、光学像を撮像する撮像素子と、
   前記複数回の撮像動作で得られた画像の合成を行い、合成画像を生成する制御部とを備え、
   前記制御部は、前記複数回の撮像動作で得られた画像それぞれにおける測距で特定される合焦領域の画像、測光で特定される所定の明るさ領域の画像、画像処理におけるホワイトバランス情報や色情報に基づいて特定される所定の色領域の画像、顔認識処理で特定される顔領域の画像の少なくとも２つの組み合わせに基づいて特定された領域における画像ズレを補正する位置合わせを行った後に、前記画像の合成を行い、
   前記制御部は、前記合焦領域、前記明るさ領域、前記所定の色領域、及び前記顔領域の何れか複数に重み付けを行った情報に基づいて、前記画像ズレを補正する領域を特定する
   ことを特徴とする撮像装置。
2. 前記制御部は、前記合焦領域、前記明るさ領域、前記所定の色領域、及び前記顔領域に重み付けを行った情報に基づいて、前記画像ズレを補正する領域を特定することを特徴とする請求項１に記載の撮像装置。
3. 前記複数回の撮像動作は、露光条件の異なる状態で行われることを特徴とする請求項１に記載の撮像装置。

Images