JP6935969B2 - 撮像装置 - Google Patents

Description

本発明は、ローリングシャッター方式でストロボ撮影を行う機能を有する撮像装置に関する。

従来より、ＣＭＯＳ撮像素子では、ローリングシャッター方式で撮影を行うため、画素ラインごとに露光期間がずれることが知られている。また、上記露光期間のずれに起因して、シャッター速度が速い場合に、ストロボ発光が反映される画素ラインと、反映されない画素ラインとが生じてしまうことが知られている。

そこで、特許文献１には、全画素ラインを同時に電子シャッター開の状態にしてストロボ発光させた１回目の撮影画像と、ストロボ非発光の２回目の撮影画像と、の差分を求めることにより、被写体を表す画像信号を生成する撮影装置（本願の撮像装置に相当)が提案されている。

特開２００９−８１８０８号公報

しかしながら、特許文献１の撮影装置（撮像装置）では、１回目の撮影において、画素ラインごとにシャッター開の時間が異なっている。これにより、特に、シャッター開の時間が長い画素ラインにおいて、被写体中の相対的に明るい部分の輝度が飽和してしまう可能性がある。そうすると、その飽和画像の値からストロボ非発光画像の値を差し引くことになり、正常な画像にならないおそれがある。

上記問題に鑑み、本発明の主たる目的は、ローリングシャッター方式でストロボ撮影を行なった場合においても、画素ライン間の輝度差を解消するとともに、被写体の輝度にかかわらず適切な撮影画像を取得することができる撮像装置を提供することにある。

本発明の第１態様に係る撮像装置は、ストロボを備え、ローリングシャッター方式で撮影を行う。この撮像装置は、被写体に前記ストロボを照射し、全画素ラインに当該ストロボの照射光を到達させたストロボ発光画像を取得するとともに、前記被写体に前記ストロボを照射せずにストロボ非発光画像を取得する撮像手段と、前記ストロボ発光画像及び前記ストロボ非発光画像について、少なくとも１つの画素を含む画素ユニット毎の画素ユニット値を取得する画素ユニット値取得手段と、前記画素ユニット値に基づいて、前記画素ユニット毎に画像合成処理に適用する画素値を決定し、前記ストロボ発光画像と前記ストロボ非発光画像との画像合成処理を行う画像合成手段とを備え、前記画像合成手段は、前記画素値の決定において、前記画素ユニットに適用される画素値が小さくなるのにしたがって前記ストロボ発光画像の合成比率を高める一方で、前記画素ユニットに適用される画素値が大きくなるのにしたがって前記ストロボ非発光画像の合成比率を高めることを特徴とする。

ここで、「画素ユニット値」には、例えば、前記画素ユニットに含まれる少なくとも１つの画素に基づく輝度値、前記画素ユニットに含まれる少なくとも１つの画素に基づく画素値が含まれる。

上記態様によると、画像合成手段は、画素ユニット毎に各画素ユニットを評価するための画素ユニット値を取得し、その画素ユニット値に基づいて、画像合成処理を行うようにしている。これにより、画素ユニットの状態（例えば、輝度の適性度）に応じた画像合成処理ができるようになり、適正な画像を得ることができる。具体的には、画像合成手段が、画素値の決定において、画素ユニットに適用される画素値が小さくなるのにしたがってストロボ発光画像の合成比率を高める一方で、画素ユニットに適用される画素値が大きくなるのにしたがってストロボ非発光画像の合成比率を高めるように構成されている。これにより、例えば、ストロボ発光画像に飽和画素のように適性な輝度を逸脱した画素を含む画素ユニットがあるような場合に、上記画素ユニット値に基づいて輝度の逸脱状態が解消されるような画像合成処理を行うことができる。

さらに、画素ユニット毎に画素ユニット値に基づいた合成ができるので、より正確にその画素ユニットの状態を反映した画像合成処理ができる。

露光時間を演算する露光時間演算手段をさらに備え、前記撮像手段は、ストロボ発光画像を取得する場合に、前記露光時間演算手段で演算された露光時間よりも長い露光時間により画像を取得する、ようにしてもよい。

このような構成にすることにより、露光時間演算手段で演算された露光時間が短い場合においても、ストロボ発光が反映される画素ラインと反映されない画素ラインとが生じないようにすることができる。

前記画像合成手段は、前記ストロボ発光画像及び前記ストロボ非発光画像の対応する画素ユニット同士を、前記画素ユニット値に応じた比率で合成するようにしてもよい。

このように、画素ユニット値に応じた比率で画像合成処理を行うことにより、適正な画像を得るとともに、合成画像の画素ユニット間の段差を生じにくくすることができる。具体的には、例えば、画素ユニット値に応じた比率での合成として、対応する位置にあるストロボ発光画像の画素ユニット及びストロボ非発光画像の画素ユニットのそれぞれに対して画素ユニット値に応じた合成係数を掛けた後にそれらを足し合わせるようにしてもよい。

前記画像合成手段は、前記画素値の決定において、前記ストロボ非発光画像の画素ユニットのうち画素値が所定の閾値を超える場合に、前記非発光画像の合成比率を１００％にするとしてもよい。

被写体の輝度情報を取得する輝度情報取得手段をさらに備え、前記被写体の輝度情報に基づく輝度評価値が所定の第１閾値以下の場合には、前記輝度評価値に応じたシャッター速度で前記ストロボ発光画像を取得する第１撮影モードを選択し、前記被写体の輝度情報に基づく輝度評価値が前記第１閾値を超えかつ当該第１閾値よりも大きい所定の第２閾値より小さい場合には、前記第１閾値に応じたシャッター速度で全画素ラインに当該ストロボの照射光を到達させた前記ストロボ発光画像を取得するとともに前記輝度評価値に応じたシャッター速度でストロボ非発光画像を取得する第２撮影モードを選択し、選択された撮影モードに基づいて前記ストロボ及び前記撮像手段を制御する制御手段をさらに備え、前記合成手段は、前記第２撮影モードが選択された場合に、前記画像合成処理を行う、としてもよい。

この構成では、輝度評価結果に基づいて決定される適正なシャッター開時間が、全画素ラインにストロボ発光が反映される期間だけ確保される（被写体が十分暗い）場合には第１撮影モードでストロボ発光撮影を行う。また、輝度評価結果に基づいて決定される適正なシャッター開時間では全画素ラインにストロボ発光が反映される期間が確保されない（被写体はやや明るいが、ストロボ非発光では暗く撮影される）場合、１回目で通常より長いシャッター開時間でのストロボ発光撮影を行なうことを含む第２撮影モードでの撮影をするようにしている。これにより、適切な撮影画像を取得するための撮影手段を最適化することができる。

本発明によると、ローリングシャッター方式でストロボ撮影を行なった場合においても、被写体の輝度にかかわらず適切な撮影画像を取得することができる。

実施形態に係る撮像装置の概略構成を示すブロック図である。 撮像面における評価エリアの割り当て状態の一例を示す図である。 撮像装置の動作の一部を示すフロー図である。 撮像装置の動作の一部を示すフロー図である。 静止画像の取り込み処理の動作を示すフロー図である。 シャッター速度と撮影モードとの関係を説明するための図である。 ストロボ発光撮影の撮影動作を説明するための図である。 画像合成処理に用いる合成係数の一例を示す図である。 画像合成処理について説明するための図である。 画像合成処理について（ａ）合成前の画素値、（ｂ）合成後の画素値及び（ｃ）合成後の画素値の一例を示す図である。

以下、本発明の実施形態を図面に基づいて詳細に説明する。以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用範囲あるいはその用途を制限することを意図するものではない。

＜撮像装置の構成＞
図１は実施形態に係る撮像装置の構成を示すブロック図である。図１に示すように、撮像装置１０は、ドライバ１８ａおよびドライバ１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経た光学像は、イメージャ１６の撮像面に照射され、光電変換を施される。これにより、光学像に対応する電荷が生成される。

図２に示すように、イメージャ１６の撮像面の中央には、評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは、水平方向および垂直方向の各々において１６分割された２５６個の分割エリアを含む。

図1に戻り、ドライバ１８ｃは、図示しないＳＧ（Signal Generator）から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、後述するＣＰＵ２６からの制御を受けてイメージャ１６の撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。なお、図１において、撮像手段は、フォーカスレンズ１２、絞りユニット１４、イメージャ１６及びドライバ１８ａ，１８ｂ，１８ｃによって構成されている。ただし、撮像手段の構成は、図１の構成に限定されない。具体的には、撮像方式として、ローリングシャッター方式であり、かつ、後述するストロボ非発光撮影及びストロボ発光撮影の両方ができるように構成されていれば、図１以外の構成（例えば、図１の複数の機能ブロックを１つにまとめた構成等）であってもよい。

前処理回路２０は、イメージャ１６から出力された生画像データにディジタルクランプ、画素欠陥補正、ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２に書き込まれる。さらに、前処理回路２０は、生画像データを簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。

ＡＥ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡの分割エリア（図２参照）に属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個の輝度評価値Ｅｙが、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。

ＡＦ評価回路２４は、前処理回路２０によって生成されたＲＧＢデータのうちエリアＥＶＡの分割エリア（図２参照）に属するＲＧＢデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のフォーカス評価値Ｅｆが、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。

ＣＰＵ２６は、ドライバ１８ａ，１８ｂ，１８ｃを含む撮像装置１０の各構成要素を制御する機能を有する。ＣＰＵ２６の動作については、後述の「撮像装置の動作」において詳細に説明する。なお、ＣＰＵ２６が実行する制御プログラムは、フラッシュメモリ４６に記憶されている。

キー入力装置２８には、シャッタボタン２８ｓｈ、撮影モードを切り替えるためのモード切換えスイッチ２８ｍｄ及び使用者が処理を進めてよいか否かを入力操作するためのＯＫボタン２８ｋが設けられている。

後処理回路３４は、メモリ制御回路３０を介してＳＤＲＡＭ３２に格納された生画像データを読み出し、読み出された生画像データに色分離処理、白バランス調整処理およびＹＵＶ変換処理を施す。これによって生成されたＹＵＶ形式の画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２に書き込まれる。さらに、前記ＹＵＶ形式の画像データは、ＣＰＵ２６の制御を受けて、ＪＰＥＧ画像ファイルに変換される。

ＬＣＤドライバ３６は、メモリ制御回路３０を介してＳＤＲＡＭ３２に格納されたＹＵＶ形式の画像データを繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、撮像面で捉えられたシーンを表すスルー画像がモニタ画面に表示される。

メモリＩ／Ｆ４２は、ＣＰＵ２６の制御を受けて、メモリ制御回路３０を介してＳＤＲＡＭ３２から読み出された前記ＪＰＥＧ画像ファイルを記録媒体４４に記録する。

さらに、撮像装置１０は、ストロボ６２と、ＣＰＵ２６の制御を受けてストロボ６２を駆動するストロボドライバ６１とを備えている。ストロボ６２を発光させて撮影を行う場合（以下、ストロボ発光撮影という）、ＣＰＵ２６は、ストロボドライバ６１に対してトリガ信号を供給する。これによって、イメージャ１６の本露光に同期してストロボ６２が発光し、このストロボ発光撮影によって生成された被写体のＪＰＥＧ画像ファイルがＣＰＵ２６の制御の下でメモリＩ／Ｆ４２によって記録媒体４４に記録される。

＜撮像装置の動作＞
以下において、図３から図５のフロー図を参照しながら、撮像装置１０の動作について詳細に説明する。図３及び図４は、撮像装置１０の動作の一部を示すフロー図である。また、図５は後述する静止画像の取り込み処理の動作を示すフロー図である。

まず、シャッタボタン２８ｓｈが半押しされると、ＣＰＵ２６は、ＡＥ評価回路２２から輝度評価値Ｅｙを取り込み、ＡＦ評価回路２４からフォーカス評価値Ｅｆを取り込む（ステップＳ１１）。

ステップＳ１２において、ＣＰＵ２６は、取り込んだ輝度評価値Ｅｙに基づいて最適なシャッター速度（最適露光期間）及び絞りユニット１４の最適絞り値を算出する。その後、ＣＰＵ２６は、絞りユニット１４の絞り値が上記最適絞り値になるように絞りドライバ１８ｂを制御する。同様に、算出した最適なシャッター速度に基づいてドライバ１８ｃを設定する。

ステップＳ１３において、ＣＰＵ２６は、取り込んだフォーカス評価値Ｅｆに基づいて、フォーカス調整を行う。具体的には、ＣＰＵ２６は、フォーカス評価値Ｅｆが大きくなるようにドライバ１８ａを制御し、フォーカスレンズ１２を合焦位置に設定する。

ステップＳ１４において、ＣＰＵ２６は、上記フォーカス調整が終了したか否か、つまりフォーカスレンズ１２が合焦位置に設定されたか否かを判断し、フォーカス調整が未だ終了していないと判断した場合、フローはステップＳ１５に進む。

ステップＳ１５において、ＣＰＵ２６は、シャッタボタン２８ｓｈの操作が解除されたか否か、具体的には使用者の指がシャッタボタン２８ｓｈから離されたか否かを判断する。ここで、シャッタボタン２８ｓｈの操作が解除されたと判断すると、ＣＰＵ２６は、このフロー図で示される処理を終了（中断）する。つまり、フォーカス調整が終了する前に使用者の指がシャッタボタン２８ｓｈから離された場合には、撮影は行われない。

ステップＳ１５においてシャッタボタン２８ｓｈの操作が解除されていない場合には、ＣＰＵ２６は、ステップＳ１４に戻る。そして、このステップＳ１４においてフォーカス調整が終了したと判断すると、フローは、図４のステップＳ２１に進む。

ステップＳ２１においても、ＣＰＵ２６は、上述のステップＳ１５と同様にシャッタボタン２８ｓｈの操作が解除されたか否かを判断し、シャッタボタン２８ｓｈの操作が解除された場合には、このフロー図で示される処理を終了（中断）する。一方、シャッタボタン２８ｓｈの操作が解除されていない場合、ＣＰＵ２６は、ステップＳ２２のシャッタボタン２８ｓｈが全押しされたか否かの判断を行う。そして、ＣＰＵ２６は、シャッタボタン２８ｓｈの操作が解除されるか、シャッタボタン２８ｓｈが全押しされるまで、ステップＳ２１及びステップＳ２２の判定を繰り返し実行する。

そして、シャッタボタン２８ｓｈが全押しされたと判断すると、フローは、ステップＳ２２からステップＳ２３に進み、ＣＰＵ２６は、静止画像の取り込み処理に進む。

−静止画像の取り込み処理−
以下において、図５の静止画像の取り込み処理について、詳細に説明する。

図５のステップＳ３０において、ＣＰＵ２６は、シャッタボタン２８ｓｈの全押しに応答して、適用する撮影モードの選択処理に入る。具体的には、ＣＰＵ２６は、上記撮影モードとして、第1撮影モードとしてのストロボ発光撮影を行うストロボ発光１回撮影モード（ステップＳ４１〜Ｓ４２）と、第２撮影モードとしてのストロボ発光撮影とストロボ非発光撮影の２回撮影を行うストロボ発光２回撮影モード（ステップＳ５１〜Ｓ５４）と、第３撮影モードとしてのストロボ非発光撮影を行うストロボ非発光撮影モード（ステップＳ６１〜Ｓ６２）のいずれかを選択する。

＝撮影モードの選択＝
以下において、撮影モードの選択について、図６及び図7を参照しつつ具体的に説明する。図６は、前述のステップＳ１２（図３参照）で算出された最適なシャッター速度ＳＳ（横軸）と、実際に撮影されるシャッター速度ＳＳ（縦軸）との関係を例示している。また、上記最適なシャッター速度ＳＳ（横軸）と選択される撮影モード（撮像方法）との関係を例示している。図7は、ストロボ発光1回撮影モード及びストロボ発光２回撮影モードにおいて、各シャッター速度におけるストロボ発光撮影の撮影動作を示している。なお、図６において、全画素ラインにストロボの照射光を到達させることが可能なシャッター速度の限界値（閾値）がシャッター速度ＳＳ２であるものとして説明する（後述する図７（ｂ）参照）。また、図６において、シャッター速度ＳＳ１，ＳＳ２，ＳＳ３，ＳＳ４の下にカッコ書きで記載しているＥｙ１、Ｅｙ２，Ｅｙ３，Ｅｙ４は、各シャッター速度ＳＳ１，ＳＳ２，ＳＳ３，ＳＳ４に対応する輝度評価値Ｅｙであるものとする。

（ストロボ発光１回撮影モード）
図５のステップＳ３０において、シャッター速度がＳＳ２以下の速度の場合、すなわち、輝度評価値ＥｙがＥｙ２以下の場合、ＣＰＵ２６は、ストロボ発光１回撮影モードに係る制御を行う。

具体的には、ステップＳ４１において、垂直同期信号Ｖｓｙｎｃが入力されると、ＣＰＵ２０は、ドライバ１８ｃに対して１フレーム分の本露光および全画素読み出しを命令する。さらに、ＣＰＵ２６は、ストロボドライバ６１に対してストロボ６２を発光させるためのトリガ信号を供給する。図７（ａ）及び（ｂ）は、それぞれ、シャッター速度がＳＳ１（ここで、ＳＳ１＜ＳＳ２）の場合及びシャッター速度がＳＳ２の場合におけるストロボ発光撮影の撮影動作を示している。図７（ａ）に示すように、シャッター速度ＳＳ１はシャッター速度ＳＳ２より遅いため、露光時間Ｔ１が十分に確保され、全画素ラインに対してストロボ６２の照射光を到達させることができている。

図５に戻り、上記ステップＳ４１の処理後、ステップＳ４２において、ＣＰＵ２０は、ＬＣＤモニタ３８にプレビュー画像を表示させる。その後、フローは図４の記録処理（ステップＳ２７）に進み、被写体の画像ファイルを記録媒体４４に記録して、一連の撮影処理を完了する。

（ストロボ発光２回撮影モード）
図５のステップS３０において、シャッター速度がＳＳ２よりも速くかつＳＳ４よりも遅い場合、すなわち、輝度評価値ＥｙがＥｙ２より大きくかつＥｙ４より小さい場合、ＣＰＵ２６は、ストロボ発光２回撮影モードに係る制御を行う。

具体的には、ステップＳ５１において、垂直同期信号Ｖｓｙｎｃが入力されると、ＣＰＵ２０は、シャッター速度をＳＳ２に設定して、ドライバ１８ｃに対して１フレーム分の本露光および全画素読み出しを命令する。さらにＣＰＵ２６は、上記命令に加えてストロボドライバ６１に対してストロボ６２を発光させるためのトリガ信号を供給する。ここで撮影された１回目の撮影画像は、ＳＤＲＡＭ３２の画像保存エリアに一旦退避させられる。

ステップＳ５１の撮影処理後、ステップＳ５２において、ＣＰＵ２６は、ストロボ非発光条件で再設定されたシャッター速度（最適露光期間）及び絞り値になるように、露光設定（シャッター速度ＳＳ及び絞り量のうちの少なくとも一方）を変更する。

図７（ｃ）には、シャッター速度ＳＳ２において１回目の撮影（ストロボ発光撮影）を行い、その後、再設定したシャッター速度ＳＳ３（ここで、ＳＳ３＞ＳＳ２）で２回目の撮影（ストロボ非発光撮影）をした場合における撮影動作を示している。図７（ｃ）に示すように、シャッター速度ＳＳ２で全画素ラインに対してストロボの照射光を到達させてストロボ発光撮影画像を取得し、その後、シャッター速度ＳＳ３で撮影されたストロボ非発光撮影画像（以下、省略して非発光撮影画像という）を取得している。なお、２回目の撮影画像は、１回目の撮影画像と同様に、ＳＤＲＡＭ３２の画像保存エリアに退避させられる。

なお、ストロボ非発光撮影のシャッター速度は、ステップＳ１２（図３参照）で算出された最適なシャッター速度（図６では、ＳＳ３）であってもよいし、それとは異なるシャッター速度ＳＳであってもよい。具体的には、被写体に応じてストロボ非発光撮影のシャッター速度ＳＳを変更するようにしてもよい。例えば、被写体と撮像装置１０との距離に基づいて、ストロボ非発光撮影のシャッター速度ＳＳを変更するとよい。より具体的には、ストロボ６２の光がぎりぎり届くような位置に被写体がある場合には、シャッター速度を遅くする（例えば、図６のシャッター速度をＳＳ３１にする）。一方で、被写体が撮像装置１０に近い場合には、シャッター速度を速くする（例えば、図６のシャッター速度をＳＳ３２にする）。

２回目の撮影まで終了すると、ステップＳ５４において、ステップＳ５１及びステップＳ５３で取得された画像データに対して、画像合成処理が行われる。画像合成処理は、例えば、ＣＰＵ２６及びメモリ制御回路３０の制御を受けて、ＳＤＲＡＭ３２内のワークエリアにおいて実行され、これによって作成された合成画像データはＳＤＲＡＭ３２内の別の画像保存エリアに格納される。

＝画像合成処理＝
以下において、図８から図１０を参照しつつ、ステップＳ５４（図５）の画像合成処理について、詳細に説明する。

画像合成処理は、ストロボ発光２回撮影モードで撮影された、ストロボ発光撮影画像及び非発光撮影画像の少なくとも一方における画素ユニット毎の画素ユニット値に基づいて実施される。

画素ユニットとは、画像を構成する全画素を分割して得られる画素ユニット値の取得及び画像合成処理の少なくとも一方に対する最小単位を示している。そして、その分割数は任意に設定することができる。例えば、画素ユニットに含まれる画素が１つになるように全画素を分割してもよいし、互いに隣接する複数の画素（例えば、２〜十数画素程度）が含まれるように全画素を分割するようにしてもよい。例えば、少なくとも１つのＲ画素（以下、単にＲ画素という）、少なくとも１つのＧ画素（以下、単にＧ画素という）、及び少なくとも１つのＢ画素（以下、単にＢ画素という）を含むように上記分割を行うようにしてもよい。また、分割される各画素ユニットの大きさ、すなわち、各画素ユニットに含まれる画素の数が画素ユニット間で互いに異なっていてもかまわない。すなわち、画素ユニットに含める画素の数は、あらかじめ設定されていてもよいし、後述する画素ユニット値を求める過程や、その他の演算や評価に基づいて決めるようにしてもよい。

画素ユニット値は、ストロボ発光撮影画像及び非発光撮影画像の少なくとも一方から得られる画像合成処理の指標となるような値を示している。例えば、画素ユニット値として、画素ユニットの輝度に関する値（例えば、輝度値や画素値）を用いることができる。より具体的に例示すると、画素ユニット値として、画素ユニット内の任意のＲ画素、任意のＧ画素及び任意のＢ画素に基づいて算出された輝度値を用いることができる。また、画素ユニット値として、画素ユニット内に複数のＲＧＢ画素が含まれる場合において、ＲＧＢ画素毎に算出された輝度値の平均値を求め、その平均値を用いるようにしてもよいし、特定のＲＧＢ画素から算出された輝度値を用いるようにしてもよい。また、画素ユニット値として、画素ユニット内に含まれる任意のＧ画素の画素値を用いるようにしてもよいし、ＲＧＢ画素の画素に基づいて演算された演算値を用いるようにしてもよい。また、画素ユニット内に複数のＧ画素が含まれる場合において、複数のＧ画素の画素値の平均を求め、その平均値を用いるようにしてもよい。また、画素ユニット値として、隣接する他の画素ユニットの画素ユニット値を参照してもよい。隣接する画素ユニットの画素ユニット値を参照することで、画素ユニット値を演算で求める場合の演算量を減らすことができる。

以下において、画像合成処理の具体例として、合成係数を用いた画像合成処理について説明する。なお、以下の説明では、画素ユニット値として画素ユニット内の任意の画素の画素値を用いている例を示している。また、画素ユニット値を求めるための画素ユニットに含まれる画素数と、画像合成処理を行うための画素ユニットに含まれる画素数とが同じものとして説明する。ただし、前述のとおり、画素ユニット値は画素値に限られるものではない。

図８は、画素値と合成係数との関係の一例を示した図である。図８のような合成係数のデータは、例えば、フラッシュメモリ４６等にあらかじめ記憶されている。

最初に、ＣＰＵ２６は、ストロボ発光撮影画像及び非発光撮影画像の位置合わせを行う。位置合わせは、従来技術と同様の手法を用いることができる。例えば、特徴的な形状及び色彩のエッジ同士の位置を合わせる方法等を用いることができる。

次に、ＣＰＵ２６は、上記位置合わせ後に、ストロボ発光撮影画像及び非発光撮影画像における画素ユニット毎に、すなわち、画像合成処理後の画像における画素ユニット毎に、画像合成処理に適用する画素値を決定する。換言すると、ＣＰＵ２６は、ストロボ発光撮影画像の画素ユニットと非発光撮影画像の画素ユニットとをどのような比率（合成係数）で合成するかを決定する。

図８では、画素ユニットに適用される画素値（以下、単に画素値という）が小さくなるにしたがって、ストロボ発光撮影画像の画素ユニットの合成比率を高くする一方で、ストロボ非発光撮影画像の画素ユニットの合成比率が低くなるようにしている。逆に、画素値が大きくなるにしたがって、ストロボ非発光撮影画像の画素ユニットの合成比率を高くする一方で、ストロボ発光撮影画像の画素ユニットの合成比率が低くなるようにしている。

図１０には、図９の画像内の矢印部分について画像合成処理を行った場合における（ａ）合成前の画素値と、（ｂ）合成時に使用される合成係数及び（ｃ）合成後の画素値の一例を示している。

図１０（ａ）に示すように、合成前には、図９の画像のうちの白色部分について、非発光撮影画像及びストロボ発光撮影画像の画素値が共に相対的に高くなっている。一方で、画像のうちの濃色の着色部分について、非発光撮影画像及びストロボ発光撮影画像の画素値が相対的に低くなっている。また、全体を通して、ストロボ発光撮影画像の方が、非発光撮影画像よりも高くなっている。

この画像に対して、図８の合成係数を用いて合成を行うと、図１０（ｂ）に示すように、画像のうちの白色部分については、非発光撮影画像の合成係数が高い一方で、ストロボ発光撮影画像の合成係数が低くなっている。すなわち、ストロボ発光撮影画像の輝度が飽和する可能性のあるような画素ユニットについては、非発光撮影画像の画素ユニットの合成比率を高めるようにしている。一方で、画像のうちの濃色の着色部分については、非発光撮影画像の合成比率が低い一方で、ストロボ発光撮影画像の合成比率が高くなっている。このように、画素値が低い画素ユニットについては、ストロボ発光撮影画像の画素ユニットの合成比率を高めることで、被写体の輝度が低いような場合においても、適切な画像を取得することができる。

図５に戻り、上記ステップＳ５４の合成処理後、フローはステップＳ５５に進み、ステップＳ４２と同様に、ＣＰＵ２０は、ＬＣＤモニタ３８にプレビュー画像を表示させる。その後、フローは図４の記録処理（ステップＳ２７）に進み、前述の動作と同様の記録処理を行って、一連の撮影処理を完了する。

なお、上記画像合成処理について、以下のようにしてもよい。

例えば、図８では、合成係数が画素値に対して線形的に変化するものとしたが、これに限定されない。例えば、合成係数として、任意の式や測定結果等に基づく合成係数を適用することができる。例えば、ガンマ補正等が施されたような係数や、シミュレーションや実機による測定結果に基づいた係数を合成係数として用いることができる。

また、図８では、ストロボ発光撮影画像及び非発光撮影画像の画素ユニットをそれぞれ所定の比率で合成する例を示しているが、ストロボ発光撮影画像及び非発光撮影画像の一方が０％で他方が１００％で合成されるような合成係数を用いてもよい。この場合における画像合成処理後の画像には、１００％の合成比率の画素ユニットが採用されることになる。

例えば、非発光撮影画像の画素ユニットのうち、画素値が十分高い（所定の閾値を超える）画素ユニットについて、合成比率を１００％にするようにしてもよい。同様に、例えば、非発光撮影画像の画素のうち、画素値が十分高い画素ユニットについて、画像合成処理を行わずに、合成処理後の画素ユニットのデータとして、非発光撮影画像の画素ユニットのデータを採用するようにしてもよい。画素値が十分高い画素ユニットは、非発光撮影画像のままで適切な画素ユニットである場合も多いためである。これにより、画像合成処理に係る処理量を減らすことができ、処理の高速化を図ることができるようになる。

また、例えば、ストロボ発光撮影画像の画素ユニットのうち、輝度（画素値）が飽和していることが明らかな画素ユニットは、画像合成処理に用いないようにしてもよい。その場合、例えば、合成処理後の画素ユニットとして、非発光撮影画像のものを採用するようにしてもよい。これにより、合成画像が輝度の飽和した画素ユニットの影響を受けないようにすることできる。

また、例えば、ストロボ発光撮影画像及び非発光撮影画像のそれぞれについて、画素ユニット毎の画素値を複数の段階にクラス分けをし、そのクラス値に基づいた基準や合成係数に基づいて、画像合成処理を行うようにしてもよい。また、画素ユニット毎の画素値に対して、所定の閾値を少なくとも１つ設けてその閾値を超えているまたは下回っているかどうかに基づいて、画像合成方法を変えるようにしてもよい。

（ストロボ非発光撮影モード）
ＣＰＵ２６は、ストロボ６２を発光させなくても被写体を良好に撮影できることが明らかな状況では、ストロボ６２の発光を伴わない静止画取込みを行う。

具体的には、図５のステップS３１において、シャッター速度がＳＳ４以上の速度の場合、すなわち、輝度評価値ＥｙがＥｙ４以上の場合、フローがステップＳ６１に進み、ＣＰＵ２６は、ストロボ非発光撮影モード（図５では非発光撮影モードと記載）に係る制御を行う。

ステップＳ６１において、垂直同期信号Ｖｓｙｎｃが入力されると、ＣＰＵ２０は、ドライバ１８ｃに対して１フレーム分の本露光および全画素読み出しを命令する。このとき、ＣＰＵ２６は、ストロボ６２を発光させない、すなわち、ストロボドライバ６１に対してトリガ信号を供給しない。上記ステップＳ６１の処理後、ステップＳ６２において、ＣＰＵ２０は、ＬＣＤモニタ３８にプレビュー画像を表示させる。その後、フローは図４の記録処理（ステップＳ２７）に進み、前述と同様の記録処理をして一連の撮影処理を完了する。

なお、ストロボ非発光撮影モードにおいて、輝度の異なる２枚の写真を撮影し、その２枚の写真について、前述の「ストロボ発光２回撮影モード」の「画像合成処理」に記載した処理と同様の画像合成処理を行ってもよい。この２回撮影の場合、例えば、そのシャッター速度は、図６のＰ１，Ｐ２で示した破線のようにすることができる。

以上のように、本実施形態によると、ストロボ発光２回撮影モードが選択された場合に、ストロボ発光撮影画像及び非発光撮影画像の画素ユニット毎に画素ユニット値を取得し、当該画素ユニット値に応じて画素ユニット毎の合成処理を実行するようにしている。これにより、ローリングシャッター方式でストロボ撮影を行なった場合においても、被写体の輝度にかかわらず適切な合成処理画像（撮影画像）を取得することができる。

＜その他の実施形態＞
以上、本発明の実施形態について説明したが、種々の改変が可能である。

上記実施形態では、ストロボ発光２回撮影モードについて、ＣＰＵ２６は、ストロボ発光撮影に係るシャッター速度をＳＳ２に設定するものとしたが、これに限定されない。例えば、ＳＳ２よりも遅いシャッター速度であってもよい。

また、上記実施形態のストロボ発光２回撮影モードにおける撮影の順番は、ストロボ非発光撮影とストロボ発光撮影のどちらを先にしてもよい。例えば、ストロボ非発光撮影をした後にストロボ発光撮影をすることにより、被写体が人である場合に、１回目の撮影の後に、撮影が終了したと勘違いして被写体が動いてしまうことを防ぐことができる。また、例えば、ストロボ発光撮影をした後にストロボ非発光撮影をすることにより、撮影操作に対する体感上の応答性を上げることができる。また、ストロボ発光２回撮影モードにおいて、ストロボ非発光撮影及びストロボ発光撮影の撮影回数はそれぞれ１回に限定されない。例えば、複数のストロボ非発光撮影と、複数のストロボ発光撮影とを組み合わせるようにし、撮影された画像の中から最適な画像（例えば、ブレの少ない画像）を用いて前述の画像合成処理をするようにしてもよい。

また、上記実施形態のストロボ発光２回撮影モードにおける２回目の撮影の後に、ＣＰＵ２６が、ストロボドライバ６１に対してストロボ６２を発光させるためのトリガ信号を供給するようにしてもよい。このような動作をすることにより、１回目のストロボ発光撮影で、撮影が終了したと勘違いして被写体が動いてしまうことを防ぐことができる。

本発明によると、ローリングシャッター方式とストロボ発光撮影を組み合わせた場合においても、被写体の輝度にかかわらず適切な画像を得ることができるため、極めて有用である。

１０ 撮像装置
２２ ＡＥ評価回路（輝度情報取得手段）
２６ ＣＰＵ（制御手段）

Claims (6)

1. ストロボを備え、ローリングシャッター方式で撮影を行う撮像装置であって、
   被写体に前記ストロボを照射し、全画素ラインに当該ストロボの照射光を到達させたストロボ発光画像を取得するとともに、前記被写体に前記ストロボを照射せずにストロボ非発光画像を取得する撮像手段と、
   前記ストロボ発光画像及び前記ストロボ非発光画像について、少なくとも１つの画素を含む画素ユニット毎の画素ユニット値を取得する画素ユニット値取得手段と、
   前記画素ユニット値に基づいて、前記画素ユニット毎に画像合成処理に適用する画素値を決定し、前記ストロボ発光画像と前記ストロボ非発光画像との画像合成処理を行う画像合成手段とを備え、
   前記画像合成手段は、前記画素値の決定において、前記画素ユニットに適用される画素値が小さくなるのにしたがって前記ストロボ発光画像の合成比率を高める一方で、前記画素ユニットに適用される画素値が大きくなるのにしたがって前記ストロボ非発光画像の合成比率を高める
   ことを特徴とする撮像装置。
2. 請求項１記載の撮像装置において、
   前記画素ユニット値は、前記画素ユニットに含まれる少なくとも１つの画素に基づく輝度値である
   ことを特徴とする撮像装置。
3. 請求項１記載の撮像装置において、
   前記画素ユニット値は、前記画素ユニットに含まれる少なくとも１つの画素に基づく画素値である
   ことを特徴とする撮像装置。
4. 請求項１記載の撮像装置において、
   露光時間を演算する露光時間演算手段をさらに備え、
   前記撮像手段は、前記ストロボ発光画像を取得する場合に、前記露光時間演算手段で演算された露光時間よりも長い露光時間により画像を取得する
   ことを特徴とする撮像装置。
5. 請求項１記載の撮像装置において、
   前記画像合成手段は、前記画素値の決定において、前記ストロボ非発光画像の画素ユニットのうち画素値が所定の閾値を超える場合に、前記ストロボ非発光画像の合成比率を１００％にする
   ことを特徴とする撮像装置。
6. 請求項１から５のうちのいずれか１項に記載の撮像装置において、
   被写体の輝度情報を取得する輝度情報取得手段をさらに備え、
   前記被写体の輝度情報に基づく輝度評価値が所定の第１閾値以下の場合には、前記輝度評価値に応じたシャッター速度で前記ストロボ発光画像を取得する第１撮影モードを選択し、前記被写体の輝度情報に基づく輝度評価値が前記第１閾値を超えかつ当該第１閾値よりも大きい所定の第２閾値より小さい場合には、前記第１閾値に応じたシャッター速度で全画素ラインに当該ストロボの照射光を到達させた前記ストロボ発光画像を取得するとともに前記輝度評価値に応じたシャッター速度で前記ストロボ非発光画像を取得する第２撮影モードを選択し、選択された撮影モードに基づいて前記ストロボ及び前記撮像手段を制御する制御手段をさらに備え、
   前記画像合成手段は、前記第２撮影モードが選択された場合に、前記画像合成処理を行う
   ことを特徴とする撮像装置。

Images