JP6789682B2 - 撮像装置、その制御方法、及びプログラム - Google Patents

Description

本発明は、例えばデジタルカメラやデジタルビデオカメラ等の撮像装置におけるフラッシュバンド補正技術の改良に関する。

デジタルカメラ等の撮像装置には、画素のライン毎に順次露光を開始して順次読み出しを行うローリングシャッタ方式の撮像素子を備えるものがある。このような撮像装置では、外部閃光により１フレーム内の画像に輝度段差が生じるフラッシュバンドが問題となっている。

従来、フラッシュバンドが検出されたフレームでは、そのフレームに代えて前のフレームの画像を用いたり、前後の複数のフレームを加算平均したりすることで、輝度段差のない画像を生成してフラッシュバンドを補正する技術が提案されている（特許文献１）。

特開２０１１−６６５６７号公報

しかし、上記特許文献１では、ズーム動作中にフラッシュバンド補正を行うと、補正に使用するフレームの間で被写体画像の大きさが異なるため、輝度段差のない補正画像を生成することができないという問題がある。

そこで、本発明は、ズーム動作中にフラッシュバンドが発生した場合でも、適切にフラッシュバンドを補正して、輝度段差のない補正画像を生成することが可能な技術を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、ズーム機能を有するレンズ部と、画素のライン毎に順次露光を開始して順次読み出しを行う撮像素子と、前記撮像素子から出力された画像信号に基づき、画像情報を生成する信号処理手段と、前記信号処理手段により生成された画像情報をメモリ部に保持する記憶手段と、前記メモリ部に保持された前記画像情報に基づき、外部閃光による複数のフレームにまたがったフラッシュバンドの有無を検出する検出手段と、前記フラッシュバンドを有するフレームに対し、前記フラッシュバンドの補正を行う補正手段と、前記レンズ部のズーム状態を判断する判断手段と、を備え、前記補正手段は、前記判断手段が前記レンズ部に所定のズーム状態の変化が生じていると判断した場合、前記フラッシュバンドを有するフレームに対する前記フラッシュバンドの補正を行わないことを特徴とし、前記検出手段は、さらに、前記複数のフレーム同士のレベル差を検出し、前記判断手段が前記レンズ部に前記所定のズーム状態の変化が生じていると判断する条件として、前記レベル差のばらつきが所定の閾値以上であることを含むことを特徴とする。

本発明によれば、ズーム動作中にフラッシュバンドが発生した場合でも、適切にフラッシュバンドを補正して、輝度段差のない補正画像を生成することが可能となる。

本発明の撮像装置の第１の実施形態であるデジタルビデオカメラの制御系を示すブロック図である。 ズーム変化率に応じてフラッシュバンド補正方法を変更する処理を説明するフローチャート図である。 図２のステップＳ２０１におけるフラッシュバンドの検出方法を説明する図である。 図２のステップＳ２０３におけるフラッシュバンド検出結果のばらつきを説明する図である。 図２のステップＳ２０２及びステップＳ２０４で参照するズーム変化率の閾値を説明する図である。 図２のステップＳ２０５における第１のフラッシュバンド補正を説明する図である。 図２のステップＳ２０６における第２のフラッシュバンド補正を説明する図である。 本発明の撮像装置の第１の実施形態であるデジタルビデオカメラにおいて、フラッシュバンド開始（又は終了）ラインとズーム中心の関係に応じて、フラッシュバンド補正方法を変更する処理を説明するフローチャート図である。 図８のステップＳ８０９における第３のフラッシュバンド補正の一例を説明する図である。 図８のステップＳ８０９における第３のフラッシュバンド補正の他の例を説明する図である。 図８のステップＳ８１０における第４のフラッシュバンド補正の一例を説明する図である。 図８のステップＳ８１０における第４のフラッシュバンド補正の他の例を説明する図である。

以下、図面を参照して、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態であるデジタルビデオカメラ（以下、カメラという）の制御系を示すブロック図である。図１において、レンズ部１０１は、入射光量を制御する絞りとＮＤフィルタを有し、変倍に際して光軸方向に移動するズームレンズと、焦点調節（合焦）に際して光軸方向に移動するフォーカスレンズと、を備えるズーム式のレンズユニットで構成される。なお、ズーム機能を選択操作するズームスイッチ及びズームレンズを駆動するズーム駆動部の図示は、省略している。

撮像素子１０２は、画素のライン毎に順次露光を開始して順次読み出しを行うＣＭＯＳセンサ等により構成され、レンズ部１０１を通過して結像した被写体像を電気信号に光電変換して画像信号を出力する。映像信号処理部１０３は、撮像素子１０２から出力された画像信号を所定のフォーマットの映像信号に変換する。

システム制御部１０４は、ＣＰＵやＲＡＭ、ＲＯＭ等を含み、カメラ全体の制御を司る。システム制御部１０４は、映像信号処理部１０３の出力信号を基に適切な露出量を算出し、レンズ部１０１の絞りとＮＤフィルタ、ズーム駆動部、また、撮像素子１０２でのシャッタスピード、さらに映像信号処理部１０３でかけるゲインの値を制御する。ここでいうシャッタスピードとは、電子シャッタの露光時間のことであり、システム制御部１０４が撮像素子１０２に対して電荷の蓄積開始タイミングと電荷の読み出しタイミングを送ることによって制御する。

メモリ部１０５は、システム制御部１０４の演算結果や映像信号処理部１０３の出力信号を一時的に保持記憶する。記録媒体１０６は、メモリカード、ＤＶＤ、ハードディスク、不揮発性メモリなどである。記録媒体制御Ｉ／Ｆ部１０７は、記録媒体１０６とのデータの入出力を制御する。外部Ｉ／Ｆ部１０８は、撮影した映像を外部のモニタやレコーダに出力したり、他のビデオカメラやプレーヤから映像を入力したりすることができる。また、外部Ｉ／Ｆ部１０８を介してコンピュータと接続し、コンピュータとインターネットを介して必要な情報を取得することができる。

フラッシュバンド検出部１０９は、メモリ部１０５に保持された連続する２フレームの画像情報を用いて、フラッシュバンドが発生した領域を検出する。フラッシュバンド補正部１１０は、メモリ部１０５に格納されているフラッシュバンドが検出されたフレームと、その直前のフレームの画像を合成することで、フラッシュバンド補正を行って全面閃光画像を生成する。

ズーム変化率算出部１１１は、システム制御部１０４からのズームレンズの情報を基にズーム変化率を算出し、算出結果をフラッシュバンド検出部１０９、及びフラッシュバンド補正部１１０へ伝える。外部フラッシュ１１３は、アクセサリシュー１１２を介してカメラに着脱可能に装着される。

次に、図２を参照して、ズーム変化率に応じてフラッシュバンド補正方法を変更する処理を説明する。図２の各処理は、システム制御部１０４のＲＯＭ等に記憶されたプログラムがＲＡＭに展開されてＣＰＵ等により実行される。

図２において、ステップＳ２０１では、システム制御部１０４は、撮影時に外部フラッシュ１１３から閃光（外部閃光）が照射されてフラッシュバンド検出部１０９によりフラッシュバンドが検出されたか否かを判断する。そして、システム制御部１０４は、フラッシュバンドが検出された場合は、ステップＳ２０２に進み、フラッシュバンドが検出されなかった場合は、ステップＳ２０７に進む。なお、フラッシュバンドが検出方法については、図３を用いて詳述する。

ステップＳ２０２では、システム制御部１０４は、フラッシュバンド補正部１１０において、ズーム変化率算出部１１１から得られるズーム変化率が第２の閾値以上でかつ第３の閾値未満であるか否かを判断する。そして、システム制御部１０４は、ズーム変化率が第２の閾値以上でかつ第３の閾値未満であった場合は、被写体サイズが見た目上変化しないものとして、ステップＳ２０５に進み、そうでなかった場合は、ステップＳ２０３に進む。ここで、ズーム変化率が第２の閾値以上でかつ第３の閾値未満の範囲は、本発明の第１の範囲の一例に相当する。なお、ここでのズーム変化率の第２の閾値及び第３の閾値については、図５を用いて詳述する。

ステップＳ２０３では、システム制御部１０４は、ステップＳ２０１でのフラッシュバンドの検出結果のばらつきが閾値以上であるか否かを判断する。そして、システム制御部１０４は、フラッシュバンド検出結果のばらつきが閾値以上であった場合は、ステップＳ２０４に進み、そうでなかった場合は、被写体サイズが見た目上変化しないものとして、ステップＳ２０５に進む。なお、フラッシュバンド検出結果のばらつきについては、図４を用いて詳述する。

ステップＳ２０４では、システム制御部１０４は、フラッシュバンド補正部１１０において、ズーム変化率算出部１１１から得られるズーム変化率が第１の閾値以上でかつ第４の閾値未満であるか否かを判断する。そして、システム制御部１０４は、ズーム変化率が第１の閾値以上でかつ第４の閾値未満であった場合は、ステップＳ２０６に進み、そうでなかった場合は、ズーム倍率が所定の値以上に変化して適切な補正画像を生成できないと判断し、ステップＳ２０７に進む。ここで、ズーム変化率が第１の閾値以上でかつ第４の閾値未満の範囲は、本発明の第２の範囲の一例に相当する。なお、ここでのズーム変化率の第１の閾値及び第４の閾値については、図５を用いて詳述する。

ステップＳ２０５では、システム制御部１０４は、フラッシュバンド補正部１１０によりズーム変化を考慮しない第１のフラッシュバンド補正を行い、処理を終了する。ここでの第１のフラッシュバンド補正については、図６を用いて詳述する。

ステップＳ２０６では、システム制御部１０４は、フラッシュバンド補正部１１０によりズーム変化率に応じた第２のフラッシュバンド補正を行い、処理を終了する。ここでの第２のフラッシュバンド補正については、図７を用いて後述する。

ステップＳ２０７では、システム制御部１０４は、フラッシュバンド補正部１１０によるフラッシュバンド補正を行わず、入力された画像をそのまま出力し、処理を終了する。

次に、図３を用いて、図２のステップＳ２０１におけるフラッシュバンドの検出方法を説明する。図３では、画像の中心に被写体があり、２フレーム目の下部と３フレーム目の上部にフラッシュバンドが発生している例を示している。

まず、図３（ａ）乃至図３（ｃ）に示すように、１フレーム目〜３フレーム目の画像に対して、各ラインの平均レベルを算出する。次に、図３（ｄ）に示すように、２フレーム目と１フレーム目の画像に対して、各ラインの平均レベルの差分を算出する（以下、第１のレベル差とする）。また、図３（ｅ）のように、３フレーム目と２フレーム目の画像に対して、各ラインの平均レベルの差分を算出する（以下、第２のレベル差とする）。

そして、次の第１〜第３の条件を満たす場合に、フラッシュバンドが検出されたと判断する。

第１の条件は、第１のレベル差に関して、閾値Ｌ４以上の値が下端から連続してｎラインあり、それ以外のラインは、閾値Ｌ２以上、閾値Ｌ３未満であること。

第２の条件は、第２のレベル差に関して、閾値Ｌ４以上の値が上端から連続してｍラインあり、それ以外のラインは、閾値Ｌ１未満であること。

第３の条件は、ｎ＋ｍが１フレーム分の全ライン数に相当すること。

第１〜第３の条件を全て満たした場合に、図２のステップＳ２０１において、システム制御部１０４は、フラッシュバンドが検出されたと判断する。ここで、閾値Ｌ１＜閾値Ｌ２＜閾値Ｌ３＜閾値Ｌ４とする。

次に、図４を参照して、図２のステップＳ２０３におけるフラッシュバンド検出結果のばらつきについて説明する。

図４では、画像の中心に被写体があり、２フレーム目の下部と３フレーム目の上部にフラッシュバンドが発生している例を示している。また、図４の例では、フレーム毎に被写体の大きさが変化している様子を示している。

図４（ａ）乃至図４における各ラインの平均レベルの算出方法は、図３と同様である。また、図４（ｄ）及び図４（ｅ）の第１のレベル差及び第２のレベル差の算出方法も図３と同様である。図４（ｄ）の第１のレベル差は、閾値Ｌ４以上の値が下端から連続してｎラインあり、それ以外のラインは、閾値Ｌ２以上で閾値Ｌ３未満である。図４（ｅ）の第２のレベル差は、閾値Ｌ４以上の値が上端から連続してｍラインあり、それ以外のラインは、閾値Ｌ１未満である。

また、ｎ＋ｍが１フレーム分の全ライン数に相当するので、図４の例では、フラッシュバンドが検出されたと判断される。この場合に、次のようにしてフラッシュバンド検出結果のばらつきの値を求める。

第１のレベル差に関して、閾値Ｌ２以上で閾値Ｌ３未満の領域のうち、フラッシュバンド開始ライン又は終了ライン以外の領域について、最大値と最小値との差分をばらつき１とする。また、第１のレベル差に関して、閾値Ｌ４以上の領域のうち、フラッシュバンド開始ライン又は終了ライン以外の領域について、最大値と最小値との差分をばらつき２とする。

第２のレベル差に関して、閾値Ｌ１未満の領域のうち、フラッシュバンド開始（又は終了）ライン以外の領域について、最大値と最小値の差分をばらつき３とする。また、第２のレベル差に関して、閾値Ｌ４以上の領域のうち、フラッシュバンド開始（又は終了）ライン以外の領域について、最大値と最小値の差分をばらつき４とする。

ここで、システム制御部１０４は、ばらつき１〜４のうち、最大の値をフラッシュバンド検出結果のばらつきの値とし、当該ばらつきの値が閾値以上か否かを判断する。そして、システム制御部１０４は、当該ばらつきの値が閾値未満の場合は、ズームが変更されても、レンズ部１０１から被写体までの距離が同様に変化して撮影画角に対して被写体の大きさが変化しないと判断し、図２のステップＳ２０５に進む。このように、フラッシュバンド検出結果のばらつきを参照することで、ズーム変化率を考慮しない適切な補正を行うことが可能である。

次に、図５を参照して、図２のステップＳ２０２及びステップＳ２０４で参照するズーム変化率の閾値について説明する。

ズーム変化率は、ズーム倍率の変化率であり、具体的には、２フレーム間での焦点距離の比率である。フラッシュバンド補正部１１０で補正に使用する元画像が１フレーム前の画像である場合は、「現在のフレームでの焦点距離／１フレーム前の焦点距離」で算出する値がズーム変化率となる。フラッシュバンド補正部１１０で補正に使用する元画像が２フレーム前の画像である場合は、「現在のフレームでの焦点距離／２フレーム前の焦点距離」で算出する値がズーム変化率となる。

ズーム動作を行っていない場合は、焦点距離が変わらないので、ズーム変化率は１となり、縮小ズーム中は１より小さく、拡大ズーム中は１より大きくなる。

値としては、第１の閾値＜第２の閾値＜１＜第３の閾値＜第４の閾値の関係がある。第１の閾値は、フラッシュバンド補正部１１０でフラッシュバンド補正が可能となる、最小のズーム変化率を設定する。例えば、フラッシュバンド補正時に有効画素外の余剰画素を用いて、元画像から縮小された画像を生成する場合、有効画素外の余剰画素が十分確保できる最小の値を第１の閾値として設定する。

第２の閾値は、被写体サイズが見た目上変化しない最小の値を設定する。第３の閾値は、被写体サイズが見た目上変化しない最大の値を設定する。第４の閾値は、フラッシュバンド補正部１１０でフラッシュバンド補正が可能となる、最大のズーム変化率を設定する。例えば、フラッシュバンド補正を行う際に、元画像から拡大した画像を生成する場合、生成した画像の画質に問題がない最大の値を第４の閾値として設定する。

図６は、図２のステップＳ２０５における第１のフラッシュバンド補正を説明する図である。図６では、被写体の大きさが一定の状態で、２フレーム目と３フレーム目にフラッシュバンドが発生している例を表している。以下、各フレームに対して、補正画像の生成方法を説明する。

１フレーム目の補正前の画像は、フラッシュバンドが発生していないので、そのままの画像を補正後の画像として出力する。

２フレーム目の補正前の画像は、画像下部にフラッシュバンドが発生している。このとき、フラッシュバンドの発生していない２フレーム目の画像の上部と、フラッシュバンドの発生していない１フレーム目の画像の下部と、を合成した画像を、補正後の画像として出力する。

３フレーム目の補正前の画像は、画像上部にフラッシュバンドが発生している。このとき、フラッシュバンドの発生している３フレーム目の画像の上部と、フラッシュバンドの発生している２フレーム目の画像の下部と、を合成した画像を、補正後の画像として出力する。

４フレーム目の補正前の画像は、フラッシュバンドが発生していないので、そのままの画像を補正後の画像として出力する。

図７は、図２のステップＳ２０６における第２のフラッシュバンド補正を説明する図である。図７では、被写体の大きさが変化する中で、２フレーム目と３フレーム目にフラッシュバンドが発生している例を表している。以下、各フレームに対して、補正画像の生成方法を説明する。

１フレーム目の補正前の画像は、フラッシュバンドが発生していないので、そのままの画像を補正後の画像として出力する。

２フレーム目の補正前の画像は、画像下部にフラッシュバンドが発生している。このとき、フラッシュバンドの発生していない１フレーム目の画像を、ズーム変化率算出部１１１によって算出された２フレーム目と１フレーム目のズーム変化率の分だけサイズ補正した画像を、補正後の画像として出力する。

３フレーム目の補正前の画像は、画像上部にフラッシュバンドが発生している。このとき、まず、フラッシュバンドの発生していない１フレーム目の画像を、ズーム変化率算出部１１１によって算出された３フレーム目と１フレーム目のズーム変化率の分だけサイズ補正した画像を生成する。次に、その画像に対して発生したフラッシュバンドのレベル分だけレベル補正を行った画像を、補正後の画像として出力する。

４フレーム目の補正前の画像は、フラッシュバンドが発生していないので、そのままの画像を補正後の画像として出力する。

以上説明したように、本実施形態では、ズーム変化率に応じて、適切なフラッシュバンド補正を選択することが可能となる。例えば、ズーム操作により被写体のサイズが変化した場合にも、ズーム変化率を考慮して補正後の画像のサイズを変更することで、適切なフラッシュバンド補正が可能となる。また、所定の値以上にズームが変化し、適切な補正画像が生成できないと判断された場合は、フラッシュバンド補正を行わないことで、誤補正を防止することが可能となる。これにより、ズーム動作中にフラッシュバンドが発生した場合でも、適切にフラッシュバンドを補正して、輝度段差のない補正画像を生成することができる。

（第２の実施形態）
次に、図８乃至図１２を参照して、本発明の撮像装置の第２の実施形態であるカメラについて説明する。なお、本実施形態では、上記第１の実施形態に対して重複する部分については、図及び符号を流用して説明する。

図８は、フラッシュバンド開始（又は終了）ラインとズーム中心の位置関係に応じて、フラッシュバンド補正方法を変更する処理を説明するフローチャート図である。図８の各処理は、システム制御部１０４のＲＯＭ等に記憶されたプログラムがＲＡＭに展開されてＣＰＵ等により実行される。なお、図８のステップＳ８０１〜ステップＳ８０３、ステップＳ８０８、及びステップＳ８１１の処理は、それぞれ図２のステップＳ２０１〜ステップＳ２０３、ステップＳ２０５、及びステップＳ２０７の処理と同様であるので、その説明を省略する。

ステップＳ８０４では、システム制御部１０４は、ズーム変化率が第１の閾値以上で第２の閾値未満であるか否かを判断し、ズーム変化率が第１の閾値以上で第２の閾値未満である場合は、ステップＳ８０５に進み、そうでない場合は、ステップＳ８０６に進む。

ステップＳ８０５では、システム制御部１０４は、フラッシュバンド開始（又は終了）ラインがズーム中心より下であるか否かを判断する。そして、システム制御部１０４は、フラッシュバンド開始（又は終了）ラインがズーム中心より下である場合は、ステップＳ８０９に進み、そうでない場合は、ステップＳ８１０に進む。

ステップＳ８０６では、システム制御部１０４は、ズーム変化率が第３の閾値以上で第４の閾値未満であるか否かを判断し、ズーム変化率が第３の閾値以上で第４の閾値未満である場合は、ステップＳ８０７に進み、そうでない場合は、ステップＳ８１１に進む。

ステップＳ８０７では、システム制御部１０４は、フラッシュバンド開始（又は終了）ラインがズーム中心より下であるか否かを判断する。そして、システム制御部１０４は、フラッシュバンド開始（又は終了）ラインがズーム中心より下である場合は、ステップＳ８１０に進み、そうでない場合は、ステップＳ８０９に進む。

ステップＳ８０９では、システム制御部１０４は、フラッシュバンド補正部１１０により第３のフラッシュバンド補正を行い、処理を終了する。ここでの第３のフラッシュバンド補正については、図９又は図１０を用いて詳述する。

ステップＳ８１０では、システム制御部１０４は、フラッシュバンド補正部１１０により第４のフラッシュバンド補正を行い、処理を終了する。ここでの第４のフラッシュバンド補正については、図１１又は図１２を用いて詳述する。

図９は、図８のステップＳ８０９における第３のフラッシュバンド補正の一例を説明する図である。ここでは、ズーム変化率が第１の閾値以上で第２の閾値未満であり、フラッシュバンド開始（又は終了）ラインがズーム中心より下である場合の例を示している。

図９に示すように、１フレーム目の画像に対しては、フラッシュバンドが発生していないので、補正は行わず、そのままの画像を補正後の画像として出力する。

２フレーム目の画像に対しては、フラッシュバンドが発生しているため、１フレーム目の画像にズーム変化率分のサイズ補正を行った画像と、２フレーム目の画像のフラッシュバンドが発生していない領域を合成し、補正後の画像を生成する。

３フレーム目の画像に対しては、フラッシュバンドが発生している。このため、２フレーム目の画像にズーム変化率分のサイズ補正を行った画像のフラッシュバンドが発生している領域と、３フレーム目の画像のフラッシュバンドが発生している領域を合成し、補正後の画像を生成する。サイズ補正後の２フレーム目と３フレーム目では、フラッシュバンドが発生している領域がオーバーラップしているため、合成して１フレーム分の画像を生成することが可能である。なお、逆にフラッシュバンドが発生していない領域のみでは、合成により１フレーム分の画像を生成することはできない。

４フレーム目の画像に対しては、フラッシュバンドが発生していないので、補正は行わず、そのままの画像を補正後の画像として出力する。

図１０は、図８のステップＳ８０９における第３のフラッシュバンド補正の他の例を説明する図である。ここでは、ズーム変化率が第３の閾値以上で第４の閾値未満であり、フラッシュバンド開始（又は終了）ラインがズーム中心より上である場合の例を示している。

図１０に示すように、１フレーム目の画像に対しては、フラッシュバンドが発生していないので、補正は行わず、そのままの画像を補正後の画像として出力する。

２フレーム目の画像に対しては、フラッシュバンドが発生しているため、１フレーム目の画像にズーム変化率分のサイズ補正を行った画像と、２フレーム目の画像のフラッシュバンドが発生していない領域を合成し、補正後の画像を生成する。

３フレーム目の画像に対しては、フラッシュバンドが発生している。このため、２フレーム目の画像にズーム変化率分のサイズ補正を行った画像のフラッシュバンドが発生している領域と、３フレーム目の画像のフラッシュバンドが発生している領域を合成し、補正後の画像を生成する。サイズ補正後の２フレーム目と３フレーム目では、フラッシュバンドが発生している領域がオーバーラップしているため、合成して１フレーム分の画像を生成することが可能である。なお、逆にフラッシュバンドが発生していない領域のみでは、合成により１フレーム分の画像を生成することはできない。

４フレーム目の画像に対しては、フラッシュバンドが発生していないので、補正は行わず、そのままの画像を補正後の画像として出力する。

図１１は、図８のステップＳ８１０における第４のフラッシュバンド補正の一例を説明する図である。ここでは、ズーム変化率が第１の閾値以上で第２の閾値未満であり、フラッシュバンド開始（又は終了）ラインがズーム中心より上である場合の例を示している。

図１１に示すように、１フレーム目の画像に対しては、フラッシュバンドが発生していないので、補正は行わず、そのままの画像を補正後の画像として出力する。

２フレーム目の画像に対しては、フラッシュバンドが発生しているため、１フレーム目の画像にズーム変化率分のサイズ補正を行った画像と、２フレーム目の画像のフラッシュバンドが発生していない領域を合成し、補正後の画像を生成する。

３フレーム目の画像に対しては、フラッシュバンドが発生しているため、まず、２フレーム目の画像にズーム変化率分のサイズ補正を行った画像のフラッシュバンドが発生していない領域と、３フレーム目の画像のフラッシュバンドが発生していない領域を合成する。サイズ補正後の２フレーム目と３フレーム目では、フラッシュバンドが発生していない領域がオーバーラップしているため、合成して１フレーム分の画像を生成することが可能である。なお、逆にフラッシュバンドが発生している領域のみでは、合成により１フレーム分の画像を生成することはできない。次に、合成した画像にフラッシュバンドのレベル分だけゲインをかけてレベル補正を行い、補正後の画像を生成する。

４フレーム目の画像に対しては、フラッシュバンドが発生していないので、補正は行わず、そのままの画像を補正後の画像として出力する。

図１２は、図８のステップＳ８１０における第４のフラッシュバンド補正の他の例を説明する図である。ここでは、ズーム変化率が第３の閾値以上で第４の閾値未満であり、フラッシュバンド開始（又は終了）ラインがズーム中心より下である場合の例を示している。

図１２に示すように、１フレーム目の画像に対しては、フラッシュバンドが発生していないので、補正は行わず、そのままの画像を補正後の画像として出力する。

２フレーム目の画像に対しては、フラッシュバンドが発生しているため、１フレーム目の画像にズーム変化率分のサイズ補正を行った画像と、２フレーム目の画像のフラッシュバンドが発生していない領域を合成し、補正後の画像を生成する。

３フレーム目の画像に対しては、フラッシュバンドが発生しているため、まず、２フレーム目の画像にズーム変化率分のサイズ補正を行った画像のフラッシュバンドが発生していない領域と、３フレーム目の画像のフラッシュバンドが発生していない領域を合成する。サイズ補正後の２フレーム目と３フレーム目では、フラッシュバンドが発生していない領域がオーバーラップしているため、合成して１フレーム分の画像を生成することが可能である。逆にフラッシュバンドが発生している領域のみでは、合成により１フレーム分の画像を生成することはできない。次に、合成した画像にフラッシュバンドのレベル分だけゲインをかけてレベル補正を行い、補正後の画像を生成する。

４フレーム目の画像に対しては、フラッシュバンドが発生していないので、補正は行わず、そのままの画像を補正後の画像として出力する。

以上説明したように、本実施形態では、フラッシュバンド開始（又は終了）ラインとズーム中心の関係に応じて、ズーム操作中においても適切なフラッシュバンド補正を選択することが可能となる。特に２フレーム以上の画像を合成する補正方法において、一部の画像に対してサイズ補正を行い、フラッシュバンド開始（又は終了）ラインが他のフレームとずれた場合にも、適切な合成方法を選択できる。

また、本実施形態では、上記第１の実施形態よりも新しいフレーム情報を基に補正を行えるため、動解像度が向上する。さらに、上記第１の実施形態では、最大２フレーム分のズーム変化率に対してサイズ補正する必要があったが、本実施形態では、最大１フレーム分のズーム変化率に対してサイズ補正するだけで済む。そのため、拡大による画質劣化が抑えられたり、縮小に必要となる余剰画素を少なくしたりすることができる。また、画質や余剰画素を同等とした場合には、補正可能となるズーム変化率の幅が広がる。その他の構成、及び作用効果は、上記第１の実施形態と同様である。

なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能であり、また、上述の実施形態の一部を適宜組み合わせてもよい。

例えば、ズーム変化率を参照して補正方法を切り替える処理と、フラッシュバンド検出結果のばらつきを参照して補正方法を切り替える処理は、システム構成や撮影状況に応じて、どちらを先に行ってもよい。

また、フラッシュバンド検出部１０９において、フラッシュバンドが検出されたか否かを判断する条件として、第１のレベル差と第２のレベル差の閾値を超えたライン数が１フレーム分のライン数と一致したか否かを判定する必要はない。フラッシュの発光時間や、発光開始もしくは終了時のフラッシュの発光レベルの変化の仕方によっては１フレーム分にならない場合も考えられるので、１フレーム分のライン数に近い値であれば、フラッシュバンドの検出条件を満たしたと判断してもよい。

また、フラッシュバンド補正部１１０において、第２〜４のフラッシュバンド補正のような、サイズ補正を伴う補正ができない場合にも本発明を適用できる。例えば、上記第１の実施形態の図２のステップＳ２０４において、必ず条件を満たさないよう設定しておけば、ズーム変化率とフラッシュバンド検出結果のばらつきに応じて、第１のフラッシュバンド補正を行うか、行わないかを選択させることができる。こうすることでズームが変化した場合にフラッシュバンド補正による誤補正を防ぐことが可能となる。

また、フラッシュバンド検出部１０９でのフラッシュバンド検出方法は、上記各実施形態で述べたものに限らず、フラッシュバンドが検出できる方法であれば、どのようなものでもよい。

また、フラッシュバンド検出部１０９でのフラッシュバンド検出結果のばらつきについても、上記各実施形態で述べたものに限らず、フレーム間で被写体が変化した場合に値が変わるものあれば、どのようなものでもよい。更に、フラッシュバンド補正部１１０でのフラッシュバンド補正方法は上記各実施形態で述べたものに限らず、同様の効果のある補正方法であれば、どのようなものでもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、本発明は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ レンズ部
１０２ 撮像素子
１０３ 映像信号処理部
１０４ システム制御部
１０５ メモリ部
１０９ フラッシュバンド検出部
１１０ フラッシュバンド補正部
１１１ ズーム変化率算出部
１１３ 外部フラッシュ

Claims (9)

1. ズーム機能を有するレンズ部と、
   画素のライン毎に順次露光を開始して順次読み出しを行う撮像素子と、
   前記撮像素子から出力された画像信号に基づき、画像情報を生成する信号処理手段と、前記信号処理手段により生成された画像情報をメモリ部に保持する記憶手段と、
   前記メモリ部に保持された前記画像情報に基づき、外部閃光による複数のフレームにまたがったフラッシュバンドの有無を検出する検出手段と、
   前記フラッシュバンドを有するフレームに対し、前記フラッシュバンドの補正を行う補正手段と、
   前記レンズ部のズーム状態を判断する判断手段と、を備え、
   前記補正手段は、前記判断手段が前記レンズ部に所定のズーム状態の変化が生じていると判断した場合、前記フラッシュバンドを有するフレームに対する前記フラッシュバンドの補正を行わないことを特徴とし、
   前記検出手段は、さらに、前記複数のフレーム同士のレベル差を検出し、
   前記判断手段が前記レンズ部に前記所定のズーム状態の変化が生じていると判断する条件として、前記レベル差のばらつきが所定の閾値以上であることを含むことを特徴とする撮像装置。
2. 前記判断手段が前記レンズ部に前記所定のズーム状態の変化が生じていると判断する条件として、少なくとも前記複数のフレーム間でのズームの変化率が第４の閾値以上であることを含むことを特徴とする請求項１に記載の撮像装置。
3. 前記判断手段が前記レンズ部に前記所定のズーム状態の変化が生じていると判断する条件として、少なくとも前記複数のフレーム間でのズームの変化率が第４の閾値以上であることに代えて、少なくとも前記複数のフレーム間でのズームの変化率が第１の閾値未満であることを含むことを特徴とする請求項２に記載の撮像装置。
4. 前記補正手段は、前記複数のフレーム間でのズームの変化率が、第２の閾値以上であり、且つ第３の閾値未満である場合、ズームの変化を考慮しない第１のフラッシュバンドの補正を行い、
   前記第１〜４の閾値は、小さい順に第１の閾値、第２の閾値、第３の閾値、第４の閾値であることを特徴とする請求項３に記載の撮像装置。
5. 前記補正手段は、前記レベル差のばらつきが所定の閾値以上である場合であって、前記複数のフレーム間でのズームの変化率が前記第４の閾値未満であり、且つ前記第３の閾値以上である場合、前記フラッシュバンドを有するフレームに対して前記ズームの変化率に応じた第２のフラッシュバンドの補正を行うことを特徴とする請求項４に記載の撮像装置。
6. 前記補正手段は、前記レベル差のばらつきが所定の閾値以上である場合であって、前記複数のフレーム間でのズームの変化率が前記第１の閾値以上であり、且つ前記第２の閾値未満である場合、前記フラッシュバンドを有するフレームに対して前記ズームの変化率に応じた第２のフラッシュバンドの補正を行うことを特徴とする請求項４に記載の撮像装置。
7. 前記補正手段は、前記フラッシュバンドが検出されたフレームに隣接するフレームの一部を合成することにより、前記フラッシュバンドの補正を行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. ズーム機能を有するレンズ部と、画素のライン毎に順次露光を開始して順次読み出しを行う撮像素子と、を備える撮像装置の制御方法であって、
   前記撮像素子から出力された画像信号に基づき、画像情報を生成する信号処理ステップと、
   前記信号処理ステップで生成された画像情報をメモリ部に保持する記憶ステップと、
   前記メモリ部に保持された前記画像情報に基づき、外部閃光による複数のフレームにまたがったフラッシュバンドの有無を検出する検出ステップと、
   前記フラッシュバンドを有するフレームに対し、前記フラッシュバンドの補正を行う補正ステップと、
   前記レンズ部のズーム状態を判断する判断ステップと、を備え、
   前記判断ステップで前記レンズ部に所定のズーム状態の変化が生じていると判断された場合、前記補正ステップでの前記フラッシュバンドを有するフレームに対する前記フラッシュバンドの補正を行わないことを特徴とし、
   前記検出ステップでは、さらに、前記複数のフレーム同士のレベル差を検出し、
   前記判断ステップで前記レンズ部に前記所定のズーム状態の変化が生じていると判断する条件として、前記レベル差のばらつきが所定の閾値以上であることを含むことを特徴とする撮像装置の制御方法。
9. コンピュータを請求項１乃至７のいずれか１項に記載の撮像装置の各手段として機能させる、コンピュータが実行可能なプログラム。