JP6579818B2 - 撮像装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、撮像装置、その制御方法、および制御プログラムに関し、特に、フラッシュバンド補正を行うことのできる撮像装置に関する。

一般に、ローリングシャッターによって読み出し動作を行う撮像素子を備える撮像装置においては、フラッシュの閃光によって１フレームの画像に帯状の明るさの段差（所謂フラッシュバンド）が生じる。このフラッシュバンドを補正するため、フラッシュバンドが検出されたフレームの代わりに、その前のフレームの画像を用いることが行われている。さらには、複数のフレームを加算平均して、フラッシュバンドを低減した画像を生成することが行われている（特許文献１参照）。

特開２０１１−６６５６７号公報

ところが、フラッシュバンドが生じたフレームの代わりに、直前のフラッシュバンドが発生していないフレームを用いると、同一のフレームが連続してしまうことになる。この結果、映像の連続性が保たれなくなってしまう。そして、フラッシュバンドが連続して発生した場合には、連続して同一のフレームが出力されることになる。この結果、ユーザにとっては違和感のある映像となってしまう。

さらに、前述のように、フラッシュバンドが発生した際に、複数のフレームの画像を加算平均して、フラッシュバンドを補正することが行われている。この場合、複数のフレームにおいてフラッシュバンドの発生領域が重なる部分があると、帯状の明るさの段差（フラッシュバンド）が残存してしまう。そして、フラッシュバンドの発生領域が極めて小さい場合においても、輝度段差が残存する。この結果、フラッシュバンドを適切に補正することができない。

また、加算平均を用いてフラッシュバンドを補正する場合に、フラッシュバンドが連続して発生すると、フラッシュバンドの補正が困難となることがある。

加えて、複数のフレームを加算平均してフラッシュバンドを補正しようとすると、不可避的に複数のフレームメモリが必要となって、回路規模が大きくなってしまう。

従って、本発明の目的は、回路規模が増大することなく、複数のフレームに連続的に帯状の明るさの段差が発生しても精度よく補正して違和感のない映像を得ることのできる撮像装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による撮像装置は、撮像によって連続する複数のフレームを有する映像を出力する撮像装置であって、前記複数のフレームにおいて帯状の明るさの段差が発生したラインを検出する検出手段と、前記フレームを現在フレームとして出力する際に、前記現在フレームにおいて前記検出手段で前記帯状の明るさの段差が発生したラインが検出されると、前記現在フレームの直前の直前フレームで検出された帯状の明るさの段差が発生したラインと前記現在フレームで検出された帯状の明るさの段差が発生したラインとの合計ライン数が前記現在フレームの全ライン数以上である場合、前記現在フレームの帯状の明るさの段差が発生したラインと前記直前フレームの帯状の明るさの段差が発生したラインとを合成して合成画像を生成する際、前記現在フレームおよび前記直前フレームにおいて同一のラインで前記帯状の明るさの段差が検出されていると、前記帯状の明るさの段差が検出された同一のラインのうち前記帯状の明るさの段差の境界から遠いラインを前記合成画像の生成に用い、当該合成画像を前記現在フレームとして出力する補正手段と、有することを特徴とする。

本発明による制御方法は、撮像によって連続する複数のフレームを有する映像を出力する撮像装置の制御方法であって、前記複数のフレームにおいて帯状の明るさの段差が発生したラインを検出する検出ステップと、前記フレームを現在フレームとして出力する際に、前記現在フレームにおいて前記検出ステップで前記帯状の明るさの段差が発生したラインが検出されると、前記現在フレームの直前の直前フレームで検出された帯状の明るさの段差が発生したラインと前記現在フレームで検出された帯状の明るさの段差が発生したラインとの合計ライン数が前記現在フレームの全ライン数以上である場合、前記現在フレームの帯状の明るさの段差が発生したラインと前記直前フレームの帯状の明るさの段差が発生したラインとを合成して合成画像を生成する際、前記現在フレームおよび前記直前フレームにおいて同一のラインで前記帯状の明るさの段差が検出されていると、前記帯状の明るさの段差が検出された同一のラインのうち前記帯状の明るさの段差の境界から遠いラインを前記合成画像の生成に用い、当該合成画像を前記現在フレームとして出力する補正ステップと、を有することを特徴とする。

本発明による制御プログラムは、撮像によって連続する複数のフレームを有する映像を出力する撮像装置で用いられる制御プログラムであって、前記撮像装置が備えるコンピュータに、前記複数のフレームにおいて帯状の明るさの段差が発生したラインを検出する検出ステップと、前記フレームを現在フレームとして出力する際に、前記現在フレームにおいて前記検出ステップで前記帯状の明るさの段差が発生したラインが検出されると、前記現在フレームの直前の直前フレームで検出された帯状の明るさの段差が発生したラインと前記現在フレームで検出された帯状の明るさの段差が発生したラインとの合計ライン数が前記現在フレームの全ライン数以上である場合、前記現在フレームの帯状の明るさの段差が発生したラインと前記直前フレームの帯状の明るさの段差が発生したラインとを合成して合成画像を生成する際、前記現在フレームおよび前記直前フレームにおいて同一のラインで前記帯状の明るさの段差が検出されていると、前記帯状の明るさの段差が検出された同一のラインのうち前記帯状の明るさの段差の境界から遠いラインを前記合成画像の生成に用い、当該合成画像を前記現在フレームとして出力する補正ステップと、を実行させることを特徴とする。

本発明によれば、回路規模が増大することなく、複数のフレームに連続的に帯状の明るさの段差が発生しても精度よく補正して違和感のない映像を得ることができる。

本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。 図１に示すカメラで行われるフラッシュバンド補正処理を説明するためのフローチャートである。 図２に示すステップＳ１０２の処理で全ライン数以上であると判定された場合の例を示す図である。 図２に示すステップＳ１０３で行われる合成処理を説明するための図である。 図２に示すステップＳ１０２の処理で全ライン数未満であると判定された場合の例を示す図である。 図２に示すステップＳ１０４で行われる合成処理を説明するための図である。 図１に示すカメラで行われるフラッシュバンド補正処理の第１の例を説明するための図である。 図１に示すカメラで行われるフラッシュバンド補正処理の第２の例を説明するための図である。 図１に示すカメラで行われるフラッシュバンド補正処理の第３の例を説明するための図である。 図１に示すカメラで行われるフラッシュバンド補正処理の第４の例を説明するための図である。 図１に示すカメラで行われるフラッシュバンド補正処理の第５の例を説明するための図である。 本発明の第２の実施形態によるカメラで行われるフラッシュバンド補正処理を説明するためのフローチャートである。 本発明の第２の実施形態によるカメラで行われる合成画像の生成の一例を説明するための図であり、（ａ）は図１２に示すステップＳ２０４の処理を説明するための図、（ｂ）は図１２に示すステップＳ２０５の処理を説明するための図である。 本発明の第２の実施形態によるカメラで行われる合成画像の生成の他の例を説明するための図であり、（ａ）は図１２に示すステップＳ２０７の処理を説明するための図、（ｂ）は図１２に示すステップＳ２０８の処理を説明するための図である。

以下に、本発明の実施の形態による撮像装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、例えば、デジタルビデオカメラ（以下単にビデオカメラと呼ぶ）であり、撮影光学系（以下レンズと呼ぶ）１０１を有している。レンズ１０１には、変倍の際に光軸に沿って移動する変倍レンズ（ズームレンズ）と、焦点調節（合焦）の際に光軸に沿って移動するフォーカスレンズとが備えられている。さらに、レンズ１０１には、入射光量を調節する絞りおよび減光（ＮＤ）フィルタが備えられている。

レンズ１０１によって被写体像（光学像）が撮像素子１０２に結像する。撮像素子１０２は光学像に応じた電気信号（アナログ信号）を出力する。なお、撮像素子１０２ではローリングシャッター方式によって露光が行われる。

撮像素子１０２の出力であるアナログ信号は、映像信号処理部１０３に与えられる。映像信号処理部１０３はＡ／Ｄ変換によってアナログ信号をデジタル信号に変換した後、当該デジタル信号を所定のフォーマットの映像信号に変換する。

ＣＰＵを用いた全体制御演算部１０４はビデオカメラ全体を制御する。全体制御演算部１０４は映像信号処理部１０３の出力である映像信号に基づいて適切な露出量を算出する。そして、全体制御演算部１０４は、当該露出量に応じて絞りおよびＮＤフィルタを制御する。さらに、全体制御演算部１０４は撮像素子１０２におけるシャッタースピードおよび映像信号処理部１０３で用いられるゲイン値を制御する。

なお、上記のシャッタースピードとは電子シャッターにおける露光時間をいう。全体制御演算部１０４は、撮像素子１０２における電荷の蓄積開始タイミングおよび読み出しタイミングを制御することによってシャッタースピードを制御する。

メモリ部１０５には、全体制御演算部１０４による演算結果および映像信号処理部１０３の出力である映像信号が一時的に記憶される。記録媒体１０６として、例えば、ＤＶＤ、ハードディスク、又は不揮発性メモリなどが用いられる。記録媒体制御Ｉ／Ｆ部１０７は記録媒体１０６に映像信号が画像データとして記録するとともに、記録媒体１０６に記録された画像データを読み出す。

外部Ｉ／Ｆ部１０８には、モニタ、レコーダ、別のビデオカメラ、又はプレーヤなどの外部機器が接続される。そして、外部Ｉ／Ｆ部１０８は、撮像の結果得られた映像信号を外部機器に出力するとともに、外部機器から映像信号を取り込む。さらには、外部Ｉ／Ｆ部１０８には、外部機器としてコンピュータが接続される。コンピュータが接続された際には、ビデオカメラは外部Ｉ／Ｆ部１０８を介してコンピュータと通信を行って、インターネットなどを介して必要なデータを取得することができる。

フラッシュバンド検出部１０９は、メモリ部１０５に記録された映像信号において連続する２フレームを比較して帯状の明るさの段差（フラッシュバンド）が発生したラインを検出する。フラッシュバンドを検出する際には、連続する２フレームの各々においてライン方向の平均輝度値を算出する。そして、連続する２フレーム間において平均輝度値の差を輝度差として求めて、当該輝度差が所定の閾値Ｔｈを超えたラインの数が予め定められた数（例えば１０ライン）連続するとフラッシュバンドが発生したとする。なお、フラッシュバンドを検出する方法は上記の方法に限定されない。そして、フラッシュバンド検出部１０９は、フラッシュバンドが検出したフレームおよびそのラインを示すフラッシュバンド情報をメモリ部１０５に記録する。

フラッシュバンド補正部１１０は、後述するようにして、フラッシュバンド情報に応じて、フラッシュバンドが検出されたフレームと当該フレーム直前のフレームとを合成してフラッシュバンド補正を行う。

図２は、図１に示すカメラで行われるフラッシュバンド補正処理を説明するためのフローチャートである。

フラッシュバンド補正処理を開始すると、全体制御演算部１０４は、フラッシュバンド検出部１０９によってフレームにフラッシュバンドが検出されたか否かを判定する（ステップＳ１０１）。フラッシュバンドが検出されると（ステップＳ１０１において、ＹＥＳ）、全体制御演算部１０４は、現在のフレームおよびその直前のフレームの２フレームにおいてフラッシュバンドが検出されたライン数が現在フレーム（１フレーム）の全ライン数以上であるか否かを判定する（ステップＳ１０２）。

フラッシュバンドが検出されたライン数（合計ライン数）が１フレームの全ライン数以上であると（ステップＳ１０２において、ＹＥＳ）、全体制御演算部１０４はフラッシュバンドが検出されたラインを用いて、フラッシュバンド補正部１１０によって２フレームを合成して合成画像を生成する（ステップＳ１０３）。

なお、合成画像を生成する際に、現在フレームおよび直前フレームにおいて同一のラインでフラッシュバンドが検出されているとする。この場合には、全体制御演算部１０４はフラッシュバンドが検出された同一のラインのうちフラッシュバンドの境界（開始ライン又は終了ライン）から離れた（つまり、遠い）ラインを合成画像の生成に用いる。その後、全体制御演算部１０４はフラッシュバンド補正処理を終了する。

一方、フラッシュバンドが検出されたライン数が１フレームの全ライン数未満であると（ステップＳ１０２において、ＮＯ）、全体制御演算部１０４はフラッシュバンドが検出されていないラインを用いて、フラッシュバンド補正部１１０によって２フレームを合成して合成画像を生成する（ステップＳ１０４）。

なお、合成画像を生成する際に、現在フレームおよび直前フレームにおいて同一のラインで前記フラッシュバンドが検出されていないとする。この場合には、全体制御演算部１０４はフラッシュバンドが検出されていない同一のラインのうちフラッシュバンドの境界から離れた（つまり、遠い）ラインを合成画像の生成に用いる。その後、全体制御演算部１０４はフラッシュバンド補正処理を終了する。

フラッシュバンドが検出されないと（ステップＳ１０１において、ＮＯ）、全体制御演算部１０４は、フラッシュバンド補正部１１０によるフラッシュバンド補正を行うことなく、現在のフレームを出力する（ステップＳ１０５）。そして、全体制御演算部１０４はフラッシュバンド補正処理を終了する。

図３は、図２に示すステップＳ１０２の処理で全ライン数以上であると判定された場合の例を示す図である。

図３においては、現在のフレーム（現在フレームという）およびその直前のフレーム（直前フレームという）で検出されたフラッシュバンドのライン数が１フレームの全ライン数以上である場合の例が示されている。撮像素子１０２からは垂直同期信号に応じてフレーム毎に画像が読み出される。

直前フレームにおいて、１ライン目から（ｎ−１）ライン目まではフラッシュ発光の影響を受けておらず、通常の明るさ（つまり、自然光）で露光されている。ｎライン目からｋライン目（最終ライン）においては、フラッシュ発光の影響を受けてフラッシュバンドが発生している。

現在フレームにおいては、１ライン目から（ｍ−１）ライン目（ここでは、ｎ＜ｍ）まではフラッシュ発光の影響を受けて、フラッシュバンドが発生している。そして、ｍライン目からｋライン目では、フラッシュ発光の影響を受けておらず、通常の明るさで露光されている。この結果、直前フレームと現在フレームとにおいて、フラッシュバンドの発生ライン数は、（ｋ＋ｍ−ｎ）ラインとなる。

図３に示す例では、ｎ＜ｍであるので、フラッシュバンドの発生ライン数（ｋ＋ｍ−ｎ）は、全ライン数ｋ以上となる。よって、図２で説明したフローチャートにおいては、全体制御演算部１０４は、ステップＳ１０３においてフラッシュバンドが検出されたラインを用いて、フラッシュバンド補正部１１０によって合成画像を生成する。

図４は、図２に示すステップＳ１０３で行われる合成処理を説明するための図である。

前述のように、全体制御演算部１０４は、現フレームおよび直前フレームにおいてフラッシュバンドの発生ライン数が全ライン数以上であると、当該フラッシュバンドが発生したラインを用いてフラッシュバンド補正部１１０によって合成画像を生成する。合成画像を生成する際には、例えば、全体制御演算部１０４は、１ライン目から（ｎ＋ｍ）／２−１ライン目においては、図３に示す現在フレームを用い、（ｎ＋ｍ）／２ライン目からｋライン目（最終ライン）において直前フレームを用いる。つまり、全体制御演算部１０４は、現在フレームの１ライン目から（ｎ＋ｍ）／２−１ライン目と直前フレームの（ｎ＋ｍ）／２ライン目からｋライン目を用いて、フラッシュバンド補正部１１０によって１フレームの合成画像を生成する。

これによって、１フレームの合成画像においては、画像の全面に均一にフラッシュが発光された明るい画像を生成することができる。

図５は、図２に示すステップＳ１０２の処理で全ライン数未満であると判定された場合の例を示す図である。

図５においては、現在フレームおよび直前フレームで検出されたフラッシュバンドのライン数が１フレームの全ライン数未満である場合の例が示されている。

直前フレームにおいて、１ライン目から（ｎ−１）ライン目まではフラッシュ発光の影響を受けておらず、通常の明るさ（つまり、自然光）で露光されている。そして、ｎライン目からｋライン目（最終ライン）においては、フラッシュ発光の影響を受けてフラッシュバンドが発生している。

現在フレームにおいては、１ライン目から（ｍ−１）ライン目（ここでは、ｎ＞ｍ）まではフラッシュ発光の影響を受けて、フラッシュバンドが発生している。そして、ｍライン目からｋライン目では、フラッシュ発光の影響を受けておらず、通常の明るさで露光されている。この結果、直前フレームと現在フレームとにおいて、フラッシュバンドの発生ライン数は、（ｋ＋ｍ−ｎ）ラインとなる。

図５に示す例では、ｎ＞ｍであるので、フラッシュバンドの発生ライン数（ｋ＋ｍ−ｎ）は、全ライン数ｋ未満となる。よって、図２で説明したフローチャートにおいては、全体制御演算部１０４は、ステップＳ１０４においてフラッシュバンドが検出されないラインを用いて、フラッシュバンド補正部１１０によって合成画像を生成する。

図６は、図２に示すステップＳ１０４で行われる合成処理を説明するための図である。

前述のように、全体制御演算部１０４は、現フレームおよび直前フレームにおいてフラッシュバンドの発生ライン数が全ライン数未満であると、フラッシュバンドの発生がないラインを用いて、フラッシュバンド補正部１１０によって合成画像を生成する。合成画像を生成する際には、例えば、全体制御演算部１０４は、１ライン目から（ｎ＋ｍ）／２−１ライン目においては、図５に示す直前フレームを用い、（ｎ＋ｍ）／２ライン目からｋライン目（最終ライン）においては現在フレームを用いる。つまり、全体制御演算部１０４は、直前フレームの１ライン目から（ｎ＋ｍ）／２−１ライン目と現在フレームの（ｎ＋ｍ）／２ライン目からｋライン目を用いて、フラッシュバンド補正部１１０によって１フレームの合成画像を生成する。

これによって、１フレームの合成画像においては、画像の全面においてフラッシュの発光がない通常の明るさの画像を生成することができる。

図７は、図１に示すカメラで行われるフラッシュバンド補正処理の第１の例を説明するための図である。

図示の例では、１フレーム目、４フレーム目、および５フレーム目では、フラッシュバンドが発生しておらず、２フレーム目および３フレーム目にフラッシュバンドが発生している。そして、２フレーム目の途中から３フレーム目の途中のラインまで輝度レベルが高くなっている。

１フレーム目においては、フラッシュバンドが検出されないので、全体制御演算部１０４は、フラッシュバンド補正部１１０による補正を行うことなく、１フレーム目の画像を出力する。２フレーム目においてはフラッシュバンドが検出されているので、全体制御演算部１０４は現在フレームおよび直前フレームを用いて、フラッシュバンド補正部１１０によって合成画像を生成する。

ここでは、２フレーム目の画像が現在フレームであり、１フレーム目の画像が直前フレームである。図示のように、２フレーム目および１フレーム目の画像におけるフラッシュバンドの発生ライン数は１フレームの全ライン数未満である。よって、全体制御演算部１０４はフラッシュバンドが発生していないラインを用いて、フラッシュバンド補正部１１０によって合成画像を生成する。

３フレーム目においては、フラッシュバンドが検出されているので、全体制御演算部１０４は現在フレームおよび直前フレームを用いて合成画像を生成する。ここでは、３フレーム目の画像が現在フレームであり、２フレーム目の画像が直前フレームである。図示のように、２フレーム目および１フレーム目の画像におけるフラッシュバンドの発生ライン数は１フレームの全ライン数以上である。よって、全体制御演算部１０４はフラッシュバンドが発生しているラインを用いて、フラッシュバンド補正部１１０によって合成画像を生成する。

なお、４フレーム目および５フレーム目では、フラッシュバンドが検出されないので、全体制御演算部１０４は、フラッシュバンド補正部１１０による補正を行うことなく、４フレーム目および５フレーム目の画像を出力する。

このように、図７に示す例では、１フレーム目、２フレーム目、４フレーム目、および５フレーム目の画像はフラッシュ発光の影響を受けていない画像となる。一方、３フレーム目の画像はフラッシュ発光によって輝度レベルが高くなった画像となる。

図８は、図１に示すカメラで行われるフラッシュバンド補正処理の第２の例を説明するための図である。

図示の例では、１フレーム目、４フレーム目、および５フレーム目では、フラッシュバンドが発生しておらず、２フレーム目および３フレーム目にフラッシュバンドが発生している。そして、２フレーム目の途中から３フレーム目の途中のラインまで輝度レベルが高くなっている。

１フレーム目においては、フラッシュバンドが検出されないので、全体制御演算部１０４は、フラッシュバンド補正部１１０による補正を行うことなく、１フレーム目の画像を出力する。２フレーム目においてはフラッシュバンドが検出されているので、全体制御演算部１０４は２フレーム目の画像および１フレーム目の画像を用いて、フラッシュバンド補正部１１０によって合成画像を生成する。

図示のように、２フレーム目および１フレーム目の画像におけるフラッシュバンドの発生ライン数は１フレームの全ライン数未満である。よって、全体制御演算部１０４はフラッシュバンドが発生していないラインを用いて、フラッシュバンド補正部１１０によって合成画像を生成する。

３フレーム目においては、フラッシュバンドが検出されているので、全体制御演算部１０４は３フレーム目の画像および２フレーム目の画像を用いて合成画像を生成する。図示のように、３フレーム目および２フレーム目の画像におけるフラッシュバンドの発生ライン数は１フレームの全ライン数未満である。よって、全体制御演算部１０４はフラッシュバンドが発生していないラインを用いて、フラッシュバンド補正部１１０によって合成画像を生成する。

なお、４フレーム目および５フレーム目では、フラッシュバンドが検出されないので、全体制御演算部１０４は、フラッシュバンド補正部１１０による補正を行うことなく、４フレーム目および５フレーム目の画像を出力する。

このように、図８に示す例では、１フレーム目〜５フレーム目の画像はフラッシュ発光の影響を受けていない画像となる。

図９は、図１に示すカメラで行われるフラッシュバンド補正処理の第３の例を説明するための図である。

図示の例では、１フレーム目および６フレーム目では、フラッシュバンドが発生しておらず、２フレーム目、３フレーム目、４フレーム目、および５フレーム目にフラッシュバンドが発生している。そして、２フレーム目の途中から３フレーム目の途中のラインまで輝度レベルが高くなり、さらに、４フレーム目の途中から５フレーム目の途中のラインまで輝度レベルが高くなっている。

１フレーム目においては、フラッシュバンドが検出されないので、全体制御演算部１０４は、フラッシュバンド補正部１１０による補正を行うことなく、１フレーム目の画像を出力する。２フレーム目においてフラッシュバンドが検出されているので、全体制御演算部１０４は２フレーム目の画像および１フレーム目の画像を用いて、フラッシュバンド補正部１１０によって合成画像を生成する。

図示のように、２フレーム目および１フレーム目の画像におけるフラッシュバンドの発生ライン数は１フレームの全ライン数未満である。よって、全体制御演算部１０４はフラッシュバンドが発生していないラインを用いて、フラッシュバンド補正部１１０によって合成画像を生成する。

３フレーム目においてフラッシュバンドが検出されているので、全体制御演算部１０４は３フレーム目の画像および２フレーム目の画像を用いて合成画像を生成する。図示のように、３フレーム目および２フレーム目の画像におけるフラッシュバンドの発生ライン数は１フレームの全ライン数以上である。よって、全体制御演算部１０４はフラッシュバンドが発生しているラインを用いて、フラッシュバンド補正部１１０によって合成画像を生成する。

４フレーム目においてフラッシュバンドが検出されているので、全体制御演算部１０４は４フレーム目の画像および３フレーム目の画像を用いて合成画像を生成する。図示のように、４フレーム目および３フレーム目の画像におけるフラッシュバンドの発生ライン数は１フレームの全ライン数未満である。よって、全体制御演算部１０４はフラッシュバンドが発生していないラインを用いて、フラッシュバンド補正部１１０によって合成画像を生成する。

５フレーム目においてフラッシュバンドが検出されているので、全体制御演算部１０４は５フレーム目の画像および４フレーム目の画像を用いて合成画像を生成する。図示のように、５フレーム目および４フレーム目の画像におけるフラッシュバンドの発生ライン数は１フレームの全ライン数以上である。よって、全体制御演算部１０４はフラッシュバンドが発生しているラインを用いて、フラッシュバンド補正部１１０によって合成画像を生成する。

なお、６フレーム目では、フラッシュバンドが検出されないので、全体制御演算部１０４は、フラッシュバンド補正部１１０による補正を行うことなく、６フレーム目の画像を出力する。

このように、図９に示す例では、１フレーム目、２フレーム目、４フレーム目、および６フレーム目の画像はフラッシュ発光の影響を受けていない画像となる。一方、３フレーム目および５フレーム目の画像はフラッシュ発光によって輝度レベルが高くなった画像となる。

図１０は、図１に示すカメラで行われるフラッシュバンド補正処理の第４の例を説明するための図である。

図示の例では、１フレーム目および６フレーム目では、フラッシュバンドが発生しておらず、２フレーム目、３フレーム目、４フレーム目、および５フレーム目にフラッシュバンドが発生している。そして、２フレーム目の途中から３フレーム目の途中のラインまで輝度レベルが高くなり、さらに、４フレーム目の途中から５フレーム目の途中のラインまで輝度レベルが高くなっている。

１フレーム目においては、フラッシュバンドが検出されないので、全体制御演算部１０４は、フラッシュバンド補正部１１０による補正を行うことなく、１フレーム目の画像を出力する。２フレーム目においてフラッシュバンドが検出されているので、全体制御演算部１０４は２フレーム目の画像および１フレーム目の画像を用いて、フラッシュバンド補正部１１０によって合成画像を生成する。

図示のように、２フレーム目および１フレーム目の画像におけるフラッシュバンドの発生ライン数は１フレームの全ライン数未満である。よって、全体制御演算部１０４はフラッシュバンドが発生していないラインを用いて、フラッシュバンド補正部１１０によって合成画像を生成する。

３フレーム目においてフラッシュバンドが検出されているので、全体制御演算部１０４は３フレーム目の画像および２フレーム目の画像を用いて合成画像を生成する。図示のように、３フレーム目および２フレーム目の画像におけるフラッシュバンドの発生ライン数は１フレームの全ライン数以上である。よって、全体制御演算部１０４はフラッシュバンドが発生しているラインを用いて、フラッシュバンド補正部１１０によって合成画像を生成する。

４フレーム目においてフラッシュバンドが検出されているので、全体制御演算部１０４は４フレーム目の画像および３フレーム目の画像を用いて合成画像を生成する。図示のように、４フレーム目および３フレーム目の画像におけるフラッシュバンドの発生ライン数は１フレームの全ライン数以上である。よって、全体制御演算部１０４はフラッシュバンドが発生しているラインを用いて、フラッシュバンド補正部１１０によって合成画像を生成する。

５フレーム目においてフラッシュバンドが検出されているので、全体制御演算部１０４は５フレーム目の画像および４フレーム目の画像を用いて合成画像を生成する。図示のように、５フレーム目および４フレーム目の画像におけるフラッシュバンドの発生ライン数は１フレームの全ライン数以上である。よって、全体制御演算部１０４はフラッシュバンドが発生しているラインを用いて、フラッシュバンド補正部１１０によって合成画像を生成する。

なお、６フレーム目では、フラッシュバンドが検出されないので、全体制御演算部１０４は、フラッシュバンド補正部１１０による補正を行うことなく、６フレーム目の画像を出力する。

このように、図１０に示す例では、１フレーム目、２フレーム目、および６フレーム目の画像はフラッシュ発光の影響を受けていない画像となる。一方、３フレーム目、４フレーム目、および５フレーム目の画像はフラッシュ発光によって輝度レベルが高くなった画像となる。

図１１は、図１に示すカメラで行われるフラッシュバンド補正処理の第５の例を説明するための図である。

図示の例では、１フレーム目および５フレーム目では、フラッシュバンドが発生しておらず、２フレーム目、３フレーム目、および４フレーム目にフラッシュバンドが発生している。そして、２フレーム目の途中から３フレーム目の途中（第１の位置）のラインまで輝度レベルが高くなり、さらに、３フレーム目の途中（第２の位置）から４フレーム目の途中のラインまで輝度レベルが高くなっている。

１フレーム目においては、フラッシュバンドが検出されないので、全体制御演算部１０４は、フラッシュバンド補正部１１０による補正を行うことなく、１フレーム目の画像を出力する。２フレーム目においてフラッシュバンドが検出されているので、全体制御演算部１０４は２フレーム目の画像および１フレーム目の画像を用いて、フラッシュバンド補正部１１０によって合成画像を生成する。

図示のように、２フレーム目および１フレーム目の画像におけるフラッシュバンドの発生ライン数は１フレームの全ライン数未満である。よって、全体制御演算部１０４はフラッシュバンドが発生していないラインを用いて、フラッシュバンド補正部１１０によって合成画像を生成する。

３フレーム目においてフラッシュバンドが検出されているので、全体制御演算部１０４は３フレーム目の画像および２フレーム目の画像を用いて合成画像を生成する。図示のように、３フレーム目および２フレーム目の画像におけるフラッシュバンドの発生ライン数は１フレームの全ライン数以上である。よって、全体制御演算部１０４はフラッシュバンドが発生しているラインを用いて、フラッシュバンド補正部１１０によって合成画像を生成する。

４フレーム目においてフラッシュバンドが検出されているので、全体制御演算部１０４は４フレーム目の画像および３フレーム目の画像を用いて合成画像を生成する。図示のように、４フレーム目および３フレーム目の画像におけるフラッシュバンドの発生ライン数は１フレームの全ライン数以上である。よって、全体制御演算部１０４はフラッシュバンドが発生しているラインを用いて、フラッシュバンド補正部１１０によって合成画像を生成する。

なお、５フレーム目では、フラッシュバンドが検出されないので、全体制御演算部１０４は、フラッシュバンド補正部１１０による補正を行うことなく、５フレーム目の画像を出力する。

このように、図１１に示す例では、１フレーム目、２フレーム目、および５フレーム目の画像はフラッシュ発光の影響を受けていない画像となる。一方、３フレーム目および４フレーム目の画像はフラッシュ発光によって輝度レベルが高くなった画像となる。

このように、本発明の第１の実施形態では、現在フレームおよび直前フレームの少なくとも一方のラインにフラッシュバンドが発生した際に、フラッシュバンドを適切に補正することができる。言い換えると、第１の実施形態では、フラッシュの発光時間が長くフラッシュバンドの発生ライン数が多くなっても適切にフラッシュバンドを補正することができる。さらに、シャッタースピードが短くフラッシュバンドの発生ライン数が少ない場合においても適切にフラッシュバンドを補正することができる。加えて、第１の実施形態では、フラッシュが連続して発光された場合においても、フラッシュバンドを適切に補正することができる。

そして、第１の実施形態では、現在フレームおよび直前フレームの２フレームを用いて補正を行うようにしたので、補正に用いられるメモリ容量は２フレーム分でよい。よって、回路規模が増大することはない。

さらに、現在フレームおよび直前フレームにおいて、フラッシュバンドが検出されるか又は検出されない同一のラインが存在する場合には、フラッシュバンドの発生開始ラインおよび終了ライン（つまり、境界）から遠いラインを合成画像に用いる。これによって、フラッシュによる輝度変化があるラインを確実に除外して、適正な補正を行うことができる。

［第２の実施形態］
続いて、本発明の第２の実施形態によるカメラの一例について説明する。なお、第２の実施形態によるカメラの構成は図１に示すカメラと同様である。

図１２は、本発明の第２の実施形態によるカメラで行われるフラッシュバンド補正処理を説明するためのフローチャートである。なお、図１２において、図２に示すフローチャートのステップと同一のステップについては同一の参照符号を付して説明を省略する。

ステップＳ１０２において、フラッシュバンドが検出されたライン数が１フレームの全ライン数以上であると、全体制御演算部１０４は現在フレームよりも直前フレームの方がフラッシュバンドが検出されたライン数が多いか否かを判定する（ステップＳ２０３）。

直前フレームの方が検出されたライン数が多いと（ステップＳ２０３において、ＹＥＳ）、全体制御演算部１０４は、フラッシュバンドが検出されたラインを用いて、フラッシュバンド補正部１１０によって合成画像を生成する（ステップＳ２０４）。この際、現在および直前フレームの２フレームともに同一のラインにおいてフラッシュバンドが検出されていると、全体制御演算部１０４は直前フレームのラインを優先して用いる。その後、全体制御演算部１０４は、フラッシュバンド補正処理を終了する。

直前フレームの方が検出されたライン数が多くないと（ステップＳ２０３において、ＮＯ）、全体制御演算部１０４は、フラッシュバンドが検出されたラインを用いて、フラッシュバンド補正部１１０によって合成画像を生成する（ステップＳ２０５）。この際、現在および直前フレームの２フレームともに同一のラインにおいてフラッシュバンドが検出されていると、全体制御演算部１０４は現在フレームのラインを優先して用いる。その後、全体制御演算部１０４は、フラッシュバンド補正処理を終了する。

ステップＳ１０２において、フラッシュバンドが検出されたライン数が１フレームの全ライン数未満であると、全体制御演算部１０４は現在フレームよりも直前フレームの方がフラッシュバンドが検出されていないライン数が多いか否かを判定する（ステップＳ２０６）。

直前フレームの方が検出されていないライン数が多いと（ステップＳ２０６において、ＹＥＳ）、全体制御演算部１０４は、フラッシュバンドが検出されていないラインを用いて、フラッシュバンド補正部１１０によって合成画像を生成する（ステップＳ２０７）。この際、現在および直前フレームの２フレームともに同一のラインにおいてフラッシュバンドが検出されていないと、全体制御演算部１０４は直前フレームのラインを優先して用いる。その後、全体制御演算部１０４は、フラッシュバンド補正処理を終了する。

直前フレームの方が検出されていないライン数が多くないと（ステップＳ２０６において、ＮＯ）、全体制御演算部１０４は、フラッシュバンドが検出されていないラインを用いて、フラッシュバンド補正部１１０によって合成画像を生成する（ステップＳ２０８）。この際、現在および直前フレームの２フレームともに同一のラインにおいてフラッシュバンドが検出されていないと、全体制御演算部１０４は現在フレームのラインを優先して用いる。その後、全体制御演算部１０４は、フラッシュバンド補正処理を終了する。

図１３は、本発明の第２の実施形態によるカメラで行われる合成画像の生成の一例を説明するための図である。そして、図１３（ａ）は図１２に示すステップＳ２０４の処理を説明するための図であり、図１３（ｂ）は図１２に示すステップＳ２０５の処理を説明するための図である。なお、図１３においては、図３で説明したｎライン、ｍライン、およびｋラインが用いられている。

図１３には、現在フレームよりも直前フレームの方がフラッシュバンドが検出されたライン数が多いか否かの判定結果に応じた処理が示されている。直前フレームの方がフラッシュバンドが検出されたライン数が多いと図１３（ａ）に示した様になる。すなわち、画像合成の際、１ライン目から（ｎ−１）ライン目までは現在フレームのラインが用いられ、ｎライン目からｋライン目（最終ライン）までは直前フレームのラインが用いられる。

一方、現在フレームにおいてフラッシュバンドが検出されたライン数が直前フレームでフラッシュバンドが検出されたライン数以上であると図１３（ｂ）に示した様になる。すなわち、画像合成の際、１ライン目から（ｍ−１）ライン目までは現在フレームのラインが用いられ、ｍライン目からｋライン目（最終ライン）までは直前フレームのラインが用いられる。

このようにして、画像合成を行うと、１フレームの合成画像においては、画像の全面に均一にフラッシュが発光された明るい画像を生成することができる。そして、図１３（ａ）においては、直前フレームのラインを多く用いて画像合成を行っているので、フラッシュ発光から時間のずれが生じていないラインの面積を広くすることができる。さらに、図１３（ｂ）においても、現在フレームのラインを多く用いて画像合成を行っているので、フラッシュ発光から時間のずれが生じていないラインの面積を広くすることができる。

図１４は、本発明の第２の実施形態によるカメラで行われる合成画像の生成の他の例を説明するための図である。そして、図１４（ａ）は図１２に示すステップＳ２０７の処理を説明するための図であり、図１４（ｂ）は図１２に示すステップＳ２０８の処理を説明するための図である。なお、図１４においては、図５で説明したｎライン、ｍライン、およびｋラインが用いられている。

図１４には、現在フレームよりも直前フレームの方がフラッシュバンドが検出されていないライン数が多いか否かの判定結果に応じた処理が示されている。直前フレームの方がフラッシュバンドが検出されていないライン数が多いと図１４（ａ）に示した様になる。すなわち、画像合成の際、１ライン目から（ｎ−１）ライン目までは直前フレームのラインが用いられ、ｎライン目からｋライン目（最終ライン）までは現在フレームのラインが用いられる。

一方、現在フレームにおいてフラッシュバンドが検出されていないライン数が直前フレームでフラッシュバンドが検出されていないライン数以上であると図１４（ｂ）に示した様になる。すなわち、画像合成の際、１ライン目から（ｍ−１）ライン目までは直前フレームのラインが用いられ、ｍライン目からｋライン目（最終ライン）までは現在フレームのラインが用いられる。

このようにして、画像合成を行うと、１フレームの合成画像においては、画像の全面に均一にフラッシュの影響を受けない画像を生成することができる。そして、図１４（ａ）においては、直前フレームのラインを多く用いて画像合成を行っているので、フラッシュ発光の影響がない時間からのずれが生じていないラインの面積を広くすることができる。さらに、図１４（ｂ）においても、現在フレームのラインを多く用いて画像合成を行っているので、フラッシュ発光の影響がない時間からのずれが生じていないラインの面積を広くすることができる。

このように、本発明の第２の実施形態においても、現在フレームおよび直前フレームの少なくとも一方のラインにフラッシュバンドが発生した際に、フラッシュバンドを適切に補正することができる。そして、現在フレームおよび直前フレームの２フレームを用いて補正を行うようにしたので、補正に用いられるメモリ容量は２フレーム分でよい。よって、回路規模が増大することはない。

さらに、第２の実施形態では、画像合成の際に現在フレームおよび直前フレームのいずれか一方のフレームのラインを多く用いて合成を行う。そのため、フラッシュ発光の有無からの時間のずれが生じていないラインの面積を広くして、違和感のない合成画像を得ることができる。

上述の説明から明らかなように、図１に示す例においては、映像信号処理部１０３、フラッシュバンド検出部１０９、および全体制御演算部１０４が検出手段として機能する。また、映像信号処理部１０３、フラッシュバンド補正部１１０、および全体制御演算部１０４が補正手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

また、上記の実施の形態の機能を制御方法として、この制御方法を撮像装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを撮像装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ レンズ
１０２ 撮像素子
１０３ 映像信号処理部
１０４ 全体制御演算部
１０５ メモリ部
１０６ 記録媒体
１０７ 記録媒体制御Ｉ／Ｆ部
１０８ 外部Ｉ／Ｆ部
１０９ フラッシュバンド検出部
１１０ フラッシュバンド補正部

Claims (7)

1. 撮像によって連続する複数のフレームを有する映像を出力する撮像装置であって、
   前記複数のフレームにおいて帯状の明るさの段差が発生したラインを検出する検出手段と、
   前記フレームを現在フレームとして出力する際に、前記現在フレームにおいて前記検出手段で前記帯状の明るさの段差が発生したラインが検出されると、前記現在フレームの直前の直前フレームで検出された帯状の明るさの段差が発生したラインと前記現在フレームで検出された帯状の明るさの段差が発生したラインとの合計ライン数が前記現在フレームの全ライン数以上である場合、前記現在フレームの帯状の明るさの段差が発生したラインと前記直前フレームの帯状の明るさの段差が発生したラインとを合成して合成画像を生成する際、前記現在フレームおよび前記直前フレームにおいて同一のラインで前記帯状の明るさの段差が検出されていると、前記帯状の明るさの段差が検出された同一のラインのうち前記帯状の明るさの段差の境界から遠いラインを前記合成画像の生成に用い、当該合成画像を前記現在フレームとして出力する補正手段と、
   有することを特徴とする撮像装置。
2. 前記補正手段は、前記フレームを現在フレームとして出力する際に、前記現在フレームにおいて前記検出手段で前記帯状の明るさの段差が発生したラインが検出されると、前記現在フレームの直前の直前フレームで検出された帯状の明るさの段差が発生したラインと前記現在フレームで検出された帯状の明るさの段差が発生したラインとの合計ライン数が前記現在フレームの全ライン数未満である場合、前記現在フレームの帯状の明るさの段差が発生しないラインと前記直前フレームの帯状の明るさの段差が発生しないラインとを合成して合成画像を得て、当該合成画像を前記現在フレームとして出力することを特徴とする請求項１に記載の撮像装置。
3. 前記補正手段は、前記合計ライン数が前記全ライン数未満の場合に前記合成画像を生成する際に、前記現在フレームおよび前記直前フレームにおいて同一のラインで前記帯状の明るさの段差が検出されていないと、前記帯状の明るさの段差が検出されていない同一のラインのうち前記帯状の明るさの段差の境界から遠いラインを前記合成画像の生成に用いることを特徴とする請求項２に記載の撮像装置。
4. 前記補正手段は、前記合計ライン数が前記全ライン数以上の場合に前記合成画像を生成する際に、前記現在フレームおよび前記直前フレームにおいて同一のラインで前記帯状の明るさの段差が検出されていると、前記帯状の明るさの段差が検出された同一のラインのうち、前記現在フレームおよび前記直前フレームにおいて前記帯状の明るさの段差が検出されたライン数が多いフレームのラインを前記合成画像の生成に用いることを特徴とする請求項１又は２に記載の撮像装置。
5. 前記補正手段は、前記合計ライン数が前記全ライン数未満の場合に前記合成画像を生成する際に、前記現在フレームおよび前記直前フレームにおいて同一のラインで前記帯状の明るさの段差が検出されていないと、前記帯状の明るさの段差が検出されない同一のラインのうち、前記現在フレームおよび前記直前フレームにおいて前記帯状の明るさの段差が検出されないライン数が多いフレームのラインを前記合成画像の生成に用いることを特徴とする請求項２に記載の撮像装置。
6. 撮像によって連続する複数のフレームを有する映像を出力する撮像装置の制御方法であって、
   前記複数のフレームにおいて帯状の明るさの段差が発生したラインを検出する検出ステップと、
   前記フレームを現在フレームとして出力する際に、前記現在フレームにおいて前記検出ステップで前記帯状の明るさの段差が発生したラインが検出されると、前記現在フレームの直前の直前フレームで検出された帯状の明るさの段差が発生したラインと前記現在フレームで検出された帯状の明るさの段差が発生したラインとの合計ライン数が前記現在フレームの全ライン数以上である場合、前記現在フレームの帯状の明るさの段差が発生したラインと前記直前フレームの帯状の明るさの段差が発生したラインとを合成して合成画像を生成する際、前記現在フレームおよび前記直前フレームにおいて同一のラインで前記帯状の明るさの段差が検出されていると、前記帯状の明るさの段差が検出された同一のラインのうち前記帯状の明るさの段差の境界から遠いラインを前記合成画像の生成に用い、当該合成画像を前記現在フレームとして出力する補正ステップと、
   を有することを特徴とする制御方法。
7. 撮像によって連続する複数のフレームを有する映像を出力する撮像装置で用いられる制御プログラムであって、
   前記撮像装置が備えるコンピュータに、
   前記複数のフレームにおいて帯状の明るさの段差が発生したラインを検出する検出ステップと、
   前記フレームを現在フレームとして出力する際に、前記現在フレームにおいて前記検出ステップで前記帯状の明るさの段差が発生したラインが検出されると、前記現在フレームの直前の直前フレームで検出された帯状の明るさの段差が発生したラインと前記現在フレームで検出された帯状の明るさの段差が発生したラインとの合計ライン数が前記現在フレームの全ライン数以上である場合、前記現在フレームの帯状の明るさの段差が発生したラインと前記直前フレームの帯状の明るさの段差が発生したラインとを合成して合成画像を生成する際、前記現在フレームおよび前記直前フレームにおいて同一のラインで前記帯状の明るさの段差が検出されていると、前記帯状の明るさの段差が検出された同一のラインのうち前記帯状の明るさの段差の境界から遠いラインを前記合成画像の生成に用い、当該合成画像を前記現在フレームとして出力する補正ステップと、
   を実行させることを特徴とする制御プログラム。