JP6659168B2 - 画像処理装置、その制御方法、及びプログラム - Google Patents

Description

本発明は、例えばデジタルカメラ等の撮像装置を含む画像処理装置に関し、特に撮像素子の駆動方式がフレーム内で変化する場合に画像に対して適切なフリッカ補正を行う画像処理技術に関する。

デジタルカメラ等の撮像装置では、ＣＭＯＳセンサなど撮像素子を用いた多機能化が進み、瞳分割方式で焦点検出可能な技術や画像中の周期的な信号レベルの変動（以下、フリッカ）成分を補正する技術がある。

例えば、撮像素子の焦点検出処理に用いる画素行では、各画素のフォトダイオード（以下、ＰＤという。）毎に信号を独立に読み出し、焦点検出処理に用いない画素行では、画素内でＰＤの信号を加算して画像生成用の信号を読み出す技術が提案されている。この提案では、撮像素子からの信号の読み出し時間の増大を抑制できるとしている（特許文献１）。

また、撮像素子の蓄積時間と点滅光源による輝度信号の変調度をあらかじめテーブル化して記憶しておくことで、現フレームから次フレームの補正値を予測してフリッカ補正する技術が提案されている（特許文献２）。

特開２０１６−０２１０５２号公報 特開２０１３−１７２３８号公報

しかし、上記特許文献１に開示された従来技術では、焦点検出に用いる画素行とそうではない画素行の画素信号をローリングシャッタで読み出ししてしまうと、読み出しに要する時間が互いに異なってしまう。その為、焦点検出用の画素信号の読み出しの有無によってフリッカの周期がフレーム内で変化してしまい、上記特許文献２に開示された従来技術には適用することができない。

そこで、本発明は、撮像素子の駆動方式がフレーム内で変化する場合でも、画像に対して適切なフリッカ補正を可能とする画像処理技術を提供することを目的とする。

上記目的を達するために、本発明の画像処理装置は、画像を取得する際の駆動方式がフレーム内で変化する撮像素子から読み出された画像のフリッカ成分を検出するフリッカ検出手段と、前記フリッカ検出手段によって検出された前記フリッカ成分と前記駆動方式の変化に応じて前記撮像素子から読み出された画素に基づく情報とに基づいてフリッカ補正値を生成する補正値算出手段と、前記フリッカ補正値を用いて前記撮像素子から読み出された画像のフリッカ成分を除去するフリッカ補正手段と、を備えることを特徴とする。

本発明によれば、撮像素子の駆動方式がフレーム内で変化する場合でも、画像に対して適切にフリッカ補正を行うことができる。

本発明の画像処理装置の第１の実施形態であるデジタルカメラのシステム構成を示す制御ブロック図である。 撮像素子の単位画素の回路構成図である。 （ａ）は着目ラインの時間軸方向の輝度の変動を示すグラフ図、（ｂ）は撮像素子に対する点滅光源による輝度変動と位相の関係を示すグラフ図である。 撮像素子で撮像された画像とフリッカとの関係を模式的に示す図である。 撮像素子の駆動方式がフレーム内で変化することによって発生するフリッカ成分について説明する図である。 拡張フリッカ補正値算出部の具体的構成を示すブロック図である。 拡張フリッカ補正値算出部の動作を説明するタイミングチャート図である。 撮像素子から読み出される信号とフリッカ補正値信号との関係を説明する図である。 システム制御部の制御に基づくカメラのフリッカ補正の動作を説明するフローチャート図である。 本発明の画像処理装置の第２の実施形態であるデジタルカメラにおいて、画像信号と焦点検出信号のライン毎の読み出し時間の比率が１：２の場合について説明するグラフ図である。 拡張フリッカ補正値算出部の具体的構成を説明するブロック図である。 撮像素子から読み出される信号とフリッカ補正値信号との関係を説明するグラフ図である。

以下、図面を参照して、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明の画像処理装置の第１の実施形態であるデジタルカメラのシステム構成を示す制御ブロック図である。なお、本実施形態では、本発明の画像処理装置として、撮像装置の一例であるデジタルカメラを例示するが、これに限定されない。

図１に示すように、本実施形態のデジタルカメラ１００（以下、カメラ１００という。）は、撮像光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、キャプチャ部１０４、フリッカ検出部１０５、及び拡張フリッカ補正値算出部１０６を備える。また、カメラ１００は、フリッカ補正部１０８、デジタル信号処理部１０９、システム制御部１１０、ＡＦ評価値算出部１１１、及びメモリ１１２を備える。

撮像素子１０２は、フォーカスレンズを含む撮像光学系１０１を通過して結像した被写体像を光電変換してＡ／Ｄ変換部１０３に出力する。撮像素子１０２は、正面側（被写体側）に瞳分割手段としての不図示のマイクロレンズアレイが設けられ、各マイクロレンズに対応する単位画素セルの二次元配列構造を有して、撮像光学系１０１を構成するシャッタによって露光量の制御が行われる。

そして、撮像素子１０２は、結像した被写体像を光電変換して撮像し、読み出し制御時において、単位画素を構成するＰＤに蓄積された電荷を順次電圧に変換して、Ａ／Ｄ変換部１０３に出力する。単体画素セルは、行方向に配列されて、２つに瞳分割された画素（以下、分割画素（第１の光電変換部）ａ，分割画素（第２の光電変換部）ｂという。）を有する。分割画素ａ，ｂの位相差により焦点検出が行われ、分割画素ａ，ｂを加算することにより撮影画像が生成される。なお、撮像素子１０２に蓄積された電荷の転送および読み出しはラインごとに実行される。

Ａ／Ｄ変換部１０３は、ＩＳＯ感度の増幅するアナログ信号処理部や不図示のＣＤＳ回路を介して撮像素子１０２から出力されたアナログ信号をデジタル信号に変換してキャプチャ部１０４へ出力する。

キャプチャ部１０４は、Ａ／Ｄ変換部１０３から出力された画素データの有効走査期間及び種別を判定し、分割画素ａ，ｂを加算したデータを画像信号としてフリッカ検出部１０５及びフリッカ補正部１０８へ出力する。また、キャプチャ部１０４は、分割画素ａ，ｂのデータを焦点検出信号として、及び画像信号をＡＦ評価値算出部１１１へ出力する。更に、キャプチャ部１０４は、システム制御部１１０に対して、画像信号及び焦点検出信号の有効走査期間の制御信号を出力する。

フリッカ検出部１０５は、キャプチャ部１０４から出力された画像信号のフリッカ成分（周波数の振幅・位相）を検出し、拡張フリッカ補正値算出部１０６へ出力する。なお、フリッカ成分としてフリッカのピークおよびボトムを検出する構成であってもよい。

拡張フリッカ補正値算出部１０６は、フリッカ検出部１０５からのフリッカ成分と、システム制御部１１０から出力される画像信号及び焦点検出信号の有効走査期間に基づいて垂直カウント数を算出し、フリッカ補正値を生成する。なお、フリッカ補正値の算出方法の詳細について、後述する。

フリッカ補正部１０８は、フリッカの影響を低減した画像信号を出力することで、フリッカ補正を実行するフリッカ補正手段である。具体的に、フリッカ補正部１０８は、キャプチャ部１０４から出力された画像信号と拡張フリッカ補正値算出部１０６で生成されたフリッカ補正値との減算処理によりフリッカ成分を除去した画像信号をデジタル信号処理部１０９へ出力する。

デジタル信号処理部１０９は、フリッカ補正部１０８からベイヤー配列で出力された画像信号に対して同時化処理、ガンマ処理やノイズリダクション処理に代表されるデジタル信号処理を行い、システム制御部１１０を介してメモリ１１２に出力する。なお、同時化処理、ガンマ処理、ノイズリダクション等のデジタル信号処理については公知であるため、その詳細な説明を省略する。

システム制御部１１０は、ＣＰＵやＭＰＵ等で構成され、カメラ１００全体の制御を司る。

ＡＦ評価値算出部１１１は、キャプチャ部１０４から出力された焦点検出信号と画像信号を基に、オートフォーカス用の評価値成分を算出し、算出結果をメモリ１１２へ出力する。具体的には、ＡＦ評価値算出部１１１は、焦点検出信号と、画像信号と焦点検出信号を減算して生成されたもう一方の焦点検出信号とに基づき、位相差検出方式で評価値を算出し、算出した評価値をメモリ１１２へ出力する。なお、評価値の算出方法については、公知であるため、その詳細な説明を省略する。

メモリ１１２は、デジタル信号処理部１０９から出力された撮影画像、及びＡＦ評価値算出部１１１から出力された評価値を保持する。また、メモリ１１２は、システム制御部１１０の作業領域としても使用することが可能である。不揮発性メモリ１１３は、フラッシュＲＯＭ等で構成され、システム制御部１１０が実行するプログラムコードや各種データ等が書き込まれる。

次に、図２を参照して、撮像素子１０２の出力信号の読み出し方法について説明する。ここでは、撮像素子１０２の出力信号の読み出しに要する時間に大きく影響する部分について説明する。

図２に示すように、前述した分割画素ａ，ｂのＰＤ２０１ａ，２０１ｂに入射した光信号が光電変換され、露光量に応じた電荷が蓄積される。転送ゲート２０２ａ，２０２ｂのゲートに印加する信号ｔｘａ，ｔｘｂをそれぞれＨｉｇｈレベルにすると、ＰＤ２０１ａ，２０１ｂに蓄積されている電荷がＦＤ（フローティングディフュージョン）部２０３に転送される。

ＦＤ部２０３は、ＦＤアンプ２０４のゲートに接続されており、ＰＤ２０１ａ，ＰＤ２０１ｂから転送されてきた電荷量がＦＤアンプ２０４によって電圧量に変換される。画素選択スイッチ２０６のゲートに印加する信号ｓｅｌをＨｉｇｈレベルとすることで、ＦＤアンプ２０４によって電圧に変換された画素信号が単位画素の出力部ｖｏｕｔに出力される。

画素信号の読み出し前には、ＦＤ部２０３をリセットするため、ＦＤリセットスイッチ２０５のゲートに印加する信号ｒｅｓをＨｉｇｈレベルとする。また、電荷の蓄積を開始する際には、ＰＤ２０１ａ，２０１ｂの電荷をリセットするため、信号ｒｅｓと信号ｔｘａ，ｔｘｂとを同時にＨｉｇｈレベルとする。これにより、転送ゲート２０２ａ，２０２ｂ及びＦＤリセットスイッチ２０５の両方がオン状態となり、ＦＤ部２０３を経由してＰＤ２０１ａ，ＰＤ２０１ｂがリセットされる。

画像対象の領域を読み出す際は、信号ｔｘａ，ｔｘｂを同時にＨｉｇｈレベルとすることで、ＰＤ２０１ａとＰＤ２０１ｂに蓄積されていた電荷が合成されてＦＤ部２０３に転送され、分割画素ａ，ｂの合成信号が出力される。

一方、画像対象外の領域、例えば焦点検出の対象に指定された領域（焦点検出対象の領域）を読み出す際は、まず、信号ｔｘａをＨｉｇｈレベル、信号ｔｘｂをＬｏｗレベルの状態にする。これにより、ＰＤ２０１ａに蓄積されていた電荷のみがＦＤ部２０３に転送され、分割画素ａの画素信号が出力される。次に、信号ｔｘｂもＨｉｇｈレベルにすることで、ＰＤ２０１ｂに蓄積されていた電荷がＦＤ部２０３でＰＤ２０１ａに蓄積されていた電荷と合成され、分割画素ａ，ｂの合成信号が出力される。

焦点検出対象の領域は、分割画素ａの画素信号と分割画素ａ，ｂの合成画素信号とをライン単位で順次出力するため、画像対象の領域に比べて信号の読み出しに要する時間が２倍となる。

なお、ここでは、焦点検出対象の領域の読み出し時間が画像対象の領域の２倍となる場合を例示したが、必ずしも２倍でなくてもよい。例えば、分割画素ａの画素信号は、周囲の画素と加算して出力する等、撮像素子１０２からの読み出し量を減らすことで、読み出し時間の増加を抑えることができる。また、水平方向に焦点検出対象の領域を絞ることで、焦点検出対象の領域を含むラインと含まないラインとの読み出し時間の差を抑えることもできる。

また、ここでは、１画素に対して２つのＰＤ２０１ａ，２０１ｂを備える撮像素子１０２を例示したが、領域毎に信号の読み出しに要する時間が異なる方法で撮像素子からの読み出しを行う場合にも、同様の課題が発生するため、本発明を適用可能である。例えば、領域毎に画素信号を周囲と加算して読み出すか否かを切り替えたり、加算する画素数を変化させたり、加算ではなく、間引いて読み出す場合などにも、本発明を適用できる。

また、領域毎に画素データのｂｉｔ数を変化させる場合や、ＰＤに対して電荷を保持した状態で信号が読み出せる非破壊読み出しが可能な撮像素子に対して一部領域のみを複数回読み出す場合にも、本発明を適用できる。

次に、図３を参照して、フリッカ検出方法について説明する。図３（ａ）は、着目ライン５０１の時間軸方向の輝度の変動を示すグラフ図である。図３（ａ）において、縦軸は、画像の輝度の信号レベルを示し、横軸は、フレーム毎の時間を示している。また、時間α、α＋Ｔ、α＋２Ｔのそれぞれの着目ライン５０１、着目ライン５０４、着目ライン５０５の輝度の変化を輝度変動５０２として示している。

図３（ｂ）は、撮像素子１０２に対する点滅光源（フリッカ光源）による輝度変動と位相の関係を示すグラフ図である。図３（ｂ）では、画像のフレーム内のフリッカ成分５０３を示している。また、前述した輝度変動５０２は、フリッカ成分５０３を垂直同期信号の時間間隔Ｔでサンプリングされた波形として示している。

輝度変動５０２の１周期は、複数フレームの着目ラインの輝度変化をサンプリングすることで求めることができる。これにより、フリッカ成分５０３の振幅は、輝度変動５０２の１周期分から輝度の最大値までの変化量に基づき求めることができる。また、例えば、着目ライン５０４の位相を求める場合には、フリッカ成分５０３の振幅と着目ライン５０４の輝度の信号レベルとの関係から算出することができる。着目ライン５０５についても、着目ライン５０４と同様に位相を算出することができる。

なお、フリッカ検出方法は、これに限定することなく、撮像素子１０２の駆動方式がフレーム内で変わる場合は、駆動方式がフレーム内で変わらない領域にフリッカ検出枠を設け、検出枠内でフリッカ成分を検出してもよい。例えば、画像信号の垂直方向の１周期以上の一部分をサンプリングすることでフリッカ成分を検出してもよい。

次に、図４を参照して分割画素ａ，ｂが配置されている撮像素子１０２の加算読み出しのみ行った場合のフリッカ補正方法について説明する。図４は、撮像素子１０２で撮像された画像とフリッカとの関係を模式的に示す図である。

図４（ａ）は、撮像素子１０２の単体画素セル内で分割画素ａ，ｂの加算読み出しのみ行うことで出力する画像に対応する領域（以下、画像対象の領域と称す）３０５を示している。図４（ａ）において、水平方向（横方向）は、画像の水平サイズを示し、垂直方向（縦方向）は、撮像素子１０２の画像信号及び焦点検出信号の垂直方向の読み出しラインを示している。また、画像対象の領域３０５の所定の領域を拡大した拡大画像３０６では、分割画素ａの画素値をＡとし、分割画素ｂの画素値をＢとしている。この画像対象の領域３０５では、撮像素子１０２の読み出し周期と点光源の周期の関係に応じてフリッカ成分３０３が発生する。

図４（ｂ）は、所定の蓄積時間で撮像素子１０２から画像信号３０１を読み出した場合を示している。図４（ｂ）では、点滅光源によって信号レベルが変調されて生じるフリッカが垂直方向に明暗の形で画像信号３０１のように現れている。

図４（ｃ）では、点滅光源の発光周期に依存して画像信号３０１に周期的にレベル変動するフリッカ成分３０３が現れている。図４（ｃ）において、縦方向は、各垂直ライン数に対応し、横方向は、画像信号のフリッカ成分の信号レベルに対応している。

図４（ｄ）は、画像信号３０１のフリッカ成分３０３を除去するためのフリッカ補正値３０２を示している。図４（ｄ）において、縦軸は、画像信号３０１の各垂直ライン数に対応しており、横軸は、フリッカ補正値３０２の信号レベルに対応している。一様な周期のフリッカ補正値３０２をフリッカ成分３０３から減算することで、画像対象の領域３０５でフリッカ補正を行う。

ここで、フリッカ補正値の算出例を説明する。フリッカ補正値Ｙｎは、公知の数式である次式（１）を用いて求めることができる。

上式（１）において、Ｎは、サンプリングの母数、Ｙｎ（ｎ＝０，１，…Ｎ−１）は、サンプリングされたデータ、θｋは、フリッカ成分の位相差を示す。

本実施形態では、拡張フリッカ補正値算出部１０６に撮像素子１０２の蓄積時間と点滅光源による輝度信号の変調度、及びあらかじめ測定されたフリッカの周波数特性をテーブル化して保持しているが、システム制御部１１０で学習させて記憶させてもよい。

次に、図５を参照して、撮像素子１０２の駆動方式がフレーム内で変化することによって発生するフリッカ成分について説明する。

図５（ａ）において、水平方向は、画像の水平サイズを示し、垂直方向は、撮像素子１０２の画像信号、及び焦点検出信号の垂直方向の読み出しラインを示している。図５（ａ）では、撮像素子１０２の単体画素セル内で、画像対象の領域６０１は、分割画素ａ，ｂの加算読み出しのみを行い、焦点検出対象の領域６０２は、垂直ライン単位で交互に分割画素ａ，ｂの加算読み出しと分割画素ａの読み出しを行っている。

具体的には、画像対象の領域６０１では、拡大画像６０７に表すように、分割画素ａ，ｂの加算読み出しを１、２…ライン行っている。一方、焦点検出対象の領域６０２では、拡大画像６０８に表すように、分割画素ａの読み出しと分割画素ａ，ｂの加算読み出しを交互にｍ、ｍ＋１、…ｍ＋３９ライン行っている。

また、図５（ａ）では、撮像素子１０２の読み出し周期と点滅光源の周期の関係に応じて発生するフリッカ成分６０３を示している。図５（ａ）から画像信号及び焦点検出信号の読み出しにかかわらず、一定周波数のフリッカ成分６０３が信号内に表れていることが判る。

図５（ｂ）では、画像対象の領域６０１と焦点検出対象の領域６０２のＡ＋Ｂのラインを抜き出した画像信号のみを画像６０５として示している。また、図５（ｂ）では、焦点検出対象の領域６０２の画像信号の垂直ライン、及び画像信号と読み出しラインとの対応イメージ６０９を示している。焦点検出対象の領域６０２では、読み出しライン数が画像信号の垂直ライン数に対して、ラインカウントのインクリメント値の初期値が＋１となり、以後、ラインカウントのインクリメント値が２倍になっている。

図５（ｃ）は、画像信号６０５内に点滅光源の発光周期に依存して周期的にレベル変動するフリッカ成分６０４を示している。縦軸は、画像信号６０５の各垂直ライン数に対応しており、横軸は、画像信号のフリッカの信号レベルに対応している。フリッカ成分６０４は、焦点検出対象の領域６０２では、撮像素子１０２の読み出し信号に対して２倍にサンプリング期間が延びた影響により、フリッカ成分６０４の周期も２倍になっている。

図５（ｄ）では、画像信号６０５のフリッカ成分６０４を除去するフリッカ補正値６０６を示している。図５（ｄ）において、縦軸は、画像信号６０５の各垂直ライン数に対応しており、横軸は、フリッカ補正値６０６の信号レベルに対応している。前述したように、撮像素子１０２の駆動方式がフレーム内で変化しない場合は、一様な周期のフリッカ補正値６０６で対応できる。

ところで、撮像素子１０２の駆動方式がフレーム内で変化する場合でも、画像対象の領域６０１については、フリッカ補正値６０６で補正することができる。しかし、焦点検出対象の領域６０２は、フリッカ成分６０４の周期が２倍になることから、フリッカ補正値６０６ではフリッカを正しく補正することができない。すなわち、フリッカ補正値６０６をフリッカ成分６０４から減算しても、フリッカの影響を効果的に低減することはできない。

そこで、本実施形態では、拡張フリッカ補正値算出部１０６により、撮像素子１０２の駆動方式がフレーム内で変化する場合でも、焦点検出対象の領域６０２を適切に補正できるようにしている。

図６は、拡張フリッカ補正値算出部１０６の具体的構成を示すブロック図である。図６に示すように、拡張フリッカ補正値算出部１０６は、画像信号ラインカウンタ７０１、加算器７０２、フリッカ補正テーブル７０３、及び焦点検出信号ラインカウンタ７０４を備えている。

画像信号ラインカウンタ７０１は、システム制御部１１０からの画像の制御信号に基づいて画像信号の垂直ライン数をカウントし、画像ラインのカウント信号７０９を加算器７０２へ出力する。

焦点検出信号ラインカウンタ７０４は、システム制御部１１０からの焦点検出の制御信号に基づいて焦点検出信号の垂直ライン数をカウントし、加算器７０２へ焦点検出ラインのカウント信号７１０を出力する。

加算器７０２は、画像ラインのカウント信号７０９と焦点検出ラインのカウント信号７１０とを加算して、総ラインカウント信号７１１をフリッカ補正テーブル７０３へ出力する。

フリッカ補正テーブル７０３では、フリッカ検出部１０５から出力された振幅と位相情報及び総ラインカウント信号７１１に基づいてフリッカ補正値を生成し、フリッカ補正値信号７１２をフリッカ補正部１０８へ出力する。

ここで、図７及び図８を参照して、拡張フリッカ補正値算出部１０６の動作を説明する。図７は、拡張フリッカ補正値算出部１０６の動作を説明するタイミングチャート図である。

図７の縦方向は、垂直同期信号、キャプチャ部１０４の入力信号、キャプチャ部１０４の出力画像信号、キャプチャ部１０４の出力焦点検出信号、画像ラインカウント信号７０９、焦点検出ラインカウント信号７１０及び総ラインカウント信号７１１を示している。また、図７の縦方向は、フリッカ補正値信号７１２、フリッカ補正部１０８の入力信号、及びフリッカ補正画像信号７１３を示している。

図７の横方向は、時間を示し、信号ＡＢは、分割画素ａ，ｂの加算読み出し信号、信号Ａは、分割画素ａの読み出し信号、信号Ｘは、不定状態の信号を示している。ｍは、焦点検出対象の領域における開始ラインであり、本実施形態では、焦点検出対象の領域で２０ラインの焦点検出信号を読み出している。また、Ｙは、垂直ラインのフリッカ補正テーブル７０３の出力であるフリッカ補正値信号７１２を示している。

焦点検出対象の領域では、フリッカ補正値がキャプチャ部１０４の出力画像信号の信号ＡＢに対して１ライン毎に対応づけされている。フリッカ補正部１０８では、キャプチャ部１０４の出力画像信号からフリッカ補正値信号７１２を減算してフリッカ補正画像信号７１３を出力している。

図８は、撮像素子１０２から読み出される信号とフリッカ補正値信号７１２との関係を説明する図である。

図８において、縦軸は、撮像素子１０２から読み出される信号のライン数を示し、横軸は、開始ラインｍからｍ＋３９に離散化させたフリッカ補正値Ｙの信号レベルを示している。また、キャプチャ部１０４の出力画像信号、及びフリッカ補正値信号７１２を総ラインカウント信号７１１に対応させている。図８と図７のタイミングチャート図から１ライン毎にキャプチャ部１０４の出力画像信号に対するフリッカ補正値Ｙが生成されることが判る。

図９は、システム制御部１１０の制御に基づくカメラ１００のフリッカ補正の動作を説明するフローチャート図である。図９に示す各処理は、不揮発性メモリ１１３等の記憶部に格納されたプログラムがメモリ１１２に展開されてシステム制御部１１０のＣＰＵ等により実行される。

図９において、ステップＳ１００１では、システム制御部１１０は、キャプチャ部１０４から出力された画像信号に基づき、フリッカ検出部１０５によりフリッカ検出処理を行い、ステップＳ１００２に進む。

ステップＳ１００２では、システム制御部１１０は、拡張フリッカ補正値算出部１０６の焦点検出信号ラインカウンタ７０４（図６参照）のカウンタ数を参照し、焦点検出信号のラインか否かを判定する。そして、システム制御部１１０は、焦点検出信号のラインではない場合は、ステップＳ１００４へ進み、焦点検出信号のラインの場合は、ステップＳ１００３に進む。

ステップＳ１００３では、システム制御部１１０は、焦点検出信号ラインカウンタ７０４のカウンタ値をインクリメントし、ステップＳ１００４に進む。

ステップＳ１００４では、システム制御部１１０は、拡張フリッカ補正値算出部１０６の画像信号ラインカウンタ７０１（図６参照）のカウンタ数を参照して、画像信号のラインか否かを判定する。そして、システム制御部１１０は、画像信号のラインでない場合は、ステップＳ１００６に進み、画像信号のラインの場合は、ステップＳ１００５に進む。

ステップＳ１００５では、システム制御部１１０は、画像信号ラインカウンタ７０１のカウンタ値をインクリメントし、ステップＳ１００６に進む。

ステップＳ１００６では、システム制御部１１０は、画像信号のカウンタ値と焦点検出信号のカウンタ値を加算器７０２で加算することにより、総ラインカウント数を求め、ステップＳ１００７に進む。

ステップＳ１００７では、システム制御部１１０は、フリッカ検出部１０５から出力された振幅と位相情報とステップＳ１００６で求めた総ラインカウント数に基づきフリッカ補正テーブル７０３によりフリッカ補正値を生成し、ステップＳ１００８に進む。

ステップＳ１００８では、システム制御部１１０は、フリッカ補正部１０８から取得した画像信号からステップＳ１００７で生成したフリッカ補正値を減算することにより撮影画像のフリッカ成分を補正し、ステップＳ１００９に進む。

ステップＳ１００９では、システム制御部１１０は、フリッカ補正処理が完了したか否かを判定し、完了していない場合は、ステップＳ１００１に戻り、完了した場合は、処理を終了する。

以上説明したように、本実施形態では、撮像素子１０２の駆動方式がフレーム内で変化する場合でも、撮影画像に対して適切にフリッカ補正を行うことができる。

また、本実施形態では、既存のフリッカ補正離算出部に焦点検出信号ラインカウンタ７０４と加算器７０２を追加するだけで図６に示す拡張フリッカ補正値算出部１０６を構成している。このため、撮像素子１０２の駆動方式がフレーム内で変化する場合でも、簡単な回路構成で撮影画像に対して適切にフリッカ補正を行うことができる。

（第２の実施形態）
次に、図１０乃至図１２を参照して、本発明の画像処理装置の第２の実施形態であるデジタルカメラについて説明する。なお、本実施形態では、上記第１の実施形態に対して重複又は相当する部分については図及び符号を流用して、相違する部分のみを説明する。

本実施形態では、画像信号と焦点検出信号のライン毎の読み出し時間の比率が異なる場合でも対応できる構成としている。

まず、図１０を参照して、画像信号と焦点検出信号のライン毎の読み出し時間の比率が１：２の場合について説明する。

図１０において、水平方向（横方向）は、画像の水平サイズを示し、垂直方向は、撮像素子１０２からの画像信号及び焦点検出信号の垂直方向の読み出しラインを示している。

画像対象の領域４０１では、拡大画像４０２に示すように、分割画素ａ，ｂの加算読み出しを１、２…ラインで行っている。一方、焦点検出対象の領域４０３では、拡大画像４０４に示すように、分割画素ａ及び分割画素ｂの読み出しと分割画素ａ，ｂの加算読み出しをそれぞれｍ、ｍ＋１…ｍ＋３９ラインで行っている。

図１１は、拡張フリッカ補正値算出部１０６Ａの具体的構成を説明するブロック図である。

本実施形態では、拡張フリッカ補正値算出部１０６Ａは、上記第１の実施形態（図６参照）の拡張フリッカ補正値算出部１０６に対してゲイン係数部１１０１及び乗算器１１０２が追加されている点が異なる。

ゲイン係数部１１０１は、システム制御部１１０により画像信号と焦点検出信号の読み出し時間の比率に応じた値が設定され、ゲイン値を乗算器１１０２へ出力する。ここでは、システム制御部１１０により設定される値は、分割画素ａ，ｂの読み出しから「２」としている。

乗算器１１０２は、焦点検出ラインのカウント信号７１０とゲイン係数部１１０１からのゲイン値とを乗算し、加算器７０２に焦点検出信号のゲインライン信号１１０３を出力する。

加算器７０２は、画像信号ラインのカウント信号７０９と焦点検出信号のゲインライン信号１１０３を加算し、総ラインカウント信号７１１としてフリッカ補正テーブル７０３へ出力する。

そして、システム制御部１１０は、上記第１の実施形態と同様に、フリッカ補正テーブル７０３で総ラインカウント信号７１１を基にフリッカ補正値を生成し、フリッカ補正値信号７１２をフリッカ補正部１０８へ出力する。

図１２は、撮像素子１０２から読み出される信号とフリッカ補正値信号７１２との関係を説明するグラフ図である。

図１２において、縦軸は、撮像素子１０２から読み出される信号のライン数を示し、横軸は、開始ラインｍからｍ＋３９に離散化させたフリッカ補正値Ｙの信号レベルを示している。また、キャプチャ部１０４の出力画像信号及びフリッカ補正値信号７１２を総ラインカウント信号７１１に対応させている。図１２から、２ラインおきにキャプチャ部１０４の出力画像信号に対するフリッカ補正値Ｙが生成されることが判る。

以上説明したように、本実施形態では、撮像素子１０２の駆動方式がフレーム内で変化する場合で、かつ画像信号と焦点検出信号の読み出し時間の比率が異なる場合でも、撮影画像に対して適切にフリッカ補正を行うことができる。その他の構成、及び作用効果は、上記第１の実施形態と同様である。

なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

例えば、上記各実施形態では、撮像素子１０２の駆動方式がフレーム内で変化する場合のフリッカ補正について説明したが、変化しない場合でも、同様のフリッカ補正を行うことができる。

また、上記各実施形態では、撮像素子１０２の駆動方式がフレーム内で変化する領域が１領域のみ存在する場合について説明したが、複数領域存在しても同様にフリッカ補正を行うことができる。

更に、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。したがって、上記の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

更に、本発明は、以下の処理を実行することによっても実現される。即ち、本発明は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。

１００ カメラ
１０１ 撮像光学系
１０２ 撮像素子
１０３ Ａ／Ｄ変換部
１０４ キャプチャ部
１０５ フリッカ検出部
１０６ 拡張フリッカ補正値算出部
１０８ フリッカ補正部
１０９ デジタル信号処理部
１１０ システム制御部
１１１ ＡＦ評価値算出部
１１２ メモリ

Claims (9)

1. 画像を取得する際の駆動方式がフレーム内で変化する撮像素子から読み出された画像のフリッカ成分を検出するフリッカ検出手段と、
   前記フリッカ検出手段によって検出された前記フリッカ成分と前記駆動方式の変化に応じて前記撮像素子から読み出された画素に基づく情報とに基づいてフリッカ補正値を生成する補正値算出手段と、
   前記フリッカ補正値を用いて前記撮像素子から読み出された画像のフリッカ成分を除去するフリッカ補正手段と、を備えることを特徴とする画像処理装置。
2. 前記駆動方式の変化に応じて前記撮像素子から読み出された前記画素に基づく情報は、前記撮像素子の画像対象の領域と画像対象外の領域とから出力される信号を含むことを特徴とする請求項１に記載の画像処理装置。
3. 第１の光電変換部と第２の光電変換部を備えた画素が行方向に配列された前記撮像素子から信号を読み出す駆動手段を有し、
   前記画像対象の領域は、前記第１の光電変換部の信号および前記第２の光電変換部の信号のみを読み出す領域であって、
   前記画像対象外の領域は、前記第１の光電変換部の信号および前記第２の光電変換部の信号ともに前記第１の光電変換部の信号を読み出す領域であることを特徴とする請求項２に記載の画像処理装置。
4. 前記駆動手段は、前記撮像素子のライン単位で各画素に蓄積した電荷を読み出すことを特徴とする請求項３に記載の画像処理装置。
5. 前記駆動方式の変化に応じて前記撮像素子から読み出された前記画素に基づく情報は、前記撮像素子の前記画像対象の領域と前記画像対象外の領域とから出力される画素信号に基づきカウントされた前記画像対象の領域のライン数と前記画像対象外の領域のライン数とを加算したライン数であることを特徴とする請求項２乃至４のいずれか一項に記載の画像処理装置。
6. 前記補正値算出手段は、前記撮像素子の前記画像対象の領域から出力される前記画素信号と前記画像対象外の領域から出力される前記画素信号の読み出し時間の比率に応じた係数を設定する設定手段を有することを特徴とする請求項５に記載の画像処理装置。
7. 前記画像対象外の領域は、焦点検出対象の領域であることを特徴とする請求項２乃至６のいずれか一項に記載の画像処理装置。
8. 画像を取得する際の駆動方式がフレーム内で変化する撮像素子から読み出された画像のフリッカ成分を検出するフリッカ検出ステップと、
   前記フリッカ検出ステップで検出された前記フリッカ成分と前記駆動方式の変化に応じて前記撮像素子から読み出された画素に基づく情報とに基づいてフリッカ補正値を生成する補正値算出ステップと、
   前記フリッカ補正値を用いて前記撮像素子から読み出された画像のフリッカ成分を除去するフリッカ補正ステップと、を備えることを特徴とする画像処理装置の制御方法。
9. 請求項８に記載の画像処理装置の制御方法の各ステップをコンピュータに実行させることを特徴とするプログラム。