JP6700924B2 - 画像処理装置、その制御方法及びプログラム - Google Patents

Description

本発明は、例えばデジタルカメラ等の撮像装置を含む画像処理装置に関し、特に駆動方式がフレーム内で領域ごとに変化する撮像素子のフリッカを検出する画像処理技術に関する。

デジタルカメラ等の撮像装置では、焦点検出に必要な信号を出力する撮像素子として、２次元に配列したマイクロレンズアレイの各マイクロレンズごとに一対の光電変換部を設けたものがある。

例えば、マイクロレンズを介して光が入射される一対の光電変換部の出力信号の加算、非加算を画素単位で任意に行うことができる撮像素子を備える撮像装置が提案されている（特許文献１）。

しかし、上記特許文献１では、通常の画像用の画素信号に加えて位相差検出用の画素信号も画像用の画素信号と同じ数だけ読み出すため、データ量が増えてしまい、撮像素子の高画素化やフレームレートの高速化を妨げる可能性がある。

そこで、１フレーム期間内で撮像素子から位相差検出用の画素信号を必要な数だけ読み出す撮像装置が提案されている（特許文献２）。

特開２００１−８３４０７号公報 特開２０１３−２１１８３３号公報

しかし、上記特許文献２では、位相差検出用及び画像用の画素信号を一部の領域だけ読み出す場合、画像用の画素信号のみを読み出す領域の読み出し期間に対して、画素信号を画像用及び位相差検出用とで２回読み出す必要がある。したがって、読み出し期間が長くなり、フリッカが発生したときに、画像用の画素信号のみを読み出す領域（例えば、ライン）と位相差検出用及び画像用の画素信号を読み出す領域（ライン）とでフリッカの周期が異なってしまう。このため、正確なフリッカの検出ができなくなる問題がある。

そこで、本発明は、駆動方式がフレーム内で領域ごとに変更可能な撮像素子であっても、正確にフリッカ成分の検出を行うことができる画像処理技術を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、位相差検出用の画素領域を有し、フレーム内で領域ごとに駆動方式の変更が可能な撮像素子から読み出した画像用の画素信号のフリッカ成分を検出するフリッカ検出手段を備え、前記フリッカ検出手段は、前記撮像素子の駆動方式が位相差検出を行う駆動方式に変更された場合、前記フレーム内で位相差検出に使用する領域の前記フリッカ成分の周期が前記位相差検出に使用しない領域の前記フリッカ成分の周期に一致するように前記フリッカ成分を検出することを特徴とする。

本発明によれば、駆動方式がフレーム内で領域ごとに変更可能な撮像素子であっても、正確にフリッカ成分の検出を行うことができる。

本発明の画像処理装置の第１の実施形態であるデジタルカメラのシステム構成を示すブロック図である。 撮像素子の構成例を説明する図である。 撮像素子の画素領域を構成する単位画素の構成例を説明する回路図である。 一部の領域のみで位相差検出用の画素信号を読み出した場合の撮像素子の領域図である。 撮像素子のＡ／Ｄ変換動作を説明するタイミングチャート図である。 位相差検出に使用する領域において、撮像素子から読み出される画素信号とフリッカ検出／補正部に入力される画素信号とで発生するフリッカ周期が異なることを説明する図である。 カメラのフリッカ補正の動作を説明するフローチャート図である。 本発明の画像処理装置の第２の実施形態であるデジタルカメラのシステム構成を示すブロック図である。 カメラのフリッカ補正の動作を説明するフローチャート図である。 本発明の画像処理装置の第３の実施形態であるデジタルカメラのフリッカ補正の動作を説明するフローチャート図である。

以下、図面を参照して、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明の画像処理装置の第１の実施形態であるデジタルカメラのシステム構成を示すブロック図である。なお、説明の便宜上、図１では、主に本発明の要部である撮像素子のフリッカ検出／補正に関する部分を図示しており、その他の公知の回路構成の図示は省略している。

本実施形態のデジタルカメラは、図１に示すように、ＣＭＯＳセンサ等で構成された撮像素子５００から画素信号Ａ及びＡ＋Ｂが出力され、画素信号Ａ及びＡ＋Ｂは、映像分配器５０１に入力される。

映像分配器５０１は、画像用の画素信号（Ａ＋Ｂ信号）をフリッカ検出／補正部５０３に出力し、位相差検出用の画素信号（Ａ信号、Ａ＋Ｂ信号）を位相差検出部５０２に出力する。位相差検出部５０２は、映像分配器５０１から出力された位相差検出用の画素信号（Ａ信号、Ａ＋Ｂ信号）を基に位相差を検出する。

フリッカ検出／補正部５０３は、フリッカの検出及び補正を行う回路であり、フリッカ検出行選択部５０４、フリッカ検出部５０５、フリッカ補正値算出部５０６及びフリッカ補正部５０７を備える。

フリッカ検出行選択部５０４及びフリッカ補正部５０７には、映像分配器５０１から画像用の画素信号（Ａ＋Ｂ信号）のみが出力される。フリッカ検出行選択部５０４は、撮像素子５００の駆動方式の変化に応じてフリッカ検出用のラインを選択する。フリッカ検出部５０５は、画像用の画素信号（Ａ＋Ｂ信号）のフリッカ成分を検出する。

フリッカ補正値算出部５０６は、フリッカ検出部５０５で検出したフリッカの周波数成分に応じて撮像素子５００の異なる駆動領域ごとにフリッカ補正値を算出する。フリッカ補正部５０７は、フリッカ補正値算出部５０６で算出したフリッカ補正値を基にＡ＋Ｂ信号のフリッカ補正を行う。

本実施形態でフリッカ補正部５０７は、フリッカの影響を低減した画像信号を出力することで、フリッカ補正を実行する。具体的に、フリッカ補正部５０７は、映像分配器５０１から出力された画像用の画像信号（Ａ＋Ｂ信号）とフリッカ補正値算出部５０６で生成されたフリッカ補正値との減算処理により、フリッカ成分を除去した画像信号を取得する。なお、フリッカの補正方法はこれに限定されるものではない。例えば、フリッカ検出部５０５がフリッカの光量変化周期や周波数などを検出し、該検出したフリッカの種類に応じて、フリッカの影響が低減されるようなシャッタスピードで画像信号を取得することで、フリッカ補正を行う構成であってもよい。また、検出したフリッカのピークやボトムなど、フリッカの影響が低減されるタイミングに合わせて撮像を実行することでフリッカ補正を行う構成であってもよい。更に、取得した画像信号に対してフリッカの影響を低減するための画像処理を施すことで、フリッカ補正を行う構成であってもよい。

システム制御部５０８は、ＣＰＵやＭＰＵ等で構成され、カメラ全体の制御を司る。撮像素子５００は、システム制御部５０８からの信号を基にシャッタスピードやゲイン、位相差検出用の画素取得領域の制御を行う。また、フリッカ検出／補正部５０３は、システム制御部５０８からの信号を基に、撮像素子５００の異なる駆動領域毎のフリッカ検出ライン（行）の選択及びフリッカ補正を行う。

システムメモリ５０９は、システム制御部５０８の動作用の各種データを保持し、また、システム制御部５０８の作業領域としても使用することが可能である。不揮発性メモリ５１０は、フラッシュＲＯＭ等で構成され、システム制御部５０８が実行するプログラムコードや各種データ等が書き込まれる。

図２は、撮像素子５００の構成例を説明する図である。図２に示すように、撮像素子５００は、画素領域１００、垂直走査回路１０２、列アンプ１０３、Ａ／Ｄ変換回路１０４、水平転送回路１０５、及び補正回路１０６を有する。

画素領域１００には、後述する光電変換用のフォトダイオード２０１，２０２（図３参照）等で構成される単位画素１０１が行方向に配列されている。単位画素１０１は、１つのマイクロレンズに対して２つに瞳分割された画素（以下、分割画素Ａ，Ｂという。）を有し、分割画素Ａ，Ｂの出力信号の位相差情報により焦点検出が行われ、分割画素Ａ，Ｂの出力信号を加算することにより撮影画像が生成される。

垂直走査回路１０２は、画素領域１００の画素信号の電圧を１フレーム中に順次読み出すためのタイミング制御を行う。一般的に、画像信号は、１フレーム中の上部の行から下部の行にかけて行単位で順次読み出される。また、垂直走査回路１０２は、分割画素Ａ，Ｂの出力信号を加算した画像用の画素信号（以下、Ａ＋Ｂ信号という。）や位相差検出用の画素信号（以下、Ａ信号という。）を読み出す制御も行う。

列アンプ１０３は、画素領域１００から読み出された画素信号を電気的に増幅するために用いられる。Ａ／Ｄ変換回路１０４が発生するノイズに対して列アンプ１０３で画素信号レベルを増幅することにより、等価的にＳ／Ｎ比を改善させている。

Ａ／Ｄ変換回路１０４は、画素領域１００を構成する単位画素１０１からの画素信号の電圧をデジタル信号に変換する回路である。Ａ／Ｄ変換回路１０４でデジタル信号に変換された画素データは、水平転送回路１０５により順次読み出され、水平転送回路１０５の出力は、補正回路１０６に入力される。補正回路１０６は、デジタル信号処理回路であり、デジタル処理でＦＰＮ補正などのオフセット補正を行うほかに、シフト演算や乗算を行うことで、簡易にゲイン演算を行うことができる。

図３は、撮像素子５００の画素領域１００を構成する単位画素１０１の構成例を説明する回路図である。図３に示すように、単位画素１０１は、２つのフォトダイオード２０１，２０２を有し、フォトダイオード２０１，２０２は、受光した光を電荷信号に変換する。ここでは、フォトダイオード（第１の光電変換部）２０１からの信号をＡ信号とし、フォトダイオード（第２の光電変換部）２０２からの信号をＢ信号とする。

フォトダイオード２０１，２０２は、図３の例では、アノード側が接地されている。フォトダイオード２０１，２０２のカソード側は、転送ＭＯＳトランジスタ２０３及び転送ＭＯＳトランジスタ２０４を介して増幅ＭＯＳトランジスタ２０６のゲートに接続されている。

また、増幅ＭＯＳトランジスタ２０６のゲートには、リセットＭＯＳトランジスタ２０５のソースが接続され、リセットＭＯＳトランジスタ２０５のドレインは、電源電圧Ｖｃｃに接続されている。さらに、増幅ＭＯＳトランジスタ２０６のドレインは、電源電圧Ｖｃｃに接続され、増幅ＭＯＳトランジスタ２０６のソースは、選択ＭＯＳトランジスタ２０７のドレインに接続されている。

単位画素１０１からの信号は、垂直信号線２０８及び列アンプ１０３に出力される。転送ＭＯＳトランジスタ２０３、転送ＭＯＳトランジスタ２０４、リセットＭＯＳトランジスタ２０５、及び選択ＭＯＳトランジスタ２０７は、垂直走査回路１０２により読み出しタイミングが制御される。

図４は、一部の領域のみの位相差検出用の画素信号を読み出す場合の撮像素子５００の領域図である。図４に示すように、位相差検出に使用しない領域では、Ａ＋Ｂ信号のみが読み出され、位相差検出に使用する領域では、Ａ＋Ｂ信号に加え、位相差検出用のＡ信号も読み出される。なお、本実施形態では、撮像素子５００のラインごとに各画素に蓄積された電荷の転送および読み出しが実行される構成である。

図５（ａ）は、Ａ＋Ｂ信号のみを読み出した場合におけるＡ／Ｄ変換回路１０４によるＡ／Ｄ変換動作を説明するタイミングチャート図である。

図５（ａ）において、リセットパルスpresは、リセットＭＯＳトランジスタ２０５の信号である。転送パルスptx1及びptx2は、フォトダイオード２０１，２０２のＡ，Ｂ信号を転送する信号である。選択パルスpselは、Ａ，Ｂ信号を垂直信号線２０８に転送する信号である。Voutは、列アンプ１０３から出力されたアナログ信号レベルである。VRAMPは、ランプ信号であり、VRAMPとＡ，Ｂ信号とを比較することでＡ／Ｄ変換回路１０４でＡ／Ｄ変換を行っている。ｔ１は、上記の処理にかかる時間である。

まず、リセットパルスpresは、Ｈｉｇｈレベル（Ｈレベル）とし、増幅ＭＯＳトランジスタ２０６の入力ノードをリセットレベルの電位とする。また、選択パルスpselをＨレベルとする。これにより、増幅ＭＯＳトランジスタ２０６の入力ノードがリセットレベルの電位であるときのＡ，Ｂ信号が垂直信号線２０８に出力される。

次に、リセットパルスpresをＬｏｗレベル（Ｌレベル）とし、ノイズ成分（Ｎ信号）を出力してＡ／Ｄ変換処理を行う。その後、このノイズ成分とＡ，Ｂ信号との差分をとることでノイズ成分を抑制した信号を得ることができる。

次に、転送パルスptx１及びptx２をＨレベルにする。これにより、フォトダイオード２０１，２０２で光電変換により生じた信号電荷が増幅ＭＯＳトランジスタ２０６の入力ノードに転送され。垂直信号線２０８に画像用のＡ＋Ｂ信号が出力されてＡ＋Ｂ信号のＡ／Ｄ変換処理が行われる。

図５（ｂ）は、Ａ信号とＡ＋Ｂ信号を読み出す場合におけるＡ／Ｄ変換回路１０４によるＡ／Ｄ変換動作を説明するタイミングチャート図である。

まず、図５（ａ）と同様に、ノイズ成分（Ｎ信号）を出力するまでの処理を行う。次に、転送パルスptx１をＨレベルにする。これにより、フォトダイオード２０１のみの光電変換により生じた信号電荷を増幅ＭＯＳトランジスタ２０６の入力ノードに転送する。つまり、垂直信号線２０８には、位相差検出用のＡ信号のみが出力される。したがって、Ａ／Ｄ変換回路１０４では、まず、Ａ信号のみのＡ／Ｄ変換を行う。

Ａ信号のＡ／Ｄ変換処理を終えた後、転送パルスptx２をＨレベルにする。これにより、フォトダイオード２０１，２０２で光電変換により生じた信号電荷が増幅ＭＯＳトランジスタ２０６の入力ノードに転送されて、垂直信号線２０８に画素信号であるＡ＋Ｂ信号が出力され、Ａ＋Ｂ信号のＡ／Ｄ変換処理が行われる。ｔ２は、上記処理にかかる時間である。

このように、位相差検出に使用する領域（図５（ｂ））は、Ａ＋Ｂ信号に加えてＡ信号も読み出すため、Ａ＋Ｂ信号のみを読み出す領域（図５（ａ））に比べて２倍の読み出し時間（ｔ２＝ｔ１×２）がかかることになる。

図６は、位相差検出に使用する領域において、撮像素子５００から読み出される画素信号とフリッカ検出／補正部５０３に入力され画素信号とで発生するフリッカ周期が異なることを説明する図である。

図６（ａ）は撮像素子５００から読み出される画素信号とフリッカ成分との関係を示す図、図６（ｂ）はフリッカ検出／補正部５０３に入力される画素信号とフリッカ成分との関係を示す図である。ここでは、例として５０Ｈｚ周期のフリッカが発生している場合を想定している。

図６（ａ）に示すように、位相差検出に使用する領域では、撮像素子５００からＡ＋Ｂ信号とＡ信号が読み出されるが、フリッカ検出／補正部５０３に入力される画素信号は、Ａ信号が入力されない。このため、フリッカ検出／補正部５０３に入力される画像信号としては図６（ｂ）に示すように、Ａ＋Ｂ信号のみとなる。

したがって、撮像素子５００の位相差検出に使用する領域では、Ａ＋Ｂ信号のみを読み出す領域（図６（ｂ）の中央の領域）に比べてＡ＋Ｂ信号とＡ信号を読み出す領域（図６（ａ）の中央の領域）の１ラインの信号の読み出し期間及びフリッカ周期がそれぞれ２倍になっている。したがって、フリッカ検出／補正部５０３に入力される画素信号に着目すると、撮像素子５００の位相差検出に使用する領域に対応した画像信号に基づいて検出されるフリッカの周期は、位相差検出に使用しない領域に対応した画像信号に基づいて検出されるフリッカの周期の略半分の周期となる。この場合、撮像素子５００の位相差検出に使用する領域と位相差検出に使用しない領域とでは、フリッカ検出周期が異なってしまうので、発生しているフリッカを正しく検出することができない。したがって、誤って検出したフリッカに基づいてフリッカ補正を行うことでユーザが意図しない不自然な明るさの画像が取得されてしまう。

そこで、本実施形態では、撮像素子５００の位相差検出に使用する領域と使用しない領域とのフリッカ検出周期のずれが、フリッカ検出に影響を与えないレベルとなるように撮像素子５００の駆動を制御することでこの問題を解決する。

図７は、システム制御部５０８の制御に基づくカメラのフリッカ補正の動作を説明するフローチャート図である。図７に示す各処理は、不揮発性メモリ５１０等の記憶部に格納されたプログラムがシステムメモリ５０９に展開されてシステム制御部５０８のＣＰＵ等により実行される。ここで、以下の説明では、撮像素子５００の１フレーム内で位相差検出に使用しない領域を領域１，３とし、位相差検出に使用する領域（Ａ＋Ｂ信号とＡ信号を読み出す領域）を領域２とする。

図７において、ステップＳ７０１では、システム制御部５０８は、フリッカ補正のオン／オフ判定を行い、フリッカ補正がオン場合は、ステップＳ７０２に進み、フリッカ補正がオフの場合は、処理を終了する。ステップＳ７０２では、システム制御部５０８は、撮像素子５００のフレーム内で駆動方式が位相差検出を行う駆動方式に変更されている画素領域があるか否かを判断する。そして、システム制御部５０８は、駆動方式が変更されている画素領域がある場合は、ステップＳ７０３に進み、そうでない場合は、ステップＳ７１１に進む。

ステップＳ７０３では、システム制御部５０８は、撮像素子５００の駆動方式が変更されている画素の領域情報を取得し、ステップＳ７０４に進む。ステップＳ７０４では、システム制御部５０８は、フリッカ検出行選択部５０４により、ステップＳ７０３で取得した領域情報を基に異なる領域ごとにフリッカ検出用のラインを選択し、ステップＳ７０５に進む。

このとき、システム制御部５０８は、フリッカ検出行選択部５０４に入力されるＡ＋Ｂ信号について、領域２と領域１，３とのフリッカ周波数が一致（略一致も含む。）するようにフリッカ検出用のラインを選択する。本実施形態でシステム制御部５０８は、領域２と領域１，３のフリッカ周波数が一致するように、領域１，３に対応するラインを間引き読み出しする。これにより、位相差検出に使用する領域２において、図６（ａ）及び図６（ｂ）で１ラインの信号の読み出し期間及びフリッカ周期を合わせることができる。なお、領域１，３のフリッカ検出用のラインとしては、領域２のフリッカ検出用のラインの数と一致するのが好ましいが、フリッカを誤検出しないような差であれば、領域１，３と領域２のフリッカ検出用のライン数が異なっていてもよい。

ステップＳ７０５では、システム制御部５０８は、フリッカ検出部５０５により、ステップＳ７０４で選択されたフリッカ検出用ラインからフリッカ成分を検出し、ステップＳ７０６に進む。

ステップＳ７０６では、システム制御部５０８は、ステップＳ７０５で検出したフリッカ成分の情報を基にフレーム内でフリッカが発生しているか否かを判断する。そして、システム制御部５０８は、フリッカが発生している場合は、ステップＳ７０５で検出したフリッカ成分を基に、フリッカ補正値算出部５０６により、ステップＳ７０７〜Ｓ７０９で各領域１〜３ごとのフリッカ補正値を算出してステップＳ７１０に進む。また、システム制御部５０８は、ステップＳ７０６でフリッカが発生していないと判断した場合は、ステップＳ７０１に戻ってその後の処理を継続する。

ステップＳ７１０では、システム制御部５０８は、フリッカ補正部５０７により、ステップＳ７０７〜Ｓ７０９で算出したフリッカ補正値を基に各領域１〜３ごとにフリッカ補正を行い、ステップＳ７０１に戻ってその後の処理を継続する。

一方、ステップＳ７１１以降は、撮像素子５００の駆動方式が位相差検出用に変更されていないので、通常の処理を行う。即ち、ステップＳ７１１では、システム制御部５０８は、フリッカ検出行選択部５０４によるフリッカ検出用のラインの選択は行わず、フリッカ検出部５０５により、すべてのラインでフリッカ成分を検出し、ステップＳ７１２に進む。

ステップＳ７１２では、システム制御部５０８は、ステップＳ７１１で検出したフリッカ成分の情報を基にフリッカが発生しているか否かを判断する。そして、システム制御部５０８は、フリッカが発生していない場合は、ステップＳ７０１に戻り、フリッカが発生している場合は、ステップＳ７１３に進む。

ステップＳ７１３では、システム制御部５０８は、フリッカ補正値算出部５０６により、フリッカ補正値を算出してステップＳ７１４に進む。ステップＳ７１４では、システム制御部５０８は、フリッカ補正部５０７により、ステップＳ７１３で算出したフリッカ補正値を基にフリッカ補正を行い、ステップＳ７０１に戻ってその後の処理を継続する。なお、本実施形態では、撮像素子５００の駆動フレームレートに合わせて、フレームごとに図７に図示するような、フリッカ検出および補正に関する処理を実行する構成であるが、所定数のフレームごとに当該処理を実行する構成であってもよい。また、本実施形態では、位相差検出用の領域が１つの場合を例示したが、２つ以上の位相差検出用の領域を有する場合でも、同様に、各領域でフリッカの検出及び補正を行う。

以上説明したように、本実施形態では、撮像素子５００のフレーム内で駆動方式が位相差検出用に変更されている画素領域がある場合は、フリッカ補正時に領域２と領域１，３とのフリッカ周波数が一致するようにフリッカ検出用のラインを選択する。

そして、選択されたフリッカ検出用ラインからフリッカ成分を検出して各領域１〜３ごとにフリッカ補正値を算出し、算出したフリッカ補正値を基にフリッカ補正を行う。これにより、駆動方式がフレーム内で領域ごとに変化する撮像素子５００であっても、正確にフリッカの検出及び補正を行うことができる。

（第２の実施形態）
次に、図８及び図９を参照して、本発明の画像処理装置の第２の実施形態であるデジタルカメラについて説明する。図８は、本実施形態のデジタルカメラのシステム構成を示すブロック図である。なお、本実施形態では、上記第１の実施形態に対して重複又は相当する部分については、図及び符号を流用し、相違する部分についてのみ説明する。

図８に示すように、本実施形態では、上記第１の実施形態（図１）に対して、フリッカ検出部５０５の処理が異なり、また、フリッカ検出用のラインを選択するフリッカ検出行選択部５０４は設けられていない。

フリッカ検出部５０５は、撮像素子５００の駆動方式がフレーム内で領域ごとに変化した場合、異なる領域１〜３ごとにフリッカの周波数成分を検出する。フリッカ補正値算出部５０６は、フリッカ検出部５０５で検出した異なる駆動領域１〜３ごとのフリッカの周波数成分に応じてそれぞれ対応する領域１〜３のフリッカ補正値を算出する。

図９は、システム制御部５０８の制御に基づくカメラのフリッカ補正の動作を説明するフローチャート図である。図９に示す各処理は、不揮発性メモリ５１０等の記憶部に格納されたプログラムがシステムメモリ５０９に展開されてシステム制御部５０８のＣＰＵ等により実行される。

図９において、システム制御部５０８は、上記第１の実施形態のステップＳ７０１，Ｓ７０２と同様に、ステップＳ９０１でフリッカ補正がオン場合は、ステップＳ９０２で駆動方式が変更されている画素領域がある否かを判断する。そして、システム制御部５０８は、駆動方式が変更されている画素領域がある場合は、ステップＳ９０３に進み、そうでない場合は、ステップＳ９１２に進む。ステップＳ９０３では、システム制御部５０８は、撮像素子５００の駆動方式が変更されている画素の領域情報を取得し、ステップＳ９０４に進む。

そして、システム制御部５０８は、ステップＳ９０３で取得した領域情報を基に、フリッカ検出部５０５により、ステップＳ９０４〜ステップＳ９０６で各領域１〜３ごとのフリッカ成分を検出し、ステップＳ９０７に進む。

このとき、システム制御部５０８は、位相差検出に使用する領域２は、位相差検出に使用しない領域１，３の２倍（略２倍も含む。）の周期でフリッカ成分を検出する。これにより、位相差検出に使用する領域２において、図６（ａ）及び図６（ｂ）で１ラインの信号の読み出し期間及びフリッカ周期を合わせることができる。

なお、本実施形態では、位相差検出に使用する領域２において、Ａ信号とＡ＋Ｂ信号を読み出す場合について説明したが、これに限定されるものではない。例えば、領域１，でＡ＋Ｂ信号を読み出し、領域２においてＡ信号とＢ信号とＡ＋Ｂ信号を読み出す場合、システム制御部５０８は、領域２のフリッカ検出周期を領域１，３の３倍に設定すればよい。また、本実施形態では、位相差検出に使用する領域のフリッカ検出周期を、位相差検出に使用しない領域におけるフリッカ検出周期の２倍に設定したが、これに限定されるものではない。例えば、フリッカの検出に与える影響が小さければ、位相差検出に使用する領域のフリッカ検出周期が、使用しない領域のフリッカ検出周期に対して厳密な倍数とならない構成であってもよい。

ステップＳ９０７では、システム制御部５０８は、ステップＳ９０４〜ステップＳ９０６で検出した異なる領域のフリッカ成分の情報を基にフレーム内でフリッカが発生しているか否かを判断する。そして、システム制御部５０８は、フリッカが発生している場合は、ステップＳ９０４〜Ｓ９０６で検出した異なる領域のフリッカ成分の情報を基に、フリッカ補正値算出部５０６により、それぞれ対応する領域１〜３のフリッカ補正値を算出する。

具体的には、ステップＳ９０８では、システム制御部５０８は、フリッカ補正値算出部５０６により、ステップＳ９０４で検出した領域１のフリッカ成分の情報を基に領域１のフリッカ補正値を算出し、ステップＳ９０９に進む。

ステップＳ９０９では、システム制御部５０８は、フリッカ補正値算出部５０６により、ステップＳ９０５で検出した領域２のフリッカ成分（２倍のフリッカ周期）の情報を基に領域２のフリッカ補正値を算出し、ステップＳ９１０に進む。

ステップＳ９１０では、システム制御部５０８は、フリッカ補正値算出部５０６により、ステップＳ９０６で検出した領域３のフリッカ成分の情報を基に領域３のフリッカ補正値を算出し、ステップＳ９１１に進む。また、システム制御部５０８は、ステップＳ９０７でフリッカが発生していないと判断した場合は、ステップＳ９０１に戻ってその後の処理を継続する。

ステップＳ９１１では、システム制御部５０８は、フリッカ補正部５０７により、ステップＳ９０８〜Ｓ９１０で算出した領域１〜３ごとのフリッカ補正値を基にそれぞれ対応する領域１〜３のフリッカを補正し、ステップＳ９０１に戻りその後の処理を継続する。

一方、ステップＳ９１２では、本実施形態では、フリッカ検出行選択部５０４を備えていないため、システム制御部５０８は、フレーム内で領域を分割することなく、フリッカ成分を検出し、ステップＳ９１３に進む。なお、その後のステップＳ９１３〜ステップＳ９１５の処理は、上記第１の実施形態（図７）のステップＳ７１２〜ステップＳ７１４の処理と同様であるため、その説明を省略する。

以上説明したように、本実施形態では、撮像素子５００のフレーム内で駆動方式が変更されている画素領域がある場合、位相差検出に使用する領域２については、位相差検出に使用しない領域１，３の２倍の周期でフリッカ成分を検出する。

そして、各領域１〜３ごとのフリッカ補正値を算出し、算出した各領域１〜３のフリッカ補正値を基にそれぞれの領域１〜３のフリッカ補正を行う。これにより、駆動方式がフレーム内で領域ごとに変化する撮像素子５００であっても、正確にフリッカの検出及び補正を行うことができる。その他の構成、及び作用効果は、上記第１の実施形態と同様である。

（第３の実施形態）
次に、図１０を参照して、本発明の画像処理装置の第３の実施形態であるデジタルカメラについて説明する。なお、本実施形態では、上記第１及び第２の実施形態に対して、重複又は相当する部分については、図及び符号を流用し、相違する部分についてのみ説明する。また、本実施形態のデジタルカメラのシステム構成については、上記第２の実施形態の図８と同様である。

上記第２の実施形態において、領域１〜３のそれぞれでフリッカ検出を行った場合、位相差検出に使用する領域２の垂直ライン数が少ないと、正確にフリッカ検出ができない可能性がある。

そこで、本実施形態では、位相差検出に使用する領域２が所定のライン数よりも少ない場合は、位相差検出用の領域２のフリッカの検出情報は使用せず、領域１，３、即ち、通常の画像用の画素領域のフリッカ検出情報のみを用いてフリッカ検出及び補正を行う。

図１０は、システム制御部５０８の制御に基づくカメラのフリッカ補正の動作を説明するフローチャート図である。図１０に示す各処理は、不揮発性メモリ５１０等の記憶部に格納されたプログラムがシステムメモリ５０９に展開されてシステム制御部５０８のＣＰＵ等により実行される。

なお、図１０のステップ１００１〜Ｓ１００３、Ｓ１００５〜Ｓ１０１２及びステップＳ１０１９〜Ｓ１０２２は、それぞれ図９のステップＳ９０１〜Ｓ９０３、Ｓ９０４〜Ｓ９１１及びステップＳ９１２〜Ｓ９１５と同様の処理であるため、その説明を省略する。

図１０において、ステップＳ１００４では、システム制御部５０８は、撮像素子５００の位相差検出に使用する領域２があらかじめ定めた所定のライン数を超えているか否かを判断する。なお、当該所定のライン数としては、例えば、撮像素子５００の全ライン数に対する１／１０以下の数などを閾値とすれば、フリッカ検出の精度を向上させるのに効果的である。そして、システム制御部５０８は、所定のライン数を超えている場合は、ステップＳ１００５〜ステップＳ１０１２で図９のステップＳ９０４〜ステップＳ９１１と同様の処理を行う。一方、システム制御部５０８は、位相差検出に使用する領域２が所定のライン数以下の場合は、ステップＳ１０１３以降の処理に進む。

ステップＳ１０１３及びステップＳ１０１４では、システム制御部５０８は、フリッカ検出部５０５により、位相差検出に使用する領域２を除いた各領域１，３のフリッカ成分を検出し、ステップＳ１０１５に進む。

ステップＳ１０１５では、システム制御部５０８は、ステップＳ１０１３及びＳ１０１４で検出したフリッカ成分の情報を基にフレーム内でフリッカが発生しているか否かを判断する。そして、システム制御部５０８は、フリッカが発生していた場合は、ステップＳ１０１６に進み、フリッカが発生していない場合は、ステップＳ１００１に戻ってその後の処理を継続する。

そして、ステップＳ１０１６〜Ｓ１０１８では、システム制御部５０８は、フリッカ補正値算出部５０６により、ステップＳ１０１３及びＳ１０１４で検出したフリッカ成分の情報を基に領域１〜３ごとのフリッカ補正値を算出し、ステップＳ１０１２に進む。ステップＳ１０１２では、システム制御部５０８は、フリッカ補正部５０７により、ステップＳ１０１６〜Ｓ１０１８で算出したフリッカ補正値を基にフリッカ補正を行い、ステップＳ１００１に戻ってその後の処理を継続する。

以上説明したように、本実施形態では、位相差検出に使用する領域２が所定のライン数以下の場合は、領域２のフリッカの検出情報は使用せず、通常の画像用の領域１，３のフリッカ成分のみを用いてフリッカの検出及び補正を行う。これにより、位相差検出に使用する領域２が所定のライン数以下の場合においても、正確にフリッカ検出を行うことができる。その他の構成、及び作用効果は、上記第１及び第２の実施形態と同様である。

なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

例えば、上記各実施形態では、撮像素子５００のラインごとに位相差検出に使用する領域と使用しない領域を区分けして説明したが、これに限定されるものではない。例えば、位相差検出に使用する領域が、撮像素子５００において離散的に配されているような構成であってもよい。

また、上記各実施形態では、本発明の画像処理装置として、撮像装置の一例であるデジタルカメラを例示したが、これに限定されない。例えば、デジタルビデオカメラやスマートフォンなどの可搬デバイスなどや、セキュリティカメラなど、デジタルカメラ以外の撮像装置であってもよい。

また、図１及び図８に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することで実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。したがって、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、本発明は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

５００ 撮像素子
５０２ 位相差検出部
５０４ フリッカ検出行選択部
５０５ フリッカ検出部
５０６ フリッカ補正値算出部
５０７ フリッカ補正部
５０８ システム制御部
５０９ システムメモリ
５１０ 不揮発性メモリ

Claims (9)

1. 位相差検出用の画素領域を有し、フレーム内で領域ごとに駆動方式の変更が可能な撮像素子から読み出した画像用の画素信号のフリッカ成分を検出するフリッカ検出手段を備え、
   前記フリッカ検出手段は、前記撮像素子の駆動方式が位相差検出を行う駆動方式に変更された場合、前記フレーム内で位相差検出に使用する領域の前記フリッカ成分の周期が前記位相差検出に使用しない領域の前記フリッカ成分の周期に一致するように前記フリッカ成分を検出することを特徴とする画像処理装置。
2. 前記撮像素子から信号を読み出す駆動手段を有し、
   前記位相差検出用の画素領域は、第１の光電変換部と第２の光電変換部を備えた画素が行方向に配列された前記撮像素子の領域であって、
   前記駆動手段は、前記位相差検出用の画素領域からは、前記第１の光電変換部の信号および前記第２の光電変換部の信号ともに前記第１の光電変換部の信号を読み出し、前記位相差検出用ではない画素領域からは、前記第１の光電変換部の信号および前記第２の光電変換部の信号のみを読み出すことを特徴とする請求項１に記載の画像処理装置。
3. 前記フリッカ検出手段は、位相差検出に使用する領域の前記フリッカの周波数が前記位相差検出に使用しない領域の前記フリッカの周波数と一致するようにフリッカ検出用のラインを選択し、前記選択された前記フリッカ検出用のラインからフリッカ成分を検出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記フリッカ検出手段により検出された前記フリッカ成分の情報に基づいて前記画像用の画素信号のフリッカ成分を補正する補正手段を有することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記フリッカ検出手段は、前記位相差検出に使用する領域と前記位相差検出に使用しない領域とのそれぞれの領域で前記フリッカ成分を検出し、
   前記補正手段は、前記フリッカ検出手段により検出された前記フリッカ成分の情報に基づいて前記それぞれの領域の前記フリッカ成分を補正することを特徴とする請求項４に記載の画像処理装置。
6. 前記フリッカ検出手段は、前記位相差検出に使用する領域と前記位相差検出に使用しない領域とのそれぞれでかかる前記画像用の画素信号の読み出し期間の差に基づいて前記それぞれの領域の前記フリッカ成分を検出することを特徴とする請求項５に記載の画像処理装置。
7. 前記フリッカ検出手段は、前記位相差検出に使用する領域のライン数があらかじめ定めたライン数以下の場合、前記位相差検出に使用する領域を前記フリッカ成分の検出に使用しないことを特徴とする請求項５又は６に記載の画像処理装置。
8. 位相差検出用の画素領域を有し、フレーム内で領域ごとに駆動方式の変更が可能な撮像素子から読み出した画像用の画素信号のフリッカ成分を検出するフリッカ検出ステップを備え、
   前記フリッカ検出ステップは、前記撮像素子の駆動方式が位相差検出を行う駆動方式に変更された場合、前記フレーム内で前記位相差検出に使用する領域の前記フリッカ成分の周期が前記位相差検出に使用しない領域の前記フリッカ成分の周期に一致するように前記フリッカ成分を検出することを特徴とする画像処理装置の制御方法。
9. 請求項８に記載の画像処理装置の制御方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

Images