JP7074136B2 - 撮像装置とフリッカー補正方法およびプログラム - Google Patents

Description

この技術は、撮像装置とフリッカー補正方法およびプログラムに関し、周期的に照明光の強度が変動する照明装置を利用しても、照明装置と被写体との位置関係にかかわらず照明光の強度の変動の影響が低減された撮像画を取得できるようにする。

従来、周期的に照明光の強度が変動する照明装置を利用して撮像が行われたとき、照明光の強度の変動の影響を低減することが行われている。例えば特許文献１では、被写体を撮像するための第１のフォトダイオードと、照明光の強度の変動を検出するための第２のフォトダイオードを設けて、第２のフォトダイオードを用いて検出した照明光の強度変化パターンに基づいて、第１のフォトダイオードを用いて取得した撮像信号を補正することが行われている。

特開２０１１－０９７２０４号公報

ところで、第２のフォトダイオードを用いて検出した照明光の強度変化パターンに基づいた撮像信号の補正は、照明光の強度の時間変化に応じた補正である。したがって、例えば照明装置と被写体との位置関係の違いによって生じる被写体毎のちらつき度合いの差を補正することはできない。

そこで、この技術では、照明光の強度が周期的に変動する場合でも、照明装置と被写体との位置関係にかかわらず照明光の強度の変動の影響が低減されている撮像画を取得できる撮像装置とフリッカー補正方法およびプログラムを提供することを目的とする。

この技術の第１の側面は、
撮像画を取得するための撮像画素の画素信号と照明光の強度を検出するための光強度検出画素の画素信号に基づきフリッカー補正ゲインを算出する補正ゲイン算出部と、
前記撮像画素と前記光強度検出画素の露光タイミングと露光期間を個々に設定する制御部と
を備える撮像装置にある。

この技術においては、撮像画を取得するための撮像画素と照明光の強度を検出するための光強度検出画素を例えば垂直方向に隣接して設ける。制御部は、撮像画素と光強度検出画素の露光タイミングと露光期間を個々に設定する。例えば制御部は、撮像画素の露光期間をシャッター速度に応じた期間に設定して、光強度検出画素の露光期間を照明光の強度変化の周期期間に設定して、撮像画素と光強度検出画素の露光タイミングを、露光開始、露光終了または露光期間の中央のいずれかを等しいタイミングに設定する。また、制御部は、撮像画のフレーム周期と照明光の強度変化の周期に基づき、光強度検出画素の画素群を１または複数設けて、撮像画のフレーム毎に光強度検出画素のいずれかの画素群で照明光の強度変化の周期期間である露光期間の画素信号を得る。補正ゲイン算出部は、撮像画素の画素信号と光強度検出画素の画素信号に基づきフリッカー補正対象の撮像画素に対するフリッカー補正ゲインを算出する。例えば、補正ゲイン算出部は、フリッカー補正対象の撮像画素を基準とした水平方向および垂直方向の複数の画素範囲の光強度検出画素の画素信号を用いて補間処理を行い、撮像画素と空間位相が等しい光強度検出画素の画素信号を生成して、撮像画素の画素信号と撮像画素と空間位相が等しい光強度検出画素の画素信号に基づいて撮像画素の画素毎にフリッカー補正ゲインを算出する。フリッカー補正部は、補正ゲイン算出部で算出されたフリッカー補正ゲインを用いてフリッカー補正対象の撮像画素のフリッカー補正を行う。

また、フリッカー検出部を設けて、露光期間が第１商用電源周波数の周期であるフリッカー検出第１画素と露光期間が第２商用電源周波数の周期であるフリッカー検出第２画素のフレーム毎の画素信号の信号レベル変化に基づいて、照明光の強度変化の周期を検出する。フリッカー検出部を設ける場合、制御部は、フリッカー補正ゲインの算出前に、光強度検出画素または光強度検出画素と撮像画素をフリッカー検出第１画素とフリッカー検出第２画素に設定して、フリッカー検出部でフリッカー検出を行わせて、フリッカー検出後はフリッカー検出部で検出された周期を、光強度検出画素の露光期間に設定する。

また、制御部は、複数色成分画素からなる画素ブロックを撮像画素および光強度検出画素の画素単位として、補正ゲイン算出部は、撮像画素および光強度検出画素を構成する画素ブロックの色成分画素の画素信号から算出した輝度値に基づいてフリッカー補正ゲインを算出する。

また、光強度検出画素を間引いて配置して、補正ゲイン算出部は、光強度検出画素の画素信号を用いて補間処理を行い撮像画素と空間位相が等しい光強度検出画素の画素信号を算出して、撮像画素の画素信号と撮像画素と空間位相が等しい光強度検出画素の画素信号に基づき、フリッカー補正対象の撮像画素のフリッカー補正ゲインを算出する。

この技術の第２の側面は、
撮像画を取得するための撮像画素と照明光の強度を検出するための光強度検出画素の露光タイミングと露光期間を個々に設定することと、
前記撮像画素で生成された画素信号と前記光強度検出画素で生成された画素信号に基づきフリッカー補正ゲインを算出することと、
前記算出されたフリッカー補正ゲインを用いて前記撮像画素のフリッカー補正を行うこと
を含むフリッカー補正方法にある。

この技術の第３の側面は、
撮像画のフリッカー補正をコンピュータで実行させるプログラムであって、
前記撮像画を取得するための撮像画素と照明光の強度を検出するための光強度検出画素の露光タイミングと露光期間を個々に設定する手順と、
前記撮像画素で生成された撮像画素信号と前記光強度検出画素で生成された照明光画素信号に基づきフリッカー補正ゲインを算出する手順と、
前記算出されたフリッカー補正ゲインを用いて前記撮像画素のフリッカー補正を行う手順と
を前記コンピュータで実行させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

この技術によれば、撮像画を取得するための撮像画素と照明光の強度を検出するための光強度検出画素の露光タイミングと露光期間が個々に設定される。また、撮像画素で生成された画素信号と光強度検出画素で生成された画素信号に基づきフリッカー補正ゲインが撮像画素の画素ごとに算出される。したがって、照明装置と被写体との位置関係にかかわらず発光光の強度の変動の影響が低減されている撮像画を取得できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

第１の実施の形態における撮像装置の構成を例示した図である。 第１の動作を説明するための図である。 フリッカー補正対象の撮像画素を基準とした所定の画素範囲を例示した図である。 第１の動作を示すフローチャートである。 被写体と照明装置と撮像装置の配置を例示した図である。 フリッカー補正動作を説明するための図である。 第２の動作を説明するための図である。 フリッカー補正対象の撮像画素を基準とした所定の画素範囲を例示した図である。 第３の動作を説明するための図である。 フリッカー補正対象の撮像画素を基準とした所定の画素範囲を例示した図である。 第４の動作を説明するための図である。 第５の動作を示すフローチャートである。 画素配置を例示した図である。 第２の実施の形態における撮像装置の構成を例示した図である。 撮像画のフレーム周波数がフリッカー周波数よりも低い場合の撮像画素と光強度検出画素の配置を例示した図である。 撮像画のフレーム周波数がフリッカー周波数よりも高くフリッカー周波数の２倍よりも低い場合の撮像画素と光強度検出画素の配置を例示した図である。 撮像画のフレーム周波数がフリッカー周波数よりも高くフリッカー周波数の２倍よりも低い場合の撮像画素と光強度検出画素の他の配置を例示した図である。 第２の実施の形態のフリッカー補正ゲインの算出動作を説明するための図である。 第２の実施の形態のフリッカー補正ゲインの他の算出動作を説明するための図である。 第２の実施の形態の撮像装置の動作を例示したフローチャートである。 フリッカー周波数を自動検出する場合の撮像装置の構成を例示した図である。 フリッカー検出第１画素とフリッカー検出第２画素を例示した図である。 第３の実施の形態の動作を例示したフローチャートである。 第４の実施の形態の動作例を示した図である。 フリッカー補正対象の撮像画素を基準とした所定の画素範囲を例示した図である。 第４の実施の形態の他の動作例としてカラー撮像画の場合を示した図である。 第４の実施の形態の他の動作例としてカラー撮像画の他の場合を示した図である。 ４種類の光強度検出画素を間引いて配置した場合のフリッカー補正ゲインの算出動作を説明するための図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
１－１．撮像装置の構成
１－２．撮像装置の第１の動作
１－３．撮像装置の第２の動作
１－４．撮像装置の第３の動作
１－５．撮像装置の第４の動作
１－６．撮像装置の第５の動作
２．第２の実施の形態
２－１．撮像装置の構成
２－２．撮像装置の動作
３．第３の実施の形態
４．第４の実施の形態
５．適用例
６．移動体への応用例

＜１．第１の実施の形態＞
＜１－１．撮像装置の構成＞
図１は、本技術の第１の実施の形態における撮像装置の構成を例示している。撮像装置１０は、撮像部２１と画像信号処理部３０とユーザインタフェース（Ｉ／Ｆ）部４１および制御部４５を有している。また、撮像装置１０は、周辺部５０として記録部５１、信号出力部５２、表示部５３等が設けられてもよい。

撮像部２１には、撮像面内に撮像画素と光強度検出画素が設けられる。撮像画素は、撮像画を取得するための画素であり、露光期間をシャッター速度に応じた期間として、露光期間の露光量に応じた画素信号を生成する。光強度検出画素は、照明光の強度を検出するための画素であり、露光期間をフリッカー周期期間として、露光期間の露光量に応じた画素信号を生成する。撮像部２１は、撮像画素と光強度画素で生成された画素信号を画像信号処理部３０へ出力する。なお、撮像画素と光強度検出画素は、水平方向または垂直方向に交互に設けられており、その詳細については後述する。

画像信号処理部３０は、補正ゲイン算出部３２、フリッカー補正部３３を有している。補正ゲイン算出部３２は、撮像部２１の撮像画素と光強度検出画素で生成された画素信号に基づきフリッカー補正ゲインを算出する。具体的には、フリッカー補正対象の撮像画素を基準とした所定の画素範囲内の撮像画素の画素信号と光強度検出画素の画素信号を用いて、撮像画素と空間位相が等しい光強度検出画素の画素信号を生成する。さらに、撮像画素の画素信号と撮像画素と空間位相が等しい光強度検出画素の画素信号に基づきフリッカー補正ゲインを算出する。補正ゲイン算出部３２は、算出したフリッカー補正ゲインをフリッカー補正部３３へ出力する。

フリッカー補正部３３は、補正ゲイン算出部３２で算出されたフリッカー補正ゲインで、フリッカー補正対象の撮像画素の画素信号に対するゲイン調整を行い、フリッカーの補正が行われた画像信号を生成する。フリッカー補正部３３は、フリッカー補正後の画像信号を記録部５１や信号出力部５２、表示部５３等へ出力する。

ユーザインタフェース部４１は操作スイッチや操作ボタン等を用いて構成されている。ユーザインタフェース部４１は、ユーザ操作に応じた操作信号を生成して制御部４５へ出力する。また、商用電源周波数は５０Ｈｚまたは６０Ｈｚであり、電圧変動に追従して照明光の強度が変わる蛍光灯などの照明の点滅速度は一般的に電源周波数の倍速となる。すなわち商用電源周波数が５０Ｈｚであるときのフリッカー周波数は１００Ｈｚ、商用電源周波数が６０Ｈｚであるときのフリッカー周波数は１２０Ｈｚとなる。ユーザインタフェース部４１では、フリッカー周波数（または照明装置で用いる商用電源の電源周波数）あるいはフリッカー周期のユーザ指定操作が可能とされている。

制御部４５は、例えば制御プログラムを記憶するＲＯＭや一時的にデータを記憶するフラッシュメモリ等の記憶部が内蔵されたマイクロコンピュータを用いて構成されている。制御部４５は、制御プログラムを実行して、ユーザインタフェース部４１からの操作信号に基づき、ユーが所望する動作を撮像装置１０で行うように各部の動作を制御する。また、制御部４５は、ユーザ操作によって指定されたフリッカー周波数等に対応するフリッカー補正が行われた画像信号を生成できるように、撮像部２１と画像信号処理部３０および周辺部５０の動作を制御する。また、制御部４５は、撮像部２１の画素を撮像画素または光強度検出画素に設定する。さらに、制御部４５は、撮像画素と光強度検出画素の露光タイミングと露光期間を個々に設定する。

記録部５１は、画像信号処理部３０で生成されたフリッカー補正後の画像信号を記録媒体に記録する。また、記録部５１は、記録媒体に記録されている画像信号を読み出して表示部５３へ出力する。さらに、記録部５１は、フリッカー補正後の画像信号の符号化処理を行い、符号化信号を生成して記録媒体に記録してもよく、記録媒体から読み出した符号化信号の復号処理によって得られた画像信号を表示部５３へ出力してもよい。

信号出力部５２は、画像信号処理部３０で生成されたフリッカー補正後の画像信号を所定のフォーマットとして外部機器へ出力する。また、信号出力部５２は、フリッカー補正後の画像信号の符号化処理を行い、符号化信号を外部機器へ出力してもよい。

表示部５３は、画像信号処理部３０で生成されたフリッカー補正後の画像信号、または記録部５１から読み出された画像信号に基づき撮像画を表示する。また、表示部５３は、制御部４５からの制御信号に基づいてメニュー画面等の表示を行う。

＜１－２．撮像装置の第１の動作＞
次に撮像装置の第１の動作について説明する。図２は、第１の動作を説明するための図である。第１の動作において、撮像部２１では画素単位で露光時間の設定が可能とされている。撮像部２１の撮像面内には、図２の（ａ）に示すように、撮像画素と光強度検出画素が水平方向に１画素単位で交互に設けられる。

図２の（ｂ）は照明光の強度変化を示している。また、図２の（ｃ）はラインＬｍにおける撮像画素の露光期間、図２の（ｄ）はラインＬｍにおける光強度検出画素の露光期間を示している。また、図２の（ｅ）はラインＬｍ＋１における撮像画素の露光期間、図２の（ｆ）はラインＬｍ＋１における光強度検出画素の露光期間を示している。なお、撮像部２１において、各画素のアドレスを指定して個々の画素信号を読み出すＸＹアドレス方式が用いられている場合、露光タイミングがライン毎に順次ずれを生じている。

制御部４５は、撮像部２１の画素を図２の（ａ）に示すように撮像画素と光強度検出画素に設定する。さらに、制御部４５は、撮像画素の露光期間をシャッター速度に応じた期間として、光強度検出画素の露光期間をユーザが指定したフリッカー周波数の１周期期間として撮像部２１を動作させる。図２では、シャッター速度＝１／１２０秒、フリッカー周波数＝１００Ｈｚ（１／１００秒）の場合を示している。また、撮像画のフレーム周波数は、フリッカー周波数よりも低い周波数例えば６６．７Ｈｚに設定されており、各フレームにおける撮像画素と光強度検出画素は例えば露光開始タイミングが一致するように設定されている。

画像信号処理部３０は、撮像部２１で図２に示す撮像動作を行い生成された画素信号を用いてフリッカー補正を行う。図３は、フリッカー補正対象の撮像画素を基準とした所定の画素範囲を例示している。画素範囲は、固定の範囲に予め設定されていてもよく、任意の範囲に変更できる構成とされてもよい。なお、図３では、ラインＬｍにおけるｎ番目の画素Ｐ(m,n)である撮像画素をフリッカー補正対象としており、画素Ｐ(m,n-3)～画素Ｐ(m,n+3)を所定の画素範囲ＡWTとしている。また、撮像画素である画素Ｐ(m,n-2)，Ｐ(m,n)，Ｐ(m,n+2)の画素値をｒ(m,n-2)，ｒ(m,n)，ｒ(m,n+2)とする。また、光強度検出画素である画素Ｐ(m,n-3)，Ｐ(m,n-1)，Ｐ(m,n+1)，Ｐ(m,n+3)の画素値をａ(m,n-3)，ａ(m,n-1)，ａ(m,n+1)，ａ(m,n+3)とする。

画像信号処理部３０の補正ゲイン算出部３２は、式（１）に基づきフリッカー補正ゲインＨＧを算出する。
ＨＧ＝（光強度検出画素群の画素値ＷＴａ／撮像画素群の画素値ＷＴｒ）・・・（１）

撮像画素群の画素値ＷＴｒは、例えば式（２）に示すように、所定の画素範囲内の撮像画素の平均画素値を用いる。
ＷＴｒ＝（ｒ(m,n-2)＋ｒ(m,n)＋ｒ(m,n+2)）／３ ・・・（２）

光強度検出画素群の画素値ＷＴａは、光強度検出画素群の画素値を用いて線形補間を行い所定の画素範囲内における撮像画素群と空間位相が等しい光強度検出画素群の画素値を算出して、算出した画素値の平均値を用いる。補正ゲイン算出部３２は、式（３）乃至（５）によって、撮像画素群と空間位相が等しい光強度検出画素の画素値、すなわち画素Ｐ(m,n-2)，Ｐ(m,n)，Ｐ(m,n+2)の画素値ａ(m,n-2)，ａ(m,n)，ａ(m,n+2)を算出する。さらに、補正ゲイン算出部３２は、式（６）に示す演算を行い撮像画素群と空間位相が等しい光強度検出画素群の画素値ＷＴａを算出する。
ａ(m,n-2)＝０．５×ａ(m,n-3)＋０．５×ａ(m,n-1)
・・・（３）
ａ(m,n) ＝０．５×ａ(m,n-1)＋０．５×ａ(m,n+1)
・・・（４）
ａ(m,n+2)＝０．５×ａ(m,n+1)＋０．５×ａ(m,n+3)
・・・（５）
ＷＴａ＝（ａ(m,n-2)＋ａ(m,n)＋ａ(m,n+2)）／３
・・・（６）

補正ゲイン算出部３２は算出したフリッカー補正ゲイン、すなわち式（７）に示すフリッカー補正ゲインＨＧ(m,n)をフリッカー補正部３３へ出力する。
ＨＧ(m,n)＝（ＷＴａ／ＷＴｒ）
＝（０．５×ａ(m,n-3)＋ａ(m,n-1)＋ａ(m,n+1)＋０．５×ａ(m,n+3))／（ｒ(m,n-2)＋ｒ(m,n)＋ｒ(m,n+2)） ・・（７）

フリッカー補正部３３は、補正ゲイン算出部３２で算出されたフリッカー補正ゲインＨＧ(m,n)を用いて、フリッカー補正対象である画素Ｐ(m,n)の撮像画素の画素信号に対するゲイン調整を行う。すなわち、フリッカー補正部３３は、式（８）の演算を行い、フリッカー補正対象の撮像画素における補正後の画素値ｒｃ(m,n)を算出する。
ｒｃ(m,n)＝ＨＧ(m,n)×ｒ(m,n) ・・・（８）

画像信号処理部３０は、上述の処理を各撮像画素に対して行うことで、フリッカーの影響が低減された画像信号を生成する。

図４は、撮像装置の第１の動作を示すフローチャートである。ステップＳＴ１で撮像装置は露光期間とフレーム周波数を設定する。撮像装置１０の制御部４５は、撮像画素の露光期間を設定されているシャッター速度に対応する期間に設定する。また、制御部４５は、光強度検出画素の露光期間をフリッカー周期期間に設定する。さらに、制御部４５は撮像画のフレーム周波数ＦＶをユーザ等が設定したフレームレートに応じて設定してステップＳＴ２に進む。

ステップＳＴ２で撮像装置は撮像画素と光強度検出画素を配置する。撮像装置１０の制御部４５は、撮像部２１の撮像面内に上述のように撮像画素と光強度検出画素を設けて、撮像画素と光強度検出画素の露光期間をステップＳＴ１で設定した露光期間として駆動制御を行いステップＳＴ３に進む。

ステップＳＴ３で撮像装置はフリッカー補正対象の撮像画素のフリッカー補正ゲインを算出する。撮像装置１０の補正ゲイン算出部３２は、フリッカー補正対象の撮像画素を基準とした所定の画素範囲内における撮像画素の画素信号と光強度検出画素の画素信号を用いて、上述のようにフリッカー補正ゲインを算出してステップＳＴ４に進む。

ステップＳＴ４で撮像装置はフリッカー補正対象の撮像画素のフリッカー補正を行う。撮像装置１０のフリッカー補正部３３は、ステップＳＴ３で算出されたフリッカー補正ゲインを用いてフリッカー補正対象の撮像画素のゲイン調整を行い、フリッカーの影響を補正した画素信号を生成してステップＳＴ５に進む。

ステップＳＴ５で撮像装置は画面内の各撮像画素のフリッカー補正が完了したか判別する。撮像装置１０の画像信号処理部３０は、画面内の各撮像画素のフリッカー補正が完了していない場合はステップＳＴ６に進み、画面内の各撮像画素のフリッカー補正が完了した場合はステップＳＴ7に進む。

ステップＳＴ６で撮像装置はフリッカー補正対象の撮像画素を更新する。撮像装置１０の画像信号処理部３０は、撮像画素のフリッカー補正が行われていない撮像画素を新たなフリッカー補正対象の撮像画素に設定してステップＳＴ３に戻る。

ステップＳＴ７で撮像装置は撮像画の終了であるか判別する。撮像装置１０の制御部４５は、フリッカー補正を行う撮像画が終了していない場合はステップＳＴ８に進み、フリッカー補正を行う撮像画が終了した場合例えば撮像の終了操作が行われた場合はフリッカー補正動作を終了する。

ステップＳＴ８で撮像装置は新たな撮像画にフリッカー補正対象の撮像画素を設定する。撮像装置１０の画像信号処理部３０は、新たなフレームの撮像画にフリッカー補正対象の撮像画素を設定してステップＳＴ３に戻る。

このように、撮像装置の制御部は、撮像画面内に撮像画素と光強度検出画素を設けて、撮像画素の露光期間はシャッター速度に応じた期間として、光強度検出画素の露光期間はフリッカー周期期間とする。さらに、補正ゲイン算出部は、フリッカー補正対象の撮像画素を基準とした所定の画素範囲内の撮像画素と、フリッカー補正対象の撮像画素と露光開始タイミングが等しい光強度検出画素を用いてフリッカー補正ゲインを算出する。また、フリッカー補正部は、算出したフリッカー補正ゲインでフリッカー補正対象の撮像画素のゲイン調整を行う。したがって、照明装置と被写体との位置関係にかかわらず照明光の強度の変動の影響が低減されている撮像画を得られるようになる。

図５は、被写体と照明装置と撮像装置の配置を例示しており、被写体ＯＢa，ＯＢbは、例えば照明光の強度の変化を生じない照明装置ＬＴsと照明光の強度の変化を生じる照明装置ＬＴfを用いて照明が行われている。撮像装置１０は、照明装置ＬＴs，ＬＴfによって照明が行われている被写体ＯＢa，ＯＢbを撮像する。

図６は、フリッカー補正動作を説明するための図である。図６の（ａ）は、照明装置ＬＴsの照明光の強度ＩＬＴs、照明装置ＬＴfの照明光の強度ＩＬＴfと、被写体ＯＢaの照度ＩＬｏｂaと被写体ＯＢbの照度ＩＬｏｂbを例示している。図６の（ｂ）は露光期間ＴＦ１の撮像画ＧＦ1を示しており、図６の（ｃ）は露光期間ＴＦ２の撮像画ＧＦ2を示している。露光期間ＴＦ１と露光期間ＴＦ２は期間の長さが等しく、照明装置ＬＴfの照明光の強度ＩＬＴf2の変化に対する位相が異なる。ここで、図６の（ａ）に示す場合、露光期間ＴＦ２では、照明装置ＬＴfの照明光の強度ＩＬＴfが露光期間ＴＦ１よりも低下している。このため、図６の（ｃ）に示す撮像画ＧＦ2における被写体ＯＢa，ＯＢbの画像は、図６の（ｂ）に示す撮像画ＧＦ1における被写体ＯＢa，ＯＢbの画像よりも暗くなる。

ここで、従来の技術のようにフォトダイオードを用いて検出した照明装置の照明光の強度変化パターンに基づいた撮像信号の補正を行い、例えばフリッカー補正ゲインＨＧpaでフリッカー補正を行うと、図６の（ｄ）に示すように、フリッカー補正後の撮像画ＧＦpaにおける被写体ＯＢaを撮像画ＧＦ1における被写体ＯＢaの明るさに補正できる。しかし、被写体ＯＢbの明るさの変化は被写体ＯＢaの明るさの変化よりも小さいため、フリッカー補正ゲインＨＧpaでフリッカー補正が行われると、撮像画ＧＦpaにおける被写体ＯＢbは撮像画ＧＦ1における被写体ＯＢbよりも明るくなってしまう。

また、例えばフリッカー補正ゲインＨＧpbでフリッカー補正を行うと、図６の（ｅ）に示すように、フリッカー補正後の撮像画ＧＦpbにおける被写体ＯＢbを撮像画ＧＦ1における被写体ＯＢbの明るさに補正できる。しかし、被写体ＯＢbの明るさの変化は被写体ＯＢaの明るさの変化よりも小さいため、フリッカー補正ゲインＨＧpbでフリッカー補正が行われると、撮像画ＧＦpbにおける被写体ＯＢaは撮像画ＧＦ1における被写体ＯＢaよりも暗い状態となる。

本願の技術の撮像装置では、上述のようにフリッカー補正対象の撮像画素毎にフリッカー補正ゲインを算出して、フリッカー補正部は算出されたフリッカー補正ゲインでフリッカー補正対象の撮像画素のゲイン調整を行う。したがって、露光期間が照明装置ＬＴfの照明光の強度ＩＬＴf2の変化におけるいずれのタイミングであっても、図６の（ｆ）に示すように、フリッカー補正後の撮像画ＧＦqにおける被写体ＯＢa，ＯＢbの画像を、照明光の強度の変動による影響のない明るさにできる。すなわち、照明装置と被写体との位置関係にかかわらず照明光の強度の変動の影響が低減されている撮像画を取得できるようになる。

＜１－３．撮像装置の第２の動作＞
ところで、上述の第１の動作において、撮像画のフレーム周波数がフリッカー周波数よりも高い周波数であると、光強度検出画素でフリッカー周期期間の露光が完了する前に、撮像画像で次のフレームの露光が開始されてしまう。このため、撮像画のフレーム毎に光強度検出画素の画素信号を生成することができないため、撮像画毎にフリッカー補正ゲインを算出することができなくなってしまう。そこで、撮像装置の第２の動作では、撮像画のフレーム周波数がフリッカー周波数よりも高い周波数でもフリッカー補正を行える動作について説明する。

図７は、第２の動作を説明するための図である。第２の動作において、撮像部２１では画素単位で露光時間の設定が可能とされている。また、撮像部２１の撮像面内には、図７の（ａ）に示すように、撮像画素と２種類の光強度検出画素が水平方向に交互に設けられている。なお、２種類の光強度検出画素を第１光強度検出画素と第２光強度検出画素とする。

図７の（ｂ）は照明光の強度変化を示している。また、図７の（ｃ）はラインＬｍにおける撮像画素の露光期間、図７の（ｄ）はラインＬｍにおける第１光強度検出画素の露光期間、図７の（ｅ）はラインＬｍにおける第２光強度検出画素の露光期間を示している。また、図７の（ｆ）はラインＬｍ＋１における撮像画素の露光期間、図７の（ｇ）はラインＬｍ＋１における光強度検出画素の露光期間、図７の（ｈ）はラインＬｍ＋１における第２光強度検出画素の露光期間を示している。

制御部４５は、撮像部２１の画素を図７の（ａ）に示すように撮像画素と光強度検出画素に設定する。さらに、制御部４５は、撮像画素の露光期間をシャッター速度に応じた期間として、光強度検出画素の露光期間をユーザが指定したフリッカー周波数の１周期期間として撮像部２１を動作させる。また、制御部４５は、撮像画素の露光期間の露光開始タイミングと第１光強度検出画素の露光期間の開始タイミングを同期させる。また、制御部４５は、撮像画素の次フレームの露光期間の露光開始タイミングと第２光強度検出画素の露光期間の開始タイミングを同期させる。さらに、制御部４５は、撮像画素の次フレームの露光期間の露光開始タイミングと第１光強度検出画素の露光期間の開始タイミングを同期させる。以下同様に、制御部４５は、第１光強度検出画素と第２光強度検出画素の露光期間を、撮像画のフレーム毎に切り替える。

図７では、シャッター速度＝１／４００秒、フリッカー周波数＝１００Ｈｚ（１／１００秒）の場合を示している。また、撮像画のフレーム周波数は、フリッカー周波数よりも高い周波数例えば１３３Ｈｚに設定されている。

画像信号処理部３０は、撮像部２１で図７に示す撮像動作を行い生成された画素信号を用いてフリッカー補正を行う。図８は、フリッカー補正対象の撮像画素を基準とした所定の画素範囲を例示した図である。なお、図８では、ラインＬｍにおけるｎ番目の画素Ｐ(m,n)である撮像画素をフリッカー補正対象としており、画素Ｐ(m,n-5)～画素Ｐ(m,n+5)を所定の画素範囲ＡWTとしている。また、撮像画素である画素Ｐ(m,n-3)，Ｐ(m,n)，Ｐ(m,n+3)の画素値をｒ(m,n-3)，ｒ(m,n)，ｒ(m,n+3)とする。また、第１光強度検出画素である画素Ｐ(m,n-5)，Ｐ(m,n-2)，Ｐ(m,n+1)，Ｐ(m,n+4)の画素値をａ(m,n-5)，ａ(m,n-2)，ａ(m,n+1)，ａ(m,n+4)とする。また、第２光強度検出画素である画素Ｐ(m,n-4)，Ｐ(m,n-1)，Ｐ(m,n+2)，Ｐ(m,n+5)の画素値をａ(m,n-4)，ａ(m,n-1)，ａ(m,n+2)，ａ(m,n+5)とする。

画像信号処理部３０の補正ゲイン算出部３２は、式（９）に基づきフリッカー補正ゲインを算出する。
フリッカー補正ゲイン＝（第１または第２光強度検出画素群の画素値ＷＴａ／撮像画素群の画素値ＷＴｒ） ・・・（９）

撮像画素群の画素値ＷＴｒは、例えば式（１０）に示すように、所定の画素範囲内の撮像画素の平均画素値を用いる。
ＷＴｒ＝（ｒ(m,n-3)＋ｒ(m,n)＋ｒ(m,n+3)）／３ ・・・（１０）

光強度検出画素群の画素値ＷＴａは、光強度検出画素群の画素値を用いて線形補間を行い所定の画素範囲内における撮像画素群と空間位相が等しい光強度検出画素群の画素値を算出して、算出した画素値の平均値を用いる。ここで、撮像画素の露光期間の開始タイミングが第１光強度検出画素の露光開始タイミングと等しい場合、補正ゲイン算出部３２は、第１光強度検出画素の画素値を用いて画素値ＷＴａを算出する。また、撮像画素の露光期間の開始タイミングが第２光強度検出画素の露光開始タイミングと等しい場合、補正ゲイン算出部３２は、第２光強度検出画素の画素値を用いて画素値ＷＴａを算出する。なお、図８では、第１光強度検出画素の画素値を用いて画素値ＷＴａを算出する場合を示している。

補正ゲイン算出部３２は、式（１１）乃至（１３）によって画素Ｐ(m,n-3)，Ｐ(m,n)，Ｐ(m,n+3)の画素値ａ(m,n-3)，ａ(m,n)，ａ(m,n+3)を算出する。さらに、補正ゲイン算出部３２は、式（１４）に示す演算を行い撮像画素群と空間位相が等しい光強度検出画素群の画素値ＷＴａを算出する。
ａ(m,n-3)＝０．３３３×ａ(m,n-5)＋０．６６７×ａ(m,n-2)
・・・（１１）
ａ(m,n) ＝０．３３３×ａ(m,n-2)＋０．６６７×ａ(m,n+1)
・・・（１２）
ａ(m,n+3)＝０．３３３×ａ(m,n+1)＋０．６６７×ａ(m,n+4)
・・・（１３）
ＷＴａ＝（ａ(m,n-3)＋ａ(m,n)＋ａ(m,n+3)）／３
・・・（１４）

補正ゲイン算出部３２は算出したフリッカー補正ゲイン、すなわち式（１５）に示すフリッカー補正ゲインＨＧ(m,n)をフリッカー補正部３３へ出力する。
ＨＧ(m,n)＝（ＷＴａ／ＷＴｒ）
＝（０．３３３×ａ(m,n-5)＋ａ(m,n-2)＋ａ(m,n+1)＋０．６６７×ａ(m,n+4)）／（ｒ(m,n-3)＋ｒ(m,n)＋ｒ(m,n+3)） ・・・（１５）

フリッカー補正部３３は、補正ゲイン算出部３２で算出されたフリッカー補正ゲインＨＧ(m,n)を用いて、フリッカー補正対象である画素Ｐ(m,n)の撮像画素に対するゲイン調整を行う。すなわち、フリッカー補正部３３は、上述の式（８）の演算を行い、フリッカー補正対象の撮像画素における補正後の画素値ｒｃ(m,n)を算出する。

画像信号処理部３０は、上述の処理を各撮像画素に対して行うことで、フリッカーの影響が低減された画像信号を生成する。なお、撮像装置の第２の動作は、図４に示すフローチャートと同様な処理を行い、ステップＳＴ１では、上述のように撮像装置は撮像画素と光強度検出画素の露光期間を設定する。さらに、第２の動作では、第１光強度検出画素と第２光強度検出画素の露光開始タイミングを図７に示すように設定してステップＳＴ２に進む。また、ステップＳＴ３では、フリッカー補正対象の撮像画素の露光開始タイミングと等しいタイミングで露光が開始された第１光強度検出画素または第２光強度検出画素の画素信号を用いてフリッカー補正ゲインを算出すればよい。

このように、撮像装置の制御部は、撮像画面内に撮像画素と複数種類の光強度検出画素を設けて、撮像画素の露光期間はシャッター速度に応じた期間として、複数の光強度検出画素の露光期間はフリッカー周期期間とする。さらに、補正ゲイン算出部は、フリッカー補正対象の撮像画素を基準とした所定の画素範囲内の撮像画素と、フリッカー補正対象の撮像画素と露光開始タイミングが等しい光強度検出画素を用いてフリッカー補正ゲインを算出する。また、フリッカー補正部は、算出したフリッカー補正ゲインでフリッカー補正対象の撮像画素のゲイン調整を行う。したがって、撮像画のフレーム周波数がフリッカー周波数よりも高い周波数である場合でも、照明装置と被写体との位置関係にかかわらず照明光の強度の変動の影響が低減されている撮像画を得られるようになる。

＜１－４．撮像装置の第３の動作＞
次に、第３の動作では、撮像部の構成および動作を容易とする場合について説明する。上述の第１および第２の動作では、撮像画素と光強度検出画素を水平方向に並べていることから画素単位で露光期間の制御を可能とする構成が必要となり、撮像部２１の構成が複雑となってしまう。そこで、第３の動作では、垂直方向に撮像画素と光強度検出画素を設けることで、露光期間の制御をライン単位で行えるようにして、第１および第２の動作に比べて撮像部の構成や動作制御を容易とする場合について説明する。なお、第３の動作では、撮像画のフレーム周波数がフリッカー周波数よりも高い周波数に対応できる動作について説明する。

図９は、第３の動作を説明するための図である。第３の動作において、撮像部２１ではライン単位で露光時間の設定が可能とされている。撮像部２１の撮像面内には、図９の（ａ）に示すように、撮像画素のラインと２種類の光強度検出画素の種類毎のラインが垂直方向に交互に設けられている。なお、一方のラインの光強度検出画素を第１光強度検出画素、他方のラインの光強度検出画素を第２光強度検出画素とする。

図９の（ｂ）は照明光の強度変化を示している。また、図９の（ｃ）はラインＬｍ－３の撮像画素の露光期間、図９の（ｄ）はラインＬｍ－２の第１光強度検出画素の露光期間、図９の（ｅ）はラインＬｍ－１の第２光強度検出画素の露光期間を示している。また、図９の（ｆ）はラインＬｍの撮像画素の露光期間、図９の（ｇ）はラインＬｍ＋１の第１光強度検出画素の露光期間、図９の（ｈ）はラインＬｍ＋２の第２光強度検出画素の露光期間を示している。

制御部４５は、撮像部２１の画素をライン単位で図９の（ａ）に示すように撮像画素と光強度検出画素に設定する。撮像画素の露光期間をシャッター速度に応じた期間として、光強度検出画素の露光期間をユーザが指定したフリッカー周波数の周期期間として撮像部２１を動作させる。また、制御部４５は、撮像画素の露光期間の露光開始タイミングと第１光強度検出画素のラインの露光期間の開始タイミングを同期させる。また、制御部４５は、撮像画素の次フレームの露光期間の露光開始タイミングと第２光強度検出画素のラインの露光期間の開始タイミングを同期させる。さらに、制御部４５は、撮像画素の次フレームの露光期間の露光開始タイミングと第１光強度検出画素のラインの露光期間の開始タイミングを同期させる。以下同様に、制御部４５は、第１光強度検出画素のラインと第２光強度検出画素のラインの露光期間を、撮像画のフレーム毎に切り替える。

図９では、シャッター速度＝１／４００秒、フリッカー周波数＝１００Ｈｚ（１／１００秒）の場合を示している。また、撮像画のフレーム周波数は、フリッカー周波数よりも高い周波数例えば１３３Ｈｚに設定されている。

画像信号処理部３０は、撮像部２１で図９に示す撮像動作を行い生成された画素信号を用いてフリッカー補正を行う。図１０は、フリッカー補正対象の撮像画素を基準とした所定の画素範囲を例示した図である。なお、図１０では、ラインＬｍにおけるｎ番目の画素Ｐ(m,n)である撮像画素をフリッカー補正対象としており、一点鎖線で示す画素Ｐ(m,n)を中心とした垂直方向が５ラインで水平方向が３画素の範囲を所定の画素範囲ＡWTとしている。また、フリッカー補正対象の画素Ｐ(m,n)の画素値をｒ(m,n)，両サイドの撮像画素の画素値をｒ(m,n-1)，ｒ(m,n+1)とする。また、第１光強度検出画素であるラインＬｍ－２の画素の画素値をａ(m-2,n-1)，ａ(m-2,n)，ａ(m-2,n+1)、第２光強度検出画素であるラインＬｍ－１の画素値をａ(m-1,n-1)，ａ(m-1,n)，ａ(m-1,n+1)とする。さらに、第１光強度検出画素であるラインＬｍ＋１の画素の画素値をａ(m+1,n-1)，ａ(m+1,n)，ａ(m+1,n+1)、第２光強度検出画素であるラインＬｍ＋２の画素値をａ(m+2,n-1)，ａ(m+2,n)，ａ(m+2,n+1)とする。

画像信号処理部３０の補正ゲイン算出部３２は、式（１６）に基づきフリッカー補正ゲインを算出する。
フリッカー補正ゲイン＝（第１または第２光強度検出画素群の画素値ＷＴａ／撮像画素群の画素値ＷＴｒ） ・・・（１６）

撮像画素群の画素値ＷＴｒは、例えば式（１７）に示すように、所定の画素範囲内の撮像画素の平均画素値を用いる。
ＷＴｒ＝（ｒ(m,n-1)＋ｒ(m,n)＋ｒ(m,n+1)）／３ ・・・（１７）

光強度検出画素群の画素値ＷＴａは、光強度検出画素群の画素値を用いて線形補間を行い所定の画素範囲内における撮像画素群と空間位相が等しい光強度検出画素群の画素値を算出して、算出した画素値の平均値を用いる。ここで、撮像画素の露光期間の開始タイミングが第１光強度検出画素の露光開始タイミングと等しい場合、補正ゲイン算出部３２は、第１光強度検出画素の画素値を用いて画素値ＷＴａを算出する。また、撮像画素の露光期間の開始タイミングが第２光強度検出画素の露光開始タイミングと等しい場合、補正ゲイン算出部３２は、第２光強度検出画素の画素値を用いて画素値ＷＴａを算出する。なお、図１０では、第１光強度検出画素の画素値を用いて画素値ＷＴａを算出する場合を示している。

補正ゲイン算出部３２は、式（１８）乃至（２０）によって撮像画素と空間位相が等しい光強度検出画素の画素値ａ(m,n-1)，ａ(m,n)，ａ(m,n+1)を算出する。さらに、補正ゲイン算出部３２は、式（２１）に示す演算を行い撮像画素群と空間位相が等しい光強度検出画素群の画素値ＷＴａを算出する。
ａ(m,n-1)＝０．３３３×ａ(m-2,n-1)＋０．６６７×ａ(m+1,n-1)
・・・（１８）
ａ(m,n) ＝０．３３３×ａ(m-2,n) ＋０．６６７×ａ(m+1,n)
・・・（１９）
ａ(m,n+1)＝０．３３３×ａ(m-2,n+1)＋０．６６７×ａ(m+1,n+1)
・・・（２０）
ＷＴａ＝（ａ(m,n-1)＋ａ(m,n)＋ａ(m,n+1)）／３
・・・（２１）

補正ゲイン算出部３２は算出したフリッカー補正ゲイン、すなわち式（２２）に示すフリッカー補正ゲインＨＧ(m,n)をフリッカー補正部３３へ出力する。
ＨＧ(m,n)＝（ＷＴａ／ＷＴｒ）
＝（０．３３３×（ａ(m-2,n-1)＋ａ(m-2,n)＋ａ(m-2,n+1)）＋０．６６７×（ａ(m+1,n-1)＋ａ(m+1,n)＋ａ(m+1,n+1)））／（ｒ(m,n-3)＋ｒ(m,n)＋ｒ(m,n+3)） ・・・（２２）

なお、図１０では、水平方向が３画素で垂直方向が５画素である所定の画素範囲内の撮像画素群と光検出画素群の画素信号を用いてフリッカー補正対象の撮像画素に対するフリッカー補正ゲインを算出する場合を示した。しかし、所定の画素範囲は、図１０に示す範囲に限られない。例えば水平方向を１画素または５画素等の範囲としてフリッカー補正ゲインを算出してもよい。なお、所定の画素範囲の水平方向を１画素とすると、フリッカー補正対象の撮像画素の画素信号にノイズ等が重畳している場合、フリッカー補正ゲインは適正なゲイン値とならない場合がある。このため、水平方向に並ぶ複数の撮像画素の画素信号を用いることで、ノイズ等の影響を軽減してフリッカー補正ゲインを安定して算出できるようになる。

フリッカー補正部３３は、補正ゲイン算出部３２で算出されたフリッカー補正ゲインＨＧ(m,n)を用いて、フリッカー補正対象である画素Ｐ(m,n)の撮像画素に対するゲイン調整を行う。すなわち、フリッカー補正部３３は、上述の式（８）の演算を行い、フリッカー補正対象の撮像画素における補正後の画素値ｒｃ(m,n)を算出する。

画像信号処理部３０は、上述の処理を各撮像画素に対して行うことで、フリッカーの影響が低減された画像信号を生成する。なお、撮像装置の第３の動作は、図４に示すフローチャートと同様な処理を行い、ステップＳＴ１では、上述のように撮像装置は撮像画素と光強度検出画素の露光期間をライン単位で設定する。さらに、第３の動作では、第１光強度検出画素と第２光強度検出画素の露光開始タイミングを図９に示すように設定してステップＳＴ２に進む。また、ステップＳＴ３では、フリッカー補正対象の撮像画素の露光開始タイミングと等しいタイミングで露光が開始された第１光強度検出画素のラインまたは第２光強度検出画素のラインの画素信号を用いてフリッカー補正ゲインを算出すればよい。

このように、撮像装置の制御部は、撮像画面内に撮像画素と複数種類の光強度検出画素をライン単位で設けて、撮像画素の露光期間はシャッター速度に応じた期間として、複数種類の光強度検出画素の露光期間はフリッカー周期期間とする。また、補正ゲイン算出部は、フリッカー補正対象の撮像画素を基準とした所定の画素範囲内の撮像画素と、フリッカー補正対象の撮像画素と露光開始タイミングが等しい光強度検出画素を用いてフリッカー補正ゲインを算出する。さらに、フリッカー補正部は、算出されたフリッカー補正ゲインでフリッカー補正対象の撮像画素のゲイン調整を行う。したがって、撮像画のフレーム周波数がフリッカー周波数よりも高い周波数である場合でも、照明装置と被写体との位置関係にかかわらず照明光の強度の変動の影響が低減されている撮像画を、簡単な構成で得られるようになる。

＜１－５．撮像装置の第４の動作＞
ところで、第１乃至第３の動作では、撮像画素と光強度検出画素の露光開始タイミングを一致させた場合を例示した。ここで、撮像画素と光強度検出画素の露光期間は、シャッター速度に応じた露光期間とフリッカー周期期間の露光期間であればよく、露光開始タイミングを一致させる場合に限られない。例えば露光終了または露光期間の中央を一致させてもよい。次に、第４の動作では、シャッター速度に応じた露光期間の中央とフリッカー周期期間である露光期間の中央のタイミングを一致させた場合について説明する。なお、撮像部の画素配置は、図９に示す第３の動作の場合と等しい配置として説明を行う。

図１１は、第４の動作を説明するための図である。図１１の（ａ）は照明光の強度変化を示している。また、図１１の（ｂ）はラインＬｍ－３の撮像画素の露光期間、図１１の（ｃ）はラインＬｍ－２の第１光強度検出画素の露光期間、図１１の（ｄ）はラインＬｍ－１のる第２光強度検出画素の露光期間を示している。また、図１１の（ｅ）はラインＬｍの撮像画素の露光期間、図１１の（ｆ）はラインＬｍ＋１の第１光強度検出画素の露光期間、図１１の（ｇ）はラインＬｍ＋２の第２光強度検出画素の露光期間を示している。なお、撮像部２１において、各画素のアドレスを指定して個々の画素信号を読み出すＸＹアドレス方式が用いられている場合、露光タイミングがライン毎に順次ずれを生じている。

制御部４５は、撮像画素の露光期間をシャッター速度に応じた期間として、光強度検出画素の露光期間をユーザが指定したフリッカー周波数の周期期間として撮像部２１を動作させる。また、制御部４５は、撮像画素の露光期間の中央と第１光強度検出画素の露光期間の中央を同一タイミングとする。また、制御部４５は、撮像画素の次フレームの露光期間の中央と第２光強度検出画素の露光期間の中央を同一タイミングとする。さらに、制御部４５は、撮像画素の次フレームの露光期間の中央と第１光強度検出画素の露光期間の中央を同一タイミングとする。以下同様に、第１光強度検出画素と第２光強度検出画素の露光期間を、撮像画のフレーム毎に切り替える。

図１１は、シャッター速度＝１／４００秒、フリッカー周波数＝１００Ｈｚ（１／１００秒）の場合を示している。また、撮像画のフレーム周波数は、フリッカー周波数よりも高い周波数例えば１３３Ｈｚに設定されている。

このように、シャッター速度に応じた露光期間における中央とフリッカー周期期間である露光期間における中央のタイミングを一致させることで、撮像画素と光強度検出画素の露光期間のずれを少なくできる。また、第４の動作では、第３の動作と同様な作用効果を得ることができる。

＜１－６．撮像装置の第５の動作＞
次に、撮像装置の第５の動作では、撮像画のフレーム周波数に応じて、撮像部の動作とフリッカー補正ゲインの算出動作を切り替える場合について説明する。第５の動作では、撮像画のフレーム周期とフリッカーの周期に基づき、光強度検出画素の画素群を１または複数設けて、撮像画のフレーム毎に光強度検出画素のいずれかの画素群でフリッカー周期期間である露光期間の画素信号を得るようにする。なお、説明を容易とするため、撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬの４倍を超えないとする。また、光強度検出画素は水平方向または垂直方向のいずれの方向に設けられてもよい。

図１２は、第５の動作を示すフローチャートである。ステップＳＴ１１で撮像装置は露光期間とフレーム周波数を設定する。撮像装置１０の制御部４５は、撮像画素の露光期間をシャッター速度に対応する露光期間に設定する。また、制御部４５は光強度検出画素の露光期間をユーザ等が設定したフリッカー周波数の１周期期間に設定する。さらに、制御部４５は撮像画のフレーム周波数ＦＶをユーザ等が設定したフレームレートに対応する周波数に設定してステップＳＴ１２に進む。

ステップＳＴ１２で撮像装置は撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬを超えるか判別する。制御部４５はフレーム周波数ＦＶとフリッカー周波数ＦＬを比較して、撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬを超えていない場合ステップＳＴ１３に進む、また制御部４５は、撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬを超えている場合ステップＳＴ１４に進む。

ステップＳＴ１３で撮像装置は第１補正モードでフリッカー補正を行う。撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬを超えていない場合は、上述の第１の動作と同様にフリッカー補正を行う。具体的には図４のステップＳＴ２からステップＳＴ８の処理を行い、ステップＳＴ２において、制御部４５は第１の動作で説明したように１種類の光強度検出画素を設けて、撮像画素でシャッター速度に応じた露光期間の画素信号と光強度検出画素でフリッカー周期期間である露光期間の画素信号を生成するように撮像部２１を動作させる。また、第１補正モードにおいて、画像信号処理部３０は、光強度検出画素群の画素信号を用いて線形補間を行い所定の画素範囲内における撮像画素群と空間位相が等しい光強度検出画素群の画素信号を生成して、撮像画素群の画素信号と撮像画素群と空間位相が等しい光強度検出画素群の画素信号に基づいてフリッカー補正ゲインを算出する。さらに、画像信号処理部３０は、算出したフリッカー補正ゲインを用いてフリッカー補正対象の撮像画素の画素信号を補正する。なお、図１３は画素配置を例示しており、第１補正モードでは、図１３の（ａ）に示すように、垂直方向に撮像画素のラインと光強度検出画素のラインを設けて、フリッカー補正対象の撮像画素を基準として垂直方向が所定ラインで水平方向が所定画素数である所定の画素範囲の画素信号を用いてフリッカー補正ゲインを算出してもよい。

ステップＳＴ１２からステップＳＴ１４に進むと、ステップＳＴ１４で撮像装置は撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬの２倍を超えるか判別する。制御部４５は撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬの２倍を超えていない場合ステップＳＴ１５に進み、撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬの２倍を超えている場合ステップＳＴ１６に進む。

ステップＳＴ１５で撮像装置は第２補正モードでフリッカー補正を行う。撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬを超えており、フリッカー周波数ＦＬの２倍を超えていない場合、撮像装置は上述の第２の動作と同様にフリッカー補正を行う。具体的には図４のステップＳＴ２からステップＳＴ８の処理を行い、ステップＳＴ２において、制御部４５は第２の動作で説明したように２種類の光強度検出画素を設けて、撮像画素でシャッター速度に応じた露光期間の画素信号と光強度検出画素でフリッカー周期期間である露光期間の画素信号を生成するように撮像部２１を動作させる。第２補正モードにおいて、画像信号処理部３０は、フリッカー周期期間である露光期間の画素信号が得られた光強度検出画素群の画素信号を用いて線形補間を行い所定の画素範囲内における撮像画素群と空間位相が等しい光強度検出画素群の画素信号を生成して、撮像画素群の画素信号と撮像画素群と空間位相が等しい光強度検出画素群の画素信号に基づいてフリッカー補正ゲインを算出する。さらに、画像信号処理部３０は、算出したフリッカー補正ゲインを用いてフリッカー補正対象の撮像画素の画素信号を補正する。なお、第２補正モードの補正動作では、図１３の（ｂ）に示すように垂直方向に撮像画素のラインと２種類の光強度検出画素をライン単位で設けて、フリッカー補正対象の撮像画素を基準として垂直方向が所定ラインで水平方向が所定画素数である所定の画素範囲の画素信号を用いてフリッカー補正ゲインを算出してもよい。

ステップＳＴ１６で、撮像装置は第３補正モードでフリッカー補正を行う。撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬの２倍を超えている場合、４種類の光強度検出画素を設けてフリッカー補正を行う。具体的には図４のステップＳＴ２からステップＳＴ８の処理を行い、ステップＳＴ２において、制御部４５は４種類の光強度検出画素を設けて、撮像画素でシャッター速度に応じた露光期間の画素信号と光強度検出画素でフリッカー周期期間である露光期間の画素信号を生成するように撮像部２１を動作させる。第３補正モードにおいて、画像信号処理部３０は、フリッカー周期期間である露光期間の画素信号が得られた光強度検出画素群の画素信号を用いて線形補間を行い所定の画素範囲内における撮像画素群と空間位相が等しい光強度検出画素群の画素信号を生成して、撮像画素群の画素信号と撮像画素群と空間位相が等しい光強度検出画素群の画素信号に基づいてフリッカー補正ゲインを算出する。さらに、画像信号処理部３０は、算出したフリッカー補正ゲインを用いてフリッカー補正対象の撮像画素の画素信号を補正する。なお、第３補正モードの補正動作では、図１３の（ｃ）に示すように垂直方向に撮像画素のラインと４種類の光強度検出画素をライン単位で設けて、フリッカー補正対象の撮像画素を基準として垂直方向が所定ラインで水平方向が所定画素数である所定の画素範囲の画素信号を用いてフリッカー補正ゲインを算出してもよい。

また、フローチャートには示していないが、撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬの４倍を超えて８倍を超えない場合は８種類の光強度検出画素を設ければよい。また、撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬの８倍を超えて１６倍を超えない場合は１６種類の光強度検出画素を設ければよい。すなわち、撮像画のフレーム周波数とフリッカー周波数の関係に応じて、撮像画の１フレームに対してフリッカー周期期間を露光期間とした画素信号が得られるように光強度検出画素を設ける。

このように、撮像装置の制御部は、撮像画のフレーム周波数とフリッカー周波数に応じて、撮像部の動作とフリッカー補正ゲインの算出動作を切り替えるようにすれば、種々のフレーム周波数に対応させてフリッカー補正を自動的に行うことができるようになる。

＜２．第２の実施の形態＞
次に第２の実施の形態では、カラー撮像画のフリッカー補正について説明する。

＜２－１．撮像装置の構成＞
図１４は、本技術の第２の実施の形態における撮像装置の構成を例示している。なお、図１に示す第１の実施の形態と対応する部分については同一符号を付している。

撮像装置１０ａは、撮像部２１ａと画像信号処理部３０ａとユーザインタフェース（Ｉ／Ｆ）部４１および制御部４５を有している。また、撮像装置１０ａは、周辺部５０として記録部５１、信号出力部５２、表示部５３等が設けられてもよい。

撮像部２１ａは、カラー撮像画を取得できるように色成分画素を用いて構成されている。例えば撮像部２１ａは赤色と青色と緑色の色成分画素がベイヤー（Bayer）配列で設けられており、後述するように色成分画素の画素ブロックを撮像画素または光強度検出画素の画素単位として用いる。撮像画素は、撮像画を取得するための画素であり、露光期間をシャッター速度に応じた期間として、露光期間の露光量に応じた画素信号を生成する。光強度検出画素は、照明光の強度を検出するための画素であり、露光期間をフリッカー周期期間として、露光期間の露光量に応じた画素信号を生成する。撮像部２１ａは、撮像画素と光強度画素で生成された画素信号を画像信号処理部３０ａへ出力する。

画像信号処理部３０ａは、輝度算出部３１、補正ゲイン算出部３２、フリッカー補正部３３を有している。また、画像信号処理部３０ａにカラー画像信号生成部３４を設けてもよい。

輝度算出部３１は、撮像部２１ａで生成された画素信号から撮像画素と光強度検出画素の輝度値をそれぞれ算出する。輝度算出部３１は、撮像画素または光強度検出画素の画素値として輝度値を用いて、輝度値の算出に用いた色成分画素の画素ブロックを撮像画素または光強度検出画素の画素対応ブロックとする。すなわち、輝度算出部３１は、画素対応ブロックの色成分画素を用いて撮像画素または光強度検出画素の輝度値を算出する。

補正ゲイン算出部３２は、輝度算出部３１で算出された輝度値を用いて、撮像画素の輝度値の算出に用いた色成分画素に対するフリッカー補正ゲインを算出する。具体的には、補正ゲイン算出部３２は、フリッカー補正対象の撮像画素を基準とした所定の画素範囲内の撮像画素の画素信号と光強度検出画素の画素信号を用いて、撮像画素と空間位相が等しい光強度検出画素の画素信号を生成する。また、補正ゲイン算出部３２は、撮像画素と空間位相が等しい光強度検出画素の画素信号と撮像画素の画素信号の信号レベル比をフリッカー補正ゲインとする。補正ゲイン算出部３２は、算出したフリッカー補正ゲインをフリッカー補正部３３へ出力する。

フリッカー補正部３３は、補正ゲイン算出部３２で算出されたフリッカー補正ゲインで、フリッカー補正対象の撮像画素に対応する画素ブロック内の色成分画素に対するゲイン調整を行い、フリッカーの補正が行われた画像信号を生成する。フリッカー補正部３３は、フリッカーの補正が行われた画素信号をカラー画像信号生成部３４や記録部５１、信号出力部５２へ出力する。

カラー画像信号生成部３４は、フリッカーの補正が行われた画素信号を用いてデモザイク処理等を行い、カラー撮像画の画像信号を生成して、記録部５１、信号出力部５２、表示部５３等へ出力する。

ユーザインタフェース部４１は操作スイッチや操作ボタン等を用いて構成されている。ユーザインタフェース部４１は、ユーザ操作に応じた操作信号を生成して制御部４５へ出力する。ユーザインタフェース部４１では、フリッカー周波数（または照明の商用電源周波数）のユーザ指定操作が可能とされている。

制御部４５は、例えば制御プログラムを記憶するＲＯＭや一時的にデータを記憶するフラッシュメモリ等の記憶部が内蔵されたマイクロコンピュータを用いて構成されている。制御部４５は、制御プログラムを実行して、ユーザインタフェース部４１からの操作信号に基づき、ユーが所望する動作を撮像装置１０ａで行うように各部の動作を制御する。また、制御部４５は、ユーザ操作によって指定されたフリッカー周波数に対応するフリッカー補正が行われた画像信号を生成できるように、撮像部２１ａと画像信号処理部３０ａおよび周辺部５０の動作を制御する。また、制御部４５は、撮像部２１ａの画素を撮像画素または光強度検出画素に設定する。さらに、制御部４５は、撮像画素と光強度検出画素の露光タイミングと露光期間を個々に設定する。

記録部５１は、画像信号処理部３０ａで生成されたフリッカー補正後の画素信号やカラー撮像画の画像信号を記録媒体に記録する。また、記録部５１は、記録媒体に記録されている画像信号を読み出して表示部５３へ出力する。さらに、記録部５１は、フリッカー補正後の画像信号の符号化処理を行い、符号化信号を生成して記録媒体に記録してもよく、記録媒体から読み出した符号化信号の復号処理によって得られた画像信号を表示部５３へ出力してもよい。

信号出力部５２は、画像信号処理部３０ａで生成されたフリッカー補正後の画素信号またはカラー撮像画の画像信号を所定のフォーマットとして外部機器へ出力する。また、信号出力部５２は、カラー撮像画の画像信号の符号化処理を行い、符号化信号を外部機器へ出力してもよい。

表示部５３は、画像信号処理部３０ａで生成されたカラー撮像画の画像信号、または記録部５１から読み出された画像信号に基づきカラー撮像画を表示する。また、表示部５３は、制御部４５からの制御信号に基づいてメニュー画面等の表示を行う。

＜２－２．撮像装置の動作＞
次に撮像装置の動作について説明する。図１５は、撮像画のフレーム周波数がフリッカー周波数よりも低い場合の撮像画素と光強度検出画素の配置を例示している。撮像部２１ａの撮像面内には、色成分画素がベイヤー配列で設けられている。具体的には、２×２画素を１または２つの画素ブロックとして、ブロック内の画素を赤色成分画素Ｒと青色成分画素Ｂおよび２つの緑色成分単位Ｇｒ，Ｇｂで構成して、赤色成分画素Ｒと青色成分画素Ｂが斜め方向に配されている。また、制御部４５は、各色成分画素を含む２×２画素の画素ブロックを撮像画素または光強度検出画素の画素単位とする。また、制御部４５は、１画素×２画素（または２画素×１画素）の画素ブロックを２つ用いることで各色成分画素を含むようになる４画素の画素ブロックを撮像画素または光強度検出画素の画素単位としてもよい。

制御部４５は、撮像画のフレーム周波数がフリッカー周波数よりも低い場合、第１の実施の形態の例えば第１の動作と同様に撮像画素と光強度検出画素を水平方向に交互に設ける。この場合、撮像部２１ａでは画素単位で露光時間の設定が可能とされている。

制御部４５は、各色成分画素を含む画素ブロックを画素単位として撮像画素と光強度検出画素を撮像部２１ａに設ける。図１５の（ａ）は、２×２画素を撮像画素または光強度検出画素に対応する画素ブロックとして、制御部４５は撮像画素と光強度検出画素を水平方向に交互に設けた場合を例示している。図１５の（ｂ）は、１画素（水平方向）×２画素（垂直方向）を撮像画素または光強度検出画素に対応する画素ブロックとして、撮像画素を水平方向に３画素毎に設けて、光強度検出画素を撮像画素と水平方向に隣接して設けることで、撮像画素と光強度検出画素を水平方向に交互に設けた場合を例示している。

図１６は、撮像画のフレーム周波数がフリッカー周波数よりも高くフリッカー周波数の２倍よりも低い場合の撮像画素と光強度検出画素の配置を例示している。撮像部２１ａの撮像面内には、色成分画素がベイヤー配列で設けられている。具体的には、２×２画素を１または２つの画素ブロックとして、画素ブロック内の画素を赤色成分画素Ｒと青色成分画素Ｂおよび２つの緑色成分単位Ｇｒ，Ｇｂで構成して、赤色成分画素Ｒと青色成分画素Ｂが斜め方向に配されている。

制御部４５は、撮像画のフレーム周波数がフリッカー周波数よりも高くフリッカー周波数の２倍よりも低い場合、第１の実施の形態の例えば第２の動作と同様に撮像画素と２画素の光強度検出画素を水平方向に交互に設ける。

制御部４５は、各色成分画素を含む画素ブロックを画素単位として撮像画素と光強度検出画素を撮像部２１ａに設ける。図１６の（ａ）は、２×２画素を撮像画素または光強度検出画素に対応する画素ブロックとして、撮像画素と２つの光強度検出画素を水平方向に交互に設けた場合を例示している。図１６の（ｂ）は、１画素（水平方向）×２画素（垂直方向）を撮像画素または光強度検出画素に対応する画素ブロックとして、撮像画素を水平方向に３画素毎に設けて、２つの基準補正画素を撮像画素間に設けることで、撮像画素と２つの光強度検出画素を水平方向に交互に設けた場合を例示している。

図１７は、撮像画のフレーム周波数がフリッカー周波数よりも高くフリッカー周波数の２倍よりも低い場合の撮像画素と光強度検出画素の他の配置を例示している。撮像部２１ａの撮像面内には、色成分画素がベイヤー配列で設けられている。具体的には、２×２画素を１または２つの画素ブロックとして、ブロック内の画素を赤色成分画素Ｒと青色成分画素Ｂおよび２つの緑色成分単位Ｇｒ，Ｇｂで構成して、赤色成分画素Ｒと青色成分画素Ｂが斜め方向に配されている。

制御部４５は、撮像画のフレーム周波数がフリッカー周波数よりも高くフリッカー周波数の２倍よりも低い場合、第１の実施の形態の例えば第３の動作と同様に撮像画素と２画素の光強度検出画素を垂直方向に交互に設ける。

制御部４５は、各色成分画素を含む画素ブロックを画素単位として撮像画素と光強度検出画素を撮像部２１ａに設ける。図１７の（ａ）は、２×２画素を撮像画素または光強度検出画素として、撮像画素と２つの光強度検出画素を垂直方向に交互に設けた場合を例示している。図１７の（ｂ）は、２画素（水平方向）×１画素（垂直方向）を撮像画素または光強度検出画素として、撮像画素を垂直方向に３画素毎に設けて、２つの基準補正画素を撮像画素間に設けることで、撮像画素と２つの光強度検出画素を垂直方向に交互に設けた場合を例示している。

次に、第２の実施の形態のフリッカー補正ゲインの算出動作について、例えば２×２画素のブロックを撮像画素または光強度検出画素の画素単位とした場合のフリッカー補正ゲインの算出動作について図１８を用いて説明する。

図１８は、第２の実施の形態のフリッカー補正ゲインの算出動作を説明するための図である。輝度算出部３１は、図１８の（ａ）に示すように、第１光強度検出画素であるラインＬj-2における２×２画素の画素ブロックの画素値から輝度値Ｙａ(j-2,x)を算出する。同様に、輝度算出部３１は、第２光強度検出画素であるラインＬj-1における２×２画素の画素ブロックの画素値から輝度値Ｙａ(j-1,x)を算出する。また、輝度算出部３１は、撮像画素であるラインＬjにおける２×２画素の画素ブロックの画素値から輝度値Ｙｒ(j,x)を算出する。同様に、輝度算出部３１は、他の２×２画素の画素ブロックの画素値から輝度値を算出する。

補正ゲイン算出部３２は、輝度算出部３１で２×２画素の画素ブロック毎に算出された輝度値を用いて、補正対象のブロックに対するフリッカー補正ゲインを算出する。図１８の（ｂ）は、輝度算出部３１で算出された輝度値を示している。輝度算出部３１では、２×２画素の画素ブロック単位で輝度値が算出されている。例えば、補正対象の撮像画素に対応する画素ブロックの輝度値Ｙｒ(j,k)に対して、図１８の（ｂ）に示すように水平方向が３画素で垂直方向が５画素の輝度値が算出されており、上述の第３の動作で説明した図１０の画素値と同様な配置となる。したがって、補正ゲイン算出部３２は第３の動作と同様に、輝度値を用いてフリッカー補正ゲインを算出する。

フリッカー補正部３３は、補正ゲイン算出部で算出されたフリッカー補正ゲインを用いて、補正対象の撮像画素に対する画素ブロックの色成分画素の画素信号を補正する。例えば補正対象の撮像画素に対する画素ブロックの赤色画素を画素値Ｒ、緑色画素を画素値Ｇr，Ｇb、青色画素を画素値Ｂ、フリッカー補正ゲインをＨＧとした場合、式（２３）乃至式（２６）の演算を行い、フリッカー補正後の画素値Ｒc，Ｇcr，Ｇcb，Ｂcを算出する。
Ｒc ＝ Ｒ × ＨＧ ・・・（２３）
Ｇcr ＝ Ｇr × ＨＧ ・・・（２４）
Ｇcb ＝ Ｇb × ＨＧ ・・・（２５）
Ｂc ＝ Ｂ × ＨＧ ・・・（２６）

次に、第２の実施の形態のフリッカー補正ゲインの他の算出動作について、例えば２×１画素を画素ブロックとして２つの画素ブロックを撮像画素または光強度検出画素の画素単位とする場合のフリッカー補正ゲインの算出動作について図１９を用いて説明する。

図１９は、第２の実施の形態のフリッカー補正ゲインの他の算出動作を説明するための図である。輝度算出部３１は、図１９の（ａ）に示すように、第１光強度検出画素であるラインＬj-2rとラインＬj-2bにおける２×１画素の２つの画素ブロックの画素信号から輝度値Ｙａ(j-2,x)を算出する。同様に、輝度算出部３１は、第２光強度検出画素であるラインＬj-1bとラインＬj-1rにおける２×１画素の２つの画素ブロックの画素信号から輝度値Ｙａ(j-1,x)を算出する。また、輝度算出部３１は、撮像画素であるラインＬjrとラインＬjbにおける２×１画素の２つの画素ブロックの画素信号から輝度値Ｙｒ(j,x)を算出する。また、輝度算出部３１は、他の２×１画素の２つの画素ブロックの画素信号から輝度値を算出する。

補正ゲイン算出部３２は、輝度算出部３１で２×１画素の画素ブロックを２つ用いて算出された輝度値を用いて、補正対象のブロックに対するフリッカー補正ゲインを算出する。図１９の（ｂ）は、輝度算出部３１で算出された輝度値を示している。輝度算出部３１では、２×１画素の画素ブロックを２つ用いて輝度値が算出されている。例えば、補正対象の撮像画素に対応する画素ブロックの輝度値Ｙｒ(j,k)に対して、図１９の（ｂ）に示すように水平方向が３画素で垂直方向が５画素の輝度値が算出されており、上述の第３の動作で説明した図１０の画素値と同様な配置となる。したがって、補正ゲイン算出部３２は第３の動作と同様に、輝度値を用いてフリッカー補正ゲインを算出する。

フリッカー補正部３３は、補正ゲイン算出部で算出されたフリッカー補正ゲインを用いて、補正対象の撮像画素に対する画素ブロックの色成分画素の画素信号を補正する。例えば補正対象の撮像画素に対する画素ブロックの赤色画素を画素値Ｒ、緑色画素を画素値Ｇr，Ｇb、青色画素を画素値Ｂとした場合、式（２３）乃至式（２６）の演算を行い、フリッカー補正後の画素値Ｒc，Ｇcr，Ｇcb，Ｂcを算出する。

図２０は、第２の実施の形態の撮像装置の動作を例示したフローチャートである。ステップＳＴ２１で撮像装置は露光期間とフレーム周波数を設定する。撮像装置１０ａの制御部４５は、撮像画素の露光期間を設定されているシャッター速度に対応する期間に設定する。また、制御部４５は、光強度検出画素の露光期間をフリッカー周期期間に設定する。さらに、制御部４５は撮像画のフレーム周波数ＦＶをユーザ等が設定したフレームレートに応じて設定してステップＳＴ２２に進む。

ステップＳＴ２２で撮像装置は撮像画素と光強度検出画素を配置する。撮像装置１０ａの制御部４５は、撮像部２１ａの撮像面内に上述のように撮像画素と光強度検出画素を設定して、撮像画素と光強度検出画素の露光期間をステップＳＴ２１で設定した露光期間として駆動制御を行いステップＳＴ２３に進む。

ステップＳＴ２３で撮像装置は輝度値を算出する。撮像装置１０ａの輝度算出部３１は、撮像画素に対応する色成分画素の画素ブロックの画素信号から輝度値を算出する。また、輝度算出部３１は、光強度検出画素に対応する色成分画素の画素ブロックの画素信号から輝度値を算出してステップＳＴ２４に進む。

ステップＳＴ２４で撮像装置はフリッカー補正対象の撮像画素のフリッカー補正ゲインを算出する。撮像装置１０ａの補正ゲイン算出部３２は、ステップＳＴ２３で算出された輝度値を用いて、フリッカー補正対象の撮像画素を基準とした所定の画素範囲内における撮像画素の輝度値と光強度検出画素の輝度値を用いて、上述のようにフリッカー補正ゲインを算出してステップＳＴ２５に進む。

ステップＳＴ２５で撮像装置はフリッカー補正対象の撮像画素のフリッカー補正を行う。撮像装置１０ａのフリッカー補正部３３は、ステップＳＴ２４で算出されたフリッカー補正ゲインを用いてフリッカー補正対象の撮像画素に対応する画素ブロックの色成分画素に対してゲイン調整を行い、フリッカーの影響を補正した画素信号を生成してステップＳＴ２６に進む。

ステップＳＴ２６で撮像装置は画面内の各撮像画素のフリッカー補正が完了したか判別する。撮像装置１０ａの画像信号処理部３０ａは、画面内の各撮像画素のフリッカー補正が完了していない場合ステップＳＴ２７に進み、画面内の各撮像画素のフリッカー補正が完了した場合ステップＳＴ２８に進む。

ステップＳＴ２７で撮像装置はフリッカー補正対象の撮像画素を更新する。撮像装置１０ａの画像信号処理部３０ａは、撮像画素のフリッカー補正が行われていない撮像画素を新たなフリッカー補正対象の撮像画素に設定してステップＳＴ２４に戻る。

ステップＳＴ２８で撮像装置は撮像画の終了であるか判別する。撮像装置１０ａの制御部４５は、フリッカー補正を行う撮像画が終了していない場合ステップＳＴ２９に進み、フリッカー補正を行う撮像画が終了した場合例えば撮像の終了操作が行われた場合フリッカー補正動作を終了する。

ステップＳＴ２９で撮像装置は新たな撮像画にフリッカー補正対象の撮像画素を設定する。撮像装置１０ａの画像信号処理部３０ａは、新たなフレームの撮像画にフリッカー補正対象の撮像画素を設定してステップＳＴ２４に戻る。

このように、撮像装置は、撮像画面内に色成分画素を設けて、制御部は各色成分画素を含む画素ブロックと撮像画素と光強度検出画素の対応付けをを行う。また、制御部は、撮像画素の露光期間はシャッター速度に応じた期間として、光強度検出画素の露光期間はフリッカー周期期間とする。また、補正ゲイン算出部は、フリッカー補正対象の撮像画素を基準とした所定の画素範囲内の撮像画素と光強度検出画素を用いてフリッカー補正ゲインを算出する。フリッカー補正部は、算出されたフリッカー補正ゲインでフリッカー補正対象の撮像画素に対応する画素ブロックの色成分画素に対してゲイン調整を行う。したがって、照明装置と被写体との位置関係にかかわらず照明光の強度の変動の影響が低減されているカラー撮像画を得られるようになる。

＜３．第３の実施の形態＞
ところで、上述の第１および第２の実施の形態では、フリッカー周波数（またはフリッカー周期）がユーザ等によって予め設定されている場合について説明が、フリッカー周波数は、撮像部２１（２１ａ）で生成された画素信号に基づき自動的に判別してもよい。

図２１は、フリッカー周波数を自動検出する場合の撮像装置の構成を例示している。撮像装置１０ｂは、撮像部２１（２１ａ）、画像信号処理部３０（３０ａ）、ユーザインタフェース部４１、フリッカー検出部４３、制御部４５、周辺部５０を有している。なお、図２１において、第１および第２の実施の形態の撮像装置と対応する部分については同一符号を付している。

撮像部２１（２１ａ）では、撮像画素と光強度検出画素が設けられており、撮像画素と光強度検出画素で生成した画素信号をフリッカー検出部４３へ出力する。

フリッカー検出部４３は、制御部４５からの制御信号に基づき、フリッカー検出第１画素とフリッカー検出第２画素を設定する。図２２は、フリッカー検出第１画素とフリッカー検出第２画素を例示している。図２２の（ａ）は、上述の第１の実施の形態における第１の動作と同様に、撮像画素と光強度検出画素が水平方向に１画素単位で交互に設けられている場合を示している。この場合、撮像画素をフリッカー検出第１画素として光強度検出画素をフリッカー検出第２画素とする。図２２の（ｂ）は、上述の第１の実施の形態における第２の動作と同様に、撮像画素と２画素の光強度検出画素が水平方向に交互に設けられている場合を示している。この場合、第１光強度検出画素をフリッカー検出第１画素として第２光強度検出画素をフリッカー検出第２画素とする。図２２の（ｃ）は、上述の第１の実施の形態における第３の動作と同様に、撮像画素のラインと２ラインの光強度検出画素が垂直方向に交互に設けられている場合を示している。この場合、第１光強度検出画素をフリッカー検出第１画素として第２光強度検出画素をフリッカー検出第２画素とする。なお、上述の第２の実施の形態のように撮像部が色成分画素を用いて構成されている場合も同様に、撮像画素や光強度検出画素をフリッカー検出第１画素とフリッカー検出第２画素に設定する。

制御部４５は、補正ゲイン算出部３２で撮像画素毎にフリッカー補正ゲインを算出して、撮像画素毎にフリッカー補正ゲインを用いてフリッカー補正部３３で撮像画素のフリッカー補正を行う前に、フリッカー検出を行うようにする。また、制御部４５は、フリッカーの有無やフリッカー周波数等を示すフリッカー情報が取得されていない場合にフリッカー検出を行うようにしてもよい。

制御部４５は、フリッカー検出を行う場合、例えばフリッカー検出第１画素の露光期間を商用電源周波数が５０Ｈｚであるときのフリッカー周期である（１／１００）秒、フリッカー検出第２画素の露光期間を商用電源周波数が６０Ｈｚであるときのフリッカー周期である（１／１２０）秒とする。さらに、制御部４５は、フリッカー検出部４３で検出された照明光の強度変化の周期を、光強度検出画素の露光期間に設定する。

フリッカー検出部４３は、フリッカー検出第１画素のフレーム単位の信号レベル変化とフリッカー検出第２画素のフレーム単位の信号レベル変化に基づきフリッカー検出を行う。

照明装置の照明光の強度が商用電源周波数に応じた変化を生じていない場合、フリッカー検出第１画素とフリッカー検出第２画素ではいずれもフレーム単位の信号レベル変化を生じない。また、フリッカー検出第１画素とフリッカー検出第２画素が近接している場合、フリッカー検出第１画素とフリッカー検出第２画素の信号レベル比は露光期間の比率と等しくなる。また、照明装置の照明光の強度が商用電源周波数に応じた変化を生じている場合でも、露光開始タイミングまたは露光終了タイミングが各フレームで照明光の強度変化と同期している場合、フリッカー検出第１画素とフリッカー検出第２画素ではいずれもフレーム単位の信号レベル変化を生じない。

そこで、フリッカー検出部４３は、フリッカー検出第１画素でフレーム単位の信号レベル変化を生じておらず、フリッカー検出第２画素でフレーム単位の信号レベル変化を生じている場合、フリッカー周波数が１００Ｈｚであるフリッカーを生じているとのフリッカー検出結果を制御部４５へ出力する。

また、フリッカー検出部４３は、フリッカー検出第１画素でフレーム単位の信号レベル変化を生じており、フリッカー検出第２画素でフレーム単位の信号レベル変化を生じていない場合、フリッカー周波数が１２０Ｈｚであるフリッカーを生じているとのフリッカー検出結果を制御部４５へ出力する。

さらに、フリッカー検出第１画素とフリッカー検出第２画素のいずれでもフレーム単位の信号レベル変化を生じておらず、フリッカー検出第１画素とフリッカー検出第２画素の信号レベル比が露光期間の比率とほぼ等しい場合にフリッカーが生じていないとのフリッカー検出結果を制御部４５へ出力する。

なお、制御部４５は、フリッカー検出第１画素とフリッカー検出第２画素の露光開始タイミングと露光終了タイミングを異なるタイミングに制御してもよい。この場合、フリッカー検出部４３は、フリッカー検出第１画素の中で例えば露光開始タイミングをライン毎にずらして露光を所定期間行い、フリッカー検出第２画素においてもフリッカー検出第１画素に対応させて露光を異なるタイミングで所定期間行う。ここで、フリッカー検出第１画素とフリッカー検出第２画素の同じライン位置の信号レベルの差がライン位置の違いによって変化を生じている場合、フリッカーを生じているとのフリッカー検出結果を制御部４５へ出力する。また、フリッカー検出第１画素とフリッカー検出第２画素の同じライン位置の信号レベルの差がライン位置の違いかかわらす変化を生じていない場合、フリッカーを生じていないとのフリッカー検出結果を制御部４５へ出力する。したがって、フリッカー検出第１画素とフリッカー検出第２画素で共に露光開始タイミングまたは露光終了タイミングが各フレームで照明光の強度の変化と同期することにより、フリッカー検出第１画素とフリッカー検出第２画素のいずれでもフレーム単位の信号レベル変化が生じなくなってしまうことを防止できる。

図２３は、第３の実施の形態の動作を例示したフローチャートである。なお、図２３におけるステップＳＴ３５乃至ステップＳＴ４０の動作は、図１２に示す第５の動作のフローチャートにおけるステップＳＴ１１乃至ステップＳＴ１６の処理に相当する。

ステップＳＴ３１で撮像装置はフリッカー情報を取得済みであるか判別する。撮像装置１０ｂの制御部４５は、フリッカーの有無やフリッカー周波数等を示すフリッカー情報が取得されている場合、例えばユーザ等によってフリッカー周波数等が設定されている場合ステップＳＴ３３に進む。また、制御部４５は、フリッカー情報が取得されていない場合ステップＳＴ３２に進む。

ステップＳＴ３２で撮像装置はフリッカー検出処理を行う。撮像装置１０ｂの制御部４５は、フリッカー検出第１画素とフリッカー検出第２画素を設定する。また、制御部４５は、フリッカー検出第１画素とフリッカー検出第２画素の露光期間を設定する。フリッカー検出部４３は、フリッカー検出第１画素のフレーム単位の信号レベル変化とフリッカー検出第２画素のフレーム単位の信号レベル変化に基づきフリッカーの有無およびフリッカー周波数を検出してステップＳＴ３３に進む。

ステップＳＴ３３で撮像装置はフリッカーがあるか判別する。撮像装置１０ｂの制御部４５は、フリッカー情報でフリッカーがあることが示されている場合、またはステップＳＴ３２のフリッカー検出処理でフリッカーが検出された場合ステップＳＴ３５に進む。また、制御部４５は、フリッカー情報でフリッカーがないことが示されており、ステップＳＴ３２のフリッカー検出処理でフリッカーが検出されていない場合ステップＳＴ３４に進む。

ステップＳＴ３４で撮像装置は通常動作を行う。撮像装置１０ｂはフリッカーが検出されていないことからフリッカー補正を行うことなく撮像画の記録や出力等を行う。

ステップＳＴ３５で撮像装置は露光期間とフレーム周波数を設定する。撮像装置１０ｂの制御部４５は、撮像画素の露光期間をシャッター速度に対応する露光期間に設定する。また、制御部４５は光強度検出画素の露光期間を、フリッカー情報で示されたフリッカー周波数の周期期間またはステップＳＴ３２で検出されたフリッカーの周期期間に設定する。さらに、制御部４５は撮像画のフレーム周波数ＦＶをユーザ等が設定したフレームレートに対応する周波数に設定してステップＳＴ３６に進む。

ステップＳＴ３６で撮像装置は撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬを超えるか判別する。制御部４５は、ユーザ等によって設定された撮像画のフレーム周波数ＦＶとフリッカー情報で示されたまたはフリッカー検出によって検出されたフリッカー周波数ＦＬを比較する。制御部４５は、撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬを超えていない場合ステップＳＴ３７に進む。また、制御部４５は、撮像画のフレーム周波数ＦＬがフリッカー周波数ＦＬを超えている場合ステップＳＴ３８に進む。

ステップＳＴ３７で撮像装置は第１補正モードでフリッカー補正を行う。撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬを超えていない場合は上述の第１の動作と同様にフリッカー補正を行う。すなわち、制御部４５は第１の動作で説明したように１種類の光強度検出画素を設けて、撮像画素でシャッター速度に応じた露光期間の画素信号と光強度検出画素でフリッカー周期期間である露光期間の画素信号を生成するように撮像部を動作させる。第１補正モードにおいて、画像信号処理部は、光強度検出画素群の画素値を用いて線形補間を行い所定の画素範囲内における撮像画素群と空間位相が等しい光強度検出画素群の画素値を算出する。また画像信号処理部は、算出した画素値と所定画素範囲内の撮像画素群の画素値に基づいてフリッカー補正ゲインを算出する。さらに、画像信号処理部は、算出したフリッカー補正ゲインを用いてフリッカー補正対象の撮像画素の画素信号を補正する。

ステップＳＴ３６からステップＳＴ３８に進むと、ステップＳＴ３８で撮像装置は撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬの２倍を超えるか判別する。制御部４５はユーザ等によって設定された撮像画のフレーム周波数ＦＶとフリッカー周波数ＦＬを比較する。制御部４５は、撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬの２倍を超えていない場合ステップＳＴ３９に進む。また、制御部４５は、撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬの２倍を超えている場合ステップＳＴ４０に進む。

ステップＳＴ３９で撮像装置は第２補正モードでフリッカー補正を行う。撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬを超えており、２倍の周波数を超えていない場合は上述の第２の動作と同様にフリッカー補正を行う。すなわち、制御部４５は第２の動作で説明したように２種類の光強度検出画素を設けて、撮像画素でシャッター速度に応じた露光期間の画素信号と光強度検出画素でフリッカー周期期間である露光期間の画素信号を生成するように撮像部を動作させる。第２補正モードにおいて、画像信号処理部は、フリッカー周期期間である露光期間の画素信号が得られた光強度検出画素群の画素値を用いて線形補間を行い所定の画素範囲内における撮像画素群と空間位相が等しい光強度検出画素群の画素値を算出して、算出した画素値と所定画素範囲内の撮像画素群の画素値に基づいてフリッカー補正ゲインを算出する。さらに、画像信号処理部は、算出したフリッカー補正ゲインを用いてフリッカー補正対象の撮像画素の画素信号を補正する。

ステップＳＴ４０で、撮像装置は第３補正モードでフリッカー補正を行う。撮像画のフレーム周波数ＦＶがフリッカー周波数ＦＬの２倍を超えており、４倍の周波数を超えていない場合、４種類の光強度検出画素を設けてフリッカー補正を行う。すなわち、制御部４５は４種類の光強度検出画素を設けて、撮像画素でシャッター速度に応じた露光期間の画素信号と光強度検出画素でフリッカー周期期間である露光期間の画素信号を生成するように撮像部を動作させる。第３補正モードにおいて、画像信号処理部は、フリッカー周期期間である露光期間の画素信号が得られた光強度検出画素群の画素値を用いて線形補間を行い所定の画素範囲内における撮像画素群の画素位置と空間移動が等しい画素値を算出する。また、画像信号処理部は、算出した画素値と所定画素範囲内の撮像画素群の画素値に基づいてフリッカー補正ゲインを算出する。さらに、画像信号処理部は、算出したフリッカー補正ゲインを用いてフリッカー補正対象の撮像画素の画素信号を補正する。

このように、第３の実施の形態では、フリッカー検出部でフリッカーの有無やフリッカー周波数が自動的に検出されるので、ユーザがユーザインタフェース部４１を用いて、照明環境に応じたフリッカー周波数等の指定操作が行われていない場合であってもフリッカー補正を正しく行うことができるようになる。

また、第３の実施の形態では、フリッカー情報が取得されていない場合にフリッカー検出を行う動作を説明したが、フリッカー情報の取得状態にかかわらずフリッカー検出を行うようにしてもよい。この場合、取得済みのフリッカー情報で示されたフリッカー周波数とフリッカー検出部４３で検出されたフリッカー周波数が異なるとき、周波数が相違することをユーザ等に通知する処理や例えば検出されたフリッカー周波数を優先して用いるようにする。このようにすれば、照明光の強度変化とは異なるフリッカー周波数でフリッカー補正が行われることを防止できる。

＜４．第４の実施の形態＞
ところで、上述の第１および第２の実施の形態では、撮像部の撮像面に撮像画素だけでなく光強度検出画素を設けている。また、上述したように撮像画のフレーム周波数が高くなるに伴い、多くの種類の光強度検出画素を設ける必要がある。このため、撮像画のフレーム周波数が高くなるに伴い、撮像画の空間解像度の低下を招くおそれがある。そこで、第４の実施の形態では撮像画の空間解像度の低下を抑制する場合について説明する。

図２４は、第４の実施の形態の動作例を示している。制御部４５は、撮像画素と光強度検出画素を設定する場合に、光強度検出画素を間引いて配置する。図２４の（ａ）は、４種類の光強度検出画素を間引かないで配置した場合、図２４の（ｂ）は、４種類の光強度検出画素に対して間引きを行って配置した場合を示している。４種類の光強度検出画素を間引かないで配置した場合、撮像画素のライン間には４種類の光強度検出画素のラインが設けられている。また、４種類の光強度検出画素を間引いて配置する場合、例えば撮像画素のライン間には２種類の光強度検出画素のラインを設けて、撮像画素のラインの上側と下側では光強度検出画素の種類が異なるようにする。このように、光強度検出画素を間引いて配置すれば撮像画のフレーム周波数が高くなっても撮像画素の減少を抑えることができるので撮像画の空間解像度の低下を抑制できる。

図２５は、フリッカー補正対象の撮像画素を基準とした所定の画素範囲を例示している。補正ゲイン算出部３２は、種類の等しい光強度検出画素のラインペアでその間に挟まれた２ラインの撮像画素のフリッカー補正ゲインを算出する。なお、図２５では、フリッカー補正対象の撮像画素の露光期間に対するフリッカー周期期間が第１光強度検出画素の露光期間であるとする。また、第１光強度検出画素のラインであるラインＬｍ－２とラインＬｍ＋４で挟まれた撮像画素であるラインＬｍとラインＬｍ＋３のｎ番目の画素Ｐ(m,n)，Ｐ(m+3,n)をフリッカー補正対象の撮像画素のライン位置としている。また、フリッカー補正対象の画素Ｐ(m,n)の画素値をｒ(m,n)、両サイドの撮像画素の画素値をｒ(m,n-1)，ｒ(m,n+1)とする。また、フリッカー補正対象の画素Ｐ(m+3,n)の画素値をｒ(m+3,n)、両サイドの撮像画素の画素値をｒ(m+3,n-1)，ｒ(m+3,n+1)とする。また、光強度検出画素であるラインＬｘの画素の画素値をａ(x,n-1)，ａ(x,n)，ａ(x,n+1)とする。

画像信号処理部の補正ゲイン算出部３２は、式（２７）に基づきフリッカー補正ゲインを算出する。
フリッカー補正ゲイン＝（第１光強度検出画素群の画素値ＷＴａm
／撮像画素群の画素値ＷＴｒm） ・・・（２７）

撮像画素群の画素値ＷＴｒmは、例えば式（２８）に示すように、撮像画素の平均画素値を用いる。
ＷＴｒm＝（ｒ(m,n-1)＋ｒ(m,n)＋ｒ(m,n+1)）／３ ・・・（２８）

第１光強度検出画素群の画素値ＷＴａは、光強度検出画素群の画素値を用いて線形補間を行い、フリッカー補正対象の撮像画素群と空間位相が等しい光強度検出画素群の画素値を算出して、算出した画素値の平均値を用いる。

補正ゲイン算出部３２は、式（２９）乃至（３１）によって撮像画素のラインＬｍと等しい空間位相の画素値ａ(m,n-1)，ａ(m,n)，ａ(m,n+1)を算出する。さらに、補正ゲイン算出部３２は、式（３２）に示す演算を行い光強度検出画素群の画素値ＷＴａを算出する。
ａ(m,n-1)＝０．６６７×ａ(m-2,n-1)＋０．３３３×ａ(m+4,n-1)
・・・（２９）
ａ(m,n) ＝０．６６７×ａ(m-2,n) ＋０．３３３×ａ(m+4,n)
・・・（３０）
ａ(m,n+1)＝０．６６７×ａ(m-2,n+1)＋０．３３３×ａ(m+4,n+1)
・・・（３１）
ＷＴａm＝（ａ(m,n-1)＋ａ(m,n)＋ａ(m,n+1)）／３
・・・（３２）

補正ゲイン算出部３２は算出したフリッカー補正ゲイン、すなわち式（３３）に示すフリッカー補正ゲインＨＧ(m,n)をフリッカー補正部３３へ出力する。
ＨＧ(m,n)＝（ＷＴａm／ＷＴｒm）
＝（０．６６７×（ａ(m-2,n-1)＋ａ(m-2,n)＋ａ(m-2,n+1)）＋０．３３３×（ａ(m+4,n-1)＋ａ(m+4,n)＋ａ(m+4,n+1)））／（ｒ(m,n-3)＋ｒ(m,n)＋ｒ(m,n+3)） ・・・（３３）

また、撮像画素群の画素値ＷＴｒmaは、例えば式（３４）に示すように、撮像画素の平均画素値を用いる。
ＷＴｒma＝（ｒ(m+3,n-1)＋ｒ(m+3,n)＋ｒ(m+3,n+1)）／３
・・・（３４）

第１光強度検出画素群の画素値ＷＴａmaは、光強度検出画素群の画素値を用いて線形補間を行い、フリッカー補正対象の撮像画素群と空間位相が等しい光強度検出画素群の画素値を算出して、算出した画素値の平均値を用いる。

補正ゲイン算出部３２は、式（３５）乃至（３７）によって撮像画素のラインＬｍの位置に対応する画素値ａ(m,n-1)，ａ(m,n)，ａ(m,n+1)を算出する。さらに、補正ゲイン算出部３２は、式（３８）に示す演算を行い光強度検出画素群の画素値ＷＴａを算出する。
ａ(m+3,n-1)＝０．１６７×ａ(m-2,n-1)＋０．８３３×ａ(m+4,n-1)
・・・（３５）
ａ(m+3,n) ＝０．１６７×ａ(m-2,n) ＋０．８３３×ａ(m+4,n)
・・・（３６）
ａ(m+3,n+1)＝０．１６７×ａ(m-2,n+1)＋０．８３３×ａ(m+4,n+1)
・・・（３７）
ＷＴａma＝（ａ(m+3,n-1)＋ａ(m+3,n)＋ａ(m+3,n+1)）／３
・・・（３８）

補正ゲイン算出部３２は算出したフリッカー補正ゲイン、すなわち式（３９）に示すフリッカー補正ゲインＨＧ(m+3,n)をフリッカー補正部３３へ出力する。
ＨＧ(m+3,n)＝（ＷＴａma／ＷＴｒma）
＝（０．１６７×（ａ(m-2,n-1)＋ａ(m-2,n)＋ａ(m-2,n+1)＋０．８３３×（ａ(m+4,n-1)＋ａ(m+4,n)＋ａ(m+4,n+1)））／（ｒ(m,n-3)＋ｒ(m,n)＋ｒ(m,n+3)） ・・・（３９）

フリッカー補正部３３は、補正ゲイン算出部３２で算出されたフリッカー補正ゲインＨＧ(m,n)を用いて、フリッカー補正対象の画素Ｐ(m,n)である撮像画素に対するゲイン調整を行う。また、フリッカー補正部３３は、補正ゲイン算出部３２で算出されたフリッカー補正ゲインＨＧ(m+3,n)を用いて、フリッカー補正対象の撮像画素に対するゲイン調整を行う。

画像信号処理部は、上述の処理を各撮像画素に対して行うことで、フリッカーの影響が低減された画像信号を生成する。

図２６は、第４の実施の形態の他の動作例としてカラー撮像画の場合を示している。制御部４５は、撮像部２１ａにおける色成分画素の配列がベイヤー配列とされている場合、第２の実施の形態と同様に２×２画素の画素ブロックを撮像画素と光強度検出画素の画素単位として、光強度検出画素を間引いて配置する。このように、光強度検出画素を間引いて配置すれば撮像画のフレーム周波数が高くなっても撮像画素の減少を抑えることができるので撮像画の空間解像度の低下を抑制できる。

図２７は、第４の実施の形態の他の動作例としてカラー撮像画の他の場合を示している。制御部４５は、撮像部２１ａにおける色成分画素の配列がベイヤー配列とされている場合、第２の実施の形態と同様に例えば１×２画素の２つの画素ブロックを撮像画素と光強度検出画素の画素単位として、光強度検出画素を間引いて配置する。このように、光強度検出画素を間引いて配置すれば撮像画のフレーム周波数が高くなっても撮像画素の減少を抑えることができるので撮像画の空間解像度の低下を抑制できる。なお、図２７の（ａ）は４種類の光強度検出画素を設けた場合、図２７の（ｂ）は６種類の光強度検出画素を設けた場合を示している。

また、４種類の光強度検出画素を設けた場合、セット毎に第１光強度検出画素のラインと第２光強度検出画素のラインの入替えと第３光強度検出画素のラインと第４光強度検出画素のラインの入替えを行う必要がある。例えば第１光強度検出画素のラインと第２光強度検出画素のラインの入替えを行わないと、水平方向が同一の画素ブロックにおいて、第２光強度検出画素のラインが赤色画素と緑色画素であるとき、次の第２光強度検出画素のラインでも赤色画素と緑色画素となってしまう。このため、ラインの入替えを行うことで、次の第２光強度検出画素のラインでは緑色画素と青色画素の画素信号を得られるようにする。すなわち第２光強度検出画素のラインを連続して用いることでベイヤー配列の２×２画素の画素ブロックの各色成分画素の画素信号を得られるようになる。また、他の光強度検出画素のラインでも同様である。なお、６種類の光強度検出画素を設ける場合、光強度検出画素のラインの入替えを行う必要がない。

図２８は、４種類の光強度検出画素を間引いて配置した場合のフリッカー補正ゲインの算出動作を説明するための図である。例えば第１光強度検出画素であるラインLｊ-2rとラインＬj+2bの1×２画素の２つの画像ブロックを用いるとベイヤー配列の２×２画素の色成分画素毎の画素信号を得られることから、補正ゲイン算出部３２は、ラインLｊ-2rとラインＬj+2bの1×２画素の２つの画像ブロックの画素信号を用いて輝度値Ｙａ1を算出する。同様に、補正ゲイン算出部３２は、第１光強度検出画素であるラインLｊ+2rとラインＬj+3bの1×２画素の２つの画像ブロックの画素信号を用いて輝度値Ｙａ2を算出する。

また、撮像画素のラインＬjrとラインＬjbの1×２画素の２つの画像ブロックを用いるとベイヤー配列の２×２画素の色成分画素毎の画素信号を得られることから、補正ゲイン算出部３２は、ラインLｊrとラインＬjbの1×２画素の２つの画像ブロックの画素信号を用いて輝度値Ｙrj1を算出する。

同様に、撮像画素のラインＬjbとラインＬ’jrの1×２画素の画像ブロックを用いるとベイヤー配列の２×２画素の画素信号を得られることから、補正ゲイン算出部３２は、ラインLｊbとラインＬ’jrの1×２画素の２つの画像ブロックの画素信号を用いて輝度値Ｙrj2を算出する。また、水平方向のブロック位置毎に画像信号を算出して、例えば図２８の（ｂ）に示すように、ブロック位置ｋ－１，ｋ，ｋ＋１の輝度値を算出する。

さらに、補正ゲイン算出部３２は、撮像画素の輝度値Ｙｒj1，Ｙｒj2のそれぞれに対して、光強度検出画素の輝度値Ｙａr1と輝度値Ｙａr2から対応する空間位相の輝度値を算出して、撮像画素の輝度値と空間位相が等しい光強度検出画素の輝度値との比率からフリッカー補正ゲインを算出する。例えば、輝度値Ｙｒj1と輝度値Ｙａj1の空間位相は等しいから、補正ゲイン算出部３２は、輝度値Ｙｒ(j1,k-1)，Ｙｒ(j1,k),Ｙｒ(j1,k+1)の平均と輝度値Ｙａ(j1,k-1)，Ｙａ(j1,k),Ｙａ(j1,k+1)の平均との比率を輝度値Ｙｒ(j1,k)のフリッカー補正ゲインとする。

また、輝度値Ｙｒj2は輝度値Ｙａj1と輝度値Ｙａj2の平均と空間位相が等しいから、補正ゲイン算出部３２は、輝度値Ｙｒ(j2,k-1)，Ｙｒ(j2,k),Ｙｒ(j2,k+1)の平均と輝度値Ｙａ(j1,k-1)，Ｙａ(j1,k),Ｙａ(j1,k+1)，Ｙａ(j2,k-1)，Ｙａ(j2,k),Ｙａ(j2,k+1)の平均との比率を輝度値Ｙｒ(j2,k)のフリッカー補正ゲインとする。

さらに、補正ゲイン算出部３２は、撮像画素の輝度値の算出に用いた1×２画素の画素ブロックに対するフリッカー補正ゲインを、輝度値に対して算出されたフリッカー補正ゲインを用いて設定する。例えばラインＬjbは、輝度値Ｙｒj1と輝度値Ｙｒj2の算出に用いられていることから、補正ゲイン算出部３２は、輝度値Ｙｒj1と輝度値Ｙｒj2のフリッカー補正ゲインを用いて、ラインＬjbの空間位相に対応するフリッカー補正ゲインを算出する。図２８の（ａ）に示す場合、ラインＬjbの空間位相は輝度値Ｙｒj1と輝度値Ｙｒj2の中間であるから、補正ゲイン算出部３２は、撮像画素のブロック（Ｌjb,k）のフリッカー補正ゲインはＹｒ(j1,k)のフリッカー補正ゲインとＹｒ(j2,k)のフリッカー補正ゲインの平均値とする。

このように、本技術の撮像装置では、光強度検出画素を間引いて配置することで、撮像画素の減少を抑制できるようになる。また、光強度検出画素を間引いても、上述のような処理によって撮像画素の画素または輝度値の算出単位毎にフリッカー補正ゲインを算出できる。したがって、撮像画素の減少を抑制しても、上述の実施の形態と同様の作用効果を引き続き得ることができる。

＜５．適用例＞
上述の実施の形態で示した撮像装置は、例えば静止画と動画の撮像を行うことができる撮像装置に適している。静止画の撮像では高精細な撮像画のプリント等を行うことができるように高画素数の撮像素子が必要とされるが、動画の撮像では表示装置に対応した画素数であればよい。したがって、高画素数の撮像素子を用いて動画の撮像を行う場合、撮像に用いられていない画素が存在することになるので、撮像に用いられていない画素を光強度検出画素として利用すれば、高画素数の撮像素子を動画の撮像時にも有効利用できるようになる。

＜６．移動体への応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２９に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。

駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

図３０は、撮像部１２０３１の設置位置の例を示す図である。

図３０では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。

撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図３０には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部１２０３１、１２１０１、１２１０２、１２１０３、１２１０４、１２１０５等に適用され得る。例えば、撮像部１２０３１、１２１０１、１２１０２、１２１０３、１２１０４、１２１０５等に本開示に係る技術を適用することにより、道路や駐車場等において周期的に照明光の強度が変動する照明装置を利用して照明が行われても、照明光の強度の変動の影響が低減されている撮像画を取得できるので、ドライバの疲労等を軽減できる。また、撮像画を用いて自動運転等を行う場合に、照明光の強度の変動の影響が低減されているので、本技術を用いていない場合に比べて運転制御が容易となる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。

また、本技術の撮像装置は以下のような構成も取ることができる。
（１） 撮像画を取得するための撮像画素の画素信号と照明光の強度を検出するための光強度検出画素の画素信号に基づきフリッカー補正ゲインを算出する補正ゲイン算出部と、
前記撮像画素と前記光強度検出画素の露光タイミングと露光期間を個々に設定する制御部と
を備える撮像装置。
（２） 前記制御部は、前記撮像画素の露光期間をシャッター速度に応じた期間に設定して、前記光強度検出画素の露光期間を前記照明光の強度変化の周期期間に設定して、前記撮像画素と前記光強度検出画素の露光タイミングを、露光開始、露光終了または露光期間の中央のいずれかを等しいタイミングに設定する（１）に記載の撮像装置。
（３） 前記制御部は、前記撮像画のフレーム周期と前記照明光の強度変化の周期に基づき、前記光強度検出画素の画素群を１または複数設けて、前記撮像画のフレーム毎に前記光強度検出画素のいずれかの画素群で前記照明光の強度変化の周期期間である露光期間の画素信号を得る（１）または（２）に記載の撮像装置。
（４） 前記制御部は、前記照明光の強度変化の周期内に含まれる前記撮像画のフレーム周期の数が多くなるに伴い前記光強度検出画素の画素群を多く設け、
前記補正ゲイン算出部は、前記照明光の強度変化の周期期間である露光期間の画素信号が得られた画素群の前記光強度検出画素の画素信号に基づきフリッカー補正ゲインを算出する（３）に記載の撮像装置。
（５） 露光期間が第１商用電源周波数の周期であるフリッカー検出第１画素と露光期間が第２商用電源周波数の周期であるフリッカー検出第２画素のフレーム毎の画素信号の信号レベル変化に基づいて、前記照明光の強度変化の周期を検出するフリッカー検出部をさらに備える（１）乃至（４）のいずれかに記載の撮像装置。
（６） 前記制御部は、前記フリッカー補正ゲインの算出前に、前記光強度検出画素または前記光強度検出画素と前記撮像画素を前記フリッカー検出第１画素と前記フリッカー検出第２画素に設定して、前記フリッカー検出部でフリッカー検出を行わせて、フリッカー検出後は前記フリッカー検出部で検出された周期を、前記光強度検出画素の露光期間に設定する（５）に記載の撮像装置。
（７） 前記制御部は、複数色成分画素からなる画素ブロックを前記撮像画素および前記光強度検出画素の画素単位として、
前記補正ゲイン算出部は、前記撮像画素および前記光強度検出画素を構成する画素ブロックの色成分画素の画素信号から算出した輝度値に基づいて前記フリッカー補正ゲインを算出する（１）乃至（６）のいずれかに記載の撮像装置。
（８） 前記補正ゲイン算出部は、前記光強度検出画素の画素信号を用いて補間処理を行い、前記撮像画素と空間位相が等しい光強度検出画素の画素信号を生成して、前記撮像画素の画素信号と前記撮像画素と空間位相が等しい光強度検出画素の画素信号に基づいて前記撮像画素の画素毎にフリッカー補正ゲインを算出する（１）乃至（７）のいずれかに記載の撮像装置。
（９） 前記補正ゲイン算出部は、フリッカー補正対象の撮像画素を基準とした水平方向および垂直方向の複数の撮像画素と光強度検出画素の画素信号に基づいて前記フリッカー補正対象の撮像画素のフリッカー補正ゲインを算出する（１）乃至（８）のいずれかに記載の撮像装置。
（１０） 前記撮像画素と前記光強度検出画素を隣接して設けた（１）乃至（９）のいずれかに記載の撮像装置。
（１１） 前記撮像画素と前記光強度検出画素を垂直方向に隣接して設けた（１０）に記載の撮像装置。
（１２） 前記光強度検出画素を間引いて配置して、
前記補正ゲイン算出部は、前記光強度検出画素の画素信号を用いて補間処理を行い前記撮像画素と空間位相が等しい光強度検出画素の画素信号を算出する（１）乃至（１１）のいずれかに記載の撮像装置。
（１３） 前記補正ゲイン算出部で算出されたフリッカー補正ゲインを用いて前記撮像画素のフリッカー補正を行うフリッカー補正部をさらに備える（１）乃至（１２）のいずれかに記載の撮像装置。

この技術の撮像装置とフリッカー補正方法およびプログラムによれば、撮像画を取得するための撮像画素と照明光の強度を検出するための光強度検出画素の露光タイミングと露光期間が個々に設定されて、撮像画素で生成された画素信号と光強度検出画素で生成された画素信号に基づきフリッカー補正ゲインが撮像画素の画素ごとに算出される。このため、照明装置と被写体との位置関係にかかわらず照明光の強度の変動の影響が低減されている撮像画を取得できるようになので、商用電源周波数に応じて照明強度が変化する照明環境下で動画を撮像する撮像装置に適している。

１０，１０ａ，１０ｂ・・・撮像装置
２１，２１ａ・・・撮像部
３０，３０ａ・・・画像信号処理部
３１・・・輝度算出部
３２・・・補正ゲイン算出部
３３・・・フリッカー補正部
３４・・・カラー画像信号生成部
４１・・・ユーザインタフェース（Ｉ／Ｆ）部
４３・・・フリッカー検出部
４５・・・制御部
５０・・・周辺部
５１・・・記録部
５２・・・信号出力部
５３・・・表示部

Claims (15)

1. 撮像画を取得するための撮像画素の画素信号と照明光の強度を検出するための光強度検出画素の画素信号に基づきフリッカー補正ゲインを算出する補正ゲイン算出部と、
   前記撮像画素と前記光強度検出画素の露光タイミングと露光期間を個々に設定する制御部と
   を備える撮像装置。
2. 前記制御部は、前記撮像画素の露光期間をシャッター速度に応じた期間に設定して、前記光強度検出画素の露光期間を前記照明光の強度変化の周期期間に設定して、前記撮像画素と前記光強度検出画素の露光タイミングを、露光開始、露光終了または露光期間の中央のいずれかを等しいタイミングに設定する
   請求項１に記載の撮像装置。
3. 前記制御部は、前記撮像画のフレーム周期と前記照明光の強度変化の周期に基づき、前記光強度検出画素の画素群を１または複数設けて、前記撮像画のフレーム毎に前記光強度検出画素のいずれかの画素群で前記照明光の強度変化の周期期間である露光期間の画素信号を得る
   請求項１に記載の撮像装置。
4. 前記制御部は、前記照明光の強度変化の周期内に含まれる前記撮像画のフレーム周期の数が多くなるに伴い前記光強度検出画素の画素群を多く設け、
   前記補正ゲイン算出部は、前記照明光の強度変化の周期期間である露光期間の画素信号が得られた画素群の前記光強度検出画素の画素信号に基づきフリッカー補正ゲインを算出する
   請求項３に記載の撮像装置。
5. 露光期間が第１商用電源周波数の周期であるフリッカー検出第１画素と露光期間が第２商用電源周波数の周期であるフリッカー検出第２画素のフレーム毎の画素信号の信号レベル変化に基づいて、前記照明光の強度変化の周期を検出するフリッカー検出部をさらに備える
   請求項１に記載の撮像装置。
6. 前記制御部は、前記フリッカー補正ゲインの算出前に、前記光強度検出画素または前記光強度検出画素と前記撮像画素を前記フリッカー検出第１画素と前記フリッカー検出第２画素に設定して、前記フリッカー検出部でフリッカー検出を行わせて、フリッカー検出後は前記フリッカー検出部で検出された周期を、前記光強度検出画素の露光期間に設定する
   請求項５に記載の撮像装置。
7. 前記制御部は、複数色成分画素からなる画素ブロックを前記撮像画素および前記光強度検出画素の画素単位として、
   前記補正ゲイン算出部は、前記撮像画素および前記光強度検出画素を構成する画素ブロックの色成分画素の画素信号から算出した輝度値に基づいて前記フリッカー補正ゲインを算出する
   請求項１に記載の撮像装置。
8. 前記補正ゲイン算出部は、前記光強度検出画素の画素信号を用いて補間処理を行い、前記撮像画素と空間位相が等しい光強度検出画素の画素信号を生成して、前記撮像画素の画素信号と前記撮像画素と空間位相が等しい光強度検出画素の画素信号に基づいて前記撮像画素の画素毎にフリッカー補正ゲインを算出する
   請求項１に記載の撮像装置。
9. 前記補正ゲイン算出部は、フリッカー補正対象の撮像画素を基準とした水平方向および垂直方向の複数の撮像画素と光強度検出画素の画素信号に基づいて前記フリッカー補正対象の撮像画素のフリッカー補正ゲインを算出する
   請求項８に記載の撮像装置。
10. 前記撮像画素と前記光強度検出画素を隣接して設けた
    請求項１に記載の撮像装置。
11. 前記撮像画素と前記光強度検出画素を垂直方向に隣接して設けた
    請求項１０に記載の撮像装置。
12. 前記光強度検出画素を間引いて配置して、
    前記補正ゲイン算出部は、前記光強度検出画素の画素信号を用いて補間処理を行い前記撮像画素と空間位相が等しい光強度検出画素の画素信号を算出する
    請求項１に記載の撮像装置。
13. 前記補正ゲイン算出部で算出されたフリッカー補正ゲインを用いて前記撮像画素のフリッカー補正を行うフリッカー補正部をさらに備える
    請求項１に記載の撮像装置。
14. 撮像画を取得するための撮像画素と照明光の強度を検出するための光強度検出画素の露光タイミングと露光期間を個々に設定することと、
    前記撮像画素で生成された画素信号と前記光強度検出画素で生成された画素信号に基づきフリッカー補正ゲインを算出することと、
    前記算出されたフリッカー補正ゲインを用いて前記撮像画素のフリッカー補正を行うこと
    を含むフリッカー補正方法。
15. 撮像画のフリッカー補正をコンピュータで実行させるプログラムであって、
    前記撮像画を取得するための撮像画素と照明光の強度を検出するための光強度検出画素の露光タイミングと露光期間を個々に設定する手順と、
    前記撮像画素で生成された撮像画素信号と前記光強度検出画素で生成された照明光画素信号に基づきフリッカー補正ゲインを算出する手順と、
    前記算出されたフリッカー補正ゲインを用いて前記撮像画素のフリッカー補正を行う手順と
    を前記コンピュータで実行させるプログラム。

Images