JP4646655B2 - 固体撮像装置及びその駆動方法並びに撮像システム - Google Patents

Description

この発明は、ＣＭＯＳセンサやＣＣＤセンサ等の固体撮像素子を有する固体撮像装置を用いた動画および静止画の撮像において、特に蛍光灯のように電源周期と同期して交流点滅する電灯の下で撮像画面の輝度が変化する、いわゆるフリッカ現象を改善した固体撮像装置に関する。

蛍光灯のように、交流点滅する照明光を使用した場合、照明光に起因するフリッカ現象が撮像画面に現れることはよく知られている。このフリッカ現象は画質を劣化させるので、軽減されることが望まれている。その対策が、先行技術文献（例えば、特許文献１、２参照）に開示されている。

例えば、特許文献１には、撮像装置のフリッカ補正として、撮像素子以外のフリッカ検出用受光装置を別途用いてフリッカを検出する手法が開示されている。この手法を図１８を参照して説明する。

図１８において、撮像装置は、ＣＭＯＳセンサ１００と、受光素子１０１と、受光素子１０１の出力端子に接続される利得制御回路１０２と、利得制御回路１０２の制御出力端子及びＣＭＯＳセンサ１００の映像出力端子に接続される利得可変増幅器１０３とを有する。受光素子１０１は、各水平期間の受光光量ｌｎを測定する。利得制御回路１０２は、電子シャッタ制御信号と各水平期間毎の受光光量ｌｎとに基づいて補正利得を演算し、補正用利得信号として出力する。利得可変増幅器１０３は、補正用利得信号を用いてＣＭＯＳセンサ１００からの映像信号Ｐｎを増幅し、補正映像信号Ｐｎｓとして出力する。こうすることで、各水平ライン毎の蛍光灯光量を見掛け上同じレベルに合わせて、蛍光灯下においてＣＭＯＳセンサ１００からの映像出力に基づく画像に生ずる１フレーム内の垂直方向のフリッカを除去する。

また、特許文献２には、撮像装置において、連続した３ｎ（ｎは正の整数）フレーム内各画素の撮像出力レベルの平均値を用いることによってフリッカ成分が相殺された画像を取得し、これを利用してフリッカを検出する手法が開示されている。この手法を図１９（ａ）〜（ｃ）に示す。

図１９（ａ）〜（ｃ）に示すように、ＸＹアドレス型の固体撮像素子を用い、それぞれの信号処理回路で、連続した３フレーム内の各画素の撮像出力信号レベルを、その平均値で除算した値を求め、その逆数に比例するように、連続した３フレーム内の各画素の撮像出力信号レベルを利得制御する。こうすることで、放電を利用した照明光を使用したときに発生する撮像出力信号のフリッカ現象を軽減する。
特開２０００−３５０１０２号公報 特開平１０−９３８６６号公報

上述した従来のフリッカ検出方式において、前者はフリッカ検出用の専用受光装置を用いる必要があり、後者は少なくとも３つのフレームメモリを必要とするため、いずれも撮像装置のシステムを複雑化させるという問題がある。

また、この３フレームの撮像中にカメラをパンニングすると、平均化した際にまともな映像が得られないという問題もある。

そこで、本発明は、蛍光灯照明下において発生するフリッカを抑圧して画質劣化を防止すると共に、フリッカの検出に専用の受光装置を必要とせず、かつフレームメモリを削減して、より単純な構成でフリッカを検出することができる固体撮像装置を提供することを目的とする。

上述した課題を解決するために、本発明の固体撮像装置では、１フレームの撮像に関して、行または列毎に２つの異なる蓄積時間で駆動することによって、１フレーム内に２種類の異なる蓄積時間のフィールド画像を生成し、これらの除算処理によってフリッカ成分を検出し、補正することを要旨とする。

すなわち、本発明に係る固体撮像装置は、行列状に配列された複数の画素を有する固体撮像素子を駆動させて映像信号を取得する固体撮像装置において、前記固体撮像装置は、前記映像信号の１フレームの撮像に関し、互いに異なる画素によって第１フィールド画像と第２フィールド画像とを生成し、前記第１フィールド画像および前記第２フィールド画像は、それぞれ前記画素のｍ列（ｍは正の整数）毎に信号を読み出したもので、前記第１フィールド画像と前記第２フィールド画像とは、互いに異なる蓄積時間によって得られたものであり、前記固体撮像装置は、前記第１フィールド画像と前記第２フィールド画像との除算処理によってフリッカ成分を抽出し、フリッカを検出するフリッカ検出手段を有することを特徴とする。

また、本発明に係る固体撮像装置は、行列状に配列された複数の画素を有する固体撮像素子を駆動させて映像信号を取得する固体撮像装置において、前記固体撮像装置は、前記映像信号の１フレームの撮像に関し、互いに異なる画素によって第１フィールド画像と第２フィールド画像とを生成し、前記第１フィールド画像および前記第２フィールド画像は、それぞれ前記画素のｍ行（ｍは正の整数）毎に信号を読み出したもので、前記第１フィールド画像と前記第２フィールド画像とは、互いに異なる蓄積時間によって得られたものであり、前記固体撮像装置は、前記第１フィールド画像と前記第２フィールド画像との除算処理によってフリッカ成分を抽出し、フリッカを検出するフリッカ検出手段を有することを特徴とする。

また、本発明に係る固体撮像装置は、複数の画素を有する固体撮像素子を駆動させて映像信号を取得する固体撮像装置において、前記固体撮像装置は、前記映像信号の時系列に連続する２つのフレームの撮像に関して、互いに異なる画素によって第１フィールド画像と第２フィールド画像とを生成し、前記第１フィールド画像は、前記２つのフレームのうちの前フレームでの前記画素の信号を読み出したもので、前記第２フィールド画像は、前記２つのフレームのうちの後フレームでの前記画素の信号を読み出したもので、前記第１フィールド画像と前記第２フィールド画像とは、前記前フレームをｎ／１００秒（ｎは正の整数）及び前記後フレームをｎ／１２０秒、または前記前フレームをｎ／１２０秒及び前記後フレームをｎ／１００秒の蓄積時間で駆動させて得られたものであり、前記固体撮像装置は、前記第１フィールド画像と前記第２フィールド画像との除算処理によってフリッカ成分を抽出し、フリッカを検出するフリッカ検出手段を有することを特徴とする。

本発明に係る固体撮像装置の駆動方法は、行列状に配列された複数の画素を有する固体撮像素子を駆動させて映像信号を取得する固体撮像装置の駆動方法において、前記映像信号の１フレームの撮像に関し、互いに異なる画素によって第１フィールド画像と第２フィールド画像とを生成し、生成された前記第１フィールド画像と前記第２フィールド画像との除算処理によってフリッカ成分を抽出してフリッカを検出し、前記第１フィールド画像および前記第２フィールド画像は、それぞれ前記画素のｍ列（ｍは正の整数）毎に信号を読み出したもので、前記第１フィールド画像と前記第２フィールド画像とは、互いに異なる蓄積時間によって得られたものであることを特徴とする。

また、本発明に係る固体撮像装置の駆動方法は、行列状に配列された複数の画素を有する固体撮像素子を駆動させて映像信号を取得する固体撮像装置の駆動方法において、前記映像信号の１フレームの撮像に関し、互いに異なる画素によって第１フィールド画像と第２フィールド画像とを生成し、生成された前記第１フィールド画像と前記第２フィールド画像との除算処理によってフリッカ成分を抽出してフリッカを検出し、前記第１フィールド画像および前記第２フィールド画像は、それぞれ前記画素のｍ行（ｍは正の整数）毎に信号を読み出したもので、前記第１フィールド画像と前記第２フィールド画像とは、互いに異なる蓄積時間によって得られたものであることを特徴とする。

また、本発明に係る固体撮像装置の駆動方法は、複数の画素を有する固体撮像素子を駆動させて映像信号を取得する固体撮像装置の駆動方法において、前記映像信号の時系列に連続する２つのフレームの撮像に関して、互いに異なる画素によって第１フィールド画像と第２フィールド画像とを生成し、生成された前記第１フィールド画像と前記第２フィールド画像との除算処理によってフリッカ成分を抽出してフリッカを検出し、前記第１フィールド画像は、前記２つのフレームのうちの前フレームでの前記画素の信号を読み出したもので、前記第２フィールド画像は、前記２つのフレームのうちの後フレームでの前記画素の信号を読み出したもので、前記第１フィールド画像と前記第２フィールド画像とは、前記前フレームをｎ／１００秒（ｎは正の整数）及び前記後フレームをｎ／１２０秒、または前記前フレームをｎ／１２０秒及び前記後フレームをｎ／１００秒の蓄積時間で駆動させて得られたものであることを特徴とする。

本発明に係る撮像システムは、上記いずれかの固体撮像装置と、前記固体撮像装置へ光を結像する光学系と、前記固体撮像装置からの出力信号を処理する信号処理回路とを有することを特徴とする。

ここで、本発明において「フィールド画像」とは、フレーム内の一部を周期的に切り出してマージすることによって生成された画像を表す。また、本発明において「行」とは固体撮像素子の水平方向の１ライン、「列」とは固体撮像素子の垂直方向の１ラインをそれぞれ表す。

このような手段によると、フリッカの検出に専用の受光装置を必要とせず、かつフレームメモリを１つ（１フレームの１／２サイズ×２つ）しか使用しないので、フリッカ検出手段をより単純なシステムで実現することが可能である。さらに、フリッカの検出に１フレームしか必要としないため、カメラのパンニングに影響を受けないフリッカ検出手段を実現できる。

以上説明したように、本発明によれば、フリッカの検出に専用の受光装置を必要としないことで、従来手法と比較して、より単純な構成でフリッカを検出することができる固体撮像装置を提供することができる。

以下、本発明の好適な実施形態について、添付図面を参照しながら詳細に説明する。
［第１の実施形態］
まず、本発明の基本概念を示す第１実施形態について、図１〜図４を参照して説明する。

図１は、本実施形態の固体撮像装置の構成を示す。

図１に示す固体撮像装置は、固体撮像素子部１と、固体撮像素子部１の制御信号入力側に接続される蓄積時間制御回路２と、固体撮像素子部１の映像信号出力側に接続されるフリッカ検出回路３及び利得可変増幅器５と、フリッカ検出回路３の検出信号出力側及び利得可変増幅器５の利得信号入力側に接続される利得制御回路４とを備える。その他、図示していないが、自装置内の各部動作タイミング等の動作を制御する全体制御部（コントローラ）も含まれる。

固体撮像素子部１は、図２に示すように、ＣＭＯＳセンサやＣＣＤセンサ等の固体撮像素子を有する固体撮像素子１１のほか、固体撮像素子１１に接続される垂直シフトレジスタ１１、第１及び第２水平シフトレジスタ１２ａ、１２ｂ、及び映像信号の１フレームの１／２サイズで構成された第１及び第２ラインメモリ１３ａ、１３ｂを有している。第１及び第２水平シフトレジスタ１２ａ、１２ｂ、及び第１及び第２ラインメモリ１３ａ、１３ｂは、それぞれ固体撮像素子１１の奇数列と偶数列とで個別に割り当てられている。

蓄積時間制御回路２は、固体撮像素子１１の奇数列と偶数列を互いに異なる蓄積時間で駆動させるための蓄積時間制御信号を固体撮像素子部１に与える。

フリッカ検出回路３は、固体撮像素子部１からの第１フレームの映像信号に基づきフリッカ成分を検出し、その検出信号を利得可変増幅器４に供給する。

利得制御回路４は、フリッカ検出回路３により検出されたフリッカ成分の逆位相に比例する補正ゲイン（後述参照）に対応する補正用利得信号を算出し、その補正用利得信号を利得可変増幅器５に出力する。

利得可変増幅器５は、固体撮像素子部１から出力される第２フレーム以降の映像信号に対し、フリッカ検出回路３にて第１フレーム（又は第Ｘフレーム）の映像信号からフリッカが検出された場合は、利得制御回路５からの補正用利得信号で決まる補正ゲインをかけることにより、フリッカ成分が相殺された補正映像信号を得て出力する。また、フリッカ検出回路３にて第１フレーム（又は第Ｘフレーム）の映像信号からフリッカが検出されなかった場合は、フリッカ無しの映像信号としてそのまま出力する。

ここで、図１〜図８を参照して、本実施形態の動作を説明する。

図３は、本実施形態の全体動作を示すフローチャート、図４は、そのタイミングチャートである。図４に示す動作タイミングは、フリッカが検出された場合に対応する。この動作タイミングは、例えば図示しない全体制御部からの制御指令に応じた駆動パルス（Ｌレベル及びＨレベル）により制御される。

まず、固体撮像素子１１の奇数列と偶数列で異なる第１及び第２ラインメモリ１３ａ、１３ｂを有する固体撮像装置を駆動し、第１フレームの撮像を行う。この第１フレームの撮像に関して、蓄積時間制御回路２からの蓄積時間制御信号に基づいて、垂直シフトレジスタ１１及び第１及び第２水平シフトレジスタ１２ａ、１２ｂからの駆動信号により、固体撮像素子１１の奇数列を５０Ｈｚ交流電源照明下でフリッカが発生しないｎ／１００秒（ｎは正の整数）、固体撮像素子１１の偶数列を６０Ｈｚ交流電源照明下でフリッカが発生しないｎ／１２０秒の蓄積時間で駆動させる。

図５は、ｎ／１００秒の蓄積時間の場合、５０Ｈｚ交流電源照明下でフリッカが発生しない理由を説明するものである。図６は、５０Ｈｚで交流点滅する照明下で発生するフリッカ成分（照度）の出力波形を示す。この場合、図示のように、５０Ｈｚ（周期１／５０秒）で交流点滅する電灯の照度のｎ／１００秒の積分値は、固体撮像素子の１行目、２行目、３行目、…のいずれも同じ値となり、常に一定値となる。このため、得られる映像信号のフレーム上には、常にフリッカが発生しない。ｎ／１２０秒の蓄積時間の場合、６０Ｈｚ交流電源照明下でフリッカが発生しない理由もこれと同様である。

これにより、図２に示すように、固体撮像素子１１の奇数列と偶数列とでそれぞれのカラー画像のＲＧＢ成分による画素配列であるベイヤー配列のうちのＧ成分のみを出力する画像を、フィールド画像Ａ（奇数列Ｇ成分）及びフィールド画像Ｂ（偶数列Ｇ成分）として、それぞれ第１及び第２ラインメモリ１３ａ、１３ｂを介して取得する（図３のステップＳｔ１、Ｓｔ２：図４の両フィールド画像Ａ、Ｂの撮像タイミング参照）。以後、両フィールド画像Ａ、Ｂは別々の画像として取り扱う。

次いで、フリッカ検出回路３にて、フリッカ成分のみを抽出するため、両フィールド画像Ａ、Ｂの画素毎に、フィールド画像Ｂの画素値をフィールド画像Ａの画素値で除算した画素値を求め、その画素値をもつフィールド画像Ｃ（＝Ｂ／Ａ）を算出し、その各画素値を垂直射影したときの出力波形Ｖを得る（図３のステップＳｔ３：図４のフィールド画像Ｃの算出タイミング参照）。図６は、算出されたフィールド画像Ｃ及び出力波形Ｖの例を示す。

次いで、フリッカ検出回路３にて、フィールド画像Ｃを垂直射影したときの出力波形Ｖの振幅が予め設定された閾値Ｆ_ｔｈを超えているかどうかを判定し、その判定結果によりフリッカが発生しているか否かを判断し、フリッカ検出を行う（図３のステップＳｔ４：出力波形Ｖによるフリッカ検出タイミング参照）。

例えば、フィールド画像Ｃの画素値を垂直射影したときの出力波形Ｖの振幅が予め設定された閾値Ｆ_ｔｈを超えていない場合、フリッカが発生していないと判断する。フリッカが発生していないと判断した場合、第２フレーム以降の映像信号に対して通常動作を行う（図３のステップＳｔ６）。すなわち、第２フレーム以降の映像信号は、利得可変増幅器５にて補正ゲインをかけずにフリッカ補正無しでそのまま出力される（この場合、図４の補正ゲイン倍の駆動パルスはＬレベルのままである）。

なお、フリッカが発生していなかった場合には、フィールド画像Ａの画素値とフィールド画像Ｂの画素値とが全画面にわたってほぼ等しい値（Ａ≒Ｂ）となるため、全画面にわたってほぼ１を出力するフィールド画像Ｃが得られるはずである。フィールド画像Ｃの算出精度を高めるため、必要に応じて、フィールド画像Ｂに関して奇数列と偶数列、及び奇数行と偶数行の平均化を行い、フィールド画像Ａとの縦横１画素分のずれ量を補正してもよい。

一方、フィールド画像Ｃを垂直射影したときの出力波形Ｖの振幅が予め設定された閾値Ｆ_ｔｈを超えていた場合、フリッカが発生していると判断する。フリッカが発生していると判断した場合、利得制御回路４にて出力波形Ｖの逆位相に比例する補正ゲインに対応する補正用利得信号を算出する（図４の補正用利得信号の算出タイミング参照）。次いで、利得可変増幅器５にて、その補正用利得信号に基づいて、第２フレーム以降の映像信号（図４の第２フレーム以降の撮像タイミング参照）に対して、固体撮像素子の行毎に出力波形Ｖの逆位相に比例する補正ゲインをかけて、フリッカ成分を相殺するフリッカ補正を行い（図４の補正ゲイン倍の動作タイミング参照）、補正映像信号を得る（図３のステップＳｔ５：図４の補正用映像信号の動作タイミング参照）。これにより、フリッカによる画質の劣化を低減させる。このとき、第１フレームに対するフリッカ成分の位相ずれは、フレーム間の時間差と同等なので、これを考慮して補正を行う。

上記フリッカ補正の処理終了後、撮像期間中にフリッカの発生条件が変化することも考えられるので、任意のＸフレーム毎に上記ステップＳｔ１、Ｓｔ２に戻って新たにフリッカの検出処理を行い、撮像の終了命令が出されるまで、これらを繰り返す（ステップＳｔ７〜Ｓｔ９）。なお、フリッカが発生していないと判断された場合も、これと同様の処理を行う。

なお、上記動作でフリッカの検出周期毎に１フレーム分のブランク期間が発生してしまう事態を回避するため、その対策として、前フレームから予測して補間する等の処理を施すようにすることがより望ましい。

図７及び図８は、上記動作で得られるフィールド画像Ａ（蓄積時間ｎ／１００秒）、フィールド画像Ｂ（蓄積時間ｎ／１２０秒）、フィールド画像Ｃ（＝Ｂ／Ａ）及びその垂直投影による出力波形Ｖ、その逆位相に比例する補正ゲイン、第２フレーム以降の映像信号、及び補正映像信号の例を示す。図７の例は、交流点滅していない条件で撮像した場合、図８の例は、５０Ｈｚで交流点滅する照明下の条件で撮像した場合をそれぞれ表す。

まず、交流点滅していない条件で撮像した場合は、図７の例に示すように、第１フレームの撮像により得られる両フィールド画像Ａ、Ｂのいずれにもフリッカが発生しない。このため、フィールド画像Ｃには全画面にわたってほぼ１を出力する輝度パターンと、これに対応する出力波形Ｖとが得られる。この出力波形Ｖのレベルは閾値Ｖｔｈより低くなっている。従って、第２フレーム以降の映像信号に対しフリッカ補正の必要がない。

これに対し、５０Ｈｚで交流点滅する照明下で撮像した場合は、図８の例に示すように、第１フレームの撮像により得られるフィールド画像Ａにはその蓄積時間ｎ／１００秒に起因してフリッカは発生しないものの、フィールド画像Ｂにはその蓄積時間ｎ／１２０秒に起因してフリッカが発生している。このため、フィールド画像Ｃにはフリッカ成分に対応した輝度パターンと、これに対応する出力波形Ｖとが得られる。この出力波形Ｖのレベルは閾値Ｖｔｈより高くなっている。よって、第２フレーム以降の映像信号に対して、出力波形Ｖの逆位相に比例する補正ゲインをかけることにより、フリッカ成分が相殺された補正映像信号を得ることができる。なお、６０Ｈｚで交流点滅する照明下で撮像した場合は、フィールド画像Ｂではなく、フィールド画像Ａにフリッカが発生するが、それ以外は上記と同様である。

従って、本実施形態によれば、映像信号の１フレームの撮像に関して、固体撮像素子の奇数列をｎ／１００秒、偶数列をｎ／１２０秒の蓄積時間で駆動させることにより、映像信号の１フレーム内に２種類の異なる蓄積時間のフィールド画像を生成し、これらの除算処理によってフリッカ成分を検出し、補正している。これにより、フリッカの検出用にフレームメモリを１つ（１フレームの１／２サイズ×２つ）しか使用しないため、従来手法と比較して、フリッカ検出手段をより単純なシステムで実現できるという効果がある。また、フリッカの検出用に１フレームしか必要としないため、カメラのパンニングに影響を受けないフリッカ検出手段を実現できるという効果もある。

なお、固体撮像素子の駆動に際し、上記の例とは反対に、奇数列をｎ／１２０秒、偶数列をｎ／１００秒の蓄積時間で駆動させてもよい。

また、フィールド画像の生成に際し、映像信号の１フレームの撮像に関して、固体撮像素子の列においてｍライン（ｍは正の整数）毎に任意の周期で異なる蓄積時間で駆動することによって、１フレーム内に複数の異なる蓄積時間のフィールド画像を生成するようにしてもよい。
［第２の実施形態］
本実施形態について、図１及び図９を参照して説明する。

上記第１の実施形態では、固体撮像素子の列毎に蓄積時間を変えていたのに対し、本実施形態では、固体撮像素子の行毎に蓄積時間を変えるものである。なお、本実施形態の固体撮像素子の構成は、上記第１の実施形態と同様であるため、図１の構成要素と同一符号を付して、その説明を省略する。

図９は、本実施形態の動作を示すフローチャートである。

図９において、固体撮像装置を駆動する。この駆動に際し、第１フレームの撮像に関して、蓄積時間制御回路２からの蓄積時間制御信号に基づいて、垂直シフトレジスタ及び水平シフトレジスタからの駆動信号により、各行のリセットタイミングを変更することによって、奇数行を５０Ｈｚ交流電源照明下でフリッカが発生しないｎ／１００秒（ｎは正の整数）、偶数行を６０Ｈｚ交流電源照明下でフリッカが発生しないｎ／１２０秒の蓄積時間で駆動させる。これにより、固体撮像素子の奇数行と偶数行とでそれぞれのカラー画像のＲＧＢ成分による画素配列であるベイヤー配列のうちのＧ成分のみを出力する画像を、フィールド画像Ａ（奇数行Ｇ成分）及びフィールド画像Ｂ（偶数行Ｇ成分）として、それぞれラインメモリを介して取得する（ステップＳｔ１１、Ｓｔ１２）。

以後、図３に示すステップＳｔ３〜Ｓｔ９と同様のフリッカ検出及び補正の処理を行い（ステップＳｔ１３〜Ｓｔ１９）、これによりフリッカによる画質の劣化を低減させる。

従って、本実施形態によれば、上記第１の実施形態と同様に、映像信号の１フレームの撮像に関して、固体撮像素子の奇数行をｎ／１００秒、偶数行をｎ／１２０秒の蓄積時間で駆動させることにより、映像信号の１フレーム内に２種類の異なる蓄積時間のフィールド画像を生成し、これらの除算処理によってフリッカ成分を検出し、補正している。これにより、フリッカの検出用にフレームメモリを１つ（１フレームの１／２サイズ×２つ）しか使用しないため、従来手法と比較して、フリッカ検出手段をより単純なシステムで実現できるという効果がある。また、フリッカの検出用に１フレームしか必要としないため、カメラのパンニングに影響を受けないフリッカ検出手段を実現できるという効果もある。

なお、固体撮像素子の駆動に際し、上記の例とは反対に、奇数行をｎ／１２０秒、偶数行をｎ／１００秒の蓄積時間で駆動させてもよい。

また、フィールド画像の生成に際し、映像信号の１フレームの撮像に関して、固体撮像素子の行においてｍライン（ｍは正の整数）毎に任意の周期で異なる蓄積時間で駆動することによって、１フレーム内に複数の異なる蓄積時間のフィールド画像を生成するようにしてもよい。
［第３の実施形態］
本実施形態について、図１０及び図１１を参照して説明する。

図１０は、本実施形態の固体撮像装置の構成を示す。

図１０に示す固体撮像装置は、上記と同様の構成をもつ固体撮像素子部１と、固体撮像素子部１の制御信号入力側に接続される蓄積時間制御回路２と、固体撮像素子部１の映像信号出力側及び蓄積時間制御回路２の信号入力側に接続されるフリッカ検出回路３とを備える。

蓄積時間制御回路２は、フリッカ検出回路３により検出されたフリッカの元になる交流電源周波数（５０Ｈｚまたは６０Ｈｚ）に応じて、フリッカが発生しない駆動時間（５０Ｈｚのときにｎ／１００秒、または６０Ｈｚのときにｎ／１２０秒）で固体撮像素子１１を駆動させるための蓄積時間制御信号を固体撮像素子部１に与える。

フリッカ検出回路３は、固体撮像素子部１からの第１フレームの映像信号に基づきフリッカ成分を検出し、その検出信号からフリッカの元になる交流電源周波数（５０Ｈｚまたは６０Ｈｚ）を算出し、算出された交流電源周波数を蓄積時間制御回路２に供給する。

ここで、図１１を参照して、本実施形態の動作を説明する。

図１１は、本実施形態の動作を示すフローチャートである。

本実施形態は、両フィールド画像Ａ、Ｂからフィールド画像Ｃを算出しそのフィールド画像Ｃを用いてフリッカを検出するまでの処理（ステップＳｔ２１〜Ｓｔ２３）、フリッカが検出されない場合の処理（ステップＳｔ２７）、及び任意のＸフレーム毎に新たにフリッカの検出処理を行う処理（ステップＳｔ２８〜３０）は、上記第１の実施形態と同様である。相違する点は、フリッカ検出回路３にて、フリッカ検出（ステップＳｔ２３：ＹＥＳ）後の処理である。

すなわち、フィールド画像Ｃを垂直投影したときの出力波形Ｖのフーリエ変換等によって、ｎ／１００秒（ｎは正の整数）かｎ／１２０秒のうちフリッカが発生しない蓄積時間に対応する交流電源周波数（５０Ｈｚまたは６０Ｈｚ）を算出する（ステップＳｔ２５）。そして、算出された交流電源周波数を蓄積時間制御回路２に与えることで、第２フレーム以降の映像信号の撮像に際し、蓄積時間制御回路２にて、与えられた交流電源周波数に対応する蓄積時間、すなわち５０Ｈｚのときにｎ／１００秒、または６０Ｈｚのときにｎ／１２０秒を固定し（ステップＳｔ２６）、その蓄積時間で撮像を続ける。つまり、上記第１の実施形態のようなフリッカ補正の処理は行わないことになる。

従って、本実施形態によれば、映像信号の１フレームの撮像に関して、固体撮像素子の奇数列をｎ／１００秒、偶数列をｎ／１２０秒の蓄積時間で駆動させることにより、映像信号の１フレーム内に２種類の異なる蓄積時間のフィールド画像を生成し、これらの除算処理によってフリッカ成分を検出し、フリッカが発生しない蓄積時間で固体撮像素子を駆動している。これにより、フリッカの検出にフレームメモリを１つ（１フレームの１／２サイズ×２つ）しか使用しないため、従来手法と比較して、フリッカ検出手段をより単純なシステムで実現できるという効果がある。

また、フリッカの検出用に１フレームしか必要としないため、カメラのパンニングに影響を受けないフリッカ検出手段を実現できるという効果もある。この場合、蓄積時間とパンニングスピードによっては、１フレームでもカメラのパンニングに影響を受ける可能性はあるものの、従来の技術と比較すると、その影響はより受け難いと言える。

なお、固体撮像素子の駆動に際し、上記の例とは反対に、奇数列をｎ／１２０秒、偶数列をｎ／１００秒の蓄積時間で駆動させてもよい。

また、フィールド画像の生成に際し、映像信号の１フレームの撮像に関して、固体撮像素子の列においてｍライン（ｍは正の整数）毎に任意の周期で異なる蓄積時間で駆動することによって、１フレーム内に複数の異なる蓄積時間のフィールド画像を生成するようにしてもよい。

また、固体撮像素子の駆動に際し、上記第２の実施形態と同様に、奇数行をｎ／１００秒、偶数行をｎ／１２０秒の蓄積時間で駆動させてもよい。或いは、奇数行をｎ／１２０秒、偶数行をｎ／１００秒の蓄積時間で駆動させてもよい。

また、フィールド画像の生成に際し、映像信号の１フレームの撮像に関して、固体撮像素子の行においてｍライン（ｍは正の整数）毎に任意の周期で異なる蓄積時間で駆動することによって、１フレーム内に複数の異なる蓄積時間のフィールド画像を生成するようにしてもよい。
［第４の実施形態］
本実施形態について、図１２及び図１３を参照して説明する。

図１２は、本実施形態の固体撮像装置の構成を示す。

図１２に示す固体撮像装置は、ＣＭＯＳセンサやＣＣＤセンサ等の固体撮像素子を有する固体撮像素子部１と、固体撮像素子部１の制御信号入力側に接続される蓄積時間制御回路２と、固体撮像素子部１の映像信号出力側に接続されるフリッカ検出回路３及び利得可変増幅器５と、フリッカ検出回路３の検出信号出力側及び利得可変増幅器５の利得信号入力側に接続される利得制御回路４とを備える。

蓄積時間制御回路２は、固体撮像素子で得られる映像信号の時系列に連続するフレームのうち、第１フレーム（前フレーム）と第２フレーム（後フレーム）を互いに異なる蓄積時間で駆動するための蓄積時間制御信号を固体撮像素子部１に与える。

フリッカ検出回路３は、固体撮像素子部１からの第１及び第２フレームの映像信号に基づきフリッカ成分を検出し、その検出信号を利得可変増幅器４に供給する。

利得制御回路４は、フリッカ検出回路３により検出されたフリッカ成分の逆位相に比例する補正ゲイン（後述参照）に対応する補正用利得信号を算出し、その補正用利得信号を利得可変増幅器５に出力する。

利得可変増幅器５は、固体撮像素子部１から出力される第３フレーム以降の映像信号に対し、フリッカ検出回路３にて第１及び第２フレームの映像信号からフリッカが検出された場合は、利得制御回路５からの補正用利得信号で決まる補正ゲインをかけることにより、フリッカ成分が相殺された補正映像信号を得て出力する。また、フリッカ検出回路３にて第１及び第２フレームの映像信号からフリッカが検出されなかった場合は、フリッカ無しの映像信号としてそのまま出力する。

図１３は、本実施形態の動作を示すフローチャートである。

図１３において、固体撮像装置を駆動する。この駆動に際し、第１フレーム（前フレーム）及び第２フレーム（後フレーム）の撮像に関して、蓄積時間制御回路２からの蓄積時間制御信号に基づいて、垂直シフトレジスタ及び水平シフトレジスタからの駆動信号により、第１フレームを５０Ｈｚ交流電源照明下でフリッカが発生しないｎ／１００秒（ｎは正の整数）、第２フレームを６０Ｈｚ交流電源照明下でフリッカが発生しないｎ／１２０秒の蓄積時間でそれぞれ駆動させる。これにより、第１フレームをフィールド画像Ａとし、第２フレームをフィールド画像Ｂとして生成する（ステップＳｔ３１、Ｓｔ３２）。

以降、上記第１の実施形態（図３のステップＳｔ３〜Ｓｔ９）と同様に、両フィールド画像Ａ、Ｂの演算からフィールド画像Ｃを得て、フリッカ検出及び補正の処理を行い（ステップＳｔ３３〜Ｓｔ３９）、第３フレーム以降の映像信号に対し、フリッカ補正を行う。この場合は、上記第３の実施形態と同様にフリッカ補正を行わず、フリッカが発生しない蓄積時間で撮像を続けてもよい。これにより、フリッカによる画質の劣化を低減させる。

従って、本実施形態によれば、連続する２フレームの撮像に関し、前フレームを５０Ｈｚの交流電源照明下でフリッカが発生しない蓄積時間、後フレームを６０Ｈｚの交流電源照明下でフリッカが発生しない蓄積時間で駆動することによって、２種類のフィールド画像を生成し、これらの除算処理によってフリッカを検出し、補正している。これにより、フリッカの検出にフレームメモリを２つ使用するが、従来手法と比較すると、フリッカ検出手段をより単純なシステムで実現できるという効果がある。
［第５の実施形態］
本実施形態について、図１４を参照して説明する。

図１４は、本実施形態の固体撮像装置の構成を示す。

図１４に示す固体撮像装置は、上記第３の実施形態と同様に、固体撮像素子部１、蓄積時間制御回路２、及びフリッカ回路３を有している。この構成により、固体撮像装置を用いた動画をモニタしながらの静止画の撮像において、上記第１、第２、または第４の実施形態と同様な手法で、フリッカの発生および交流電源周波数を随時観測しておき、撮像する静止画像にフリッカが発生しないように蓄積時間を制御する。これにより、フリッカによる画質の劣化を低減させることができる。

従って、本実施形態によれば、動画をモニタしながら静止画を撮像する場合でも、上記実施形態と同様の効果を得ることが可能となる。
［第６の実施形態］
本実施形態について、図１５を参照して説明する。

図１５は、本実施形態の固体撮像装置の構成を示す。

図１５に示す固体撮像装置は、上記第１の実施形態と同様に、固体撮像素子部１、蓄積時間制御回路２、フリッカ回路３、利得制御回路４、及び利得可変増幅器５を有している。この構成により、固体撮像装置を用いた動画をモニタしながらの静止画の撮像において、撮像した静止画像のフリッカを上記第１の実施形態と同様の手法で補正する。これにより、画質の劣化を低減させることができる。

従って、本実施形態によれば、動画をモニタしながら静止画を撮像する場合でも、上記実施形態と同様の効果を得ることが可能となる。
［第７の実施形態］
図１６に基づいて、本発明の固体撮像装置をスチルカメラに適用した場合の一実施例について詳述する。

図１６は、本発明の固体撮像装置をスチルビデオカメラに適用した場合を示すブロック図である。

図１６において、１はレンズのプロテクトとメインスイッチを兼ねるバリア、２は被写体の光学像を固体撮像素子４に結像させるレンズ、３はレンズ２を通った光量を可変するための絞り、４はレンズ２で結像された被写体を画像信号として取り込むための固体撮像素子、６は固体撮像素子４より出力される画像信号のアナログ−ディジタル変換を行うＡ／Ｄ変換器、７はＡ／Ｄ変換器６より出力された画像データに各種の補正を行ったりデータを圧縮する信号処理部、８は固体撮像素子４、撮像信号処理回路５、Ａ／Ｄ変換器６、信号処理部７に、各種タイミング信号を出力するタイミング発生部、９は各種演算とスチルビデオカメラ全体を制御する全体制御・演算部、１０は画像データを一時的に記憶する為のメモリ部、１１は記録媒体に記録または読み出しを行うためのインターフェース部、１２は画像データの記録または読み出しを行う為の半導体メモリ等の着脱可能な記録媒体、１３は外部コンピュータ等と通信する為のインターフェース部である。

次に、前述の構成における撮影時のスチルビデオカメラの動作について説明する。
バリア１がオープンされるとメイン電源がオンされ、次にコントロール系の電源がオンし、更にＡ／Ｄ変換器６などの撮像系回路の電源がオンされる。
それから、露光量を制御する為に、全体制御・演算部９は絞り３を開放にし、固体撮像素子４から出力された信号はＡ／Ｄ変換器６で変換された後、信号処理部７に入力される。
そのデータを基に露出の演算を全体制御・演算部９で行う。
この測光を行った結果により明るさを判断し、その結果に応じて全体制御・演算部９は絞りを制御する。

次に、固体撮像素子４から出力された信号をもとに、高周波成分を取り出し被写体までの距離の演算を全体制御・演算部９で行う。その後、レンズを駆動して合焦か否かを判断し、合焦していないと判断した時は、再びレンズを駆動し測距を行う。

そして、合焦が確認された後に本露光が始まる。

露光が終了すると、固体撮像素子４から出力された画像信号はＡ／Ｄ変換器６でＡ／Ｄ変換され、信号処理部７を通り全体制御・演算部９によりメモリ部に書き込まれる。
その後、メモリ部１０に蓄積されたデータは、全体制御・演算部９の制御により記録媒体制御Ｉ／Ｆ部を通り半導体メモリ等の着脱可能な記録媒体１２に記録される。

また、外部Ｉ／Ｆ部１３を通り直接コンピュータ等に入力して画像の加工を行ってもよい。
［第８の実施形態］
図１７に基づいて、本発明の固体撮像装置をビデオカメラに適用した場合の一実施例について詳述する。

図１７は、本発明の固体撮像装置をビデオカメラに適用した場合を示すブロック図で、１は撮影レンズで焦点調節を行うためのフォーカスレンズ１Ａ、ズーム動作を行うズームレンズ１Ｂ、結像用のレンズ１Ｃを備えている。

２は絞り、３は撮像面に結像された被写体像を光電変換して電気的な撮像信号に変換する固体撮像素子、４は固体撮像素子３より出力された撮像信号をサンプルホールドし、さらに、レベルをアンプするサンプルホールド回路（Ｓ／Ｈ回路）であり、映像信号を出力する。

５はサンプルホールド回路４から出力された映像信号にガンマ補正、色分離、ブランキング処理等の所定の処理を施すプロセス回路で、輝度信号Ｙおよびクロマ信号Ｃを出力する。プロセス回路５から出力されたクロマ信号Ｃは、色信号補正回路２１で、ホワイトバランス及び色バランスの補正がなされ、色差信号Ｒ−Ｙ，Ｂ−Ｙとして出力される。
また、プロセス回路５から出力された輝度信号Ｙと、色信号補正回路２１から出力された色差信号Ｒ−Ｙ，Ｂ−Ｙは、エンコーダ回路（ＥＮＣ回路）２４で変調され、標準テレビジョン信号として出力される。そして、図示しないビデオレコーダ、あるいは電子ビューファインダ等のモニタＥＶＦへと供給される。

次いで、６はアイリス制御回路で有り、サンプルホールド回路４から供給される映像信号に基づいてアイリス駆動回路７を制御し、映像信号のレベルが所定レベルの一定値となるように、絞り２の開口量を制御すべくｉｇメータを自動制御するものである。

１３、１４は、サンプルホールド回路４から出力された映像信号中より合焦検出を行うために必要な高周波成分を抽出する、異なった帯域制限のバンドパスフィルタ（ＢＰＦ）である。第一のバンドパスフィルタ１３（ＢＰＦ１）、及び第二のバンドパスフィルタ１４（ＢＰＦ２）から出力された信号は、ゲート回路１５及びフォーカスゲート枠信号で各々ゲートされ、ピーク検出回路１６でピーク値が検出されてホールドされると共に、論理制御回路１７に入力される。この信号を焦点電圧と呼び、この焦点電圧によってフォーカスを合わせている。

また、１８はフォーカスレンズ１Ａの移動位置を検出するフォーカスエンコーダ、１９はズームレンズ１Ｂの焦点距離を検出するズームエンコーダ、２０は絞り２の開口量を検出するアイリスエンコーダである。これらのエンコーダの検出値は、システムコントロールを行う論理制御回路１７へと供給される
論理制御回路１７は、設定された合焦検出領域内に相当する映像信号に基づいて、被写体に対する合焦検出を行い焦点調節を行う。即ち、各々のバンドパスフィルタ１３、１４より供給された高周波成分のピーク値情報を取り込み、高周波成分のピーク値が最大となる位置へとフォーカスレンズ１Ａを駆動すべくフォーカス駆動回路９にフォーカスモータ１０の回転方向、回転速度、回転／停止等の制御信号を供給し、これを制御する。

以上説明したように、本発明は、ＣＭＯＳセンサやＣＣＤセンサ等の固体撮像素子を有するビデオカメラやスチルビデオカメラ等の固体撮像装置を用いた動画および静止画の撮像の用途にも適用できる。

本発明の第１および第２の実施形態による固体撮像装置の構成を示す概略ブロック図である。 図１に示す固体撮像素子部により１フレーム内の２種類の異なるフィールド画像Ａとフィールド画像Ｂを生成する場合を説明する概念図である。 本発明の第１の実施形態による固体撮像装置の動作を示す概略フローチャートである。 本発明の第１の実施形態による固体撮像装置の動作を示す概略タイミングチャートである。 本発明の第１の実施形態による固体撮像装置において、ｎ／１００秒の蓄積時間の場合、５０Ｈｚ交流電源照明下でフリッカが発生しない理由を説明する図である。 本発明の第１の実施形態による固体撮像装置において、フリッカ検出に用いるフィールド画像Ｃの垂直射影出力波形の概念図である。 本発明の第１の実施形態による固体撮像装置において、交流点滅していない条件で撮像した場合に生成される第１フレームのフィールド画像及び第２フレーム以降の映像信号を説明する図である。 本発明の第１の実施形態による固体撮像装置において、５０Ｈｚで交流点滅する照明下の条件で撮像した場合の第１フレームのフィールド画像及び第２フレーム以降の補正映像信号を説明する図である。 本発明の第２の実施形態による固体撮像装置の動作を示す概略フローチャートである。 本発明の第３の実施形態による固体撮像装置の構成を示す概略ブロック図である。 本発明の第３の実施形態による固体撮像装置の動作を示す概略フローチャートである。 本発明の第４の実施形態による固体撮像装置の構成を示す概略ブロック図である。 本発明の第４の実施形態による固体撮像装置の動作を示す概略フローチャートである。 本発明の第５の実施形態による固体撮像装置の構成を示す概略ブロック図である。 本発明の第６の実施形態による固体撮像装置の構成を示す概略ブロック図である。 本発明の第７の実施形態による固体撮像装置を適用したスチルビデオカメラの全体構成を示す概略ブロック図である。 本発明の第８の実施形態による固体撮像装置を適用したビデオカメラの全体構成を示す概略ブロック図である。 従来技術のフリッカ検出用受光装置を別途用いてフリッカを検出する撮像装置を説明する概略ブロック図である。 （ａ）〜（ｃ）は、従来技術の連続した３ｎフレームの平均値を用いてフリッカ成分を相殺する場合を説明する図である。

符号の説明

１ 固体撮像素子部
２ 蓄積時間制御回路
３ フリッカ検出回路
４ 利得制御回路
５ 利得可変増幅器
１１ 垂直シフトレジスタ
１２ａ 第１水平レジスタ
１２ｂ 第２水平レジスタ
１３ａ 第１ラインメモリ
１３ｂ 第２ラインメモリ

Claims (11)

1. 行列状に配列された複数の画素を有する固体撮像素子を駆動させて映像信号を取得する固体撮像装置において、
   前記固体撮像装置は、前記映像信号の１フレームの撮像に関し、互いに異なる画素によって第１フィールド画像と第２フィールド画像とを生成し、
   前記第１フィールド画像および前記第２フィールド画像は、それぞれ前記画素のｍ列（ｍは正の整数）毎に信号を読み出したもので、
   前記第１フィールド画像と前記第２フィールド画像とは、互いに異なる蓄積時間によって得られたものであり、
   前記固体撮像装置は、前記第１フィールド画像と前記第２フィールド画像との除算処理によってフリッカ成分を抽出し、フリッカを検出するフリッカ検出手段を有することを特徴とする固体撮像装置。
2. 請求項１に記載の固体撮像装置において、
   前記固体撮像装置は、前記映像信号の１フレームの撮像に関し、前記固体撮像素子の列のうち、奇数列をｎ／１００秒（ｎは正の整数）及び偶数列をｎ／１２０秒、または奇数列をｎ／１２０秒及び偶数列をｎ／１００秒の蓄積時間で駆動させ、前記第１フィールド画像と前記第２フィールド画像とを生成し、
   前記第１フィールド画像は奇数列の前記画素の信号を読み出したものであり、
   前記第２フィールド画像は偶数列の前記画素の信号を読み出したものであることを特徴とする固体撮像装置。
3. 行列状に配列された複数の画素を有する固体撮像素子を駆動させて映像信号を取得する固体撮像装置において、
   前記固体撮像装置は、前記映像信号の１フレームの撮像に関し、互いに異なる画素によって第１フィールド画像と第２フィールド画像とを生成し、
   前記第１フィールド画像および前記第２フィールド画像は、それぞれ前記画素のｍ行（ｍは正の整数）毎に信号を読み出したもので、
   前記第１フィールド画像と前記第２フィールド画像とは、互いに異なる蓄積時間によって得られたものであり、
   前記固体撮像装置は、前記第１フィールド画像と前記第２フィールド画像との除算処理によってフリッカ成分を抽出し、フリッカを検出するフリッカ検出手段を有することを特徴とする固体撮像装置。
4. 請求項３に記載の固体撮像装置において、
   前記固体撮像装置は、前記映像信号の１フレームの撮像に関し、前記固体撮像素子の行のうち、奇数行をｎ／１００秒（ｎは正の整数）及び偶数行をｎ／１２０秒、または奇数行をｎ／１２０秒及び偶数行をｎ／１００秒の蓄積時間で駆動させ、前記第１フィールド画像と前記第２フィールド画像とを生成し、
   前記第１フィールド画像は奇数行の前記画素の信号を読み出したものであり、
   前記第２フィールド画像は偶数行の前記画素の信号を読み出したものであることを特徴とする固体撮像装置。
5. 複数の画素を有する固体撮像素子を駆動させて映像信号を取得する固体撮像装置において、
   前記固体撮像装置は、前記映像信号の時系列に連続する２つのフレームの撮像に関して、互いに異なる画素によって第１フィールド画像と第２フィールド画像とを生成し、
   前記第１フィールド画像は、前記２つのフレームのうちの前フレームでの前記画素の信号を読み出したもので、
   前記第２フィールド画像は、前記２つのフレームのうちの後フレームでの前記画素の信号を読み出したもので、
   前記第１フィールド画像と前記第２フィールド画像とは、前記前フレームをｎ／１００秒（ｎは正の整数）及び前記後フレームをｎ／１２０秒、または前記前フレームをｎ／１２０秒及び前記後フレームをｎ／１００秒の蓄積時間で駆動させて得られたものであり、
   前記固体撮像装置は、前記第１フィールド画像と前記第２フィールド画像との除算処理によってフリッカ成分を抽出し、フリッカを検出するフリッカ検出手段を有することを特徴とする固体撮像装置。
6. 請求項１〜５のいずれか１項に記載の固体撮像装置において、
   前記フリッカ検出手段によるフリッカ検出後、前記固体撮像素子の行毎にフリッカ成分の逆位相に比例する補正ゲインをかける手段をさらに有することを特徴とする固体撮像装置。
7. 請求項１〜５のいずれか１項に記載の固体撮像装置において、
   前記フリッカ検出手段によるフリッカ検出後、前記フリッカの発生しない蓄積時間を設定する手段をさらに有することを特徴とする固体撮像装置。
8. 行列状に配列された複数の画素を有する固体撮像素子を駆動させて映像信号を取得する固体撮像装置の駆動方法において、
   前記映像信号の１フレームの撮像に関し、互いに異なる画素によって第１フィールド画像と第２フィールド画像とを生成し、
   生成された前記第１フィールド画像と前記第２フィールド画像との除算処理によってフリッカ成分を抽出してフリッカを検出し、
   前記第１フィールド画像および前記第２フィールド画像は、それぞれ前記画素のｍ列（ｍは正の整数）毎に信号を読み出したもので、
   前記第１フィールド画像と前記第２フィールド画像とは、互いに異なる蓄積時間によって得られたものであることを特徴とする固体撮像装置の駆動方法。
9. 行列状に配列された複数の画素を有する固体撮像素子を駆動させて映像信号を取得する固体撮像装置の駆動方法において、
   前記映像信号の１フレームの撮像に関し、互いに異なる画素によって第１フィールド画像と第２フィールド画像とを生成し、
   生成された前記第１フィールド画像と前記第２フィールド画像との除算処理によってフリッカ成分を抽出してフリッカを検出し、
   前記第１フィールド画像および前記第２フィールド画像は、それぞれ前記画素のｍ行（ｍは正の整数）毎に信号を読み出したもので、
   前記第１フィールド画像と前記第２フィールド画像とは、互いに異なる蓄積時間によって得られたものであることを特徴とする固体撮像装置の駆動方法。
10. 複数の画素を有する固体撮像素子を駆動させて映像信号を取得する固体撮像装置の駆動方法において、
    前記映像信号の時系列に連続する２つのフレームの撮像に関して、互いに異なる画素によって第１フィールド画像と第２フィールド画像とを生成し、
    生成された前記第１フィールド画像と前記第２フィールド画像との除算処理によってフリッカ成分を抽出してフリッカを検出し、
    前記第１フィールド画像は、前記２つのフレームのうちの前フレームでの前記画素の信号を読み出したもので、
    前記第２フィールド画像は、前記２つのフレームのうちの後フレームでの前記画素の信号を読み出したもので、
    前記第１フィールド画像と前記第２フィールド画像とは、前記前フレームをｎ／１００秒（ｎは正の整数）及び前記後フレームをｎ／１２０秒、または前記前フレームをｎ／１２０秒及び前記後フレームをｎ／１００秒の蓄積時間で駆動させて得られたものであることを特徴とする固体撮像装置の駆動方法。
11. 請求項１〜７のいずれか１項に記載の固体撮像装置と、
    前記固体撮像装置へ光を結像する光学系と、
    前記固体撮像装置からの出力信号を処理する信号処理回路とを有することを特徴とする撮像システム。