JP4106554B2 - 撮影環境判定方法および撮像装置 - Google Patents

Description

この発明は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子などのＸＹアドレス走査型の撮像素子を用いた撮像装置によって被写体を撮影する場合の撮影環境を判定する方法、および、この撮影環境判定方法を実行する撮像装置に関する。

デジタルビデオカメラやデジタルスチルカメラなどの撮像装置によって被写体を撮影する場合、特に動画を撮影する場合、蛍光灯照明下にあるか否かは、蛍光灯フリッカが発生するか否かなどの点で、したがって蛍光灯フリッカに対する対策を必要とするか否かなどの点で、重要である。

家庭用交流電源によって直接点灯される蛍光灯の照明下で、撮像装置によって被写体を撮影すると、蛍光灯の輝度変化（光量変化）の周波数（交流電源の周波数の２倍）と撮像装置の垂直同期周波数（撮像周波数）との違いによって、撮影出力の映像信号に時間的な明暗の変化、いわゆる蛍光灯フリッカを生じる。

例えば、電源周波数が５０Ｈｚの地域において、非インバータ方式の蛍光灯の照明下で、ＮＴＳＣ方式のＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）撮像装置によって被写体を撮影する場合、図１８に示すように、１フィールドが１／６０秒（垂直同期周波数が６０Ｈｚ）であるのに対して、蛍光灯の輝度変化の周期が１／１００秒となるので、蛍光灯の輝度変化に対して各フィールドの露光タイミングがずれ、各画素の露光量がフィールドごとに（フィールド間で）変化する。

そのため、露光時間が１／６０秒であるときには、期間ａ１，ａ２，ａ３では、同じ露光時間でも露光量が異なり、露光時間が１／６０秒より短いとき（ただし、後述のように１／１００秒ではないとき）には、期間ｂ１，ｂ２，ｂ３では、同じ露光時間でも露光量が異なる。

この場合、蛍光灯の輝度変化に対する露光タイミングは、３フィールド（１／２０秒）ごとに元のタイミングに戻るため、フリッカによる明暗変化は、３フィールドごとの繰り返しとなる。すなわち、各フィールドの輝度比（フリッカの見え方）は、露光期間によって変わるが、フリッカの周期は変わらない。

さらに、蛍光灯は、白色光を発光するために、通常、複数の蛍光体、例えば、赤、緑、青の蛍光体が用いられている。しかし、これら蛍光体は、それぞれが固有の残光特性を有し、輝度変化の周期中に存在する放電停止から次の放電開始までの期間は、それぞれの残光特性で減衰発光する。そのため、この期間では、始めは白色であった光が、次第に色相を変えながら減衰することになるので、上記のように露光タイミングがずれると、明暗変化だけでなく、色相変化を生じる。また、蛍光灯は、特定の波長に強いピークが存在するという特有の分光特性を持っているため、色によって信号の変動成分が異なる。

そして、このような色相変化、および色ごとの変動成分の差によって、いわゆる色フリッカが発生する。

ただし、この場合、露光時間を、１フィールド（１／６０秒）を超えない範囲内で、蛍光灯の輝度変化の周期である１／１００秒の整数倍に設定すれば、すなわち図１８の最下段に示すように１／１００秒に設定すれば、露光タイミングにかかわらず露光量が一定となって、フリッカを生じない。また、このようにシャッタ速度をフリッカが発生しない速度に設定する代わりに、蛍光灯照明下で被写体を撮影した場合に撮像出力の映像信号に生じるフリッカを低減する方法も考えられている。

一方、ＣＭＯＳ撮像装置などのＸＹアドレス走査型の撮像装置では、画素ごとの露光タイミングが画面水平方向において読み出しクロック（画素クロック）の１周期分ずつ順次ずれ、全ての画素で露光タイミングが異なるため、ＣＣＤ撮像装置の場合とは蛍光灯フリッカの態様が異なる。

デジタルビデオカメラとしては、ＮＴＳＣ方式のものとＰＡＬ方式のものがある。さらに、最近のデジタルビデオカメラは、ＮＴＳＣ方式とＰＡＬ方式の両方に対応したものがほとんどであり、工場から出荷する際に、出荷仕向けによって電気的にＮＴＳＣ方式とＰＡＬ方式のいずれかに設定される。また、デジタルスチルカメラなどでは、フレーム周波数が３０Ｈｚのプログレッシブ方式のものがある。

また、家庭用交流電源（蛍光灯駆動電源）の周波数は、日本の一部地域および世界の一部の国または地域では５０Ｈｚとされ、日本のその他の地域および世界のその他の国または地域では６０Ｈｚとされている。

以下に、ＣＭＯＳ撮像装置につき、ＮＴＳＣ方式、ＰＡＬ方式、またはフレーム周波数が３０Ｈｚのプログレッシブ方式の場合、および電源周波数が５０Ｈｚまたは６０Ｈｚの地域で撮影する場合における、蛍光灯フリッカの態様を示す。

図１９に、ＮＴＳＣ方式のＣＭＯＳ撮像装置によって、電源周波数が５０Ｈｚの地域において、蛍光灯照明下で被写体を撮影する場合を示す。

上記のように、ＣＭＯＳ撮像装置では、画面水平方向でも各画素の露光タイミングが順次ずれるが、蛍光灯の輝度変化の周期に比べて１水平周期は十分短いので、同一ライン上の画素は露光タイミングが同時であると仮定し、画面垂直方向における各ラインの露光タイミングを示す。実際上、このように仮定しても問題はない。

図１９に示すように、ＣＭＯＳ撮像装置では、ラインごとに露光タイミングが異なり（Ｆ０は、あるフィールドでの、その様子を示す）、各ラインで露光量に差を生じるため、フリッカによる明暗変化および色変化が、フィールド間だけでなくフィールド内でも生じ、画面上では縞模様（縞自体の方向は画面水平方向、縞の変化の方向は画面垂直方向）として現れる。

図２０に、被写体が均一なパターンの場合の、この面内フリッカの様子を示す。縞模様の１周期（１波長）が１／１００秒であるので、１画面中には１．６６６周期分の縞模様が発生することになり、１フィールド当たりの読み出しライン数をＭとすると、縞模様の１周期は読み出しライン数ではＬ＝Ｍ＊６０／１００に相当する。なお、明細書および図面では、アスタリスク（＊）を乗算の記号として用いる。

図２１に示すように、この縞模様は、３フィールド（３画面）で５周期（５波長）分となり、連続的に見ると垂直方向に流れるように見える。

図２０および図２１には、フリッカによる明暗変化のみを示すが、実際には上述した色変化も加わり、画質が著しく劣化する。特に色フリッカは、シャッタ速度が速くなる（露光時間が短くなる）と顕著になるとともに、ＣＭＯＳ撮像装置では、その影響が画面内に現れるため、画質劣化がより目立つようになる。

以上のように、ＮＴＳＣ方式のＣＭＯＳ撮像装置によって、電源周波数が５０Ｈｚの地域において、蛍光灯照明下で被写体を撮影する場合には、図２２（Ａ）の左側にも示すように、１フィールドが１／６０秒であるのに対して、蛍光灯の輝度変化の周期が１／１００秒となるので、露光時間が１／６０秒の通常シャッタ時にも、露光時間が１／６０秒より短い高速シャッタ時にも、図２２（Ａ）の右側に示すように、３フィールド（３画面）を繰り返し周期とする時間軸上で連続性を持った（連続的に見ると垂直方向に流れるように見える）フリッカを生じる。

ただし、この場合、露光時間を、１フィールド（１／６０秒）を超えない範囲内で、蛍光灯の輝度変化の周期である１／１００秒の整数倍に設定すれば、すなわち１／１００秒に設定すれば、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。

以上の、ＣＭＯＳ撮像装置についての、垂直同期周波数が６０Ｈｚ、電源周波数が５０Ｈｚの場合を、図２４の第１段目に示す。

ＮＴＳＣ方式のＣＭＯＳ撮像装置によって、電源周波数が６０Ｈｚの地域において、蛍光灯照明下で被写体を撮影する場合には、図２２（Ｂ）の左側に示すように、１フィールドが１／６０秒であるのに対して、蛍光灯の輝度変化の周期が１／１２０秒となるので、露光時間が１／６０秒の通常シャッタ時には、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じないが、露光時間が１／６０秒より短い高速シャッタ時には、図２２（Ｂ）の右側に示すように、各フィールド（各画面）でフリッカの縞模様が同一となる１フィールド（１画面）で完結するフリッカを生じる。

そして、このように各画面でフリッカの縞模様が同一となる１画面で完結するフリッカを生じる場合には、撮像素子からの映像信号中の絵柄（背景）成分とフリッカ成分を区別することができなくなる。

ただし、高速シャッタとする場合でも、露光時間を、蛍光灯の輝度変化の周期である１／１２０秒に設定すれば、露光時間が１／６０秒の通常シャッタ時と同様に、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。

以上の、ＣＭＯＳ撮像装置についての、垂直同期周波数が６０Ｈｚ、電源周波数が６０Ｈｚの場合を、図２４の第２段目に示す。

ＰＡＬ方式のＣＭＯＳ撮像装置によって、電源周波数が６０Ｈｚの地域において、蛍光灯照明下で被写体を撮影する場合には、図２３（Ａ）の左側に示すように、１フィールドが１／５０秒であるのに対して、蛍光灯の輝度変化の周期が１／１２０秒となるので、露光時間が１／５０秒の通常シャッタ時にも、露光時間が１／５０秒より短い高速シャッタ時にも、図２３（Ａ）の右側に示すように、５フィールド（５画面）を繰り返し周期とする時間軸上で連続性を持った（連続的に見ると垂直方向に流れるように見える）フリッカを生じる。

ただし、この場合、露光時間を、１フィールド（１／５０秒）を超えない範囲内で、蛍光灯の輝度変化の周期である１／１２０秒の整数倍に設定すれば、すなわち１／１２０秒または１／６０秒に設定すれば、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。

以上の、ＣＭＯＳ撮像装置についての、垂直同期周波数が５０Ｈｚ、電源周波数が６０Ｈｚの場合を、図２４の第４段目に示す。

ＰＡＬ方式のＣＭＯＳ撮像装置によって、電源周波数が５０Ｈｚの地域において、蛍光灯照明下で被写体を撮影する場合には、図２３（Ｂ）の左側に示すように、１フィールドが１／５０秒であるのに対して、蛍光灯の輝度変化の周期が１／１００秒となるので、露光時間が１／５０秒の通常シャッタ時には、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じないが、露光時間が１／５０秒より短い高速シャッタ時には、図２３（Ｂ）の右側に示すように、各フィールド（各画面）でフリッカの縞模様が同一となる１フィールド（１画面）で完結するフリッカを生じる。

ただし、高速シャッタとする場合でも、露光時間を、蛍光灯の輝度変化の周期である１／１００秒に設定すれば、露光時間が１／５０秒の通常シャッタ時と同様に、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。

以上の、ＣＭＯＳ撮像装置についての、垂直同期周波数が５０Ｈｚ、電源周波数が５０Ｈｚの場合を、図２４の第３段目に示す。

フレーム周波数が３０Ｈｚのプログレッシブ方式のＣＭＯＳ撮像装置によって、電源周波数が５０Ｈｚの地域において、蛍光灯照明下で被写体を撮影する場合には、図では省略するが、１フレームが１／３０秒（垂直同期周波数が３０Ｈｚ）であるのに対して、蛍光灯の輝度変化の周期が１／１００秒となるので、露光時間が１／３０秒の通常シャッタ時にも、露光時間が１／３０秒より短い高速シャッタ時にも、３フレーム（３画面）を繰り返し周期とする時間軸上で連続性を持った（連続的に見ると垂直方向に流れるように見える）フリッカを生じる。

ただし、この場合、露光時間を、１フレーム（１／３０秒）を超えない範囲内で、蛍光灯の輝度変化の周期である１／１００秒の整数倍に設定すれば、すなわち１／１００秒、１／５０秒または３／１００秒に設定すれば、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。

以上の、ＣＭＯＳ撮像装置についての、垂直同期周波数が３０Ｈｚ、電源周波数が５０Ｈｚの場合を、図２４の第５段目に示す。

フレーム周波数が３０Ｈｚのプログレッシブ方式のＣＭＯＳ撮像装置によって、電源周波数が６０Ｈｚの地域において、蛍光灯照明下で被写体を撮影する場合には、図では省略するが、１フレームが１／３０秒であるのに対して、蛍光灯の輝度変化の周期が１／１２０秒となるので、露光時間が１／３０秒の通常シャッタ時には、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じないが、露光時間が１／３０秒より短い高速シャッタ時には、各フレーム（各画面）でフリッカの縞模様が同一となる１フレーム（１画面）で完結するフリッカを生じる。

ただし、高速シャッタとする場合でも、露光時間を、蛍光灯の輝度変化の周期である１／１２０秒の整数倍に設定すれば、すなわち１／１２０秒、１／６０秒または１／４０秒に設定すれば、露光時間が１／３０秒の通常シャッタ時と同様に、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。

以上の、ＣＭＯＳ撮像装置についての、垂直同期周波数が３０Ｈｚ、電源周波数が６０Ｈｚの場合を、図２４の第６段目に示す。

ＣＭＯＳ撮像装置についても、シャッタ速度をフリッカが発生しない速度に設定する代わりに、蛍光灯照明下で被写体を撮影した場合に撮像出力の映像信号に生じるフリッカを低減する方法が考えられている。

具体的に、図２１、図２２（Ａ）または図２３（Ａ）に示したような、複数垂直周期（複数画面）を繰り返し周期とする時間軸上で連続性を持ったフリッカを生じる場合には、フリッカの連続性を利用して、撮影出力の映像信号中のフリッカ成分を推定し、その推定結果のフリッカ成分に応じて映像信号のゲインを調整し、または推定結果のフリッカ成分を映像信号から減算するなど、推定結果に応じて撮影出力の映像信号を補正することによって、撮影出力の映像信号中のフリッカ成分を低減することができる。

なお、動画と静止画の両方を撮影できるデジタルビデオカメラやデジタルスチルカメラによって静止画を撮影する場合には、ＣＭＯＳ撮像装置などのＸＹアドレス走査型の撮像装置でも、１画面内の全ての画素の露光タイミング（露光開始および露光終了のタイミング）を同一にすることができるので、蛍光灯フリッカの発生を回避することができる。この場合、撮像素子からの映像信号の読み出しは、動画を撮影する場合のような読み出し速度の制約がないので、機械的なシャッタを閉じて遮光した状態で、ゆっくり行うことができる。

以上のように、ＣＭＯＳ撮像装置などのＸＹアドレス走査型の撮像装置では、撮影出力の映像信号にフリッカを生じないシャッタ速度に設定し、または映像信号に生じたフリッカを低減するには、蛍光灯照明下にあるか否か、および、蛍光灯照明下にある場合には蛍光灯駆動電源周波数が５０Ｈｚであるか６０Ｈｚであるかを、判断する必要がある。

また、ＷＢ（ホワイトバランス）調整やＡＥ（自動露光）調整などの調整も、蛍光灯照明下と非蛍光灯照明下では、それぞれに最適なように制御することが好ましく、そのためには、蛍光灯照明下にあるか否かを判断する必要がある。

このように撮影環境を判定する方法として、特許文献１（特開平７−３３６５８６号公報）には、特別に用意した測光センサによって外光を直接測定し、その測定結果の出力信号中に変動成分が存在するか否かによって蛍光灯照明下にあるか否かを判断し、さらに変動成分が存在することにより蛍光灯照明下と判断した場合には、変動成分の周波数を検出することによって蛍光体駆動電源周波数を検出する方法が示されている。

しかし、この特許文献１に記載された方法は、別途測光センサを必要とし、しかも測光センサと撮像装置本体との間の接続や通信を考慮しなければならないので、撮像装置が大型化し、高コスト化する問題がある。

そこで、撮影出力の映像信号から、蛍光灯照明下にあるか否かを判断し、蛍光灯駆動電源周波数を検出できる方法が望まれる。

そのような方法として、特許文献２（特開２００１−１１１８８７号公報）には、
（１）画素値を画面水平方向に積算して、背景（絵柄）の影響を弱めたフリッカ成分データを生成し、
（２）その積算データを複数画面に渡って平均化して、背景成分に相当する平均値を算出し、
（３）この平均値で上記の積算データを正規化して、背景の影響を取り除いたフリッカ成分データを算出し、
（４）このフリッカ成分データを画面垂直方向にフーリエ変換して、フリッカ周波数成分のみのスペクトルを抽出し、
（５）そのスペクトルのレベルを閾値と比較して、フリッカが発生しているか否か、すなわち蛍光灯照明下にあるか否か、および蛍光灯駆動電源周波数が５０Ｈｚであるか６０Ｈｚであるかを判断し、
（６）その判断結果に応じてシャッタ速度を切り換えてフリッカの発生を阻止する、
方法が示されている。

また、特許文献３（特開２００２−８４４６６号公報）には、
（１）画素値を画面水平方向に積算して、背景（絵柄）の影響を弱めた積算値を算出し、
（２）その積算値のフレーム間の変化量から、一定の評価式によってフリッカ指標値を演算し、
（３）その演算結果から、フリッカが発生しているか否か、すなわち蛍光灯照明下にあるか否か、および蛍光灯駆動電源周波数が５０Ｈｚであるか６０Ｈｚであるかを判断し、
（４）その判断結果に応じてシャッタ速度を切り換えてフリッカの発生を阻止する、
方法が示されている。

上に挙げた先行技術文献は、以下の通りである。
特開平７−３３６５８６号公報 特開２００１−１１１８８７号公報 特開２００２−８４４６６号公報

しかしながら、上記の特許文献２または３に記載された方法では、図２２（Ｂ）または図２３（Ｂ）に示したような、各画面でフリッカの縞模様が同一となる１画面で完結するフリッカを生じる場合には、撮影出力の映像信号中の絵柄（背景）成分とフリッカ成分を区別することができず、映像信号のフィールド間での変動成分が検出されないため、蛍光灯照明下と判断することができない。

特許文献３の「実施の形態２」には、この問題を解決する方法として、
（０）最初に、シャッタ速度を１／１２０秒の整数倍に設定し、
（１）この状態で、画素値を画面水平方向に積算して、背景（絵柄）の影響を弱めた積算値を算出し、
（２）その積算値のフレーム間の変化量から、一定の評価式によってフリッカ指標値を演算し、
（３）その演算結果から、電源周波数が５０Ｈｚの蛍光灯照明下にあるか否かを判断し、
（４）電源周波数が５０Ｈｚの蛍光灯照明下にあると判断した場合には、シャッタ速度を１／１００秒の整数倍に設定し、
（５）電源周波数が５０Ｈｚの蛍光灯照明下にないと判断した場合には、シャッタ速度を電源周波数が６０Ｈｚの蛍光灯照明下ではフリッカが発生しない１／１２０秒の整数倍に設定する、
方法が示されている。

しかしながら、この方法では、電源周波数が５０Ｈｚの蛍光灯照明下にない場合、電源周波数が６０Ｈｚの蛍光灯照明下にあるか否かを判断することなく、シャッタ速度を１／１２０秒の整数倍に設定するので、電源周波数が５０Ｈｚの蛍光灯照明下でもなく、電源周波数が６０Ｈｚの蛍光灯照明下でもない、そもそもフリッカが発生しない非蛍光灯照明下にある場合にも、不必要にシャッタ速度が制限されてしまうとともに、最終的に蛍光灯照明下にあるか否かを示す情報を得ることができず、判定結果を上述したＷＢ調整やＡＥ調整に利用することもできない。

そこで、この発明は、ＣＭＯＳ撮像装置などのＸＹアドレス走査型の撮像装置によって被写体を撮影する場合に、蛍光灯照明下にあるか否か、および蛍光灯照明下にある場合には蛍光灯駆動電源周波数が５０Ｈｚであるか６０Ｈｚであるかを、簡単かつ確実に判断することができるようにしたものである。

第１の発明の撮影環境判定方法は、
垂直同期周波数が１２０／Ｊ［Ｈｚ］（Ｊは正の整数）とされた、ＸＹアドレス走査型の撮像素子を用いた撮像装置によって被写体を撮影する場合の撮影環境判定方法であって、
前記撮像素子のシャッタ速度を、第１のシャッタ速度としてのＮ／１２０［秒］（Ｎは正の整数）に設定する第１工程と、
前記第１のシャッタ速度で前記撮像素子から得られた映像信号を画面の特定領域内で積算し、その積算値を連続する複数垂直周期において得られた複数の積算値の平均値で正規化して、第１の正規化積算値を求める第２工程と、
前記第１の正規化積算値から第１の周波数成分を抽出し、当該第１の周波数成分のレベルが第１の閾値より大きいか否かを判断する第３工程と、
前記第１の周波数成分のレベルが前記第１の閾値以下であると判断した場合に、前記撮像素子のシャッタ速度を、前記第１のシャッタ速度と異なる第２のシャッタ速度としてのＮ／１００［秒］に設定する第４工程と、
前記第２のシャッタ速度で前記撮像素子から得られた映像信号を画面の特定領域内で積算し、その積算値を前記第２工程で用いた平均値で正規化して、第２の正規化積算値を求める第５工程と、
前記第２の正規化積算値から第２の周波数成分を抽出し、当該第２の周波数成分のレベルが第２の閾値より大きいか否かを判断する第６工程と、
を備えるものとする。

第２の発明の撮影環境判定方法は、
垂直同期周波数が１００／Ｊ［Ｈｚ］（Ｊは正の整数）とされた、ＸＹアドレス走査型の撮像素子を用いた撮像装置によって被写体を撮影する場合の撮影環境判定方法であって、
前記撮像素子のシャッタ速度を、第１のシャッタ速度としてのＮ／１００［秒］（Ｎは正の整数）に設定する第１工程と、
前記第１のシャッタ速度で前記撮像素子から得られた映像信号を画面の特定領域内で積算し、その積算値を連続する複数垂直周期において得られた複数の積算値の平均値で正規化して、第１の正規化積算値を求める第２工程と、
前記第１の正規化積算値から第１の周波数成分を抽出し、当該第１の周波数成分のレベルが第１の閾値より大きいか否かを判断する第３工程と、
前記第１の周波数成分のレベルが前記第１の閾値以下であると判断した場合に、前記撮像素子のシャッタ速度を、前記第１のシャッタ速度と異なる第２のシャッタ速度としてのＮ／１２０［秒］に設定する第４工程と、
前記第２のシャッタ速度で前記撮像素子から得られた映像信号を画面の特定領域内で積算し、その積算値を前記第２工程で用いた平均値で正規化して、第２の正規化積算値を求める第５工程と、
前記第２の正規化積算値から第２の周波数成分を抽出し、当該第２の周波数成分のレベルが第２の閾値より大きいか否かを判断する第６工程と、
を備えるものとする。

上記の第１の発明の撮影環境判定方法では、ＮＴＳＣ方式やフレーム周波数が３０Ｈｚのプログレッシブ方式など、垂直同期周波数が１２０／Ｊ［Ｈｚ］（Ｊは正の整数）とされた撮像装置において、第１のシャッタ速度をＮ／１２０［秒］（Ｎは正の整数）に設定し、第２のシャッタ速度をＮ／１００［秒］に設定することによって、第３工程では、第１の周波数成分のレベルが第１の閾値より大きいか否かによって、電源周波数が５０Ｈｚの蛍光灯照明下にあるか否かを判断することができ、第６工程では、第２の周波数成分のレベルが第２の閾値より大きいか否かによって、電源周波数が６０Ｈｚの蛍光灯照明下にあるか否かを判断することができる。

上記の第２の発明の撮影環境判定方法では、ＰＡＬ方式など、垂直同期周波数が１００／Ｊ［Ｈｚ］（Ｊは正の整数）とされた撮像装置において、第１のシャッタ速度をＮ／１００［秒］（Ｎは正の整数）に設定し、第２のシャッタ速度をＮ／１２０［秒］に設定することによって、第３工程では、第１の周波数成分のレベルが第１の閾値より大きいか否かによって、電源周波数が６０Ｈｚの蛍光灯照明下にあるか否かを判断することができ、第６工程では、第２の周波数成分のレベルが第２の閾値より大きいか否かによって、電源周波数が５０Ｈｚの蛍光灯照明下にあるか否かを判断することができる。

以上のように、この発明によれば、ＣＭＯＳ撮像装置などのＸＹアドレス走査型の撮像装置によって被写体を撮影する場合に、蛍光灯照明下にあるか否か、および蛍光灯照明下にある場合には蛍光灯駆動電源周波数が５０Ｈｚであるか６０Ｈｚであるかを、簡単かつ確実に判断することができる。

また、電源周波数が５０Ｈｚの蛍光灯照明下にあるか否か、および電源周波数が６０Ｈｚの蛍光灯照明下にあるか否かを、判断することができるので、両者の判断の結果、非蛍光灯照明下と判定される場合には、通常のシャッタ制御として、シャッタ速度を任意に設定することができ、従来の方法のように、フリッカが発生しない非蛍光灯照明下にある場合にも不必要にシャッタ速度が制限されてしまうことがない。

また、最終的に蛍光灯照明下にあるか否かを示す情報を得ることができるので、判定結果をＷＢ調整やＡＥ調整に利用することができる。

〔撮像装置のシステム構成：図１〕
図１は、この発明の撮像装置の一例のシステム構成を示し、ＸＹアドレス走査型の撮像素子としてＣＭＯＳ撮像素子を用いた場合である。

この例の撮像装置では、被写体からの光が、撮像光学系１１を介してＣＭＯＳ撮像素子１２に入射して、ＣＭＯＳ撮像素子１２で光電変換され、ＣＭＯＳ撮像素子１２から、ＲＧＢ（赤、緑、青）各色の原色信号または補色系の色信号からなるアナログ映像信号が得られる。

ＣＭＯＳ撮像素子１２は、ＣＭＯＳ基板上に、フォトダイオード（フォトゲート）、転送ゲート（シャッタトランジスタ）、スイッチングトランジスタ（アドレストランジスタ）、増幅トランジスタ、リセットトランジスタ（リセットゲート）などを有する画素が複数、２次元状に配列されて形成されるとともに、垂直走査回路、水平走査回路および映像信号出力回路が形成されたものである。

このＣＭＯＳ撮像素子１２からのアナログ映像信号は、ＩＣ（集積回路）として構成されたアナログ信号処理部１３で、色信号ごとに、サンプルホールドされ、ＡＧＣ（自動利得制御）によってゲインが制御され、Ａ／Ｄ変換によってデジタル信号に変換される。

このアナログ信号処理部１３からのデジタル映像信号は、ＩＣとして構成されたデジタル信号処理部１４で、クランプ、ゲイン調整、ＷＢ調整、ガンマ補正（階調変換）などの処理が実行されて、最終的に、デジタル信号処理部１４から、輝度信号Ｙおよび赤、青の色差信号Ｒ−Ｙ，Ｂ−Ｙが出力される。

さらに、このデジタル信号処理部１４には、フリッカ検出部１９が設けられ、システムコントローラ２１の制御によって、このフリッカ検出部１９で、撮影環境の判定用に後述のフリッカ検出処理が実行される。

システムコントローラ２１は、マイクロコンピュータなどによって構成され、カメラ各部を制御する。

具体的に、システムコントローラ２１から、ＩＣとして構成されたレンズ駆動用ドライバ１５に、レンズ駆動制御信号が供給され、レンズ駆動用ドライバ１５によって、撮像光学系１１のレンズやアイリスが駆動される。

また、システムコントローラ２１からタイミングジェネレータ１６に、タイミング制御信号が供給され、タイミングジェネレータ１６からＣＭＯＳ撮像素子１２に、各種タイミング信号が供給されて、ＣＭＯＳ撮像素子１２が駆動される。

さらに、デジタル信号処理部１４からシステムコントローラ２１に、映像信号の検波信号が取り込まれ、システムコントローラ２１からのＡＧＣ信号によって、アナログ信号処理部１３で、上記のように各色信号のゲインが制御されるとともに、システムコントローラ２１によって、デジタル信号処理部１４における信号処理が制御される。

また、システムコントローラ２１には、手ぶれセンサ１７が接続され、これから得られる手ぶれ情報が、手ぶれ補正に利用される。

また、システムコントローラ２１には、マイクロコンピュータなどによって構成されたヒューマンインタフェース２６を介して、ユーザインタフェース２７を構成する操作部２８および表示部２９が接続され、操作部２８での設定操作や選択操作などが、システムコントローラ２１によって検出されるとともに、カメラの設定状態や制御状態などが、システムコントローラ２１によって表示部２９に表示される。

さらに、システムコントローラ２１は、機能的に撮影環境判定部２２およびＡＥ制御部２３を備え、その撮影環境判定部２２で、後述のように撮影環境が判定され、ＡＥ制御部２３で、実際の撮影時のＣＭＯＳ撮像素子１２の電子シャッタ速度（露光時間）が設定される。

以上のようなシステム構成の撮像装置としては、映像方式につき、（Ａ）出荷時にＮＴＳＣ方式とＰＡＬ方式のいずれかに選択的に設定される撮像装置、（Ｂ）ＮＴＳＣ方式とＰＡＬ方式のいずれかに最初から固定的に決定されている撮像装置、（Ｃ）フレーム周波数が３０Ｈｚのプログレッシブ方式の撮像装置、などが考えられる。

出荷時にＮＴＳＣ方式とＰＡＬ方式のいずれかに選択的に設定される撮像装置では、その設定状態が、設定フラグとしてシステムコントローラ２１内に保持され、撮影環境判定部２２による撮影環境の判定およびＡＥ制御部２３によるシャッタ速度の設定に供される。

以下においては、撮像装置の設定または決定されている垂直同期周波数（ＮＴＳＣ方式ではフィールド周波数で６０Ｈｚ、ＰＡＬ方式ではフィールド周波数で５０Ｈｚ、プログレッシブ方式ではフレーム周波数）をｆｖとし、蛍光灯を駆動する交流電源の周波数（５０Ｈｚまたは６０Ｈｚ）をｆｐとする。

〔撮影環境判定方法：図２〜図１７〕
以下では、まず、出荷時にＮＴＳＣ方式とＰＡＬ方式のいずれかに選択的に設定される撮像装置につき、フリッカ検出部１９でのフリッカ検出処理を含む、この発明の撮影環境判定方法を示し、ＮＴＳＣ方式とＰＡＬ方式のいずれかに最初から固定的に決定されている撮像装置、およびフレーム周波数が３０Ｈｚのプログレッシブ方式の撮像装置については、そのあとに示す。

以下においてシャッタ速度につき示す「Ｎ」は、正の整数であるが、シャッタ速度（露光時間）が１垂直周期（ＮＴＳＣ方式では１／６０秒、ＰＡＬ方式では１／５０秒、フレーム周波数が３０Ｈｚのプログレッシブ方式では１／３０秒）を超えない範囲内の値である。以下における「Ｎ／１００秒」「Ｎ／１２０秒」の直後の括弧内に示すシャッタ速度は、この１垂直周期を超えない範囲内の具体的なシャッタ速度である。

（フリッカ検出部の構成：図２）
図２に、図１のフリッカ検出部１９の一例を示す。

この例のフリッカ検出部１９は、ライン積分ブロック３１、メモリ３２、平均値計算ブロック３３、正規化ブロック３４、ＤＦＴ（離散フーリエ変換）ブロック３５、スイッチ３６およびメモリコントローラ３７によって構成される。

フリッカ検出部１９の入力信号は、この例ではデジタル信号処理部１４で得られる輝度信号とするが、色信号でもよい。ただし、上述したように蛍光灯フリッカ成分は色ごとにレベルが異なり、蛍光灯によっては特定の色成分がほとんど変動しないものもあるので、特定の色信号のみからフリッカ成分の有無を判断すると、誤検出の恐れがある。

そのため、フリッカ検出部１９の入力信号を色信号とする場合には、特定の色信号だけでなく、複数の色信号、例えばＲＧＢ各色の色信号につき独立に、後述のフリッカ検出処理を実行し、その複数の色信号中の少なくとも一つにつき、フリッカ成分が検出されたときには、蛍光灯照明下にあると判断する構成とすることが望ましい。

図２０および図２１は、被写体が一様な場合であるが、一般にフリッカ成分は被写体の信号強度に比例する。

そこで、一般の被写体についての任意のフィールドｎおよび任意の画素（ｘ，ｙ）におけるフリッカ検出部１９の入力信号をＩｎ’（ｘ，ｙ）とすると、Ｉｎ’（ｘ，ｙ）は、フリッカ成分を含まない信号成分と、これに比例したフリッカ成分との和として、図６の式（１）で表される。

Ｉｎ（ｘ，ｙ）は、信号成分であり、Γｎ（ｙ）＊Ｉｎ（ｘ，ｙ）は、フリッカ成分であり、Γｎ（ｙ）は、フリッカ係数である。蛍光灯の発光周期（ｆｐ＝５０Ｈｚでは１／１００秒、ｆｐ＝６０Ｈｚでは１／１２０秒）に比べて１水平周期は十分短く、同一フィールドの同一ラインではフリッカ係数は一定と見なすことができるので、フリッカ係数はΓｎ（ｙ）で表す。

Γｎ（ｙ）を一般化するために、図６の式（２）に示すように、フーリエ級数に展開した形式で記述する。これによって、蛍光灯の種類によって異なる発光特性および残光特性を全て網羅した形式でフリッカ係数を表現することができる。

式（２）中のλｏは、図２０に示したような面内フリッカの波長であり、１フィールド（ＮＴＳＣ方式では１／６０秒、ＰＡＬ方式では１／５０秒）当たりの読み出しライン数をＭとすると、ｆｐ＝５０Ｈｚのときには、（Ｍ＊ｆｖ／１００）ラインに相当し、ｆｐ＝６０Ｈｚのときには、（Ｍ＊ｆｖ／１２０）ラインに相当する。ωｏは、λｏで正規化された規格化角周波数である。

γｍは、各次（ｍ＝１，２，３‥）のフリッカ成分の振幅である。Φｍｎは、各次のフリッカ成分の初期位相を示し、蛍光灯の発光周期と露光タイミングによって決まる。

すなわち、
（ａ）ｆｐ＝５０Ｈｚ，ｆｖ＝６０Ｈｚ（ＮＴＳＣ方式）の場合には、図２２（Ａ）に示したように、Φｍｎは３フィールドごとに同じ値になり、直前のフィールドとの間のΦｍｎの差ΔΦｍｎは、図６の式（３ａ）で表され、
（ｂ）ｆｐ＝６０Ｈｚ，ｆｖ＝６０Ｈｚ（ＮＴＳＣ方式）の場合には、図２２（Ｂ）に示したように、Φｍｎは各フィールドで同じ値になり、直前のフィールドとの間のΦｍｎの差ΔΦｍｎは、図６の式（３ｂ）で表され、
（ｃ）ｆｐ＝５０Ｈｚ，ｆｖ＝５０Ｈｚ（ＰＡＬ方式）の場合には、図２３（Ｂ）に示したように、Φｍｎは各フィールドで同じ値になり、直前のフィールドとの間のΦｍｎの差ΔΦｍｎは、図６の式（３ｃ）で表され、
（ｄ）ｆｐ＝６０Ｈｚ，ｆｖ＝５０Ｈｚ（ＰＡＬ方式）の場合には、図２３（Ａ）に示したように、Φｍｎは５フィールドごとに同じ値になり、直前のフィールドとの間のΦｍｎの差ΔΦｍｎは、図６の式（３ｄ）で表される。

（撮影環境判定処理）
システムコントローラ２１の撮影環境判定部２２は、撮像装置の電源がオンにされたときや、被写体情報（被写体の明るさや色温度）が大きく変化して、撮影環境が変化した可能性があるときには、以下のような撮影環境判定処理を実行して、（１）ｆｐ＝５０Ｈｚの蛍光灯照明下にあるか、（２）ｆｐ＝６０Ｈｚの蛍光灯照明下にあるか、（３）非蛍光灯照明下にあるか、を判断する。

図３〜図５に、出荷時にＮＴＳＣ方式とＰＡＬ方式のいずれかに選択的に設定される撮像装置の、撮影環境判定処理ルーチンの一例を示す。

この例の撮影環境判定処理ルーチン４０では、撮影環境判定部２２は、まずステップ４１で、上述した設定フラグから、撮像装置の設定された映像方式（垂直同期周波数ｆｖ）がＮＴＳＣ方式（ｆｖ＝６０Ｈｚ）であるかＰＡＬ方式（ｆｖ＝５０Ｈｚ）であるかを判断する。

＜判定用の第１のシャッタ速度の設定＞
そして、ＮＴＳＣ方式が設定されている場合には、ステップ４１からステップ４２に進んで、ＣＭＯＳ撮像素子１２の電子シャッタ速度を、判定用の第１のシャッタ速度として、図２４の第１段目に示したようにｆｐ＝５０Ｈｚの蛍光灯照明下では３フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるシャッタ速度であるＮ／１２０秒（１／１２０秒または１／６０秒）に設定して、ステップ４３に進む。

ＰＡＬ方式が設定されている場合には、ステップ４１からステップ６２に進んで、ＣＭＯＳ撮像素子１２の電子シャッタ速度を、判定用の第１のシャッタ速度として、図２４の第４段目に示したようにｆｐ＝６０Ｈｚの蛍光灯照明下では５フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるシャッタ速度であるＮ／１００秒（１／１００秒または１／５０秒）に設定して、ステップ６３に進む。

＜第１のシャッタ速度下でのフリッカ検出処理＞
ステップ４３または６３では、上記のように第１のシャッタ速度を設定した状態で被写体を撮影し、フリッカ検出部１９において、以下のようなフリッカ検出処理を実行する。この場合、フリッカ検出部１９のスイッチ３６は図２のように現在側に切り換える。

まず、上記の入力信号Ｉｎ’（ｘ，ｙ）を、絵柄（背景）の影響を少なくするために、ライン積分ブロック３１で、画面水平方向に積算して、ライン積分値Ｆｎ（ｙ）を得る。

この積算は、外乱の影響を低減するため、１ライン当たりの積算画素数を多くすることが望ましい。また、この例では１ラインごとに積算するが、必ずしも１ラインごとに積算する必要はなく、図６の式（２）のｃｏｓの項による変動を無視できるようなサンプリング間隔、すなわちライン積分値Ｆｎ（ｙ）がフリッカ成分を十分に表すことができるサンプリング間隔であれば、複数ライン分まとめて積算してもよい。複数ライン分まとめて積算すれば、より外乱の影響を抑えることができるとともに、メモリ３２の容量を低減し、後述のＤＦＴ演算の規模を縮小することができる。

なお、入力信号Ｉｎ’（ｘ，ｙ）を画面水平方向に積算するのは、ＣＭＯＳ撮像素子１２が、画面水平方向に走査されつつ、画面垂直方向に走査され、図２０および図２１に示したように、フリッカ縞模様の縞自体の方向が画面水平方向となり、縞の変化の方向が画面垂直方向となるからであって、例えば、逆に、ＣＭＯＳ撮像素子１２が、画面垂直方向に走査されつつ、画面水平方向に走査され、フリッカ縞模様の縞自体の方向が画面垂直方向となり、縞の変化の方向が画面水平方向となる場合には、入力信号Ｉｎ’（ｘ，ｙ）を画面垂直方向に積算する。したがって、垂直同期周波数や垂直周期の「垂直」は、１画面のことである。

上記のようにして得られるライン積分値Ｆｎ（ｙ）は、図７の式（４）で表される。式（４）中のαｎ（ｙ）は、式（５）で表されるような、信号成分（背景成分）Ｉｎ（ｘ，ｙ）のライン積分値である。

被写体が一様であれば、信号成分Ｉｎ（ｘ，ｙ）のライン積分値αｎ（ｙ）が一定値となるので、入力信号Ｉｎ’（ｘ，ｙ）のライン積分値Ｆｎ（ｙ）から、フリッカ成分αｎ（ｙ）＊Γｎ（ｙ）を容易に抽出することができる。

しかし、一般的な被写体では、αｎ（ｙ）にもｍ＊ωｏ成分が含まれるため、フリッカ成分としての輝度成分および色成分と、被写体自体の信号成分（背景成分）としての輝度成分および色成分とを分離することができず、純粋にフリッカ成分のみを抽出することはできない。さらに、式（４）の第１項の信号成分に対して第２項のフリッカ成分は非常に小さいので、フリッカ成分は信号成分中にほとんど埋もれてしまう。

図１５に示す被写体を、ＮＴＳＣ方式のＣＭＯＳ撮像装置によって、ｆｐ＝５０Ｈｚの蛍光灯照明下で撮影した場合の、ライン積分値Ｆｎ（ｙ）を、図１６に示す。Ｆｉｅｌｄ：Ｎ＋０（実線）、Ｆｉｅｌｄ：Ｎ＋１（破線）、Ｆｉｅｌｄ：Ｎ＋２（点線）は、連続する３フィールドにおける第１、第２、第３フィールドである。これからも分かるように、ライン積分値Ｆｎ（ｙ）から直接、フリッカ成分を抽出するのは不可能と言える。

そこで、ライン積分値Ｆｎ（ｙ）から背景成分αｎ（ｙ）の影響を取り除くために、以下のような処理を行う。

まず、システムコントローラ２１によってメモリコントローラ３７を制御して、ライン積分ブロック３１の出力のライン積分値Ｆｎ（ｙ）を、メモリ３２のライン積分値保持領域３２ａに書き込む。

ＮＴＳＣ方式の場合には、ｆｐ＝５０Ｈｚの蛍光灯照明下では、シャッタ速度がＮ／１００秒でなければ、図２４の第１段目（図２２（Ａ））に示したように、３フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるので、ライン積分値保持領域３２ａは、少なくとも２フィールド分のライン積分値を保持できるものとする。

ＰＡＬ方式の場合には、ｆｐ＝６０Ｈｚの蛍光灯照明下では、シャッタ速度がＮ／１２０秒でなければ、図２４の第４段目（図２３（Ａ））に示したように、５フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるので、ライン積分値保持領域３２ａは、少なくとも４フィールド分のライン積分値を保持できるものとする。

したがって、出荷時にＮＴＳＣ方式とＰＡＬ方式のいずれかに選択的に設定されるＣＭＯＳ撮像装置では、ライン積分値保持領域３２ａは、少なくとも４フィールド分のライン積分値を保持できるものとする。

メモリコントローラ３７は、１フィールド分の処理が終了するごとに順次、ライン積分値Ｆｎ（ｙ）を、ライン積分値保持領域３２ａに書き込み、次のフィールド以降においてライン積分値保持領域３２ａから読み出す。

Ｆｎ＿１（ｙ），Ｆｎ＿２（ｙ），Ｆｎ＿３（ｙ），Ｆｎ＿４（ｙ）は、それぞれライン積分値保持領域３２ａから読み出された、現在のフィールドに対して１フィールド前、２フィールド前、３フィールド前、４フィールド前のライン積分値である。

さらに、フリッカ検出部１９では、背景成分（信号成分）を抽出するために、平均値計算ブロック３３で、ライン積分ブロック３１から得られた現在のライン積分値Ｆｎ（ｙ）、およびライン積分値保持領域３２ａから読み出された過去のライン積分値から、連続する複数フィールドにおけるライン積分値の平均値ＡＶＥ［Ｆｎ（ｙ）］を算出する。

具体的に、ＮＴＳＣ方式の場合には、ｆｐ＝５０Ｈｚの蛍光灯照明下では、３フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるので、平均値ＡＶＥ［Ｆｎ（ｙ）］として、連続する３フィールドにおけるライン積分値Ｆｎ（ｙ），Ｆｎ＿１（ｙ），Ｆｎ＿２（ｙ）の平均値を算出する。

ＰＡＬ方式の場合には、ｆｐ＝６０Ｈｚの蛍光灯照明下では、５フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるので、平均値ＡＶＥ［Ｆｎ（ｙ）］として、連続する５フィールドにおけるライン積分値Ｆｎ（ｙ），Ｆｎ＿１（ｙ），Ｆｎ＿２（ｙ），Ｆｎ＿３（ｙ），Ｆｎ＿４（ｙ）の平均値を算出する。

これによって、ＮＴＳＣ方式の場合には、ｆｐ＝５０Ｈｚの蛍光灯照明下でのフリッカ成分についての図６の式（３ａ）に示した位相関係から、図７の式（６）で示すように、フリッカ成分がキャンセルされて、平均値ＡＶＥ［Ｆｎ（ｙ）］として背景成分αｎ（ｙ）のみを抽出することができ、ＰＡＬ方式の場合には、ｆｐ＝６０Ｈｚの蛍光灯照明下でのフリッカ成分についての図６の式（３ｄ）に示した位相関係から、図８の式（８）で示すように、フリッカ成分がキャンセルされて、平均値ＡＶＥ［Ｆｎ（ｙ）］として背景成分αｎ（ｙ）のみを抽出することができる。

すなわち、上述したように、ステップ４２または６２で、判定用の第１のシャッタ速度を、ＮＴＳＣ方式の場合にはＮ／１２０秒に、ＰＡＬ方式の場合にはＮ／１００秒に、それぞれ設定することによって、平均値ＡＶＥ［Ｆｎ（ｙ）］として背景成分αｎ（ｙ）のみを抽出することができる。

ただし、このように平均値ＡＶＥ［Ｆｎ（ｙ）］が背景成分αｎ（ｙ）のみとなるには、図７の式（７）または図８の式（９）に示すように、連続する３フィールドまたは５フィールドの期間中の背景成分を同じ値と見なすことができる必要があるが、通常、連続する数フィールドの間での被写体の動きは十分に小さいので、この間の背景成分は同じ値と見なすことができる。

以上は、ＮＴＳＣ方式の場合にｆｐ＝５０Ｈｚの蛍光灯照明下にあり、またはＰＡＬ方式の場合にｆｐ＝６０Ｈｚの蛍光灯照明下にある場合であるが、ＮＴＳＣ方式の場合であって、ｆｐ＝６０Ｈｚの蛍光灯照明下、または非蛍光灯照明下にある場合に、ステップ４２でシャッタ速度をＮ／１２０秒に設定したとき、または、ＰＡＬ方式の場合であって、ｆｐ＝５０Ｈｚの蛍光灯照明下、または非蛍光灯照明下にある場合に、ステップ６２でシャッタ速度をＮ／１００秒に設定したときには、そもそもフリッカが発生しないだけであって、平均値ＡＶＥ［Ｆｎ（ｙ）］として背景成分αｎ（ｙ）のみが抽出されることに変わりはない。

こうして得られた平均値ＡＶＥ［Ｆｎ（ｙ）］は、あとの工程用に、メモリ３２の平均値保持領域３２ｂに書き込む。平均値保持領域３２ｂは、過去の数フィールド分の平均値を保持できるものとする。

ステップ４３または６３でのフリッカ検出処理としては、さらに、システムコントローラ２１からのスイッチ制御信号によって、上述したようにスイッチ３６を現在側に切り換えて、正規化ブロック３４において、ライン積分ブロック３１の出力のライン積分値Ｆｎ（ｙ）を、平均値計算ブロック３３の出力の平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化して、図８の式（１０）で表される正規化後の積分値ｇｎ（ｙ）を得る。

ライン積分値Ｆｎ（ｙ）は、図７の式（４）および図１６に示したように被写体の信号強度の影響が残るため、領域によってフリッカによる輝度変化および色変化のレベルが異なってしまうが、平均値ＡＶＥ［Ｆｎ（ｙ）］で正規化することによって、図８の式（１０）に示すように、全領域に渡ってフリッカによる輝度変化および色変化を同一レベルに合わせることができる。

図１７に、図１５に示した被写体を、ＮＴＳＣ方式のＣＭＯＳ撮像装置によって、ｆｐ＝５０Ｈｚの蛍光灯照明下で撮影した場合の、連続する３フィールドにおける正規化後の積分値ｇｎ（ｙ）を示す。これからも明らかなように、正規化後の積分値ｇｎ（ｙ）では、図１６に示した正規化前のライン積分値Ｆｎ（ｙ）に比べて背景成分が大幅に除去される。

この段階で、このように正規化後の積分値ｇｎ（ｙ）としてフリッカ成分を検出できるのは、ＮＴＳＣ方式の場合で、図２４の第１段目（図２２（Ａ））に示したようにｆｐ＝５０Ｈｚの蛍光灯照明下にあるとき、または、ＰＡＬ方式の場合で、図２４の第４段目（図２３（Ａ））に示したようにｆｐ＝６０Ｈｚの蛍光灯照明下にあるときである。

これに対して、ＮＴＳＣ方式の場合で、ｆｐ＝６０Ｈｚのとき、または、ＰＡＬ方式の場合で、ｆｐ＝５０Ｈｚのときには、ステップ４２または６２では、そもそもフリッカが発生しないシャッタ速度に設定されるため、正規化前のライン積分値Ｆｎ（ｙ）も背景成分αｎ（ｙ）のみとなり、正規化ブロック３４での正規化は「背景成分を背景成分で正規化する」ことになって、図８の式（１０）の第２項が蛍光灯照明下でもゼロとなり、正規化後の積分値ｇｎ（ｙ）は常に１（フラットな波形）となる。

ステップ４３または６３でのフリッカ検出処理としては、さらに、ＤＦＴブロック３５において、正規化ブロック３４からの正規化後の積分値ｇｎ（ｙ）の、フリッカの１波長分（Ｌライン分）に相当するデータを、離散フーリエ変換する。

ＤＦＴ演算をＤＦＴ［ｇｎ（ｙ）］とし、次数ｍのＤＦＴ結果をＧｎ（ｍ）とすれば、ＤＦＴ演算は、図８の式（１１）で表される。式（１１）中のＷは、式（１２）で表される。

ＤＦＴ演算のデータ長をフリッカの１波長分（Ｌライン分）とするのは、これによって、ちょうどωｏの整数倍の離散スペクトル群を直接、得ることができるからである。

一般に、デジタル信号処理のフーリエ変換としては、ＦＦＴ（高速フーリエ変換）が用いられるが、この例では、あえてＤＦＴを用いる。その理由は、フーリエ変換のデータ長が２のべき乗になっていないので、ＦＦＴよりＤＦＴの方が都合よいためである。ただし、入出力データを加工してＦＦＴを用いることもできる。

実際の蛍光灯照明下では、次数ｍを数次までに限定しても、フリッカ成分を十分近似できるので、ＤＦＴ演算もデータを全て出力する必要はなく、この発明の用途ではＦＦＴに比べて演算効率の点でデメリットはない。

ＤＦＴブロック３５では、図８の式（１１）で定義されるＤＦＴ演算によって、式（１０）で表される正規化後の積分値ｇｎ（ｙ）のスペクトルＧｎ（ｍ）を計算する。

図２４の第１段目に示したように、ＮＴＳＣ方式の場合で、ｆｐ＝５０Ｈｚの蛍光灯照明下にあるとき、または図２４の第４段目に示したように、ＰＡＬ方式の場合で、ｆｐ＝６０Ｈｚの蛍光灯照明下にあるときには、この段階で、図９に示すようなスペクトル列が得られる。

各スペクトルのレベルは、具体的なシャッタ速度によって変わるが、その大きさの関係は変わらず、ｍ＝０の直流成分が最も大きく、高次になるに従って小さくなる。

フリッカ成分は、１次以上の全スペクトルによって構成されるが、フリッカが発生しているか否かを判断するには、１次スペクトルＳ１のみを抽出すればよい。そこで、この例では、ｍ＝１についてのＤＦＴ演算のみを行う。これによって、ＤＦＴ演算量を大幅に低減することができる。

そして、ＮＴＳＣ方式の場合で、ｆｐ＝５０Ｈｚの蛍光灯照明下にあるとき、または、ＰＡＬ方式の場合で、ｆｐ＝６０Ｈｚの蛍光灯照明下にあるときには、１次スペクトルＳ１のレベルＡ１が、ある閾値Ｔｈ１より大きくなる。

これに対して、ＮＴＳＣ方式の場合で、図２４の第２段目に示したようにｆｐ＝６０Ｈｚの蛍光灯照明下にあるとき、または非蛍光灯照明下にあるとき、またはＰＡＬ方式の場合で、図２４の第４段目に示したようにｆｐ＝５０Ｈｚの蛍光灯照明下にあるとき、または非蛍光灯照明下にあるときには、この段階では、図１０に示すように、ｍ＝０の直流成分以外のスペクトルは、ノイズによる微小なものとなり、１次スペクトルＳ１のレベルＡ１は、閾値Ｔｈ１以下となる。

＜第１段の判定＞
そこで、上記の撮影環境判定処理ルーチン４０では、撮影環境判定部２２は、ＮＴＳＣ方式の場合には、ステップ４３で以上のようなフリッカ検出処理を実行した後、ステップ４４に進んで、上記の１次スペクトルＳ１を取り込み、さらにステップ４５に進んで、その１次スペクトルＳ１のレベルＡ１が閾値Ｔｈ１より大きいか否かを判断する。

ＰＡＬ方式の場合には、ステップ６３で以上のようなフリッカ検出処理を実行した後、ステップ６４に進んで、上記の１次スペクトルＳ１を取り込み、さらにステップ６５に進んで、その１次スペクトルＳ１のレベルＡ１が閾値Ｔｈ１より大きいか否かを判断する。

上述したように、ＮＴＳＣ方式の場合で、１次スペクトルＳ１のレベルＡ１が閾値Ｔｈ１より大きければ、ｆｐ＝５０Ｈｚの蛍光灯照明下であり、ＰＡＬ方式の場合で、１次スペクトルＳ１のレベルＡ１が閾値Ｔｈ１より大きければ、ｆｐ＝６０Ｈｚの蛍光灯照明下である。

＜第１段の判定で蛍光灯照明下と判定する場合＞
そこで、撮影環境判定部２２は、ＮＴＳＣ方式の場合で、ステップ４５で「Ａ１＞Ｔｈ１」と判断したときには、ｆｐ＝５０Ｈｚの蛍光灯照明下と判定して、ステップ５１に進んで、実際の撮影時のシャッタ速度を、図２４の第１段目に示したような、フリッカが発生しないシャッタ速度であるＮ／１００秒（１／１００秒）に設定する。

ＰＡＬ方式の場合で、ステップ６５で「Ａ１＞Ｔｈ１」と判断したときには、ｆｐ＝６０Ｈｚの蛍光灯照明下と判定して、ステップ７１に進んで、実際の撮影時のシャッタ速度を、図２４の第４段目に示したような、フリッカが発生しないシャッタ速度であるＮ／１２０秒（１／１２０秒または１／６０秒）に設定する。

ただし、いずれの場合も、実際の撮影時のシャッタ速度は、ＡＥ制御部２３が撮影環境判定部２２での判定結果をもとに設定し、シャッタ速度を１／１００秒または１／１２０秒というような高速（短時間）にするときなどの露光不足は、アイリス調整やＡＧＣによって補償する。

＜判定用の第２のシャッタ速度の設定＞
上述したように、ＮＴＳＣ方式の場合で、１次スペクトルＳ１のレベルＡ１が閾値Ｔｈ１以下であるときには、それだけでは、ｆｐ＝６０Ｈｚの蛍光灯照明下にあるのか、非蛍光灯照明下にあるのか、分からないとともに、ＰＡＬ方式の場合で、１次スペクトルＳ１のレベルＡ１が閾値Ｔｈ１以下であるときにも、それだけでは、ｆｐ＝５０Ｈｚの蛍光灯照明下にあるのか、非蛍光灯照明下にあるのか、分からない。

そこで、撮影環境判定処理ルーチン４０では、撮影環境判定部２２は、ＮＴＳＣ方式の場合で、ステップ４５で「Ａ１≦Ｔｈ１」と判断したときには、次にステップ４６に進んで、ＣＭＯＳ撮像素子１２の電子シャッタ速度を、判定用の第２のシャッタ速度として、図２４の第２段目に示したようにｆｐ＝６０Ｈｚの蛍光灯照明下では１フィールドで完結するフリッカを生じるシャッタ速度であるＮ／１００秒（１／１００秒）に設定して、ステップ４７に進む。

ＰＡＬ方式の場合で、ステップ６５で「Ａ１≦Ｔｈ１」と判断したときには、次にステップ６６に進んで、ＣＭＯＳ撮像素子１２の電子シャッタ速度を、判定用の第２のシャッタ速度として、図２４の第３段目に示したようにｆｐ＝５０Ｈｚの蛍光灯照明下では１フィールドで完結するフリッカを生じるシャッタ速度であるＮ／１２０秒（１／１２０秒または１／６０秒）に設定して、ステップ６７に進む。

＜第２のシャッタ速度下でのフリッカ検出処理＞
ステップ４７または６７では、上記のように第２のシャッタ速度を設定した状態で被写体を撮影し、フリッカ検出部１９において、ステップ４３または６３と同様のフリッカ検出処理、すなわち、入力信号Ｉｎ’（ｘ，ｙ）の積算、そのライン積分値Ｆｎ（ｙ）の正規化、および正規化後の積分値ｇｎ（ｙ）のＤＦＴ演算を実行する。

ただし、この場合、フリッカ検出部１９のスイッチ３６は図２とは逆に読み出し側に切り換え、ライン積分値Ｆｎ（ｙ）の正規化のための平均値ＡＶＥ［Ｆｎ（ｙ）］として、メモリコントローラ３７によってメモリ３２の平均値保持領域３２ｂから読み出した、ステップ４３または６３でのフリッカ検出処理によって得られた平均値を用いる。平均値保持領域３２ｂには数フィールド分の平均値が保持されるが、被写体の動きの影響をできるだけ小さくするため、直近の平均値を用いることが望ましい。

このようにステップ４７または６７では、ステップ４３または６３でのフリッカ検出処理によって得られた平均値を利用してフリッカ検出処理を実行することによって、ステップ４３または６３のようにシャッタ速度を第１のシャッタ速度にしたときには正規化後の積分値ｇｎ（ｙ）としてフリッカを検出できない（正規化後の積分値ｇｎ（ｙ）が１となる）、ＮＴＳＣ方式の場合に、図２４の第２段目（図２２（Ｂ））に示したようにｆｐ＝６０Ｈｚの蛍光灯照明下にあって、１フィールドで完結するフリッカを生じるとき、またはＰＡＬ方式の場合に、図２４の第３段目（図２３（Ｂ））に示したようにｆｐ＝５０Ｈｚの蛍光灯照明下にあって、１フィールドで完結するフリッカを生じるときにも、正規化後の積分値ｇｎ（ｙ）としてフリッカを検出できる適切なものを得ることができる。

すなわち、図２４の第２段目に示したように、ＮＴＳＣ方式の場合で、ｆｐ＝６０Ｈｚの蛍光灯照明下にあるとき、または図２４の第３段目に示したように、ＰＡＬ方式の場合で、ｆｐ＝５０Ｈｚの蛍光灯照明下にあるときには、この段階で、図１１に示すようなスペクトル列が得られ、１次スペクトルＳ１のレベルＡ１が、ある閾値Ｔｈ２より大きくなる。

これに対して、ＮＴＳＣ方式の場合で、ｆｐ＝６０Ｈｚの蛍光灯照明下でもないとき、またはＰＡＬ方式の場合で、ｆｐ＝５０Ｈｚの蛍光灯照明下でもないとき、すなわち、いずれの方式の場合でも、非蛍光灯照明下にあるときには、図１２に示すように、ｍ＝０の直流成分以外のスペクトルは、ノイズによる微小なものとなり、１次スペクトルＳ１のレベルＡ１は、閾値Ｔｈ２以下となる。

なお、ステップ４７または６７でのフリッカ検出処理では、正規化用の平均値ＡＶＥ［Ｆｎ（ｙ）］として、第１のシャッタ速度のもとで得られたものを用いるので、背景成分αｎ（ｙ）としては、第２のシャッタ速度のもとで得られるものより大きくなる。この影響はスペクトルレベルに現れ、この場合のスペクトルレベルは、図１１に示すように、実際のフリッカ成分のスペクトルレベルより小さくなる。

しかし、この影響は、蛍光灯照明下にあるか否かを判断する観点では小さく、この場合も、１次スペクトルＳ１のレベルＡ１は、蛍光灯照明下にあるか否かによって明確に相違する。

したがって、必要に応じて、図９〜図１２に示すように閾値Ｔｈ２を閾値Ｔｈ１より低く設定し、または閾値Ｔｈ１およびＴｈ２を共に低めに設定することによって、いずれの場合も、特定の駆動電源周波数の蛍光灯照明下にあるか否かを確実に判断することができる。

＜第２段の判定＞
上記の撮影環境判定処理ルーチン４０では、撮影環境判定部２２は、ＮＴＳＣ方式の場合には、ステップ４７で以上のようなフリッカ検出処理を実行した後、ステップ４８に進んで、上記の１次スペクトルＳ１を取り込み、さらにステップ４９に進んで、その１次スペクトルＳ１のレベルＡ１が閾値Ｔｈ２より大きいか否かを判断する。

ＰＡＬ方式の場合には、ステップ６７で以上のようなフリッカ検出処理を実行した後、ステップ６８に進んで、上記の１次スペクトルＳ１を取り込み、さらにステップ６９に進んで、その１次スペクトルＳ１のレベルＡ１が閾値Ｔｈ２より大きいか否かを判断する。

上述したように、ＮＴＳＣ方式の場合で、１次スペクトルＳ１のレベルＡ１が閾値Ｔｈ２より大きければ、ｆｐ＝６０Ｈｚの蛍光灯照明下であり、ＰＡＬ方式の場合で、１次スペクトルＳ１のレベルＡ１が閾値Ｔｈ２より大きければ、ｆｐ＝５０Ｈｚの蛍光灯照明下である。

＜第２段の判定で蛍光灯照明下と判定する場合＞
そこで、撮影環境判定部２２は、ＮＴＳＣ方式の場合で、ステップ４９で「Ａ１＞Ｔｈ２」と判断したときには、ｆｐ＝６０Ｈｚの蛍光灯照明下と判定して、ステップ５２に進んで、実際の撮影時のシャッタ速度を、図２４の第２段目に示したような、フリッカが発生しないシャッタ速度であるＮ／１２０秒（１／１２０秒または１／６０秒）に設定する。

ＰＡＬ方式の場合で、ステップ６９で「Ａ１＞Ｔｈ２」と判断したときには、ｆｐ＝５０Ｈｚの蛍光灯照明下と判定して、ステップ７２に進んで、実際の撮影時のシャッタ速度を、図２４の第３段目に示したような、フリッカが発生しないシャッタ速度であるＮ／１００秒（１／１００秒または１／５０秒）に設定する。

これらの場合も、実際の撮影時のシャッタ速度は、ＡＥ制御部２３が撮影環境判定部２２での判定結果をもとに設定し、シャッタ速度を１／１２０秒または１／１００秒というような高速（短時間）にするときなどの露光不足は、アイリス調整やＡＧＣによって補償する。

＜非蛍光灯照明下と判定する場合＞
撮影環境判定部２２は、ＮＴＳＣ方式の場合で、ステップ４９で「Ａ１≦Ｔｈ２」と判断したときには、非蛍光灯照明下（ｆｐ＝５０Ｈｚの蛍光灯照明下でもなく、ｆｐ＝６０Ｈｚの蛍光灯照明下でもない）と判定して、ステップ５３に進んで、実際の撮影時のシャッタ制御として、通常のシャッタ制御を実行し、ＰＡＬ方式の場合で、ステップ６９で「Ａ１≦Ｔｈ２」と判断したときにも、非蛍光灯照明下と判定して、ステップ７３に進んで、実際の撮影時のシャッタ制御として、通常のシャッタ制御を実行する。

これらの場合も、実際の撮影時のシャッタ速度は、ＡＥ制御部２３が撮影環境判定部２２での判定結果をもとに設定するが、非蛍光灯照明下ではフリッカを生じないので、シャッタ速度は１フィールド（ＮＴＳＣ方式では１／６０秒、ＰＡＬ方式では１／５０秒）を超えない範囲内で任意に設定することができる。

（判定用のシャッタ速度についての他の例）
上述した例は、撮影環境の判定用に、ＮＴＳＣ方式の場合、ステップ４２では、シャッタ速度をＮ／１２０秒に設定し、ステップ４６では、シャッタ速度をＮ／１００秒に設定し、ＰＡＬ方式の場合、ステップ６２では、シャッタ速度をＮ／１００秒に設定し、ステップ６６では、シャッタ速度をＮ／１２０秒に設定する場合であるが、ＮＴＳＣ方式の場合、ステップ４２では、シャッタ速度をＮ／１００秒以外の速度に設定し、ステップ４６では、シャッタ速度をＮ／１２０秒以外の、ステップ４２とは異なるシャッタ速度に設定し、ＰＡＬ方式の場合、ステップ６２では、シャッタ速度をＮ／１２０秒以外の速度に設定し、ステップ６６では、シャッタ速度をＮ／１００秒以外の、ステップ６２とは異なるシャッタ速度に設定してもよい。

ＮＴＳＣ方式の場合、ステップ４２でシャッタ速度をＮ／１００秒以外の速度に設定すると、ｆｐ＝５０Ｈｚの蛍光灯照明下では、図２４の第１段目に示したように、３フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるので、ステップ４３のフリッカ検出処理では、上述した例と同様に、平均値ＡＶＥ［Ｆｎ（ｙ）］として、図７の式（６）で示したように、フリッカ成分がキャンセルされた、背景成分αｎ（ｙ）のみを抽出することができ、ｆｐ＝５０Ｈｚの蛍光灯照明下にあることを判断することができる。

これに対して、ｆｐ＝６０Ｈｚの蛍光灯照明下では、ステップ４２でシャッタ速度をＮ／１００秒以外の速度に設定すると、図２４の第２段目に示したように、１フィールドで完結するフリッカを生じるので、ステップ４３のフリッカ検出処理では、上述した例と異なり、平均値ＡＶＥ［Ｆｎ（ｙ）］として、背景成分αｎ（ｙ）のみを抽出することができず、ライン積分値Ｆｎ（ｙ）がそのまま得られる。

この場合、ステップ４６でシャッタ速度をＮ／１２０秒以外の速度に設定すると、ステップ４７のフリッカ検出処理では、ライン積分値Ｆｎ（ｙ）の正規化のための平均値ＡＶＥ［Ｆｎ（ｙ）］として、メモリ３２から読み出された、ステップ４３でのフリッカ検出処理によって得られた平均値、すなわち上記のライン積分値Ｆｎ（ｙ）そのものが用いられる。

そのため、このとき、図１３に示すように、積分値Ｆｎ（ｙ）を積分値Ｆｎ（ｙ）で正規化することになって、正規化後の積分値ｇｎ（ｙ）は、ｆｐ＝６０Ｈｚの蛍光灯照明下にあるか否かにかかわらず、一定のフラットな信号となるかのように思われる。

しかし、この場合、ステップ４６では、Ｎ／１２０秒以外の、ステップ４２でのシャッタ速度（Ｎ／１００秒以外の速度）とは異なるシャッタ速度に設定するので、ステップ４７のフリッカ検出処理では、実際には、図１４に示すように、現在の積分値Ｆｎ（ｙ）と、平均値ＡＶＥ［Ｆｎ（ｙ）］としてメモリ３２から読み出される積分値Ｆｎ（ｙ）は、振幅が異なるものとなり、正規化後の積分値ｇｎ（ｙ）は、フラットな信号とならない。

したがって、上述した例と同様に、ｆｐ＝６０Ｈｚの蛍光灯照明下にあるときには、フリッカ成分のスペクトルを抽出することができ、ステップ４９で、ｆｐ＝６０Ｈｚの蛍光灯照明下にあることを判断することができる。

ただし、この場合、正規化後の積分値ｇｎ（ｙ）は、背景成分αｎ（ｙ）によって正規化する場合と比較すると、直流レベルおよび振幅に差を生じるが、蛍光灯照明下にあるか否かを判断する観点からは、その差は問題にならない。

ＰＡＬ方式の場合、ステップ６２でシャッタ速度をＮ／１２０秒以外の速度に設定すると、ｆｐ＝６０Ｈｚの蛍光灯照明下では、図２４の第４段目に示したように、５フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるので、ステップ６３のフリッカ検出処理では、上述した例と同様に、平均値ＡＶＥ［Ｆｎ（ｙ）］として、図８の式（８）で示したように、フリッカ成分がキャンセルされた、背景成分αｎ（ｙ）のみを抽出することができ、ｆｐ＝６０Ｈｚの蛍光灯照明下にあることを判断することができる。

これに対して、ｆｐ＝５０Ｈｚの蛍光灯照明下では、ステップ６２でシャッタ速度をＮ／１２０秒以外の速度に設定すると、図２４の第３段目に示したように、１フィールドで完結するフリッカを生じるので、ステップ６３のフリッカ検出処理では、上述した例と異なり、平均値ＡＶＥ［Ｆｎ（ｙ）］として、背景成分αｎ（ｙ）のみを抽出することができず、ライン積分値Ｆｎ（ｙ）がそのまま得られる。

しかし、この場合、ステップ６６では、Ｎ／１００秒以外の、ステップ６２でのシャッタ速度（Ｎ／１２０秒以外の速度）とは異なるシャッタ速度に設定することによって、ＮＴＳＣ方式の場合と同様に、ステップ６７のフリッカ検出処理では、正規化後の積分値ｇｎ（ｙ）として、ある振幅の信号が得られて、フリッカ成分のスペクトルを抽出することができ、ステップ６９で、ｆｐ＝５０Ｈｚの蛍光灯照明下にあることを判断することができる。

＜実際の撮影時のシャッタ速度についての他の例＞
上述した例は、ステップ５１および７１でも、実際の撮影時のシャッタ速度をフリッカが発生しないシャッタ速度に設定する場合であるが、ステップ５１または７１では、実際の撮影時のシャッタ速度を、図２２（Ａ）または図２３（Ａ）に示したような、３フィールドまたは５フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるシャッタ速度に設定してもよい。ただし、その場合には、デジタル信号処理部１４でフリッカ低減処理が実行されるように撮像装置を構成する。

具体的に、ＮＴＳＣ方式の場合で、ｆｐ＝５０Ｈｚの蛍光灯照明下にあると判断したときのステップ５１では、例えば、シャッタ速度を通常シャッタの１／６０秒に設定し、ＰＡＬ方式の場合で、ｆｐ＝６０Ｈｚの蛍光灯照明下にあると判断したときのステップ７１では、例えば、シャッタ速度を通常シャッタの１／５０秒に設定することができる。

その場合には、図２２（Ａ）または図２３（Ａ）に示したようなフリッカの連続性を利用して、撮影出力の映像信号中のフリッカ成分を推定し、その推定結果のフリッカ成分に応じて映像信号のゲインを調整し、または推定結果のフリッカ成分を映像信号から減算するなど、推定結果に応じて撮影出力の映像信号を補正することによって、撮影出力の映像信号中のフリッカ成分を低減すればよい。フリッカ成分の推定には上記のフリッカ検出部１９を利用することができる。

（映像方式がＮＴＳＣ方式またはＰＡＬ方式に固定的に決定されている場合）
映像方式が最初からＮＴＳＣ方式に固定的に決定されている撮像装置では、ステップ４１の判断は不要で、ステップ４２〜４９の撮影環境判定処理を実行し、ステップ５１，５２または５３で実際の撮影時のシャッタ制御を実行すればよい。

映像方式が最初からＰＡＬ方式に固定的に決定されている撮像装置では、ステップ４１の判断は不要で、ステップ６２〜６９の撮影環境判定処理を実行し、ステップ７１，７２または７３で実際の撮影時のシャッタ制御を実行すればよい。

（プログレッシブ方式の場合）
フレーム周波数が３０Ｈｚのプログレッシブ方式の撮像装置の場合には、ｆｐ＝５０Ｈｚの蛍光灯照明下では、３フレーム（１／１０秒）が蛍光灯の発光周期（１／１００秒）の整数倍（１０倍）となり、フリッカの態様が図２４の第５段目に示したようになるとともに、ｆｐ＝６０Ｈｚの蛍光灯照明下では、１フレーム（１／３０秒）が蛍光灯の発光周期（１／１２０秒）の整数倍（４倍）となり、フリッカの態様が図２４の第６段目に示したようになる。

したがって、フレーム周波数が３０Ｈｚのプログレッシブ方式の撮像装置では、上述したＮＴＳＣ方式の撮像装置における「フィールド」を「フレーム」に置き換え、ｆｖ＝３０Ｈｚとして、フリッカ検出部１９および撮影環境判定処理ルーチンを構成すればよい。

具体的に、撮影環境判定処理ルーチンとしては、ステップ４１の判断は不要で、ステップ４２で、判定用の第１のシャッタ速度を、Ｎ／１２０秒（１／１２０秒、１／６０秒、１／４０秒または１／３０秒）など、Ｎ／１００秒以外の速度に設定し、ステップ４３で、上述したようなフリッカ検出処理を実行し、ステップ４４で、１次スペクトルＳ１を取り込み、ステップ４５で、その１次スペクトルＳ１のレベルＡ１が閾値Ｔｈ１より大きいか否かを判断する。

そして、ステップ４５で「Ａ１＞Ｔｈ１」と判断した場合には、ｆｐ＝５０Ｈｚの蛍光灯照明下にあると判定して、ステップ５１で、実際の撮影時のシャッタ速度を、図２４の第５段目に示したような、フリッカが発生しないシャッタ速度であるＮ／１００秒（１／１００秒、１／５０秒または３／１００秒）に設定する。

ただし、実際の撮影時のシャッタ速度は、通常シャッタの１／３０秒に設定してもよい。その場合には、図２４の第５段目に示したように、３フレームを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるので、上述したようなフリッカ低減処理を実行することによって、フリッカを低減することができる。

ステップ４５で「Ａ１≦Ｔｈ１」と判断した場合には、ステップ４６で、判定用の第２のシャッタ速度を、Ｎ／１００秒（１／１００秒、１／５０秒または３／１００秒）など、Ｎ／１２０秒以外の、ステップ４２で設定したシャッタ速度とは異なるシャッタ速度に設定し、ステップ４７で、上述したようなフリッカ検出処理を実行し、ステップ４８で、１次スペクトルＳ１を取り込み、ステップ４９で、その１次スペクトルＳ１のレベルＡ１が閾値Ｔｈ２より大きいか否かを判断する。

そして、ステップ４９で「Ａ１＞Ｔｈ２」と判断した場合には、ｆｐ＝６０Ｈｚの蛍光灯照明下にあると判定して、ステップ５２で、実際の撮影時のシャッタ速度を、図２４の第６段目に示したような、フリッカが発生しないシャッタ速度であるＮ／１２０秒（１／１２０秒、１／６０秒、１／４０秒または１／３０秒）に設定する。

ステップ４９で「Ａ１≦Ｔｈ２」と判断した場合には、非蛍光灯照明下にあると判定して、ステップ５３で、実際の撮影時のシャッタ制御として、通常のシャッタ制御を実行する。

〔他の実施形態〕
例えば、撮像装置をフレーム周波数が２５Ｈｚのプログレッシブ方式とする場合には、ｆｖ＝５０ＨｚのＰＡＬ方式の場合と同様にすればよく、撮像装置をフレーム周波数が４０Ｈｚのプログレッシブ方式とする場合には、ｆｖ＝６０ＨｚのＮＴＳＣ方式の場合と同様にすればよい。

また、上述した実施形態は、ＣＭＯＳ撮像装置の場合であるが、この発明は、ＣＭＯＳ撮像装置以外のＸＹアドレス走査型の撮像装置にも適用することができる。

また、上述した実施形態は、ｆｐ＝５０Ｈｚの蛍光灯照明下にあるか否か、およびｆｐ＝６０Ｈｚの蛍光灯照明下にあるか否かを判断し、その判断結果に応じて、撮影出力の映像信号にフリッカを生じないシャッタ速度に設定し、または映像信号に生じるフリッカを低減する場合であるが、この発明の撮影環境判定方法は、上述したＷＢ調整やＡＥ調整などの調整を、蛍光灯照明下と非蛍光灯照明下で、それぞれに最適なように制御する場合などにも適用することができる。

なお、上述した実施形態は、フリッカ検出部１９を含むデジタル信号処理部１４をハードウェアによって構成する場合であるが、フリッカ検出部１９またはデジタル信号処理部１４の一部または全部をソフトウェアによって構成してもよい。

この発明の撮像装置の一例のシステム構成を示す図である。 フリッカ検出部の一例を示す図である。 撮影環境判定処理ルーチンの一例の一部を示す図である。 撮影環境判定処理ルーチンの一例の一部を示す図である。 撮影環境判定処理ルーチンの一例の一部を示す図である。 フリッカ検出処理の説明に供する式を示す図である。 フリッカ検出処理の説明に供する式を示す図である。 フリッカ検出処理の説明に供する式を示す図である。 蛍光灯照明下のスペクトル列を示す図である。 非蛍光灯照明下のスペクトル列を示す図である。 蛍光灯照明下のスペクトル列を示す図である。 非蛍光灯照明下のスペクトル列を示す図である。 積分値の正規化の説明に供する図である。 積分値の正規化の説明に供する図である。 試験で用いた被写体を示す図である。 図１５の被写体を撮影した場合のライン積分値を示す図である。 図１５の被写体を撮影した場合の正規化後の積分値を示す図である。 ＣＣＤ撮像装置における蛍光灯フリッカの説明に供する図である。 ＣＭＯＳ撮像装置における蛍光灯フリッカの説明に供する図である。 ＣＭＯＳ撮像装置における蛍光灯フリッカの１画面内の縞模様を示す図である。 ＣＭＯＳ撮像装置における蛍光灯フリッカの連続する３画面に渡る縞模様を示す図である。 ＮＴＳＣ方式のＣＭＯＳ撮像装置におけるフリッカ態様を示す図である。 ＰＡＬ方式のＣＭＯＳ撮像装置におけるフリッカ態様を示す図である。 各種方式のＣＭＯＳ撮像装置におけるフリッカ態様を示す図である。

符号の説明

主要部については図中に全て記述したので、ここでは省略する。

Claims (15)

1. 垂直同期周波数が１２０／Ｊ［Ｈｚ］（Ｊは正の整数）とされた、ＸＹアドレス走査型の撮像素子を用いた撮像装置によって被写体を撮影する場合の撮影環境判定方法であって、
   前記撮像素子のシャッタ速度を、第１のシャッタ速度としてのＮ／１２０［秒］（Ｎは正の整数）に設定する第１工程と、
   前記第１のシャッタ速度で前記撮像素子から得られた映像信号を画面の特定領域内で積算し、その積算値を連続する複数垂直周期において得られた複数の積算値の平均値で正規化して、第１の正規化積算値を求める第２工程と、
   前記第１の正規化積算値から第１の周波数成分を抽出し、当該第１の周波数成分のレベルが第１の閾値より大きいか否かを判断する第３工程と、
   前記第１の周波数成分のレベルが前記第１の閾値以下であると判断した場合に、前記撮像素子のシャッタ速度を、前記第１のシャッタ速度と異なる第２のシャッタ速度としてのＮ／１００［秒］に設定する第４工程と、
   前記第２のシャッタ速度で前記撮像素子から得られた映像信号を画面の特定領域内で積算し、その積算値を前記第２工程で用いた平均値で正規化して、第２の正規化積算値を求める第５工程と、
   前記第２の正規化積算値から第２の周波数成分を抽出し、当該第２の周波数成分のレベルが第２の閾値より大きいか否かを判断する第６工程と、
   を備える撮影環境判定方法。
2. 請求項１の撮影環境判定方法において、
   前記第３工程で前記第１の周波数成分のレベルが前記第１の閾値より大きいと判断した場合には、前記撮像素子のシャッタ速度をＮ／１００［秒］に設定する撮影環境判定方法。
3. 請求項１の撮影環境判定方法において、
   前記第６工程で前記第２の周波数成分のレベルが前記第２の閾値より大きいと判断した場合には、前記撮像素子のシャッタ速度をＮ／１２０［秒］に設定する撮影環境判定方法。
4. 垂直同期周波数が１００／Ｊ［Ｈｚ］（Ｊは正の整数）とされた、ＸＹアドレス走査型の撮像素子を用いた撮像装置によって被写体を撮影する場合の撮影環境判定方法であって、
   前記撮像素子のシャッタ速度を、第１のシャッタ速度としてのＮ／１００［秒］（Ｎは正の整数）に設定する第１工程と、
   前記第１のシャッタ速度で前記撮像素子から得られた映像信号を画面の特定領域内で積算し、その積算値を連続する複数垂直周期において得られた複数の積算値の平均値で正規化して、第１の正規化積算値を求める第２工程と、
   前記第１の正規化積算値から第１の周波数成分を抽出し、当該第１の周波数成分のレベルが第１の閾値より大きいか否かを判断する第３工程と、
   前記第１の周波数成分のレベルが前記第１の閾値以下であると判断した場合に、前記撮像素子のシャッタ速度を、前記第１のシャッタ速度と異なる第２のシャッタ速度としてのＮ／１２０［秒］に設定する第４工程と、
   前記第２のシャッタ速度で前記撮像素子から得られた映像信号を画面の特定領域内で積算し、その積算値を前記第２工程で用いた平均値で正規化して、第２の正規化積算値を求める第５工程と、
   前記第２の正規化積算値から第２の周波数成分を抽出し、当該第２の周波数成分のレベルが第２の閾値より大きいか否かを判断する第６工程と、
   を備える撮影環境判定方法。
5. 請求項４の撮影環境判定方法において、
   前記第３工程で前記第１の周波数成分のレベルが前記第１の閾値より大きいと判断した場合には、前記撮像素子のシャッタ速度をＮ／１２０［秒］に設定する撮影環境判定方法。
6. 請求項４の撮影環境判定方法において、
   前記第６工程で前記第２の周波数成分のレベルが前記第２の閾値より大きいと判断した場合には、前記撮像素子のシャッタ速度をＮ／１００［秒］に設定する撮影環境判定方法。
7. 垂直同期周波数が１２０／Ｊ［Ｈｚ］（Ｊは正の整数）とされた、ＸＹアドレス走査型の撮像素子を用いた撮像装置であって、
   前記撮像素子のシャッタ速度を設定する制御部と、
   前記撮像素子から得られた映像信号を画面の特定領域内で積算し、積算値を求める積算部と、
   連続する複数垂直周期において前記積算部で得られた複数の積算値の平均値を求める平均値計算部と、
   前記積算部で得られた積算値を前記平均値計算部で得られた平均値により正規化して、正規化積算値を求める正規化部と、
   前記正規化積算値から特定の周波数成分を抽出する抽出部とを備え、
   前記制御部は、前記撮像素子のシャッタ速度を、第１のシャッタ速度としてのＮ／１２０［秒］（Ｎは正の整数）に設定し、当該第１のシャッタ速度で前記撮像素子から得られた映像信号に基づいて前記抽出部により抽出された第１の周波数成分のレベルが第１の閾値より大きいか否かを判断し、前記第１の周波数成分のレベルが前記第１の閾値以下である場合に、前記撮像素子のシャッタ速度を、前記第１のシャッタ速度と異なる第２のシャッタ速度としてのＮ／１００［秒］に設定し、当該第２のシャッタ速度で前記撮像素子から得られた映像信号に基づいて前記抽出部により抽出された第２の周波数成分のレベルが第２の閾値より大きいか否かを判断する撮像装置。
8. 請求項７の撮像装置において、
   前記制御部は、前記第１の周波数成分のレベルが前記第１の閾値より大きいと判断した場合には、前記撮像素子のシャッタ速度をＮ／１００［秒］に設定する撮像装置。
9. 請求項７の撮像装置において、
   前記制御部は、前記第２の周波数成分のレベルが前記第２の閾値より大きいと判断した場合には、前記撮像素子のシャッタ速度をＮ／１２０［秒］に設定する撮像装置。
10. 垂直同期周波数が１００／Ｊ［Ｈｚ］（Ｊは正の整数）とされた、ＸＹアドレス走査型の撮像素子を用いた撮像装置であって、
    前記撮像素子のシャッタ速度を設定する制御部と、
    前記撮像素子から得られた映像信号を画面の特定領域内で積算し、積算値を求める積算部と、
    連続する複数垂直周期において前記積算部で得られた複数の積算値の平均値を求める平均値計算部と、
    前記積算部で得られた積算値を前記平均値計算部で得られた平均値により正規化して、正規化積算値を求める正規化部と、
    前記正規化積算値から特定の周波数成分を抽出する抽出部とを備え、
    前記制御部は、前記撮像素子のシャッタ速度を、第１のシャッタ速度としてのＮ／１００［秒］（Ｎは正の整数）に設定し、当該第１のシャッタ速度で前記撮像素子から得られた映像信号に基づいて前記抽出部により抽出された第１の周波数成分のレベルが第１の閾値より大きいか否かを判断し、前記第１の周波数成分のレベルが前記第１の閾値以下である場合に、前記撮像素子のシャッタ速度を、前記第１のシャッタ速度と異なる第２のシャッタ速度としてのＮ／１２０［秒］に設定し、当該第２のシャッタ速度で前記撮像素子から得られた映像信号に基づいて前記抽出部により抽出された第２の周波数成分のレベルが第２の閾値より大きいか否かを判断する撮像装置。
11. 請求項１０の撮像装置において、
    前記制御部は、前記第１の周波数成分のレベルが前記第１の閾値より大きいと判断した場合には、前記撮像素子のシャッタ速度をＮ／１２０［秒］に設定する撮像装置。
12. 請求項１０の撮像装置において、
    前記制御部は、前記第２の周波数成分のレベルが前記第２の閾値より大きいと判断した場合には、前記撮像素子のシャッタ速度をＮ／１００［秒］に設定する撮像装置。
13. 請求項７または１０の撮像装置において、
    さらに、前記第１のシャッタ速度で前記撮像素子から得られた映像信号に基づいて前記平均値計算部で求められた平均値を保持する平均値保持部を備え、
    前記正規化部は、前記第２のシャッタ速度で前記撮像素子から得られた映像信号に基づいて正規化積算値を求める際に、前記平均値保持部に保持された平均値により正規化を行う撮像装置。
14. 請求項７の撮像装置において、
    前記平均値計算部は、連続する３つの垂直周期において前記積算部で得られた複数の積算値の平均値を求める撮像装置。
15. 請求項１０の撮像装置において、
    前記平均値計算部は、連続する５つの垂直周期において前記積算部で得られた複数の積算値の平均値を求める撮像装置。

Images