JP4106554B2 - 撮影環境判定方法および撮像装置 - Google Patents

撮影環境判定方法および撮像装置 Download PDF

Info

Publication number
JP4106554B2
JP4106554B2 JP2003315465A JP2003315465A JP4106554B2 JP 4106554 B2 JP4106554 B2 JP 4106554B2 JP 2003315465 A JP2003315465 A JP 2003315465A JP 2003315465 A JP2003315465 A JP 2003315465A JP 4106554 B2 JP4106554 B2 JP 4106554B2
Authority
JP
Japan
Prior art keywords
shutter speed
image sensor
seconds
frequency component
flicker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003315465A
Other languages
English (en)
Other versions
JP2005086423A (ja
Inventor
雅也 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003315465A priority Critical patent/JP4106554B2/ja
Priority to EP04255290A priority patent/EP1513339B1/en
Priority to TW093126752A priority patent/TWI242370B/zh
Priority to KR1020040071375A priority patent/KR101007464B1/ko
Priority to US10/935,031 priority patent/US7639284B2/en
Priority to CNB2004100905217A priority patent/CN100344153C/zh
Publication of JP2005086423A publication Critical patent/JP2005086423A/ja
Application granted granted Critical
Publication of JP4106554B2 publication Critical patent/JP4106554B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

この発明は、CMOS(Complementary Metal Oxide Semiconductor)撮像素子などのXYアドレス走査型の撮像素子を用いた撮像装置によって被写体を撮影する場合の撮影環境を判定する方法、および、この撮影環境判定方法を実行する撮像装置に関する。
デジタルビデオカメラやデジタルスチルカメラなどの撮像装置によって被写体を撮影する場合、特に動画を撮影する場合、蛍光灯照明下にあるか否かは、蛍光灯フリッカが発生するか否かなどの点で、したがって蛍光灯フリッカに対する対策を必要とするか否かなどの点で、重要である。
家庭用交流電源によって直接点灯される蛍光灯の照明下で、撮像装置によって被写体を撮影すると、蛍光灯の輝度変化(光量変化)の周波数(交流電源の周波数の2倍)と撮像装置の垂直同期周波数(撮像周波数)との違いによって、撮影出力の映像信号に時間的な明暗の変化、いわゆる蛍光灯フリッカを生じる。
例えば、電源周波数が50Hzの地域において、非インバータ方式の蛍光灯の照明下で、NTSC方式のCCD(Charge Coupled Device)撮像装置によって被写体を撮影する場合、図18に示すように、1フィールドが1/60秒(垂直同期周波数が60Hz)であるのに対して、蛍光灯の輝度変化の周期が1/100秒となるので、蛍光灯の輝度変化に対して各フィールドの露光タイミングがずれ、各画素の露光量がフィールドごとに(フィールド間で)変化する。
そのため、露光時間が1/60秒であるときには、期間a1,a2,a3では、同じ露光時間でも露光量が異なり、露光時間が1/60秒より短いとき(ただし、後述のように1/100秒ではないとき)には、期間b1,b2,b3では、同じ露光時間でも露光量が異なる。
この場合、蛍光灯の輝度変化に対する露光タイミングは、3フィールド(1/20秒)ごとに元のタイミングに戻るため、フリッカによる明暗変化は、3フィールドごとの繰り返しとなる。すなわち、各フィールドの輝度比(フリッカの見え方)は、露光期間によって変わるが、フリッカの周期は変わらない。
さらに、蛍光灯は、白色光を発光するために、通常、複数の蛍光体、例えば、赤、緑、青の蛍光体が用いられている。しかし、これら蛍光体は、それぞれが固有の残光特性を有し、輝度変化の周期中に存在する放電停止から次の放電開始までの期間は、それぞれの残光特性で減衰発光する。そのため、この期間では、始めは白色であった光が、次第に色相を変えながら減衰することになるので、上記のように露光タイミングがずれると、明暗変化だけでなく、色相変化を生じる。また、蛍光灯は、特定の波長に強いピークが存在するという特有の分光特性を持っているため、色によって信号の変動成分が異なる。
そして、このような色相変化、および色ごとの変動成分の差によって、いわゆる色フリッカが発生する。
ただし、この場合、露光時間を、1フィールド(1/60秒)を超えない範囲内で、蛍光灯の輝度変化の周期である1/100秒の整数倍に設定すれば、すなわち図18の最下段に示すように1/100秒に設定すれば、露光タイミングにかかわらず露光量が一定となって、フリッカを生じない。また、このようにシャッタ速度をフリッカが発生しない速度に設定する代わりに、蛍光灯照明下で被写体を撮影した場合に撮像出力の映像信号に生じるフリッカを低減する方法も考えられている。
一方、CMOS撮像装置などのXYアドレス走査型の撮像装置では、画素ごとの露光タイミングが画面水平方向において読み出しクロック(画素クロック)の1周期分ずつ順次ずれ、全ての画素で露光タイミングが異なるため、CCD撮像装置の場合とは蛍光灯フリッカの態様が異なる。
デジタルビデオカメラとしては、NTSC方式のものとPAL方式のものがある。さらに、最近のデジタルビデオカメラは、NTSC方式とPAL方式の両方に対応したものがほとんどであり、工場から出荷する際に、出荷仕向けによって電気的にNTSC方式とPAL方式のいずれかに設定される。また、デジタルスチルカメラなどでは、フレーム周波数が30Hzのプログレッシブ方式のものがある。
また、家庭用交流電源(蛍光灯駆動電源)の周波数は、日本の一部地域および世界の一部の国または地域では50Hzとされ、日本のその他の地域および世界のその他の国または地域では60Hzとされている。
以下に、CMOS撮像装置につき、NTSC方式、PAL方式、またはフレーム周波数が30Hzのプログレッシブ方式の場合、および電源周波数が50Hzまたは60Hzの地域で撮影する場合における、蛍光灯フリッカの態様を示す。
図19に、NTSC方式のCMOS撮像装置によって、電源周波数が50Hzの地域において、蛍光灯照明下で被写体を撮影する場合を示す。
上記のように、CMOS撮像装置では、画面水平方向でも各画素の露光タイミングが順次ずれるが、蛍光灯の輝度変化の周期に比べて1水平周期は十分短いので、同一ライン上の画素は露光タイミングが同時であると仮定し、画面垂直方向における各ラインの露光タイミングを示す。実際上、このように仮定しても問題はない。
図19に示すように、CMOS撮像装置では、ラインごとに露光タイミングが異なり(F0は、あるフィールドでの、その様子を示す)、各ラインで露光量に差を生じるため、フリッカによる明暗変化および色変化が、フィールド間だけでなくフィールド内でも生じ、画面上では縞模様(縞自体の方向は画面水平方向、縞の変化の方向は画面垂直方向)として現れる。
図20に、被写体が均一なパターンの場合の、この面内フリッカの様子を示す。縞模様の1周期(1波長)が1/100秒であるので、1画面中には1.666周期分の縞模様が発生することになり、1フィールド当たりの読み出しライン数をMとすると、縞模様の1周期は読み出しライン数ではL=M*60/100に相当する。なお、明細書および図面では、アスタリスク(*)を乗算の記号として用いる。
図21に示すように、この縞模様は、3フィールド(3画面)で5周期(5波長)分となり、連続的に見ると垂直方向に流れるように見える。
図20および図21には、フリッカによる明暗変化のみを示すが、実際には上述した色変化も加わり、画質が著しく劣化する。特に色フリッカは、シャッタ速度が速くなる(露光時間が短くなる)と顕著になるとともに、CMOS撮像装置では、その影響が画面内に現れるため、画質劣化がより目立つようになる。
以上のように、NTSC方式のCMOS撮像装置によって、電源周波数が50Hzの地域において、蛍光灯照明下で被写体を撮影する場合には、図22(A)の左側にも示すように、1フィールドが1/60秒であるのに対して、蛍光灯の輝度変化の周期が1/100秒となるので、露光時間が1/60秒の通常シャッタ時にも、露光時間が1/60秒より短い高速シャッタ時にも、図22(A)の右側に示すように、3フィールド(3画面)を繰り返し周期とする時間軸上で連続性を持った(連続的に見ると垂直方向に流れるように見える)フリッカを生じる。
ただし、この場合、露光時間を、1フィールド(1/60秒)を超えない範囲内で、蛍光灯の輝度変化の周期である1/100秒の整数倍に設定すれば、すなわち1/100秒に設定すれば、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。
以上の、CMOS撮像装置についての、垂直同期周波数が60Hz、電源周波数が50Hzの場合を、図24の第1段目に示す。
NTSC方式のCMOS撮像装置によって、電源周波数が60Hzの地域において、蛍光灯照明下で被写体を撮影する場合には、図22(B)の左側に示すように、1フィールドが1/60秒であるのに対して、蛍光灯の輝度変化の周期が1/120秒となるので、露光時間が1/60秒の通常シャッタ時には、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じないが、露光時間が1/60秒より短い高速シャッタ時には、図22(B)の右側に示すように、各フィールド(各画面)でフリッカの縞模様が同一となる1フィールド(1画面)で完結するフリッカを生じる。
そして、このように各画面でフリッカの縞模様が同一となる1画面で完結するフリッカを生じる場合には、撮像素子からの映像信号中の絵柄(背景)成分とフリッカ成分を区別することができなくなる。
ただし、高速シャッタとする場合でも、露光時間を、蛍光灯の輝度変化の周期である1/120秒に設定すれば、露光時間が1/60秒の通常シャッタ時と同様に、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。
以上の、CMOS撮像装置についての、垂直同期周波数が60Hz、電源周波数が60Hzの場合を、図24の第2段目に示す。
PAL方式のCMOS撮像装置によって、電源周波数が60Hzの地域において、蛍光灯照明下で被写体を撮影する場合には、図23(A)の左側に示すように、1フィールドが1/50秒であるのに対して、蛍光灯の輝度変化の周期が1/120秒となるので、露光時間が1/50秒の通常シャッタ時にも、露光時間が1/50秒より短い高速シャッタ時にも、図23(A)の右側に示すように、5フィールド(5画面)を繰り返し周期とする時間軸上で連続性を持った(連続的に見ると垂直方向に流れるように見える)フリッカを生じる。
ただし、この場合、露光時間を、1フィールド(1/50秒)を超えない範囲内で、蛍光灯の輝度変化の周期である1/120秒の整数倍に設定すれば、すなわち1/120秒または1/60秒に設定すれば、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。
以上の、CMOS撮像装置についての、垂直同期周波数が50Hz、電源周波数が60Hzの場合を、図24の第4段目に示す。
PAL方式のCMOS撮像装置によって、電源周波数が50Hzの地域において、蛍光灯照明下で被写体を撮影する場合には、図23(B)の左側に示すように、1フィールドが1/50秒であるのに対して、蛍光灯の輝度変化の周期が1/100秒となるので、露光時間が1/50秒の通常シャッタ時には、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じないが、露光時間が1/50秒より短い高速シャッタ時には、図23(B)の右側に示すように、各フィールド(各画面)でフリッカの縞模様が同一となる1フィールド(1画面)で完結するフリッカを生じる。
ただし、高速シャッタとする場合でも、露光時間を、蛍光灯の輝度変化の周期である1/100秒に設定すれば、露光時間が1/50秒の通常シャッタ時と同様に、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。
以上の、CMOS撮像装置についての、垂直同期周波数が50Hz、電源周波数が50Hzの場合を、図24の第3段目に示す。
フレーム周波数が30Hzのプログレッシブ方式のCMOS撮像装置によって、電源周波数が50Hzの地域において、蛍光灯照明下で被写体を撮影する場合には、図では省略するが、1フレームが1/30秒(垂直同期周波数が30Hz)であるのに対して、蛍光灯の輝度変化の周期が1/100秒となるので、露光時間が1/30秒の通常シャッタ時にも、露光時間が1/30秒より短い高速シャッタ時にも、3フレーム(3画面)を繰り返し周期とする時間軸上で連続性を持った(連続的に見ると垂直方向に流れるように見える)フリッカを生じる。
ただし、この場合、露光時間を、1フレーム(1/30秒)を超えない範囲内で、蛍光灯の輝度変化の周期である1/100秒の整数倍に設定すれば、すなわち1/100秒、1/50秒または3/100秒に設定すれば、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。
以上の、CMOS撮像装置についての、垂直同期周波数が30Hz、電源周波数が50Hzの場合を、図24の第5段目に示す。
フレーム周波数が30Hzのプログレッシブ方式のCMOS撮像装置によって、電源周波数が60Hzの地域において、蛍光灯照明下で被写体を撮影する場合には、図では省略するが、1フレームが1/30秒であるのに対して、蛍光灯の輝度変化の周期が1/120秒となるので、露光時間が1/30秒の通常シャッタ時には、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じないが、露光時間が1/30秒より短い高速シャッタ時には、各フレーム(各画面)でフリッカの縞模様が同一となる1フレーム(1画面)で完結するフリッカを生じる。
ただし、高速シャッタとする場合でも、露光時間を、蛍光灯の輝度変化の周期である1/120秒の整数倍に設定すれば、すなわち1/120秒、1/60秒または1/40秒に設定すれば、露光時間が1/30秒の通常シャッタ時と同様に、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。
以上の、CMOS撮像装置についての、垂直同期周波数が30Hz、電源周波数が60Hzの場合を、図24の第6段目に示す。
CMOS撮像装置についても、シャッタ速度をフリッカが発生しない速度に設定する代わりに、蛍光灯照明下で被写体を撮影した場合に撮像出力の映像信号に生じるフリッカを低減する方法が考えられている。
具体的に、図21、図22(A)または図23(A)に示したような、複数垂直周期(複数画面)を繰り返し周期とする時間軸上で連続性を持ったフリッカを生じる場合には、フリッカの連続性を利用して、撮影出力の映像信号中のフリッカ成分を推定し、その推定結果のフリッカ成分に応じて映像信号のゲインを調整し、または推定結果のフリッカ成分を映像信号から減算するなど、推定結果に応じて撮影出力の映像信号を補正することによって、撮影出力の映像信号中のフリッカ成分を低減することができる。
なお、動画と静止画の両方を撮影できるデジタルビデオカメラやデジタルスチルカメラによって静止画を撮影する場合には、CMOS撮像装置などのXYアドレス走査型の撮像装置でも、1画面内の全ての画素の露光タイミング(露光開始および露光終了のタイミング)を同一にすることができるので、蛍光灯フリッカの発生を回避することができる。この場合、撮像素子からの映像信号の読み出しは、動画を撮影する場合のような読み出し速度の制約がないので、機械的なシャッタを閉じて遮光した状態で、ゆっくり行うことができる。
以上のように、CMOS撮像装置などのXYアドレス走査型の撮像装置では、撮影出力の映像信号にフリッカを生じないシャッタ速度に設定し、または映像信号に生じたフリッカを低減するには、蛍光灯照明下にあるか否か、および、蛍光灯照明下にある場合には蛍光灯駆動電源周波数が50Hzであるか60Hzであるかを、判断する必要がある。
また、WB(ホワイトバランス)調整やAE(自動露光)調整などの調整も、蛍光灯照明下と非蛍光灯照明下では、それぞれに最適なように制御することが好ましく、そのためには、蛍光灯照明下にあるか否かを判断する必要がある。
このように撮影環境を判定する方法として、特許文献1(特開平7−336586号公報)には、特別に用意した測光センサによって外光を直接測定し、その測定結果の出力信号中に変動成分が存在するか否かによって蛍光灯照明下にあるか否かを判断し、さらに変動成分が存在することにより蛍光灯照明下と判断した場合には、変動成分の周波数を検出することによって蛍光体駆動電源周波数を検出する方法が示されている。
しかし、この特許文献1に記載された方法は、別途測光センサを必要とし、しかも測光センサと撮像装置本体との間の接続や通信を考慮しなければならないので、撮像装置が大型化し、高コスト化する問題がある。
そこで、撮影出力の映像信号から、蛍光灯照明下にあるか否かを判断し、蛍光灯駆動電源周波数を検出できる方法が望まれる。
そのような方法として、特許文献2(特開2001−111887号公報)には、
(1)画素値を画面水平方向に積算して、背景(絵柄)の影響を弱めたフリッカ成分データを生成し、
(2)その積算データを複数画面に渡って平均化して、背景成分に相当する平均値を算出し、
(3)この平均値で上記の積算データを正規化して、背景の影響を取り除いたフリッカ成分データを算出し、
(4)このフリッカ成分データを画面垂直方向にフーリエ変換して、フリッカ周波数成分のみのスペクトルを抽出し、
(5)そのスペクトルのレベルを閾値と比較して、フリッカが発生しているか否か、すなわち蛍光灯照明下にあるか否か、および蛍光灯駆動電源周波数が50Hzであるか60Hzであるかを判断し、
(6)その判断結果に応じてシャッタ速度を切り換えてフリッカの発生を阻止する、
方法が示されている。
また、特許文献3(特開2002−84466号公報)には、
(1)画素値を画面水平方向に積算して、背景(絵柄)の影響を弱めた積算値を算出し、
(2)その積算値のフレーム間の変化量から、一定の評価式によってフリッカ指標値を演算し、
(3)その演算結果から、フリッカが発生しているか否か、すなわち蛍光灯照明下にあるか否か、および蛍光灯駆動電源周波数が50Hzであるか60Hzであるかを判断し、
(4)その判断結果に応じてシャッタ速度を切り換えてフリッカの発生を阻止する、
方法が示されている。
上に挙げた先行技術文献は、以下の通りである。
特開平7−336586号公報 特開2001−111887号公報 特開2002−84466号公報
しかしながら、上記の特許文献2または3に記載された方法では、図22(B)または図23(B)に示したような、各画面でフリッカの縞模様が同一となる1画面で完結するフリッカを生じる場合には、撮影出力の映像信号中の絵柄(背景)成分とフリッカ成分を区別することができず、映像信号のフィールド間での変動成分が検出されないため、蛍光灯照明下と判断することができない。
特許文献3の「実施の形態2」には、この問題を解決する方法として、
(0)最初に、シャッタ速度を1/120秒の整数倍に設定し、
(1)この状態で、画素値を画面水平方向に積算して、背景(絵柄)の影響を弱めた積算値を算出し、
(2)その積算値のフレーム間の変化量から、一定の評価式によってフリッカ指標値を演算し、
(3)その演算結果から、電源周波数が50Hzの蛍光灯照明下にあるか否かを判断し、
(4)電源周波数が50Hzの蛍光灯照明下にあると判断した場合には、シャッタ速度を1/100秒の整数倍に設定し、
(5)電源周波数が50Hzの蛍光灯照明下にないと判断した場合には、シャッタ速度を電源周波数が60Hzの蛍光灯照明下ではフリッカが発生しない1/120秒の整数倍に設定する、
方法が示されている。
しかしながら、この方法では、電源周波数が50Hzの蛍光灯照明下にない場合、電源周波数が60Hzの蛍光灯照明下にあるか否かを判断することなく、シャッタ速度を1/120秒の整数倍に設定するので、電源周波数が50Hzの蛍光灯照明下でもなく、電源周波数が60Hzの蛍光灯照明下でもない、そもそもフリッカが発生しない非蛍光灯照明下にある場合にも、不必要にシャッタ速度が制限されてしまうとともに、最終的に蛍光灯照明下にあるか否かを示す情報を得ることができず、判定結果を上述したWB調整やAE調整に利用することもできない。
そこで、この発明は、CMOS撮像装置などのXYアドレス走査型の撮像装置によって被写体を撮影する場合に、蛍光灯照明下にあるか否か、および蛍光灯照明下にある場合には蛍光灯駆動電源周波数が50Hzであるか60Hzであるかを、簡単かつ確実に判断することができるようにしたものである。
第1の発明の撮影環境判定方法は、
垂直同期周波数が120/J[Hz](Jは正の整数)とされた、XYアドレス走査型の撮像素子を用いた撮像装置によって被写体を撮影する場合の撮影環境判定方法であって、
前記撮像素子のシャッタ速度を、第1のシャッタ速度としてのN/120[秒](Nは正の整数)に設定する第1工程と、
前記第1のシャッタ速度で前記撮像素子から得られた映像信号を画面の特定領域内で積算し、その積算値を連続する複数垂直周期において得られた複数の積算値の平均値で正規化して、第1の正規化積算値を求める第2工程と、
前記第1の正規化積算値から第1の周波数成分を抽出し、当該第1の周波数成分のレベルが第1の閾値より大きいか否かを判断する第3工程と、
前記第1の周波数成分のレベルが前記第1の閾値以下であると判断した場合に、前記撮像素子のシャッタ速度を、前記第1のシャッタ速度と異なる第2のシャッタ速度としてのN/100[秒]に設定する第4工程と、
前記第2のシャッタ速度で前記撮像素子から得られた映像信号を画面の特定領域内で積算し、その積算値を前記第2工程で用いた平均値で正規化して、第2の正規化積算値を求める第5工程と、
前記第2の正規化積算値から第2の周波数成分を抽出し、当該第2の周波数成分のレベルが第2の閾値より大きいか否かを判断する第6工程と、
を備えるものとする。
第2の発明の撮影環境判定方法は、
垂直同期周波数が100/J[Hz](Jは正の整数)とされた、XYアドレス走査型の撮像素子を用いた撮像装置によって被写体を撮影する場合の撮影環境判定方法であって、
前記撮像素子のシャッタ速度を、第1のシャッタ速度としてのN/100[秒](Nは正の整数)に設定する第1工程と、
前記第1のシャッタ速度で前記撮像素子から得られた映像信号を画面の特定領域内で積算し、その積算値を連続する複数垂直周期において得られた複数の積算値の平均値で正規化して、第1の正規化積算値を求める第2工程と、
前記第1の正規化積算値から第1の周波数成分を抽出し、当該第1の周波数成分のレベルが第1の閾値より大きいか否かを判断する第3工程と、
前記第1の周波数成分のレベルが前記第1の閾値以下であると判断した場合に、前記撮像素子のシャッタ速度を、前記第1のシャッタ速度と異なる第2のシャッタ速度としてのN/120[秒]に設定する第4工程と、
前記第2のシャッタ速度で前記撮像素子から得られた映像信号を画面の特定領域内で積算し、その積算値を前記第2工程で用いた平均値で正規化して、第2の正規化積算値を求める第5工程と、
前記第2の正規化積算値から第2の周波数成分を抽出し、当該第2の周波数成分のレベルが第2の閾値より大きいか否かを判断する第6工程と、
を備えるものとする。
上記の第1の発明の撮影環境判定方法では、NTSC方式やフレーム周波数が30Hzのプログレッシブ方式など、垂直同期周波数が120/J[Hz](Jは正の整数)とされた撮像装置において、第1のシャッタ速度をN/120[秒](Nは正の整数)に設定し、第2のシャッタ速度をN/100[秒]に設定することによって、第3工程では、第1の周波数成分のレベルが第1の閾値より大きいか否かによって、電源周波数が50Hzの蛍光灯照明下にあるか否かを判断することができ、第6工程では、第2の周波数成分のレベルが第2の閾値より大きいか否かによって、電源周波数が60Hzの蛍光灯照明下にあるか否かを判断することができる。
上記の第2の発明の撮影環境判定方法では、PAL方式など、垂直同期周波数が100/J[Hz](Jは正の整数)とされた撮像装置において、第1のシャッタ速度をN/100[秒](Nは正の整数)に設定し、第2のシャッタ速度をN/120[秒]に設定することによって、第3工程では、第1の周波数成分のレベルが第1の閾値より大きいか否かによって、電源周波数が60Hzの蛍光灯照明下にあるか否かを判断することができ、第6工程では、第2の周波数成分のレベルが第2の閾値より大きいか否かによって、電源周波数が50Hzの蛍光灯照明下にあるか否かを判断することができる。
以上のように、この発明によれば、CMOS撮像装置などのXYアドレス走査型の撮像装置によって被写体を撮影する場合に、蛍光灯照明下にあるか否か、および蛍光灯照明下にある場合には蛍光灯駆動電源周波数が50Hzであるか60Hzであるかを、簡単かつ確実に判断することができる。
また、電源周波数が50Hzの蛍光灯照明下にあるか否か、および電源周波数が60Hzの蛍光灯照明下にあるか否かを、判断することができるので、両者の判断の結果、非蛍光灯照明下と判定される場合には、通常のシャッタ制御として、シャッタ速度を任意に設定することができ、従来の方法のように、フリッカが発生しない非蛍光灯照明下にある場合にも不必要にシャッタ速度が制限されてしまうことがない。
また、最終的に蛍光灯照明下にあるか否かを示す情報を得ることができるので、判定結果をWB調整やAE調整に利用することができる。
〔撮像装置のシステム構成:図1〕
図1は、この発明の撮像装置の一例のシステム構成を示し、XYアドレス走査型の撮像素子としてCMOS撮像素子を用いた場合である。
この例の撮像装置では、被写体からの光が、撮像光学系11を介してCMOS撮像素子12に入射して、CMOS撮像素子12で光電変換され、CMOS撮像素子12から、RGB(赤、緑、青)各色の原色信号または補色系の色信号からなるアナログ映像信号が得られる。
CMOS撮像素子12は、CMOS基板上に、フォトダイオード(フォトゲート)、転送ゲート(シャッタトランジスタ)、スイッチングトランジスタ(アドレストランジスタ)、増幅トランジスタ、リセットトランジスタ(リセットゲート)などを有する画素が複数、2次元状に配列されて形成されるとともに、垂直走査回路、水平走査回路および映像信号出力回路が形成されたものである。
このCMOS撮像素子12からのアナログ映像信号は、IC(集積回路)として構成されたアナログ信号処理部13で、色信号ごとに、サンプルホールドされ、AGC(自動利得制御)によってゲインが制御され、A/D変換によってデジタル信号に変換される。
このアナログ信号処理部13からのデジタル映像信号は、ICとして構成されたデジタル信号処理部14で、クランプ、ゲイン調整、WB調整、ガンマ補正(階調変換)などの処理が実行されて、最終的に、デジタル信号処理部14から、輝度信号Yおよび赤、青の色差信号R−Y,B−Yが出力される。
さらに、このデジタル信号処理部14には、フリッカ検出部19が設けられ、システムコントローラ21の制御によって、このフリッカ検出部19で、撮影環境の判定用に後述のフリッカ検出処理が実行される。
システムコントローラ21は、マイクロコンピュータなどによって構成され、カメラ各部を制御する。
具体的に、システムコントローラ21から、ICとして構成されたレンズ駆動用ドライバ15に、レンズ駆動制御信号が供給され、レンズ駆動用ドライバ15によって、撮像光学系11のレンズやアイリスが駆動される。
また、システムコントローラ21からタイミングジェネレータ16に、タイミング制御信号が供給され、タイミングジェネレータ16からCMOS撮像素子12に、各種タイミング信号が供給されて、CMOS撮像素子12が駆動される。
さらに、デジタル信号処理部14からシステムコントローラ21に、映像信号の検波信号が取り込まれ、システムコントローラ21からのAGC信号によって、アナログ信号処理部13で、上記のように各色信号のゲインが制御されるとともに、システムコントローラ21によって、デジタル信号処理部14における信号処理が制御される。
また、システムコントローラ21には、手ぶれセンサ17が接続され、これから得られる手ぶれ情報が、手ぶれ補正に利用される。
また、システムコントローラ21には、マイクロコンピュータなどによって構成されたヒューマンインタフェース26を介して、ユーザインタフェース27を構成する操作部28および表示部29が接続され、操作部28での設定操作や選択操作などが、システムコントローラ21によって検出されるとともに、カメラの設定状態や制御状態などが、システムコントローラ21によって表示部29に表示される。
さらに、システムコントローラ21は、機能的に撮影環境判定部22およびAE制御部23を備え、その撮影環境判定部22で、後述のように撮影環境が判定され、AE制御部23で、実際の撮影時のCMOS撮像素子12の電子シャッタ速度(露光時間)が設定される。
以上のようなシステム構成の撮像装置としては、映像方式につき、(A)出荷時にNTSC方式とPAL方式のいずれかに選択的に設定される撮像装置、(B)NTSC方式とPAL方式のいずれかに最初から固定的に決定されている撮像装置、(C)フレーム周波数が30Hzのプログレッシブ方式の撮像装置、などが考えられる。
出荷時にNTSC方式とPAL方式のいずれかに選択的に設定される撮像装置では、その設定状態が、設定フラグとしてシステムコントローラ21内に保持され、撮影環境判定部22による撮影環境の判定およびAE制御部23によるシャッタ速度の設定に供される。
以下においては、撮像装置の設定または決定されている垂直同期周波数(NTSC方式ではフィールド周波数で60Hz、PAL方式ではフィールド周波数で50Hz、プログレッシブ方式ではフレーム周波数)をfvとし、蛍光灯を駆動する交流電源の周波数(50Hzまたは60Hz)をfpとする。
〔撮影環境判定方法:図2〜図17〕
以下では、まず、出荷時にNTSC方式とPAL方式のいずれかに選択的に設定される撮像装置につき、フリッカ検出部19でのフリッカ検出処理を含む、この発明の撮影環境判定方法を示し、NTSC方式とPAL方式のいずれかに最初から固定的に決定されている撮像装置、およびフレーム周波数が30Hzのプログレッシブ方式の撮像装置については、そのあとに示す。
以下においてシャッタ速度につき示す「N」は、正の整数であるが、シャッタ速度(露光時間)が1垂直周期(NTSC方式では1/60秒、PAL方式では1/50秒、フレーム周波数が30Hzのプログレッシブ方式では1/30秒)を超えない範囲内の値である。以下における「N/100秒」「N/120秒」の直後の括弧内に示すシャッタ速度は、この1垂直周期を超えない範囲内の具体的なシャッタ速度である。
(フリッカ検出部の構成:図2)
図2に、図1のフリッカ検出部19の一例を示す。
この例のフリッカ検出部19は、ライン積分ブロック31、メモリ32、平均値計算ブロック33、正規化ブロック34、DFT(離散フーリエ変換)ブロック35、スイッチ36およびメモリコントローラ37によって構成される。
フリッカ検出部19の入力信号は、この例ではデジタル信号処理部14で得られる輝度信号とするが、色信号でもよい。ただし、上述したように蛍光灯フリッカ成分は色ごとにレベルが異なり、蛍光灯によっては特定の色成分がほとんど変動しないものもあるので、特定の色信号のみからフリッカ成分の有無を判断すると、誤検出の恐れがある。
そのため、フリッカ検出部19の入力信号を色信号とする場合には、特定の色信号だけでなく、複数の色信号、例えばRGB各色の色信号につき独立に、後述のフリッカ検出処理を実行し、その複数の色信号中の少なくとも一つにつき、フリッカ成分が検出されたときには、蛍光灯照明下にあると判断する構成とすることが望ましい。
図20および図21は、被写体が一様な場合であるが、一般にフリッカ成分は被写体の信号強度に比例する。
そこで、一般の被写体についての任意のフィールドnおよび任意の画素(x,y)におけるフリッカ検出部19の入力信号をIn’(x,y)とすると、In’(x,y)は、フリッカ成分を含まない信号成分と、これに比例したフリッカ成分との和として、図6の式(1)で表される。
In(x,y)は、信号成分であり、Γn(y)*In(x,y)は、フリッカ成分であり、Γn(y)は、フリッカ係数である。蛍光灯の発光周期(fp=50Hzでは1/100秒、fp=60Hzでは1/120秒)に比べて1水平周期は十分短く、同一フィールドの同一ラインではフリッカ係数は一定と見なすことができるので、フリッカ係数はΓn(y)で表す。
Γn(y)を一般化するために、図6の式(2)に示すように、フーリエ級数に展開した形式で記述する。これによって、蛍光灯の種類によって異なる発光特性および残光特性を全て網羅した形式でフリッカ係数を表現することができる。
式(2)中のλoは、図20に示したような面内フリッカの波長であり、1フィールド(NTSC方式では1/60秒、PAL方式では1/50秒)当たりの読み出しライン数をMとすると、fp=50Hzのときには、(M*fv/100)ラインに相当し、fp=60Hzのときには、(M*fv/120)ラインに相当する。ωoは、λoで正規化された規格化角周波数である。
γmは、各次(m=1,2,3‥)のフリッカ成分の振幅である。Φmnは、各次のフリッカ成分の初期位相を示し、蛍光灯の発光周期と露光タイミングによって決まる。
すなわち、
(a)fp=50Hz,fv=60Hz(NTSC方式)の場合には、図22(A)に示したように、Φmnは3フィールドごとに同じ値になり、直前のフィールドとの間のΦmnの差ΔΦmnは、図6の式(3a)で表され、
(b)fp=60Hz,fv=60Hz(NTSC方式)の場合には、図22(B)に示したように、Φmnは各フィールドで同じ値になり、直前のフィールドとの間のΦmnの差ΔΦmnは、図6の式(3b)で表され、
(c)fp=50Hz,fv=50Hz(PAL方式)の場合には、図23(B)に示したように、Φmnは各フィールドで同じ値になり、直前のフィールドとの間のΦmnの差ΔΦmnは、図6の式(3c)で表され、
(d)fp=60Hz,fv=50Hz(PAL方式)の場合には、図23(A)に示したように、Φmnは5フィールドごとに同じ値になり、直前のフィールドとの間のΦmnの差ΔΦmnは、図6の式(3d)で表される。
(撮影環境判定処理)
システムコントローラ21の撮影環境判定部22は、撮像装置の電源がオンにされたときや、被写体情報(被写体の明るさや色温度)が大きく変化して、撮影環境が変化した可能性があるときには、以下のような撮影環境判定処理を実行して、(1)fp=50Hzの蛍光灯照明下にあるか、(2)fp=60Hzの蛍光灯照明下にあるか、(3)非蛍光灯照明下にあるか、を判断する。
図3〜図5に、出荷時にNTSC方式とPAL方式のいずれかに選択的に設定される撮像装置の、撮影環境判定処理ルーチンの一例を示す。
この例の撮影環境判定処理ルーチン40では、撮影環境判定部22は、まずステップ41で、上述した設定フラグから、撮像装置の設定された映像方式(垂直同期周波数fv)がNTSC方式(fv=60Hz)であるかPAL方式(fv=50Hz)であるかを判断する。
<判定用の第1のシャッタ速度の設定>
そして、NTSC方式が設定されている場合には、ステップ41からステップ42に進んで、CMOS撮像素子12の電子シャッタ速度を、判定用の第1のシャッタ速度として、図24の第1段目に示したようにfp=50Hzの蛍光灯照明下では3フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるシャッタ速度であるN/120秒(1/120秒または1/60秒)に設定して、ステップ43に進む。
PAL方式が設定されている場合には、ステップ41からステップ62に進んで、CMOS撮像素子12の電子シャッタ速度を、判定用の第1のシャッタ速度として、図24の第4段目に示したようにfp=60Hzの蛍光灯照明下では5フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるシャッタ速度であるN/100秒(1/100秒または1/50秒)に設定して、ステップ63に進む。
<第1のシャッタ速度下でのフリッカ検出処理>
ステップ43または63では、上記のように第1のシャッタ速度を設定した状態で被写体を撮影し、フリッカ検出部19において、以下のようなフリッカ検出処理を実行する。この場合、フリッカ検出部19のスイッチ36は図2のように現在側に切り換える。
まず、上記の入力信号In’(x,y)を、絵柄(背景)の影響を少なくするために、ライン積分ブロック31で、画面水平方向に積算して、ライン積分値Fn(y)を得る。
この積算は、外乱の影響を低減するため、1ライン当たりの積算画素数を多くすることが望ましい。また、この例では1ラインごとに積算するが、必ずしも1ラインごとに積算する必要はなく、図6の式(2)のcosの項による変動を無視できるようなサンプリング間隔、すなわちライン積分値Fn(y)がフリッカ成分を十分に表すことができるサンプリング間隔であれば、複数ライン分まとめて積算してもよい。複数ライン分まとめて積算すれば、より外乱の影響を抑えることができるとともに、メモリ32の容量を低減し、後述のDFT演算の規模を縮小することができる。
なお、入力信号In’(x,y)を画面水平方向に積算するのは、CMOS撮像素子12が、画面水平方向に走査されつつ、画面垂直方向に走査され、図20および図21に示したように、フリッカ縞模様の縞自体の方向が画面水平方向となり、縞の変化の方向が画面垂直方向となるからであって、例えば、逆に、CMOS撮像素子12が、画面垂直方向に走査されつつ、画面水平方向に走査され、フリッカ縞模様の縞自体の方向が画面垂直方向となり、縞の変化の方向が画面水平方向となる場合には、入力信号In’(x,y)を画面垂直方向に積算する。したがって、垂直同期周波数や垂直周期の「垂直」は、1画面のことである。
上記のようにして得られるライン積分値Fn(y)は、図7の式(4)で表される。式(4)中のαn(y)は、式(5)で表されるような、信号成分(背景成分)In(x,y)のライン積分値である。
被写体が一様であれば、信号成分In(x,y)のライン積分値αn(y)が一定値となるので、入力信号In’(x,y)のライン積分値Fn(y)から、フリッカ成分αn(y)*Γn(y)を容易に抽出することができる。
しかし、一般的な被写体では、αn(y)にもm*ωo成分が含まれるため、フリッカ成分としての輝度成分および色成分と、被写体自体の信号成分(背景成分)としての輝度成分および色成分とを分離することができず、純粋にフリッカ成分のみを抽出することはできない。さらに、式(4)の第1項の信号成分に対して第2項のフリッカ成分は非常に小さいので、フリッカ成分は信号成分中にほとんど埋もれてしまう。
図15に示す被写体を、NTSC方式のCMOS撮像装置によって、fp=50Hzの蛍光灯照明下で撮影した場合の、ライン積分値Fn(y)を、図16に示す。Field:N+0(実線)、Field:N+1(破線)、Field:N+2(点線)は、連続する3フィールドにおける第1、第2、第3フィールドである。これからも分かるように、ライン積分値Fn(y)から直接、フリッカ成分を抽出するのは不可能と言える。
そこで、ライン積分値Fn(y)から背景成分αn(y)の影響を取り除くために、以下のような処理を行う。
まず、システムコントローラ21によってメモリコントローラ37を制御して、ライン積分ブロック31の出力のライン積分値Fn(y)を、メモリ32のライン積分値保持領域32aに書き込む。
NTSC方式の場合には、fp=50Hzの蛍光灯照明下では、シャッタ速度がN/100秒でなければ、図24の第1段目(図22(A))に示したように、3フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるので、ライン積分値保持領域32aは、少なくとも2フィールド分のライン積分値を保持できるものとする。
PAL方式の場合には、fp=60Hzの蛍光灯照明下では、シャッタ速度がN/120秒でなければ、図24の第4段目(図23(A))に示したように、5フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるので、ライン積分値保持領域32aは、少なくとも4フィールド分のライン積分値を保持できるものとする。
したがって、出荷時にNTSC方式とPAL方式のいずれかに選択的に設定されるCMOS撮像装置では、ライン積分値保持領域32aは、少なくとも4フィールド分のライン積分値を保持できるものとする。
メモリコントローラ37は、1フィールド分の処理が終了するごとに順次、ライン積分値Fn(y)を、ライン積分値保持領域32aに書き込み、次のフィールド以降においてライン積分値保持領域32aから読み出す。
Fn_1(y),Fn_2(y),Fn_3(y),Fn_4(y)は、それぞれライン積分値保持領域32aから読み出された、現在のフィールドに対して1フィールド前、2フィールド前、3フィールド前、4フィールド前のライン積分値である。
さらに、フリッカ検出部19では、背景成分(信号成分)を抽出するために、平均値計算ブロック33で、ライン積分ブロック31から得られた現在のライン積分値Fn(y)、およびライン積分値保持領域32aから読み出された過去のライン積分値から、連続する複数フィールドにおけるライン積分値の平均値AVE[Fn(y)]を算出する。
具体的に、NTSC方式の場合には、fp=50Hzの蛍光灯照明下では、3フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるので、平均値AVE[Fn(y)]として、連続する3フィールドにおけるライン積分値Fn(y),Fn_1(y),Fn_2(y)の平均値を算出する。
PAL方式の場合には、fp=60Hzの蛍光灯照明下では、5フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるので、平均値AVE[Fn(y)]として、連続する5フィールドにおけるライン積分値Fn(y),Fn_1(y),Fn_2(y),Fn_3(y),Fn_4(y)の平均値を算出する。
これによって、NTSC方式の場合には、fp=50Hzの蛍光灯照明下でのフリッカ成分についての図6の式(3a)に示した位相関係から、図7の式(6)で示すように、フリッカ成分がキャンセルされて、平均値AVE[Fn(y)]として背景成分αn(y)のみを抽出することができ、PAL方式の場合には、fp=60Hzの蛍光灯照明下でのフリッカ成分についての図6の式(3d)に示した位相関係から、図8の式(8)で示すように、フリッカ成分がキャンセルされて、平均値AVE[Fn(y)]として背景成分αn(y)のみを抽出することができる。
すなわち、上述したように、ステップ42または62で、判定用の第1のシャッタ速度を、NTSC方式の場合にはN/120秒に、PAL方式の場合にはN/100秒に、それぞれ設定することによって、平均値AVE[Fn(y)]として背景成分αn(y)のみを抽出することができる。
ただし、このように平均値AVE[Fn(y)]が背景成分αn(y)のみとなるには、図7の式(7)または図8の式(9)に示すように、連続する3フィールドまたは5フィールドの期間中の背景成分を同じ値と見なすことができる必要があるが、通常、連続する数フィールドの間での被写体の動きは十分に小さいので、この間の背景成分は同じ値と見なすことができる。
以上は、NTSC方式の場合にfp=50Hzの蛍光灯照明下にあり、またはPAL方式の場合にfp=60Hzの蛍光灯照明下にある場合であるが、NTSC方式の場合であって、fp=60Hzの蛍光灯照明下、または非蛍光灯照明下にある場合に、ステップ42でシャッタ速度をN/120秒に設定したとき、または、PAL方式の場合であって、fp=50Hzの蛍光灯照明下、または非蛍光灯照明下にある場合に、ステップ62でシャッタ速度をN/100秒に設定したときには、そもそもフリッカが発生しないだけであって、平均値AVE[Fn(y)]として背景成分αn(y)のみが抽出されることに変わりはない。
こうして得られた平均値AVE[Fn(y)]は、あとの工程用に、メモリ32の平均値保持領域32bに書き込む。平均値保持領域32bは、過去の数フィールド分の平均値を保持できるものとする。
ステップ43または63でのフリッカ検出処理としては、さらに、システムコントローラ21からのスイッチ制御信号によって、上述したようにスイッチ36を現在側に切り換えて、正規化ブロック34において、ライン積分ブロック31の出力のライン積分値Fn(y)を、平均値計算ブロック33の出力の平均値AVE[Fn(y)]で正規化して、図8の式(10)で表される正規化後の積分値gn(y)を得る。
ライン積分値Fn(y)は、図7の式(4)および図16に示したように被写体の信号強度の影響が残るため、領域によってフリッカによる輝度変化および色変化のレベルが異なってしまうが、平均値AVE[Fn(y)]で正規化することによって、図8の式(10)に示すように、全領域に渡ってフリッカによる輝度変化および色変化を同一レベルに合わせることができる。
図17に、図15に示した被写体を、NTSC方式のCMOS撮像装置によって、fp=50Hzの蛍光灯照明下で撮影した場合の、連続する3フィールドにおける正規化後の積分値gn(y)を示す。これからも明らかなように、正規化後の積分値gn(y)では、図16に示した正規化前のライン積分値Fn(y)に比べて背景成分が大幅に除去される。
この段階で、このように正規化後の積分値gn(y)としてフリッカ成分を検出できるのは、NTSC方式の場合で、図24の第1段目(図22(A))に示したようにfp=50Hzの蛍光灯照明下にあるとき、または、PAL方式の場合で、図24の第4段目(図23(A))に示したようにfp=60Hzの蛍光灯照明下にあるときである。
これに対して、NTSC方式の場合で、fp=60Hzのとき、または、PAL方式の場合で、fp=50Hzのときには、ステップ42または62では、そもそもフリッカが発生しないシャッタ速度に設定されるため、正規化前のライン積分値Fn(y)も背景成分αn(y)のみとなり、正規化ブロック34での正規化は「背景成分を背景成分で正規化する」ことになって、図8の式(10)の第2項が蛍光灯照明下でもゼロとなり、正規化後の積分値gn(y)は常に1(フラットな波形)となる。
ステップ43または63でのフリッカ検出処理としては、さらに、DFTブロック35において、正規化ブロック34からの正規化後の積分値gn(y)の、フリッカの1波長分(Lライン分)に相当するデータを、離散フーリエ変換する。
DFT演算をDFT[gn(y)]とし、次数mのDFT結果をGn(m)とすれば、DFT演算は、図8の式(11)で表される。式(11)中のWは、式(12)で表される。
DFT演算のデータ長をフリッカの1波長分(Lライン分)とするのは、これによって、ちょうどωoの整数倍の離散スペクトル群を直接、得ることができるからである。
一般に、デジタル信号処理のフーリエ変換としては、FFT(高速フーリエ変換)が用いられるが、この例では、あえてDFTを用いる。その理由は、フーリエ変換のデータ長が2のべき乗になっていないので、FFTよりDFTの方が都合よいためである。ただし、入出力データを加工してFFTを用いることもできる。
実際の蛍光灯照明下では、次数mを数次までに限定しても、フリッカ成分を十分近似できるので、DFT演算もデータを全て出力する必要はなく、この発明の用途ではFFTに比べて演算効率の点でデメリットはない。
DFTブロック35では、図8の式(11)で定義されるDFT演算によって、式(10)で表される正規化後の積分値gn(y)のスペクトルGn(m)を計算する。
図24の第1段目に示したように、NTSC方式の場合で、fp=50Hzの蛍光灯照明下にあるとき、または図24の第4段目に示したように、PAL方式の場合で、fp=60Hzの蛍光灯照明下にあるときには、この段階で、図9に示すようなスペクトル列が得られる。
各スペクトルのレベルは、具体的なシャッタ速度によって変わるが、その大きさの関係は変わらず、m=0の直流成分が最も大きく、高次になるに従って小さくなる。
フリッカ成分は、1次以上の全スペクトルによって構成されるが、フリッカが発生しているか否かを判断するには、1次スペクトルS1のみを抽出すればよい。そこで、この例では、m=1についてのDFT演算のみを行う。これによって、DFT演算量を大幅に低減することができる。
そして、NTSC方式の場合で、fp=50Hzの蛍光灯照明下にあるとき、または、PAL方式の場合で、fp=60Hzの蛍光灯照明下にあるときには、1次スペクトルS1のレベルA1が、ある閾値Th1より大きくなる。
これに対して、NTSC方式の場合で、図24の第2段目に示したようにfp=60Hzの蛍光灯照明下にあるとき、または非蛍光灯照明下にあるとき、またはPAL方式の場合で、図24の第4段目に示したようにfp=50Hzの蛍光灯照明下にあるとき、または非蛍光灯照明下にあるときには、この段階では、図10に示すように、m=0の直流成分以外のスペクトルは、ノイズによる微小なものとなり、1次スペクトルS1のレベルA1は、閾値Th1以下となる。
<第1段の判定>
そこで、上記の撮影環境判定処理ルーチン40では、撮影環境判定部22は、NTSC方式の場合には、ステップ43で以上のようなフリッカ検出処理を実行した後、ステップ44に進んで、上記の1次スペクトルS1を取り込み、さらにステップ45に進んで、その1次スペクトルS1のレベルA1が閾値Th1より大きいか否かを判断する。
PAL方式の場合には、ステップ63で以上のようなフリッカ検出処理を実行した後、ステップ64に進んで、上記の1次スペクトルS1を取り込み、さらにステップ65に進んで、その1次スペクトルS1のレベルA1が閾値Th1より大きいか否かを判断する。
上述したように、NTSC方式の場合で、1次スペクトルS1のレベルA1が閾値Th1より大きければ、fp=50Hzの蛍光灯照明下であり、PAL方式の場合で、1次スペクトルS1のレベルA1が閾値Th1より大きければ、fp=60Hzの蛍光灯照明下である。
<第1段の判定で蛍光灯照明下と判定する場合>
そこで、撮影環境判定部22は、NTSC方式の場合で、ステップ45で「A1>Th1」と判断したときには、fp=50Hzの蛍光灯照明下と判定して、ステップ51に進んで、実際の撮影時のシャッタ速度を、図24の第1段目に示したような、フリッカが発生しないシャッタ速度であるN/100秒(1/100秒)に設定する。
PAL方式の場合で、ステップ65で「A1>Th1」と判断したときには、fp=60Hzの蛍光灯照明下と判定して、ステップ71に進んで、実際の撮影時のシャッタ速度を、図24の第4段目に示したような、フリッカが発生しないシャッタ速度であるN/120秒(1/120秒または1/60秒)に設定する。
ただし、いずれの場合も、実際の撮影時のシャッタ速度は、AE制御部23が撮影環境判定部22での判定結果をもとに設定し、シャッタ速度を1/100秒または1/120秒というような高速(短時間)にするときなどの露光不足は、アイリス調整やAGCによって補償する。
<判定用の第2のシャッタ速度の設定>
上述したように、NTSC方式の場合で、1次スペクトルS1のレベルA1が閾値Th1以下であるときには、それだけでは、fp=60Hzの蛍光灯照明下にあるのか、非蛍光灯照明下にあるのか、分からないとともに、PAL方式の場合で、1次スペクトルS1のレベルA1が閾値Th1以下であるときにも、それだけでは、fp=50Hzの蛍光灯照明下にあるのか、非蛍光灯照明下にあるのか、分からない。
そこで、撮影環境判定処理ルーチン40では、撮影環境判定部22は、NTSC方式の場合で、ステップ45で「A1≦Th1」と判断したときには、次にステップ46に進んで、CMOS撮像素子12の電子シャッタ速度を、判定用の第2のシャッタ速度として、図24の第2段目に示したようにfp=60Hzの蛍光灯照明下では1フィールドで完結するフリッカを生じるシャッタ速度であるN/100秒(1/100秒)に設定して、ステップ47に進む。
PAL方式の場合で、ステップ65で「A1≦Th1」と判断したときには、次にステップ66に進んで、CMOS撮像素子12の電子シャッタ速度を、判定用の第2のシャッタ速度として、図24の第3段目に示したようにfp=50Hzの蛍光灯照明下では1フィールドで完結するフリッカを生じるシャッタ速度であるN/120秒(1/120秒または1/60秒)に設定して、ステップ67に進む。
<第2のシャッタ速度下でのフリッカ検出処理>
ステップ47または67では、上記のように第2のシャッタ速度を設定した状態で被写体を撮影し、フリッカ検出部19において、ステップ43または63と同様のフリッカ検出処理、すなわち、入力信号In’(x,y)の積算、そのライン積分値Fn(y)の正規化、および正規化後の積分値gn(y)のDFT演算を実行する。
ただし、この場合、フリッカ検出部19のスイッチ36は図2とは逆に読み出し側に切り換え、ライン積分値Fn(y)の正規化のための平均値AVE[Fn(y)]として、メモリコントローラ37によってメモリ32の平均値保持領域32bから読み出した、ステップ43または63でのフリッカ検出処理によって得られた平均値を用いる。平均値保持領域32bには数フィールド分の平均値が保持されるが、被写体の動きの影響をできるだけ小さくするため、直近の平均値を用いることが望ましい。
このようにステップ47または67では、ステップ43または63でのフリッカ検出処理によって得られた平均値を利用してフリッカ検出処理を実行することによって、ステップ43または63のようにシャッタ速度を第1のシャッタ速度にしたときには正規化後の積分値gn(y)としてフリッカを検出できない(正規化後の積分値gn(y)が1となる)、NTSC方式の場合に、図24の第2段目(図22(B))に示したようにfp=60Hzの蛍光灯照明下にあって、1フィールドで完結するフリッカを生じるとき、またはPAL方式の場合に、図24の第3段目(図23(B))に示したようにfp=50Hzの蛍光灯照明下にあって、1フィールドで完結するフリッカを生じるときにも、正規化後の積分値gn(y)としてフリッカを検出できる適切なものを得ることができる。
すなわち、図24の第2段目に示したように、NTSC方式の場合で、fp=60Hzの蛍光灯照明下にあるとき、または図24の第3段目に示したように、PAL方式の場合で、fp=50Hzの蛍光灯照明下にあるときには、この段階で、図11に示すようなスペクトル列が得られ、1次スペクトルS1のレベルA1が、ある閾値Th2より大きくなる。
これに対して、NTSC方式の場合で、fp=60Hzの蛍光灯照明下でもないとき、またはPAL方式の場合で、fp=50Hzの蛍光灯照明下でもないとき、すなわち、いずれの方式の場合でも、非蛍光灯照明下にあるときには、図12に示すように、m=0の直流成分以外のスペクトルは、ノイズによる微小なものとなり、1次スペクトルS1のレベルA1は、閾値Th2以下となる。
なお、ステップ47または67でのフリッカ検出処理では、正規化用の平均値AVE[Fn(y)]として、第1のシャッタ速度のもとで得られたものを用いるので、背景成分αn(y)としては、第2のシャッタ速度のもとで得られるものより大きくなる。この影響はスペクトルレベルに現れ、この場合のスペクトルレベルは、図11に示すように、実際のフリッカ成分のスペクトルレベルより小さくなる。
しかし、この影響は、蛍光灯照明下にあるか否かを判断する観点では小さく、この場合も、1次スペクトルS1のレベルA1は、蛍光灯照明下にあるか否かによって明確に相違する。
したがって、必要に応じて、図9〜図12に示すように閾値Th2を閾値Th1より低く設定し、または閾値Th1およびTh2を共に低めに設定することによって、いずれの場合も、特定の駆動電源周波数の蛍光灯照明下にあるか否かを確実に判断することができる。
<第2段の判定>
上記の撮影環境判定処理ルーチン40では、撮影環境判定部22は、NTSC方式の場合には、ステップ47で以上のようなフリッカ検出処理を実行した後、ステップ48に進んで、上記の1次スペクトルS1を取り込み、さらにステップ49に進んで、その1次スペクトルS1のレベルA1が閾値Th2より大きいか否かを判断する。
PAL方式の場合には、ステップ67で以上のようなフリッカ検出処理を実行した後、ステップ68に進んで、上記の1次スペクトルS1を取り込み、さらにステップ69に進んで、その1次スペクトルS1のレベルA1が閾値Th2より大きいか否かを判断する。
上述したように、NTSC方式の場合で、1次スペクトルS1のレベルA1が閾値Th2より大きければ、fp=60Hzの蛍光灯照明下であり、PAL方式の場合で、1次スペクトルS1のレベルA1が閾値Th2より大きければ、fp=50Hzの蛍光灯照明下である。
<第2段の判定で蛍光灯照明下と判定する場合>
そこで、撮影環境判定部22は、NTSC方式の場合で、ステップ49で「A1>Th2」と判断したときには、fp=60Hzの蛍光灯照明下と判定して、ステップ52に進んで、実際の撮影時のシャッタ速度を、図24の第2段目に示したような、フリッカが発生しないシャッタ速度であるN/120秒(1/120秒または1/60秒)に設定する。
PAL方式の場合で、ステップ69で「A1>Th2」と判断したときには、fp=50Hzの蛍光灯照明下と判定して、ステップ72に進んで、実際の撮影時のシャッタ速度を、図24の第3段目に示したような、フリッカが発生しないシャッタ速度であるN/100秒(1/100秒または1/50秒)に設定する。
これらの場合も、実際の撮影時のシャッタ速度は、AE制御部23が撮影環境判定部22での判定結果をもとに設定し、シャッタ速度を1/120秒または1/100秒というような高速(短時間)にするときなどの露光不足は、アイリス調整やAGCによって補償する。
<非蛍光灯照明下と判定する場合>
撮影環境判定部22は、NTSC方式の場合で、ステップ49で「A1≦Th2」と判断したときには、非蛍光灯照明下(fp=50Hzの蛍光灯照明下でもなく、fp=60Hzの蛍光灯照明下でもない)と判定して、ステップ53に進んで、実際の撮影時のシャッタ制御として、通常のシャッタ制御を実行し、PAL方式の場合で、ステップ69で「A1≦Th2」と判断したときにも、非蛍光灯照明下と判定して、ステップ73に進んで、実際の撮影時のシャッタ制御として、通常のシャッタ制御を実行する。
これらの場合も、実際の撮影時のシャッタ速度は、AE制御部23が撮影環境判定部22での判定結果をもとに設定するが、非蛍光灯照明下ではフリッカを生じないので、シャッタ速度は1フィールド(NTSC方式では1/60秒、PAL方式では1/50秒)を超えない範囲内で任意に設定することができる。
(判定用のシャッタ速度についての他の例)
上述した例は、撮影環境の判定用に、NTSC方式の場合、ステップ42では、シャッタ速度をN/120秒に設定し、ステップ46では、シャッタ速度をN/100秒に設定し、PAL方式の場合、ステップ62では、シャッタ速度をN/100秒に設定し、ステップ66では、シャッタ速度をN/120秒に設定する場合であるが、NTSC方式の場合、ステップ42では、シャッタ速度をN/100秒以外の速度に設定し、ステップ46では、シャッタ速度をN/120秒以外の、ステップ42とは異なるシャッタ速度に設定し、PAL方式の場合、ステップ62では、シャッタ速度をN/120秒以外の速度に設定し、ステップ66では、シャッタ速度をN/100秒以外の、ステップ62とは異なるシャッタ速度に設定してもよい。
NTSC方式の場合、ステップ42でシャッタ速度をN/100秒以外の速度に設定すると、fp=50Hzの蛍光灯照明下では、図24の第1段目に示したように、3フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるので、ステップ43のフリッカ検出処理では、上述した例と同様に、平均値AVE[Fn(y)]として、図7の式(6)で示したように、フリッカ成分がキャンセルされた、背景成分αn(y)のみを抽出することができ、fp=50Hzの蛍光灯照明下にあることを判断することができる。
これに対して、fp=60Hzの蛍光灯照明下では、ステップ42でシャッタ速度をN/100秒以外の速度に設定すると、図24の第2段目に示したように、1フィールドで完結するフリッカを生じるので、ステップ43のフリッカ検出処理では、上述した例と異なり、平均値AVE[Fn(y)]として、背景成分αn(y)のみを抽出することができず、ライン積分値Fn(y)がそのまま得られる。
この場合、ステップ46でシャッタ速度をN/120秒以外の速度に設定すると、ステップ47のフリッカ検出処理では、ライン積分値Fn(y)の正規化のための平均値AVE[Fn(y)]として、メモリ32から読み出された、ステップ43でのフリッカ検出処理によって得られた平均値、すなわち上記のライン積分値Fn(y)そのものが用いられる。
そのため、このとき、図13に示すように、積分値Fn(y)を積分値Fn(y)で正規化することになって、正規化後の積分値gn(y)は、fp=60Hzの蛍光灯照明下にあるか否かにかかわらず、一定のフラットな信号となるかのように思われる。
しかし、この場合、ステップ46では、N/120秒以外の、ステップ42でのシャッタ速度(N/100秒以外の速度)とは異なるシャッタ速度に設定するので、ステップ47のフリッカ検出処理では、実際には、図14に示すように、現在の積分値Fn(y)と、平均値AVE[Fn(y)]としてメモリ32から読み出される積分値Fn(y)は、振幅が異なるものとなり、正規化後の積分値gn(y)は、フラットな信号とならない。
したがって、上述した例と同様に、fp=60Hzの蛍光灯照明下にあるときには、フリッカ成分のスペクトルを抽出することができ、ステップ49で、fp=60Hzの蛍光灯照明下にあることを判断することができる。
ただし、この場合、正規化後の積分値gn(y)は、背景成分αn(y)によって正規化する場合と比較すると、直流レベルおよび振幅に差を生じるが、蛍光灯照明下にあるか否かを判断する観点からは、その差は問題にならない。
PAL方式の場合、ステップ62でシャッタ速度をN/120秒以外の速度に設定すると、fp=60Hzの蛍光灯照明下では、図24の第4段目に示したように、5フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるので、ステップ63のフリッカ検出処理では、上述した例と同様に、平均値AVE[Fn(y)]として、図8の式(8)で示したように、フリッカ成分がキャンセルされた、背景成分αn(y)のみを抽出することができ、fp=60Hzの蛍光灯照明下にあることを判断することができる。
これに対して、fp=50Hzの蛍光灯照明下では、ステップ62でシャッタ速度をN/120秒以外の速度に設定すると、図24の第3段目に示したように、1フィールドで完結するフリッカを生じるので、ステップ63のフリッカ検出処理では、上述した例と異なり、平均値AVE[Fn(y)]として、背景成分αn(y)のみを抽出することができず、ライン積分値Fn(y)がそのまま得られる。
しかし、この場合、ステップ66では、N/100秒以外の、ステップ62でのシャッタ速度(N/120秒以外の速度)とは異なるシャッタ速度に設定することによって、NTSC方式の場合と同様に、ステップ67のフリッカ検出処理では、正規化後の積分値gn(y)として、ある振幅の信号が得られて、フリッカ成分のスペクトルを抽出することができ、ステップ69で、fp=50Hzの蛍光灯照明下にあることを判断することができる。
<実際の撮影時のシャッタ速度についての他の例>
上述した例は、ステップ51および71でも、実際の撮影時のシャッタ速度をフリッカが発生しないシャッタ速度に設定する場合であるが、ステップ51または71では、実際の撮影時のシャッタ速度を、図22(A)または図23(A)に示したような、3フィールドまたは5フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるシャッタ速度に設定してもよい。ただし、その場合には、デジタル信号処理部14でフリッカ低減処理が実行されるように撮像装置を構成する。
具体的に、NTSC方式の場合で、fp=50Hzの蛍光灯照明下にあると判断したときのステップ51では、例えば、シャッタ速度を通常シャッタの1/60秒に設定し、PAL方式の場合で、fp=60Hzの蛍光灯照明下にあると判断したときのステップ71では、例えば、シャッタ速度を通常シャッタの1/50秒に設定することができる。
その場合には、図22(A)または図23(A)に示したようなフリッカの連続性を利用して、撮影出力の映像信号中のフリッカ成分を推定し、その推定結果のフリッカ成分に応じて映像信号のゲインを調整し、または推定結果のフリッカ成分を映像信号から減算するなど、推定結果に応じて撮影出力の映像信号を補正することによって、撮影出力の映像信号中のフリッカ成分を低減すればよい。フリッカ成分の推定には上記のフリッカ検出部19を利用することができる。
(映像方式がNTSC方式またはPAL方式に固定的に決定されている場合)
映像方式が最初からNTSC方式に固定的に決定されている撮像装置では、ステップ41の判断は不要で、ステップ42〜49の撮影環境判定処理を実行し、ステップ51,52または53で実際の撮影時のシャッタ制御を実行すればよい。
映像方式が最初からPAL方式に固定的に決定されている撮像装置では、ステップ41の判断は不要で、ステップ62〜69の撮影環境判定処理を実行し、ステップ71,72または73で実際の撮影時のシャッタ制御を実行すればよい。
(プログレッシブ方式の場合)
フレーム周波数が30Hzのプログレッシブ方式の撮像装置の場合には、fp=50Hzの蛍光灯照明下では、3フレーム(1/10秒)が蛍光灯の発光周期(1/100秒)の整数倍(10倍)となり、フリッカの態様が図24の第5段目に示したようになるとともに、fp=60Hzの蛍光灯照明下では、1フレーム(1/30秒)が蛍光灯の発光周期(1/120秒)の整数倍(4倍)となり、フリッカの態様が図24の第6段目に示したようになる。
したがって、フレーム周波数が30Hzのプログレッシブ方式の撮像装置では、上述したNTSC方式の撮像装置における「フィールド」を「フレーム」に置き換え、fv=30Hzとして、フリッカ検出部19および撮影環境判定処理ルーチンを構成すればよい。
具体的に、撮影環境判定処理ルーチンとしては、ステップ41の判断は不要で、ステップ42で、判定用の第1のシャッタ速度を、N/120秒(1/120秒、1/60秒、1/40秒または1/30秒)など、N/100秒以外の速度に設定し、ステップ43で、上述したようなフリッカ検出処理を実行し、ステップ44で、1次スペクトルS1を取り込み、ステップ45で、その1次スペクトルS1のレベルA1が閾値Th1より大きいか否かを判断する。
そして、ステップ45で「A1>Th1」と判断した場合には、fp=50Hzの蛍光灯照明下にあると判定して、ステップ51で、実際の撮影時のシャッタ速度を、図24の第5段目に示したような、フリッカが発生しないシャッタ速度であるN/100秒(1/100秒、1/50秒または3/100秒)に設定する。
ただし、実際の撮影時のシャッタ速度は、通常シャッタの1/30秒に設定してもよい。その場合には、図24の第5段目に示したように、3フレームを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるので、上述したようなフリッカ低減処理を実行することによって、フリッカを低減することができる。
ステップ45で「A1≦Th1」と判断した場合には、ステップ46で、判定用の第2のシャッタ速度を、N/100秒(1/100秒、1/50秒または3/100秒)など、N/120秒以外の、ステップ42で設定したシャッタ速度とは異なるシャッタ速度に設定し、ステップ47で、上述したようなフリッカ検出処理を実行し、ステップ48で、1次スペクトルS1を取り込み、ステップ49で、その1次スペクトルS1のレベルA1が閾値Th2より大きいか否かを判断する。
そして、ステップ49で「A1>Th2」と判断した場合には、fp=60Hzの蛍光灯照明下にあると判定して、ステップ52で、実際の撮影時のシャッタ速度を、図24の第6段目に示したような、フリッカが発生しないシャッタ速度であるN/120秒(1/120秒、1/60秒、1/40秒または1/30秒)に設定する。
ステップ49で「A1≦Th2」と判断した場合には、非蛍光灯照明下にあると判定して、ステップ53で、実際の撮影時のシャッタ制御として、通常のシャッタ制御を実行する。
〔他の実施形態〕
例えば、撮像装置をフレーム周波数が25Hzのプログレッシブ方式とする場合には、fv=50HzのPAL方式の場合と同様にすればよく、撮像装置をフレーム周波数が40Hzのプログレッシブ方式とする場合には、fv=60HzのNTSC方式の場合と同様にすればよい。
また、上述した実施形態は、CMOS撮像装置の場合であるが、この発明は、CMOS撮像装置以外のXYアドレス走査型の撮像装置にも適用することができる。
また、上述した実施形態は、fp=50Hzの蛍光灯照明下にあるか否か、およびfp=60Hzの蛍光灯照明下にあるか否かを判断し、その判断結果に応じて、撮影出力の映像信号にフリッカを生じないシャッタ速度に設定し、または映像信号に生じるフリッカを低減する場合であるが、この発明の撮影環境判定方法は、上述したWB調整やAE調整などの調整を、蛍光灯照明下と非蛍光灯照明下で、それぞれに最適なように制御する場合などにも適用することができる。
なお、上述した実施形態は、フリッカ検出部19を含むデジタル信号処理部14をハードウェアによって構成する場合であるが、フリッカ検出部19またはデジタル信号処理部14の一部または全部をソフトウェアによって構成してもよい。
この発明の撮像装置の一例のシステム構成を示す図である。 フリッカ検出部の一例を示す図である。 撮影環境判定処理ルーチンの一例の一部を示す図である。 撮影環境判定処理ルーチンの一例の一部を示す図である。 撮影環境判定処理ルーチンの一例の一部を示す図である。 フリッカ検出処理の説明に供する式を示す図である。 フリッカ検出処理の説明に供する式を示す図である。 フリッカ検出処理の説明に供する式を示す図である。 蛍光灯照明下のスペクトル列を示す図である。 非蛍光灯照明下のスペクトル列を示す図である。 蛍光灯照明下のスペクトル列を示す図である。 非蛍光灯照明下のスペクトル列を示す図である。 積分値の正規化の説明に供する図である。 積分値の正規化の説明に供する図である。 試験で用いた被写体を示す図である。 図15の被写体を撮影した場合のライン積分値を示す図である。 図15の被写体を撮影した場合の正規化後の積分値を示す図である。 CCD撮像装置における蛍光灯フリッカの説明に供する図である。 CMOS撮像装置における蛍光灯フリッカの説明に供する図である。 CMOS撮像装置における蛍光灯フリッカの1画面内の縞模様を示す図である。 CMOS撮像装置における蛍光灯フリッカの連続する3画面に渡る縞模様を示す図である。 NTSC方式のCMOS撮像装置におけるフリッカ態様を示す図である。 PAL方式のCMOS撮像装置におけるフリッカ態様を示す図である。 各種方式のCMOS撮像装置におけるフリッカ態様を示す図である。
符号の説明
主要部については図中に全て記述したので、ここでは省略する。

Claims (15)

  1. 垂直同期周波数が120/J[Hz](Jは正の整数)とされた、XYアドレス走査型の撮像素子を用いた撮像装置によって被写体を撮影する場合の撮影環境判定方法であって、
    前記撮像素子のシャッタ速度を、第1のシャッタ速度としてのN/120[秒](Nは正の整数)に設定する第1工程と、
    前記第1のシャッタ速度で前記撮像素子から得られた映像信号を画面の特定領域内で積算し、その積算値を連続する複数垂直周期において得られた複数の積算値の平均値で正規化して、第1の正規化積算値を求める第2工程と、
    前記第1の正規化積算値から第1の周波数成分を抽出し、当該第1の周波数成分のレベルが第1の閾値より大きいか否かを判断する第3工程と、
    前記第1の周波数成分のレベルが前記第1の閾値以下であると判断した場合に、前記撮像素子のシャッタ速度を、前記第1のシャッタ速度と異なる第2のシャッタ速度としてのN/100[秒]に設定する第4工程と、
    前記第2のシャッタ速度で前記撮像素子から得られた映像信号を画面の特定領域内で積算し、その積算値を前記第2工程で用いた平均値で正規化して、第2の正規化積算値を求める第5工程と、
    前記第2の正規化積算値から第2の周波数成分を抽出し、当該第2の周波数成分のレベルが第2の閾値より大きいか否かを判断する第6工程と、
    を備える撮影環境判定方法。
  2. 請求項1の撮影環境判定方法において、
    前記第3工程で前記第1の周波数成分のレベルが前記第1の閾値より大きいと判断した場合には、前記撮像素子のシャッタ速度をN/100[秒]に設定する撮影環境判定方法。
  3. 請求項1の撮影環境判定方法において、
    前記第6工程で前記第2の周波数成分のレベルが前記第2の閾値より大きいと判断した場合には、前記撮像素子のシャッタ速度をN/120[秒]に設定する撮影環境判定方法。
  4. 垂直同期周波数が100/J[Hz](Jは正の整数)とされた、XYアドレス走査型の撮像素子を用いた撮像装置によって被写体を撮影する場合の撮影環境判定方法であって、
    前記撮像素子のシャッタ速度を、第1のシャッタ速度としてのN/100[秒](Nは正の整数)に設定する第1工程と、
    前記第1のシャッタ速度で前記撮像素子から得られた映像信号を画面の特定領域内で積算し、その積算値を連続する複数垂直周期において得られた複数の積算値の平均値で正規化して、第1の正規化積算値を求める第2工程と、
    前記第1の正規化積算値から第1の周波数成分を抽出し、当該第1の周波数成分のレベルが第1の閾値より大きいか否かを判断する第3工程と、
    前記第1の周波数成分のレベルが前記第1の閾値以下であると判断した場合に、前記撮像素子のシャッタ速度を、前記第1のシャッタ速度と異なる第2のシャッタ速度としてのN/120[秒]に設定する第4工程と、
    前記第2のシャッタ速度で前記撮像素子から得られた映像信号を画面の特定領域内で積算し、その積算値を前記第2工程で用いた平均値で正規化して、第2の正規化積算値を求める第5工程と、
    前記第2の正規化積算値から第2の周波数成分を抽出し、当該第2の周波数成分のレベルが第2の閾値より大きいか否かを判断する第6工程と、
    を備える撮影環境判定方法。
  5. 請求項4の撮影環境判定方法において、
    前記第3工程で前記第1の周波数成分のレベルが前記第1の閾値より大きいと判断した場合には、前記撮像素子のシャッタ速度をN/120[秒]に設定する撮影環境判定方法。
  6. 請求項4の撮影環境判定方法において、
    前記第6工程で前記第2の周波数成分のレベルが前記第2の閾値より大きいと判断した場合には、前記撮像素子のシャッタ速度をN/100[秒]に設定する撮影環境判定方法。
  7. 垂直同期周波数が120/J[Hz](Jは正の整数)とされた、XYアドレス走査型の撮像素子を用いた撮像装置であって、
    前記撮像素子のシャッタ速度を設定する制御部と、
    前記撮像素子から得られた映像信号を画面の特定領域内で積算し、積算値を求める積算部と、
    連続する複数垂直周期において前記積算部で得られた複数の積算値の平均値を求める平均値計算部と、
    前記積算部で得られた積算値を前記平均値計算部で得られた平均値により正規化して、正規化積算値を求める正規化部と、
    前記正規化積算値から特定の周波数成分を抽出する抽出部とを備え、
    前記制御部は、前記撮像素子のシャッタ速度を、第1のシャッタ速度としてのN/120[秒](Nは正の整数)に設定し、当該第1のシャッタ速度で前記撮像素子から得られた映像信号に基づいて前記抽出部により抽出された第1の周波数成分のレベルが第1の閾値より大きいか否かを判断し、前記第1の周波数成分のレベルが前記第1の閾値以下である場合に、前記撮像素子のシャッタ速度を、前記第1のシャッタ速度と異なる第2のシャッタ速度としてのN/100[秒]に設定し、当該第2のシャッタ速度で前記撮像素子から得られた映像信号に基づいて前記抽出部により抽出された第2の周波数成分のレベルが第2の閾値より大きいか否かを判断する撮像装置。
  8. 請求項7の撮像装置において、
    前記制御部は、前記第1の周波数成分のレベルが前記第1の閾値より大きいと判断した場合には、前記撮像素子のシャッタ速度をN/100[秒]に設定する撮像装置。
  9. 請求項7の撮像装置において、
    前記制御部は、前記第2の周波数成分のレベルが前記第2の閾値より大きいと判断した場合には、前記撮像素子のシャッタ速度をN/120[秒]に設定する撮像装置。
  10. 垂直同期周波数が100/J[Hz](Jは正の整数)とされた、XYアドレス走査型の撮像素子を用いた撮像装置であって、
    前記撮像素子のシャッタ速度を設定する制御部と、
    前記撮像素子から得られた映像信号を画面の特定領域内で積算し、積算値を求める積算部と、
    連続する複数垂直周期において前記積算部で得られた複数の積算値の平均値を求める平均値計算部と、
    前記積算部で得られた積算値を前記平均値計算部で得られた平均値により正規化して、正規化積算値を求める正規化部と、
    前記正規化積算値から特定の周波数成分を抽出する抽出部とを備え、
    前記制御部は、前記撮像素子のシャッタ速度を、第1のシャッタ速度としてのN/100[秒](Nは正の整数)に設定し、当該第1のシャッタ速度で前記撮像素子から得られた映像信号に基づいて前記抽出部により抽出された第1の周波数成分のレベルが第1の閾値より大きいか否かを判断し、前記第1の周波数成分のレベルが前記第1の閾値以下である場合に、前記撮像素子のシャッタ速度を、前記第1のシャッタ速度と異なる第2のシャッタ速度としてのN/120[秒]に設定し、当該第2のシャッタ速度で前記撮像素子から得られた映像信号に基づいて前記抽出部により抽出された第2の周波数成分のレベルが第2の閾値より大きいか否かを判断する撮像装置。
  11. 請求項10の撮像装置において、
    前記制御部は、前記第1の周波数成分のレベルが前記第1の閾値より大きいと判断した場合には、前記撮像素子のシャッタ速度をN/120[秒]に設定する撮像装置。
  12. 請求項10の撮像装置において、
    前記制御部は、前記第2の周波数成分のレベルが前記第2の閾値より大きいと判断した場合には、前記撮像素子のシャッタ速度をN/100[秒]に設定する撮像装置。
  13. 請求項7または10の撮像装置において、
    さらに、前記第1のシャッタ速度で前記撮像素子から得られた映像信号に基づいて前記平均値計算部で求められた平均値を保持する平均値保持部を備え、
    前記正規化部は、前記第2のシャッタ速度で前記撮像素子から得られた映像信号に基づいて正規化積算値を求める際に、前記平均値保持部に保持された平均値により正規化を行う撮像装置。
  14. 請求項7の撮像装置において、
    前記平均値計算部は、連続する3つの垂直周期において前記積算部で得られた複数の積算値の平均値を求める撮像装置。
  15. 請求項10の撮像装置において、
    前記平均値計算部は、連続する5つの垂直周期において前記積算部で得られた複数の積算値の平均値を求める撮像装置。
JP2003315465A 2003-09-08 2003-09-08 撮影環境判定方法および撮像装置 Expired - Fee Related JP4106554B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2003315465A JP4106554B2 (ja) 2003-09-08 2003-09-08 撮影環境判定方法および撮像装置
EP04255290A EP1513339B1 (en) 2003-09-08 2004-09-01 Method for determining photographic environment and imaging apparatus
TW093126752A TWI242370B (en) 2003-09-08 2004-09-03 Photographing environment determination method and image pickup device
KR1020040071375A KR101007464B1 (ko) 2003-09-08 2004-09-07 촬영 환경 판정 방법 및 촬상 장치
US10/935,031 US7639284B2 (en) 2003-09-08 2004-09-07 Method for determining photographic environment and imaging apparatus
CNB2004100905217A CN100344153C (zh) 2003-09-08 2004-09-08 确定照相环境的方法和成像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003315465A JP4106554B2 (ja) 2003-09-08 2003-09-08 撮影環境判定方法および撮像装置

Publications (2)

Publication Number Publication Date
JP2005086423A JP2005086423A (ja) 2005-03-31
JP4106554B2 true JP4106554B2 (ja) 2008-06-25

Family

ID=34131931

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003315465A Expired - Fee Related JP4106554B2 (ja) 2003-09-08 2003-09-08 撮影環境判定方法および撮像装置

Country Status (6)

Country Link
US (1) US7639284B2 (ja)
EP (1) EP1513339B1 (ja)
JP (1) JP4106554B2 (ja)
KR (1) KR101007464B1 (ja)
CN (1) CN100344153C (ja)
TW (1) TWI242370B (ja)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3370979B2 (ja) * 2000-09-08 2003-01-27 三菱電機株式会社 撮像装置および自動レベル調整方法
JP4207922B2 (ja) * 2005-04-19 2009-01-14 ソニー株式会社 フリッカ補正方法、フリッカ補正装置及び撮像装置
JP4483744B2 (ja) * 2005-08-26 2010-06-16 ソニー株式会社 撮像装置及び撮像制御方法
JP4904749B2 (ja) * 2005-09-08 2012-03-28 ソニー株式会社 フリッカ低減方法、フリッカ低減回路及び撮像装置
JP4371108B2 (ja) * 2005-12-27 2009-11-25 ソニー株式会社 撮像装置および方法、記録媒体、並びにプログラム
US8139054B2 (en) * 2005-12-30 2012-03-20 Mediatek Inc. Luminance compensation apparatus and method
JP2007329604A (ja) * 2006-06-07 2007-12-20 Hitachi Ltd 蛍光灯フリッカ検出回路
US7667740B2 (en) * 2006-07-28 2010-02-23 Hewlett-Packard Development Company, L.P. Elimination of modulated light effects in rolling shutter CMOS sensor images
JP4948090B2 (ja) * 2006-08-25 2012-06-06 キヤノン株式会社 撮像装置及び駆動制御方法
KR100844848B1 (ko) 2007-05-14 2008-07-08 엘지전자 주식회사 카메라의 컬러 롤링 제거장치 및 방법
JP4605217B2 (ja) * 2007-12-28 2011-01-05 カシオ計算機株式会社 撮影装置及びそのプログラム
US8581891B2 (en) 2008-03-22 2013-11-12 Nxp B.V. Light sensor noise suppression arrangement and method therefor
CN101582992B (zh) * 2008-05-15 2012-12-19 鸿富锦精密工业(深圳)有限公司 闪烁消除系统及消除闪烁的方法
TWI383668B (zh) * 2008-05-30 2013-01-21 Hon Hai Prec Ind Co Ltd 數位攝影裝置及其消除閃爍之方法
JP4666012B2 (ja) * 2008-06-20 2011-04-06 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US8441551B2 (en) * 2008-11-14 2013-05-14 Ati Technologies Ulc Flicker detection circuit for imaging sensors that employ rolling shutters
WO2010058567A1 (ja) * 2008-11-20 2010-05-27 パナソニック株式会社 フリッカ低減装置、集積回路及びフリッカ低減方法
JP5743384B2 (ja) * 2009-04-14 2015-07-01 キヤノン株式会社 画像処理装置及び画像処理方法とコンピュータプログラム
US9591230B2 (en) * 2009-12-23 2017-03-07 Honeywell International Inc. Systems and methods for reduced image flicker
JP2011176559A (ja) * 2010-02-24 2011-09-08 Fujitsu Frontech Ltd 画像読み取り装置及びその画像読み取り方法
CN102300077A (zh) * 2010-06-25 2011-12-28 索尼公司 色滚动检测方法和检测装置
JP2012134663A (ja) * 2010-12-20 2012-07-12 Samsung Electronics Co Ltd 撮像装置および撮像方法
KR101026359B1 (ko) 2011-01-10 2011-04-05 삼성탈레스 주식회사 자체 동기 신호에 따라 이득 제어를 수행하는 외부 동기식 영상 획득 장치 및 그 방법
US20120236175A1 (en) * 2011-03-18 2012-09-20 Uri Kinrot Methods and Systems for Flicker Correction
JP5899707B2 (ja) * 2011-08-26 2016-04-06 株式会社ニコン 撮像装置
JP2014045408A (ja) * 2012-08-28 2014-03-13 Sony Corp 画像データ処理装置、撮像装置、及び画像データ処理方法
JP5735478B2 (ja) * 2012-12-14 2015-06-17 富士フイルム株式会社 内視鏡装置及びその作動方法
JP5735479B2 (ja) * 2012-12-14 2015-06-17 富士フイルム株式会社 内視鏡及装置びその作動方法
US9276031B2 (en) 2013-03-04 2016-03-01 Apple Inc. Photodiode with different electric potential regions for image sensors
US9741754B2 (en) 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
US20140354859A1 (en) * 2013-05-29 2014-12-04 Qualcomm Incorporated Automatic banding correction in an image capture device
JP2014232972A (ja) * 2013-05-29 2014-12-11 ソニー株式会社 撮像装置およびフリッカ検出方法、ならびに情報処理装置
WO2014199542A1 (ja) * 2013-06-14 2014-12-18 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 撮像装置、集積回路およびフリッカ低減方法
JP6060824B2 (ja) * 2013-06-20 2017-01-18 株式会社Jvcケンウッド 撮像装置、及びフリッカ低減方法
CN104301617B (zh) * 2013-07-19 2017-09-22 富士通株式会社 闪烁检测方法和闪烁检测设备
US9473706B2 (en) * 2013-12-09 2016-10-18 Apple Inc. Image sensor flicker detection
US10285626B1 (en) 2014-02-14 2019-05-14 Apple Inc. Activity identification using an optical heart rate monitor
US9686485B2 (en) 2014-05-30 2017-06-20 Apple Inc. Pixel binning in an image sensor
CN104125401B (zh) * 2014-07-22 2017-08-25 广州三星通信技术研究有限公司 控制图像传感器工作的方法和拍摄装置
US9584704B2 (en) * 2015-01-08 2017-02-28 Gean Technology Co. Limited Method for detecting electronic lighting flickering
CN107251543B (zh) * 2015-02-16 2018-09-07 富士胶片株式会社 成像装置、闪烁检测方法及记录介质
JP6597960B2 (ja) * 2015-10-30 2019-10-30 カシオ計算機株式会社 撮像装置、フリッカ検出方法及びプログラム
US9912883B1 (en) 2016-05-10 2018-03-06 Apple Inc. Image sensor with calibrated column analog-to-digital converters
CN111682039B (zh) 2016-09-23 2021-08-03 苹果公司 堆叠式背面照明spad阵列
EP3574344B1 (en) 2017-01-25 2024-06-26 Apple Inc. Spad detector having modulated sensitivity
US10656251B1 (en) 2017-01-25 2020-05-19 Apple Inc. Signal acquisition in a SPAD detector
US10962628B1 (en) 2017-01-26 2021-03-30 Apple Inc. Spatial temporal weighting in a SPAD detector
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10440301B2 (en) 2017-09-08 2019-10-08 Apple Inc. Image capture device, pixel, and method providing improved phase detection auto-focus performance
US10694112B2 (en) * 2018-01-03 2020-06-23 Getac Technology Corporation Vehicular image pickup device and image capturing method
US10848693B2 (en) 2018-07-18 2020-11-24 Apple Inc. Image flare detection using asymmetric pixels
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
CN110784658B (zh) * 2019-10-31 2021-12-07 Oppo广东移动通信有限公司 一种曝光控制方法、装置、存储介质和终端设备
US11563910B2 (en) 2020-08-04 2023-01-24 Apple Inc. Image capture devices having phase detection auto-focus pixels
US11546532B1 (en) 2021-03-16 2023-01-03 Apple Inc. Dynamic correlated double sampling for noise rejection in image sensors
CN115529419B (zh) * 2021-06-24 2024-04-16 荣耀终端有限公司 一种多人工光源下的拍摄方法及相关装置
US12069384B2 (en) 2021-09-23 2024-08-20 Apple Inc. Image capture devices having phase detection auto-focus pixels

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1146226C (zh) * 1899-12-30 2004-04-14 株式会社日立制作所 摄像装置
JP4026890B2 (ja) * 1997-08-22 2007-12-26 キヤノン株式会社 電子カメラ及びその電子シャッター制御方法
JP3583618B2 (ja) * 1998-06-15 2004-11-04 富士通株式会社 画像処理装置、画像処理方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
US6501518B2 (en) 1998-07-28 2002-12-31 Intel Corporation Method and apparatus for reducing flicker effects from discharge lamps during pipelined digital video capture
JP4036973B2 (ja) * 1998-08-04 2008-01-23 株式会社リコー カメラおよび制御タイミングの補正方法
JP3749038B2 (ja) * 1999-06-30 2006-02-22 株式会社東芝 固体撮像装置
CA2322593C (en) * 1999-10-08 2004-02-03 Matsushita Electric Industrial Co., Ltd. Method and apparatus for detection and correction of illumination flicker
JP3539901B2 (ja) 1999-10-08 2004-07-07 松下電器産業株式会社 フリッカ検出・補正装置およびフリッカ検出・補正方法
JP3476400B2 (ja) * 1999-10-19 2003-12-10 松下電器産業株式会社 フリッカ検出・補正装置およびフリッカ検出・補正方法
JP3370979B2 (ja) * 2000-09-08 2003-01-27 三菱電機株式会社 撮像装置および自動レベル調整方法
JP4416959B2 (ja) * 2001-04-26 2010-02-17 富士通マイクロエレクトロニクス株式会社 Xyアドレス型固体撮像装置のフリッカノイズ低減方法
JP2003198932A (ja) * 2001-12-27 2003-07-11 Sharp Corp フリッカ補正装置およびフリッカ補正方法、並びにフリッカ補正プログラムを記録した記録媒体

Also Published As

Publication number Publication date
EP1513339B1 (en) 2011-06-08
US7639284B2 (en) 2009-12-29
EP1513339A2 (en) 2005-03-09
CN1602050A (zh) 2005-03-30
TW200520551A (en) 2005-06-16
JP2005086423A (ja) 2005-03-31
CN100344153C (zh) 2007-10-17
KR101007464B1 (ko) 2011-01-12
KR20050025925A (ko) 2005-03-14
TWI242370B (en) 2005-10-21
US20050093996A1 (en) 2005-05-05
EP1513339A3 (en) 2008-08-27

Similar Documents

Publication Publication Date Title
JP4106554B2 (ja) 撮影環境判定方法および撮像装置
JP3826904B2 (ja) 撮像装置およびフリッカ低減方法
JP4487640B2 (ja) 撮像装置
JP4423889B2 (ja) フリッカ低減方法、撮像装置およびフリッカ低減回路
JP4483744B2 (ja) 撮像装置及び撮像制御方法
JP5035025B2 (ja) 画像処理装置、フリッカ低減方法、撮像装置及びフリッカ低減プログラム
KR20060128649A (ko) 화상 처리 장치 및 촬상 장치
JP2011193065A (ja) 撮像装置
JP4539432B2 (ja) 画像処理装置および撮像装置
JP2007329604A (ja) 蛍光灯フリッカ検出回路
JP2005064973A (ja) 撮影環境判定方法および撮像装置
US8121473B2 (en) Imaging apparatus
JP2005101793A (ja) 撮像装置および撮像方法
JP2010147565A (ja) 撮像装置
JP2008235955A (ja) 撮像方法、固体撮像装置、撮像装置
JP2005101792A (ja) 撮像装置および撮像方法
JP2011228772A (ja) 撮像装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080318

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110411

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110411

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120411

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130411

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140411

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees