JP5159235B2 - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP5159235B2
JP5159235B2 JP2007258887A JP2007258887A JP5159235B2 JP 5159235 B2 JP5159235 B2 JP 5159235B2 JP 2007258887 A JP2007258887 A JP 2007258887A JP 2007258887 A JP2007258887 A JP 2007258887A JP 5159235 B2 JP5159235 B2 JP 5159235B2
Authority
JP
Japan
Prior art keywords
control
luminance value
flicker
image
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007258887A
Other languages
English (en)
Other versions
JP2009089249A (ja
JP2009089249A5 (ja
Inventor
宗克 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007258887A priority Critical patent/JP5159235B2/ja
Priority to US12/242,449 priority patent/US8169503B2/en
Publication of JP2009089249A publication Critical patent/JP2009089249A/ja
Publication of JP2009089249A5 publication Critical patent/JP2009089249A5/ja
Application granted granted Critical
Publication of JP5159235B2 publication Critical patent/JP5159235B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Exposure Control For Cameras (AREA)

Description

本発明は、CMOSセンサ等のXYアドレス方式の撮像素子で撮像された画像信号に発生するフリッカーを抑制するためのフリッカー補正方法を具備する撮像装置、及び、その制御方法に関するものである。
従来のCCDセンサ、CMOSセンサ等の撮像素子を具備した撮像装置において撮像される画像信号には、フリッカーというものが発生することがある。フリッカーは、太陽光のように光源から放射される光量が定常的で変化しない光源環境下での撮像では発生しない。
例えば、蛍光灯のように一定の周波数で発光特性(輝度)が変化する場合で、かつ、光源の輝度変化の周期と撮像素子の電子シャッターのサンプリング周波数(蓄積時間のタイミング)とが同期していない場合に、フリッカーが発生する。
ここで、フリッカーとは、撮影環境下にある光源の輝度変化と撮像素子の蓄積時間のタイミングのずれにより、生成される出力画像に周期的な輝度の違いが発生する現象のことである。また、フリッカーは撮像素子の電荷の蓄積方式により、2種類に分類される。
CCDセンサの場合、撮像素子の面単位で電荷の蓄積時間のタイミングを合わせるグローバルシャッタ方式のため、フィールドごと、すなわち生成する出力画像単位で輝度が変化する(面フリッカーと呼ばれる)。
図4に、CCDセンサ等のグローバルシャッタ方式を採用する撮像素子におけるフリッカーを示す。
図4に示すように、一定の周波数で輝度が変化する光源環境下での撮像の場合、蓄積時間に応じて、光源から放射される光量により発生する電荷の積分値がフィールドごとに異なるため、フィールドごとに出力画像の輝度が変化してしまう。
具体例を以下に示す。
50Hzの電源周波数を使用する非インバータ方式の蛍光灯下において、輝度変化は100Hzの周期(電源周波数の2倍の周期)で変化する。
このような光源環境下において、NTSC方式(毎秒60フィールド)で撮像した場合、各フィールドで蓄積される、光源から放射される光量により発生する電荷の積分値が等しくないため、各フィールドごとに出力画像の輝度が変化してしまう。
これは、電源周波数が50Hzである場合は、図4に示す山が1秒間に100個発生し、その100個の山に対して、蓄積タイミングが60回あるので、1個目の山から順に60等分することになり、山ごとに電荷の積分値が異なってしまうからである。
従って、このようなCCDセンサ等の撮像素子に発生する面フリッカーを抑制するために、蓄積時間を1/100秒に固定することで、光源の輝度変化と撮像素子の蓄積時間のタイミングを同期させることにより、フリッカーの抑制を行っている。
この方法により、どのような露光タイミングにおいても、光源から放射される光量の蓄積により発生する電荷の積分値を一定にすることが可能であり、フリッカーの影響を完全に抑制することができる。
しかし、近年、CCDセンサに比べ、消費電力が小さく、安価に生産できるCMOSセンサが注目されている。
CMOSセンサ等のXYアドレス方式の撮像素子の場合、撮像素子の各蓄積ラインごとに蓄積時間のタイミングを合わせるローリングシャッタ方式を採用しているため、上述した手法ではフリッカーの発生を抑えることができない。
図5(a)及び(b)に、CMOSセンサ等のローリングシャッタ方式を採用する撮像素子におけるフリッカーを示す。
図5(a)に示すように、各蓄積ラインごとで光源から放射される光量により発生する電荷の積分値が異なる(蓄積ライン1と蓄積ライン2では蓄積ライン2の方が大きな積分値を示す)。結果として、CCDセンサ等の撮像素子と異なり、1フィールド内の出力画像にフリッカーが現れ、出力画像内で図5(b)に示すような輝度の明暗が周期的な波のように発生してしまう(ラインフリッカーと呼ばれる)。
そこで、CMOSセンサ等のローリングシャッタ方式の撮像素子では、ラインフリッカーを抑制するため、検出したフリッカー成分による輝度差を打ち消すようにゲイン補正回路により撮像素子の各蓄積ラインのゲインを調整する手法がある。
この手法では、検出したフリッカー成分を正弦波に近似し、その正弦波を打ち消すようにゲインを調整することで補正を行う。
図6は、従来技術におけるフリッカー補正のゲイン調整を示す図である。
図6に示すように、画面全体の平均輝度値より明るい蓄積ラインに−方向のゲイン、暗い蓄積ラインに+方向のゲインをかけて輝度を調整することにより、出力画像全体の輝度を調整する。
この方法の場合、ゲイン調整により出力画像に発生したフリッカー成分は補正することは可能になる。
しかし、撮像する被写体が暗くゲイン値が増幅されている状態の場合、ゲイン調整により、もとのゲイン値を更に大きく増幅するため、フリッカー補正としてゲインを+方向に増幅する蓄積ラインにおいては、ノイズ成分まで増幅してしまうことになる。
その結果として、ノイズが強調され、S/N比が低下してしまうという問題がある。
また、フリッカー補正を行った後の画像において、撮像素子の蓄積ラインごとにゲイン値が異なるため、それに伴い、蓄積ラインごとのノイズ成分の大きさも異なってしまう。
それに加えて、+方向にゲインを調整している蓄積ラインと−方向にゲインを調整している蓄積ラインとのゲイン値の差が大きくなるため、ラインフリッカーの輝度変化のようにノイズ成分が周期的な波のように発生する。
ここで、ゲイン調整は、指数関数でノイズ成分を増幅するため、2つのゲイン値の差が大きい場合、ノイズ成分により発生する波はより顕著にあらわれる。
そこで、特許文献1では、フリッカー補正前、補正後の出力画像からフリッカー補正信号を生成し、フリッカー補正前の出力画像からフリッカー補正信号を減算することにより、フリッカーを補正する。
その後、ローパスフィルタを使用することで、ノイズ成分を除去し、S/N比を向上させる方法が開示されている。
特開2006−303815号公報
上記特許文献1に開示されている方法では、ローパスフィルタを使用するため、ノイズ成分は低減するが、同時に高周波成分も取り除いてしまい、出力画像の解像感を低下させてしまうという問題がある。
すなわち、ノイズ成分増加の抑制と解像感の保持とを両立させながら、フリッカーによる出力画像における各蓄積ラインの輝度差を調整することは困難であった。
本発明は上記問題点を鑑みてなされたものであり、CMOS等のXYアドレス方式の撮像素子で撮像された画像信号に発生するフリッカーを抑制することを目的とする。
また、フリッカー補正の際の、ゲイン調整によるS/N比の低下、ゲイン補正後の解像感の低下及びノイズ成分増加を抑制することを目的とする。
上記課題を解決するために、本発明の撮像装置は、被写体の撮像を行う撮像素子と、前記撮像素子の出力信号に基づき得られる画像信号においてフリッカーを検出するフリッカー検出手段と、前記フリッカー検出手段によりフリッカーが検出された場合に、前記撮像素子の各蓄積ラインのうちで前記画像信号において最も低い輝度値を示す蓄積ラインの平均輝度値が目標となる輝度値と同じになるように前記撮像素子の蓄積時間を設定し、検出されたフリッカー成分を打ち消すように前記最も低い輝度値を示す蓄積ライン以外の蓄積ラインの画像信号に対するゲイン小さくする方向に調整する制御を行う制御手段と、前記フリッカー検出手段によりフリッカーが検出された場合に前記制御手段により前記制御を行うか否かを判断する判断手段と、を有し、前記判断手段は、前記制御を行うか否かの判断を行う前に前記各蓄積ラインの画像信号に対して設定されているゲイン値が閾値以上の場合に前記制御を行うと判断し、前記制御を行うか否かの判断を行う前に前記各蓄積ラインの画像信号に対して設定されているゲイン値が前記閾値未満の場合に前記制御を行わないと判断し、前記制御手段は、前記判断手段により前記制御を行わないと判断されると前記最も低い輝度値を示す蓄積ラインの平均輝度値が前記目標となる輝度値と同じになるように前記撮像素子の蓄積時間を設定せずに、前記各蓄積ラインの画像信号に対するゲイン値を調整する制御を行うことを特徴とする。
被写体の撮像を行う撮像素子と、前記撮像素子の出力信号に基づき得られる画像信号においてフリッカーを検出するフリッカー検出手段と、を有する撮像装置の制御方法であって、前記フリッカー検出手段によりフリッカーが検出された場合に、前記撮像素子の各蓄積ラインのうちで前記画像信号において最も低い輝度値を示す蓄積ラインの平均輝度値が目標となる輝度値と同じになるように前記撮像素子の蓄積時間を設定し、検出されたフリッカー成分を打ち消すように前記最も低い輝度値を示す蓄積ライン以外の蓄積ラインの画像信号に対するゲイン小さくする方向に調整する制御を行う制御ステップと、前記フリッカー検出手段によりフリッカーが検出された場合に前記制御ステップで前記制御を行うか否かを判断する判断ステップと、を有し、前記判断ステップは、前記制御を行うか否かの判断を行う前に前記各蓄積ラインの画像信号に対して設定されているゲイン値が閾値以上の場合に前記制御を行うと判断し、前記制御を行うか否かの判断を行う前に前記各蓄積ラインの画像信号に対して設定されているゲイン値が前記閾値未満の場合には前記制御を行わないと判断し、前記制御ステップは、前記判断ステップで前記制御を行わないと判断されると前記最も低い輝度値を示す蓄積ラインの平均輝度値が前記目標となる輝度値と同じになるように前記撮像素子の蓄積時間を設定せずに、前記各蓄積ラインの画像信号に対するゲイン値を調整する制御を行うこと特徴とする。
フリッカー補正の対象となる画像に掛かっているゲインの大きさに応じてゲイン調整を変えることで、フリッカーを抑制し、また、ゲイン調整によるS/N比の低下、ゲイン補正後の解像感の低下及びノイズ成分増加を抑制することが可能になる。
以下、本発明に係る一実施形態について図面を参照して詳細に説明する。
なお、以下に説明する実施形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。
図1は、本発明の実施形態に係る撮像装置100の概略構成の一例を示す図である。
図1において1は、撮像装置100の外部から入射した光を撮像装置100内部に導くレンズであり、図1には簡略して1枚のレンズを図示しているが、通常、複数枚のレンズから構成される。2は、入射する光の量を調整する絞りである。3は、絞り2を駆動させる絞り駆動モータである。4は、絞り2の駆動状態を検出する絞り状態検出回路である。
5は、NDフィルターである。6は、NDフィルター5を駆動させるNDフィルター駆動モータである。7は、NDフィルター5の駆動状態を検出するNDフィルター駆動検出回路である。ここで、本実施形態では、NDフィルター5を備えた撮像装置を示すが、NDフィルター5を備えない撮像装置であってもよい。
8は、被写体の撮像を行う光電変換機能を有する撮像素子である。また、撮像素子8には、例えば、行方向又は列方向の何れかの方向に各画素を接続する蓄積ラインが複数構成されており、各蓄積ラインを介して各画素の電荷が画像信号として読み出されるようになっている。本実施形態の撮像素子8は、CMOSセンサ等のXYアドレス方式の撮像素子で構成されている。ここで、撮像素子8は、XYアドレス方式の撮像素子であれば、CMOSセンサ以外の他の撮像素子であっても構わない。
9は、撮像素子8の各画素に蓄えられた電荷に基づく画像信号をサンプリング及び増幅するためのCDS(Correlated Double Sampling:相関二重サンプリング)/AGC(Auto Gain Control:自動利得調整)回路である。また、本実施形態で画像信号のゲイン値を調整するゲイン調整回路はCDS/AGC回路9に含まれるものとする。
10は、CDS/AGC回路9の出力信号をデジタル信号に変換するA/D変換回路である。11は、A/D変換回路10から出力されたデジタルの画像信号に対して種々の信号処理を行うデジタル信号処理回路である。
12は、本実施形態の撮像装置100における動作を統括的に制御するマイクロコンピュータであり、例えば、デジタル信号処理回路11からの輝度・色等の情報を受けて、各種の演算処理を行う。13は、マイクロコンピュータ12による制御に基づき、絞り駆動モータ3へ電力の供給を行う絞り機構駆動部である。14は、マイクロコンピュータ12による制御に基づき、撮像素子8を駆動するための駆動パルス等を供給する撮像素子駆動部である。
15は、マイクロコンピュータ12による制御に基づき、NDフィルター駆動モータ6へ電力の供給を行うNDフィルター機構駆動部である。NDフィルター5を備えない撮像装置の場合、NDフィルター機構駆動部15は備えなくても構わない。16は、入力された画像信号においてフリッカーを検出するフリッカー検出回路である。
17は、マイクロコンピュータ12から送られる画像信号から各蓄積ラインの輝度値を検出する輝度検出回路である。18は、フリッカー成分(輝度検出回路17で検出した輝度値と画像信号の平均輝度値との差)を演算処理する輝度演算回路である。19は、撮像した画像を一時的に保存するための記憶装置である。20は、撮像装置100で撮像された画像信号を記録する記録媒体である。
次に図3(a)〜(c)を参照して、本実施形態の撮像装置のフリッカー補正の動作について説明する。
図3(a)は、フリッカーが発生している状態を示した図である。
図3(b)は、画像全体の最小輝度値と各蓄積ラインの平均輝度値が同じになるように、蓄積時間の制御をおこなった状態を示した図である。
図3(c)は、平均輝度を越えている蓄積ラインにおけるゲイン調整の様子を示した図である。
本実施形態の撮像装置100の動作としては、撮像素子8で撮像された画像信号に発生するフリッカーの補正を行う際、まず、被写体像を撮像素子8にて光電変換し画像信号として出力する。
そして、出力された画像信号は、CDS/AGC回路9でサンプリング及び増幅され、A/D変換回路10でデジタル信号に変換されて、デジタル信号処理回路11へ送られる。
デジタル信号処理回路11では、A/D変換回路10から出力されたデジタルの画像信号に対して種々の信号処理を行い、その結果をマイクロコンピュータ12がフリッカー検出回路16に送る。
そして、フリッカー検出回路16にて入力された画像信号においてフリッカーの検出をおこなう。
その後、フリッカー検出回路16にて、画像信号においてフリッカーが検出できた場合、輝度検出回路17にて、画像信号における輝度値を検出する。
そして、輝度演算回路18にて輝度検出回路17で検出した輝度値から、各蓄積ラインの平均輝度値を算出し、その算出した値と画像全体の平均輝度値との差を演算する。なお、ここで言う各蓄積ラインの平均輝度値とは、蓄積ラインにおける輝度値の総和を蓄積ラインを構成する画素数で割った値である。同様に、画像信号全体の平均輝度値とは、画像全体の輝度値の総和を全画素数で割った値である。
そして、図3(a)に示すように、マイクロコンピュータ12は各蓄積ラインの平均輝度値の中で輝度値が最小となる蓄積ラインの輝度値を検出する。
その後、画像全体の中で平均輝度値が最小となる蓄積ラインの平均輝度値と画像全体の平均輝度値が同じになるように、マイクロコンピュータ12は、最小値を大きくするための蓄積時間を算出する。
そして、図3(b)に示すように、算出された蓄積時間を撮像素子駆動部14に送信し、撮像素子8の蓄積時間を変更する。このとき、撮像素子8の蓄積時間は長くなる方向に変更されるため、蓄積時間を変更する前に比べ、画像信号における最小輝度値と最大輝度値の輝度差は小さくなる。
そして、各蓄積ラインの輝度値と画像全体の平均輝度値の差をマイクロコンピュータ12により計算し、計算された各蓄積ラインの輝度値の差をゲイン値に変換する。
次に、図3(c)に示すように、ゲイン調整回路であるCDS/AGC回路9により、計算されたゲイン値をもとに各蓄積ラインのゲイン値を−方向に調整することで、フリッカーの発生を抑制する。
なお、本実施形態において、輝度演算回路18では、各蓄積ラインの平均輝度値と画像全体の平均輝度値とを比較しているが、これに限られるわけではなく、画像全体の平均値と1画素毎に比較を行い、その差を検出しても良い。
本実施形態では、分かりやすく表現するために、図1では全て独立した回路の構成を示しているが、全ての構成又はその一部をマイクロコンピュータ12内に構成するようにする形態であってもよい。
次に、本実施形態の撮像装置100による制御方法について説明する。
図2は、本発明の実施形態に係る撮像装置100によるフリッカー補正の制御方法についてのフローチャートを示している。
本実施形態における撮像装置は電源が投入されると、ステップS101におけるフリッカーの検出処理に備える。なお、本実施形態においては撮像装置の電源が投入されると自動的にフリッカー検出処理を行うことになっているが、ある特定の操作が行われたらフリッカー検出処理を行うようにしてもよい。また、一度本フローチャートの処理を終えると、再びこの処理を繰り返しても良いし、しばらく待ってから、本フローチャートの処理を行うようにしてもよい。
ステップS101において、フリッカー検出回路16が入力された画像信号においてフリッカーが発生しているか否かの判定を行う。
ステップS101において、フリッカー検出回路16が入力された画像信号においてフリッカーを検出しなかった場合、フリッカー補正を行わない。そして、フローチャートにおける処理を終了する。
ステップS101において、フリッカー検出回路16が入力された画像信号においてフリッカーを検出した場合、ステップS102に進む。
ステップS102において、入力された画像信号において設定されているゲイン値を取得し、取得したゲイン値が所定値以上の場合、処理をステップS104に進める。
また、ステップS102において、入力された画像信号に対して設定されているゲイン値が所定値より小さい場合は、画像全体の平均輝度値より明るい蓄積ラインに−方向のゲイン、暗い蓄積ラインに+方向のゲインをかけて輝度を調整する。
ここで、設定する所定値は、それ以上ゲインを上げてしまうと画像の解像感が損なわれてしまう値に設定される。また、ノイズをどこまで許容するかはユーザー毎で感覚が異なるため、上述の所定値をマニュアルで設定できるようにしてもよい。
ステップS104において、輝度検出回路17は、画像信号における輝度値を検出する。
ステップS105において、輝度演算回路18は、輝度検出回路17で検出した輝度値から、各蓄積ラインの平均輝度値を算出し、その算出した値と画像全体の平均輝度値との差を演算する。そして、マイクロコンピュータ12は各蓄積ラインの平均輝度値の中で輝度値が最小となる蓄積ラインの輝度値を検出する。
ステップS106において、マイクロコンピュータ12は、画像全体の中で平均輝度値が最小となる蓄積ラインの平均輝度値と画像全体の平均輝度値が同じになるように、最小値を大きくするための蓄積時間を算出する。
ここで、蓄積時間が長くなることで手ブレや被写体ブレが発生することが考えられる。これらの問題を防ぐために、蓄積時間に閾値を設定し、スローシャッターにならないようにすることが考えられる。
ステップS107において、マイクロコンピュータ12は、各蓄積ラインの輝度値と画像全体の平均輝度値の差を計算し、計算された各蓄積ラインの輝度値の差をゲイン値に変換する。そして、CDS/AGC回路9が、計算されたゲイン値をもとに各蓄積ラインのゲイン値を−方向に調整することで、フリッカーの発生を抑制する。
なお、本実施形態では、各蓄積ラインの平均輝度値が画像全体の平均輝度値と同じになるように蓄積時間とゲインを制御しているが、これに限られるわけではない。
例えば、適正露出となるような輝度値と各蓄積ラインの平均輝度値が同じになるように上述の処理を行ってもよい。
上述した処理では、入力された画像が適正露出に対してアンダー或いはオーバーになっていた場合には、画像全体の平均輝度値もアンダー或いはオーバーになってしまうので、フリッカー補正が施された画像もアンダー或いはオーバーになってしまうことがある。
しかし、適正露出となる時の画像全体の平均輝度値と各蓄積ラインの平均輝度値が同じになるように処理することで、入力された画像が適正露出に対してアンダー或いはオーバーだったとしても、フリッカー補正が施された画像は適正露出の画像となる。
また、入力された画像が適正露出に対してかなりアンダーであった場合は、適正露出となる時の画像全体の平均輝度値と各蓄積ラインの平均輝度値が同じになるように処理するには、蓄積時間をより長くする必要があり、撮影に違和感が出る場合がある。
その際には、撮影に違和感の生じない(所定の蓄積時間の)範囲内に蓄積時間の調整を留めておき、その時に得られる輝度値を、ゲイン調整する際に目標とする輝度値とすればよい。
以上説明してきたように、本発明においては、画像信号に設定されているゲイン値に応じたフリッカーの補正方法が選択されるようになっている。
そして、画像信号に設定されているゲイン値が所定値以上の場合には、画像全体の中で平均輝度値が最小となる蓄積ラインの平均輝度値と目標とする輝度値が同じになるように、最小値を大きくするための蓄積時間を算出する。このとき、蓄積時間は長くなる方向に変更するため、蓄積時間を変更する前に比べ、画像信号における最小輝度値と最大輝度値の輝度差は(波の振幅)は小さくなる。
この処理により、プラス方向とマイナス方向にゲイン値の調整を行うフリッカー補正に比べ、ノイズを増やす(プラス)方向へのゲイン調整を逓減することが出来る。
次に、各蓄積ラインの輝度値と目標となる輝度値の差を計算し、計算された各蓄積ラインの輝度値の差をゲイン値に変換する。そして、計算されたゲイン値をもとに各蓄積ラインのゲイン値を−方向に調整することで、フリッカーの発生を抑制している。
これらの処理により、ゲインを+方向に補正することなく、また小さなゲイン調整量でフリッカー補正が可能なため、S/N比を保持したまま、ノイズ成分による周期的な波を発生させずにフリッカーを抑制することができる。
それに加え、これらの処理によりノイズ成分を抑制するためのローパスフィルタなどの使用を必要としないため、従来の方法に比べ、解像感を低下させずに補正を行うことが可能である。
なお、本実施形態においては、画像信号に設定されているゲイン値に応じて、フリッカー補正の方法を変えているが、これに限られるわけではなく、常にシャッター速度の調整とマイナス方向へのゲイン調整のみでフリッカー補正を行うようにしてもよい。
本発明の実施形態に係る撮像装置の概略構成の一例を示す図である。 本発明の実施形態に係る撮像装置によるフリッカー補正の制御方法についてのフローチャートを示す図である。 本発明の本実施形態に係る撮像装置のフリッカー補正の動作について説明した図である。 CCDセンサ等のグローバルシャッタ方式を採用する撮像素子におけるフリッカーを示す図である。 CMOSセンサ等のローリングシャッタ方式を採用する撮像素子におけるフリッカーを示す図である。 従来技術におけるフリッカー補正のゲイン調整を示す図である。
符号の説明
1 レンズ
2 絞り
3 絞り駆動モータ
4 絞り状態検出回路
5 NDフィルター
6 NDフィルター駆動モータ
7 NDフィルター駆動検出回路
8 撮像素子
9 CDS/AGC回路
10 A/D変換回路
11 デジタル信号処理回路
12 マイクロコンピュータ
13 絞り機構駆動部
14 撮像素子駆動部
15 NDフィルター機構駆動部
16 フリッカー検出回路
17 輝度検出回路
18 輝度演算回路
19 記録媒体
20 記憶装置
100 撮像装置

Claims (5)

  1. 被写体の撮像を行う撮像素子と、
    前記撮像素子の出力信号に基づき得られる画像信号においてフリッカーを検出するフリッカー検出手段と、
    前記フリッカー検出手段によりフリッカーが検出された場合に、前記撮像素子の各蓄積ラインのうちで前記画像信号において最も低い輝度値を示す蓄積ラインの平均輝度値が目標となる輝度値と同じになるように前記撮像素子の蓄積時間を設定し、検出されたフリッカー成分を打ち消すように、前記最も低い輝度値を示す蓄積ライン以外の蓄積ラインの画像信号に対するゲイン値を小さくする方向に調整する制御を行う制御手段と、
    前記フリッカー検出手段によりフリッカーが検出された場合に前記制御手段により前記制御を行うか否かを判断する判断手段と、を有し、
    前記判断手段は、前記制御を行うか否かの判断を行う前に前記各蓄積ラインの画像信号に対して設定されているゲイン値が閾値以上の場合に前記制御を行うと判断し、前記制御を行うか否かの判断を行う前に前記各蓄積ラインの画像信号に対して設定されているゲイン値が前記閾値未満の場合に前記制御を行わないと判断し、
    前記制御手段は、前記判断手段により前記制御を行わないと判断されると前記最も低い輝度値を示す蓄積ラインの平均輝度値が前記目標となる輝度値と同じになるように前記撮像素子の蓄積時間を設定せずに、前記各蓄積ラインの画像信号に対するゲイン値を調整する制御を行うことを特徴とする撮像装置。
  2. 前記制御手段は、前記フリッカー検出手段によりフリッカーが検出されなかった場合には前記制御を行わず、前記最も低い輝度値を示す蓄積ラインの平均輝度値が前記目標となる輝度値と同じになるように前記撮像素子の蓄積時間を設定しないことを特徴とする請求項1に記載の撮像装置。
  3. 前記目標となる輝度値とは、前記画像信号の平均輝度値又は該画像信号が適正露出となる時の平均輝度値又は所定の蓄積時間の範囲内で蓄積時間の調整を行った時の該画像信号の平均輝度値、であることを特徴とする請求項1または2に記載の撮像装置。
  4. 前記撮像素子とはCMOSセンサであることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  5. 被写体の撮像を行う撮像素子と、前記撮像素子の出力信号に基づき得られる画像信号においてフリッカーを検出するフリッカー検出手段と、を有する撮像装置の制御方法であって、
    前記フリッカー検出手段によりフリッカーが検出された場合に、前記撮像素子の各蓄積ラインのうちで前記画像信号において最も低い輝度値を示す蓄積ラインの平均輝度値が目標となる輝度値と同じになるように前記撮像素子の蓄積時間を設定し、検出されたフリッカー成分を打ち消すように、前記最も低い輝度値を示す蓄積ライン以外の蓄積ラインの画像信号に対するゲイン値を小さくする方向に調整する制御を行う制御ステップと、
    前記フリッカー検出手段によりフリッカーが検出された場合に前記制御ステップで前記制御を行うか否かを判断する判断ステップと、を有し、
    前記判断ステップは、前記制御を行うか否かの判断を行う前に前記各蓄積ラインの画像信号に対して設定されているゲイン値が閾値以上の場合に前記制御を行うと判断し、前記制御を行うか否かの判断を行う前に前記各蓄積ラインの画像信号に対して設定されているゲイン値が前記閾値未満の場合には前記制御を行わないと判断し、
    前記制御ステップは、前記判断ステップで前記制御を行わないと判断されると前記最も低い輝度値を示す蓄積ラインの平均輝度値が前記目標となる輝度値と同じになるように前記撮像素子の蓄積時間を設定せずに、前記各蓄積ラインの画像信号に対するゲイン値を調整する制御を行うこと特徴とする撮像装置の制御方法。
JP2007258887A 2007-10-02 2007-10-02 撮像装置及びその制御方法 Expired - Fee Related JP5159235B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007258887A JP5159235B2 (ja) 2007-10-02 2007-10-02 撮像装置及びその制御方法
US12/242,449 US8169503B2 (en) 2007-10-02 2008-09-30 Image pickup apparatus and control method for selecting a flicker control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007258887A JP5159235B2 (ja) 2007-10-02 2007-10-02 撮像装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2009089249A JP2009089249A (ja) 2009-04-23
JP2009089249A5 JP2009089249A5 (ja) 2010-11-11
JP5159235B2 true JP5159235B2 (ja) 2013-03-06

Family

ID=40507779

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007258887A Expired - Fee Related JP5159235B2 (ja) 2007-10-02 2007-10-02 撮像装置及びその制御方法

Country Status (2)

Country Link
US (1) US8169503B2 (ja)
JP (1) JP5159235B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015180010A (ja) * 2014-03-19 2015-10-08 株式会社東芝 撮像装置のヘッド、および撮像装置
US9407832B2 (en) * 2014-04-25 2016-08-02 Himax Imaging Limited Multi-exposure imaging system and method for eliminating rolling shutter flicker
US9363445B2 (en) * 2014-06-30 2016-06-07 Qualcomm Incorporated Flash collision detection, compensation, and prevention
FR3066268B1 (fr) * 2017-05-11 2021-01-01 Thales Sa Capteur d'images
CN107948550B (zh) * 2017-11-01 2020-03-27 努比亚技术有限公司 一种降低图像噪声的方法、终端和计算机可读存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2522285B2 (ja) * 1987-02-17 1996-08-07 ソニー株式会社 撮像装置
JP4519306B2 (ja) * 2000-11-10 2010-08-04 株式会社東芝 フリッカ除去装置
JP3778114B2 (ja) * 2002-03-27 2006-05-24 ソニー株式会社 露光制御方法、露光制御回路、撮像装置、プログラム、記憶媒体
JP2004048616A (ja) * 2002-07-16 2004-02-12 Renesas Technology Corp センサモジュール
JP4331026B2 (ja) * 2004-03-17 2009-09-16 富士通マイクロエレクトロニクス株式会社 フリッカノイズ検出方法、フリッカノイズ低減方法及びフリッカノイズ検出回路
JP2006173860A (ja) * 2004-12-14 2006-06-29 Konica Minolta Photo Imaging Inc 電子カメラ
JP4207923B2 (ja) * 2005-04-19 2009-01-14 ソニー株式会社 フリッカ補正方法、フリッカ補正装置及び撮像装置
JP4631611B2 (ja) * 2005-08-30 2011-02-16 ソニー株式会社 フリッカ検出装置とフリッカ除去装置と撮像装置およびフリッカ検出方法

Also Published As

Publication number Publication date
US20090086054A1 (en) 2009-04-02
JP2009089249A (ja) 2009-04-23
US8169503B2 (en) 2012-05-01

Similar Documents

Publication Publication Date Title
JP2003204486A (ja) 撮像装置
JP5350466B2 (ja) カラム固定パターンノイズ補正方法
JP2007110486A (ja) 撮像装置
US8885092B2 (en) Camera device, exposure control method, and program
KR20030097687A (ko) 화상 처리 장치, 카메라 장치, 및 그 자동 노광 제어 방법
JP2006245784A (ja) 固体撮像装置及びその駆動方法並びに撮像システム
US8982250B2 (en) Image processing apparatus
JP5159235B2 (ja) 撮像装置及びその制御方法
JP2010081511A (ja) 撮像装置、設定値変更方法およびプログラム
JP4958635B2 (ja) 撮像装置及びその制御方法
JP4679174B2 (ja) 画像処理装置およびこの画像処理装置を備えたデジタルカメラ
KR100719990B1 (ko) 고체 촬상 장치, 고체 촬상 소자의 제어 회로 및 제어 방법
JP4769634B2 (ja) 撮像装置および撮像装置におけるノイズ除去方法
JP2007195038A (ja) 撮像装置および画像処理方法
JP6090565B2 (ja) 撮像装置、撮像方法及びプログラム
JP2003324748A (ja) テレビジョンカメラ
JP2011135379A (ja) 撮像装置、撮像方法及びプログラム
JP5520863B2 (ja) 画像信号処理装置
JP2003179809A (ja) カメラ装置及びその信号処理方法
JP2003299107A (ja) 撮像装置
JP5094454B2 (ja) 撮像装置及びその制御方法
JP4465574B2 (ja) 撮像装置及び撮像方法
JP2011049737A (ja) 撮像装置及びその露出制御方法
JP2006157341A (ja) 固体撮像素子のスミア補正方法、固体撮像素子の信号処理装置および撮像装置
JP5533059B2 (ja) 撮像装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121211

R151 Written notification of patent or utility model registration

Ref document number: 5159235

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees