JP5331766B2 - 撮像装置 - Google Patents

Description

本発明は、ＸＹアドレス走査型の撮像素子、例えばＣＭＯＳ型撮像素子において、蛍光灯照明等の点滅光源下で発生する蛍光灯フリッカの検出手段を備えた撮像装置に関する。

商用交流電流によって直接点灯される蛍光灯の照明下で、ビデオカメラによって被写体を撮影すると、蛍光灯の明暗の周期（商用交流電源周波数の２倍の逆数）とカメラの垂直同期周波数との違いにより、露光時間を蛍光灯の明暗の周期の整数倍にしない限り、撮影出力の映像信号に時間的な明暗の変化、いわゆる蛍光灯フリッカが発生する。特にＣＭＯＳ型撮像素子のようなＸＹアドレス走査型の撮像素子を用いた場合には、水平ラインごとに露光のタイミングが異なるため、撮像画面上のフリッカは、垂直方向に周期的な輝度レベルあるいは色相の変動による縞模様として観察される。

ここで、厳密にはＣＭＯＳ型撮像素子などのＸＹアドレス走査型の撮像素子では画素ごとの露光のタイミングが画面水平方向において読み出しクロック（画素クロック）の１周期分ずつ順次ずれ、全ての画素で露光のタイミングが異なるが、蛍光灯の輝度変化に比べて１水平周期は十分に短いため、同一ライン上の画素は露光のタイミングが同時であると仮定しても実際上、問題ない。

このようなフリッカ成分を撮像画面信号から除去するための手法としては、主に、シャッタースピードとフリッカレベルとの関連性に基づいて補正する方式であるシャッタ補正方式と、フリッカ波形を検出してその逆波形を補正ゲインとして画像信号に適用する方式であるゲイン補正方式とが知られている。

シャッタ補正方式の例として、特許文献１に記載のように、積分回路を用いて、映像信号を１フィールド期間積分し、その信号を少なくとも１フィールド期間記憶しておき、積分回路からの１フィールド前の入力信号と現在の入力信号を順次比較していき、その規則性の有無を判定することによりフリッカを検出し、シャッタースピードを制御する方法が示されている。

特開平４−３７３３６５号公報

しかしながら、特許文献１に記載のように、積分回路からの１フィールド前の入力信号と現在の入力信号を順次比較していき、その規則性の有無を判定する方法は、被写体が動体の場合など、蛍光灯以外の要因で映像信号が変化した場合、非蛍光灯照明下において、１フィールド前の入力信号と現在の入力信号を比較した結果がフリッカ発生時の規則性と偶然一致する、もしくは蛍光灯照明下で規則性と一致しない場合があり、正しくフリッカを検出できない可能性がある。

また、ＣＣＤ型撮像素子の場合、１画面内の全ての画素が同一の露光タイミングで露光されるため、フリッカによる明暗変化および色変化がフレーム間でのみ現れる。そこで、画面に対して積分範囲を広くとるほど、積分範囲が狭い場合に比べてフレーム間の積分値の増減の差がおおきくなるため、前記規則性の有無を判定する方法の判定精度に対する被写体の変動やノイズの影響を低減できる。

しかし、ＣＭＯＳ型撮像素子では水平ラインごとに露光のタイミングが異なるため、露光のタイミングが同一とみなして問題ない範囲においては、積分範囲を広くとるほど、被写体の変動やノイズの影響を低減できるが、露光のタイミングが同一とみなせない範囲においては、積分範囲を広くとっても、フレーム間の積分値の増減の差はそれほど大きくならず、被写体の変動やノイズの影響を低減できる効果は頭打ちとなる。

そこで、本発明ではＣＭＯＳ型撮像素子において、被写体が動体の場合やノイズが多い場合（暗所撮影など）においても、誤検出することなく安定してフリッカ検出し、キャンセルができる機能を備えた撮像装置を実現することを目的とする。

尚、上記した課題以外のその他の課題は、本願明細書全体の記載または図面から明らかにされる。

本発明の撮像装置では、画面内の任意の範囲の映像信号をフレーム周期毎に積分し、現フレームにおける積分値を、１フレーム前における積分値と順次比較し、積分値の増減変化パターンがフリッカ発生時に起こるフリッカパターンの１つと一致したかどうかをパターン判定し、同一のフリッカパターンが少なくとも２回以上連続して現れた場合、フリッカがあると判定する。また、前記判定を画面の複数箇所で行い、フリッカありと判定した箇所が全判定箇所数の半数を超えた場合、フリッカがあると判定することが望ましい。フリッカがあると判定した場合、撮像素子の信号蓄積時間を制御しフリッカキャンセルする。

尚、上記した構成はあくまで一例であり、本発明は、技術思想を逸脱しない範囲内で適宜変更が可能である。また、上記した構成以外の本発明の構成の例は、本願明細書全体の記載または図面から明らかにされる。

本発明により、ＣＭＯＳ型撮像素子においても、被写体が動いた場合やノイズの多い場合（暗所撮影時など）でも、実用上問題なく安定してフリッカ検出することができ、フリッカ有無の結果に応じて映像信号の蓄積時間を制御することでフリッカをキャンセルすることができる。本発明のその他の効果については、明細書全体の記載から明らかにされる。

本発明の一実施例を示す構成図である。 本発明の一実施例における積分領域を説明する図である。 本発明の一実施例におけるフリッカ判定箇所を説明する図である。 本発明のフリッカ検出アルゴリズムを示すブロック図である。 本発明のフリッカ検出アルゴリズムの判定の流れを示すフローチャートである。

本発明の実施例を、図面を参照しながら説明する。尚、各図および各実施例において、同一又は類似の構成要素には同じ符号を付し、説明を省略する。

図１は、本発明の一実施例を示す構成図である。レンズ１より入射した光は、絞り２によって適切に光量を制限されたあと、ＣＭＯＳ撮像素子３により電気信号に変換され、ＡＧＣ回路５を通って信号処理回路６で処理された後、映像信号（輝度信号）として出力される。また、信号処理回路６を通った信号は、積分回路（積分部）７、およびマイクロコンピュータ（制御部）８にも入力される。ここで、ＣＭＯＳ撮像素子３は、電子シャッタースピード制御回路（電子シャッタースピード制御部）４によりＣＭＯＳ撮像素子３の信号蓄積時間を可変できるものとする。マイクロコンピュータ８は、信号処理回路６から入力される信号に基づいて、ＣＭＯＳ撮像素子３および信号処理回路６に入力される信号量が適切になるように絞り２およびＡＧＣ回路５の利得を制御する。また、絞り２の絞り値は、絞り値検出回路によって検出され、マイクロコンピュータ８に入力される。さらに、マイクロコンピュータ８は電子シャッタースピード制御回路４に対して、信号蓄積時間を可変するための信号を出力する。

ここで、積分回路７は、入力された信号（映像信号）をフレーム周期毎に積分した結果（積分値）を出力する機能をもち、その積分範囲（積分領域）はマイクロコンピュータ８によって画面上の任意の範囲（領域）を設定できるものとする。また、その積分領域は、１箇所だけでなく、画面内の互いに離れた２箇所以上の領域を設定でき、それぞれの領域において独立に積分値を算出できるものとする。尚、積分領域として複数の領域を設定する場合でも、積分回路７は１つのみで処理してもよいし、複数設けてもよい。

続いて、図２に示すように、マイクロコンピュータ８を介して、積分回路７に対し積分領域２１〜２３を設定する。ここで、それぞれの積分領域２１〜２３は露光のタイミングが同一とみなして問題ない範囲において、できるだけ広く設定したほうが望ましい。但し、これに限定されず、露光のタイミングが同一とみなせない範囲まで広げてもフリッカの検出は可能である。但し、露光のタイミングが同一とみなせない範囲まで広げた場合は、露光時間が一定であるとき、次のフレームでその領域を構成するそれぞれのラインの積分値が前のフレームの何れかのラインの積分値と必ず等しくなってしまうライン数となる領域が存在する場合があるため、その積分領域全体の積分値がフリッカ発生時でも常に一定となるため、フリッカを検出することができないため、そのようなライン数の領域となることを避けることが必要である。

例えば、本実施例では、画面を７２０ラインとし、１フレームを１／６０秒とした場合、１つの積分領域を１５ライン程度に設定することが望ましい。尚、１５ライン程度に設定した場合には、露光のタイミングが同一とみなせない範囲となるが、ライン数が多いため１つの積分領域を数ライン程度に設定した場合よりもノイズ等の影響を受けにくいというメリットがある。但し、これに限られず、１つの積分領域を１ラインに設定することや、２〜数ライン程度に設定してもよい。尚、１つの積分領域を設定する際に、１ラインよりも複数ラインに設定した方がノイズ等の影響を受けにくいというメリットがある。

前記積分領域２１〜２３の位置は、図３のように蛍光灯の明暗変化に対するその領域における撮像素子の露光開始のタイミングが、他の少なくとも１つの領域とは異なり（望ましくはそれぞれの領域において異なり）、画面上での領域が互いに重なりあわないよう垂直方向にずらした位置（垂直方向に互いに離れた位置）に設定する。これによって、後述するフリッカパターンが２つ以上存在することになり、フリッカの検出精度が向上する。
ここで、積分領域２１〜２３の位置は、画面内において偏りがないようにしたほうが望ましい。そうすることで、画面上部にのみフリッカが発生している場合などでもフリッカを検知することができる。また、積分領域は１つのみ設定してもよいが、積分領域の数を増やすことにより判定箇所数を多くした方が誤判定の可能性を低減できる。

図１に示した本発明の実施例におけるフリッカ検出アルゴリズムを図４に示すブロック図と、図５に示すフローチャートを用いて説明する。

フリッカ検出部８００は、パターン判定部８０１，連続判定部８０２，複数判定部８０３を有している。このフリッカ検出部８００は、マイクロコンピュータ８によって実行される。

まず、パターン判定部８０１に対し、積分回路７より１つの積分領域における１フレーム分の積分値が入力される。パターン判定部８０１は、入力された積分値を少なくとも１フレーム期間記憶しておき、現フレームの積分値を１フレーム前の積分値と比較してその領域における積分値が１フレーム前よりも増加したか、減少したか、変化なしかを算出する。ここで、増加したか、減少したか、変化なしかの判定には、所定のしきい値を用い、変化量が所定のしきい値以内（あるいは所定のしきい値未満）であれば変化なしと判定すればよい。そして、その算出結果（増減変化パターン）を数フレーム分記憶しておく。

さらに、パターン判定部８０１は、この積分値の所定フレーム前（ここで用いられる所定フレーム数はフリッカ発生周期に等しい）からの増減変化パターンが、蛍光灯フリッカ発生時に起こる積分値の増減変化パターンであるフリッカパターンの１つに一致するか否かをパターン判定する。

フリッカが発生した場合、先ほど算出された積分値の増減変化のパターンは、複数ある所定のフリッカパターンのいずれかに一致し、同一のフリッカパターンをフリッカ発生周期で繰り返すという特徴がある。例えば、積分領域２１のように、蛍光灯の輝度変化の谷となるタイミングで露光を開始した場合、積分領域２１における露光タイミングＩ１のフレームごとの積分値の増減変化パターンは、減少（前フレームよりも暗くなる）→増加（前フレームよりも明るくなる）→変化なし（前フレームと明るさが同じ）という増減変化パターンを３フレーム周期で繰り返す。この３フレーム周期というのがフリッカパターンのフリッカ発生周期である。例えば、ＮＴＳＣ（１フレームが１／６０秒）で蛍光灯輝度変化が１／１００秒の周期だとすると、３フレーム毎に蛍光灯輝度変化の山・谷の位置が一致する（現フレームの蛍光灯輝度変化に対する露光のタイミングが３フレーム前の露光のタイミングと一致する）ためである。他のフリッカパターンとしては、増加→増加→減少，減少→減少→増加，増加→減少→変化なしという全部で４パターンある。尚、ＰＡＬ（１フレームが１／５０秒）で電源が６０Ｈｚ地域であれば、フリッカパターンのフリッカ発生周期は５フレームとなる。

ここで、図３において、露光タイミングＩ２，Ｉ３は、それぞれ積分領域２２，２３の露光タイミングを示しており、フリッカが発生した場合は、それらの領域における積分値の増減変化パターンも複数ある所定のフリッカパターンのいずれかに一致することとなる。

そして、複数の積分領域２１〜２３がある場合は、パターン判定Ｓ１ａ〜Ｓ１ｃを、それぞれの判定箇所（積分領域）において行う。

次に、連続判定部８０２において、パターン判定部８０１によって積分値の増減変化パターンがフリッカパターンの１つに一致すると判定された場合に、積分値の増減変化パターンが少なくとも２フリッカ発生周期以上にわたって同一フリッカパターンと一致したとき（同一のフリッカパターンが少なくとも２回以上連続して起こったとき）フリッカがあると判定する連続判定を行う。そして、複数の積分領域２１〜２３がある場合は、それぞれの領域に対応して連続判定Ｓ２ａ〜Ｓ２ｃを行う。

最後に、複数判定部８０３において、連続判定部８０２より入力される連続判定結果を用いて複数判定Ｓ３を行う。それぞれの箇所（積分領域）の連続判定の結果、フリッカがあると判定した箇所が全判定箇所数の半数を超えた場合、フリッカがあると総合的に判定する。尚、積分領域が１箇所のみである場合はこの複数判定部８０３は省略可能である。

そして、フリッカを検出した場合に、マイクロコンピュータ８は、電子シャッタースピード制御部４を制御し、ＣＭＯＳ撮像素子３の信号蓄積時間を蛍光灯の明暗の周期の整数倍にすることでフリッカキャンセルする。

以上、本発明を実施例を用いて説明してきたが、これまでの各実施例で説明した構成はあくまで一例であり、本発明は、技術思想を逸脱しない範囲内で適宜変更が可能である。
また、それぞれの実施例で説明した構成は、互いに矛盾しない限り、組み合わせて用いても良い。

１ レンズ
２ 絞り
３ ＣＭＯＳ撮像素子
４ 電子シャッタースピード制御回路
５ ＡＧＣ回路
６ 信号処理回路
７ 積分回路
８ マイクロコンピュータ
２１〜２３ 積分領域
８００ フリッカ検出部
８０１ パターン判定部
８０２ 連続判定部
８０３ 複数判定部
Ｉ１〜Ｉ３ 露光タイミング
Ｓ１ａ〜Ｓ１ｃ パターン判定
Ｓ２ａ〜Ｓ２ｃ 連続判定
Ｓ３ 複数判定

Claims (4)

1. 撮像素子を用いて画像を撮像する撮像装置において、
   フレーム周期毎に、撮像時に得られる映像信号を、画面内の互いに離れた２箇所以上の領域においてそれぞれ積分値を算出する積分部と、
   前記積分部が積分する前記２箇所以上の領域は、蛍光灯の明暗変化に対する各領域における前記撮像素子の露光開始のタイミングが他の少なくとも１つの領域とは異なるように、画面垂直方向に互いに離れた位置に設定するとともに、
   前記積分部より得られた現フレームの積分値を、１フレーム前における積分値と比較して前記積分値が１フレーム前よりも増加したか、減少したか、変化なしかを算出し、所定フレーム前からの前記積分値の増加、減少および変化なしの組み合わせからなるパターンが、蛍光灯フリッカ発生時に起こる前記積分値の増加、減少および変化なしの組み合わせからなるパターンであるフリッカパターンの１つに一致するか否かを前記各領域毎にパターン判定するパターン判定部と、
   前記パターン判定部によって前記積分値の増減変化パターンが前記フリッカパターンの
   １つに一致すると判定された場合に、前記積分値の増減変化パターンが少なくとも２フリ
   ッカ発生周期以上にわたって同一フリッカパターンと一致したときフリッカがあると前記各領域毎に判定する連続判定部とを有することを特徴とする撮像装置。
2. 前記パターン判定部と前記連続判定部は、それぞれの領域における前記積分値を用いて
   前記パターン判定と前記フリッカがあるか否かの判定を行い、
   前記連続判定部によってフリッカがあると判定された領域の数が、前記領域の数の総数
   の半数を超えた場合に、フリッカがあると判定する複数判定部を有することを特徴とする
   請求項１に記載の撮像装置。
3. 前記撮像装置は、ＸＹアドレス走査型の撮像素子を用いて撮像されることを特徴とする請求項１または２に記載の撮像装置。
4. フリッカを検出した場合に、前記撮像素子の信号蓄積時間を蛍光灯の明暗の周期の整数
   倍にすることでフリッカキャンセルするシャッタースピード制御部を有することを特徴と
   する請求項１〜３の何れかに記載の撮像装置。

Images