JP4323343B2

JP4323343B2 - 撮像装置及びフリッカ検出方法

Info

Publication number: JP4323343B2
Application number: JP2004036241A
Authority: JP
Inventors: 陽一加藤; 研一下邨
Original assignee: Renesas Technology Corp
Current assignee: Renesas Technology Corp
Priority date: 2004-02-13
Filing date: 2004-02-13
Publication date: 2009-09-02
Anticipated expiration: 2024-02-13
Also published as: JP2005229353A

Description

この発明は、点滅周期を有する蛍光灯照明等の光源下において発生するフリッカを抑制する撮像装置及び当該フリッカの検出方法に関するものである。

撮像装置において。固体撮像素子にＣＭＯＳセンサのような画素毎に光電変換を行うタイミングが異なる素子を使用した場合、蛍光灯照明下など明るさが周期的に変化する環境で撮影すると、画素毎に光電変換を行うタイミングが異なるため、撮影した画像に明暗の横縞が発生する。この現象はフリッカと呼ばれる。

このようなフリッカを抑制する方法としては、電荷蓄積時間を光源（蛍光灯照明等）の点滅周期の整数倍に設定する方法が知られている。しかしながら、光源の点滅周期が２種類ありえる環境で使用するには、２種類の光源の点滅周期それぞれに応じて電荷蓄積時間を設定する必要がある。このような場合、光源の点滅周期を検出するためのフリッカ検出方法として特許文献１に開示された方法がある。

この方法は、フレーム内の所定のラインにおける複数の画素値を積算し、積算した値のフレーム間の変化量を計算し、所定のフレーム数分の変化量に基づいてフリッカ指標値を演算し、そのフリッカ指標値に基づいてフリッカの有無を検出する方法である。

特開２００２−８４４６６号公報

しかしながら、従来のフリッカ検出方法は、所定のラインにおける複数の画素数の積算値を求め、当該積算値の相前後するフレーム間の変化量（以下、「フレーム間差分」と略する場合あり）を所定のフレーム数分求めることにより、フリッカ指標値を演算しているが、（最大値が）同じ光量でも検出時の各フレームの光源の位相の違いにより、フレーム検出期間毎に得られるフリッカ指標値が変化し、その精度が落ちてしまう問題点があった。

また、フレーム周期と光源あるいは光量の周期とが同期する結果、相前後するフレーム間における光源の位相が同じになる場合、フレーム間差分が実質的に“０”となりフリッカ指標値としてほとんど機能しないという問題点があった。

上述した問題点が生じた場合、所定回のフリッカ指標値の合計値や、最大値と最小値の差をフリッカ検出に用いる場合、フリッカ指標値にばらつきがあると精度が落ち、最終的にフリッカ検出精度が劣化してしまう問題点があった。

上述したフレーム周期およびフリッカ指標値検出期間はフレームレートに依存することから、結論としフリッカ検出精度がフレームレートに依存して変化してしまうということになる。

この発明は上記のような問題点を解決するためになされたもので、フリッカ検出精度の高い撮像装置及びフリッカ検出方法を得ることを目的とする。

この発明に係る請求項１記載の撮像装置は、複数の光源のうち所定の光源の周波数に対応して光源フリッカ除去設定がなされるフリッカ除去機能を有する装置であって、画素毎に異なるタイミングで光電変換を実行して画像信号を生成する固体撮像素子と、前記画像信号に関連した信号に基づきフリッカの有無を検出するフリッカ検出部とを備え、前記フリッカ検出部は、フリッカ検出処理時に、前記固体撮像素子のフレーム周期を所定の条件を満足するように設定するフレーム周期設定手段と、フリッカ検出処理時に、前記画像信号に関連した信号に基づき、ｍ（ｍは２以上の整数）フレームより構成され、前記所定の条件を満足するフリッカ指標値検出期間毎に各フレームにおける所定箇所の複数の画素値の積算値のｍフレーム間における差分より得られるフリッカ指標値を順次演算し、複数の前記フリッカ指標値に基づくフリッカ指標パラメータを得るフリッカ指標パラメータ演算手段と、前記フリッカ指標パラメータに基づき、フリッカの有無を検出し、フリッカ有りと検出した場合に、前記光源フリッカ除去設定内容を切り換える光源フリッカ除去設定内容切り換え手段とを備え、前記所定の条件は、前記複数の光源のうち前記光源フリッカ除去設定の対象となっていない一の光源であるフリッカ検出用光源に関し、前記フレーム周期は少なくとも１周期毎には前記フリッカ検出用光源の光量の周期とは同期せず、かつ、前記フリッカ指標値検出期間は１周期毎に前記フリッカ検出用光源の光量の周期と同期する条件を含んでいる。

この発明に係る請求項４記載のフリッカ検出方法は、画素毎に異なるタイミングで光電変換を実行して画像信号を生成する固体撮像素子を有し、複数の光源のうち所定の光源の周波数に対応して光源フリッカ除去設定がなされるフリッカ除去機能を有する撮像装置におけるフリッカの有無を検出する方法であって、(a) 前記複数の光源のうち、前記光源フリッカ除去設定の対象となっていない一の光源をフリッカ検出用光源とし、該フリッカ検出用光源における光量の周期に関し、少なくとも１周期毎には前記フリッカ検出用光源の光量の周期とは同期しないフレーム周期と、前記フレーム周期のｍ（ｍは２以上の整数）倍の周期を有し１周期毎に前記フリッカ検出用光源の光量の周期と同期するフリッカ指標値検出期間とを設定するステップと、(b) 前記画像信号に関連した信号に基づき、前記フリッカ指標値検出期間毎に各フレームにおける所定箇所の複数の画素値の積算値に基づくｍフレーム間における差分より得られるフリッカ指標値を順次演算し、複数の前記フリッカ指標値に基づくフリッカ指標パラメータを得るステップと、(c) 前記フリッカ指標パラメータに基づき、フリッカ判別処理を実行しフリッカの有無を検出するステップとを備えている。

この発明における請求項１記載の撮像装置において、フリッカ検出用光源に関し、上記所定の条件を満足すべく、フレーム周期は少なくとも１周期毎にはフリッカ検出用光源の光量の周期とは同期しないように設定され、かつ、フリッカ指標値検出期間は１周期毎にフリッカ検出用光源の光量の周期と同期するように設定される。

したがって、フリッカ指標値検出期間とフリッカ検出用光源の光量の周期とを同期させることにより、各フリッカ指標値検出期間内における光量の位相は全て同一となる。その結果、フリッカ指標値検出期間それぞれの光量の位相を一致させることにより、フリッカ指標値の精度を高めることができる。

加えて、フリッカ指標値検出期間内の各（フリッカ検出用）フレームは少なくとも１周期毎にはフリッカ検出用光源の光量の周期と同期しないため、各回のフリッカ指標値検出期間内での、連続する２つのフレーム間における上記所定箇所の上記積分値の差分であるフレーム間差分はすべて異なる位相間における差として得られるため、同じ位相間の差をとることによりフリッカ成分が打ち消されたフレーム間差分が得られるという不具合を確実に回避することができ、フリッカ指標値の精度向上を図ることができる。

その結果、請求項１記載の撮像装置は、精度良くフリッカの有無を検出することができる効果を奏する。

この発明における請求項４記載のフリッカ検出方法は、ステップ(a) で、フリッカ検出用光源に関し、少なくとも１周期毎にはフリッカ検出用光源の光量の周期とは同期しないフレーム周期と、フレーム周期のｍ倍の周期を有し１周期毎にフリッカ検出用光源の光量の周期と同期するフリッカ指標値検出期間とを設定している。

したがって、フリッカ指標値検出期間とフリッカ検出用光源の光量の周期とを同期させることにより、各フリッカ指標値検出期間内における光量の位相は全て同一となる。その結果、フリッカ指標値検出期間それぞれの光量の位相を一致させることにより、ステップ(b) で得られるフリッカ指標値の精度を高めることができる。

加えて、フリッカ指標値検出期間内の各フレームは少なくとも１周期毎にはフリッカ検出用光源の光量の周期と同期しないため、各回のフリッカ指標値検出期間内で相前後する２つのフレーム間における上記所定箇所の上記積分値の差分であるフレーム間差分はすべて異なる位相間における差として得られるため、同じ位相間の差をとることによりフリッカ成分が打ち消されたフレーム間差分が得られるという不具合を確実に回避することができ、フリッカ指標値の精度向上を図ることができる。

その結果、ステップ(c) におけるフリッカの有無の検出精度の向上を図ることができる。

＜実施の形態１＞
図１はこの発明の実施の形態１である撮像装置の構成を示すブロック図である。以下、同図を参照して本実施の形態の構成について説明する。

固体撮像素子１は画素毎に異なるタイミングで光電変換を実行して画像信号を生成し、ＣＭＯＳセンサなどで構成される。ＣＤＳ（Correlated Double Sampling 相関二重サンプリング回路）回路２は固体撮像素子１より得た画像信号におけるノイズをキャンセルする。

増幅器３はＣＤＳ回路２を経た画像信号を増幅する。Ａ／Ｄ変換器４は増幅器３によって増幅された画像信号をデジタルデータに変換する。自動レベル調整部６は、積算手段１１、演算手段１２、第１の撮像パラメータ設定手段１３、第２の撮像パラメータ設定手段１４、演算手段１５、切り換え手段１７、タイミングジェネレータ１８、フレームレート切り換え手段２１、フリッカ検出開始手段２２、及びフリッカ検出手段２３から構成され、Ａ／Ｄ変換器４より得られるデジタルデータに基づき、固体撮像素子１の電荷蓄積時間と増幅器３の利得を自動的に制御する。

さらに、自動レベル調整部６は、後に詳述するように、Ａ／Ｄ変換器４より得られるデジタルデータに基づき（固体撮像素子１より得られた画像信号に関連した信号）、フリッカの有無を検出するフリッカ検出部としても機能する。

自動レベル調整部６において、積算手段１１はＡ／Ｄ変換器４からのデジタルデータを受け、該デジタルデータに基づきフレーム内の所定のラインにおける複数の画素値を積算して第１及び第２の積算結果を演算手段１２及び１５に出力する。

演算手段１２は第１の積算結果に基づき、画像のレベルに応じて自動レベル調整処理を実行し第１の演算結果を得る。第１の撮像パラメータ設定手段１３は第１の演算結果に応じて、固体撮像素子１の電荷蓄積時間を１／１００秒の整数倍のうちのいずれかの時間に設定するための電化蓄積時間設定信号、および増幅器３の増幅率（ゲイン）を設定するためのゲイン設定信号を含む第１の設定信号を出力する。

一方、第２の撮像パラメータ設定手段１４は第１の演算結果に応じて、固体撮像素子１の電荷蓄積時間を１／１２０秒の整数倍のうちのいずれかの時間に設定するための電化蓄積時間設定信号、および増幅器３の増幅率を設定するためのゲイン設定信号を含む第２の設定信号を出力する。

演算手段１５は積算手段１１による第２の積算結果の相前後するフレーム間の変化量（フレーム間差分）を計算し、所定のフレーム数分における上記フレーム間差分の総和に基づいて、フリッカ指標値及びフリッカ指標値に基づくパラメータＰ１，Ｐ２（フリッカ指標パラメータ）を演算し、パラメータＰ１，Ｐ２をフリッカ検出手段２３に出力する。

フリッカ検出開始手段２２は所定のタイミングでフリッカ検出開始信号をフリッカ検出手段２３に出力する。なお、所定のタイミングとは撮像装置の電源投入時、ユーザからのフリッカ検出要求時等が考えられる。

フリッカ検出手段２３はフリッカ検出開始信号を受けると、演算手段１５より順次得られるパラメータＰ１，Ｐ２に基づき、後に詳述するフリッカ検出方法を実行することにより、フリッカの有無を検出し、その検出結果に基づいて切り換え手段１７を制御する。

また、フリッカ検出手段２３は、フリッカ検出方法の実行中は、所定の条件（後述する式(1)あるいは式(3)）を満足する、フリッカ検出方法用のフレームレートを指示するフレームレート設定信号をフレームレート切り換え手段２１に出力し、それ以外の期間は通常のフレームレート指示するフレームレート設定信号をフレームレート切り換え手段２１に出力する。

切り換え手段１７はフリッカ検出手段２３からの制御信号に応じて、第１及び第２の撮像パラメータ設定手段１３及び１４から出力される第１及び第２の設定信号のうち、一方の設定信号を選択設定信号として選択する。そして、切り換え手段１７は、選択設定信号のうちゲイン設定信号を増幅器３に供給し、電化蓄積時間設定信号をタイミングジェネレータ１８に供給する。

フレームレート切り換え手段２１はフレームレート設定信号の指示するフレームレートを実現すべくタイミングジェネレータ１８を制御し、その結果、タイミングジェネレータ１８は、フレームレート切り換え手段２１の制御下で固体撮像素子１のフレームレート（フレーム周期）を設定する。

タイミングジェネレータ１８は、切り換え手段１７を介して供給される電化蓄積時間に基づいて固体撮像素子１の電荷蓄積時間を制御する。

このような構成において、光画像は、固体撮像素子１に入射すると、固体撮像素子１により画像信号に変換され、その画像信号はＣＤＳ回路２によりノイズを除去される。ＣＤＳ回路２から出力された画像信号は増幅器３により増幅され、Ａ／Ｄ変換器４によりデジタルデータに変換され、画素（デジタル）データとして図示せぬ後段の処理部へ出力される。

一方、自動レベル調整部６において、積算手段１１は、Ａ／Ｄ変換器４からのデジタルデータに基づき、１フレーム毎に画面全体あるいは画面の一部の領域の画素データを積算し、その積算値である第１の積算結果を演算手段１２に供給する。また、積算手段１１は、デジタルデータに基づき、所定の第ｊ番目の水平ラインの画素データを積算した積算値、すなわちその水平ラインの射影出力値である第２の積算結果を演算手段１５に供給する。

演算手段１２は、画像の信号レベルが一定レベルになるように、積算手段１１からの第１の積算結果に基づいて次フレーム撮像時の撮像パラメータ設定値を演算し、その撮像パラメータ設定値を第１の演算結果として第１の撮像パラメータ設定手段１３および第２の撮像パラメータ設定手段１４に供給する。

第１及び第２の撮像パラメータ設定手段１３及び１４は、第１の演算結果（撮像パラメータ設定指標値）に基づき増幅器３に対するゲイン設定信号、およびタイミングジェネレータ１８に対する電荷蓄積時間設定信号を含む第１及び第２の設定信号をそれぞれ出力する。

このとき、第１の撮像パラメータ設定手段１３は、交流電源の周波数が５０Ｈｚの地域でフリッカが発生しないようにするために、電荷蓄積時間が１／１００秒の整数倍のいずれかの時間を指示する電荷蓄積時間設定信号を出力し、第２の撮像パラメータ設定手段１４は、交流電源の周波数が６０Ｈｚの地域でフリッカが発生しないようにするために、電荷蓄積時間が１／１２０秒の整数倍のいずれかの時間を指示する電荷蓄積時間設定信号を出力する。ただし、撮影環境が高照度の場合には、第１の撮像パラメータ設定手段１３は、１／１００秒より短い電荷蓄積時間を設定するための電荷蓄積時間設定信号を出力し、第２の撮像パラメータ設定手段１４は、１／１２０秒より短い電荷蓄積時間を設定するための電荷蓄積時間設定信号を出力する。このように、本実施の形態の撮像装置は、第１及び第２の光源（交流電源の周波数が５０Ｈｚ及び６０Ｈｚの光源）の一方の光源の周波数に対応して光源フリッカ除去設定がなされるフリッカ除去機能を有している。

そして、第１及び第２の撮像パラメータ設定手段１３及び１４からの第１及び第２の設定信号のうち、いずれか一方の設定信号が切り換え手段１７により選択設定信号として選択され、選択設定信号におけるゲイン設定信号が増幅器３に供給され、電荷蓄積時間設定信号がタイミングジェネレータ１８に供給される。

一方、演算手段１５は、積算手段１１からの射影出力値（第２の積算結果）に基づいてフリッカ検出のためのフリッカ指標値及びフリッカ指標値に基づくパラメータＰ１，Ｐ２を算出し、パラメータＰ１，Ｐ２をフリッカ検出手段２３に供給する。このように、射影出力値を出力する積算手段１１と演算手段１５とによりフリッカ指標パラメータ（パラメータＰ１，Ｐ２）演算手段を構成する。

フリッカ検出手段２３は、切り換え手段１７を制御し、第１の及び第２の撮像パラメータ設定手段１３及び１４から得られる第１及び第２の設定信号のうち一方を選択させる。これにより、通常時は、所在地域でのフリッカの抑制に適したゲイン設定信号および電荷蓄積時間設定信号が増幅器３およびタイミングジェネレータ１８にそれぞれ供給される。

さらに、フリッカ検出手段２３は、パラメータＰ１，Ｐ２に基づいて行うフリッカ検出方法を実行し、フリッカの有無の検出結果に基づき、切り換え手段１７及びフレームレート切り換え手段２１を制御する。

以下、フリッカ検出手段２３によるフリッカ検出方法について説明する。フリッカ検出手段２３はフリッカ検出開始手段２２よりフリッカ検出開始信号を受けるとフリッカ検出方法を開始する。

図２はフリッカ検出手段２３及び演算手段１５によって実行されるフリッカ検出方法の処理手順を示すフローチャートである。以下、同図を参照しつつ、フリッカ検出手順を説明する。

まず、ステップＳ１において、フリッカ検出手段２３は、現在指定している光源周波数（交流電源の周波数）を示すフリッカ除去設定内容に応じて（フリッカ検出用）フレームレート（周期との関係で言えば、（フリッカ検出用）フレーム周期）を設定する。例えば、現在指定が５０Ｈｚ光源フリッカ除去設定時（第１の撮像パラメータ設定手段１３による第１の設定信号を採用時）は、フリッカ検出周期が６０Ｈｚ光源（フリッカ検出用光源）の周期の整数倍になるようにフレームレートを設定し、現在指定が６０Ｈｚ光源フリッカ除去設定時（第２の撮像パラメータ設定手段１４による第２の設定信号を採用時）は、フリッカ検出周期が５０Ｈｚ光源（フリッカ検出用光源）の周期の整数倍になるようにフレームレートを設定する。ただし、フリッカ検出周期内のフレーム間では位相をずらすため光源（あるいは光量）周期の整数倍にならないようにする。この際、変数count及び変数ｒを共に“０”に初期設定する。

このように、５０Ｈｚ及び６０Ｈｚ光源（複数の光源）のうち光源フリッカ除去設定の対象となっていない一の光源がフリッカ検出用光源として設定され、このフリッカ検出用光源に基づきフレームレートが設定される。

このように設定された（フリッカ検出用）フレームレートを指示するフレームレート設定信号がフリッカ検出手段２３から出力されると、フレームレート切り換え手段２１はフレームレート設定信号の指示するフレームレートを実現すべくタイミングジェネレータ１８を制御し、タイミングジェネレータ１８はフレームレート切り換え手段２１の制御に従い、固体撮像素子１の垂直走査等を制御しフレームレートを設定する。このように、フリッカ検出手段２３、フレームレート切り換え手段２１及びタイミングジェネレータ１８によりフリッカ検出処理時にフレームレートを変更するフレームレート（フレーム周期）設定手段を構成している。

以下、ステップＳ１におけるフレームレート設定例を説明する。フリッカ検出周期がｍフレーム単位、フリッカを出す電源周波数をｄ（Ｈｚ）、フレームレートをａ（ｆｐｓ(frame per second)）とすると、以下の式(1)（所定の条件）を満足する必要がある。なお、式(1)において、ｎ，ｍは整数であり、互いに非整数倍となる関係（一方が他方で割り切れない関係）である。

上記数１において、ｍ＝３，ｄ＝６０の時は、ａ＝１４．４（ｎ＝２５）あるいはａ＝１３．８４６（ｎ＝２６）等が設定可能であり、ｍ＝３，ｄ＝５０の時は、ａ＝１５．０（ｎ＝２０）あるいはａ＝１３．６３６（ｎ＝２２）等が設定可能となる。

次に、ステップＳ２においてフリッカ検出手段２３は、第１のフリッカ判別準備処理を行い、その後、ステップＳ３において第２のフリッカ判別処理準備を行う。これら第１及び第２のフリッカ準備期間が経過時には、演算手段１５によって、フリッカ指標値検出期間毎にフリッカ指標値Ｉ及びフリッカ指標値Ｉに基づくパラメータＰ１及びＰ２が演算される。

例えば、演算手段１５は、３フレーム分（式(1)のｍ＝３、すなわち、フリッカ指標値検出期間は３フレーム期間）の所定の水平ラインの射影出力値（第２の積算結果）に基づいて、以下の式(2)によるフリッカ指標値Ｉを演算する。なお、式(2)において、第ｉフレームにおける第ｊラインの射影出力値Ｄ（ｉ）としており、ａｂｓは絶対値を意味する。

式(2)に示すように、射影出力値Ｄ（ｉ）の変化量の絶対値である３フレーム間のフレーム間差分の和が、フリッカ指標値Ｉとして演算される。

さらに、演算手段１５は、所定回数ｐ（ｐ≧２）のフリッカ指標値Ｉを得て、ｐ個のフリッカ指標値Ｉの積算値をパラメータＰ１、ｐ個のフリッカ指標値Ｉにおける最大値と最小値との差をパラメータＰ２として求め、パラメータＰ１及びＰ２をフリッカ検出手段２３に出力する。演算手段１５によりパラメータＰ１，Ｐ２が得られると、第１及び第２のフリッカ判別処理準備は完了する。

図３は、この実施の形態１による撮像装置における演算手段１５の内部構成を示すブロック図である。図３において、フリッカ指標値演算手段４１は、前述したように、式(2)より得られるフリッカ指標値Ｉを３フレーム毎（フリッカ指標値検出期間毎）に出力する。

記憶手段４２はフリッカ指標値演算手段４１の出力を受け、記憶手段４２〜４５は直列に接続される。記憶手段４２〜４５の出力はそれぞれ第１パラメータ演算手段４６及び第２パラメータ演算手段４７に付与される。

記憶手段４２〜４５は３フレーム周期毎に新たにフリッカ指標値Ｉを取り込むと共に、格納していたフリッカ指標値Ｉを出力する。第１パラメータ演算手段４６はフリッカ指標値演算手段４１及び記憶手段４２〜４５から出力される５個（ｐ＝５）のフリッカ指標値Ｉの合計値を求めパラメータＰ１として出力する。第２パラメータ演算手段４７はフリッカ指標値演算手段４１及び記憶手段４２〜４５から出力される５個のフリッカ指標値Ｉの最大値と最小値との差を求めパラメータＰ２として出力する。

次に演算手段１５のパラメータＰ１及びＰ２の演算処理について説明する。フリッカ指標値演算手段４１は、積算手段１１の第２の積算結果として得た３フレーム分の射影出力値Ｄ（３ｋ），Ｄ（３ｋ＋１），Ｄ（３ｋ＋２）に基づいて、３フレーム（フリッカ指標値検出期間）置きに、式(2）に従ってフリッカ指標値Ｉを演算し、出力する。なお、フリッカ指標値演算手段４１から出力される値は３フレーム毎に更新される。例えばｋ＝０の場合には、第０、第１フレーム間の射影出力値の変動量と、第１、第２フレーム間の射影出力値の変動量の合計値が演算され、ｋ＝１の場合には、第３、第４フレーム間の射影出力値の変動量と、第４、第５フレーム間の射影出力値の変動量の合計値がそれぞれ演算され、フリッカ指標値Ｉが求まる。

フリッカ指標値演算手段４１からのフリッカ指標値Ｉは、３フレーム後に更新されるまで記憶手段４２に出力され、記憶手段４２は、記憶している値を３フレーム置きに更新する。同様に、記憶手段４２からのフリッカ指標値Ｉが３フレーム後に更新されるまで記憶手段４３に出力され、記憶手段４３は、記憶している値を３フレーム置きに更新する。また、記憶手段４３からのフリッカ指標値Ｉが３フレーム後に更新されるまで記憶手段４４に出力され、記憶手段４４は、記憶している値を３フレーム置きに更新する。さらに、記憶手段４４からのフリッカ指標値が３フレーム後に更新されるまで記憶手段４５に出力され、記憶手段４５は、記憶している値を３フレーム置きに更新するとともに、記憶している値を出力する。記憶手段４５にフリッカ指標値Ｉに最初に格納されるとステップＳ２の第１のフリッカ判別準備処理は終了する。

そして、第１のフリッカ判別準備処理終了後から、新たにフリッカ指標値演算手段４１よりフリッカ指標値Ｉが出力されるフリッカ指標値検出期間（３フレーム間）経過までの期間が第２のフリッカ判別準備処理となる。

第２のフリッカ判別準備処理経過時には、フリッカ指標値演算手段４１，記憶手段４２〜４５から５個のフリッカ指標値Ｉが第１パラメータ演算手段４６及び第２パラメータ演算手段４７に出力されることになる。

その結果、第１パラメータ演算手段４６は、フリッカ指標値演算手段４１および記憶手段４２〜４５から出力されるフリッカ指標値Ｉの合計値であるパラメータＰ１を演算し、フリッカ検出手段２３に供給するとともに、第２パラメータ演算手段４７は、フリッカ指標値演算手段４１および記憶手段４２〜４５から出力されるフリッカ指標値のうちの最大値と最小値との差であるパラメータＰ２を演算し、フリッカ検出手段２３に供給する。

上述したステップＳ２，Ｓ３における演算手段１５による第１及び第２のフリッカ判定準備処理が終了すると、ステップＳ４に移行する。ステップＳ４において、フリッカ検出手段２３によって第１のフリッカ判別処理が実行される。

すなわち、パラメータＰ２が第１の閾値より大きいか否かを判別し、パラメータＰ２が第１の閾値より大きい場合（すなわち、最大値と最小値との差が比較的大きい場合）は画像に動きがあると判断しフラグＦｌａｇを立てず（仮に“０”に設定（維持）とする）、第１の閾値より小さい場合はフラグＦｌａｇを立てる（仮に“１”に設定とする）。

そして、ステップＳ５において、フラグＦｌａｇが“１”であればステップＳ６以降の第２のフリッカ判別処理に移り、フラグＦｌａｇが“０”であればステップＳ１４に移行し、ステップＳ１４でタイムアウトがチェックされなければ、ステップＳ３に戻り、第２のフリッカ判別準備処理（新たにフリッカ指標値検出期間経過）により更新されたパラメータＰ１，Ｐ２が得られるまで待機する。

このように、画像に動きがありフリッカの誤検出の可能性が高いと判断した場合は、ステップＳ６以降のフリッカの有無の判別を行わないようにすることにより、フリッカの有無の判別精度を向上させることができる。

一方、ステップＳ５でフラグＦｌａｇ＝“１”の場合に実行されるステップＳ６において、フリッカ検出手段２３によって第２のフリッカ判別処理が実行される。すなわち、パラメータＰ１が第２の閾値より大きいか否かを判別する。パラメータＰ１が第２の閾値より小さい場合はフリッカ無し（変数Ｆ＝“０”）、第２の閾値より大きい場合はフリッカ有り（変数Ｆ＝“１”）とする。

そして、ステップＳ７において変数Ｆが“０”（フリッカ無し）であれば、ステップＳ８で変数ｒを“１”インクリメントした後、ステップＳ９に移行し、ステップＳ７において変数Ｆが“１”（フリッカ有り）であれば、ステップＳ８を経由することなくステップＳ９に移行する。

ステップＳ９において、変数countを“１”インクリメントし、ステップＳ１０において、変数countが指定回数ｑ未満であれば、ステップＳ１４に以降し、ステップＳ１４でタイムアウトがチェックされなければ、ステップＳ３に戻り、第２のフリッカ判別準備処理段階で次のフリッカ指標値検出期間で検出されたフリッカ指標値を得るまで待機する。

一方、ステップＳ１０において、変数countが指定回数ｑ以上であれば、第１及び第２のフリッカ判別処理は終了し、ステップＳ１１以降の最終判定処理に移行する。

ステップＳ１１において、変数ｒが基準値ｒｍｉｎを下回っておればステップＳ１２に移行し、変数ｒが基準値ｒｍｉｎ以上であればステップＳ１３に移行する。

ステップＳ１１でｒ≧ｒｍｉｎの際に実行されるステップＳ１２において、フリッカ無しの判定を行い、現設定の光源フリッカ除去設定内容の維持を指示する制御信号を切り換え手段１７に出力した後、ステップＳ１６に移行する。

一方、ステップＳ１１でｒ＜ｒｍｉｎの際に実行されるステップＳ１３において、フリッカ有りの判定を行い、現設定の光源フリッカ除去設定と異なる方の光源フリッカ除去設定への変更を指示する制御信号（第１及び第２の選定信号のいずれを選択設定信号にするのかを指示する信号）を切り換え手段１７に出力する。その結果、現在が６０Ｈｚ用の光源フリッカ除去設定であれば５０Ｈｚ用の光源フリッカ除去設定に変更され、現在が５０Ｈｚ用の光源フリッカ除去設定であれば６０Ｈｚ用の光源フリッカ除去設定に変更される。ステップＳ１３の実行後、ステップＳ１６に移行する。このように、フリッカ検出手段２３と切り換え手段１７とによりフリッカの有無に検出結果に基づき光源フリッカ除去設定内容を切り換える光源フリッカ除去設定内容切り換え手段を構成する。

一方、ステップＳ１４でタイムアウト（フリッカ検出開始から所定時間が経過）がチェックされると、ステップＳ１５でタイムアウトの判定（フリッカの有無検出できなかった旨の判定）を行った後、ステップＳ１６に移行する。

最後に、ステップＳ１６において、フレームレートをフリッカ検出処理実行前のフレームレートに戻した後、フリッカ検出処理は終了する。すなわち、フリッカ検出手段２３はフレームレート切り換え手段２１、タイミングジェネレータ１８を介して固体撮像素子１のフレームレートをフリッカ検出処理実行前の状態に戻して、処理は終了する。

上述したフリッカ検出処理において、第１のフリッカ判別処理でパラメータＰ２が第１の閾値を下回り、第２のフリッカ判別処理でパラメータＰ１が第２の閾値を下回る場合に、フリッカ無しと判定している。そして、上述した判定をｑ（≧２）回繰り返し実行し、フリッカ無しと判別した回数を示す変数ｒが基準値ｒｍｉｎを上回ったか／否かにより、フリッカ無し／有りを判定している。この判定は、フリッカが実際に発生していなくても画像の動きでフリッカ有りと判定する可能性は少なからずあるが、フリッカが実際に発生している際に画像の動き等でフリッカ無しと判定する可能性は極めて低い傾向を考慮して行っている。すなわち、第１及び第２のフリッカ判別処理によるフリッカ無しの判別の精度は高いため、フリッカ無しの判別回数を示す変数ｒに基づくフリッカ検出精度はかなり高く、誤検出となる可能性は極めて低い。

図４はフリッカ検出処理中における光源の光量変化とフレームレートとの関係を示す説明図である。同図に示すように、（フリッカ検出用）フレーム周期の３フレーム（ｍ＝３）期間をフリッカ指標値検出期間に割り当てている。すなわち、フリッカ指標値検出期間ＴＳ１＝３×ＦＴ１（フレーム期間）、そしてフレームレート（１／ＦＴ１）を上記式(1)を満足するように選択している。

したがって、光量の周期ＴＬ１（光源の周期Ｔ１の半分）とフレーム期間ＦＴ１とは１周期毎には同期せず、光量の周期ＴＬ１とフリッカ指標値検出期間ＴＳ１とが同期する。なお、ｔ０〜ｔ１は各回のフリッカ検出開始時刻を示している。

図４に示すように、所定の条件である式(1)を満足させることにより、フリッカ検出周期（フリッカ指標値検出期間ＴＳ１）と電源周波数（ｄ）の２倍の周期（光量の周期ＴＬ１）とを同期させることにより、フリッカ検出開始時刻ｔ０〜ｔ３間において各フリッカ指標値検出期間ＴＳ１内における光量の位相は全て同一となる。その結果、各フリッカ指標値検出期間ＴＳ１の光量の位相を一致させることにより、フリッカ指標値の精度を高めるができる（第１の効果）。例えば、画像に動きがない場合、フリッカ指標値検出期間毎のフリッカ指標値は一定値となる。

加えて、式(1)を満足させることにより、フリッカ指標値検出期間ＴＳ１内の各フレームは少なくとも１周期毎には、電源周波数の２倍の周波数に対応する周期（光量の周期）と同期しないようにしており、各回のフリッカ指標値検出期間内でのフレーム間差分はすべて異なる位相間の射影出力値の差として得られるため、相前後するフレーム間において同じ位相間の射影出力値の差をとることによりフリッカ成分が打ち消されたフレーム間差分が得られるという不具合を確実に回避することができ、フリッカ指標値の精度向上を図ることができる（第２の効果）。

図５は、実施の形態１のフリッカ検出処理の効果を示す説明図である。以下、同図を参照して、上述したフリッカ指標値の精度向上効果について説明する。

現在が５０Ｈｚ用の光源フリッカ除去設定なされており、実際に光源周波数も５０Ｈｚである場合、同図の(a) に示すように、フレームレートに関係なく、画面３０にはフリッカは発生しない。

一方、現在が５０Ｈｚ用の光源フリッカ除去設定なされており、実際の光源周波数は６０Ｈｚである場合、同図の(b) に示すように、画面３０には横縞３１が発生するというフリッカ現象が生じる。このとき、ｍ＝３のとき、フリッカ指標値検出期間ＴＳ１中に３フレームＦ１〜Ｆ３それぞれは互いに光量の位相が異なっているため、横縞３１の発生位置がフレーム間で確実に異なる。したがって、上述したように、各回のフリッカ指標値検出期間内でのフレーム間差分はすべて異なる位相間の射影出力値の差として得られるため、フリッカ指標値の精度向上を図るという上記第２の効果を奏する。

また、フリッカ指標値検出期間（３フレーム周期）毎に光源周波数×２の周期（光量の周期）と同期するため、フレームＦ３後のフレームの位相はフレームＦ１の位相に確実に一致する。すなわち、フリッカ指標値検出期間毎にフレームＦ１〜Ｆ３の位相が繰り返されることになる。したがって、上述したように、各フリッカ指標値検出期間内における光量の位相は全て同一となるため、フリッカ指標値の精度を高めるができるという上記第１の効果を奏する。

＜実施の形態２＞
実施の形態１では、電源周波数の２倍の周波数対応する周期（光量の周期）とフリッカ検出周期とを同期させた。これは、通常、電源周波数の１周期内に光量について２つの同レベルのピークができることに考慮したものである。しかしながら、光源によっては電源周期内に位相の異なる２つのピーク値が存在し、結果的に光量の周期が光源の周期と一致する場合がある。このような性質の光源に対しては電源周期（光源の周期＝光量の周期）とフリッカ検出周期とを一致させた方が望ましい。

実施の形態２は、電源周期とフリッカ検出周期とを一致させてフリッカ検出処理を行う撮像装置である。なお、実施の形態２の撮像装置の全体構成は図１で示した構成と同様であり、フリッカ検出手段２３のフレームレート切り換え手段２１へのフレームレート指示内容が実施の形態１と異なる程度である。

以下、実施の形態２におけるフリッカ検出方法の所定手順のうち、実施の形態１と異なる点について述べる。

図２のステップＳ１におけるフレームレート設定は以下のように行われる。フリッカ検出周期がｍフレーム単位、フリッカを出す電源周波数をｄ（Ｈｚ）、フレームレートをａ（ｆｐｓ）とすると、以下の式(3)（所定の条件）を満足するフレームレートａを求める。なお、ステップＳ２以降の処理は、実施の形態１と同様に行われる。なお、式(3)において、ｎ，ｍは整数であり、互いに非整数倍となる関係（一方が他方で割り切れない関係）である。

図６は実施の形態２のフリッカ検出処理中における光源の光量変化とフレームレートとの関係を示す説明図である。同図に示すように、（フリッカ検出用）フレーム周期の３フレーム（ｍ＝３）期間をフリッカ指標値検出期間に割り当てている。すなわち、フリッカ指標値検出期間ＴＳ２＝３×ＦＴ２（フレーム期間）、そしてフレームレート（１／ＦＴ２）を上記式(3)を満足するように選択している。

したがって、フレーム期間ＦＴ２と光源の周期Ｔ２とは１周期毎には同期せず、フリッカ指標値検出期間ＴＳ２と光源の周期Ｔ２とが同期する。なお、ｔ１０〜ｔ１２は各回のフリッカ検出開始時刻を示している。

図６に示すように、所定の条件である式(3)を満足すべく、フリッカ検出周期（フリッカ指標値検出期間ＴＳ２）と電源周波数（ｄ）の周期（光源の周期Ｔ２）とを同期させることにより、フリッカ検出開始時刻ｔ１０〜ｔ１２間において各フリッカ指標値検出期間ＴＳ２内における光源の位相は全て同一となる。その結果、フリッカ指標値検出期間ＴＳ２それぞれの光源の位相を一致させることにより、フリッカ指標値の精度を高めるができる。例えば、画像に動きがない場合、フリッカ指標値検出期間毎のフリッカ指標値は一定値となる。

加えて、式(3)を満足すべく、フリッカ指標値検出期間ＴＳ２内の各フレームは電源周波数の周期と少なくとも１周期毎には同期しないようにしており、各回のフリッカ指標値検出期間内でのフレーム間差分はすべて異なる位相間の射影出力値の差として得られるため、相前後するフレーム間において同じ位相間の射影出力値の差をとることによりフリッカ成分が打ち消されてフレーム間差分が得られるという不具合を確実に回避することができ、フリッカ指標値の精度向上を図ることができる。

このように、実施の形態２は、実施の形態１と同様の効果に加え、電源周期内に位相の異なる２つのピーク値が存在する場合でも精度の良いフリッカ指標値を得ることができる。

この発明の実施の形態１であるの撮像装置の構成を示すブロック図である。実施の形態１におけるフリッカ検出方法の処理手順を示すフローチャートである。図１の演算手段(15)の内部構成を示すブロック図である。フリッカ検出処理中における光源の光量変化とフレームレートとの関係を示す説明図である。実施の形態１のフリッカ検出処理の効果を示す説明図である。実施の形態２のフリッカ検出処理中における光源の光量変化とフレームレートとの関係を示す説明図である。

符号の説明

１固体撮像素子、２ＣＤＳ回路、３増幅器、４Ａ／Ｄ演算器、６自動レベル調整部、７フリッカ検出部、１１積算手段、１２，１５演算手段、１３第１の撮像パラメータ設定手段、１４第２の撮像パラメータ設定手段、１７切り換え手段、１８タイミングジェネレータ、２１フレームレート切り換え手段、２２フリッカ検出開始手段、２３フリッカ検出手段。

Claims

複数の光源のうち所定の光源の周波数に対応して光源フリッカ除去設定がなされるフリッカ除去機能を有する撮像装置であって、
画素毎に異なるタイミングで光電変換を実行して画像信号を生成する固体撮像素子と、
前記画像信号に関連した信号に基づきフリッカの有無を検出するフリッカ検出部とを備え、
前記フリッカ検出部は、
フリッカ検出処理時に、前記固体撮像素子のフレーム周期を所定の条件を満足するように設定するフレーム周期設定手段と、
フリッカ検出処理時に、前記画像信号に関連した信号に基づき、ｍ（ｍは２以上の整数）フレームより構成され、前記所定の条件を満足するフリッカ指標値検出期間毎に各フレームにおける所定箇所の複数の画素値の積算値のｍフレーム間における差分より得られるフリッカ指標値を順次演算し、複数の前記フリッカ指標値に基づくフリッカ指標パラメータを得るフリッカ指標パラメータ演算手段と、
前記フリッカ指標パラメータに基づき、フリッカの有無を検出し、フリッカ有りと検出した場合に、前記光源フリッカ除去設定内容を切り換える光源フリッカ除去設定内容切り換え手段とを備え、
前記所定の条件は、前記複数の光源のうち前記光源フリッカ除去設定の対象となっていない一の光源であるフリッカ検出用光源に関し、前記フレーム周期は少なくとも１周期毎には前記フリッカ検出用光源の光量の周期とは同期せず、かつ、前記フリッカ指標値検出期間は１周期毎に前記フリッカ検出用光源の光量の周期と同期する条件を含む、
撮像装置。
請求項１記載の撮像装置であって、
前記フリッカ検出用光源の光量の周期は前記フリッカ検出用光源の周期の半分の周期を含む、
撮像装置。
請求項１記載の撮像装置であって、
前記フリッカ検出用光源の光量の周期は前記フリッカ検出用光源の周期自体を含む、
撮像装置。
画素毎に異なるタイミングで光電変換を実行して画像信号を生成する固体撮像素子を有し、複数の光源のうち所定の光源の周波数に対応して光源フリッカ除去設定がなされるフリッカ除去機能を有する撮像装置におけるフリッカの有無を検出する方法であって、
(a) 前記複数の光源のうち、前記光源フリッカ除去設定の対象となっていない一の光源をフリッカ検出用光源とし、該フリッカ検出用光源における光量の周期に関し、少なくとも１周期毎には前記フリッカ検出用光源の光量の周期とは同期しないフレーム周期と、前記フレーム周期のｍ（ｍは２以上の整数）倍の周期を有し１周期毎に前記フリッカ検出用光源の光量の周期と同期するフリッカ指標値検出期間とを設定するステップと、
(b) 前記画像信号に関連した信号に基づき、前記フリッカ指標値検出期間毎に各フレームにおける所定箇所の複数の画素値の積算値に基づくｍフレーム間における差分より得られるフリッカ指標値を順次演算し、複数の前記フリッカ指標値に基づくフリッカ指標パラメータを得るステップと、
(c) 前記フリッカ指標パラメータに基づき、フリッカ判別処理を実行しフリッカの有無を検出するステップと、
を備えるフリッカ検出方法。
請求項４記載のフリッカ検出方法であって、
前記フリッカ指標パラメータは前記複数のフリッカ指標値の合計値を示す第１のパラメータと、前記複数のフリッカ指標値における最大値と最小値との差を示す第２のパラメータとを含み、
前記フリッカ判別処理は第１及び第２のフリッカ判別処理を含み、
前記ステップ(c) は、
(c-1) 前記第１のフリッカ判別処理を実行し、前記第２のパラメータに基づき前記第２のフリッカ判別処理を行うか否かを判断するステップと、
(c-2) 前記ステップ(c-1)が前記第２のフリッカ判別処理を行う旨の判断を行った場合、前記第２のフリッカ判別処理を実行し、前記第１のパラメータに基づきフリッカの有無を判別するステップと、
(c-3) 前記第１及び第２のパラメータが更新されるごとに、前記ステップ(c-1)，(c-2)を所定回数繰り返し、前記第２のフリッカ判別処理の実行回数に対する前記フリッカの有無の判別割合に基づき、最終的にフリッカの有無を決定するステップと、
を含む、
フリッカ検出方法。