以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。
図1に示すデジタルカメラの撮像系は、撮像光学系(撮像レンズ1と絞り2とを含む)と撮像素子5とを備える。
撮像素子5は、光を電気信号に変換する二次元状に配列された複数の画素を有し、この複数の画素で被写体を撮像するものである。画素は、フォトダイオードや有機光電変換膜を用いた光電変換素子を含む。
撮像素子5は、XYアドレス指定により任意の画素から信号を読み出し可能なMOS(Metal−Oxide Semiconductor)型の撮像素子としている。ここでは撮像素子5をMOS型としているが、CCD(Charge Coupled Device)型の撮像素子を用いてもよい。
デジタルカメラの電気制御系全体を統括制御するシステム制御部11は、発光部12及び受光部13を制御する。また、システム制御部11は、レンズ駆動部8を制御して撮像レンズ1に含まれるフォーカスレンズ等の位置を調整する。更に、システム制御部11は、絞り駆動部9を介して絞り2の開口量を制御することにより、露光量の調整を行う。
また、システム制御部11は、撮像素子駆動部10を介して撮像素子5を駆動し、撮像レンズ1を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部11には、操作部14を通してユーザから指示信号が入力される。撮像画像信号は、X方向とこれに直交するY方向に二次元状に配列された複数の画素信号からなる。
撮像素子駆動部10は、撮像素子5をローリングシャッタ方式で駆動する。ローリングシャッタ方式とは、MOS型の撮像素子において、垂直方向に並ぶ1つ以上の走査ライン(水平方向に並ぶ複数の画素からなるライン)毎に順次露光動作を行う方式である。
つまり、ローリングシャッタ方式は、走査ライン毎に順次リセットを行って、走査ラインに含まれる各画素に電荷を蓄積させ、走査ライン毎に信号読出しを行って、この各画素に蓄積された電荷を順次読み出す方式である(フォーカルプレーンシャッター方式とも言う)。
なお、撮像素子5の駆動方式は特に限定されない。例えば、撮像素子5を、全画素の露光を同時に開始し同時に終了するグローバルシャッタ方式で駆動してもよい。
後述するフリッカ検出動作時において、撮像素子駆動部10は、システム制御部11によって設定された第一のフレームレートと第一のフレームレートとは異なる第二のフレームレートで撮像素子5により交互に撮像を行わせる。
フレームレートとは、単位時間あたりにいくつのフレーム(撮像画像信号)を撮像素子5から出力させるかを示す値である。
フレームレートが例えば120フレーム/秒(frame per second:fps)であれば、撮像素子5を駆動するために用いる垂直同期信号は、その立ち下がりから次の立ち下がりまでの期間(以下、フレーム期間という)が1/120秒になる。
第一のフレームレートと第二のフレームレートの各々は、第一のフレームレートにしたがった第一のフレーム期間の長さと、第二のフレームレートにしたがった第二のフレーム期間の長さの合計値が、第一の周波数(100Hz)の逆数(50Hzフリッカの周期と同義)を自然数倍した値(例えば、1/100秒や1/50秒)、又は、第二の周波数(120Hz)の逆数(60Hzフリッカの周期と同義)を自然数倍した値(例えば、1/120秒や1/60秒)となるように、任意の値が設定される。
本明細書において自然数には、多少の公差を含んでもよい。例えば、自然数=2とは、2だけに限らず、1.95〜2.05の範囲を含んでいてもよい。
例えば、第一のフレームレートを85.7fpsにし、第二のフレームレートを120fpsにすると、第一のフレームレートにしたがった第一のフレーム期間の長さは1/85.7秒となり、第二のフレームレートにしたがった第二のフレーム期間の長さは1/120秒になる。
そして、1/85.7秒と1/120秒の合計値は約1/50秒となる。したがって、上述した条件を満たすことになる。
また、例えば、第一のフレームレートを105fpsにし、第二のフレームレートを140fpsにすると、第一のフレームレートにしたがった第一のフレーム期間の長さは1/105秒となり、第二のフレームレートにしたがった第二のフレーム期間の長さは1/140秒になる。
そして、1/105秒と1/140秒の合計値は1/60秒となる。したがって、上述した条件を満たすことになる。
撮像素子駆動部10は、フリッカ検出が終了すると、その検出結果に応じて、所定のフレームレート又は所定のシャッタスピードで撮像素子5を駆動する。
例えば、Lを自然数として、撮像素子駆動部10は、50Hzフリッカが検出された場合は、フレームレートを100fpsの(1/L)倍とし、シャッタスピードを任意の値とした第一の駆動条件で撮像素子5を駆動する。
又は、撮像素子駆動部10は、50Hzフリッカが検出された場合は、フレームレートを任意の値とし、シャッタスピードを1/100秒のL倍とした第二の駆動条件で撮像素子5を駆動する。
第一の駆動条件と第二の駆動条件は、50Hzフリッカによる画質劣化(具体的には横縞状のむら)を防止する駆動条件である。
また、撮像素子駆動部10は、60Hzフリッカが検出された場合は、フレームレートを120fpsの(1/L)倍とし、シャッタスピードを任意の値とした第三の駆動条件で撮像素子5を駆動する。
又は、撮像素子駆動部10は、60Hzフリッカが検出された場合は、フレームレートを任意の値とし、シャッタスピードを1/120秒のL倍とした第四の駆動条件で撮像素子5を駆動する。
第三の駆動条件と第四の駆動条件は、60Hzフリッカによる画質劣化を(具体的には横縞状のむら)防止する駆動条件である。
撮像素子駆動部10は、フリッカが検出されないときは、フレームレートを任意の値とし、シャッタスピードを任意の値とした駆動条件で撮像素子5を駆動する。
図2は、撮像素子5のフリッカ検出処理後の動作を説明するためのタイミングチャートである。図2において、符号RSは、撮像素子5の画素のリセットを行うためのリセット信号を示す。図2において、符号REは、撮像素子5の画素から信号読出しを行うための読出し信号を示す。
本実施形態では、撮像素子5の水平方向に並ぶ複数の画素からなる走査ライン毎に、リセット信号及び読出し信号を独立して供給できるようになっている。
図2の例では、撮像素子5の垂直同期信号が立ち下がる時点より露光時間Tx前のタイミングになると、撮像素子5に対し、複数の画素が配置されるエリアの上にある走査ラインから下方向に向かって順番にリセット信号RSの供給が行われていく。
リセット信号RSの供給開始から露光時間Tx経過して撮像素子5の垂直同期信号が立ち下がると、撮像素子5に対し、複数の画素が配置されるエリアの上にある走査ラインから下方向に向かって順番に読出し信号REの供給が行われていく。以上の動作が繰り返し行われる。
このような駆動によって、各画素の露光時間は露光時間Txに制御される。この露光時間Txが上述したシャッタスピードに相当する。
デジタルカメラの電気制御系は、更に、撮像素子5の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部6と、アナログ信号処理部6から出力されるアナログ信号をデジタル信号に変換するアナログデジタル変換回路7とを備える。アナログ信号処理部6及びアナログデジタル変換回路7は、システム制御部11によって制御される。
更に、このデジタルカメラの電気制御系は、メインメモリ16と、メインメモリ16に接続されたメモリ制御部15と、アナログデジタル変換回路7から出力される撮像画像信号に対し、補間演算、ガンマ補正演算、及び色変換処理等を行って撮像画像データを生成するデジタル信号処理部17と、デジタル信号処理部17で生成された撮像画像データをJPEG(Joint Photographic Experts Group)形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部18と、フリッカ検出部20と、着脱自在の記録媒体22が接続される外部メモリ制御部21と、カメラ背面等に搭載された表示部24が接続される表示制御部23と、を備えている。
メモリ制御部15、デジタル信号処理部17、圧縮伸張処理部18、フリッカ検出部20、外部メモリ制御部21、及び表示制御部23は、制御バス25及びデータバス26によって相互に接続され、システム制御部11からの指令によって動作する。
フリッカ検出部20は、第一のフレームレートによる撮像で得られる第一の撮像画像信号と、第二のフレームレートによる撮像で得られる第二の撮像画像信号とに基づいて、50Hzフリッカの有無及び60Hzフリッカの有無を検出する。
より具体的には、フリッカ検出部20は、第一の撮像画像信号の組又は第二の撮像画像信号の組の第一の一致度と、第一のフレームレートによる撮像で得られる第一の撮像画像信号と、この撮像に続く第二のフレームレートによる撮像で得られる第二の撮像画像信号との第二の一致度と、に基づいて、50Hzフリッカの有無及び60Hzフリッカの有無を検出する。
任意のフレームレートによる撮像とは、そのフレームレートにしたがったフレーム期間で行われる撮像のことを言う。
以下、図1のデジタルカメラのフリッカ検出動作についてフローチャートを参照して説明する。
図3は、図1のデジタルカメラのフリッカ検出動作の第一の例を説明するためのフローチャートである。図3の処理は、例えば、一定間隔で実施されたり、撮像シーンが大きく変化した場合(例えば輝度が大きく変動した場合)に実施されたりする。
この第一の例は、第一のフレームレートと第二のフレームレートの各々を、第一のフレームレートにしたがった第一のフレーム期間の長さと、第二のフレームレートにしたがった第二のフレーム期間の長さの合計値が、第一の周波数(100Hz)の逆数を自然数(=2)倍した値である1/50秒になるように設定した例である。具体的には、第一のフレームレートを85.7fpsにし、第二のフレームレートを120fpsに設定している。
フリッカ検出動作を開始すると、システム制御部11は、第一のフレームレートを85.7fpsとし、第二のフレームレートを120fpsとして、撮像素子5を、120fpsのフレームレートと85.7fpsのフレームレートとで交互に駆動させる(ステップS1)。
図4は、ステップS1で開始される駆動のタイミングチャートを示す図である。図4には、60Hzの電源で動作する蛍光灯の輝度変化と、50Hzの電源で動作する蛍光灯の輝度変化とをタイミングチャートと併せて図示している。
図4に示すように、ステップS1の処理により、撮像素子5は、1/120秒のフレーム期間T2と、1/85.7秒のフレーム期間T1とで交互に駆動される。
なお、各フレーム期間における露光時間(シャッタスピード)は、撮像素子5から出力される撮像画像信号に基づいて決定された適正露出にしたがった値が設定される。
図4において、最初のフレーム期間T2の撮像(読出し信号REによる画素からの信号読み出し)で得られる撮像画像信号を撮像画像信号(1)とする。図4において、最初のフレーム期間T2に続くフレーム期間T1の撮像で得られる撮像画像信号を撮像画像信号(2)とする。
図4において、最初のフレーム期間T1に続くフレーム期間T2の撮像で得られる撮像画像信号を撮像画像信号(3)とする。図4において、2番目のフレーム期間T2に続くフレーム期間T1の撮像で得られる撮像画像信号を撮像画像信号(4)とする。
図3の説明に戻り、ステップS1の後、フリッカ検出部20は、第二のフレームレートでの撮像により得られる撮像画像信号の組(図4の(1)と(3))又は第一のフレームレートでの撮像により得られる撮像画像信号の組(図4の(2)と(4))の第一の一致度が、閾値TH1以下となるか否かを判定する(ステップS2)。
フリッカ検出部20は、一致度の判定対象となる2つの撮像画像信号の各々を、走査ラインの並ぶ方向に複数ブロックに分割し、各ブロックの画素信号の輝度平均(又は彩度平均)を算出する。そして、同一ブロック同士で輝度平均(彩度平均)の差を算出し、この差の平均値を、この2つの撮像画像信号の一致度とする。
一致度については、2つの撮像画像信号がほぼ同じものであるかを判定できる指標であればよく、この例に限定されるものではない。
撮像画像信号(1)と撮像画像信号(3)は、フレーム期間T2の長さとフレーム期間T1の長さの合計値である約1/50秒間隔で取得されたものである。この合計値は、1/120秒の自然数倍以外の値になっている。
このため、60Hzフリッカが発生している場合には、撮像画像信号(1)と撮像画像信号(3)は大きく異なることになり、第一の一致度は閾値TH1以下となる。また、50Hzフリッカが発生している場合には、上記の合計値が1/100秒の自然数倍になっているため、撮像画像信号(1)と撮像画像信号(3)はほぼ同じになり、第一の一致度は閾値TH1を超える。
同様に、撮像画像信号(2)と撮像画像信号(4)は、フレーム期間T1の長さとフレーム期間T2の長さの合計値である約1/50秒間隔で取得されたものである。この合計値は、1/120秒の自然数倍以外の値になる。
このため、60Hzフリッカが発生している場合には、撮像画像信号(2)と撮像画像信号(4)は大きく異なることになり、第一の一致度は閾値TH1以下となる。また、50Hzフリッカが発生している場合には、上記の合計値が1/100秒の自然数倍になっているため、撮像画像信号(2)と撮像画像信号(4)はほぼ同じになり、第一の一致度は閾値TH1を超える。
したがって、フリッカ検出部20は、ステップS2の判定がYESであれば、60Hzフリッカがあることを検出する(ステップS3)。
ステップS3の後、システム制御部11は、フレームレートを120fpsの1/L倍に設定し、シャッタスピードを適正露出にしたがった任意の値に設定する。又は、システム制御部11は、フレームレートを任意の値に設定し、シャッタスピードを1/120秒のL倍に設定する(ステップS4)。
そして、システム制御部11は、この設定条件で撮像素子駆動部10に撮像素子5を駆動させて処理を終了する。
ステップS2の判定がNOとなるのは、50Hzフリッカが発生している状態と、フリッカが発生していない状態とのいずれかである。
したがって、ステップS2の判定がNOのとき、フリッカ検出部20は、50Hzフリッカが発生している状態と、フリッカが発生していな状態とのどちらの状態であるかを判定する。
具体的には、ステップS5において、フリッカ検出部20は、85.7fpsのフレーム期間T1と、このフレーム期間T1に続く120fpsのフレーム期間T2で得た2つの撮像画像信号(図4の(2)と(3))の第二の一致度、又は、120fpsのフレーム期間T2と、このフレーム期間T2に続く85.7fpsのフレーム期間T1とで得た2つの撮像画像信号(図4の(3)と(4))の第二の一致度が閾値TH2以下となるか否かを判定する。
撮像画像信号(2)と撮像画像信号(3)は、フレーム期間T1の長さである1/85.7秒間隔で取得されたものである。
第一の例では、フレーム期間T1とフレーム期間T2とで長さが異なっており、かつ、フレーム期間T1とフレーム期間T2の長さの合計値が1/100秒の自然数倍になっている。このため、フレーム期間T1の長さは、必然的に1/100秒の自然数倍以外の値となる。
このため、50Hzフリッカが発生している場合には、撮像画像信号(2)と撮像画像信号(3)は大きく異なることになり、第二の一致度は閾値TH2以下となる。
また、撮像画像信号(3)と撮像画像信号(4)は、フレーム期間T2の長さである1/120秒間隔で取得されたものである。
第一の例では、フレーム期間T1とフレーム期間T2とで長さが異なっており、かつ、フレーム期間T1とフレーム期間T2の長さの合計値が1/100秒の自然数倍になっている。このため、このフレーム期間T2の長さも、必然的に1/100秒の自然数倍以外の値となっている。
このため、50Hzフリッカが発生している場合には、撮像画像信号(3)と撮像画像信号(4)は大きく異なることになり、第二の一致度は閾値TH2以下となる。
したがって、ステップS5の判定がYESのとき、フリッカ検出部20は、50Hzフリッカが発生していることを検出する(ステップS6)。また、ステップS5の判定がNOのとき、フリッカ検出部20は、フリッカが発生していないことを検出する(ステップS8)。
ステップS6の後、システム制御部11は、フレームレートを100fpsの1/L倍に設定し、シャッタスピードを適正露出にしたがった任意の値に設定する。又は、システム制御部11は、フレームレートを任意の値に設定し、シャッタスピードを1/100秒のL倍に設定する(ステップS7)。
そして、システム制御部11は、この設定条件で撮像素子駆動部10に撮像素子5を駆動させて処理を終了する。
以上のように、図1のデジタルカメラによれば、フレーム期間T1又はフレーム期間T2で得た撮像画像信号の組の第一の一致度と、隣接するフレーム期間T1及びフレーム期間T2で得た撮像画像信号の組の第二の一致度と、に基づいて50Hzフリッカ及び60Hzフリッカの有無を検出することができる。
この結果、露光時間をかえなくとも、フレームレートを切り替えるだけの簡易な処理によって、異なる周波数の光源のフリッカを区別して検出することができる。したがって、検出したフリッカの周波数に応じて、このフリッカによる画質劣化を防止する駆動を行うことが可能となり、撮像品質を向上させることができる。
また、図1のデジタルカメラによれば、撮像素子5の垂直同期信号の2周期が1/100秒の自然数倍となる。このため、表示部24の表示フレームレートが100fpsを自然数で除算した値に設定されていれば、表示フレームレートを固定にしたまま図3の処理が可能となる。このため、ライブビュー画像を表示している場合でも、その表示品質に影響を与えずにフリッカ検出が可能となる。
図5は、図1のデジタルカメラのフリッカ検出動作の第二の例を説明するためのタイミングチャートである。
この第二の例では、第一のフレームレートと第二のフレームレートの各々を、第一のフレームレートにしたがった第一のフレーム期間の長さと、第二のフレームレートにしたがった第二のフレーム期間の長さの合計値が、第一の周波数(100Hz)の逆数を自然数(=2)倍した1/50秒となるように設定することに加えて、第一のフレームレートを第二の周波数(120Hz)を自然数で除算した値以外の値に設定している。具体的には、第一の例と同じで、第一のフレームレートを85.7fpsにし、第二のフレームレートを120fpsに設定している。
フリッカ検出動作を開始すると、システム制御部11は、第一のフレームレートを85.7fpsとし、第二のフレームレートを120fpsとして、撮像素子5を、85.7fpsのフレームレートと120fpsのフレームレートとで交互に駆動させる(ステップS10)。
次に、フリッカ検出部20は、85.7fpsのフレーム期間T1と、このフレーム期間T1に続く120fpsのフレーム期間T2で得た2つの撮像画像信号(図4の(2)と(3))の第二の一致度が閾値TH2を超えるか否かを判定する(ステップS11)。
撮像画像信号(2)と撮像画像信号(3)は、フレーム期間T1の長さである1/85.7秒間隔で取得されたものである。また、第二の例において、このフレーム期間T1の長さは、1/100秒の自然数倍以外の値かつ1/120秒の自然数倍以外の値となっている。
このため、50Hzフリッカと60Hzフリッカのいずれかが発生している場合には、撮像画像信号(2)と撮像画像信号(3)は大きく異なることになり、第二の一致度は閾値TH2以下となる。つまり、フリッカが発生していない場合にのみ、撮像画像信号(2)と撮像画像信号(3)はほぼ同じとなり、第二の一致度は閾値TH2を超える。
したがって、ステップS11の判定がYESのとき、フリッカ検出部20は、フリッカがないことを検出し(ステップS12)、処理を終了する。
ステップS11の判定がNOのとき、フリッカ検出部20は、120fpsのフレーム期間T2で得た撮像画像信号の組(図4の(1)と(3))、又は、85.7fpsのフレーム期間T1で得た撮像画像信号の組(図4の(2)と(4))、の第一の一致度が閾値TH1以下となるか否かを判定する(ステップS13)。
撮像画像信号(1)と撮像画像信号(3)は、約1/50秒間隔で取得されたものである。このため、60Hzフリッカが発生している場合には、撮像画像信号(1)と撮像画像信号(3)は大きく異なることになり、第一の一致度は閾値TH1以下となる。
一方、50Hzフリッカが発生している場合には、撮像画像信号(1)と撮像画像信号(3)はほぼ同じになり、第一の一致度は閾値TH1を超える。
同様に、撮像画像信号(2)と撮像画像信号(4)は、約1/50秒間隔で取得されたものである。このため、60Hzフリッカが発生している場合には、撮像画像信号(2)と撮像画像信号(4)は大きく異なることになり、第一の一致度は閾値TH1以下となる。
一方、50Hzフリッカが発生している場合には、撮像画像信号(2)と撮像画像信号(4)はほぼ同じになり、第一の一致度は閾値TH1を超える。
したがって、フリッカ検出部20は、ステップS13の判定がYESの場合に60Hzフリッカがあることを検出する(ステップS14)。また、フリッカ検出部20は、ステップS13の判定がNOのときは、50Hzフリッカがあることを検出する(ステップS16)。
ステップS14の後、システム制御部11は、フレームレートを120fpsの1/L倍に設定し、シャッタスピードを適正露出にしたがった任意の値に設定する。又は、システム制御部11は、フレームレートを任意の値に設定し、シャッタスピードを1/120秒のL倍に設定する(ステップS15)。
ステップS16の後、システム制御部11は、フレームレートを100fpsの1/L倍に設定し、シャッタスピードを適正露出にしたがった任意の値に設定する。又は、システム制御部11は、フレームレートを任意の値に設定し、シャッタスピードを1/100秒のL倍に設定する(ステップS17)。
以上のように、第二の例では、フリッカ検出部20が、フレーム期間T1と、このフレーム期間T1に続くフレーム期間T2で得た2つの撮像画像信号(図4の(2)と(3))の第二の一致度を判定してフリッカの有無を判定する。
そして、フリッカがあると判定した場合、フリッカ検出部20は、フレーム期間T1又はフレーム期間T2で得た撮像画像信号の組の第一の一致度に基づいて、50Hzフリッカと60Hzフリッカのどちらが発生しているかを検出する。
第二の例によれば、フリッカが無いときには一致度の判定を1回で済ますことができる。デジタルカメラの使用シーンにおいては、フリッカが発生しない状況は多いと考えられるため、図5の処理フローを採用することで、処理量を削減することができる。
図6は、図1のデジタルカメラのフリッカ検出動作の第三の例を説明するためのタイミングチャートである。
この第三の例では、第一のフレームレートと第二のフレームレートの各々を、第一のフレームレートにしたがった第一のフレーム期間の長さと、第二のフレームレートにしたがった第二のフレーム期間の長さの合計値が、第二の周波数(120Hz)の逆数を自然数倍した1/60秒となるように設定している。具体的には、第一のフレームレートを105fpsに設定し、第二のフレームレートを140fpsに設定している。
フリッカ検出動作を開始すると、システム制御部11は、第一のフレームレートを105fpsとし、第二のフレームレートを140fpsとし、撮像素子5を、105fpsのフレームレートと140fpsのフレームレートとで交互に駆動させる(ステップS20)。
図7は、ステップS20で開始される駆動のタイミングチャートを示す図である。図7には、60Hzの電源で動作する蛍光灯の輝度変化と、50Hzの電源で動作する蛍光灯の輝度変化とをタイミングチャートと併せて図示している。
図7に示すように、ステップS20の処理により、撮像素子5は、1/140秒のフレーム期間T2と、1/105秒のフレーム期間T1とで交互に駆動される。
なお、各フレーム期間における露光時間(シャッタスピード)は、撮像素子5から出力される撮像画像信号に基づいて決定された適正露出にしたがった値が設定される。
図7において、最初のフレーム期間T2の撮像で得られる撮像画像信号を撮像画像信号(5)とする。図7において、最初のフレーム期間T2に続くフレーム期間T1の撮像で得られる撮像画像信号を撮像画像信号(6)とする。
図7において、最初のフレーム期間T1に続くフレーム期間T2の撮像で得られる撮像画像信号を撮像画像信号(7)とする。図7において、2番目のフレーム期間T2に続くフレーム期間T1の撮像で得られる撮像画像信号を撮像画像信号(8)とする。
図6の説明に戻り、ステップS20の後、フリッカ検出部20は、第二のフレームレートでの撮像により得られる撮像画像信号の組(図7の(5)と(7))又は第一のフレームレートでの撮像により得られる撮像画像信号の組(図7の(6)と(8))の第一の一致度が、閾値TH1以下となるか否かを判定する(ステップS21)。
撮像画像信号(5)と撮像画像信号(7)は、フレーム期間T2の長さとフレーム期間T1の長さの合計値である1/60秒間隔で取得されたものである。この合計値は、1/120秒の自然数倍の値になっている。
このため、50Hzフリッカが発生している場合には、撮像画像信号(5)と撮像画像信号(7)は大きく異なることになり、第一の一致度は閾値TH1以下となる。また、60Hzフリッカが発生している場合には、上記の合計値が1/120秒の自然数倍になっているため、撮像画像信号(5)と撮像画像信号(7)はほぼ同じになり、第一の一致度は閾値TH1を超える。
同様に、撮像画像信号(6)と撮像画像信号(8)は、フレーム期間T1の長さとフレーム期間T2の長さの合計値である1/60秒間隔で取得されたものである。この合計値は、1/120秒の自然数倍の値になる。
このため、50Hzフリッカが発生している場合には、撮像画像信号(6)と撮像画像信号(8)は大きく異なることになり、第一の一致度は閾値TH1以下となる。また、60Hzフリッカが発生している場合には、上記の合計値が1/120秒の自然数倍になっているため、撮像画像信号(6)と撮像画像信号(8)はほぼ同じになり、第一の一致度は閾値TH1を超える。
したがって、フリッカ検出部20は、ステップS21の判定がYESであれば、50Hzフリッカがあることを検出する(ステップS22)。
ステップS22の後、システム制御部11は、フレームレートを100fpsの1/L倍に設定し、シャッタスピードを適正露出にしたがった任意の値に設定する。又は、システム制御部11は、フレームレートを任意の値に設定し、シャッタスピードを1/100秒のL倍に設定する(ステップS23)。
そして、システム制御部11は、この設定条件で撮像素子駆動部10に撮像素子5を駆動させて処理を終了する。
ステップS21の判定がNOとなるのは、60Hzフリッカが発生している状態と、フリッカが発生していない状態とのいずれかである。
したがって、ステップS21の判定がNOのとき、フリッカ検出部20は、60Hzフリッカが発生している状態と、フリッカが発生していな状態とのどちらの状態であるかを判定する。
具体的には、ステップS24において、フリッカ検出部20は、140fpsのフレーム期間T2と、このフレーム期間T2に続く105fpsのフレーム期間T1とで得た2つの撮像画像信号(図7の(5)と(6))の第二の一致度、又は、105fpsのフレーム期間T1と、このフレーム期間T1に続く140fpsのフレーム期間T2で得た2つの撮像画像信号(図7の(6)と(7))の第二の一致度、が閾値TH2以下となるか否かを判定する。
撮像画像信号(5)と撮像画像信号(6)は、フレーム期間T2の長さである1/140秒間隔で取得されたものである。
第三の例では、フレーム期間T1とフレーム期間T2とで長さが異なっており、かつ、フレーム期間T1とフレーム期間T2の長さの合計値が1/120秒の自然数倍になっている。このため、このフレーム期間T2の長さも、必然的に1/120秒の自然数倍以外の値となっている。
このため、60Hzフリッカが発生している場合には、撮像画像信号(5)と撮像画像信号(6)は大きく異なることになり、第二の一致度は閾値TH2以下となる。
撮像画像信号(6)と撮像画像信号(7)は、フレーム期間T1の長さである1/105秒間隔で取得されたものである。
第三の例では、フレーム期間T1とフレーム期間T2とで長さが異なっており、かつ、フレーム期間T1とフレーム期間T2の長さの合計値が1/120秒の自然数倍になっている。このため、フレーム期間T1の長さは、必然的に1/120秒の自然数倍以外の値となる。
このため、60Hzフリッカが発生している場合には、撮像画像信号(6)と撮像画像信号(7)は大きく異なることになり、第二の一致度は閾値TH2以下となる。
したがって、ステップS24の判定がYESのとき、フリッカ検出部20は、60Hzフリッカが発生していることを検出する(ステップS25)。また、ステップS24の判定がNOのとき、フリッカ検出部20は、フリッカが発生していないことを検出する(ステップS27)。
ステップS25の後、システム制御部11は、フレームレートを120fpsの1/L倍に設定し、シャッタスピードを適正露出にしたがった任意の値に設定する。又は、システム制御部11は、フレームレートを任意の値に設定し、シャッタスピードを1/120秒のL倍に設定する(ステップS26)。
そして、システム制御部11は、この設定条件で撮像素子駆動部10に撮像素子5を駆動させて処理を終了する。
以上のように、第三の例によれば、フレーム期間T1又はフレーム期間T2で得た撮像画像信号の組の第一の一致度と、隣接するフレーム期間T1及びフレーム期間T2で得た撮像画像信号の組の第二の一致度と、に基づいて50Hzフリッカ及び60Hzフリッカの有無を検出することができる。
この結果、露光時間をかえなくとも、フレームレートを切り替えるだけの簡易な処理によって、異なる周波数の光源のフリッカを区別して検出することができる。したがって、検出したフリッカの周波数に応じて、このフリッカによる画質劣化を防止する駆動を行うことが可能となり、撮像品質を向上させることができる。
また、図1のデジタルカメラによれば、撮像素子5の垂直同期信号の2周期が1/120秒の自然数倍となる。このため、表示部24の表示フレームレートが120fpsを自然数で除算した値に設定されていれば、表示フレームレートを固定にしたまま図6の処理が可能となる。このため、ライブビュー画像を表示している場合でも、その表示品質に影響を与えずにフリッカ検出が可能となる。
図8は、図1のデジタルカメラのフリッカ検出動作の第四の例を説明するためのタイミングチャートである。
この第四の例では、第一のフレームレートと第二のフレームレートの各々を、第一のフレームレートにしたがった第一のフレーム期間の長さと、第二のフレームレートにしたがった第二のフレーム期間の長さの合計値が、第二の周波数(120Hz)の逆数を自然数倍した1/60秒となるように設定することに加えて、第一のフレームレートを第一の周波数(100Hz)を自然数で除算した値以外の値に設定している。具体的には、第三の例と同じで、第一のフレームレートを105fpsにし、第二のフレームレートを140fpsに設定している。
フリッカ検出動作を開始すると、システム制御部11は、第一のフレームレートを105fpsとし、第二のフレームレートを140fpsとして、撮像素子5を、105fpsのフレームレートと140fpsのフレームレートとで交互に駆動させる(ステップS30)。
次に、フリッカ検出部20は、105fpsのフレーム期間T1と、このフレーム期間T1に続く140fpsのフレーム期間T2で得た2つの撮像画像信号(図7の(6)と(7))の第二の一致度が閾値TH2を超えるか否かを判定する(ステップS11)。
撮像画像信号(6)と撮像画像信号(7)は、フレーム期間T1の長さである1/105秒間隔で取得されたものである。また、このフレーム期間T1の長さは、第四の例では、1/100秒の自然数倍以外の値かつ1/120秒の自然数倍以外の値となっている。
このため、50Hzフリッカと60Hzフリッカのいずれかが発生している場合には、撮像画像信号(6)と撮像画像信号(7)は大きく異なることになり、第二の一致度は閾値TH2以下となる。つまり、フリッカが発生していない場合にのみ、撮像画像信号(6)と撮像画像信号(7)はほぼ同じとなり、第二の一致度は閾値TH2を超える。
したがって、ステップS31の判定がYESのとき、フリッカ検出部20は、フリッカがないことを検出し(ステップS32)、処理を終了する。
ステップS31の判定がNOのとき、フリッカ検出部20は、140fpsのフレーム期間T2で得た撮像画像信号の組(図7の(5)と(7))、又は、105fpsのフレーム期間T1で得た撮像画像信号の組(図7の(6)と(8))、の第一の一致度が閾値TH1以下となるか否かを判定する(ステップS33)。
撮像画像信号(5)と撮像画像信号(7)は、1/60秒間隔で取得されたものである。このため、50Hzフリッカが発生している場合には、撮像画像信号(5)と撮像画像信号(7)は大きく異なることになり、第一の一致度は閾値TH1以下となる。
一方、60Hzフリッカが発生している場合には、撮像画像信号(5)と撮像画像信号(7)はほぼ同じになり、第一の一致度は閾値TH1を超える。
同様に、撮像画像信号(6)と撮像画像信号(8)は、1/60秒間隔で取得されたものである。このため、50Hzフリッカが発生している場合には、撮像画像信号(6)と撮像画像信号(8)は大きく異なることになり、第一の一致度は閾値TH1以下となる。
一方、60Hzフリッカが発生している場合には、撮像画像信号(6)と撮像画像信号(8)はほぼ同じになり、第一の一致度は閾値TH1を超える。
したがって、フリッカ検出部20は、ステップS33の判定がYESの場合に50Hzフリッカがあることを検出する(ステップS34)。また、フリッカ検出部20は、ステップS33の判定がNOのときは、60Hzフリッカがあることを検出する(ステップS36)。
ステップS34の後、システム制御部11は、フレームレートを100fpsの1/L倍に設定し、シャッタスピードを適正露出にしたがった任意の値に設定する。又は、システム制御部11は、フレームレートを任意の値に設定し、シャッタスピードを1/100秒のL倍に設定する(ステップS35)。
ステップS36の後、システム制御部11は、フレームレートを120fpsの1/L倍に設定し、シャッタスピードを適正露出にしたがった任意の値に設定する。又は、システム制御部11は、フレームレートを任意の値に設定し、シャッタスピードを1/120秒のL倍に設定する(ステップS37)。
以上のように、第四の例では、フリッカ検出部20が、フレーム期間T1と、このフレーム期間T1に続くフレーム期間T2で得た2つの撮像画像信号(図7の(6)と(7))の第二の一致度を判定してフリッカの有無を判定する。
そして、フリッカがあると判定した場合、フリッカ検出部20は、フレーム期間T1又はフレーム期間T2で得た撮像画像信号の組の第一の一致度に基づいて、50Hzフリッカと60Hzフリッカのどちらが発生しているかを検出する。
第四の例によれば、フリッカが無いときには一致度の判定を1回で済ますことができるため、処理量を削減することができる。
次に、撮像装置としてスマートフォンの構成について説明する。
図9は、本発明の撮影装置の一実施形態であるスマートフォン200の外観を示すものである。図9に示すスマートフォン200は、平板状の筐体201を有し、筐体201の一方の面に表示部としての表示パネル202と、入力部としての操作パネル203とが一体となった表示入力部204を備えている。
また、この様な筐体201は、スピーカ205と、マイクロホン206と、操作部207と、カメラ部208とを備えている。なお、筐体201の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
図10は、図9に示すスマートフォン200の構成を示すブロック図である。
図10に示すように、スマートフォンの主たる構成要素として、無線通信部210と、表示入力部204と、通話部211と、操作部207と、カメラ部208と、記憶部212と、外部入出力部213と、GPS(Global Positioning System)受信部214と、モーションセンサ部215と、電源部216と、主制御部220とを備える。また、スマートフォン200の主たる機能として、図示省略の基地局装置と図示省略の移動通信網とを介した移動無線通信を行う無線通信機能を備える。
無線通信部210は、主制御部220の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
表示入力部204は、主制御部220の制御により、画像(静止画像及び動画像)や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル202と、操作パネル203とを備える。
表示パネル202は、LCD(Liquid Crystal Display)、OELD(Organic Electro−Luminescence Display)などを表示デバイスとして用いたものである。
操作パネル203は、表示パネル202の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部220に出力する。次いで、主制御部220は、受信した検出信号に基づいて、表示パネル202上の操作位置(座標)を検出する。
図10に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン200の表示パネル202と操作パネル203とは一体となって表示入力部204を構成しているが、操作パネル203が表示パネル202を完全に覆うような配置となっている。
係る配置を採用した場合、操作パネル203は、表示パネル202外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル203は、表示パネル202に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル202に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
なお、表示領域の大きさと表示パネル202の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル203が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。
更に、外縁部分の幅は、筐体201の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル203で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部211は、スピーカ205やマイクロホン206を備え、マイクロホン206を通じて入力されたユーザの音声を主制御部220にて処理可能な音声データに変換して主制御部220に出力したり、無線通信部210あるいは外部入出力部213により受信された音声データを復号してスピーカ205から出力させたりするものである。
また、図9に示すように、例えば、スピーカ205を表示入力部204が設けられた面と同じ面に搭載し、マイクロホン206を筐体201の側面に搭載することができる。
操作部207は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図9に示すように、操作部207は、スマートフォン200の筐体201の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部212は、主制御部220の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ウェブブラウジングによりダウンロードしたウェブデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部212は、スマートフォン内蔵の内部記憶部217と着脱自在な外部メモリスロットを有する外部記憶部218により構成される。なお、記憶部212を構成するそれぞれの内部記憶部217と外部記憶部218は、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ、RAM(Random Access Memory)、ROM(Read Only Memory)などの格納媒体を用いて実現される。
外部入出力部213は、スマートフォン200に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス、IEEE1394など)又はネットワーク(例えば、インターネット、無線LAN(Local Area Network)、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
スマートフォン200に連結される外部機器としては、例えば、有線又は無線ヘッドセット、有線又は無線外部充電器、有線又は無線データポート、カードソケットを介して接続されるメモリカードやSIM(Subscriber Identity Module)カード、UIM(User Identity Module Card)カード、オーディオビデオI/O(Input/Output)端子を介して接続される外部オーディオビデオ機器、無線接続される外部オーディオビデオ機器、有線又は無線接続されるスマートフォン、有線又は無線接続されるパーソナルコンピュータ、有線又は無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部213は、このような外部機器から伝送を受けたデータをスマートフォン200の内部の各構成要素に伝達することや、スマートフォン200の内部のデータが外部機器に伝送されるようにすることができる。
GPS受信部214は、主制御部220の指示にしたがって、GPS衛星ST1〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン200の緯度、経度、高度からなる位置を検出する。GPS受信部214は、無線通信部210や外部入出力部213(例えば、無線LAN)から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部215は、例えば、3軸の加速度センサなどを備え、主制御部220の指示にしたがって、スマートフォン200の物理的な動きを検出する。スマートフォン200の物理的な動きを検出することにより、スマートフォン200の動く方向や加速度が検出される。係る検出結果は、主制御部220に出力されるものである。
電源部216は、主制御部220の指示にしたがって、スマートフォン200の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部220は、マイクロプロセッサを備え、記憶部212が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン200の各部を統括して制御するものである。また、主制御部220は、無線通信部210を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部212が記憶するアプリケーションソフトウェアにしたがって主制御部220が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部213を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、ウェブページを閲覧するウェブブラウジング機能などがある。
また、主制御部220は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画像や動画像のデータ)に基づいて、映像を表示入力部204に表示する等の画像処理機能を備える。画像処理機能とは、主制御部220が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部204に表示する機能のことをいう。
更に、主制御部220は、表示パネル202に対する表示制御と、操作部207、操作パネル203を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部220は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。
なお、スクロールバーとは、表示パネル202の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部220は、操作部207を通じたユーザ操作を検出したり、操作パネル203を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部220は、操作パネル203に対する操作位置が、表示パネル202に重なる重畳部分(表示領域)か、それ以外の表示パネル202に重ならない外縁部分(非表示領域)かを判定し、操作パネル203の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部220は、操作パネル203に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部208は、図1に示したデジタルカメラにおける外部メモリ制御部21、記録媒体22、表示制御部23、表示部24、及び操作部14以外の構成を含む。
カメラ部208によって生成された撮像画像データは、記憶部212に記録したり、外部入出力部213や無線通信部210を通じて出力したりすることができる。
図9に示すにスマートフォン200において、カメラ部208は表示入力部204と同じ面に搭載されているが、カメラ部208の搭載位置はこれに限らず、表示入力部204の背面に搭載されてもよい。
また、カメラ部208はスマートフォン200の各種機能に利用することができる。例えば、表示パネル202にカメラ部208で取得した画像を表示することや、操作パネル203の操作入力のひとつとして、カメラ部208の画像を利用することができる。
また、GPS受信部214が位置を検出する際に、カメラ部208からの画像を参照して位置を検出することもできる。更には、カメラ部208からの画像を参照して、3軸の加速度センサを用いずに、或いは、3軸の加速度センサと併用して、スマートフォン200のカメラ部208の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部208からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データにGPS受信部214により取得した位置情報、マイクロホン206により取得した音声情報(主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい)、モーションセンサ部215により取得した姿勢情報等などを付加して記憶部212に記録したり、外部入出力部213や無線通信部210を通じて出力したりすることもできる。
以上のような構成のスマートフォン200においても、図3〜図8に示した動作により、フリッカを精度よく検出することができる。
以上説明してきたように、本明細書には以下の事項が開示されている。
開示された撮像装置は、撮像素子と、第一のフレームレートと、上記第一のフレームレートとは異なる第二のフレームレートとで上記撮像素子により交互に撮像を行わせる撮像素子駆動部と、上記第一のフレームレートでの撮像により得られる第一の撮像画像信号と、上記第二のフレームレートでの撮像により得られる第二の撮像画像信号とに基づいて、第一の周波数の光源の第一のフリッカの有無及び第二の周波数の光源の第二のフリッカの有無を検出するフリッカ検出部と、を備え、上記第一のフレームレートにしたがった第一のフレーム期間の長さと、上記第二のフレームレートにしたがった第二のフレーム期間の長さの合計値は、上記第一の周波数又は上記第二の周波数の逆数を自然数倍した値であり、上記フリッカ検出部は、上記第一の撮像画像信号の組又は上記第二の撮像画像信号の組の第一の一致度と、上記第一のフレームレートでの撮像における第一のフレーム期間で得られる上記第一の撮像画像信号と、上記第一のフレーム期間に続く第二のフレーム期間で得られる上記第二の撮像画像信号の第二の一致度と、に基づいて、上記第一のフリッカの有無及び上記第二のフリッカの有無を検出するものである。
開示された撮像装置は、上記合計値が上記第一の周波数の逆数を自然数倍した値である場合、上記フリッカ検出部は、上記第一の一致度が第一の閾値以下の場合は上記第二のフリッカがあることを検出し、上記第一の一致度が上記第一の閾値を超えかつ上記第二の一致度が第二の閾値以下の場合は上記第一のフリッカがあることを検出し、上記第一の一致度が上記第一の閾値を超えかつ上記第二の一致度が上記第二の閾値を超える場合はフリッカが無いことを検出するものである。
開示された撮像装置は、上記合計値が上記第二の周波数の逆数を自然数倍した値である場合、上記フリッカ検出部は、上記第一の一致度が上記第一の閾値以下の場合は上記第一のフリッカがあることを検出し、上記第一の一致度が上記第一の閾値を超えかつ上記第二の一致度が上記第二の閾値以下の場合は上記第二のフリッカがあることを検出し、上記第一の一致度が上記第一の閾値を超えかつ上記第二の一致度が上記第二の閾値を超える場合はフリッカが無いことを検出するものである。
開示された撮像装置は、上記第一のフレームレートは、上記第二の周波数を自然数で除算した値以外の値であり、上記合計値が上記第一の周波数の逆数を自然数倍した値である場合、上記フリッカ検出部は、上記第二の一致度が第二の閾値を超える場合はフリッカが無いことを検出し、上記第二の一致度が上記第二の閾値以下でかつ上記第一の一致度が第一の閾値以下の場合に上記第二のフリッカがあることを検出し、上記第二の一致度が上記第二の閾値以下でかつ上記第一の一致度が上記第一の閾値を超える場合に上記第一のフリッカがあることを検出するものである。
開示された撮像装置は、上記第一のフレームレートは、上記第一の周波数を自然数で除算した値以外の値であり、上記合計値が上記第二の周波数の逆数を自然数倍した値である場合、上記フリッカ検出部は、上記第二の一致度が上記第二の閾値を超える場合はフリッカが無いことを検出し、上記第二の一致度が上記第二の閾値以下でかつ上記第一の一致度が上記第一の閾値以下の場合は上記第一のフリッカがあることを検出し、上記第二の一致度が上記第二の閾値以下でかつ上記第一の一致度が上記第一の閾値を超える場合は上記第二のフリッカがあることを検出するものである。
開示された撮像装置は、上記撮像素子駆動部は、上記第一のフリッカ又は上記第二のフリッカがあることが検出された場合に、検出されたフリッカによる画質劣化を防止する駆動条件で上記撮像素子を駆動するものである。
開示された撮像装置は、上記第一の周波数は100Hzであり、上記第二の周波数は120Hzであるものである。
開示されたフリッカ検出方法は、第一のフレームレートと、上記第一のフレームレートとは異なる第二のフレームレートとで撮像素子により交互に撮像を行わせる撮像素子駆動ステップと、上記第一のフレームレートでの撮像により得られる第一の撮像画像信号と、上記第二のフレームレートでの撮像により得られる第二の撮像画像信号とに基づいて、第一の周波数の光源の第一のフリッカの有無及び第二の周波数の光源の第二のフリッカの有無を検出するフリッカ検出ステップと、を備え、上記第一のフレームレートにしたがった第一のフレーム期間の長さと、上記第二のフレームレートにしたがった第二のフレーム期間の長さの合計値は、上記第一の周波数又は上記第二の周波数の逆数を自然数倍した値であり、上記フリッカ検出ステップでは、上記第一の撮像画像信号の組又は上記第二の撮像画像信号の組の第一の一致度と、上記第一のフレームレートでの撮像における第一のフレーム期間で得られる上記第一の撮像画像信号と、上記第一のフレーム期間に続く第二のフレーム期間で得られる上記第二の撮像画像信号の第二の一致度と、に基づいて、上記第一のフリッカの有無及び上記第二のフリッカの有無を検出するものである。
開示されたフリッカ検出方法は、上記合計値が上記第一の周波数の逆数を自然数倍した値である場合、上記フリッカ検出ステップでは、上記第一の一致度が第一の閾値以下の場合は上記第二のフリッカがあることを検出し、上記第一の一致度が上記第一の閾値を超えかつ上記第二の一致度が第二の閾値以下の場合は上記第一のフリッカがあることを検出し、上記第一の一致度が上記第一の閾値を超えかつ上記第二の一致度が上記第二の閾値を超える場合はフリッカが無いことを検出するものである。
開示されたフリッカ検出方法は、上記合計値が上記第二の周波数の逆数を自然数倍した値である場合、上記フリッカ検出ステップでは、上記第一の一致度が上記第一の閾値以下の場合は上記第一のフリッカがあることを検出し、上記第一の一致度が上記第一の閾値を超えかつ上記第二の一致度が上記第二の閾値以下の場合は上記第二のフリッカがあることを検出し、上記第一の一致度が上記第一の閾値を超えかつ上記第二の一致度が上記第二の閾値を超える場合はフリッカが無いことを検出するものである。
開示されたフリッカ検出方法は、上記第一のフレームレートは、上記第二の周波数を自然数で除算した値以外の値であり、上記合計値が上記第一の周波数の逆数を自然数倍した値である場合、上記フリッカ検出ステップでは、上記第二の一致度が第二の閾値を超える場合はフリッカが無いことを検出し、上記第二の一致度が上記第二の閾値以下でかつ上記第一の一致度が第一の閾値以下の場合に上記第二のフリッカがあることを検出し、上記第二の一致度が上記第二の閾値以下でかつ上記第一の一致度が上記第一の閾値を超える場合に上記第一のフリッカがあることを検出するものである。
開示されたフリッカ検出方法は、上記第一のフレームレートは、上記第一の周波数を自然数で除算した値以外の値であり、上記合計値が上記第二の周波数の逆数を自然数倍した値である場合、上記フリッカ検出ステップでは、上記第二の一致度が上記第二の閾値を超える場合はフリッカが無いことを検出し、上記第二の一致度が上記第二の閾値以下でかつ上記第一の一致度が上記第一の閾値以下の場合は上記第一のフリッカがあることを検出し、上記第二の一致度が上記第二の閾値以下でかつ上記第一の一致度が上記第一の閾値を超える場合は上記第二のフリッカがあることを検出するものである。
開示されたフリッカ検出方法は、上記第一のフリッカ又は上記第二のフリッカがあることが検出された場合に、検出されたフリッカによる画質劣化を防止する駆動条件で上記撮像素子を駆動する駆動ステップを更に備えるものである。
開示されたフリッカ検出方法は、上記第一の周波数は100Hzであり、上記第二の周波数は120Hzであるものである。
開示されたフリッカ検出プログラムは、第一のフレームレートと、上記第一のフレームレートとは異なる第二のフレームレートとで撮像素子により交互に撮像を行わせる撮像素子駆動ステップと、上記第一のフレームレートでの撮像により得られる第一の撮像画像信号と、上記第二のフレームレートでの撮像により得られる第二の撮像画像信号とに基づいて、第一の周波数の光源の第一のフリッカの有無及び第二の周波数の光源の第二のフリッカの有無を検出するフリッカ検出ステップと、をコンピュータに実行させるためのフリッカ検出プログラムであって、上記第一のフレームレートにしたがった第一のフレーム期間の長さと、上記第二のフレームレートにしたがった第二のフレーム期間の長さの合計値は、上記第一の周波数又は上記第二の周波数の逆数を自然数倍した値であり、上記フリッカ検出ステップでは、上記第一の撮像画像信号の組又は上記第二の撮像画像信号の組の第一の一致度と、上記第一のフレームレートでの撮像における第一のフレーム期間で得られる上記第一の撮像画像信号と、上記第一のフレーム期間に続く第二のフレーム期間で得られる上記第二の撮像画像信号の第二の一致度と、に基づいて、上記第一のフリッカの有無及び上記第二のフリッカの有無を検出するプログラムである。