JP6175585B2 - 撮像装置、フリッカ検出方法、及びフリッカ検出プログラム - Google Patents

Description

本発明は、撮像装置、フリッカ検出方法、及びフリッカ検出プログラムに関する。

一般的なＸＹアドレス走査型の撮像素子を備える撮像装置では、アドレス指定により画素の走査ライン毎に電荷蓄積時間を制御するローリングシャッタ方式が採用されている。本明細書では、デジタルスチルカメラ、デジタルビデオカメラ、及びスマートフォン等の撮像機能を有する情報機器を撮像装置と称する。

このローリングシャッタ方式を用いて蛍光灯下で動画撮影が行われた場合、蛍光灯の光源の明滅周期（例えば、５０Ｈｚ（ヘルツ）又は６０Ｈｚの商用電源であれば、１／１００秒又は１／１２０秒）による周期的な輝度変化の影響により、撮像画像に横縞状のむら（以下、「フリッカ」という）が生じる場合がある。

特許文献１〜３には、フリッカ発生の有無を検出する方法が提案されている。

特許文献１には、フリッカが生じない露光時間に設定して得た撮像画像データと、フリッカが生じる露光時間に設定して得た撮像画像データの差分画像データによってフリッカを検出する撮像装置が記載されている。

特許文献２及び特許文献３には、露光時間を１／１００秒の自然数倍に設定して得た撮像画像データと、露光時間を１／１２０秒の自然数倍に設定して得た撮像画像データとの差分に基づいてフリッカの有無を検出する撮像装置が記載されている。

国際公開ＷＯ２００８／１０８０２５号公報 日本国特開２０１１−１７６６２２号公報 日本国特開２００７−３２９６５８号公報

特許文献１に記載の撮像装置では、被写体が非常に明るい状況下においては、フリッカが生じない露光時間に設定して得た撮像画像データ全体が白とびしたものとなり、２つの撮像画像データの差分画像データからフリッカの発生を精度よく検出することが難しくなる。

特許文献２及び特許文献３に記載の撮像装置では、被写体が非常に明るい状況下においては、１／１００秒の自然数倍や１／１２０秒の自然数倍に露光時間を設定すると、それぞれの露光時間で設定して得た撮像画像データの全体が白とびしたものとなり、フリッカの検出を精度よく行うことができない。

本発明は、上記事情に鑑みてなされたものであり、明るい被写体を撮像する場合であっても、フリッカを精度よく検出することのできる撮像装置、フリッカ検出方法、及びフリッカ検出プログラムを提供することを目的とする。

本発明の撮像装置は、二次元状に配列された複数の画素を有するＭＯＳ型の撮像素子と、上記撮像素子をローリングシャッタ方式で駆動し、任意のフレームレートで上記撮像素子により複数回の撮像を行わせる撮像素子駆動部と、上記フレームレートに基づく第一のフレーム期間で上記複数の画素から読み出される第一の撮像画像信号と、上記フレームレートに基づく第二のフレーム期間で上記複数の画素から読み出される第二の撮像画像信号との比較により、フリッカの有無を検出するフリッカ検出部と、を備え、上記撮像素子駆動部は、上記第一のフレーム期間における上記複数の画素からの信号の読み出しを行う信号読出し期間の終了タイミングを、上記第一のフレーム期間の終了タイミングよりも前にし、上記第二のフレーム期間における上記信号読出し期間の終了タイミングを、上記第二のフレーム期間の終了タイミングと同じにするものである。

本発明のフリッカ検出方法は、二次元状に配列された複数の画素を有するＭＯＳ型の撮像素子をローリングシャッタ方式で駆動し、任意のフレームレートで上記撮像素子により複数回の撮像を行わせる撮像素子駆動ステップと、上記フレームレートに基づく第一のフレーム期間で上記複数の画素から読み出される第一の撮像画像信号と、上記フレームレートに基づく第二のフレーム期間で上記複数の画素から読み出される第二の撮像画像信号との比較により、フリッカの有無を検出するフリッカ検出ステップと、を備え、上記撮像素子駆動ステップでは、上記第一のフレーム期間における上記複数の画素からの信号の読み出しを行う信号読出し期間の終了タイミングを、上記第一のフレーム期間の終了タイミングよりも前にし、上記第二のフレーム期間における上記信号読出し期間の終了タイミングを、上記第二のフレーム期間の終了タイミングと同じにするものである。

本発明のフリッカ検出プログラムは、二次元状に配列された複数の画素を有するＭＯＳ型の撮像素子をローリングシャッタ方式で駆動し、任意のフレームレートで上記撮像素子により複数回の撮像を行わせる撮像素子駆動ステップと、上記フレームレートに基づく第一のフレーム期間で上記複数の画素から読み出される第一の撮像画像信号と、上記フレームレートに基づく第二のフレーム期間で上記複数の画素から読み出される第二の撮像画像信号との比較により、フリッカの有無を検出するフリッカ検出ステップと、をコンピュータに実行させるためのフリッカ検出プログラムであって、上記撮像素子駆動ステップでは、上記第一のフレーム期間における上記複数の画素からの信号の読み出しを行う信号読出し期間の終了タイミングを、上記第一のフレーム期間の終了タイミングよりも前にし、上記第二のフレーム期間における上記信号読出し期間の終了タイミングを、上記第二のフレーム期間の終了タイミングと同じにするプログラムである。

本発明によれば、明るい被写体を撮像する場合であっても、フリッカを精度よく検出することのできる撮像装置、フリッカ検出方法、及びフリッカ検出プログラムを提供することができる。

本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。 フリッカ検出動作を説明するためのフローチャートである。 図２のステップＳ２の処理後における撮像素子５の駆動タイミングチャートを示す図である。 図１の撮像素子駆動部１０が行うフリッカ検出用駆動の一例を説明するためのタイミングチャートである。 図１に示すデジタルカメラのフリッカ検出動作の変形例を示すフローチャートである。 図１の撮像素子駆動部１０が行うフリッカ検出用駆動の変形例を説明するためのタイミングチャートである。 図６の範囲Ｈの拡大図である。 撮像装置としてのスマートフォンの外観構成を示す図である。 図８のスマートフォンの内部構成を示す図である。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態を説明するための撮像装置の一例としてのデジタルカメラの概略構成を示す図である。

図１に示すデジタルカメラの撮像系は、撮像光学系（撮像レンズ１と絞り２とを含む）と撮像素子５とを備える。

撮像素子５は、二次元状に配列された複数の画素を有し、ＸＹアドレス指定により任意の画素から信号を読み出し可能なＭＯＳ（Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の撮像素子である。

デジタルカメラの電気制御系全体を統括制御するシステム制御部１１は、発光部１２及び受光部１３を制御する。また、システム制御部１１は、レンズ駆動部８を制御して撮像レンズ１に含まれるフォーカスレンズ等の位置を調整する。更に、システム制御部１１は、絞り駆動部９を介して絞り２の開口量を制御することにより、露光量の調整を行う。

また、システム制御部１１は、撮像素子駆動部１０を介して撮像素子５を駆動し、撮像レンズ１を通して撮像した被写体像を撮像画像信号として出力させる。システム制御部１１には、操作部１４を通してユーザから指示信号が入力される。撮像画像信号は、Ｘ方向とこれに直交するＹ方向に二次元状に配列された複数の画素信号からなる。

撮像素子駆動部１０は、撮像素子５をローリングシャッタ方式で駆動する。ローリングシャッタ方式とは、ＭＯＳ型の撮像素子において、垂直方向に並ぶ１つ以上の走査ライン（水平方向に並ぶ複数の画素からなるライン）毎に順次露光動作を行う方式である。

つまり、ローリングシャッタ方式は、走査ライン毎に順次リセットを行って、走査ラインに含まれる各画素に電荷を蓄積させ、走査ライン毎に信号読出しを行って、この各画素に蓄積された電荷を順次読み出す方式である（フォーカルプレーンシャッター方式とも言う）。

後述するフリッカ検出動作時において、撮像素子駆動部１０は、システム制御部１１によって設定された任意のフレームレートで撮像素子５により複数回の撮像を行わせる。フレームレートとは、単位時間あたりにいくつのフレーム（撮像画像信号）を撮像素子５から出力させるかを示す値である。

フレームレートが例えば１２０フレーム／秒であれば、後述する表示部２４の垂直同期信号の立ち下がりから次の立ち下がりまでの期間が１／１２０秒になる。また、撮像素子５を駆動するために用いる垂直同期信号についても、立ち下がりから次の立ち下がりまでの期間が１／１２０秒になる。

デジタルカメラの電気制御系は、更に、撮像素子５の出力に接続された相関二重サンプリング処理等のアナログ信号処理を行うアナログ信号処理部６と、アナログ信号処理部６から出力されるアナログ信号をデジタル信号に変換するアナログデジタル変換回路（Ａ／Ｄ）７とを備える。アナログ信号処理部６及びアナログデジタル変換回路７は、システム制御部１１によって制御される。

更に、このデジタルカメラの電気制御系は、メインメモリ１６と、メインメモリ１６に接続されたメモリ制御部１５と、アナログデジタル変換回路７から出力される撮像画像信号に対し、補間演算、ガンマ補正演算、及びＲＧＢ−ＹＣ変換処理等を行って撮像画像データを生成するデジタル信号処理部１７と、デジタル信号処理部１７で生成された撮像画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式に圧縮したり圧縮画像データを伸張したりする圧縮伸張処理部１８と、フリッカ検出部２０と、着脱自在の記録媒体２２が接続される外部メモリ制御部２１と、カメラ背面等に搭載された表示部２４が接続される表示制御部２３と、を備えている。

メモリ制御部１５、デジタル信号処理部１７、圧縮伸張処理部１８、フリッカ検出部２０、外部メモリ制御部２１、及び表示制御部２３は、制御バス２５及びデータバス２６によって相互に接続され、システム制御部１１からの指令によって動作する。

以上の構成のデジタルカメラでは、フリッカ検出部２０が、蛍光灯の光源の明滅周期（例えば、５０Ｈｚ又は６０Ｈｚの商用電源であれば、１／１００秒又は１／１２０秒）に起因するフリッカを検出する。

フリッカ検出部２０は、システム制御部１１によって設定されたフレームレートに基づく第一のフレーム期間で撮像素子５の複数の画素から読み出される第一の撮像画像信号と、このフレームレートに基づく第二のフレーム期間で撮像素子５の複数の画素から読み出される第二の撮像画像信号との比較により、フリッカの有無を検出する。フレーム期間とは、撮像素子５の垂直同期信号の立ち下がりから次の立ち下がりまでの期間を言う。

図２は、フリッカ検出動作を説明するためのフローチャートである。

フリッカ検出動作を開始すると、システム制御部１１は、フレームレートを、商用電源の電源周波数の１つである６０Ｈｚの自然数倍の値（ここでは１２０フレーム／秒とする）に設定する（ステップＳ１）。そして、システム制御部１１は、設定したフレームレートにしたがって撮像素子駆動部１０に撮像素子５を駆動させる。

ステップＳ１で設定されたフレームレートにしたがって撮像素子５の駆動が開始されると、システム制御部１１は、撮像素子５から出力される撮像画像信号に基づいて適正露出を算出し、算出した露出値を撮像条件として設定する（ステップＳ２）。

具体的には、システム制御部１１は、算出した露出値に基づいて絞り駆動部９を介して絞り２の開口量を制御し、算出した露出値に基づいて撮像素子５のシャッタスピード（露光時間）を撮像素子駆動部１０に通知する。この通知にしたがって、撮像素子駆動部１０は、設定された露光時間で撮像素子５の各画素を露光する制御を行う。

なお、任意の画素の露光は、この画素をリセットしたタイミングで開始され、この画素に蓄積された電荷に応じた信号が信号線に読みだされたタイミングで終了される。

つまり、撮像素子駆動部１０は、各画素のリセットタイミングと信号読出しタイミングを制御することで、設定された露光時間で各画素の露光を行う。

図３は、図２のステップＳ２の処理後における撮像素子５の駆動タイミングチャートを示す図である。

図３において、符号ＲＳは、撮像素子５の画素のリセットを行うためのリセット信号を示す。図３において、符号ＲＥは、撮像素子５の画素から信号読出しを行うための読出し信号を示す。

本実施形態では、撮像素子５の水平方向に並ぶ複数の画素からなる走査ライン毎に、リセット信号及び読出し信号を独立して供給できるようになっている。

図３の例では、撮像素子５の垂直同期信号が立ち下がる時点より露光時間Ｔｘ前のタイミングになると、撮像素子５に対し、複数の画素が配置されるエリアの上にある走査ラインから下方向に向かって順番にリセット信号ＲＳの供給が行われていく。

リセット信号ＲＳの供給開始から露光時間Ｔｘ経過して撮像素子５の垂直同期信号が立ち下がると、撮像素子５に対し、複数の画素が配置されるエリアの上にある走査ラインから下方向に向かって順番に読出し信号ＲＥの供給が行われていく。以上の動作が繰り返し行われる。

このような駆動によって、各画素の露光時間は露光時間Ｔｘに制御される。また、撮像素子５からは、設定されたフレームレートで撮像画像信号が出力される。

以下の説明では、撮像素子５の１行目の走査ラインの読出しを開始してから、最終行の走査ラインの信号の読出しが終了するまでの期間を、撮像素子５の複数の画素からの信号の読出しを行う信号読出し期間という。

図２の説明に戻り、ステップＳ２の処理の後、フリッカ検出部２０は、撮像素子５から連続して出力される２つの撮像画像信号の比較を行う（ステップＳ３）。

５０Ｈｚの商用電源で動作する蛍光灯の明滅周波数は５０Ｈｚとなる。そして、ステップＳ１で設定されたフレームレートは、５０Ｈｚの自然数倍にはなっていない。

このため、５０Ｈｚの商用電源周波数に起因するフリッカ（以下、５０Ｈｚフリッカともいう）が生じていた場合、図３に示す連続する２つのフレーム期間の各々で得られた撮像画像信号には、蛍光灯の明滅に起因する輝度差が生じる。ステップＳ３では、このような撮像画像信号の差が生じるか否かをフリッカ検出部２０が判定する。

ステップＳ３の判定がＹＥＳのとき、フリッカ検出部２０は、５０Ｈｚフリッカが生じていると判定し、判定結果をシステム制御部１１に通知する（ステップＳ４）。

一方、ステップＳ３の判定がＮＯのとき、フリッカ検出部２０は、６０Ｈｚの商用電源周波数に起因するフリッカ（以下、６０Ｈｚフリッカともいう）が生じている状態、又は、フリッカが生じていない状態と判定し、ステップＳ５以降の処理を行う。

６０Ｈｚの商用電源で動作する蛍光灯の明滅周波数は６０Ｈｚとなる。そして、ステップＳ１で設定されたフレームレートは、６０Ｈｚの自然数倍にはなっている。

このため、６０Ｈｚフリッカが発生している場合、図３に示す連続する２つのフレーム期間の各々で得られた撮像画像信号には、蛍光灯の明滅に起因する輝度差は生じない。このため、ステップＳ３の判定がＮＯのときは、６０Ｈｚフリッカが生じている状態なのか否かを判定する必要がある。

ステップＳ５において、システム制御部１１は、撮像素子５の露光時間を６０Ｈｚの商用電源で動作する蛍光灯の明滅周期である１／１２０秒未満の値（Ｔｘａとする）に設定する。

更に、システム制御部１１は、ステップＳ１で設定したフレームレートはそのままに、撮像素子５の駆動方法を、６０Ｈｚフリッカを検出するための駆動方法（６０Ｈｚフリッカ検出用駆動という）に変更する指示を撮像素子駆動部１０に対し行う。

この指示にしたがい、撮像素子駆動部１０は、図４に例示するように、図３とは異なる駆動方法で撮像素子５を駆動する（ステップＳ６）。

撮像素子駆動部１０は、任意のフレーム期間Ｆ１においては、図３の各フレーム期間と同様の駆動を行う。すなわち、撮像素子駆動部１０は、信号読出し期間の開始タイミング（時刻ｔ１）をフレーム期間Ｆ１の開始タイミングと同じにする駆動を行う。

また、撮像素子駆動部１０は、フレーム期間Ｆ１において、信号読出し期間の終了タイミング（図中の時刻ｔ２）をフレーム期間Ｆ１の終了タイミングよりも前にする駆動を行う。フレーム期間Ｆ１は第一のフレーム期間を構成する。

撮像素子駆動部１０は、フレーム期間Ｆ１に続くフレーム期間Ｆ２においては、信号読出し期間の開始タイミング（図中の時刻ｔ３）をフレーム期間Ｆ２の開始タイミングよりも後にする駆動を行う。

また、撮像素子駆動部１０は、フレーム期間Ｆ２においては、信号読出し期間の終了タイミング（図中の時刻ｔ４）を、フレーム期間Ｆ２の終了タイミングと同じにする駆動を行う。フレーム期間Ｆ２は第二のフレーム期間を構成する。

撮像素子駆動部１０は、フレーム期間Ｆ２に続くフレーム期間Ｆ３においては、フレーム期間Ｆ１と同じ駆動を行う。フレーム期間Ｆ３は第一のフレーム期間を構成する。

このように、ステップＳ６において、撮像素子駆動部１０は、第一のフレーム期間と第二のフレーム期間が交互に並ぶよう撮像素子５を駆動する。

なお、撮像素子駆動部１０は、各フレーム期間において露光時間をＴｘａに固定する。また、撮像素子駆動部１０は、時刻ｔ１から時刻ｔ２の間の時間と、時刻ｔ３から時刻ｔ４の間の時間を同じに制御する。つまり、各フレーム期間において信号読出し期間の長さは共通となっている。

図４には、撮像素子５の駆動タイミングチャートに加えて、６０Ｈｚの電源周波数で動作する蛍光灯の輝度変化を示している。

図４のフレーム期間Ｆ３において撮像素子５から読み出される第一の撮像画像信号は、図４中の期間Ｔ２の間に走査ラインが順次露光されて得られたものである。

このため、この第一の撮像画像信号には、蛍光灯の輝度変化のうち、期間Ｔ２と重なる部分に応じた信号が含まれることになる。

また、図４のフレーム期間Ｆ２において撮像素子５から読み出される第二の撮像画像信号は、図４中の期間Ｔ１の間に走査ラインが順次露光されて得られたものである。

このため、この第二の撮像画像信号には、蛍光灯の輝度変化のうち、期間Ｔ１と重なる部分に応じた信号が含まれることになる。

蛍光灯の輝度変化のうち、期間Ｔ１に重なる部分と期間Ｔ２に重なる部分とは形状が異なる。このため、６０Ｈｚフリッカが発生していると、第一の撮像画像信号と第二の撮像画像信号とでは面内において輝度の差が生じることになる。

一方、フリッカが発生していなければ、第一の撮像画像信号と第二の撮像画像信号とでは面内において輝度の差が生じない。

つまり、第一の撮像画像信号と第二の撮像画像信号を比較することで、６０Ｈｚフリッカの有無を判定することができる。

図２の説明に戻り、ステップＳ６で図４に例示した駆動が行われると、フリッカ検出部２０は、図４の第一のフレーム期間（例えばフレーム期間Ｆ１）で撮像素子５から出力された第一の撮像画像信号と、図４の第二のフレーム期間（例えばフレーム期間Ｆ２）で撮像素子５から出力された第二の撮像画像信号との比較を行う（ステップＳ７）。

例えば、第一の撮像画像信号と第二の撮像画像信号の各々を、走査ラインの並ぶ方向に複数ブロックに分割し、各ブロックの画素信号の輝度平均を求める。

そして、第一の撮像画像信号と第二の撮像画像信号において、同一ブロック同士で輝度平均の差を算出し、この差の平均が閾値ＴＨ以上となっていれば、フリッカ検出部２０は両者に差があると判定し（ステップＳ８：ＹＥＳ）、６０Ｈｚフリッカが発生していると判定する（ステップＳ９）。

一方、この差の平均が閾値ＴＨ未満となっていれば、フリッカ検出部２０は両者に差がないと判定し（ステップＳ８：ＮＯ）、フリッカが発生していないと判定する（ステップＳ１０）。

なお、２つの撮像画像信号の比較の方法はこれに限らない。例えば２つの撮像画像信号の全画素信号の輝度平均同士の差が閾値以上の場合に差があると判定してもよい。

以上のように、図１に示すデジタルカメラによれば、信号読出し期間の位置を異ならせた第一のフレーム期間及び第二のフレーム期間を含む駆動を撮像素子駆動部１０が行うことで、従来技術のように、露光時間Ｔｘａを６０Ｈｚの商用電源周波数で動作する蛍光灯の明滅周期の自然数倍にしたフレーム期間を設けることなく、６０Ｈｚフリッカの有無を判定することができる。

このように、露光時間Ｔｘａを６０Ｈｚの商用電源周波数で動作する蛍光灯の明滅周期の自然数倍にしたフレーム期間を設ける必要がないため、被写体が非常に明るい状態であっても露光時間を短くして撮像画像信号が白とびするのを防ぐことができる。この結果、フリッカ検出を精度よく行うことができる。

また、フリッカ検出中に表示部２４に表示されるライブビュー画像を適正なものとすることができ、利用者に違和感を与えることがない。

また、図１に示すデジタルカメラによれば、フレームレートを一定にしてフリッカ検出が可能である。このため、フリッカの検出中に表示が乱れることはなく、利用者に違和感を与えることがない。

また、フレームレートが一定になることで、システム全体の処理も簡易なものとなり、システム負荷の軽減、システム設計コストの削減が可能となる。

また、露光時間Ｔｘａが変化しないことで、第一の撮像画像信号と第二の撮像画像信号を比較する際に、双方の露光時間差に起因する輝度差を合わせる処理が不要となり、フリッカ検出に要する処理量を削減することができる。

なお、図２のステップＳ５では、露光時間を１／１２０秒未満に設定しているが、ステップＳ２で設定された適正露出に基づく露光時間が１／１２０秒未満になっていた場合には、ステップＳ５において露光時間の設定を敢えて変える必要はない。

また、ステップＳ３の判定がＮＯになったときに、システム制御部１１は、フレームレートをステップＳ１で設定した値より小さな値に変更してもよい。

例えば、ステップＳ５においてシステム制御部１１は、フレームレートを１２０フレーム／秒から６０フレーム／秒に変更する。

このようにフレームレートを遅くすることで、各フレーム期間に占める信号読出し期間の割合を減らすことができる。この割合が減ることで、蛍光灯の輝度変化波形において、図４の期間Ｔ１に重なる部分と期間Ｔ２に重なる部分の形状をより大きく異ならせることが可能となる。このため、６０Ｈｚフリッカの有無をより高精度に検出することが可能となる。

図２の動作例では、ステップＳ３の判定がＮＯのときにフレームレートを１２０フレーム／秒に維持するものとしたため、ステップＳ５では露光時間を１／１２０秒未満に設定するものとしている。

しかし、ステップＳ３の判定がＮＯのときにフレームレートを１２０フレーム／秒より小さくするのであれば、ステップＳ５では露光時間を１／１２０秒未満に限らず、１／１２０秒の自然数倍以外の値に設定することができる。このようにしても、図４に示す駆動を行うことで、６０Ｈｚフリッカの有無を判定することができる。

このように、フレームレートを遅くすることで露光時間Ｔｘａをより長くすることも可能なため、暗い被写体に対してもフリッカ検出を精度よく行うことができる。

図２の動作において、フレームレートが変わるのは、６０Ｈｚフリッカが発生している可能性があるときのみであり、また、近接するフレーム期間で長さが頻繁に変化するわけでもない。このため、利用者への違和感は最小限に抑えることができる。またシステム設計コストも最小限に抑えることができる。

図２の動作例では、５０Ｈｚフリッカの有無を先に判定するものとしたが、６０Ｈｚフリッカの有無を先に判定し、６０Ｈｚフリッカが無いと判断したときに、５０Ｈｚフリッカの有無を判定する構成としてもよい。

図５は、図１に示すデジタルカメラのフリッカ検出動作の変形例を示すフローチャートである。

まず、システム制御部１１は、フレームレートを、商用電源の電源周波数の１つである５０Ｈｚの自然数倍の値（ここでは１００フレーム／秒とする）に設定する（ステップＳ１ａ）。

そして、システム制御部１１は、設定したフレームレートにしたがって撮像素子駆動部１０に撮像素子５を駆動させる。

ステップＳ２ａにおいて、システム制御部１１は、撮像素子５から出力される撮像画像信号に基づいて適正露出を算出し、算出した露出値を撮像条件として設定する。

ステップＳ２ａの処理の後、フリッカ検出部２０は、撮像素子５から連続して出力される２つの撮像画像信号の比較を行う（ステップＳ３ａ）。

６０Ｈｚの商用電源で動作する蛍光灯の明滅周波数は６０Ｈｚとなる。そして、ステップＳ１ａで設定されたフレームレートは、６０Ｈｚの自然数倍にはなっていない。

このため、６０Ｈｚフリッカが生じていた場合は、図３に示す連続する２つのフレーム期間の各々で得られた撮像画像信号には、蛍光灯の明滅に起因する輝度差が生じる。ステップＳ３ａでは、このような撮像画像信号の差が生じるか否かをフリッカ検出部２０が判定する。

ステップＳ３ａの判定がＹＥＳのとき、フリッカ検出部２０は、６０Ｈｚフリッカが生じていると判定し、判定結果をシステム制御部１１に通知する（ステップＳ４ａ）。

一方、ステップＳ３ａの判定がＮＯのとき、フリッカ検出部２０は、５０Ｈｚフリッカが生じている状態、又は、フリッカが生じていない状態と判定し、ステップＳ５ａ以降の処理を行う。

ステップＳ５ａにおいて、システム制御部１１は、撮像素子５の露光時間を５０Ｈｚの商用電源で動作する蛍光灯の明滅周期である１／１００秒未満の値に設定する。

更に、システム制御部１１は、ステップＳ１ａで設定したフレームレートはそのままに、撮像素子５の駆動方法を、５０Ｈｚフリッカを検出するための駆動方法（５０Ｈｚフリッカ検出用駆動）に変更する指示を撮像素子駆動部１０に対し行う。この５０Ｈｚフリッカ検出用駆動は、前述した６０Ｈｚフリッカ検出用駆動と同じ駆動である。

この指示にしたがい、撮像素子駆動部１０は、図４に例示するように、図３とは異なる駆動方法で撮像素子５を駆動する（ステップＳ６ａ）。

ステップＳ６ａで図４に例示した駆動が行われると、フリッカ検出部２０は、図４の第一のフレーム期間（例えばフレーム期間Ｆ１）で撮像素子５から出力された第一の撮像画像信号と、図４の第二のフレーム期間（例えばフレーム期間Ｆ２）で撮像素子５から出力された第二の撮像画像信号との比較を行う（ステップＳ７ａ）。

フリッカ検出部２０は両者に差があると判定した場合（ステップＳ８ａ：ＹＥＳ）、５０Ｈｚフリッカが発生していると判定する（ステップＳ９ａ）。

一方、フリッカ検出部２０は両者に差がないと判定した場合（ステップＳ８ａ：ＮＯ）、フリッカが発生していないと判定する（ステップＳ１０ａ）。

図２のステップＳ７と図５のステップＳ７ａにおいて比較する２つの撮像画像信号は、フリッカ以外の要因で輝度に大きな差が生じないものであることが好ましい。

このため、撮像素子駆動部１０は、第一のフレーム期間と第二のフレーム期間が交互に並ぶ駆動を行い、フリッカ検出部２０は、時間的に隣接する第一のフレーム期間と第二のフレーム期間とでそれぞれ得られた撮像画像信号の比較を行うことが好ましい。

また、比較を行う２つの撮像画像信号は、第二のフレーム期間で得られた撮像画像信号と、この第二のフレーム期間に続く第一のフレーム期間で得られた撮像画像信号とを用いることが好ましい。例えば、図４の例では、フレーム期間Ｆ２とフレーム期間Ｆ３の各々で得られた撮像画像信号を比較するのがよい。

フレーム期間Ｆ２とフレーム期間Ｆ３の各々で得られた撮像画像信号は、フレーム期間Ｆ１とフレーム期間Ｆ２の各々で得られた撮像画像信号と比較すると、時間的に近いタイミングで撮像して得られたものとなる。

このため、被写体が動いている場合であっても、この動きによる２つの撮像画像信号の輝度変化を抑制することができ、フリッカ検出精度を向上させることができる。

図６は、５０Ｈｚフリッカ検出用駆動と６０Ｈｚフリッカ検出用駆動の変形例を説明するためのタイミングチャートである。

図６に示すフレーム期間Ｆ４は、図４に示すフレーム期間Ｆ１及びフレーム期間Ｆ３と同じ駆動が行われる期間であり、第一のフレーム期間を構成する。

図６に示すフレーム期間Ｆ５とフレーム期間Ｆ６は、それぞれ、信号読出し期間を、フレーム期間Ｆ４における信号読出し期間より長くしたものとなっている。

フレーム期間Ｆ５とフレーム期間Ｆ６は、それぞれ第二のフレーム期間を構成する。また、フレーム期間Ｆ５は別のフレーム期間を構成する。

より具体的には、フレーム期間Ｆ５における信号読出し期間の開始タイミングはフレーム期間Ｆ５の開始タイミングと同じであり、この信号読出し期間の終了タイミングはフレーム期間Ｆ５の終了タイミングと同じになっている。

同様に、フレーム期間Ｆ６における信号読出し期間の開始タイミングはフレーム期間Ｆ６の開始タイミングと同じであり、この信号読出し期間の終了タイミングはフレーム期間Ｆ６の終了タイミングと同じになっている。

このような駆動により、図６のフレーム期間Ｆ６において撮像素子５から読み出される第二の撮像画像信号は、図６中の期間Ｔ５の間に走査ラインが順次露光されて得られたものである。

このため、この第二の撮像画像信号には、蛍光灯の輝度変化のうち、期間Ｔ５と重なる部分に応じた信号が含まれることになる。

また、図６のフレーム期間Ｆ４において撮像素子５から読み出される第一の撮像画像信号は、図６中の期間Ｔ３の間に走査ラインが順次露光されて得られたものである。

このため、この第一の撮像画像信号には、蛍光灯の輝度変化のうち、期間Ｔ３と重なる部分に応じた信号が含まれることになる。

蛍光灯の輝度変化のうち、期間Ｔ３に重なる部分と期間Ｔ５に重なる部分とは形状が異なる。このため、６０Ｈｚフリッカが発生していると、第一の撮像画像信号と第二の撮像画像信号とでは面内において輝度の差が生じることになる。

一方、フリッカが発生していなければ、第一の撮像画像信号と第二の撮像画像信号とでは面内において輝度の差が生じない。

つまり、第一の撮像画像信号と第二の撮像画像信号を比較することで、６０Ｈｚフリッカの有無を判定することができる。

なお、フレーム期間Ｆ４、フレーム期間Ｆ５、及びフレーム期間Ｆ６の各々における撮像素子５の露光時間Ｔｘａは同じに制御されるが、システムの動作上、フレーム期間Ｆ５において信号が読み出される走査ラインのうちの一部は、露光時間がＴｘａにはならなくなる。

図７は、図６の範囲Ｈの拡大図である。

図７に示すように、フレーム期間Ｆ４からフレーム期間Ｆ５に移行する直前の時刻ｔ５では、フレーム期間Ｆ４において設定されているタイミング信号にしたがって、撮像素子５へのリセット信号の供給が行われる。

時刻ｔ５から少し時間が経過してフレーム期間Ｆ５の開始時刻ｔ６になると、リセット信号を供給するタイミングを決めるタイミング信号がフレーム期間Ｆ５用のものに更新されて、撮像素子５へのリセット信号の供給が行われる。このため、時刻ｔ５から時刻ｔ６の間のリセット信号ＲＳの傾きと、時刻ｔ６以降のリセット信号ＲＳの傾きとにはずれが生じることになる。

この結果、時刻ｔ５から時刻ｔ６の間にリセット信号が供給された走査ラインについては、時刻ｔ６以降にリセット信号が供給された走査ラインよりも露光時間が短くなる。

なお、フレーム期間Ｆ５に続くフレーム期間Ｆ６において読み出される各画素は、フレーム期間Ｆ５におけるリセット信号の傾きがそのまま適用されるため、各画素の露光時間を同じにすることができる。

このような現象を考慮し、フリッカ検出部２０は、図６に示す駆動が図２のステップＳ６又は図５のステップＳ６ａで行われる場合には、第一のフレーム期間であるフレーム期間Ｆ４において読み出された第一の撮像画像信号と、フレーム期間Ｆ４に続くフレーム期間Ｆ５に続く第二のフレーム期間であるフレーム期間Ｆ６において読み出された第二の撮像画像信号とを比較することで、５０Ｈｚフリッカ又は６０Ｈｚフリッカの有無を判定する。

このようにすることで、露光時間が揃った２つの撮像画像信号の比較を行うことができ、フリッカの有無判定のための処理を簡素化することができる。

なお、フリッカ検出部２０は、図６に示す駆動が図２のステップＳ６又は図５のステップＳ６ａで行われる場合には、第一のフレーム期間であるフレーム期間Ｆ４において読み出された第一の撮像画像信号と、フレーム期間Ｆ４に続く第二のフレーム期間であるフレーム期間Ｆ５において読み出された第二の撮像画像信号との比較によりフリッカの有無を判定してもよい。

この場合は、フレーム期間Ｆ５において読み出された第二の撮像画像信号のうち、時刻ｔ５から時刻ｔ６の間にリセットがなされた画素から読み出された信号の輝度を、時刻ｔ５から時刻ｔ６の間のリセット信号の傾きと時刻ｔ６以降のリセット信号の傾きとの比に応じて補正し、時刻ｔ６以降に読みだされた信号と同じ輝度レベルにしたうえで、第一の撮像画像信号と第二の撮像画像信号との比較を行えばよい。

又は、撮像素子駆動部１０は、フレーム期間Ｆ５において、フレーム期間Ｆ４においてリセットが行われた画素（時刻ｔ５から時刻ｔ６の間にリセットが行われた画素）についての信号読出しタイミングを、この画素の露光時間とフレーム期間Ｆ５中にリセットが行われる画素の露光時間とが同じになるタイミングに制御してもよい。

具体的には、撮像素子駆動部１０は、図７に示すように、時刻ｔ６から時刻ｔ７までは読出し信号ＲＥの供給を行わない。そして、時刻ｔ７になると、撮像素子駆動部１０は、時刻ｔ５から時刻ｔ６の間のリセット信号ＲＳの傾きと同じ傾き（図中の一点鎖線）で読出し信号ＲＥの供給を行う。

時刻ｔ８以降、撮像素子駆動部１０は、時刻ｔ６以降のリセット信号ＲＳの傾きと同じ傾きで読出し信号ＲＥの供給を行う。

このようにすることで、フレーム期間Ｆ５において信号が読みだされる各画素の露光時間を同じにすることができる。

したがって、フリッカ検出部２０は、フレーム期間Ｆ４において読み出された第一の撮像画像信号と、フレーム期間Ｆ４に続く第二のフレーム期間であるフレーム期間Ｆ５において読み出された第二の撮像画像信号との比較により、フリッカの有無を判定することができる。

次に、撮像装置としてスマートフォンの構成について説明する。

図８は、本発明の撮影装置の一実施形態であるスマートフォン２００の外観を示すものである。図８に示すスマートフォン２００は、平板状の筐体２０１を有し、筐体２０１の一方の面に表示部としての表示パネル２０２と、入力部としての操作パネル２０３とが一体となった表示入力部２０４を備えている。

また、この様な筐体２０１は、スピーカ２０５と、マイクロホン２０６と、操作部２０７と、カメラ部２０８とを備えている。なお、筐体２０１の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図９は、図８に示すスマートフォン２００の構成を示すブロック図である。

図９に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２０４と、通話部２１１と、操作部２０７と、カメラ部２０８と、記憶部２１２と、外部入出力部２１３と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２１４と、モーションセンサ部２１５と、電源部２１６と、主制御部２２０とを備える。また、スマートフォン２００の主たる機能として、図示省略の基地局装置と図示省略の移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２２０の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０４は、主制御部２２０の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２０２と、操作パネル２０３とを備える。

表示パネル２０２は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。

操作パネル２０３は、表示パネル２０２の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２２０に出力する。次いで、主制御部２２０は、受信した検出信号に基づいて、表示パネル２０２上の操作位置（座標）を検出する。

図９に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン２００の表示パネル２０２と操作パネル２０３とは一体となって表示入力部２０４を構成しているが、操作パネル２０３が表示パネル２０２を完全に覆うような配置となっている。

係る配置を採用した場合、操作パネル２０３は、表示パネル２０２外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２０３は、表示パネル２０２に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル２０２に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２０２の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル２０３が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。

更に、外縁部分の幅は、筐体２０１の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル２０３で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部２１１は、スピーカ２０５やマイクロホン２０６を備え、マイクロホン２０６を通じて入力されたユーザの音声を主制御部２２０にて処理可能な音声データに変換して主制御部２２０に出力したり、無線通信部２１０あるいは外部入出力部２１３により受信された音声データを復号してスピーカ２０５から出力させたりするものである。

また、図１８に示すように、例えば、スピーカ２０５を表示入力部２０４が設けられた面と同じ面に搭載し、マイクロホン２０６を筐体２０１の側面に搭載することができる。

操作部２０７は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図８に示すように、操作部２０７は、スマートフォン２００の筐体２０１の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２１２は、主制御部２２０の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ウェブブラウジングによりダウンロードしたウェブデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部２１２は、スマートフォン内蔵の内部記憶部２１７と着脱自在な外部メモリスロットを有する外部記憶部２１８により構成される。なお、記憶部２１２を構成するそれぞれの内部記憶部２１７と外部記憶部２１８は、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２１３は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン２００に連結される外部機器としては、例えば、有線又は無線ヘッドセット、有線又は無線外部充電器、有線又は無線データポート、カードソケットを介して接続されるメモリカードやＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ）カード、ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオビデオ機器、無線接続される外部オーディオビデオ機器、有線又は無線接続されるスマートフォン、有線又は無線接続されるパーソナルコンピュータ、有線又は無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部２１３は、このような外部機器から伝送を受けたデータをスマートフォン２００の内部の各構成要素に伝達することや、スマートフォン２００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部２１４は、主制御部２２０の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部２１４は、無線通信部２１０や外部入出力部２１３（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２１５は、例えば、３軸の加速度センサなどを備え、主制御部２２０の指示にしたがって、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。係る検出結果は、主制御部２２０に出力されるものである。

電源部２１６は、主制御部２２０の指示にしたがって、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部２２０は、マイクロプロセッサを備え、記憶部２１２が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン２００の各部を統括して制御するものである。また、主制御部２２０は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２１２が記憶するアプリケーションソフトウェアにしたがって主制御部２２０が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部２１３を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、ウェブページを閲覧するウェブブラウジング機能などがある。

また、主制御部２２０は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２０４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２２０が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２０４に表示する機能のことをいう。

更に、主制御部２２０は、表示パネル２０２に対する表示制御と、操作部２０７、操作パネル２０３を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により、主制御部２２０は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。

なお、スクロールバーとは、表示パネル２０２の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２２０は、操作部２０７を通じたユーザ操作を検出したり、操作パネル２０３を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２２０は、操作パネル２０３に対する操作位置が、表示パネル２０２に重なる重畳部分（表示領域）か、それ以外の表示パネル２０２に重ならない外縁部分（非表示領域）かを判定し、操作パネル２０３の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２２０は、操作パネル２０３に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２０８は、図１に示したデジタルカメラにおける外部メモリ制御部２１、記録媒体２２、表示制御部２３、表示部２４、及び操作部１４以外の構成を含む。

カメラ部２０８によって生成された撮像画像データは、記憶部２１２に記録したり、外部入出力部２１３や無線通信部２１０を通じて出力したりすることができる。

図８に示すにスマートフォン２００において、カメラ部２０８は表示入力部２０４と同じ面に搭載されているが、カメラ部２０８の搭載位置はこれに限らず、表示入力部２０４の背面に搭載されてもよい。

また、カメラ部２０８はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２０２にカメラ部２０８で取得した画像を表示することや、操作パネル２０３の操作入力のひとつとして、カメラ部２０８の画像を利用することができる。

また、ＧＰＳ受信部２１４が位置を検出する際に、カメラ部２０８からの画像を参照して位置を検出することもできる。更には、カメラ部２０８からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２０８の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２０８からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部２１４により取得した位置情報、マイクロホン２０６により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部２１５により取得した姿勢情報等などを付加して記憶部２１２に記録したり、外部入出力部２１３や無線通信部２１０を通じて出力したりすることもできる。

以上のような構成のスマートフォン２００においても、図２及び図５に示した動作により、フリッカを精度よく検出することができる。

以上説明してきたように、本明細書には以下の事項が開示されている。

開示された撮像装置は、二次元状に配列された複数の画素を有するＭＯＳ型の撮像素子と、上記撮像素子をローリングシャッタ方式で駆動し、任意のフレームレートで上記撮像素子により複数回の撮像を行わせる撮像素子駆動部と、上記フレームレートに基づく第一のフレーム期間で上記複数の画素から読み出される第一の撮像画像信号と、上記フレームレートに基づく第二のフレーム期間で上記複数の画素から読み出される第二の撮像画像信号との比較により、フリッカの有無を検出するフリッカ検出部と、を備え、上記撮像素子駆動部は、上記第一のフレーム期間における上記複数の画素からの信号の読み出しを行う信号読出し期間の終了タイミングを、上記第一のフレーム期間の終了タイミングよりも前にし、上記第二のフレーム期間における上記信号読出し期間の終了タイミングを、上記第二のフレーム期間の終了タイミングと同じにするものである。

開示された撮像装置は、上記撮像素子駆動部は、上記第二のフレーム期間における上記信号読出し期間の開始タイミングを、上記第二のフレーム期間の開始タイミングよりも後にするものである。

開示された撮像装置は、上記撮像素子駆動部は、上記第二のフレーム期間における上記信号読出し期間を、上記第一のフレーム期間における上記信号読出し期間よりも長くするものである。

開示された撮像装置は、上記撮像素子駆動部は、上記第二のフレーム期間における上記信号読出し期間の開始タイミングを、上記第二のフレーム期間の開始タイミングにするものである。

開示された撮像装置は、上記第一のフレーム期間と上記第二のフレーム期間の間には別のフレーム期間が存在し、上記撮像素子駆動部は、上記別のフレーム期間における上記撮像素子の駆動方法を、上記第二のフレーム期間における上記撮像素子の駆動方法と同じにするものである。

開示された撮像装置は、上記第二のフレーム期間は、上記第一のフレーム期間に続く期間であり、上記フリッカ検出部は、上記第二の撮像画像信号のうち、上記第一のフレーム期間においてリセットが行われた上記画素から読み出された信号の輝度を補正し、補正後の第二の撮像画像信号と上記第一の撮像画像信号との比較によりフリッカの有無を検出するものである。

開示された撮像装置は、上記第二のフレーム期間は、上記第一のフレーム期間に続く期間であり、上記撮像素子駆動部は、上記第二のフレーム期間において、上記第一のフレーム期間においてリセットが行われた画素についての信号読出しタイミングを、その画素の露光時間と上記第二のフレーム期間においてリセットが行われる画素の露光時間とが同じになるタイミングに制御するものである。

開示された撮像装置は、上記撮像素子駆動部は、上記第一のフレーム期間と上記第二のフレーム期間を交互に繰り返して上記撮像素子により複数回の撮像を行わせるものである。

開示された撮像装置は、上記フリッカ検出部は、上記第二のフレーム期間で読み出される第二の撮像画像信号と、その第二のフレーム期間に続く上記第一のフレーム期間で読み出される第一の撮像画像信号との比較により、フリッカの有無を検出するものである。

開示された撮像装置は、上記撮像素子駆動部は、上記第一のフレーム期間における上記複数の画素の各々の露光時間と、上記第二のフレーム期間における上記複数の画素の各々の露光時間とを同じにするものである。

開示された撮像装置は、上記撮像素子駆動部は、上記第一のフレーム期間における上記複数の画素の各々の露光時間と、上記第二のフレーム期間における上記複数の画素の各々の露光時間とを、１／１００秒又は１／１２０秒未満に設定するものである。

開示されたフリッカ検出方法は、二次元状に配列された複数の画素を有するＭＯＳ型の撮像素子をローリングシャッタ方式で駆動し、任意のフレームレートで上記撮像素子により複数回の撮像を行わせる撮像素子駆動ステップと、上記フレームレートに基づく第一のフレーム期間で上記複数の画素から読み出される第一の撮像画像信号と、上記フレームレートに基づく第二のフレーム期間で上記複数の画素から読み出される第二の撮像画像信号との比較により、フリッカの有無を検出するフリッカ検出ステップと、を備え、上記撮像素子駆動ステップでは、上記第一のフレーム期間における上記複数の画素からの信号の読み出しを行う信号読出し期間の終了タイミングを、上記第一のフレーム期間の終了タイミングよりも前にし、上記第二のフレーム期間における上記信号読出し期間の終了タイミングを、上記第二のフレーム期間の終了タイミングと同じにするものである。

開示されたフリッカ検出方法は、上記撮像素子駆動ステップでは、上記第二のフレーム期間における上記信号読出し期間の開始タイミングを、上記第二のフレーム期間の開始タイミングよりも後にするものである。

開示されたフリッカ検出方法は、上記撮像素子駆動ステップでは、上記第二のフレーム期間における上記信号読出し期間を、上記第一のフレーム期間における上記信号読出し期間よりも長くするものである。

開示されたフリッカ検出方法は、上記撮像素子駆動ステップでは、上記第二のフレーム期間における上記信号読出し期間の開始タイミングを、上記第二のフレーム期間の開始タイミングにするものである。

開示されたフリッカ検出方法は、上記第一のフレーム期間と上記第二のフレーム期間の間には別のフレーム期間が存在し、上記撮像素子駆動ステップでは、上記別のフレーム期間における上記撮像素子の駆動方法を、上記第二のフレーム期間における上記撮像素子の駆動方法と同じにするものである。

開示されたフリッカ検出方法は、上記第二のフレーム期間は、上記第一のフレーム期間に続く期間であり、上記フリッカ検出ステップでは、上記第二の撮像画像信号のうち、上記第一のフレーム期間においてリセットが行われた上記画素から読み出された信号の輝度を補正し、補正後の第二の撮像画像信号と上記第一の撮像画像信号との比較によりフリッカの有無を検出するものである。

開示されたフリッカ検出方法は、上記第二のフレーム期間は、上記第一のフレーム期間に続く期間であり、上記撮像素子駆動ステップでは、上記第二のフレーム期間において、上記第一のフレーム期間においてリセットが行われた画素についての信号読出しタイミングを、その画素の露光時間と上記第二のフレーム期間においてリセットが行われる画素の露光時間とが同じになるタイミングに制御するものである。

開示されたフリッカ検出方法は、上記撮像素子駆動ステップでは、上記第一のフレーム期間と上記第二のフレーム期間を交互に繰り返して上記撮像素子により複数回の撮像を行わせるものである。

開示されたフリッカ検出方法は、上記フリッカ検出ステップでは、上記第二のフレーム期間で読み出される第二の撮像画像信号と、その第二のフレーム期間に続く上記第一のフレーム期間で読み出される第一の撮像画像信号との比較により、フリッカの有無を検出するものである。

開示されたフリッカ検出方法は、上記撮像素子駆動ステップでは、上記第一のフレーム期間における上記複数の画素の各々の露光時間と、上記第二のフレーム期間における上記複数の画素の各々の露光時間とを同じにするものである。

開示されたフリッカ検出方法は、上記撮像素子駆動ステップでは、上記第一のフレーム期間における上記複数の画素の各々の露光時間と、上記第二のフレーム期間における上記複数の画素の各々の露光時間とを、１／１００秒又は１／１２０秒未満に設定するものである。

開示されたフリッカ検出プログラムは、二次元状に配列された複数の画素を有するＭＯＳ型の撮像素子をローリングシャッタ方式で駆動し、任意のフレームレートで上記撮像素子により複数回の撮像を行わせる撮像素子駆動ステップと、上記フレームレートに基づく第一のフレーム期間で上記複数の画素から読み出される第一の撮像画像信号と、上記フレームレートに基づく第二のフレーム期間で上記複数の画素から読み出される第二の撮像画像信号との比較により、フリッカの有無を検出するフリッカ検出ステップと、をコンピュータに実行させるためのフリッカ検出プログラムであって、上記撮像素子駆動ステップでは、上記第一のフレーム期間における上記複数の画素からの信号の読み出しを行う信号読出し期間の終了タイミングを、上記第一のフレーム期間の終了タイミングよりも前にし、上記第二のフレーム期間における上記信号読出し期間の終了タイミングを、上記第二のフレーム期間の終了タイミングと同じにするプログラムである。

本発明は、特にデジタルカメラ等に適用して利便性が高く、有効である。

以上、本発明を特定の実施形態によって説明したが、本発明はこの実施形態に限定されるものではなく、開示された発明の技術思想を逸脱しない範囲で種々の変更が可能である。本出願は、２０１５年２月１６日出願の日本特許出願（特願２０１５−０２７５９４）に基づくものであり、その内容はここに取り込まれる。

５ 撮像素子
１０ 撮像素子駆動部
１１ システム制御部
２０ フリッカ検出部
Ｆ１〜Ｆ６ フレーム期間
ＲＳ リセット信号
ＲＥ 読出し信号
ｔ１〜ｔ８ 時刻

Claims (23)

1. 二次元状に配列された複数の画素を有するＭＯＳ型の撮像素子と、
   前記撮像素子をローリングシャッタ方式で駆動し、任意のフレームレートで前記撮像素子により複数回の撮像を行わせる撮像素子駆動部と、
   前記フレームレートに基づく第一のフレーム期間で前記複数の画素から読み出される第一の撮像画像信号と、前記フレームレートに基づく第二のフレーム期間で前記複数の画素から読み出される第二の撮像画像信号との比較により、フリッカの有無を検出するフリッカ検出部と、を備え、
   前記撮像素子駆動部は、前記第一のフレーム期間における前記複数の画素からの信号の読み出しを行う信号読出し期間の終了タイミングを、前記第一のフレーム期間の終了タイミングよりも前にし、前記第二のフレーム期間における前記信号読出し期間の終了タイミングを、前記第二のフレーム期間の終了タイミングと同じにする撮像装置。
2. 請求項１記載の撮像装置であって、
   前記撮像素子駆動部は、前記第二のフレーム期間における前記信号読出し期間の開始タイミングを、前記第二のフレーム期間の開始タイミングよりも後にする撮像装置。
3. 請求項１記載の撮像装置であって、
   前記撮像素子駆動部は、前記第二のフレーム期間における前記信号読出し期間を、前記第一のフレーム期間における前記信号読出し期間よりも長くする撮像装置。
4. 請求項３記載の撮像装置であって、
   前記撮像素子駆動部は、前記第二のフレーム期間における前記信号読出し期間の開始タイミングを、前記第二のフレーム期間の開始タイミングにする撮像装置。
5. 請求項４記載の撮像装置であって、
   前記第一のフレーム期間と前記第二のフレーム期間の間には別のフレーム期間が存在し、
   前記撮像素子駆動部は、前記別のフレーム期間における前記撮像素子の駆動方法を、前記第二のフレーム期間における前記撮像素子の駆動方法と同じにする撮像装置。
6. 請求項４記載の撮像装置であって、
   前記第二のフレーム期間は、前記第一のフレーム期間に続く期間であり、
   前記フリッカ検出部は、前記第二の撮像画像信号のうち、前記第一のフレーム期間においてリセットが行われた前記画素から読み出された信号の輝度を補正し、補正後の第二の撮像画像信号と前記第一の撮像画像信号との比較によりフリッカの有無を検出する撮像装置。
7. 請求項３記載の撮像装置であって、
   前記第二のフレーム期間は、前記第一のフレーム期間に続く期間であり、
   前記撮像素子駆動部は、前記第二のフレーム期間において、前記第一のフレーム期間においてリセットが行われた画素についての信号読出しタイミングを、当該画素の露光時間と前記第二のフレーム期間においてリセットが行われる画素の露光時間とが同じになるタイミングに制御する撮像装置。
8. 請求項２記載の撮像装置であって、
   前記撮像素子駆動部は、前記第一のフレーム期間と前記第二のフレーム期間を交互に繰り返して前記撮像素子により複数回の撮像を行わせる撮像装置。
9. 請求項８記載の撮像装置であって、
   前記フリッカ検出部は、前記第二のフレーム期間で読み出される第二の撮像画像信号と、当該第二のフレーム期間に続く前記第一のフレーム期間で読み出される第一の撮像画像信号との比較により、フリッカの有無を検出する撮像装置。
10. 請求項１〜４のいずれか１項記載の撮像装置であって、
    前記撮像素子駆動部は、前記第一のフレーム期間における前記複数の画素の各々の露光時間と、前記第二のフレーム期間における前記複数の画素の各々の露光時間とを同じにする撮像装置。
11. 請求項１〜１０のいずれか１項記載の撮像装置であって、
    前記撮像素子駆動部は、前記第一のフレーム期間における前記複数の画素の各々の露光時間と、前記第二のフレーム期間における前記複数の画素の各々の露光時間とを、１／１００秒又は１／１２０秒未満に設定する撮像装置。
12. 二次元状に配列された複数の画素を有するＭＯＳ型の撮像素子をローリングシャッタ方式で駆動し、任意のフレームレートで前記撮像素子により複数回の撮像を行わせる撮像素子駆動ステップと、
    前記フレームレートに基づく第一のフレーム期間で前記複数の画素から読み出される第一の撮像画像信号と、前記フレームレートに基づく第二のフレーム期間で前記複数の画素から読み出される第二の撮像画像信号との比較により、フリッカの有無を検出するフリッカ検出ステップと、を備え、
    前記撮像素子駆動ステップでは、前記第一のフレーム期間における前記複数の画素からの信号の読み出しを行う信号読出し期間の終了タイミングを、前記第一のフレーム期間の終了タイミングよりも前にし、前記第二のフレーム期間における前記信号読出し期間の終了タイミングを、前記第二のフレーム期間の終了タイミングと同じにするフリッカ検出方法。
13. 請求項１２記載のフリッカ検出方法であって、
    前記撮像素子駆動ステップでは、前記第二のフレーム期間における前記信号読出し期間の開始タイミングを、前記第二のフレーム期間の開始タイミングよりも後にするフリッカ検出方法。
14. 請求項１２記載のフリッカ検出方法であって、
    前記撮像素子駆動ステップでは、前記第二のフレーム期間における前記信号読出し期間を、前記第一のフレーム期間における前記信号読出し期間よりも長くするフリッカ検出方法。
15. 請求項１４記載のフリッカ検出方法であって、
    前記撮像素子駆動ステップでは、前記第二のフレーム期間における前記信号読出し期間の開始タイミングを、前記第二のフレーム期間の開始タイミングにするフリッカ検出方法。
16. 請求項１５記載のフリッカ検出方法であって、
    前記第一のフレーム期間と前記第二のフレーム期間の間には別のフレーム期間が存在し、
    前記撮像素子駆動ステップでは、前記別のフレーム期間における前記撮像素子の駆動方法を、前記第二のフレーム期間における前記撮像素子の駆動方法と同じにするフリッカ検出方法。
17. 請求項１５記載のフリッカ検出方法であって、
    前記第二のフレーム期間は、前記第一のフレーム期間に続く期間であり、
    前記フリッカ検出ステップでは、前記第二の撮像画像信号のうち、前記第一のフレーム期間においてリセットが行われた前記画素から読み出された信号の輝度を補正し、補正後の第二の撮像画像信号と前記第一の撮像画像信号との比較によりフリッカの有無を検出するフリッカ検出方法。
18. 請求項１４記載のフリッカ検出方法であって、
    前記第二のフレーム期間は、前記第一のフレーム期間に続く期間であり、
    前記撮像素子駆動ステップでは、前記第二のフレーム期間において、前記第一のフレーム期間においてリセットが行われた画素についての信号読出しタイミングを、当該画素の露光時間と前記第二のフレーム期間においてリセットが行われる画素の露光時間とが同じになるタイミングに制御するフリッカ検出方法。
19. 請求項１３記載のフリッカ検出方法であって、
    前記撮像素子駆動ステップでは、前記第一のフレーム期間と前記第二のフレーム期間を交互に繰り返して前記撮像素子により複数回の撮像を行わせるフリッカ検出方法。
20. 請求項１９記載のフリッカ検出方法であって、
    前記フリッカ検出ステップでは、前記第二のフレーム期間で読み出される第二の撮像画像信号と、当該第二のフレーム期間に続く前記第一のフレーム期間で読み出される第一の撮像画像信号との比較により、フリッカの有無を検出するフリッカ検出方法。
21. 請求項１２〜１５のいずれか１項記載のフリッカ検出方法であって、
    前記撮像素子駆動ステップでは、前記第一のフレーム期間における前記複数の画素の各々の露光時間と、前記第二のフレーム期間における前記複数の画素の各々の露光時間とを同じにするフリッカ検出方法。
22. 請求項１２〜２１のいずれか１項記載のフリッカ検出方法であって、
    前記撮像素子駆動ステップでは、前記第一のフレーム期間における前記複数の画素の各々の露光時間と、前記第二のフレーム期間における前記複数の画素の各々の露光時間とを、１／１００秒又は１／１２０秒未満に設定するフリッカ検出方法。
23. 二次元状に配列された複数の画素を有するＭＯＳ型の撮像素子をローリングシャッタ方式で駆動し、任意のフレームレートで前記撮像素子により複数回の撮像を行わせる撮像素子駆動ステップと、
    前記フレームレートに基づく第一のフレーム期間で前記複数の画素から読み出される第一の撮像画像信号と、前記フレームレートに基づく第二のフレーム期間で前記複数の画素から読み出される第二の撮像画像信号との比較により、フリッカの有無を検出するフリッカ検出ステップと、をコンピュータに実行させるためのフリッカ検出プログラムであって、
    前記撮像素子駆動ステップでは、前記第一のフレーム期間における前記複数の画素からの信号の読み出しを行う信号読出し期間の終了タイミングを、前記第一のフレーム期間の終了タイミングよりも前にし、前記第二のフレーム期間における前記信号読出し期間の終了タイミングを、前記第二のフレーム期間の終了タイミングと同じにするフリッカ検出プログラム。

Images