(実施形態)
(デジタルカメラ1の基本構成)
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図1は、本発明を実施した撮像装置の実施形態であるデジタルカメラ(以下、単にカメラと称す)1の概略構成を説明したブロック図である。図2は、本発明の実施形態に係るカメラ1を構成する各部の配置を例示的に説明した図である。なお、図1に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよいし、CPUやMPU等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。したがって、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
図1に図示するように、本実施形態のカメラ1は、カメラ本体100とカメラ本体100に着脱可能なレンズユニット200を備えている。以下、カメラ1としては、カメラ本体100にレンズユニット200が取り付らけた状態について説明する。なお、カメラ1が、カメラ本体100とレンズユニット200とが一体的に設けた構成であってもよい。
図1、2に図示するように、カメラ制御部101はカメラ1内部の各部の動作を統括的に制御するカメラ制御手段であって、内部にカメラ用のマイクロコンピュータ(CPU)を備えている。また、カメラ制御部101は、後述する主センサ106およびAEセンサ116の駆動を制御する撮像素子用の駆動制御手段でもある。したがって、カメラ制御部101は主センサ106およびAEセンサ116の駆動方式を制御することができる。
レンズ制御部201は、レンズユニット200の動作を制御するレンズ制御手段であって、内部にレンズ用のマイクロコンピュータ(LCPU)を備えている。なお、レンズユニット200にカメラ本体100が取り付けられた状態で、カメラ本体100側に設けられた端子群とレンズユニット200側に設けられた端子群とを介してカメラ制御部101とレンズ制御部201とが通信可能である。
撮像レンズ群202は、後述する主センサ106側へと被写体の光束を導く撮像レンズ群であって、フォーカスレンズ、シフトレンズ、ズームレンズなどを備えている。レンズ駆動部203は、撮像レンズ群202を駆動するレンズ駆動手段であって、例えば、フォーカスレンズの焦点が被写体に合焦するようにレンズユニット200を駆動することができる。絞り204は、撮像レンズ群202によってカメラ1の内部に導かれた被写体の光束に対応する光量を調節する光量調節部材である。絞り駆動部205は絞り204を駆動する絞り駆動手段である。
次に、クイックリターンミラー(以下、QRミラーと称す)102は、レンズユニット200を介して導かれた被写体の光束を、後述する主センサ106側およびAEセンサ116側へと導く光学部材である。QRミラー102は、ミラーダウン位置(第1の位置)とミラーアップ位置(第2の位置)に移動でき、ミラーダウン位置において被写体の光束をAEセンサ116側へと導く。また、QRミラー102は、ミラーアップ位置において被写体の光束を主センサ106側へと導く。
ミラー駆動部103はカメラ制御部101の指示に従ってQRミラー102を駆動するミラー駆動手段である。本実施形態では、ミラー制御手段であるカメラ制御部101がミラー駆動部103の駆動を制御することで、QRミラー102のミラーアップ位置およびミラーダウン位置への移動を制御される。
シャッタ104は、所謂フォーカルプレーン型の先幕/後幕に相当する遮光部材であり、主センサ106の遮光状態を変更することで主センサ106における電荷の蓄積時間を制御できる。シャッタ駆動部105はシャッタ104を駆動するシャッタ駆動手段である。
主センサ106は、所謂X−Yアドレスで二次元的に配された複数の画素を備えたCMOS等の電荷蓄積型の固体撮像素子であって、被写体の光束を光電変換(撮像)して画像データを出力する撮像素子である。本実施形態では主センサ106を第2の撮像素子と称する。なお、本実施形態のカメラ1における第1の撮像素子であるAEセンサ116については後述する。
第1の撮像信号処理部107は、主センサ106から出力される画像データに対して種々の処理を施す第1の信号処理手段である。例えば、第1の撮像信号処理部107は、画像データに対する増幅処理や、アナログ画像データからデジタル画像データへの変換を行うA/D変換処理、A/D変換後の画像データに対する各種の補正処理、所定の圧縮形式への圧縮処理等を行う。
第1のタイミング発生部108は、主センサ106と第1の撮像信号処理部107に対して各種のタイミング信号を出力する第1のタイミング発生手段である。メモリ109は、カメラ1の動作に関わるデータやカメラ1を用いて取得した種々のデータを記録可能な記録媒体である。本実施形態のメモリ109は、不揮発性メモリとしてROM領域、および、揮発性メモリとしてRAM領域を備えている。
インターフェース部110は、後述の外部記録媒体111への画像データなどの記録、又は外部記録媒体111から画像データなどの読み出しを行うための通信手段である。外部記録媒体111は、画像データなど各種のデータを記録する半導体メモリ等の記録媒体であって、カメラ本体100に着脱可能である。
表示部113は、TFT型LCD(薄膜トランジスタ駆動型液晶表示器)などで構成された表示手段であって、取得した静止画像や動画像を表示できる。表示駆動部112は、表示部113に画像データなどを表示させるための表示駆動手段である。外部インターフェース114は、外部機器115のような外部装置との画像データおよび制御信号などの情報通信を行うインターフェースである。
AEセンサ116は、所謂X−Yアドレスで二次元的に配された複数の画素を備えたCMOS等の電荷蓄積型の固体撮像素子である。本実施形態ではAEセンサ116を第1の撮像素子と称する。本実施形態のカメラ1は、AEセンサ116を用いて取得した画像データに基づいて、被写体の測光動作と、光源のフリッカーを検知する動作とを実行することができる。当該フリッカーを検知する動作の詳細については後述する。
なお、AEセンサ116は、画像データを取得する際の撮像に用いる撮像用の全画素で、電荷の蓄積開始から終了までを同時に実行する第1の駆動方式での駆動が可能である。また、AEセンサ116は、電荷の蓄積開始から終了までを列方向における複数の行(ライン)ごとに順に実行する第2の駆動方式での駆動が可能である。そして、本実施形態のカメラ1としては、少なくとも、第1の駆動方式でAEセンサ116を駆動して取得した画像データをフリッカーの検知には用いない構成である。この構成については、後述の撮像処理の説明にて言及する。
なお、上述したAEセンサ116における撮像用の全画素とは、少なくとも、画像データを取得する際の撮像に用いる画素であればよい。したがって、例えば、AEセンサ116の撮像用の画素としては、AEセンサ116を構成する全画素から撮像用に間引いた一部の画素であってもよいし、位相差検出専用の画素などを含まない構成であってもよい。
以上説明したように、本実施形態のAEセンサ116は駆動方式を切り替えることが可能である。上述した第1の駆動方式は所謂グローバルシャッタ方式であって、上述した第2の駆動方式は所謂ローリングシャッタ方式である。
第2の撮像信号処理部117は、AEセンサ116から出力される画像データに対して種々の処理を施す第2の信号処理手段である。第2の撮像信号処理部117が実行する信号処理の詳細は、第1の撮像信号処理部107と略同一なので説明を省略する。
なお、第2の撮像信号処理部117は、被写体を測光する測光手段でもある。具体的に、第2の撮像信号処理部117は、AEセンサ116を用いて取得した画像データの明るさを評価するために、当該画像データを示す画像を複数のブロックに分割し、各ブロックの平均輝度値を算出する。そして、第2の撮像信号処理部117は、各ブロックの平均輝度値を積分して代表輝度値を取得する。以降の説明では、この代表輝度値を測光値と称し、後述する静止画に対応した画像データを取得する際の露出制御など種々の処理および制御に用いる。本実施形態では、上述したAEセンサ116による画像データの取得から、第2の撮像信号処理部117による測光値の算出までの動作を測光動作と称する。また、第2の撮像信号処理部117は、光源の所定周期の光量変化(フリッカー)を検知するフリッカー検知手段でもある。上述した被写体の測光動作および光源のフリッカーの検知動作(以下、フリッカー検知動作と称す)の詳細については撮像処理の説明にて言及する。
第2のタイミング発生部118は、AEセンサ116と第2の撮像信号処理部117に対して各種のタイミング信号を出力する第2のタイミング発生手段である。ペンタプリズム119は、QRミラー102を介して入射した光束を図2に図示する光路でAEセンサ116とファインダー123へと導く光学部材である。
測距部121は、AFセンサ(不図示)を備えた測距手段であって、ハーフミラーであるQRミラー102を透過してサブミラー124に反射した光束に基づいて被写体のデフォーカス量を取得する。なお、AFセンサとしては公知のラインセンサなどを採用する。
測距部121が取得したデフォーカス量に基づいて、カメラ制御部101が被写体までの距離を算出する。そして、カメラ制御部101は、該被写体までの距離に関する情報に基づいて撮像レンズ群202の駆動制御を実行することで、フォーカスレンズを被写体に合焦させることができる。測距駆動部120は、測距部121を駆動する駆動手段である。
レリーズスイッチ122は、ユーザーの操作に応じて、被写体の撮像準備動作と撮像動作に関わる指示を入力できる操作手段である。レリーズスイッチ122のSW1状態(例えば半押し)で撮像準備動作が指示され、レリーズスイッチ122のSW2状態(例えば全押し)で撮像動作が指示される。なお、撮像準備動作としては、後述するフリッカー検知動作や測光動作などが含まれる。以上が本発明の実施形態に係るカメラ1の基本構成である。
(AEセンサ116の構成および駆動方式)
以下、図3〜5を参照して、AEセンサ116の詳細について説明する。図3は、本発明の実施形態に係るAEセンサ116の概略構成図であって、2次元の走査方法を採る固体撮像素子の構成を示したものである。画素301は、AEセンサ116の駆動の単位である1つの画素を示している。なお、以降の説明では、AEセンサ116を構成する画素301は全て撮像用の画素であるものとして説明する。フォトダイオード(以下、PDと称す)302は、光(被写体の光束)を電荷に変換する光電変換部である。フローティングディフュージョン(以下、FDと称す)306は、PD302で変換した電荷を一時的に蓄積しておく領域である。転送スイッチ303は、転送パルスφTXによってPD302で蓄積した電荷をFD306に転送するスイッチである。増幅MOSアンプ307は、ソースフォロアとして機能する増幅部である。選択スイッチ308は、選択パルスφSELVによって読み出し画素を選択するスイッチである。リセットスイッチ309は、リセットパルスφRESによってFD306に蓄積された電荷を除去するスイッチである。
定電流源311は、増幅MOSアンプ307の負荷となる電源部である。読み出し回路315は、選択スイッチ308で選択された画素のFD306に蓄積された電荷を、増幅MOSアンプ307と定電流源311による電荷・電圧変換で電圧に変換された後、信号出力線310を経て画素データとして読み出す回路部である。
選択スイッチ312は、読み出し回路315で読み出した画素データ(画素信号)を選択する選択スイッチであり、水平走査回路316によって駆動される。水平走査回路316によって選択された画素データは出力アンプ313で増幅されてAEセンサ116から出力される。垂直走査回路314は、転送スイッチ303,選択スイッチ308,リセットスイッチ309を選択するための回路部である。ここで、各パルスφTX、φRES、φSELVのそれぞれにおいて、垂直走査回路314によって走査選択された第n番目の走査ラインをφTXn、φRESn、φSELVnとする。また、第n+1番目の走査ラインをφTXn+1、φRESn+1、φSELVn+1とする。図3では、便宜上、第n番目の走査ラインから第n+6番目の走査ラインまでを示している。また、FD306、増幅MOSアンプ307及び定電流源311により、「フローティングディフュージョンアンプ」が構成される。
次に、図4を参照して、第1の駆動方式(グローバルシャッタ方式)に係るAEセンサ116の電荷の蓄積開始から画像データの読み出しまでの動作について説明する。図4は、本発明の実施形態に係るAEセンサ116を第1の駆動方式で駆動させた場合の電荷の蓄積動作に関する例示的なシーケンス図である。図4に図示するように、時刻t201からt202の間、全ラインのφRESとφTXにパルスが印加されて、転送スイッチ303及びリセットスイッチ309がオンする。これにより、全ラインのPD302とFD306に蓄積されている不要電荷が除去されてリセット動作が行われる。この動作が第1の駆動方式を用いたAEセンサ116の電子的な先幕シャッタに相当する。
続いて、時刻t202でφRESとφTXへのパルスの印加が解除されて、転送スイッチ303及びリセットスイッチ309がオフになり、全ラインのPD302に発生する電荷の蓄積動作が開始される。時刻t202からt203の間、全ラインのφTXにパルスが印加されて、転送スイッチ303がオンし、PD302に蓄積された電荷をFD306に転送する転送動作が行われる。この動作が第1の駆動方式を用いたAEセンサ116の電子的な後幕シャッタに相当する。
電荷転送後の時刻t203からt204の間、φSELVnにパルスが印加されて選択スイッチ308がオンすることにより、FD306で保持した電荷が電圧に変換され、画素データ(画素信号)として読み出し回路315に出力される。読み出し回路315で一時的に保持された画素データは、水平走査回路316によって時刻t107より順次出力される。そして、時刻t205で第nラインにおける画素からの画素データの読み出しが完了する。
次に、第n+1ラインにおいて、時刻t206からt207の間、φSELVn+1にパルスが印加されて選択スイッチ308がオンすることにより、FD306で保持した電荷が電圧に変換され、画素データとして読み出し回路315に出力される。読み出し回路315で一時的に保持された画素データは、水平走査回路316によって時刻t207より順次出力される。そして、時刻t208で第n+1ラインにおける画素からの画素データの読み出しが完了する。
なお、本実施形態では、PD302で光電変換した電荷をFD306で一時的に蓄積する構成であったが、これに限定されるものではない。例えば、特開2011−151500号公報に開示されているように、AEセンサ116の構成として、画素301ごとに電荷を蓄積する保持部(メモリ)を設けてもよい。この構成であれば、FD306に電荷を蓄積することで発生する暗電流の影響を抑制することができるので、他の画素の電荷蓄積に起因して発生する暗電流により画像データに生じるノイズを低減することができる。
次に、図5を参照して、第2の駆動方式(ローリングシャッタ方式)に係るAEセンサ116の電荷の蓄積開始から画像データの読み出しまでの動作について説明する。図5は、本発明の実施形態に係るAEセンサ116を第2の駆動方式で駆動させた場合の蓄積動作に関する例示的なシーケンス図である。図5に図示するように、第nラインにおいて、まず時刻t101からt102の間、φRESnとφTXnにパルスが印加されて、転送スイッチ303及びリセットスイッチ309がオンする。これにより、第nラインのPD302とFD306に蓄積されている不要電荷が除去されてリセット動作が行われる。続いて、時刻t102でφRESnとφTXnへのパルスの印加が解除されて、転送スイッチ303及びリセットスイッチ309がオフになり、第nラインのPD302に発生する電荷の蓄積動作が開始される。次に、時刻t103で時刻t102と同様に、第n+1ラインの蓄積動作が開始し、時刻t104で第n+2ラインの蓄積動作が開始する。この様に、一定間隔でAEセンサ116の列方向においてラインごとに順次リセットを解除し電荷の蓄積動作を開始する事で電子的な先幕シャッタ動作を実現している。第2の駆動方式を用いたAEセンサ116の電子的な先幕シャッタをローリング先幕シャッタと称し、そのタイミングを図5の太破線で例示的に図示する。
ここで第nラインに戻り、時刻t105からt106の間、φTXnにパルスが印加されて、転送スイッチ303がオンし、PD302に蓄積された電荷をFD306に転送する転送動作が行われる。第nラインの転送動作の終了に続き、時刻t106からt107の間、φSELVnにパルスが印加されて選択スイッチ308がオンすることで、FD306で保持した電荷が電圧に変換され、画素データ(画素信号)として読み出し回路315に出力される。読み出し回路315で一時的に保持された画素データは、水平走査回路316によって時刻t107より順次出力される。そして、時刻t108で第nラインにおける画素からの画素データの読み出しが完了する。
第n+1ラインにおいて、時刻t108からt109の間、φTXn+1にパルスが印加されて、転送スイッチ303がオンし、PD302に蓄積された電荷をFD306に転送する転送動作が行われる。第n+1ラインの転送動作の終了に続いて、時刻t109からt110の間、φSELVn+1にパルスが印加されて選択スイッチ308がオンすることにより、FD306で保持した電荷が電圧に変換され、画素データとして読み出し回路315に出力される。読み出し回路315で一時的に保持された画素データは、水平走査回路316によって時刻t110より順次出力される。そして、時刻t111で第n+1ラインにおける画素からの画素データの読み出しが完了する。この様に、一定間隔でAEセンサ116の列方向においてラインごとに順次電荷の転送及び読出しを行う事により電子的な後幕シャッタを実現している。第2の駆動方式を用いたAEセンサ116の電子的な後幕シャッタをローリング後幕シャッタと称し、そのタイミングを図5の太線で例示的に図示する。以上が、異なる2つの駆動方式における、AEセンサ116における電荷の蓄積開始から画像データの読み出しまでの動作である。なお、上述したAEセンサ116に関する各動作は、カメラ制御部(駆動制御手段)101が統括的に制御する。
以上説明したように、第2の駆動方式でAEセンサ116を駆動すると、AEセンサ116のラインごとにリセット動作から読み出し動作までのタイミング(少なくとも、電荷蓄積の開始から終了までのタイミング)が異なる。したがって、フリッカーが発生している場合は、第2の駆動方式でAEセンサ116を駆動することで、取得した画像データが示す画像にフリッカーの光量変化周期に起因する露光ムラが生じる場合がある。この画像に生じた露光ムラに基づいてフリッカーを検知することができるため、フリッカー検知動作を行う場合は、AEセンサ116を第2の駆動方式で駆動することが望ましい。
しかしながら、第2の駆動方式でAEセンサ116を駆動すると、取得した画像データが示す画像の上下で被写体がぶれる所謂ローリングシャッタ歪みが生じてしまう場合がある。例えば、第2の駆動方式でAEセンサ116を駆動して動体などの被写体を撮像した場合、画像内おける動体に対応した領域が不自然に歪んでしまう。この場合、AEセンサ116を第2の駆動方式で駆動して取得した画像データに基づいて測光動作や被写体検出、被写体追尾、フォーカス制御などの画像の評価を伴う動作を実行すると、上述した各動作の精度が低下してしまう場合がある。
したがって、カメラ1の大型化やコストアップを回避するため、同一の撮像素子を用いてフリッカーの検知動作と測光動作などのフリッカーの検知以外の動作を実行すると、フリッカーの検知と高精度な測光動作などを両立するのは困難である。すなわち、フリッカー検知動作に用いる画像データを取得する撮像素子と同一の撮像素子を用いて、フリッカー検知動作に用いない画像データを、品位の低下を抑制して取得することは困難である。
そこで、本実施形態のカメラ1は、フリッカー検知動作に用いる画像データは、第2の駆動方式でAEセンサ116を駆動させて取得し、測光動作などに用いる画像データは、第1の駆動方式でAEセンサ116を駆動させて取得する。本実施形態のカメラ1は、この構成を採用することによって、同一の撮像素子を用いてフリッカー検知動作と測光動作などを実行する場合であっても、フリッカーの検知と高精度な測光動作などを両立することができる。すなわち、本実施形態のカメラ1は、この構成を採用することによって、フリッカーの検知に用いる画像を取得する撮像素子と同一の撮像素子を用いて、フリッカーの検知に用いない画像を、品位の低下を抑制して取得することができる。
なお、第1の駆動方式でAEセンサ116を駆動する場合は撮像用の全画素で一括して電荷の蓄積を開始できるため、第2の駆動方式でAEセンサ116を駆動する場合よりも、前回の電荷蓄積の終了から次の電荷蓄積の開始までの間隔を短くできる。また、この構成により、第1の駆動方式でAEセンサ116を駆動する場合は、電荷蓄積に関わる読み出し期間中に次の電荷蓄積(撮像)に備えたQRミラー102やシャッタ104などの動作が可能である。したがって、第1の駆動方式でAEセンサ116を駆動する場合は、第2の駆動方式でAEセンサ116を駆動する場合よりも、電荷蓄積の終了から次の電荷蓄積を開始するまでの間隔を短くすることができる。以上説明したように、第1の駆動方式でAEセンサ116を駆動する場合は、第2の駆動方式でAEセンサ116を駆動する場合よりも、連続撮像を実行する間隔を短くすることができるため、連続撮像の撮像速度を速めることができる。以上説明したAEセンサ116の駆動方式の切り替えについては、後述の撮像処理の説明において詳しく言及する。
(撮像処理)
以下、図6を参照して、カメラ1の撮像処理について説明する。図6は、本発明に係る撮像処理を説明するフローチャートである。なお、以降の説明では、フリッカー検知動作を実行する場合であって、ユーザーによるレリーズスイッチ122の操作に応じて連続撮像が実行される場合について説明する。なお、以降の説明では、撮像処理において取得される画像データを単に画像と称する。
レリーズスイッチ122がSW1状態にされたことに応じて撮像処理が開始される。ステップS601でカメラ制御部(駆動制御手段)101は、第2のタイミング発生部118を介して、AEセンサ116を第2の駆動方式で駆動し、測光動作用およびフリッカー検知動作用の画像を取得する。次に、ステップS602で第2の撮像信号処理部(測光手段)117は、ステップS601で取得した画像に基づいて測光動作を実行する。また、ステップS603で第2の撮像信号処理部(フリッカー検知手段)117は、ステップS601で取得した画像に基づいて前述したフリッカー検知動作を実行する。
ここで、ステップS601〜603の処理について図7、8を参照して説明する。図7は、本発明に係るフリッカー検知動作用の撮像を例示的に説明するタイミングチャートである。図7(a)は、カメラ1を構成する各部の動作を示している。また、図7(b)は、フリッカーの光量変化周期が判明していない場合のフリッカー検知動作(第1のフリッカー検知動作)用の撮像を示している。また、図7(c)は、フリッカーの光量変化周期が判明している場合のフリッカー検知動作(第2のフリッカー検知動作)用の撮像を示している。図8は、本発明に係るフリッカー検知動作および測光動作用の画像の取得方法を例示的に説明する図である。図8(a)は、測光動作用の画像の取得方法を示し、図8(b)は、フリッカー検知動作用の画像の取得方法を示している。
レリーズスイッチ122がSW1状態にされると、カメラ制御部101は、AEセンサ116を第2の駆動方式で駆動し、測光動作およびフリッカー検知動作のために期間t11〜t12に計4回の撮像を実行する(図7(a))。この動作が前述したステップS601の処理に該当する。
上述した計4回の撮像としては、各撮像において、AEセンサ116の最初のラインの読み出し開始から最後のラインの読み出し終了までの時間が、フリッカーの光量変化の半周期以上の時間となるようにカメラ制御部101によって制御されている。また、計4回の撮像で取得される連続した画像間では、画像間に生じるフリッカーの影響がそれぞれ逆位相の関係となるようにカメラ制御部101によって制御されている。具体的に、連続する撮像間におけるAEセンサ116の同一ラインでの電荷の読み出しから次の読み出しまでの間隔が、フリッカーの光量変化の半周期と略等しくなるようにカメラ制御部101によって制御されている。以上説明した様子を示したのが図7(b)である。
この構成により、フリッカーが発生している場合は、連続した2回の撮像によって取得する2つの画像間において、それぞれフリッカーの影響が逆位相の関係となる(図8(a))。すなわち、蓄積Aと蓄積Bにおいて取得した画像同士は、図8(a)に図示するように、画像内において露光ムラの発生する位置(画像内における明暗部分の位置)が上下反転する。蓄積Cと蓄積Dにおいて取得した画像間でも同様に、画像内において露光ムラが発生する位置が上下反転する。
したがって、画像Aと画像B、または画像Cと画像Dをそれぞれ加算することで、図8(a)に図示するように、フリッカーの影響を低減した画像Eおよび画像E’を取得できる。第2の撮像信号処理部117は、この画像Eまたは画像E’を用いて測光動作を実行する。この動作が前述したステップS602の処理に該当する。
第2の撮像信号処理部117は、図8(b)に図示するように、画像A〜Bを画像Eで除算し、画面内に生じたフリッカー成分を抽出した画像F、F1を取得する。同様に、第2の撮像信号処理部117は、画像データC〜Dを画像E’で除算して画像F2〜F3を取得する。この処理により、画像F〜F3として、画像A〜Fに対応した含まれるフリッカー成分のみを抽出することができる。
そして、第2の撮像信号処理部117は、画像Fと画像F1におけるフリッカー成分のピークタイミングを用いて、フリッカーの光量変化周期を検知する。具体的に、第2の撮像信号処理部117は、画像Fおよび画像F1のピークタイミングの差(ピーク間のライン数など)に基づいてフリッカーの光量変化周期を検知する。なお、第2の撮像信号処理部117は、画像F2およびF3についても、前述した画像Fと画像F1と同様の処理を実行し、フリッカーの光量変化周期を検知する。
なお、蛍光灯などの人工光源でフリッカーが発生している場合、フリッカーの周波数は商用電源周波数の2倍に等しくなる。例えば、商用電源周波数が50Hzの地域ではフリッカーの周波数は100Hzとなり、フリッカーの光量変化周期はフリッカー周波数の逆数で10msとなる。同様に商用電源周波数が60Hzの地域ではフリッカーの周波数は120Hzとなり、その光量変化周期はフリッカーの周波数の逆数で8.33msとなる。カメラ1の電源がオンされてから初めてフリッカー検知動作を実行する場合は、フリッカーの光量変化周期が上述した10msなのか8.33msなのかがわからない。この場合、AEセンサ116の駆動タイミングをフリッカーの光量変化周期に基づいて正しく設定することができないので、フリッカー検知動作を正確に実行できない場合がある。
そこで、本実施形態では、フリッカー検知精度を向上させるために、第2の撮像信号処理部117が画像Fと画像F1におけるフリッカーのピークタイミングの差と、画像F2と画像F3におけるフリッカーのピークタイミングの差とを比較する。
例えば、AEセンサ116の駆動タイミングがフリッカーの光量変化周期に合わせて正しく設定されている場合は、連続する画像間でのフリッカーのピークタイミングの差は常に略同一になる。したがって、第2の撮像信号処理部117は、連続する画像間におけるフリッカーのピークタイミングの差がそれぞれ異なる場合に、AEセンサ116の駆動タイミングがフリッカーの光量変化に対して正しく設定されていないと判定する。そして、この場合、カメラ制御部101はAEセンサ116の駆動タイミングを正しい設定に変更する。そして、改めてフリッカー検知動作用に撮像を実行し、当該撮像によって取得した画像に基づいて測光動作およびフリッカー検知動作を実行する。この構成により、本実施形態のカメラ1はフリッカーの検知動作および測光動作の精度を向上させることができる。
なお、本実施形態では、フリッカー検知動作用に計4回の撮像を実行する場合について説明したが、フリッカー検知動作用としては、少なくとも2回の撮像を実行する構成であればよい。例えば、計2回の撮像で取得した連続した画像間におけるフリッカーのピークタイミングの差と、AEセンサ116の同一ラインでの連続する読み出しの間隔に基づいてフリッカーの光量変化周期を正しく判定することもできる。この構成であれば、計2回の撮像を実行するだけでフリッカーの光量変化周期を正確に検知できるので、計4回の撮像を実行する場合よりもフリッカー検知動作に係る時間を短くすることができる。
また、フリッカーが発生していない場合は画像データF〜F3にフリッカー成分が現れない。第2の撮像信号処理部117は、このフリッカー成分の有無に基づいてフリッカーの発生有無を検知することができる。以上説明した構成によって、本実施形態のカメラ1は、フリッカーの発生有無、ピークタイミング、光量変化周期を検知することができる。そして、カメラ1は、フリッカー検知動作に用いる画像と同一の画像に基づいて測光動作を実行することができる。
図6に戻り、ステップS604でカメラ制御部101は、レリーズスイッチ122がSW2状態にされたか否かを判定する。カメラ制御部101によりレリーズスイッチ122がSW2状態ではない(ステップS604でNO)と判定された場合はステップS601の処理に戻る。この一連の処理が、図7(a)の期間t12〜t13に相当する。なお、レリーズスイッチ122のSW1状態が解除されている場合は、撮像処理を終了する。
また、カメラ制御部101によりレリーズスイッチ122がSW2状態である(ステップS604でYES)と判定された場合はステップS605の処理に進む。ステップS605でカメラ制御部101は、ステップS603におけるフリッカーの検知結果に基づいて後の処理を場合分けする。
フリッカーが発生していない場合、ステップS606でカメラ制御部101は、先に取得した被写体までの距離に関する情報や測光値等に基づいてカメラ1の各部を動作させ、主センサ106を用いて(静止画像用の)電荷蓄積および読み出しを実行する。すなわち、カメラ制御部101は、主センサ106を用いて被写体の撮像を実行して記録用の画像(静止画像)を取得する。
次に、ステップS607でカメラ制御部101は、第2のタイミング発生部118を介して、AEセンサ116を第1の駆動方式で駆動し、測光動作用の画像データを取得する。すなわち、ステップS607でカメラ制御部101は、AEセンサ116を所謂グローバルシャッタ方式で駆動して画像を取得する。
図9は、本発明に係る撮像処理においてフリッカーが検知されなかった場合のカメラ1に関するタイミングチャートを例示的に説明した図である。図9に図示するように、本実施形態のカメラ1は、連続撮像間でフリッカー検知動作を実行しない場合に、第1の駆動方式でAEセンサ116を駆動して測光動作用の画像を取得する。
なお、ステップS607における電荷の蓄積時間は、便宜的にフリッカーの光量変化の略1周期に相当する時間を設定するが、これに限定されるものではない。測光動作の精度が低下しないような画像を取得できる時間であれば、どのような蓄積時間でもよい。
次に、ステップS608で第2の撮像信号処理部117はステップS607の処理で取得した画像に基づいて測光動作を実行する。当該測光動作によって取得した測光値は連続撮像における次の撮像に対応した露出制御に用いる。
以上説明したように、フリッカー検知動作によりフリッカーが発生していないことを検知した場合は、連続する撮像間においてAEセンサ116を第1の駆動方式で駆動する。この構成を採用した本実施形態のカメラ1は、AEセンサ116のラインごとに電荷の蓄積開始から終了までのずれがない画像を取得することができる。本実施形態のカメラ1は、当該画像を用いて測光動作を実行することで、測光動作の精度が低下するのを抑制することができる。また、前述した構成を採用した本実施形態のカメラ1は、前述したように、前回の電荷蓄積の終了から次の電荷蓄積を開始するまでの間隔を更に短くすることができるため、連続撮像の撮像速度を速めることができる。
次に、フリッカーが発生している(ステップS605でフリッカーありと判定された)場合について説明する。この場合、ステップS609で第1のタイミング発生部108は、検知したフリッカーのピークタイミングに基づき、静止画像を取得するための撮像(電荷の蓄積および読み出し)のタイミングを制御する。具体的に、第1のタイミング発生部108は、フリッカーの光量変化が少ない期間で静止画像用の撮像を実行するような撮像タイミングを設定する。撮像タイミングとしては、主センサ106において、最初に読み出しが行われるラインでの電荷蓄積の開始から最後に読み出しが行われるラインでの電荷蓄積の終了まで期間の略中心が、フリッカーのピークタイミングに略一致するようなタイミングを設定する。この構成であれば、フリッカーの影響を低減させた静止画像を取得することができる。なお、フリッカーのピークタイミングではなくボトムタイミングに基づいて撮像タイミングを設定してもよい。
ステップS610でカメラ制御部101は、先に設定した撮像タイミングに基づいて、主センサ106を用いた被写体の撮像を実行し、記録用の画像(静止画像)を取得する。次に、ステップS611でカメラ制御部101は、第2のタイミング発生部118を介して、AEセンサ116を第2の駆動方式で駆動し、測光動作用およびフリッカー検知動作用の画像を取得する。すなわち、ステップS611でカメラ制御部101は、AEセンサ116を所謂ローリングシャッタ方式で駆動して測光動作およびフリッカー検知動作用の画像を取得する。
なお、一度検知したフリッカーの光量変化周期が短時間の間に変化する確率は低いため、連続撮像の撮像間においては、図7(c)に図示するように計2回の撮像を実行する。この構成により、ステップS601の処理よりもステップS611の処理の方が、測光動作用およびフリッカー検知動作用の画像の取得に掛る時間を、2回の撮像に必要な時間の分だけ短縮することができる。ステップS612の処理は前述したステップS602と同様なので説明は省略する。なお、ステップS612で取得した測光値は次の静止画像を取得する際の露出制御に用いる。
ステップS613で第2の撮像信号処理部117は、前述したステップS603と略同様に、画像Fと画像F1を取得し、当該画像Fおよび画像F1に基づいてフリッカー検知動作(第2のフリッカー検知動作)を実行する。なお、前述したように、連続撮像間においてフリッカーの光量変化周期が変化する確率は低いので、ステップS613の処理ではフリッカーのピークタイミングのみを検知するような構成であってもよい。ステップS613で取得したフリッカーのピークタイミングに関する情報は、次の静止画像用の撮像タイミングの設定に用いる。
次に、ステップS614でカメラ制御部101は、レリーズスイッチ122がSW2状態であるか否かを判定する。カメラ制御部101によりレリーズスイッチ122がSW2状態である(ステップS614でYES)と判定された場合は、ステップS605の処理に戻る。また、カメラ制御部101によりレリーズスイッチ122がSW2状態ではない(ステップS614でNO)と判定された場合は、撮像処理を終了する。すなわち、レリーズスイッチ122のSW2状態が解除されて連続撮像が終了した場合は、現在の撮像処理を終了する。以上が本実施形態の撮像処理である。
以上説明したように、本実施形態のカメラ1は、第2の駆動方式でAEセンサ116を駆動して取得した画像をフリッカー検知動作に用いる。そして、フリッカー検知動作によりフリッカーが発生していないことが検知された場合は、当該検知後の(静止画像取得用の)連続撮像間においてAEセンサ116を第1の駆動方式で駆動する。
また、フリッカー検知動作によりフリッカーが発生していることが検知された場合は、当該検知後の(静止画像取得用の)連続撮像間においてAEセンサ116を第2の駆動方式で駆動する。この構成を採用した本実施形態のカメラ1は、AEセンサ116を用いてフリッカーの検知が可能であって、AEセンサ116撮像素子を用いて取得する画像の品位が低下することを抑制することができる。すなわち、本実施形態のカメラ1は、フリッカーの検知に用いる画像を取得する撮像素子と同一の撮像素子を用いて、フリッカーの検知に用いない画像を、品位の低下を抑制して取得することができる。
したがって、本実施形態のカメラ1であれば、フリッカーの検知を正確に行いつつ、フリッカーの検知が必要ない場合は高品位な画像に基づいて測光動作を実行できるため、測光の精度が低下することを抑制できる。また、本実施形態のカメラ1は、フリッカー検知動作を実行しない場合は第1の駆動方式でAEセンサ116を駆動する。したがって、本実施形態のカメラ1は、フリッカー検知動作を実行しない場合の連続撮像の撮像速度を、フリッカー検知動作を実行する場合よりも速くすることができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらに限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、前述した実施形態では、フリッカーの影響により露光ムラが生じた2つの画像を加算することで、フリッカーの影響を低減した画像を取得したが、3つ以上の画像を加算してフリッカーの影響を低減した画像を取得する構成であってもよい。この場合、フリッカーの光量変化周期を鑑みて、AEセンサ116の駆動タイミングやフレームレートなどを制御すればよい。
また、前述した実施形態では、フリッカー検知動作用の画像を用いて測光動作を実行する構成について説明したが、これに限定されるものではない。例えば、第2の駆動方式でAEセンサ116を駆動し、フリッカー検知動作用の画像と測光動作用の画像とを別々に取得する構成であってもよい。カメラ1としては、少なくとも、フリッカー検知動作用の画像は第2の駆動方式でAEセンサ116を駆動して取得し、フリッカー検知動作に用いない画像は第1の駆動方式でAEセンサ116を駆動する構成であればよい。この構成であれば、同一の撮像素子を用いてフリッカー検知動作と測光動作などを実行する場合であっても、測光動作などに用いる画像の品位が低下することを抑制しつつフリッカー検知が可能である。
また、前述した実施形態では、記録用の静止画像を取得する際の連続撮像間において測光動作に用いる画像を取得する場合について説明したが、これに限定されるものではない。本実施形態のカメラ1としては、少なくとも、記録用の静止画像を取得する際の連続撮像間において、画像の評価を伴う動作に用いる画像を取得する構成であればよい。
この画像の評価を伴う動作としては、具体的に、前述の測光動作、顔検出や特定被写体の検出などの被写体検出、被写体追尾、撮像レンズ群202のフォーカスレンズのレンズ位置に関する制御など、露出制御やフォーカス制御に関する動作である。
例えば、フリッカーが検知されていない場合、第2の撮像信号処理部117は第1の駆動方式でAEセンサ116を駆動して取得された画像に基づいて、上述した動作のうちの少なくとも1つを実行する。この構成であれば、AEセンサ116を用いて、フリッカーが発生していない場合に、画像の評価を伴う動作に用いる画像を品位の低下を抑制して取得することができる。したがって、上述した構成を採用したカメラ1は、フリッカーの発生有無に応じて、フリッカー検知動作と高精度な測光や被写体検出などの画像の評価を伴う動作とを両立することができる。
なお、前述した実施形態では、AEセンサ116を第1の駆動方式で駆動する場合、画像を取得時の撮像用の全画素での電荷の蓄積開始から終了までを同時に実行する場合について説明したが、これに限定されるものではない。第1の駆動方式でのAEセンサ116の駆動方法としては、画像を取得時の撮像用の全画素での電荷の蓄積開始から終了までが略同時であればよい。具体的に、画像取得時のAEセンサ116の撮像用の各ライン間で互いの(ラインの)電荷蓄積に影響しないような時間的な差であれば、蓄積開始と終了のタイミングがライン間でずれているような構成であっても構わない。
例えば、画像取得時のAEセンサ116の撮像用の全ラインにおいて、電荷蓄積の開始から終了までのタイミングのライン間における差の最大値が略1ms以下であれば、動体を撮像した場合でも当該動体の動きによる画像への影響は小さい。この場合、AEセンサ116のライン間で電荷蓄積の開始から終了までのタイミングがずれることに応じてローリングシャッタ歪が生じた画像が取得されたとしても、当該画像内における被写体のブレ量は小さい。したがって、当該画像に基づいて測光動作など画像の評価を伴う動作を実行しても、当該動作の精度は低下する確率は低い。
なお、電荷蓄積の開始から終了までのタイミングのライン間における差の最大値として許容可能な閾値としては、上述した略1ms以外であっても、画像の評価を伴う動作の精度が低下しないような閾値であればどのようなものであってもよい。カメラ1としては、AEセンサ116を第1の駆動方式で駆動して取得した画像に基づいて、被写体の測光動作などの画像の評価を伴う動作を実行する場合に、当該動作の精度が低下しないような高品位の画像を取得できる構成であればよい。
また、前述した実施形態では、AEセンサ116の駆動方式を切り替える構成について説明したが、主センサ106の駆動方式を切り替える構成であってもよい。以下、この詳細をカメラ1の変形例として図10を参照して説明する。本変形例を適用した撮像装置であるカメラ1の基本的な構成は前述した実施形態と同一であるため説明は省略するが、例えば、本変形例を適用したカメラ1としては、QRミラー102やAEセンサ116などを設けない構成においても有効である。なお、主センサ106の構成は、前述した実施形態におけるカメラ1のAEセンサ116の構成と略同一とする。したがって、主センサ106は第1の駆動方式(グローバルシャッタ方式)および第2の駆動方式(ローリングシャッタ方式)での駆動が可能である。なお、測光動作などは第1の撮像信号処理部107で実行する構成であればよい。
図10は、本発明の変形例に係る撮像処理のタイミングチャートを例示的に説明した図である。図10(a)は、フリッカー検知動作を実行する場合のタイミングチャートであって、図10(b)は、フリッカー検知動作を実行しない場合のタイミングチャートである。なお、図10(a)、(b)に示すタイミングチャートでは、レリーズスイッチ122がSW1状態されたことに応じてフリッカーの発生有無や、(フリッカーが発生している場合は)その光量変化周期とピークタイミングが既に検知されているものとする。そして、レリーズスイッチ122がSW2状態にされたことに応じて被写体の静止画像を取得するための撮像が実行されるものとする。レリーズスイッチ122がSW1状態にされたことに伴うフリッカー検知動作と測光動作は前述した実施形態と同一なので説明は省略する。
フリッカーが検知されている場合、図10(a)に図示するように、連続撮像間の期間t41〜t42においてカメラ制御部101は、第1のタイミング発生部108を介して主センサ106を第2の駆動方式で駆動して撮像を実行する。当該撮像で取得された画像に基づき、第1の撮像信号処理部107は測光動作およびフリッカー検知動作用を実行する。なお、測光動作には、期間t41〜t42の間に取得した複数の画像同士を加算したフリッカーの影響を低減した画像を用いる。
そして、期間t42〜t43において、カメラ制御部101は、測光動作で算出された測光値に基づき絞り204などを駆動させる。また、カメラ制御部101は、前述したフリッカーの影響を低減した画像のコントラスト評価値に基づいて撮像レンズ群202のフォーカス制御を実行する。そして、カメラ制御部101は、絞り204の駆動が完了したことに応じて、期間t43〜t44で主センサ106を第2の駆動方式で駆動させて静止画像を取得する。
次に、フリッカーが検知されていない(フリッカーが発生していないことが検知されている)場合について説明する。この場合、図10(b)に図示するように、期間t51〜t52においてカメラ制御部101は、第1のタイミング発生部108を介して主センサ106を第1の駆動方式で駆動して撮像を実行する。当該撮像で取得された測光用の画像に基づき、第1の撮像信号処理部107は測光動作を実行する。測光動作およびフォーカス制御に関してはフリッカー発生時と略同一なので説明を省略する。そして、カメラ制御部101は、絞り204の駆動が完了したことに応じて、期間t53〜t54で主センサ106を第2の駆動方式で駆動させて静止画像を取得する。
以上説明したように、本変形例を適用した撮像装置は、主センサ106を用いて、フリッカー検知用の画像と、フリッカー検知に用いない画像を品位の低下を抑制して取得することができる。したがって、本変形例の構成を適用したカメラ1であっても、前述した実施形態のカメラ1と同様に、フリッカー検知動作とフリッカー検知以外の高精度な測光などを両立することができる。また、本変形例のカメラ1であれば、主センサ106以外のセンサを設けることなく、フリッカー検知動作と高精度な測光動作などを両立することができるため、カメラ1の小型化とカメラ1のコスト低減に効果的である。
なお、上述の説明では、静止画像を取得する際の主センサ106の駆動方式として、第2の駆動方式(ローリングシャッタ方式)を採用する場合について説明したが、これに限定されるものではない。例えは、静止画像を取得する際の主センサ106の駆動方式として、第1の駆動方式(グローバルシャッタ方式)を採用する構成であってもよい。この構成であれば、ローリングシャッタ歪の影響により静止画像の品位が低下することも抑制できるため、例えば、動体などを撮像する場合であっても高品位な静止画像を取得することができる。また、この構成であれば、主センサ106で蓄積した電荷を読み出している期間で次の撮像用にシャッタ104などを駆動することができる。したがって、この構成を採用したカメラ1は、第2の駆動方式で主センサ106を駆動した場合よりも、連続撮像の撮像速度を速くすることができる。以上説明したように、本変形例を採用したカメラ1としては、静止画像を取得する際の主センサ106の駆動方式として、第1の駆動方式を採用するのが望ましい。
また、前述した実施形態では、カメラ制御部101、第1の撮像信号処理部107、第2の撮像信号処理部117などが互いに連携して動作することで、カメラ1の動作を制御する構成であったが、これに限定されるものではない。例えば、前述した図6に図示したフローに従ったプログラムを予めメモリ109に格納しておき、当該プログラムをカメラ制御部101などが実行することで、カメラ1の動作を制御する構成であってもよい。
また、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。また、プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記録媒体でもあってもよい。
また、前述した実施形態では、本発明を実施する撮像装置の一例としてデジタルカメラについて説明したが、これに限定されるものではない。例えば、デジタルビデオカメラやスマートフォンなどの可搬デバイスや、セキュリティーカメラなど、デジタルカメラ以外の撮像装置を採用する構成であってもよい。
(その他の実施形態)
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。