WO2022172639A1 - 撮像装置、撮像方法、プログラム - Google Patents

Abstract

撮像装置は、検出されたフリッカ成分の周期および該フリッカ成分のピークタイミングに基づいて、ピークタイミングに露光期間内の特定タイミングを同期させるフリッカレス撮像の露光タイミング制御を行う制御部を備える。またフリッカレス撮像により得られた画像データの各ラインとフリッカ光源の位相関係の検出結果に基づいて、画像データのフレーム内フリッカを低減するフリッカ補正を行うフリッカ補正部を備える。

Description

撮像装置、撮像方法、プログラム

　本技術は撮像装置、撮像方法、プログラムに関し、特にフリッカの影響を低減する技術に関する。

　撮像装置（カメラ）では、撮像した画像にフリッカの影響が生じる場合がある。例えば室内用の光源として普及している蛍光灯や、近年普及が拡大しているＬＥＤ（Light Emitting Diode）等は、商用電源周波数の影響により周期的に照明光が明滅するいわゆるフリッカが生じる。そのため、そのような照明環境下で撮像した画像では、このようなフリッカによる色むら等の画質の低下が生じる。
　下記特許文献１では、フリッカ成分の周期およびピークのタイミングを検出し、ピークタイミングに露光のタイミングを同期させる制御を行うことで、フリッカの影響を低減した、いわゆるフリッカレス撮像を行う技術が開示されている。

ＷＯ２０１７／２１７１３７号公報

　ところでフリッカレス撮像は、幕速がフリッカの周期よりも十分に短い組み合わせのときに行うようにしている。例えば光源のフリッカ周期が１００Ｈｚや１２０Ｈｚであり、メカニカルシャッターにより幕速が約１～４ｍｓのような組み合わせである。
　これは、幕速がフリッカの周期よりも十分短い状態ではない場合、フリッカレス撮像を行っても、撮像された画像のフレーム内にフリッカが残ってしまうためである。

　ところが近年、幕速の長い電子シャッター速度の使用や、ＬＥＤ光源による高周波のフリッカ環境下での撮像の機会も増え、幕速がフリッカの周期よりも十分に短いといった撮影条件とならないことも多くなり、そのような場合でもフリッカ軽減を行う要請が高まっている。

　そこで本開示では、例えば幕速がフリッカの周期よりも十分に短いという条件に限定せずにフリッカの影響を回避する技術を提案する。

　本技術に係る撮像装置は、検出されたフリッカ成分の周期および該フリッカ成分のピークタイミングに基づいて前記ピークタイミングに露光期間内の特定タイミングを同期させるフリッカレス撮像の露光タイミング制御を行う制御部と、前記フリッカレス撮像により得られた画像データの各ラインとフリッカ光源の位相関係の検出結果に基づいて、画像データのフレーム内フリッカを低減するフリッカ補正を行うフリッカ補正部と、を備える。
　いわゆるフリッカレス撮像として、フリッカ成分のピークタイミングに露光期間内の特定タイミングを同期させるようにする場合を想定する。そのようなフリッカレス撮像を行う場合でも生ずるフリッカ成分を補正する。

　上記した本技術に係る撮像装置においては、前記フリッカ補正部は、前記フリッカ補正として、前記ライン毎のフリッカの位相と、前記ライン毎のフリッカの振幅に基づいて前記ライン毎にフリッカ補正値を算出し、画像データを、前記ライン毎に補正する処理を行うことが考えられる。
　ライン毎にフリッカ補正を行うことで、各ラインの露光タイミングとフリッカ周期との関係に適した補正を行うようにする。

　上記した本技術に係る撮像装置においては、前記フリッカ補正部は、前記ライン毎のフリッカの位相と前記ライン毎のフリッカの振幅を、前記フリッカレス撮像のためのフリッカ検出結果から求めることが考えられる。
　フリッカレス撮像のために行うフリッカ検出結果により得られるライン毎のフリッカの位相と振幅の情報を、フリッカ補正に使用する。

　上記した本技術に係る撮像装置においては、前記フリッカ補正部は、少なくとも、撮像動作における幕速がフリッカの周期に基づく所定値よりも長い場合に前記フリッカ補正を行うことが考えられる。
　フリッカレス撮像は幕速がフリッカの周期よりも十分に短い場合に最も効果がある。逆に幕速がフリッカの周期よりも十分に短いという条件に合わない場合にはフリッカレス撮像の効果が小さい。その場合にフリッカ補正を行うようにする。

　上記した本技術に係る撮像装置においては、前記制御部は、フリッカ周期と幕速の関係に基づいて前記フリッカ補正部による前記フリッカ補正の実行の有無の制御を行うことが考えられる。
　制御部は、幕速とフリッカ周期の情報を取得し、その関係が所定の関係条件となっているか否かにより、フリッカ補正を実行するか否かを決める。

　上記した本技術に係る撮像装置においては、前記制御部は、前記フリッカレス撮像のためのフリッカ検出結果として得られるフリッカ周期の情報を、前記フリッカ補正の実行の有無の判定に用いることが考えられる。
　フリッカレス撮像のために行うフリッカ検出結果により得られるフリッカ周期の情報を、フリッカ補正の実行判定に使用する。

　上記した本技術に係る撮像装置においては、前記制御部は、判定処理時点の撮像動作として選択されている、画像サイズ又はシャッター方式に基づく幕速の情報を、前記フリッカ補正の実行の有無の判定に用いることが考えられる。
　即ち画像サイズやシャッター方式により幕速が変動することに対応する。

　上記した本技術に係る撮像装置においては、前記特定タイミングは、露光重心のタイミングであることが考えられる。
　例えば露光重心のタイミングは、撮像素子の垂直方向における略中央ラインの露光期間の略中央のタイミングである。

　上記した本技術に係る撮像装置においては、前記制御部は、前記特定タイミングと前記ピークタイミングのずれ量が設定したマージン内であるときは前記フリッカレス撮像の露光タイミング制御を行わないようにすることが考えられる。
　フリッカレス撮像として、フリッカ成分のピークタイミングに露光期間内の特定タイミングを同期させるようにする場合に、その特定タイミングがマージン内のずれであれば、同期のための制御をおこなわないようにする。

　上記した本技術に係る撮像装置においては、前記制御部は、ライブビュー画像の表示を行いながら連写撮像または動画撮像を行う場合に、前記特定タイミングと前記ピークタイミングのずれ量が設定したマージン内であるときは前記フリッカレス撮像の露光タイミング制御を行わないようにすることが考えられる。
　連写中において、露光の特定タイミングを必ずしもフリッカピークに合わせず、ずれ量を加味して補正をかけるようにする。

　本技術に係る撮像方法は、撮像装置が、検出されたフリッカ成分の周期および該フリッカ成分のピークタイミングに基づいて前記ピークタイミングに露光期間内の特定タイミングを同期させるフリッカレス撮像の露光タイミング制御を行うとともに、前記フリッカレス撮像により得られた画像データの各ラインとフリッカ光源の位相関係の検出結果に基づいて、画像データのフレーム内フリッカを低減するフリッカ補正を行う撮像方法である。
　これによりフリッカレス撮像の際にフリッカ補正が行われるようにする。
　本技術に係るプログラムは、以上のフリッカ補正の処理を演算処理装置に実行させるプログラムである。
　これにより本開示の撮像装置を容易に実現できるようにする。

本技術の実施の形態の撮像装置のブロック図である。 記録待機時とキャプチャ時の処理の流れの説明図である。 実施の形態のデジタル信号処理部の要部のブロック図である。 フリッカの位相、周期及び振幅の説明図である。 フリッカレス撮像の説明図である。 実施の形態のフリッカ検波・補正部のブロック図である。 フリッカレス撮像によってもフリッカの影響が生ずる場合の説明図である。 実施の形態のフリッカ周期と静止画撮像のパラメータの関係の説明図である。 実施の形態のフリッカ補正の実行の有無の設定処理のフローチャートである。 ライブビュー画像が非円滑になる場合の説明図である。 実施の形態の露光及びライブビュー画像表示の説明図である。 実施の形態のマージンに応じたフリッカレス制御のフローチャートである。 実施の形態のマージン設定例の説明図である。

　以下、実施の形態を次の順序で説明する。
＜１．撮像装置の構成＞
＜２．フリッカレス撮像とフリッカ補正＞
＜３．マージンに応じたフリッカレス制御＞
＜４．まとめ及び変形例＞

　なお、本開示で用いる用語のいくつかについて、その意味を説明しておく。
　「画像」は静止画、動画を含む用語である。
　「ライン」は静止画又は動画としての１フレームの画像において水平方向に並ぶ画素のラインを指す。
　「キャプチャ露光」は、ユーザ（撮像者）が、撮像装置のレリーズボタン（シャッターボタン）を操作することに応じて行われる画像記録のための露光動作を指す。
　「キャプチャ画像」はキャプチャ露光によって得られた画像信号に基づく画像である。キャプチャ画像は静止画、連写による複数の静止画、動画の１フレームなどとして記録媒体に記録される。
　「コマ間露光」は、連写撮像の際に、キャプチャ露光と次のキャプチャ露光の間の期間に行われる露光であり、特にライブビュー画像を生成するための露光である。従って撮像素子からの読出はキャプチャ露光よりも少ない画素数の読出（低解像度画像用の露光）とすることができる。

　「ライブビュー画像」又は「ＬＶ画像」は、撮像素子により撮像されて表示部にユーザが視認可能な状態で表示される画像を指す。即ちリアルタイムでの被写体側の光景を示す画像である。
　例えば静止画のレリーズ操作前の時点では、コマ間露光と同様の低解像度画像の撮像が行われてライブビュー画像の各フレームの画像データが生成される。
　連写撮像の場合のライブビュー画像は、キャプチャ露光とコマ間露光の両方から生成される。
　なお一般的に、キャプチャ画像は、撮像素子の画素数を反映した高画素数の高解像度画像として生成され、記録されるが、ライブビュー画像は、表示部の表示可能な画素数に合わせた低解像度の画像として生成されて表示される。

＜１．撮像装置の構成＞
　図１は実施の形態の撮像装置１の構成例を示している。
　撮像装置１では、被写体からの光が、撮像光学系１１を介して例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサにより構成される撮像素子１２に入射して、撮像素子１２で光電変換され、撮像素子１２からアナログ画像信号が得られる。特に本実施の形態の場合、ローリングシャッター方式で動作するＣＭＯＳセンサを想定している。

　撮像光学系１１には、ズームレンズ、フォーカスレンズ、集光レンズ等の各種レンズや、絞り機構、ズームレンズの駆動機構、フォーカスレンズの駆動機構が設けられている。メカニカルシャッター（例えばフォーカルプレーンシャッター）が設けられる場合もある。

　撮像素子１２は、例えばＣＭＯＳ基板上に、フォトダイオード（フォトゲート）、転送ゲート（シャッタートランジスタ）、スイッチングトランジスタ（アドレストランジスタ）、増幅トランジスタ、リセットトランジスタ（リセットゲート）などを有する画素が複数、２次元状に配列されて形成されるとともに、垂直走査回路、水平走査回路および画像信号出力回路が形成されたものである。

　撮像素子１２は、原色系と補色系のいずれでもよく、撮像素子１２から得られるアナログ画像信号は、ＲＧＢ各色の原色信号または補色系の色信号である。また撮像素子１２がカラーフィルタを有さない構成とされて、撮像素子１２から得られるアナログ画像信号は白黒の画像信号となるようにしてもよい。
　撮像素子１２からのアナログ画像信号は、ＩＣ（Integrated circuit：集積回路）として構成されたアナログ信号処理部１３において、色信号ごとに、サンプルホールドされ、ＡＧＣ（Automatic Gain Control ：自動利得制御）によって振幅調整され、Ａ／Ｄ（Analog to Digital）変換によってデジタル画像信号に変換される。
　アナログ信号処理部１３からのデジタル画像信号（以下、画像データ）は、一時記憶部２６に入力される。
　なお撮像素子１２とアナログ信号処理部１３、或いはさらに一時記憶部２６は、一体化されている場合もある。また一時記憶部２６として次に述べるフレームメモリは積層型撮像素子内に設けられてもよい。

　一時記憶部２６は、この例では２つのフレームメモリ２６Ａ、２６Ｂを備えている。
　アナログ信号処理部１３からの画像データは、フレームメモリ２６Ａと、フレームメモリ２６Ｂに交互に格納される。すなわち一時記憶部２６は、２つの連続撮像された画像フレームを格納する。一時記憶部２６に格納された画像データは、先行格納フレームから、順次、デジタル信号処理部２０に出力される。すなわち、フレームメモリ２６Ａと、フレームメモリ２６Ｂから、交互に撮像順に従って、順次、デジタル信号処理部２０に出力される。
　このようにフレームメモリ２６Ａ，２６Ｂを備えることで、例えば連写撮像中にもライブビュー画像を継続して、ブラックアウトすることなく表示させることができる。

　デジタル信号処理部２０は、例えばＤＳＰ（Digital Signal Processor）等の演算処理装置により画像処理プロセッサとして構成される。このデジタル信号処理部２０は、入力された画像データに対して、各種の信号処理を施す。例えばカメラプロセスとしてデジタル信号処理部２０は、前処理、同時化処理、ＹＣ生成処理等を行う。
　またデジタル信号処理部２０では、これらの各種処理が施された画像データについて、ファイル形成処理として、例えば記録用や通信用の圧縮符号化、フォーマティング、メタデータの生成や付加などを行って記録用や通信用のファイル生成を行う。例えば静止画ファイルとしてＪＰＥＧ、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式の画像ファイルの生成を行う。またＭＰＥＧ－４準拠の動画・音声の記録に用いられているＭＰ４フォーマットなどとしての画像ファイルの生成を行うことも考えられる。
　なおロー（RAW）画像データとして画像ファイルを生成することも考えられる。
　またデジタル信号処理部２０では、各種の信号処理が施された画像データに対して、解像度変換処理を実行し、例えばライブビュー表示のために低解像度化した画像データを生成する。

　またデジタル信号処理部２０にはフリッカ検波・補正部２５が設けられる。
　フリッカ検波・補正部２５は、フリッカレス撮像が実行できるようにするため、フリッカの周期やピークタイミングを検出して、それらの情報をカメラ制御部２１に伝える処理を行う。
　フリッカレス撮像とは、詳細は後述するが、フリッカ光源から生じるフリッカによる画質への影響（画質の低下）を低減することができる撮像動作である。
　またフリッカ検波・補正部２５は、フリッカレス撮像により得られた画像データに対して、さらにフリッカ低減のためのフリッカ補正の処理も行う。
　フリッカ補正についても詳細は後述する。

　メモリ部２７は、画像データのバッファメモリを示している。
　デジタル信号処理部２０で処理された画像データは、メモリ部２７に一旦格納され、所定のタイミングで表示部１５や記録制御部１４、或いは通信部１６に転送される。

　記録制御部１４は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部１４は例えば記録媒体に対し動画データや静止画データ等の画像ファイルを記録する処理を行う。
　記録制御部１４の実際の形態は多様に考えられる。例えば記録制御部１４は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよい。また記録制御部１４は、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また記録制御部１４は、撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。

　表示部１５は撮像者に対して各種表示を行う表示部であり、例えば撮像装置１の筐体に配置される液晶パネル（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等による表示パネルやビューファインダーとされる。
　表示部１５は、カメラ制御部２１の指示に基づいて表示画面上に各種表示を実行させる。
　例えば表示部１５は、記録制御部１４において記録媒体から読み出された画像データの再生画像を表示させる。
　また表示部１５にはデジタル信号処理部２０で表示用に解像度変換された撮像画像の画像データが供給され、それに応じた表示、例えばライブビュー画像の表示を行う。
　また表示部１５はカメラ制御部２１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。

　通信部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。例えば外部の情報処理装置、表示装置、記録装置、再生装置等に対して画像データ（静止画ファイルや動画ファイル）やメタデータの送信出力を行う。
　また通信部１６はネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワーク通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うことができる。

　操作部１７は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部１７は撮像装置１の筐体に設けられた各種の操作子（キー、ダイヤル、タッチパネル、タッチパッド等）を示している。
　操作部１７によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部２１へ送られる。

　ＡＥ（Automatic Exposure）検波部１８は、デジタル画像信号から自動露光調整のための検波処理を行い、明るさ情報をカメラ制御部２１に供給する。

　カメラ制御部２１はＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータ（演算処理装置）により構成される。
　メモリ部１９は、カメラ制御部２１が処理に用いる情報等を記憶する。図示するメモリ部１９としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを包括的に示している。
　メモリ部１９はカメラ制御部２１としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
　カメラ制御部２１はメモリ部１９のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１の全体を制御する。

　例えばカメラ制御部２１は、デジタル信号処理部２０における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作等の制御を行う。
　またカメラ制御部２１は、ＡＥ検波部１８からの検波信号に基づく自動露出制御として、絞り機構の動作制御、撮像素子１２のシャッタースピードの制御、アナログ信号処理部１３におけるＡＧＣゲイン制御を行う。
　またカメラ制御部２１は、オートフォーカス制御やマニュアルフォーカス操作、ズーム操作等に応じてのフォーカスレンズやズームレンズの駆動制御を行う。

　またカメラ制御部２１には、フリッカレス制御部２４としての機能が例えばソフトウェアにより設けられている。従ってカメラ制御部２１はフリッカレス制御を行う撮像制御装置に相当する。

　フリッカレス制御部２４は、検出されたフリッカ成分の周期および該フリッカ成分のピークタイミングに基づいて、ピークタイミングに露光期間内の特定タイミング（例えば露光重心のタイミング）を同期させるタイミング制御を行う。即ちフリッカレス撮像が実行されるように制御する。
　なお、ここでいう露光期間とはメカニカルシャッター、電子シャッターによる有効露光期間を指す。

　またフリッカレス制御部２４は、このようなフリッカレス撮像を行う場合に、デジタル信号処理部２０におけるフリッカ検波・補正部２５でフリッカ補正が行われるように制御する。
　フリッカレス制御部２４は、フリッカ検波・補正部２５でフリッカ補正が常時行われるようにする場合もあるし、条件に応じてフリッカ補正の実行の有無を設定する場合もある。

　またフリッカレス制御部２４は、フリッカレス撮像に関して、フリッカのピークタイミングと露光期間内の特定タイミングのずれ量がピークタイミングからのずれ許容量として設定したマージン内であるときは、上記のフリッカレス撮像のためのタイミング制御を行わないようにする場合もある。マージンは、露光期間をずらさなくても、フリッカレス撮像効果が或る程度維持されるような範囲に設定される。
　このような動作については、「マージンに応じたフリッカレス制御」として後述する。

　メモリ部１９におけるＲＡＭは、カメラ制御部２１のＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
メモリ部１９におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、各種動作のためのアプリケーションプログラムや、ファームウエア、各種の設定情報等の記憶に用いられる。
　各種の設定情報としては、通信設定情報、撮像動作に関する設定情報、画像処理に係る設定情報などがある。撮像動作に関する設定情報としては、露出設定、シャッタースピード設定、メカニカルシャッター又は電子シャッターの幕速設定、モード設定、上述のマージンの設定などがある。

　ドライバ部２２には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
　これらのモータドライバはカメラ制御部２１からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。

　撮像素子１２におけるシャッタースピードや、露光タイミングなどは、タイミングジェネレータ２３によるタイミング信号に応じて決定される。
　タイミングジェネレータ２３はカメラ制御部２１からのタイミング制御信号に基づいて撮像素子１２に対する各種タイミング信号を出力する。これにより撮像素子１２がカメラ制御部２１の制御に基づいて駆動されることになる。

　ここで、静止画記録の待機中などのライブビュー画像の表示の際と、キャプチャ画像の記録時のデータ処理の流れを図２Ａ、図２Ｂで説明しておく。
　各図において矢印ＬＶはライブビュー画像データの流れ、矢印ＣＡＰはキャプチャ画像データの流れを示している。

　まず図２Ａは、レリーズ操作や動画記録開始操作の待機中にライブビュー画像表示を行うときの処理の流れである。
　撮像光学系１１を介して入射される光は撮像素子１２に入射し、撮像素子１２は光電変換による画像信号を出力する。

　なお、この場合の画像信号はライブビュー表示用の比較的低解像度の画像信号である。例えば撮像素子１２は、ライブビュー表示のための画像信号を出力する際は、全画素の出力を行うことなく、一部を間引いた低画素数の画素信号の出力を行う。
　一方、キャプチャ露光により記録用の画像信号を出力する際は、高画素数の記録用の画像を生成する必要があるため、撮像素子１２のほぼ全画素の画素信号の出力を行う。

　図２Ａにおいて撮像素子１２からの画像信号はアナログ信号処理部１３で処理され、デジタル信号として一時記憶部２６に供給される。上述のようにデジタル化された画像データは、フレーム毎に、フレームメモリ２６Ａ、２６Ｂに交互に格納される。そして一時記憶部２６に格納された画像データは、先行格納フレームから、順次、デジタル信号処理部２０に出力される。デジタル信号処理部２０では必要な処理を行ってライブビュー表示のための画像データを生成し、メモリ部２７に格納する。表示部１５は、メモリ部２７に格納されたＬＶ画像を表示する。

　図２Ｂはキャプチャ画像の記録時のデータ処理の流れである。例えばユーザがレリーズ操作を行うと、この図２Ｂの処理が行われる。
　ユーザがレリーズ操作を行うと、撮像光学系１１を介して入射される光は撮像素子１２に入射し露光処理が開始される。ただし、レリーズ操作後、撮像素子１２における露光処理が開始されるまでには一定の時間間隔、すなわち、レリーズラグ（レリーズタイムラグ）がある。例えば約１５ｍｓｅｃから３０ｍｓｅｃ程度の時間である、

　撮像素子１２における露光処理が終了すると、撮像素子１２は、光電変換による画像信号をアナログ信号処理部１３に出力する。この場合の画像信号は、例えば静止画記録用の高解像度の画像信号である。
　なお図２Ａ、図２Ｂでは矢印ＬＶを細く、矢印ＣＡＰを太く示しているが、これは画像信号の画素数を矢印の太さで表現したものである。

　アナログ信号処理部１３でデジタル信号に変換された画像データは一時記憶部２６を介してデジタル信号処理部２０で処理される。この場合、デジタル信号処理部２０は、記録用の高解像度の画像データを生成するとともに、ライブビュー表示のための低解像度の画像データも生成し、併せてメモリ部２７に格納する。そして記録用の画像データは記録制御部１４に転送されて記録処理され、ライブビュー表示用の画像データは表示部１５に転送されてライブビュー表示に用いられる。

　以上のように静止画記録のためのレリーズ操作前の状態、及びレリーズ操作時には、ライブビュー表示が行われるが、レリーズ後のタイミングでライブビュー画像の表示が途切れる現象（ブラックアウト）がある。
　このライブビュー画像がブラックアウトして途切れることを防止する処理について説明しておく。
　ライブビュー画像の露光中にレリーズ操作が行われると、カメラ制御部２１は、撮像素子１２に対して、ライブビュー画像の露光を中断させ、モード変更を指示する。例えばキャプチャ露光をするために読出画素や解像度などの変更を指示する。そしてカメラ制御部２１は、キャプチャ露光の準備が整った後に撮像素子１２のキャプチャ露光を開始させる。

　このような動作の流れにおいては、レリーズ操作タイミングにおいて実行中のライブビュー画像のための露光が中断させられることで、そのフレームのライブビュー画像が表示できなくなり、ブラックアウトが発生する。ブラックアウトは、キャプチャ露光が行われて、図２Ｂのようなキャプチャ露光に基づくライブビュー画像のフレームが表示されるまで続く。

　そのようなブラックアウトを防止するための一手法として、レリーズ操作タイミングで行われていたライブビュー画像のための露光を中断させないという手法がある。即ちレリーズタイミングにおいて実行中のライブビュー画像のための露光を中断させずに完了まで待ち、その画像データを例えばフレームメモリ２６Ａに格納することで、そのフレームのライブビュー画像を表示できるようにする。
　ライブビュー画像の露光が完了した後に、キャプチャ露光の準備を行い、準備後にキャプチャ露光を行うが、そのキャプチャ露光の画像データはフレームメモリ２６Ｂに格納していくようにする。すると、キャプチャ露光の画像データに基づくライブビュー画像データが生成できまでの期間、フレームメモリ２６Ａの画像データを用いてライブビュー画像の表示を継続できる。これによりブラックアウトが発生しない。

　ブラックアウトを防止する手法は他にもある。例えばライブビュー画像のための露光を行ってフレームメモリ２６Ｂに書き込んでいるときにレリーズ操作が行われたら、その露光を中断し、フレームメモリ２６Ａに格納済み最新画像（例えば露光を中断したフレームの１つ前のフレームの画像データ）をフレームメモリ２６Ｂにコピーする。そしてフレームメモリ２６Ｂからの画像でライブビュー画像の表示を継続するようにする。このときキャプチャ露光の画像データは、フレームメモリ２６Ａに書き込まれていき、キャプチャ露光の完了後、そのキャプチャ露光の画像データに基づくライブビュー画像が表示されるようにする。

　このようにフレームメモリ２６Ａ、２６Ｂを使用することで、レリーズ操作時にライブビュー画像が途切れないようにすることができる。

　また同様の処理で、例えば連写撮像中にも、ライブビュー画像を継続して表示させることができる。
　連写撮像中は、所定周期でキャプチャ露光を繰り返す。このキャプチャ露光の周期が、ライブビュー画像のフレームレートによる１フレーム周期より長い場合、キャプチャ露光とキャプチャ露光の間に１又は複数回のコマ間露光を行う。
　例えば「キャプチャ露光」「コマ間露光」「コマ間露光」「キャプチャ露光」「コマ間露光」「コマ間露光」・・・というような露光動作を連写終了まで繰り返す。

　この場合に、コマ間露光からキャプチャ露光に切り替わるときに、上述のレリーズタイミングと同様の制御を行えば、連写中にブラックアウトを生じさせずにライブビュー画像を表示させることができる。

　次に、デジタル信号処理部２０の一部の構成例、特にフリッカ検波・補正部２５の位置づけを説明するための構成例を図３に示す。図３は原色系システムの場合の構成例である。
　原色系システムは、図１の撮像光学系１１が被写体からの光をＲＧＢ各色の色光に分離する分解光学系を有し、撮像素子１２としてＲＧＢ各色用の撮像素子を有する３板システム、または、撮像素子１２として、光入射面にＲＧＢ各色の色フィルタが画面水平方向に１画素ごとに順次、繰り返し配列された一つの撮像素子を有する１板システムである。

　図３のデジタル信号処理部２０では、クランプ回路４１で、入力のＲＧＢ原色信号の黒レベルが所定レベルにクランプされ、ゲイン調整回路４２で、露出量に応じてクランプ後のＲＧＢ原色信号のゲインが調整される。

　フリッカ検波・補正部２５Ｒ，２５Ｇ，２５Ｂでは、フリッカレス撮像のために、フリッカ成分の周期やフリッカ成分のピークタイミングの検出を行う。またフリッカ検波・補正部２５Ｒ，２５Ｇ，２５Ｂでは、ＲＧＢ原色信号中のフリッカ成分を低減させるフリッカ補正処理も可能である。

　フリッカ検波・補正部２５Ｒ，２５Ｇ，２５Ｂを経たＲＧＢ原色信号は、ホワイトバランス調整回路４３でホワイトバランスが調整され、ガンマ補正回路４４で、ホワイトバランス調整後のＲＧＢ原色信号の階調が変換され、合成マトリクス回路４５で、ガンマ補正後のＲＧＢ原色信号から、出力の輝度信号Ｙおよび色差信号Ｒ－Ｙ，Ｂ－Ｙが生成される。

　原色系システムでは、一般に図３のようにＲＧＢ原色信号の処理が全て終了した後に輝度信号Ｙが生成されるので、ＲＧＢ原色信号の処理過程でＲＧＢ原色信号中のフリッカ成分を低減することによって、各色成分および輝度成分のフリッカ成分を共に十分に低減することができる。

　ただし、図３のようにフリッカ検波・補正部２５Ｒ，２５Ｇ，２５ＢによってＲＧＢ各色の原色信号ごとにフリッカ成分を検出し、低減する代わりに、例えば、合成マトリクス回路４５の輝度信号Ｙの出力側にフリッカ検波・補正部２５を設けて、輝度信号Ｙ中のフリッカ成分を検出し、低減するように構成してもよい。

＜２．フリッカレス撮像とフリッカ補正＞
　フリッカレス撮像について説明する。
　まず図４により、ＮＴＳＣシステムを例に挙げて、蛍光灯により生じるフリッカ成分の一例について説明する。なお、ここでは、フレームレートを６０ｆｐｓ（frames per second）、商用電源周波数を５０Ｈｚ（ヘルツ）とした場合について説明する。この場合に生じるフリッカ成分の特徴は以下の通りである。
・１画面中には、５／３周期分発生する（３フレーム（フィールドでもよい）を繰り返し周期とする）。
・１ラインごとに位相が変化する。
・商用電源周波数（５０Ｈｚ）の２倍の周波数（１００Ｈｚ）を持つ正弦波として扱うことができる。

　上記の特徴から、フリッカ現象が起きている際には、図４のようなフリッカ成分が発生している。なお、図４では、上側（画面上部）から下側（画面下部）に向かって走査が行われているものとする。

　撮像素子１２では、水平ラインごとに露光タイミングが異なるため、水平ラインに応じて受光量が変化してしまう。よって、蛍光灯が空間的に均一に照明していたとしても、図４のように、画像信号の値が平均値よりも高い水平ラインと、画像信号の値が平均値よりも小さい水平ラインが存在してしまう。
　例えば、図４のフレームでは、画像中の最も上の水平ライン、すなわち、先頭ラインでフリッカ成分（フリッカ成分の振幅）が最も高くなるピークとなっている。さらに、先頭ラインから、１画面に含まれる総ライン数の３／５に相当するラインずれた水平ラインで、フリッカ成分も最も高くなる。

　このようにフリッカ成分は、図４に示すような振幅、周期、及び初期位相を持つｓｉｎ関数（正弦波）で表すことができる。なお初期位相とは先頭ラインでの位相を意味している。

　さらに、フレームに応じて、各水平ラインの位相が変化する。すなわち、フレーム毎に、画像信号の値が平均値よりも高い水平ラインと、画像信号の値が平均値よりも低い水平ラインが変化する。次のフレームでは、初期位相が異なる正弦波となる。例えば、蛍光灯によるフリッカが１００Ｈｚで発生し、フレームレートが６０ｆｐｓであるとすると、蛍光灯のフリッカの５周期分が、３フレームに相当する時間となる。よって、３フレーム毎に初期位相が同じ位相となる。このように、水平ラインおよびフレームに応じて、フリッカ成分が変動する。

　このような画像に表れるフリッカの影響を低減する撮像がフリッカレス撮像である。
　図５の模式図で説明する。図５ではフリッカ光源の１０ｍｓ周期の振幅を示している。また露光動作１００を示している。露光動作１００は、垂直方向に並ぶ水平ライン数Ｌ、有効画素の先頭から最後までの読出期間（幕速）Ｒ、露光期間（シャッタースピード）ｅで規定される平行四辺形で模式的に示されている。

　この露光動作１００の場合、露光期間がフリッカの１周期より短く、かつ露光重心のタイミングが、フリッカのピークタイミングＰＴと一致している。露光重心のタイミングとは、撮像素子の垂直方向における略中央ラインの露光期間の略中央のタイミングである。
　このようにピークタイミングＰＴに同期するようなタイミングで露光を行うと、フリッカの影響を低減させた画像を得ることができる。

　ここで、露光動作の周期により、次の露光動作１０１が図示のタイミングになったとする。上述のようにフリッカの周期と撮像画像のフレームレートに応じたフレーム周期は一致しているわけではないので、ある時点で露光動作１００のようになっても、他の時点で露光動作１０１のようにフリッカ波形の谷の部分など、フリッカの振幅がかなり低下している期間に露光を行うことも生ずる。この場合、画像にフリッカの影響が比較的大きく現れてしまう。

　そこで、露光動作１０１のタイミングを遅らせ、露光動作１０１Ｓとして示すように、露光重心のタイミングがフリッカのピークタイミングＰＴに同期するようにする。
　このようにタイミング制御を行うことで、各フレームにおいてフリッカの影響を低減できる。このように露光タイミングを制御して撮像を行うことをフリッカレス撮像と呼ぶ。

　このフリッカレス撮像を行うには、カメラ制御部２１（フリッカレス制御部２４）が、フリッカの周波数とピークタイミングを検知することが必要となる。
　本実施の形態の場合、デジタル信号処理部２０におけるフリッカ検波・補正部２５（２５Ｒ，２５Ｇ，２５Ｂ）がフリッカ検波を行い、そのピークタイミングと周波数を検出して、カメラ制御部２１（フリッカレス制御部２４）に通知するようにしている。
　なお、フリッカ検波・補正部２５は、以上のようなフリッカ検波に加えて、画像データにおいてフレーム内に生じているフリッカ成分を低減するフリッカ補正も行う例としている。

　このようなフリッカ検波、及びフリッカ補正を行うフリッカ検波・補正部２５について、図６で説明する。
　なお図６のフリッカ検波・補正部２５の説明において、入力画像信号とは、図３のようにフリッカ検波・補正部２５（２５Ｒ，２５Ｇ，２５Ｂ）に入力されるＲＧＢ原色信号または輝度信号を意味し、出力画像信号とは、フリッカ検波・補正部２５（２５Ｒ，２５Ｇ，２５Ｂ）での処理後のＲＧＢ原色信号または輝度信号を意味する。

　図６のフリッカ検波・補正部２５は、例えば、正規化積分値算出ブロック３０、ＤＦＴ（離散フーリエ変換）ブロック５０、フリッカ生成ブロック５５、周波数推定／ピーク検出ブロック６０、演算ブロック６５を備えている。
　正規化積分値算出ブロック３０は、積分ブロック３１、積分値保持ブロック３２、平均値計算ブロック３３、差分計算ブロック３４、正規化ブロック３５を備えている。

　積分ブロック３１は、入力画像信号Ｉｎ'（ｘ，ｙ）の画面水平方向に１ライン分に渡って積分し、積分値Ｆｎ（ｙ）を算出する。算出された積分値Ｆｎ（ｙ）は、以後のフレームでのフリッカ検出用に、積分値保持ブロック３２に記憶保持される。積分値保持ブロック３２は、処理に必要なフレーム分（例えば２フレーム分）の積分値を保持できる構成とされる。

　平均値計算ブロック３３は、例えば３つの積分値Ｆｎ（ｙ），Ｆｎ＿１（ｙ），Ｆｎ＿２（ｙ）の平均値ＡＶＥ［Ｆｎ（ｙ）］を算出する。なお、Ｆｎ＿１（ｙ）は、１フレーム前の同じラインの積分値Ｆｎ＿１（ｙ）であり、Ｆｎ＿２（ｙ）は、２フレーム前の同じラインの積分値Ｆｎ＿２（ｙ）であり、これらの積分値は積分値保持ブロック３２から読み出された値である。

　差分計算ブロック３４は、積分ブロック３１から供給される積分値Ｆｎ（ｙ）と、積分値保持ブロック３２から供給される１フレーム前の積分値Ｆｎ＿１（ｙ）との差分を算出する。差分値Ｆｎ（ｙ）－Ｆｎ＿１（ｙ）では、被写体の影響が十分除去されるため、積分値Ｆｎ（ｙ）に比べてフリッカ成分（フリッカ係数）の様子が明確に現れる。

　さらに、正規化ブロック３５で、差分計算ブロック３４からの差分値Ｆｎ（ｙ）－Ｆｎ＿１（ｙ）が、平均値計算ブロック３３からの平均値ＡＶＥ［Ｆｎ（ｙ）］で除算されることによる正規化処理がなされ、正規化後の差分値ｇｎ（ｙ）が算出される。

　ＤＦＴブロック５０は、正規化ブロック３５からの正規化後の差分値ｇｎ（ｙ）の、フリッカの１波長分（Ｌライン分）に相当するデータを、離散フーリエ変換する。これにより、各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎが推定される。なお、初期位相Φｍｎは、撮像装置１内において生成される所定時間毎（例えば、０．５μｓ（マイクロ秒）毎）のカウンタに対応付けられて保持される。

　ＤＦＴブロック５０で計算された初期位相Φｍｎは、周波数推定／ピーク検出ブロック６０に供給される。周波数推定／ピーク検出ブロック６０は、入力される初期位相Φｍｎに基づいて、少なくともフリッカ成分（光源）の周波数、換言すればフリッカ成分の周期を推定し、さらに、フリッカ成分のピークのタイミングを検出する。例えば、周波数推定／ピーク検出ブロック６０は、フレームレートに基づく時間差と初期位相Φｍｎの位相差とからフリッカ成分の周波数を推定する。さらに、周波数推定／ピーク検出ブロック６０は、例えば最初のフレームにおける初期位相Φｍｎと当該初期位相Φｍｎに対応付けられたカウンタとからフリッカ成分のピークのタイミングを検出する。
　例えば、初期位相Φｍｎが６０度であれば、正弦波で近似できるフリッカ成分のピーク（例えば９０度）がでるタイミングをカウンタの時間間隔を使用して求めることが可能である。フリッカ成分のピークとは、上述したように、フリッカ成分の振幅が最大となる箇所である。

　このように周波数推定／ピーク検出ブロック６０により得られた情報がカメラ制御部２１（フリッカレス制御部２４）に通知される。
　カメラ制御部２１は、フリッカの周波数やピークタイミングを知ることで、上述のフリッカレス撮像としての撮像素子のタイミング制御が可能になる。

　このようなフリッカ検波・補正部２５を備えることで、別体のセンサ等を設けなくても、撮像画像に基づいてフリッカ成分の特徴、即ちフリッカ成分の周期やピークタイミング等を検出することができる。このため、部品点数の増加によるコストの増加を防止できる。また、撮像装置の小型化が可能となる。なお、フリッカ成分の特徴を求める処理は、上述した方法に限定されるものではなく、公知の方法を適用することができる。

　更にこのフリッカ検波・補正部２５では、画像信号に生じているフリッカ成分を低減するようなフリッカ補正を行うことができる。

　フリッカ生成ブロック５５では、ＤＦＴブロック５０からのフリッカ成分の振幅γｍ，初期位相Φｍｎの推定値等を用いてライン毎のフリッカ補正値を算出する。
　そして、演算ブロック６５は、フリッカ生成ブロック５５からのライン毎のフリッカ補正値を用いた補正演算を入力画像信号Ｉｎ'（ｘ，ｙ）のライン毎に行う。
　これによって、入力画像信号Ｉｎ'（ｘ，ｙ）に含まれるフリッカ成分がほぼ完全に除去され、演算ブロック６５からは、出力画像信号（フリッカ低減処理後のＲＧＢ原色信号または輝度信号）として、実質的にフリッカ成分を含まない信号成分Ｉｎ（ｘ，ｙ）が得られる。

　以上のように、フリッカ検波・補正部２５で検出されるフリッカ成分の周期やピークタイミングに基づいて、フリッカレス撮像が行われながら、さらにフリッカ検波・補正部２５でフリッカ補正を行うことについて、以下説明していく。

　図５で説明したフリッカレス撮像は、幕速Ｒがフリッカの周期よりも十分に短い場合に有効である。
　図７には露光動作１００として、例えば１００Ｈｚのフリッカ光源でフリッカの周期Ｔよりも幕速Ｒが十分に短い場合を示している。この場合、図のように露光重心タイミングＷＴをピークタイミングＰＴに合わせると図の下方に模式的に示すようにフリッカレスとなる。

　なおシャッター速度やフリッカ光源波形によって明るさムラの出方が変わるため、上記の「十分に短い」は、撮像装置１毎に適切な数値が想定されるべきであるが、例えば蛍光灯などで光源周期が１０ｍｓ／８．３ｍｓに対して、幕速が約２～４ｍｓ程度であれば、十分に短いといえる。その場合、幕速Ｒが周期Ｔの約２～４割強の場合、フリッカレス撮像の効果が十分に得られるということになる。

　一方で露光動作１０２は、幕速Ｒがフリッカの周期よりも十分に短いという条件を満たさない場合を示している。
　この場合、フリッカレス撮像により、図のように露光重心タイミングＷＴをピークタイミングＰＴに合わせてもフリッカの影響を回避しきれない。つまり図の下方に模式的に示すように画像のフレーム内の上下にフリッカの影響が残ってしまう。

　そして近年では、幕速の長い電子シャッターを用いた撮像装置を用いることや、高周波のＬＥＤ照明下の撮像環境が増えていることから、幕速Ｒと周期Ｔの関係において、フリッカレス撮像のみではフリッカの影響を抑えきれないことが生じやすくなっている。
　そこで実施の形態の撮像装置１では、フリッカの周期Ｔに対して幕速Ｒが十分に短いという条件になっていなくとも、フリッカレス撮像時に画面の上下端に出てくるフリッカの影響を、ゲイン補正することによって低減する。これがフリッカ補正を行う意味である。

　撮像装置１は、フリッカレス撮像とフリッカ補正を、次の手順で行う。
１）フリッカ検波・補正部２５が、上述の図６の構成により、撮像素子１２から一定時間間隔で送られてくる複数の画像データを蓄積、検波し、フリッカのピークタイミングＰＴと周期Ｔを求める。
２）カメラ制御部２１（フリッカレス制御部２４）は、検出されたピークタイミングＰＴから周期倍数のタイミングで露光重心が合うように、撮像素子１２の露光開始のタイミング制御を行う。
３）撮像素子１２では、タイミング制御に基づいた撮像（露光／読出）を行う。
４）撮像された画像データに対して、フリッカ検波・補正部２５においてライン毎にゲインを掛け、フリッカを補正する。

　フリッカ補正の具体的な手法を説明する。
　まずフリッカ補正に必要になるフリッカのライン毎の位相、振幅を次のように求める。

　［ライン毎の位相］
　図８にフリッカレス撮像時のフリッカと静止画パラメータの関係を示す。この場合、露光動作１０２として、水平ライン数Ｌ、幕速Ｒ、露光期間ｅを示しているが、幕速Ｒ（読出時間）が比較的長く、フリッカの周期Ｔに対して十分に短いという条件を満たしていない。

　フリッカ補正に必要になる位相は、実際のフリッカ光源の位相ではなく露光期間ｅを考慮した像面上の位相になる。そして上述のように、フリッカレス撮像を行う際には、像面の中心にフリッカのピークタイミングＰＴが来るようにタイミングを合わせる。この図では露光重心タイミングＷＴがピークタイミングＰＴと一致している。
　この場合、ｎライン目の位相ｒａｄは、一例として次の計算式で求めることができる。
　ｎライン目の位相［ｒａｄ］＝π＋Ｒ×（２π／Ｔ）×（（ｎ－１）／Ｌ－１／２）

　［ライン毎の振幅］
　検出時に求めたフリッカの波形、振幅の最大値から、上記で求めたライン毎の位相におけるライン毎の振幅を求める。つまりピークタイミングＰＴにおける振幅と、或るラインの位相から、そのラインの振幅を求める。
　具体的には、撮像時のシャッター速度に応じて積分したフリッカ波形をモデル化し、ｎラインに相当する振幅値を参照して求めることができる。
　もしくはフリッカ波形をテーブル化し、該当する位相の振幅を参照して求めてもよい。

　このようにライン毎の振幅を求めた場合、ピークタイミングＰＴの振幅と、そのラインの振幅の差が、そのラインについて補正すべきフリッカ補正値となる。
　図６のフリッカ生成ブロック５５では、このようなフリッカ補正値をライン毎に求める。
　そして演算ブロック６５は、入力画像信号Ｉｎ'（ｘ，ｙ）のライン毎に、フリッカ補正値を用いたフリッカ補正を行う。即ちライン毎に、そのラインのフリッカ補正値の逆数に相当する補正ゲインを与えることで、画像上のラインにおいてフリッカによる振幅差が解消され、光源に起因する振幅が画像のフレーム内で均一化されるようにする。

　これにより、フリッカレス撮像によっても解消しきれない場合のフリッカの影響を低減することができる。従って例えば周期の短いＬＥＤ光源下での撮像時もフリッカ低減効果を得ることができる。
　またフリッカレス撮像により露光重心をフリッカのピークタイミングに合わせるため、フリッカ補正は、フリッカの影響が生じる画像の上下端についてゲイン補正をするということになる。このため画像中心部の画質劣化を防ぐことができるという利点もある。
　またフリッカレス撮像を行うことで、ピークタイミングＰＴとの位相関係が規定されることになるため、ライン毎のフリッカ補正値の算出処理は容易化され、処理負担は増大しない。さらに、フリッカレス撮像のために検出するピークタイミングＰＴとその振幅の情報を流用してフリッカ補正値を求めることができることも、処理負担をさほど増加させないという点で有効である。

　ところで撮像装置１としては、例えばメカニカルシャッターを採用して幕速が固定のものもあれば、撮像動作設定としてメカニカルシャッターと電子シャッターを切り替えることができるもの、さらには電子シャッターにおいて幕速が異なる撮像動作が行われるものもある。例えば画サイズによって幕速が変化する。同一の撮像素子１２を用いる場合で、画サイズが小さいと撮像素子１２における切り出し領域が小さくなるため幕速は早くなる。
　例えば撮像素子１２からの読出をフルサイズ（３６．０ｍｍ×２４．０ｍｍ）で行う場合とＡＰＳ－Ｃサイズ（２２．４ｍｍ×１５．０ｍｍ）で行う場合では幕速が異なる。
　また、一般的に電子シャッターの方がメカニカルシャッターよりも幕速が長い。但し近年ではメカニカルシャッターとほぼ同等の幕速が可能な電子シャッターも存在する。
　このような事情で撮像装置１としては撮像時の幕速は必ずしも一定ではない。
　さらに撮像環境としてフリッカ光源も多様であり、フリッカの周期Ｔも環境によって変化する。

　このようなことを考慮すると、フリッカレス撮像のみで十分な場合と、フリッカレス撮像と共にフリッカ補正を行う方がよい場合が生ずることが想定される。
　そこで、カメラ制御部２１（フリッカレス制御部２４）が、画サイズやシャッター方式などによって、フリッカ補正を行うか、行わないかを選択するようにすることが考えられる。

　処理例を図９に示す。
　カメラ制御部２１は例えば定期的に、或いは撮像モードやシャッター設定などの変更に応じたタイミングなどで、図９の処理を行う。

　ステップＳ１０でカメラ制御部２１は現在の撮像動作における幕速Ｒを判定する。
　これは現在の静止画撮像において有効となっている設定から判定できる。例えばカメラ制御部２１は、現在の画サイズ（フルサイズ／ＡＳＰ－Ｃ）の設定や、シャッター方式（電子シャッター／メカニカルシャッター）の設定などから、撮像時の幕速Ｒを判定する。

　ステップＳ１１でカメラ制御部２１はフリッカの周期Ｔを判定する。これはフリッカ検波・補正部２５からの情報を取得することで判定できる。例えばレリーズ操作前のライブビュー撮像中などに、フリッカの周期Ｔの判定を行う。

　ステップＳ１２でカメラ制御部２１は、
　（幕速Ｒ）／（周期Ｔ）＜（１／ｘ）
　であるか否かを判定する。但しｘ＞１である。
　つまり幕速Ｒが周期Ｔの１／ｘよりも短いという条件の判定である。
　この場合のｘは、幕速Ｒが周期Ｔよりも十分に短いという状態を判定する閾値として適切な値が設定されればよい。

　（幕速Ｒ）／（周期Ｔ）＜（１／ｘ）である場合は、幕速Ｒが周期Ｔよりも十分に短い。そのためカメラ制御部２１はステップＳ１４に進み、フリッカ補正をオフ設定とする。つまりフリッカレス撮像を行うが、フリッカ補正を行わない状態とする。
　一方、（幕速Ｒ）／（周期Ｔ）＜（１／ｘ）ではない場合は、幕速Ｒが周期Ｔよりも十分に短いとはいえない状態である。そのためカメラ制御部２１はステップＳ１３に進み、フリッカ補正をオン設定とする。つまりフリッカレス撮像を行いつつフリッカ補正も行われる状態とする。

　以上の処理により、幕速が検出したフリッカ周期の１／ｘより短ければフリッカ補正がオフとなり、幕速が検出したフリッカ周期の１／ｘ以上の場合はフリッカ補正を行うことになる。これにより状況に応じてフリッカ補正が適切に行われることになる。

　なお、幕速Ｒが変化しない撮像装置１であっても、撮像環境に応じたフリッカの周期Ｔの変動を想定して、このような制御を行うことが有用である。
　例えば定期的にステップＳ１１の周期Ｔの判定を行い、判定した周期Ｔと固定の幕速Ｒの関係で、ステップＳ１２，Ｓ１３，Ｓ１４を行うようにすればよい。

＜３．マージンに応じたフリッカレス制御＞
　ライブビューを表示しながら複数の静止画撮像を行う連写モードでは、フリッカレス撮像時に露光重心タイミングＷＴをフリッカのピークタイミングＰＴに合わせるため、一定間隔でライブビュー画を更新することが難しいという事情がある。
　撮像タイミングによっては、同じライブビュー画が複数回続いて視認上のフレームレートの変化が生じることや、レリーズ操作に応じた露光の画像の表示までの遅延量が変わること(レイテンシの変化)があり、ライブビュー表示が円滑ではなくなる現象が発生する。

　連写中にライブビュー画像が円滑でなくなると、ユーザによる被写体へのフレーミングを難しくすることがある。
　この問題を回避するために、静止画の露光タイミングをフリッカのピークに合わせるフリッカレス撮像において、画面にフリッカの影響が見えない程度にフリッカのピークタイミングＰＴと露光重心タイミングＷＴについて、若干のずれであれば、それを許容することが考えられる。

　この際に、幕速Ｒがフリッカの周期Ｔよりも十分に短く、画面の上下端に縞が出ない場合であっても、フリッカ補正を併用することで、上記の許容できるタイミングずれの範囲を広げて、ライブビュー画像が非円滑なる事象の発生をさらに低減することができる。

　以下、マージンに応じたフリッカレス制御として、ピークタイミングＰＴと露光重心タイミングＷＴのずれを、設定したマージン内であれば許容する処理について説明する。

　まず、フリッカレス撮像によってライブビュー画像表示の円滑性が低下する例を図１０で説明する。
　図１０では１２１Ｈｚ光源のフリッカ振幅と、その光源の元での２０ｆｐｓでの撮像時の露光動作を示している。これは連写撮像中の動作を例としており、キャプチャ露光ＣＰＥが複数回行われるとともに、キャプチャ露光ＣＰＥと次のキャプチャ露光ＣＰＥの間に、２回のコマ間露光ＩＥ１，ＩＥ２が行われる場合を示している。１フレームの露光動作は図５のように幕速と露光時間と水平ライン数で決まる平行四辺形で示している。

　図の平行四辺形の形状はあくまで模式的なもので、幕速、露光時間、ライン数を厳密に示すものではない。ただしこの図１０から図１３までは、幕速Ｒがフリッカの周期Ｔよりも十分に短い場合を例にして説明する。これは上述のように、フリッカ低減のためには必ずしもフリッカ補正を行わなくてもよい場合であるが、そのような場合であっても、フリッカ補正を行うことで、ライブビュー画像の円滑化という効果が得られることを説明するためである。

　図１０の同期信号SensVは、撮像素子１２の撮像動作に対する同期信号であり、カメラ制御部２１の制御によりタイミングが可変設定される。
　同期信号SysVは、表示部１５の表示動作に対する同期信号であり、所定のフレームレート（この場合２０ｆｐｓ）の垂直タイミングとなる。ライブビュー画像は同期信号SysVに従ったタイミングで各フレームの画像表示が行われる。

　ユーザによる連写撮像の操作が行われ、時点ｔ１０以降に最初のキャプチャ露光ＣＰＥが行われるとする。この場合、最初のキャプチャ露光ＣＰＥは、露光重心タイミングＷＴがフリッカのピークタイミングＰＴと同期するように、タイミング制御が行われる。
　その後、２０ｆｐｓのフレームレートに応じたタイミングでコマ間露光ＩＥ１，ＩＥ２が行われていく。
　ライブビュー画像は、キャプチャ露光ＣＰＥの終了後のフレームで、キャプチャ露光ＣＰＥに基づくＬＶ画像ＣＰＰが表示され、次のフレームでは、コマ間露光ＩＥ１に基づくＬＶ画像ＩＰ１が表示され、更に次のフレームでは、コマ間露光ＩＥ２に基づくＬＶ画像ＩＰ２が表示されるようになる。

　時点ｔ１２以降は、次のキャプチャ露光ＣＰＥが行われるタイミングとなるが、そのまま周期を保つと露光重心のタイミングがピークタイミングＰＴに一致しないため、キャプチャ露光ＣＰＥの開始タイミングを遅らせるようにタイミング制御ＴＳが行われる。つまり同期信号SensVを遅らせる。
　これにより時点ｔ１２以降のキャプチャ露光ＣＰＥも、露光重心タイミングＷＴがピークタイミングＰＴに一致したフリッカレス撮像となる。その後、２０ｆｐｓのフレームレートに応じたタイミングでコマ間露光ＩＥ１，ＩＥ２が行われていく。

　ところがこの場合、タイミング制御ＴＳでキャプチャ露光ＣＰＥが遅らされたことで、ライブビュー画像の表示は、同じＬＶ画像ＩＰ２が２フレーム期間連続で表示されることになる。時点ｔ１２以降の２フレーム目の開始時点で、キャプチャ露光ＣＰＥが終了していないためである。

　時点ｔ１３、時点ｔ１４も、それぞれ同期信号SensVを遅らせるタイミング制御ＴＳを行うことで、キャプチャ露光ＣＰＥの露光重心タイミングＷＴがピークタイミングＰＴに一致したフリッカレス撮像となる。
　時点ｔ１４以降のライブビュー画像については、キャプチャ露光ＣＰＥの遅れにより、同じＬＶ画像ＩＰ２が２フレーム期間連続で表示されることが生じている。

　この図１０の例の場合、キャプチャ露光ＣＰＥで得られる連写としての複数の静止画データは、フリッカレス撮像により、フリッカの影響の少ない画像とすることができる。
　ところが、上述の時点ｔ１２以降や、時点ｔ１４以降、ライブビュー画像として同じ画像が連続する。つまりユーザが視認する上でのフレームレート（以下「ユーザ視認フレームレート」という）が変動する状態となる。
　また、キャプチャ露光ＣＰＥからそれに基づくＬＶ画像ＣＰＰまでの時間差、コマ間露光ＩＥ１からＬＶ画像ＩＰ１までの時間差、コマ間露光ＩＥ２からＬＶ画像ＩＰ２までの時間差が、それぞれライブビュー画像のレイテンシとなるが、図の例の場合、レイテンシが変動する（露光終了タイミングから表示開始タイミングを示す矢印の傾きが一定にならない）。

　このようなユーザ視認フレームレートやレイテンシの変動によって、ユーザにとっては、ライブビュー画像について、動きが円滑でないものと認識されるようになってしまう。
　特に、ライブビュー画像で被写体を追いながら連写操作をしているときに、ライブビュー画像としての動画の動きがぎこちない状態であると、被写体を狙った画角調整も困難になる。

　そこで本実施の形態では、フリッカレス制御の際に、記録する画像に表れるフリッカの影響を低減するようにフリッカレス撮像及びフリッカ補正を行いつつ、なるべくライブビュー画像の円滑性が損なわれないようにする。

　図１１は、図１０と同様に１２１Ｈｚ光源のフリッカ、キャプチャ露光ＣＰＥとコマ間露光ＩＥ１，ＩＥ２、同期信号SensV、同期信号SysV、及びライブビュー画像の各フレームとなるＬＶ画像ＣＰＰ、ＩＰ１、ＩＰ２を示している。
　なお、フリッカのピークタイミングＰＴとキャプチャ露光ＣＰＥの露光重心タイミングＷＴのずれを示すための拡大図を、図の上方に示している。

　ユーザによる連写撮像操作が行われ、時点ｔ１以降に最初のキャプチャ露光ＣＰＥが行われるとする。図１０の場合と同様に、最初のキャプチャ露光ＣＰＥは、露光重心タイミングＷＴがフリッカのピークタイミングＰＴと同期するように、タイミング制御が行われる。
　その後、２０ｆｐｓのフレームレートに応じたタイミングでコマ間露光ＩＥ１，ＩＥ２が行われていく。
　ライブビュー画像は、キャプチャ露光ＣＰＥの終了後のフレームで、キャプチャ露光ＣＰＥに基づくＬＶ画像ＣＰＰが表示され、次のフレームでは、コマ間露光ＩＥ１に基づくＬＶ画像ＩＰ１が表示され、更に次のフレームでは、コマ間露光ＩＥ２に基づくＬＶ画像ＩＰ２が表示される。

　時点ｔ２以降は、次のキャプチャ露光ＣＰＥが行われるタイミングとなる。次のキャプチャ露光ＣＰＥが行われるタイミングとは、露光周期を保ったタイミングを想定する。つまり前回のコマ間露光ＩＥ２の露光期間の開始タイミングから今回のキャプチャ露光ＣＰＥの露光期間の開始タイミングまでの期間長と、前々回のコマ間露光ＩＥ１の露光期間の開始タイミングから前回コマ間露光ＩＥ２の露光期間の開始タイミングまでの期間長とが同一であるタイミングである。
　このような露光周期を保つキャプチャ露光ＣＰＥを考えると、露光重心タイミングＷＴがピークタイミングＰＴに一致しない。
　但しこの場合、拡大図に示すように、露光重心タイミングＷＴのピークタイミングＰＴからのずれ量は、マージンＭの範囲内である。
　マージンＭは、露光重心タイミングＷＴがピークタイミングＰＴよりずれていたとしても、画像にフリッカの影響が見られないと評価できる範囲として設定されている。

　このようにずれ量がマージンＭの範囲内である場合、露光重心タイミングＷＴをピークタイミングＰＴに一致させるようにキャプチャ露光ＣＰＥの開始タイミングを遅らせるタイミング制御を行わない。つまり同期信号SensVによる２０ｆｐｓのフレームレートの周期を維持しつつ、そのままキャプチャ露光ＣＰＥを実行させる。
　さらにその後同様に、２０ｆｐｓのフレームレートに応じたタイミングでコマ間露光ＩＥ１，ＩＥ２が行われるようにする。

　時点ｔ３、時点ｔ４についても、拡大図に示すように、露光重心タイミングＷＴのピークタイミングＰＴからのずれ量は、マージンＭの範囲内である。そのため露光重心タイミングＷＴをピークタイミングＰＴに一致させるようにキャプチャ露光ＣＰＥの開始タイミングを遅らせるタイミング制御を行わない。つまり２０ｆｐｓのフレームレートの周期を維持しつつ、キャプチャ露光ＣＰＥ、コマ間露光ＩＥ１，ＩＥ２を実行させる。

　時点ｔ５からのキャプチャ露光ＣＰＥｔについては、露光重心タイミングＷＴｄのピークタイミングＰＴからのずれ量が、マージンＭの範囲外になってしまったとする。
　この場合は、露光重心タイミングＷＴをピークタイミングＰＴに一致させるように開始タイミングを遅らせるタイミング制御ＴＳを行い、キャプチャ露光ＣＰＥを行う。

　このように露光重心タイミングＷＴのピークタイミングＰＴからのずれ量とマージンＭの関係に応じて、フリッカレス撮像としてのタイミング制御ＴＳを行うか否かを切り替える。
　これにより、ライブビュー画像のユーザ視認フレームレートやレイテンシが変化する頻度を低減できる。図の例の場合、時点ｔ５までは、一定のフレームレート及びレイテンシでＬＶ画像ＣＰＰ、ＩＰ１、ＩＰ２が順次表示されており、円滑な動画表示が実現できている。
　時点ｔ５以降では、タイミング制御ＴＳを行うためユーザ視認フレームレート及びレイテンシが変動してしまうが、このような状態となる頻度は、図７の動作に比較して低減できるため、ライブビュー画像の動画としての円滑性が損なわれることをユーザが感じにくくすることができる。

　またフリッカレス撮像としてのタイミング制御ＴＳを行わないときの画像データも、フリッカの影響がほぼ見られない画像となるため、記録する画像の品質も保たれる。
　その上、フリッカ補正を行うようにすれば、ピークタイミングＰＴと露光重心タイミングＷＴが若干ずれていることによるわずかなフリッカの影響も低減されるため、フリッカの影響はほぼ除去でき、高画質な画像の記録が実現できる。

　このようなマージンＭを設定したフリッカレス撮像動作を実現するための、カメラ制御部２１（フリッカレス制御部２４）の処理例を図１２で説明する。なお図９の説明においてはフリッカレス制御部２４を「制御部２４」と略称表記する。

　図１２は連写撮像操作が行われている期間、例えば連写モードとしてユーザがレリーズボタンを押し続けている期間の制御部２４の処理例を示している。
　連写撮像操作が開始されると、制御部２４はステップＳ１０１からステップＳ１０２に進み、最初のキャプチャ露光ＣＰＥについて、フリッカレス撮像としてのタイミング制御を実行する。例えば露光重心タイミングＷＴがピークタイミングＰＴに一致するように露光タイミングを制御する。

　ステップＳ１０３で制御部２４は、キャプチャ露光ＣＰＥに基づく静止画記録及びライブビュー表示のための画像処理をデジタル信号処理部２０に実行させる。

　連写撮像操作が継続している期間は、制御部２４はステップＳ１０４からステップＳ１０５に進む。
　制御部２４は、同期信号SensVに基づくキャプチャ露光ＣＰＥのタイミングであるときはステップＳ１０５からステップＳ１０８に進み、それ以外はステップＳ１０５からステップＳ１０６に進む。従ってステップＳ１０３でキャプチャ露光ＣＰＥに応じた処理を実行した後の時点では、制御部２４は、ステップＳ１０６でコマ間露光ＩＥ１のタイミング制御を行うことになる。この場合、同期信号SensVに基づく周期を保ったコマ間露光ＩＥ１を実行させ、ステップＳ１０７でデジタル信号処理部２０においてコマ間露光ＩＥ１に応じたライブビュー表示のための画像処理を実行させる。
　その後も制御部２４は、ステップＳ１０４，Ｓ１０５，Ｓ１０６，Ｓ１０７と進みコマ間露光ＩＥ２及びそれに応じたライブビュー表示のための画像処理を実行させる。

　次のキャプチャ露光ＣＰＥのタイミングになると、制御部２４はステップＳ１０５からステップＳ１０８に進む。この場合、制御部２４は、同期信号SensVに基づく周期を維持したままのタイミングでキャプチャ露光ＣＰＥを行った場合における露光重心タイミングＷＴと、ピークタイミングＰＴのずれ量を算出する。
　そしてステップＳ１０９で制御部２４は、すれ量とマージンＭの比較を行う。

　もしずれ量がマージンＭより大きい場合は、制御部２４はステップＳ１１０でフリッカレス撮像としてのタイミング制御を実行し、露光重心タイミングＷＴがピークタイミングＰＴに一致するようする。
　一方、ずれ量はマージンＭの範囲内である場合は、制御部２４はステップＳ１１１に進み、現在の露光周期を維持したままでキャプチャ露光ＣＰＥを実行させる。

　以上のステップＳ１０３からステップＳ１１１までの処理を、ステップＳ１０４で連写撮像操作が終了と判定されるまで繰り返す。
　これにより図１１のようなマージンＭを想定したフリッカレス撮像が実行される。

　このようなフリッカレス撮像において、フリッカ補正を行うことで、マージンＭを広げることができる点について説明する。
　マージンＭは、フリッカの振幅や周期に応じて設定すればよく、露光重心タイミングＷＴ等の露光期間の所定のタイミングと、ピークタイミングＰＴのずれ量が、画像に生じるフリッカの影響が見られないと評価できる範囲として設定されればよい。
　すると、フリッカ補正によって、画像に生じるフリッカの影響が見られないと評価できる範囲が広がることで、マージンＭを広げることができるということになる。

　図１３は幕速とマージンの関係を示している。
　仮に、フリッカ補正を行わないとすると、フリッカの振幅値が例えば閾値ｔｈ１以上の期間に露光が行われるのであれば、画像にフリッカの影響がほぼ見られないとする。

　斜線により模式的に幕速Ｒの露光動作７４，７５，７６を示し、及びそれらの露光重心を露光重心タイミングＷＴ７４，ＷＴ７５，ＷＴ７６として示している。
　なお、この露光動作７４，７５，７６は、３回露光が行われるという意味ではなく、フリッカ周期に対して露光期間が異なっているパターンを例示したものである。

　この図１３は、幕速Ｒの場合、露光を、露光動作７４から露光動作７６で示す範囲内の期間に行えば、その露光期間中にフリッカの振幅値は閾値ｔｈ１以上となっていることを示している。つまり露光重心タイミングＷＴが、露光重心タイミングＷＴ７４，ＷＴ７５，ＷＴ７６のいずれとなっても、画像にフリッカの影響がほとんど生じないことになる。
　従って、この場合、マージンＭは、ピークタイミングＰＴから前後に図示のマージンＭ１として設定することができる。

　一方、フリッカ補正を行う場合、フリッカの振幅値が例えば閾値ｔｈ２以上の期間に露光が行われるのであれば、画像にフリッカの影響がほぼ見られないとする。
　すると、同じ幕速Ｒの場合、露光を、露光動作８４から露光動作８６で示す範囲内の期間に行えば、その露光期間中にフリッカの振幅値は閾値ｔｈ２以上となる。つまり露光重心タイミングＷＴが、露光重心タイミングＷＴ８４，ＷＴ８５，ＷＴ８６のいずれとなっても、画像にフリッカの影響がほとんど生じないことになる。
　従って、この場合、マージンＭは、ピークタイミングＰＴから前後に図示のマージンＭ２として設定することができる。

　このようにマージンＭが広がると、フリッカレス撮像のためのタイミング制御を行う頻度が減ることになる。すると図１０で説明したような、ライブビュー画像で同じ画像が連続してしまう頻度も低減できる。従って、フリッカ補正を行うことで、より円滑なライブビュー画像を提供できることになる。

＜４．まとめ及び変形例＞
　以上の実施の形態の撮像装置１や撮像制御装置（カメラ制御部２１）によれば、以下のような効果を得ることができる。

　実施の形態の撮像装置１は、検出されたフリッカ成分の周期Ｔおよび該フリッカ成分のピークタイミングＰＴに基づいて、ピークタイミングＰＴに露光期間内の特定タイミング（例えば露光重心タイミングＷＴ）を同期させるフリッカレス撮像の露光タイミング制御を行うカメラ制御部２１（フリッカレス制御部２４）を備える。またフリッカレス撮像により得られた画像データの各ラインとフリッカ光源の位相関係の検出結果に基づいて、画像データのフレーム内フリッカを低減するフリッカ補正を行うフリッカ検波・補正部２５を備える。
　これにより幕速Ｒと周期Ｔの関係により、フリッカレス撮像を行っても低減しきれないようなフリッカ成分を低減又は解消でき、撮像される画像データの品質を向上させることができる。
　またフリッカレス撮像とフリッカ補正を併用することで、例えば画像の中心部分はフリッカピークの明るい部分で撮像し、フリッカ補正ゲインによる画質劣化の影響を少なくするといった利点も得られる。

　実施の形態では、フリッカ補正として、ライン毎のフリッカの位相と、ライン毎のフリッカの振幅に基づいてライン毎にフリッカ補正値を算出し、画像データを、ライン毎に補正する処理を行うことを述べた。
　これにより各ラインの露光タイミングとフリッカ周期におけるフリッカ振幅との関係に応じて補正値が求められ、ライン毎に適切な補正を行うことが可能になる。

　実施の形態では、フリッカ検波・補正部２５は、ライン毎のフリッカの位相とライン毎のフリッカの振幅をフリッカレス撮像のためのフリッカ検出結果から求める構成とした。即ちフリッカレス撮像のために行うフリッカ検出結果により得られるライン毎のフリッカの位相と振幅の情報を、フリッカ補正に使用する。
　これによりフリッカレス撮像のための処理結果を用いてフリッカ補正を行うことができ、処理が効率化される。

　実施の形態のフリッカ検波・補正部２５は、少なくとも、撮像動作における幕速Ｒがフリッカの周期Ｔに基づく所定値よりも長い場合にフリッカ補正を行う例を述べた。つまり幕速Ｒがフリッカの周期Ｔよりも十分に短いという条件が整わない場合である。
　これによりフリッカレス撮像の効果が十分に得られないときにフリッカ補正により、フリッカ低減を行うことで、画像品質を維持又は向上させることができる。
　特に近年、幕速の長い電子シャッターを用いる場合や、高周波のＬＥＤ光源の撮影環境の場合などでも、フリッカ軽減の市場要求が高まっている。このような撮像時の幕速がフリッカ周期よりも長くなりやすい環境で、フリッカレス撮像とフリッカ補正を同時に行うことで、シャッター速度の制約なく、フリッカの影響を軽減することができる。
　但し、フリッカ周期と幕速の関係にかかわらず、常時、フリッカ補正を行うようにしてもよい。

　実施の形態のフリッカレス制御部２４は、フリッカの周期Ｔと幕速Ｒの関係に基づいてフリッカ検波・補正部２５によるフリッカ補正の実行の有無の制御を行う例を挙げた（図９参照）
　フリッカレス制御部２４は、定期的なタイミングや何らかのトリガが生じたタイミングで、例えば図９の処理によりフリッカ検波・補正部２５によるフリッカ補正の実行設定又は不実行設定を行う。このようにすることで、撮像環境や撮像設定に応じて必要な場合にフリッカ補正が実行されるようにすることができる。

　実施の形態のフリッカレス制御部２４は、フリッカレス撮像のためのフリッカ検出結果として得られるフリッカ周期の情報を、フリッカ補正の実行の有無の判定に用いる例を挙げた。
　これによりフリッカレス撮像のための処理結果を用いてフリッカ補正の実行判定を行うことができ、処理が効率化される。

　実施の形態のフリッカレス制御部２４は、判定処理時点の撮像動作として選択されている、画像サイズ又はシャッター方式に基づく幕速Ｒの情報を、フリッカ補正の実行の有無の判定に用いる例を挙げた。
　これにより、図９の判定処理の時点における幕速を特定し、フリッカ補正の実行判定を行うことができる。従って幕速の変動に対応して、フリッカ補正の実行の有無の判定を行うことができる。

　実施の形態では、フリッカレス撮像でピークタイミングＰＴと一致させる特定タイミングは、露光重心タイミングＷＴとした。つまり撮像素子の垂直方向における略中央ラインの露光期間の略中央のタイミングである。
　当該フレームの略中央のタイミングをフリッカのピークタイミングに合わせることで最も適切にフリッカレス効果を得ることができる。なお、露光重心は厳密でなくともよい。従って特定タイミングとは、厳密に露光重心とならなくてもよい。
　そして露光重心をフリッカのピークに合わせ、画像の上下端をフリッカ補正としてのゲイン処理を行うことで、画像中心部の画質劣化を防ぐことができる。

　実施の形態では、フリッカレス制御部２４が、特定タイミング（例えば露光重心タイミングＷＴ）とピークタイミングＰＴのずれ量が設定したマージン内であるときはフリッカレス撮像の露光タイミング制御を行わない例を挙げた（図１１，図１２参照）。
　これにより、露光期間の開始を遅らせるような制御を行う機会を減少させることができる。その結果、露光に基づく画像データのユーザが視認するフレームレートが変化することや、画像出力までのレイテンシが変化する頻度を低減できる。また、タイミング制御ＴＳを行わないことで、レリーズラグを低減できる場合もある。
　そして、フリッカ補正を行うことで、図１３で説明したようにマージンＭを広く設定できる。従って画像が円滑でなくなる状態の発生頻度を、より低下させ、表示品質の向上を促進できる。
　なお、このような効果は、幕速がフリッカ周期に対して十分短い場合でも得ることができる。そのため、このようなマージンＭに応じてフリッカレス撮像のための露光タイミング制御を行わないようにする場合は、フリッカ補正を常に行うようにすることも考えられる。

　実施の形態では、図１１，図１２の動作を、ライブビュー画像の表示を行いながら連写撮像を行う場合に行うとした。
　これにより連写撮像中に、ライブビュー画像のユーザ視認フレームレートが変化することや、ライブビュー画像の出力までのレイテンシが変化する頻度を低減できる。従ってフリッカレス撮像を行いながらも、非円滑な、或いは応答性が悪いライブビュー画像が表示されることを低減できる。このため、被写体をライブビュー画像で確認しながら連写撮像操作を続けているときに、ユーザは目的の被写体を狙いやすくなる。

　なおこのようなマージンＭに応じたフリッカレス制御は、連写撮像時だけでなく、静止画の撮像開始前のライブビュー表示の際や、動画モード中などにおけるライブビュー表示の際にも有効である。即ち、ライブビュー表示画のための露光を行っているときも、フリッカのピークに露光のタイミングを合わせるようにタイミング制御をしつつ、ずれ量がマージンＭ内であれば、ピークに合わせ込むようなタイミング制御を行わないようにする。これにより、露光に基づく画像データのユーザ視認フレームレートが変化することや、画像出力までのレイテンシが変化する頻度を低減でき、結果として円滑なライブビュー画像表示を実現できる。

　実施の形態のプログラムは、上述のフリッカ補正を、例えばＣＰＵ等の演算処理装置に実行させるプログラムである。
　即ち実施の形態のプログラムは、検出されたフリッカ成分の周期Ｔおよび該フリッカ成分のピークタイミングＰＴに基づいてピークタイミングＰＴに露光期間内の特定タイミング（例えば露光重心タイミングＷＴ）を同期させるフリッカレス撮像の露光タイミング制御を行う撮像装置１の演算処理装置に、フリッカレス撮像により得られた画像データの各ラインとフリッカ光源の位相関係の検出結果に基づいて、画像データのフレーム内フリッカを低減するフリッカ補正を実行させるプログラムである。
　このようなプログラムにより、上述したフリッカ検波・補正部２５を有するデジタル信号処理部２０をＤＳＰ、マイクロコンピュータ等の演算処理装置により実現できる。

　これらのプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。あるいはまたプログラムは、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

　なお本技術は以下のような構成も採ることができる。
　（１）
　検出されたフリッカ成分の周期および該フリッカ成分のピークタイミングに基づいて前記ピークタイミングに露光期間内の特定タイミングを同期させるフリッカレス撮像の露光タイミング制御を行う制御部と、
　前記フリッカレス撮像により得られた画像データの各ラインとフリッカ光源の位相関係の検出結果に基づいて、画像データのフレーム内フリッカを低減するフリッカ補正を行うフリッカ補正部と、を備えた
　撮像装置。
　（２）
　前記フリッカ補正部は、前記フリッカ補正として、
　前記ライン毎のフリッカの位相と前記ライン毎のフリッカの振幅に基づいて前記ライン毎にフリッカ補正値を算出し、画像データを、前記ライン毎に補正する処理を行う
　上記（１）に記載の撮像装置。
　（３）
　前記フリッカ補正部は、
　前記ライン毎のフリッカの位相と前記ライン毎のフリッカの振幅を、前記フリッカレス撮像のためのフリッカ検出結果から求める
　上記（２）に記載の撮像装置。
　（４）
　前記フリッカ補正部は、
　少なくとも、撮像動作における幕速がフリッカの周期に基づく所定値よりも長い場合に前記フリッカ補正を行う
　上記（１）から（３）のいずれかに記載の撮像装置。
　（５）
　前記制御部は、フリッカ周期と幕速の関係に基づいて前記フリッカ補正部による前記フリッカ補正の実行の有無の制御を行う
　上記（１）から（４）のいずれかに記載の撮像装置。
　（６）
　前記制御部は、
　前記フリッカレス撮像のためのフリッカ検出結果として得られるフリッカ周期の情報を、前記フリッカ補正の実行の有無の判定に用いる
　上記（５）に記載の撮像装置。
　（７）
　前記制御部は、
　判定処理時点の撮像動作として選択されている、画像サイズ又はシャッター方式に基づく幕速の情報を、前記フリッカ補正の実行の有無の判定に用いる
　上記（５）又は（６）に記載の撮像装置。
　（８）
　前記特定タイミングは、露光重心のタイミングである　上記（１）から（７）のいずれかに記載の撮像装置。
　（９）
　前記制御部は、
　前記特定タイミングと前記ピークタイミングのずれ量が設定したマージン内であるときは前記フリッカレス撮像の露光タイミング制御を行わない
　上記（１）から（８）のいずれかに記載の撮像装置。
　（１０）
　前記制御部は、
　ライブビュー画像の表示を行いながら連写撮像または動画撮像を行う場合に、
　前記特定タイミングと前記ピークタイミングのずれ量が設定したマージン内であるときは前記フリッカレス撮像の露光タイミング制御を行わないようにする
　上記（９）に記載の撮像装置。
　（１１）
　撮像装置が、
　検出されたフリッカ成分の周期および該フリッカ成分のピークタイミングに基づいて前記ピークタイミングに露光期間内の特定タイミングを同期させるフリッカレス撮像の露光タイミング制御を行うとともに、
　前記フリッカレス撮像により得られた画像データの各ラインとフリッカ光源の位相関係の検出結果に基づいて、画像データのフレーム内フリッカを低減するフリッカ補正を行う
　撮像方法。
　（１２）
　検出されたフリッカ成分の周期および該フリッカ成分のピークタイミングに基づいて前記ピークタイミングに露光期間内の特定タイミングを同期させるフリッカレス撮像の露光タイミング制御を行う撮像装置の演算処理装置に、
　前記フリッカレス撮像により得られた画像データの各ラインとフリッカ光源の位相関係の検出結果に基づいて、画像データのフレーム内フリッカを低減するフリッカ補正を実行させるプログラム。

１　撮像装置
１１　撮像光学系
１２　撮像素子
１３　アナログ信号処理部
１４　記録制御部
１５　表示部
２０　デジタル信号処理部
２１　カメラ制御部
２４　フリッカレス制御部
２５，２５Ｒ，２５Ｇ，２５Ｂ　フリッカ検波・補正部
３１　積分ブロック
３２　積分値保持ブロック
３３　平均値計算ブロック
３４　差分計算ブロック
３５　正規化ブロック
５０　ＤＦＴブロック
５５　フリッカ生成ブロック
６０　周波数推定／ピーク検出ブロック
６５　演算ブロック

Claims (12)

1. 　検出されたフリッカ成分の周期および該フリッカ成分のピークタイミングに基づいて前記ピークタイミングに露光期間内の特定タイミングを同期させるフリッカレス撮像の露光タイミング制御を行う制御部と、
   　前記フリッカレス撮像により得られた画像データの各ラインとフリッカ光源の位相関係の検出結果に基づいて、画像データのフレーム内フリッカを低減するフリッカ補正を行うフリッカ補正部と、を備えた
   　撮像装置。
2. 　前記フリッカ補正部は、前記フリッカ補正として、
   　前記ライン毎のフリッカの位相と前記ライン毎のフリッカの振幅に基づいて前記ライン毎にフリッカ補正値を算出し、画像データを、前記ライン毎に補正する処理を行う
   　請求項１に記載の撮像装置。
3. 　前記フリッカ補正部は、
   　前記ライン毎のフリッカの位相と前記ライン毎のフリッカの振幅を、前記フリッカレス撮像のためのフリッカ検出結果から求める
   　請求項２に記載の撮像装置。
4. 　前記フリッカ補正部は、
   　少なくとも、撮像動作における幕速がフリッカの周期に基づく所定値よりも長い場合に前記フリッカ補正を行う
   　請求項1に記載の撮像装置。
5. 　前記制御部は、フリッカ周期と幕速の関係に基づいて前記フリッカ補正部による前記フリッカ補正の実行の有無の制御を行う
   請求項1に記載の撮像装置。
6. 　前記制御部は、
   　前記フリッカレス撮像のためのフリッカ検出結果として得られるフリッカ周期の情報を、前記フリッカ補正の実行の有無の判定に用いる
   　請求項５に記載の撮像装置。
7. 　前記制御部は、
   　判定処理時点の撮像動作として選択されている、画像サイズ又はシャッター方式に基づく幕速の情報を、前記フリッカ補正の実行の有無の判定に用いる
   　請求項５に記載の撮像装置。
8. 　前記特定タイミングは、露光重心のタイミングである
   　請求項１に記載の撮像装置。
9. 　前記制御部は、
   　前記特定タイミングと前記ピークタイミングのずれ量が設定したマージン内であるときは前記フリッカレス撮像の露光タイミング制御を行わない
   　請求項１に記載の撮像装置。
10. 　前記制御部は、
    　ライブビュー画像の表示を行いながら連写撮像または動画撮像を行う場合に、
    　前記特定タイミングと前記ピークタイミングのずれ量が設定したマージン内であるときは前記フリッカレス撮像の露光タイミング制御を行わないようにする
    　請求項９に記載の撮像装置。
11. 　撮像装置が、
    　検出されたフリッカ成分の周期および該フリッカ成分のピークタイミングに基づいて前記ピークタイミングに露光期間内の特定タイミングを同期させるフリッカレス撮像の露光タイミング制御を行うとともに、
    　前記フリッカレス撮像により得られた画像データの各ラインとフリッカ光源の位相関係の検出結果に基づいて、画像データのフレーム内フリッカを低減するフリッカ補正を行う
    　撮像方法。
12. 　検出されたフリッカ成分の周期および該フリッカ成分のピークタイミングに基づいて前記ピークタイミングに露光期間内の特定タイミングを同期させるフリッカレス撮像の露光タイミング制御を行う撮像装置の演算処理装置に、
    　前記フリッカレス撮像により得られた画像データの各ラインとフリッカ光源の位相関係の検出結果に基づいて、画像データのフレーム内フリッカを低減するフリッカ補正を実行させるプログラム。

Images