JPWO2017217135A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

互いに異なる露光時間で撮影された複数の画像に基づいて、当該露光時間に対応する色の調整に関するパラメータの生成を制御する制御部を備える画像処理装置である。図１１

Description

本技術は、画像処理装置、画像処理方法およびプログラムに関する。

室内用の光源として普及している蛍光灯や近年普及が拡大しているＬＥＤ(Light Emitting Diode)等は、商用電源周波数の影響により周期的に照明光が明滅するいわゆるフリッカが生じる。このようなフリッカによる色むら等の画質の低下を防止するための撮像装置に関する技術が提案されている（例えば、下記特許文献１を参照のこと。）。

特開２０１４−２２０７６３号公報

このような分野では、得られる画像の色を適切に調整することが望まれている。

本技術はこのような問題点に鑑みなされたものであり、画像の色を適切に調整することができる画像処理装置、画像処理方法およびプログラムを提供することを目的の一つとする。

上述の課題を解決するために、本技術は、例えば、
互いに異なる露光時間で撮影された複数の画像に基づいて、当該露光時間に対応する色の調整に関するパラメータの生成を制御する制御部を備える
画像処理装置である。

本技術は、例えば、
制御部が、互いに異なる露光時間で撮影された複数の画像に基づいて、当該露光時間に対応する色の調整に関するパラメータの生成を制御する
画像処理方法である。

本技術は、例えば、
制御部が、互いに異なる露光時間で撮影された複数の画像に基づいて、当該露光時間に対応する色の調整に関するパラメータの生成を制御する
画像処理方法をコンピュータに実行させるプログラムである。

本技術の少なくとも一の実施形態によれば、画像の色を適切に調整することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本技術中に記載されたいずれの効果であってもよい。また、例示された効果により本技術の内容が限定して解釈されるものではない。

図１は、本技術の実施形態に係る撮像装置の構成例を示すブロック図である。 図２は、本技術の第１の実施形態に係るデジタル信号処理部の構成例を示すブロック図である。 図３は、フリッカ成分の一例を示す図である。 図４は、本技術の実施形態に係るフリッカ低減部の構成例を示すブロック図である。 図５は、本技術の実施形態に係る撮像装置の動作例を説明するための図である。 図６は、フリッカレス撮影処理の一例を説明するための図である。 図７は、本技術の第１の実施形態に係る処理の流れの一例を示すフローチャートである。 図８Ａ、図８Ｂおよび図８Ｃは、フリッカ光源に応じたＲＧＢの波形例を示す図である。 図９は、フリッカ光源の一例である昼白色蛍光灯のフリッカに起因する色のずれを説明するための図である。 図１０は、本技術の第２の実施形態に係るデジタル信号処理部の構成例を示すブロック図である。 図１１は、本技術の第２の実施形態に係る処理の流れの一例を示すフローチャートである。 図１２は、本技術の第２の実施形態に係る処理の流れの一例を示すフローチャートである。 図１３は、変形例を説明するための図である。

以下、本技術の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．第１の実施形態＞
＜２．第２の実施形態＞
＜３．その他の変形例＞
以下に説明する実施形態等は本技術の好適な具体例であり、本技術の内容がこれらの実施形態等に限定されるものではない。

＜１．第１の実施形態＞
［撮像装置の構成例］
「全体的な構成例」
図１は、本技術の実施形態に係る撮像装置（撮像装置１００）システム構成例を示している。撮像装置１００は、被写体からの光が、撮像光学系１１を介してＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子１２に入射して、ＣＭＯＳ撮像素子１２で光電変換され、ＣＭＯＳ撮像素子１２からアナログ画像信号が得られる。例えば、撮像光学系１１およびＣＭＯＳ撮像素子１２により撮像部が構成される。

ＣＭＯＳ撮像素子１２は、ＣＭＯＳ基板上に、フォトダイオード（フォトゲート）、転送ゲート（シャッタトランジスタ）、スイッチングトランジスタ（アドレストランジスタ）、増幅トランジスタ、リセットトランジスタ（リセットゲート）などを有する画素が複数、２次元状に配列されて形成されるとともに、垂直走査回路、水平走査回路および映像信号出力回路が形成されたものである。

ＣＭＯＳ撮像素子１２は、後述のように原色系と補色系のいずれでもよく、ＣＭＯＳ撮像素子１２から得られるアナログ画像信号は、ＲＧＢ各色の原色信号または補色系の色信号である。

そのＣＭＯＳ撮像素子１２からのアナログ画像信号は、ＩＣ（Integrated circuit）（集積回路）として構成されたアナログ信号処理部１３において、色信号ごとに、サンプルホールドされ、ＡＧＣ(Automatic Gain Control)（自動利得制御）によってゲインが制御され、Ａ／Ｄ(Analog to Digital)変換によってデジタル信号に変換される。

アナログ信号処理部１３からのデジタル画像信号は、ＩＣとして構成され、検出部として機能するデジタル信号処理部２０において、後述のように処理される。そして、デジタル信号処理部２０内のフリッカ低減部２５において、後述のように信号成分ごとにフリッカ成分が低減された上で、最終的に輝度信号Ｙと赤、青の色差信号Ｒ−Ｙ，Ｂ−Ｙに変換されて、デジタル信号処理部２０から出力される。

制御部の一例であるシステムコントローラ１４は、マイクロコンピュータなどによって構成され、撮像装置１００の各部を制御する。

具体的に、システムコントローラ１４から、ＩＣによって構成されたレンズ駆動用ドライバ１５に、レンズ駆動制御信号が供給され、レンズ駆動用ドライバ１５によって、撮像光学系１１のレンズやアイリスが駆動される。

また、システムコントローラ１４からタイミングジェネレータ１６に、タイミング制御信号が供給され、タイミングジェネレータ１６からＣＭＯＳ撮像素子１２に、各種タイミング信号が供給されて、ＣＭＯＳ撮像素子１２が駆動される。

このとき、ＣＭＯＳ撮像素子１２のシャッタスピードも、システムコントローラ１４からのタイミング制御信号によって制御される。具体的に、システムコントローラ１４内のシャッタ制御部１４ｃによって、シャッタスピードが設定される。

さらに、デジタル信号処理部２０からシステムコントローラ１４に、各信号成分の検波信号が取り込まれ、システムコントローラ１４からのＡＧＣ信号によって、アナログ信号処理部１３において、上記のように各色信号のゲインが制御されるとともに、システムコントローラ１４によって、デジタル信号処理部２０における信号処理が制御される。

また、システムコントローラ１４には、手ぶれセンサ１７が接続され、これから得られる手ぶれ情報が、手ぶれ補正に利用される。

また、システムコントローラ１４には、マイクロコンピュータなどによって構成されたインタフェース１９を介して、ユーザインタフェース１８を構成する操作部１８ａおよび表示部１８ｂが接続され、操作部１８ａでの設定操作や選択操作などが、システムコントローラ１４によって検出されるとともに、カメラの設定状態や制御状態などが、システムコントローラ１４によって表示部１８ｂに表示される。例えば、操作部１８ａを使用して、後述するフリッカレス撮影を行うか否かの設定を行うことが可能とされている。

なお、撮像装置１００が記憶装置を備えていてもよい。記憶装置は、ハードディスク等の撮像装置１００に内蔵されたものでもよく、ＵＳＢ(Universal Serial Bus)メモリ等の撮像装置１００に着脱自在とされるメモリでもよい。また、撮像装置１００が通信装置を備えていてもよい。この通信装置を使用して、インターネット等を介して、外部装置との間で画像データや各種の設定データ等が送受信可能とされてもよい。通信は、有線によるものでもよいし、無線によるものでもよい。

「デジタル信号処理部の構成例」
図２は、原色系システムの場合のデジタル信号処理部２０の構成例を示す。原色系システムは、図１の撮像光学系１１が被写体からの光をＲＧＢ各色の色光に分離する分解光学系を有し、ＣＭＯＳ撮像素子１２としてＲＧＢ各色用のＣＭＯＳ撮像素子を有する３板システム、または、ＣＭＯＳ撮像素子１２として、光入射面にＲＧＢ各色の色フィルタが画面水平方向に１画素ごとに順次、繰り返し配列された一つのＣＭＯＳ撮像素子を有する１板システムである。この場合、ＣＭＯＳ撮像素子１２からは、ＲＧＢ各色の原色信号がパラレルに読み出される。

図２のデジタル信号処理部２０では、クランプ回路２１で、入力のＲＧＢ原色信号の黒レベルが所定レベルにクランプされ、ゲイン調整回路２２で、露出量に応じてクランプ後のＲＧＢ原色信号のゲインが調整され、フリッカ低減部２５Ｒ，２５Ｇ，２５Ｂで、後述の方法によって、ゲイン調整後のＲＧＢ原色信号中のフリッカ成分が低減される。また、撮影時には、フリッカレス撮影を行うための処理が行われる。なお、フリッカレス撮影とは、フリッカ光源から生じるフリッカによる画質への影響（画質の低下）を防止することができる撮影を意味する。

さらに、図２のデジタル信号処理部２０では、ホワイトバランス調整回路２７で、フリッカ低減後のＲＧＢ原色信号のホワイトバランスが調整され、ガンマ補正回路２８で、ホワイトバランス調整後のＲＧＢ原色信号の階調が変換され、合成マトリクス回路２９で、ガンマ補正後のＲＧＢ原色信号から、出力の輝度信号Ｙおよび色差信号Ｒ−Ｙ，Ｂ−Ｙが生成される。

原色系システムでは、一般に図２のようにＲＧＢ原色信号の処理が全て終了した後に輝度信号Ｙが生成されるので、図２のようにＲＧＢ原色信号の処理過程でＲＧＢ原色信号中のフリッカ成分を低減することによって、各色成分および輝度成分のフリッカ成分を共に十分に低減することができる。

ただし、図２のようにフリッカ低減部２５Ｒ，２５Ｇ，２５ＢによってＲＧＢ各色の原色信号ごとにフリッカ成分を検出し、低減する代わりに、例えば、合成マトリクス回路２９の輝度信号Ｙの出力側にフリッカ低減部２５を設けて、輝度信号Ｙ中のフリッカ成分を検出し、低減するように構成してもよい。

一方、補色系システムは、図１のＣＭＯＳ撮像素子１２として、光入射面に補色系の色フィルタが形成された一つのＣＭＯＳ撮像素子を有する１板システムである。

補色系システムでは、ＣＭＯＳ撮像素子１２からは、隣接する２水平ライン位置の映像信号が合成されて読み出され、デジタル信号処理部２０では、その補色信号（合成信号）の黒レベルが所定レベルにクランプされ、クランプ後の補色信号のゲインが露出量に応じて調整され、さらにゲイン調整後の補色信号から輝度信号およびＲＧＢ原色信号が生成される。

そして、フリッカ低減部２５で、その輝度信号中のフリッカ成分およびＲＧＢ原色信号中のフリッカ成分が低減され、さらに、フリッカ低減後の輝度信号の階調が補正されて、出力の輝度信号Ｙが得られるとともに、フリッカ低減後のＲＧＢ原色信号のホワイトバランスが調整され、ホワイトバランス調整後のＲＧＢ原色信号の階調が変換され、そのガンマ補正後のＲＧＢ原色信号から色差信号Ｒ−Ｙ，Ｂ−Ｙが生成される。

［動作例］
「基本的な動作」
次に、撮像装置１００の動作例について説明する。ここでは、静止画を撮影する例について説明する。撮像装置１００の電源が投入されると、撮像前における被写体の構図決め(フレーミング)等の際に、動画的態様の画像（スルー画像）が表示部１８ｂに表示される（ライブビュー表示）。

続いて、被写体が決定された後、準備操作がなされる。準備操作は、撮影を行う準備の操作であり、撮影の直前になされる操作である。準備操作は、例えば、操作部１８ａに含まれるシャッタボタンを途中まで（半分程度まで）押し込む半押し操作である。シャッタボタンに対する半押し操作がなされると、例えば、被写体の静止画を撮像するための準備動作が行われる。被写体の静止画を撮像するための準備動作としては、露出制御値の設定や焦点を検出する検出動作、補助光部の発光等が挙げられる。なお、半押し状態でシャッタボタンの押下が解除されると、これらの準備動作が終了する。

半押し状態からさらにシャッタボタンが押しこまれ、シャッタボタンが全押しされると撮像装置１００に対して撮影が指示され、ＣＭＯＳ撮像素子１２を使用して被写体像（被写体の光像）に関する露光動作が行われる。露光動作により得られた画像データに対して、アナログ信号処理部１３やデジタル信号処理部２０による所定の信号処理が施され、静止画像が得られる。得られた静止画像に対応する画像データが、図示しない記憶装置に適宜、記憶される。

なお、撮像装置１００により動画の撮影が行われてもよい。動画の撮像がなされる場合は、例えば、シャッタボタンが押下されると動画の撮影および当該動画の記録がなされ、再度、シャッタボタンが押下されると動画の撮影が停止される。

「フリッカ低減処理について」
次に、撮像装置１００におけるフリッカ低減処理等について説明する。フリッカ低減処理は、例えば、ライブビュー表示におけるスルー画像に対して施される処理である。説明の前に理解を容易とするために、ＮＴＳＣシステムで発生する蛍光灯により生じるフリッカ成分の一例について説明する。なお、本例では、フレームレートを６０ｆｐｓ（frames per second）、商用電源周波数を５０Ｈｚ（ヘルツ）とした場合について説明する。この場合に生じるフリッカ成分の特徴は以下の通りである。
（１）１画面中には、５／３周期分発生する（３フレーム（フィールドでもよい）を繰り返し周期とする）。
（２）１ラインごとに位相が変化する。
（３）商用電源周波数（５０Ｈｚ）の２倍の周波数（１００Ｈｚ）を持つ正弦波として扱うことができる。

上記の特徴から、フリッカ現象が起きている際には、図３のようなフリッカ成分が発生している。なお、図３では、上側（画面上部）から下側（画面下部）に向かって走査が行われているものとする。ＣＭＯＳ撮像素子１２では、水平ラインごとに露光タイミングが異なるため、水平ラインに応じて受光量が変化してしまう。よって、蛍光灯が空間的に均一に照明していたとしても、図３のように、映像信号の値が平均値よりも高い水平ラインと、映像信号の値が平均値よりも小さい水平ラインが存在してしまう。例えば、図３のフレームでは、画像中の最も上の水平ライン、すなわち、先頭ラインでフリッカ成分（フリッカ成分の振幅）が最も高くなるピークとなっている。さらに、先頭ラインから、１画面に含まれる総ライン数の３／５に相当するラインずれた水平ラインで、フリッカ成分も最も高くなる。このように、フリッカ成分は、図３に示すような、振幅、周期、及び初期位相を持つ、ｓｉｎ関数（正弦波）で表すことができる。なお、本例での初期位相とは先頭ラインでの位相を意味している。

さらに、フレームに応じて、各水平ラインの位相が変化する。すなわち、フレーム毎に、映像信号の値が平均値よりも高い水平ラインと、映像信号の値が平均値よりも低い水平ラインが変化する。次のフレームでは、初期位相が異なる正弦波となる。例えば、蛍光灯によるフリッカが１００Ｈｚで発生し、フレームレートが６０ｆｐｓであるとすると、蛍光灯のフリッカの５周期分が、３フレームに相当する時間となる。よって、３フレーム毎に初期位相が同じ位相となる。このように、水平ラインおよびフレームに応じて、フリッカ成分が変動する。なお、ＰＡＬ方式、すなわち、フレームレートが５０ｆｐｓで商用電源周波数を６０Ｈｚの場合には、フリッカ成分は５フレームを周期とする正弦波で表すことが可能となる。以上のような性質を有するフリッカ成分を低減する処理（動作）の一例について説明する。

図４は、フリッカ低減部２５の詳細な構成例を示す。なお、以下の説明において、入力画像信号とは、それぞれ、フリッカ低減部２５に入力されるフリッカ低減処理前のＲＧＢ原色信号または輝度信号を意味し、出力画像信号とは、それぞれ、フリッカ低減部２５から出力されるフリッカ低減処理後のＲＧＢ原色信号または輝度信号を意味する。

フリッカ低減部２５は、例えば、正規化積分値算出ブロック３０と、演算ブロック４０と、ＤＦＴ（離散フーリエ変換）ブロック５０と、フリッカ生成ブロック５５と、周波数推定／ピーク検出ブロック６０とを備えている。正規化積分値算出ブロック３０は、積分ブロック３１と、積分値保持ブロック３２と、平均値計算ブロック３３と、差分計算ブロック３４と、正規化ブロック３５とを備えている。

積分ブロック３１は、入力画像信号Ｉｎ'（ｘ，ｙ）の画面水平方向に１ライン分に渡って積分し、積分値Ｆｎ（ｙ）を算出する。算出された積分値Ｆｎ（ｙ）は、以後のフレームでのフリッカ検出用に、積分値保持ブロック３２に記憶保持される。垂直同期周波数が６０Ｈｚの場合には、積分値保持ブロック３２は、少なくとも２フレーム分の積分値を保持できる構成とされる。

平均値計算ブロック３３は、３つの積分値Ｆｎ（ｙ），Ｆｎ＿１（ｙ），Ｆｎ＿２（ｙ）の平均値ＡＶＥ［Ｆｎ（ｙ）］を算出する。なお、Ｆｎ＿１（ｙ）は、１フレーム前の同じラインの積分値Ｆｎ＿１（ｙ）であり、Ｆｎ＿２（ｙ）は、２フレーム前の同じラインの積分値Ｆｎ＿２（ｙ）であり、これらの積分値は積分値保持ブロック３２から読み出された値である。

差分計算ブロック３４は、積分ブロック３１から供給される積分値Ｆｎ（ｙ）と、積分値保持ブロック３２から供給される１フレーム前の積分値Ｆｎ＿１（ｙ）との差分を算出する。差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）では、被写体の影響が十分除去されるため、積分値Ｆｎ（ｙ）に比べてフリッカ成分（フリッカ係数）の様子が明確に現れる。

さらに、正規化ブロック３５で、差分計算ブロック３４からの差分値Ｆｎ（ｙ）−Ｆｎ＿１（ｙ）が、平均値計算ブロック３３からの平均値ＡＶＥ［Ｆｎ（ｙ）］で除算されることによる正規化処理がなされ、正規化後の差分値ｇｎ（ｙ）が算出される。

ＤＦＴブロック５０は、正規化ブロック３５からの正規化後の差分値ｇｎ（ｙ）の、フリッカの１波長分（Ｌライン分）に相当するデータを、離散フーリエ変換する。これにより、各次のフリッカ成分の振幅γｍおよび初期位相Φｍｎが推定される。なお、初期位相Φｍｎは、撮像装置１００内において生成される所定時間毎（例えば、０．５μｓ（マイクロ秒）毎）のカウンタに対応付けられて保持される。

さらに、フリッカ生成ブロック５５で、ＤＦＴブロック５０からのγｍ，Φｍｎの推定値から、フリッカ係数Γｎ（ｙ）が算出される。そして、演算ブロック４０は、フリッカ生成ブロック５３からのフリッカ係数Γｎ（ｙ）に１を加え、その和［１＋Γｎ（ｙ）］で入力画像信号Ｉｎ'（ｘ，ｙ）が除算する逆ゲインをかける処理を行う。これによって、入力画像信号Ｉｎ'（ｘ，ｙ）に含まれるフリッカ成分がほぼ完全に除去され、演算ブロック４０からは、出力画像信号（フリッカ低減処理後のＲＧＢ原色信号または輝度信号）として、実質的にフリッカ成分を含まない信号成分Ｉｎ（ｘ，ｙ）が得られる。

以上のようなフリッカ低減処理により、フリッカの有無を検出し、当該フリッカによるスルー画像の画質低下を防止することが可能となる。なお、上述したフリッカ低減処理が動画の撮影（記録を含む）時に行われてもよい。なお、本実施形態では、ＲＧＢ毎のフリッカ成分を検出している。この場合には、振幅が最大となる色成分（チャンネル）のピークのタイミングを検出する。これに代えて、輝度信号のピークを検出するようにしてもよい。

なお、ＤＦＴブロック５０で計算された初期位相Φｍｎは、周波数推定／ピーク検出ブロック６０に供給される。周波数推定／ピーク検出ブロック６０は、入力される初期位相Φｍｎに基づいて、少なくともフリッカ成分（光源）の周波数、換言すればフリッカ成分の周期を推定し、さらに、フリッカ成分のピークのタイミングを検出する。例えば、周波数推定／ピーク検出ブロック６０は、フレームレートに基づく時間差と初期位相Φｍｎの位相差とからフリッカ成分の周波数を推定する。さらに、周波数推定／ピーク検出ブロック６０は、例えば最初のフレームにおける初期位相Φｍｎと当該初期位相Φｍｎに対応付けられたカウンタとからフリッカ成分のピークのタイミングを検出する。

例えば、初期位相Φｍｎが６０度であれば、正弦波で近似できるフリッカ成分のピーク（例えば９０度）がでるタイミングをカウンタの時間間隔を使用して求めることが可能である。周波数推定／ピーク検出ブロック６０により得られた情報がシステムコントローラ１４に通知される。なお、フリッカ成分のピークとは、上述したように、フリッカ成分の振幅が最大となる箇所である。

このように、別体のセンサ等を設けなくても、撮像部による撮像結果（撮像部を介して得られる撮影画像）に基づいてフリッカ成分の特徴（フリッカ成分の周期やピークのタイミング等）を検出することができる。このため、部品点数の増加によるコストの増加を防止できる。また、撮像装置の小型化が可能となる。なお、フリッカ成分の特徴を求める処理は、上述した方法に限定されるものではなく、公知の方法を適用することができる。

「フリッカレス撮影処理について」
次に、フリッカレス撮影処理について説明する。フリッカレス撮影処理は、例えば、フリッカレス撮影モードが撮像装置１００に設定されている場合に実行される処理である。

上述したフリッカ低減処理では、複数フレーム（例えば、３フレーム）の画像を使用してその平均から背景成分を抽出している。このため、フレームレートと蛍光灯等のフリッカ光源の明滅周期とが一致する場合には、背景とフリッカとの分離が困難となりフリッカの検出が困難となる。また、複数フレームの画像を使用するので、静止画像をフリッカレス撮影する場合には上述したフリッカ低減処理をそのまま適用することが困難である。そこで、静止画像をフリッカレス撮影する場合には、以下に説明するフリッカレス撮影処理が実行される。

始めに、フレームレートを通常時のフレームレートより高速に切り替える処理が実行される。切り替え後のフレームレートは、例えば、光源の周波数のＮ倍（但し、フリッカ成分の周波数（１００Ｈｚまたは１２０Ｈｚ）より大きい周波数）であり、フレーム内においてフリッカ成分の１周期があることが好ましく、一例として、Ｎ＝４、すなわち２００ｆｐｓ（光源の周波数５０Ｈｚの場合）または２４０ｆｐｓ（光源の周波数６０Ｈｚの場合）に設定される。

なお、フリッカ光源の周波数は、ユーザの設定から得てもよく、ライブビュー表示における上述したフリッカ低減処理の結果に基づいて、自動で設定されてもよい。すなわち、フリッカ低減処理において、フレームレートが６０ｆｐｓの場合にフリッカ成分が検出されない場合には、光源の周波数が５０Ｈｚと判別され、フレームレートが５０ｆｐｓの場合にフリッカ成分が検出されない場合には、光源の周波数が６０Ｈｚと判別されてその結果がフリッカレス撮影処理に使用されてもよい。また、フリッカレス撮影処理でフリッカの有無が検出されてもよい。

フレームレートを切り替えるタイミングは適宜、設定可能であるが、好ましくは、撮影の直前であり、例えば、撮影の準備操作であるシャッタボタンを半押しする操作がなされたときにフレームレートが切り替えられる。より具体的には、シャッタボタンを半押しする操作に応じた操作信号がインタフェース１９を介してシステムコントローラ１４に供給される。システムコントローラ１４は、タイミングジェネレータ１６を制御してＣＭＯＳ撮像素子１２を駆動し、フレームレートを高速化する。

フレームレートが高速化するとフリッカ成分の繰り返し周期が変化する。例えば、フレームレートが２００ｆｐｓの場合には、フリッカ成分の繰り返し周期は２０フレームとなり、フレームレートが２４０ｆｐｓの場合には、フリッカ成分の繰り返し周期は１２フレームとなる。

高速化されたフレームレートに基づいて、画像データが得られる。得られた画像データがアナログ信号処理部１３による処理を経てデジタル信号処理部２０に入力される。高フレームレートで得られる画像データに対して、フリッカ低減部２５により上述したフリッカ低減処理が同様に行われる。さらに、この処理では、ＤＦＴブロック５０からの出力である初期位相Φｍｎが、フリッカ低減部２５の周波数推定／ピーク検出ブロック６０に入力される。

周波数推定／ピーク検出ブロック６０は、入力される初期位相Φｍｎに基づいて、少なくともフリッカ成分（光源）の周波数（周期）を推定し、さらに、フリッカ成分のピークタイミングを検出する。

図５は、上述した処理をまとめた図である。通常のフレームレート（例えば、５０または６０ｆｐｓ）で取り込まれた画像に対してフリッカ低減処理が施され、フリッカ低減処理が施された画像がスルー画像として表示部１８ｂに表示される。そして、シャッタボタンが半押しされると、フレームレートが高速に切り替えられ（例えば、２００または２４０ｆｐｓ）、フリッカ低減処理とともに、周波数推定およびピーク検出処理が行われる。そして、フリッカ低減処理が施された画像が表示部１８ｂに表示される。なお、表示系統におけるデータの帯域を減らす観点や、消費電力等の観点から表示部１８ｂには、得られた画像データの一部を間引いた画像データに基づく表示がなされる。そして、シャッタボタンが深押しされると、撮影がなされる。

図６は、シャッタボタンに対する深押し操作に応じてなされる撮影における処理を説明するための図である。上述したように、シャッタボタンが半押しされる操作がなされると、フリッカ成分の周波数が推定され、ピークのタイミングを検出する処理が行われる。この処理は、半押し操作がなされている間、繰り返し実行される。なお、半押し操作がなされる際に、フリッカレス撮影を行うモードが設定されているか（モードがオンに設定されているか）否かが判断される。ここで、フリッカレス撮影を行うモードが設定されている場合には、以下に説明する処理が実行される。

図６において、例えば、タイミングＴＡでシャッタボタンに対する深押し操作がなされたとする。深押し操作に応じて、フリッカ低減部２５がシステムコントローラ１４（シャッタ制御部１４ｃ）に対して、フリッカ成分の次のピークのタイミング（本例ではＴＢ）を通知する。なお、ここでのピークのタイミングは、例えば、深押し操作がなされる直前で得られたタイミングである。

システムコントローラ１４は、フリッカ成分のピークのタイミングに露光のタイミングを同期させた撮影を実行する。なお、図６に示す例は、フリッカ成分がピークとなる直近のタイミングはタイミングＴＢである。本例では、静止画撮影に係る処理の遅延等を考慮して、タイミングＴＢからフリッカ成分の周期倍数分、時間的に後のタイミング（例えば、タイミングＴＣ）に露光のタイミングを同期させている。但し、処理的に間に合うのであればタイミングＴＢに露光のタイミングを同期させても構わない。

フリッカ成分のピークのタイミングに露光のタイミングを同期させた撮影とは、例えば、シャッタスピード（露光時間）および幕速の中心がフリッカ成分のピークと一致または略一致するタイミングとすることである。略一致するとは、タイミングのずれが所定の誤差の範囲内であることを意味する。これにより図６中、露光量を示す斜線を付した四角形の重心（露光重心）がフリッカ成分のピークと一致または略一致することになる。フリッカ成分のピークに露光のタイミングが常に同期するため、フリッカ成分により画像の画質が低下することを防止したフリッカレス撮影を実現することができる。

「処理の流れ」
図７は、フリッカレス撮影における処理の流れの一例を示すフローチャートである。ステップＳＴ１１では、フリッカレス撮影を行うモード（フリッカレス撮影モード）が設定されているか否かがシステムコントローラ１４により判断される。ここで、フリッカレス撮影モードが設定されていないと判断された場合には、以降の処理では通常撮影（ここでは、フリッカレス撮影処理がなされない撮影を意味する）に係る処理が実行される。ステップＳＴ１１において、フリッカレス撮影モードが設定されていると判断された場合には、処理がステップＳＴ１２に進む。

ステップＳＴ１２では、操作部１８ａに含まれるシャッタボタンが半押しされたか否かが判断される。半押しされていない場合には、通常のフレームレート（例えば、５０または６０ｆｐｓ）で取り込まれた画像に対してフリッカ低減処理が行われ、フリッカ低減処理が実行された画像がスルー画像として表示部１８ｂに表示される。なお、フリッカ低減処理を実行する際に、屋外での撮影等のフリッカが生じずフリッカ成分が検出されない場合には、フリッカ低減処理は実行されない。シャッタボタンが半押しされた場合には、処理がステップＳＴ１３に進む。

ステップＳＴ１３では、シャッタボタンの半押し操作に応じてフリッカレス撮影処理が実行される。具体的には、ＣＭＯＳ撮像素子１２を高フレームレート（例えば２００または２４０ｆｐｓ）で駆動し、得られた画像データを使用してフリッカ成分の周波数を推定し、フリッカ成分のピークがくるタイミングを検出する処理が実行される。なお、フリッカ低減処理においてフリッカ成分の周波数が推定されている場合には、フリッカ成分のピークのタイミングを検出する処理のみが実行されてもよい。得られたタイミング等のデータがシステムコントローラ１４に対して通知される。以上の処理は、例えば、半押し操作が継続されている間、継続される。そして、処理がステップＳＴ１４に進む。

ステップＳＴ１４では、フリッカが発生するフリッカ環境下でシャッタボタンの深押し操作がなされたか否かが判断される。この判断でフリッカが発生していない環境下でシャッタボタンの深押し操作がなされた場合には、処理がステップＳＴ１５に進む。ステップＳＴ１５では、フリッカレス撮影処理が行われない静止画撮影処理が実行される。一方、フリッカが発生している環境下でシャッタボタンの深押し操作がなされた場合には、処理がステップＳＴ１６に進む。

ステップＳＴ１６では、フリッカレス撮影が行われる。すなわち、ステップＳＴ１３の処理で得られたフリッカ成分のピークに露光タイミングを同期させた撮影が行われる。これにより、フリッカ成分による静止画の画質の低下を防止した撮影を行うことができる。

［第１の実施形態の効果］
以上説明した第１の実施形態によれば、以下に例示する効果を得ることができる。
フリッカ成分を検出するためのセンサ等を設ける必要がなくなり、装置の小型化が可能となり幅広いカテゴリの製品への応用が可能となる。
高フレームレートに基づく画像に基づく十分なサンプリング数によりフリッカ成分の周波数推定処理等を実行しているので、処理結果の精度を向上させることができる。
フリッカのピークのタイミングに合わせて静止画の撮影が行われるため、シャッタスピードの制約を受けずに色や明るさのばらつきのない画像を撮影することができる。

［第１の実施形態の変形例］
以上説明した第１の実施形態は、例えば、以下のような変形が可能である。
スルー画像に対するフリッカ低減処理が行われなくてもよい。この場合、シャッタボタンの半押し操作に応じてなされるフリッカレス撮影処理、すなわち、高速にしたフレームレートで露光することにより得られる画像データを使用して、フリッカ低減処理と同様の方法でフリッカの有無が検出されるようにしてもよい。

また、半押し操作を経ずにシャッタボタンに対する深押し操作がなされた場合には、フリッカレス撮影処理が行われないようにしてもよいし、フリッカ成分の少なくとも１周期分を検波できるだけの時間、処理を遅延させてフリッカレス撮影処理が行われるようにしてもよい。

静止画が連続して撮影される連写撮影やブラケット撮影等の場合には、２枚目以降も連写前に得られたフリッカ成分のピークのタイミングに同期させた撮影が行われるようにしてもよい。すなわち、１度目の露光の前に検出されたフリッカ成分のピークのタイミングに基づいて、２度目以降の露光のタイミングを当該フリッカ成分のピークのタイミングに同期させた撮影が行われるようにしてもよい。

フレームレートを高速化した場合に、感度を上げる処理やノイズを低減するための処理（ノイズリダクション処理）の効果を強める処理が行われるようにしてもよい。また、輝度を検波して周囲の明るさが閾値以下等の場合には、フリッカレス撮影処理が行われないようにしてもよい。

上述した実施形態では、フリッカ成分のピークのタイミングに露光のタイミングを同期させて撮影を行うようにしている。このため、例えば、半押し操作の際にユーザが確認した画像（表示部１８ｂに表示された画像）に比べて、撮影により得られる画像が明るくなり得る。そこで、得られる画像に対して輝度を低下させる等のゲインコントロール処理が行われるようにしてもよい。

撮像装置１００におけるシャッタスピードが所定以上、長くなると、得られるフリッカ成分の波形が積分されサイン波に近似したものになる。特に、フリッカ成分の１周期（１／１００または１／１２０）よりシャッタスピードが長くなるとフリッカ成分の位相が反転する。そこで、シャッタスピードの設定を確認し、フリッカ成分の１周期よりシャッタスピードが長い場合には、フリッカレス撮影処理が行われないようにしてもよいし、位相のずれ（例えば、１８０度のずれ）に応じてピークのタイミングを補正する処理等が行われるようにしてもよい。また、フリッカ成分の１周期より長いシャッタスピードが設定された場合には、フリッカレス撮影ができない旨をユーザに報知する処理が行われるようにしてもよい。

上述した実施形態では、準備操作の例として半押し操作を挙げたか、準備操作は、一定期間以上、撮像装置１００を停止または略停止させる操作等、他の操作でもよい。

また、上述した実施形態は、フリッカ低減部２５を含むデジタル信号処理部２０をハードウェアによって構成する場合であるが、フリッカ低減部２５またはデジタル信号処理部２０の一部または全部をソフトウェアによって構成してもよい。また、フリッカ低減部２５を複数（例えば２つ）設け、スルー画像に対するフリッカ低減処理および高速のフレームレートで得られた画像データに対してフリッカレス撮影処理を行う処理ブロックを別々にした構成が採用されてもよい。

上述した実施形態では、フリッカが発生する光源として蛍光灯を例にして説明したが、蛍光灯に限定されるものではなく、周期性をもって明滅するものであれば他の光源（例えばＬＥＤ）にも本技術を適用することができる。この場合、ＬＥＤの周波数を特定する処理を前段階として行ってもよい。

さらに、上述した実施形態は、ＣＭＯＳ撮像素子以外のＸＹアドレス走査型の撮像素子やローリングシャッタが適用される撮像素子を使用した撮像装置にも適用可能である。

＜２．第２の実施形態＞
次に、本技術の第２の実施形態について説明する。なお、第１の実施形態で説明した事項（撮像装置１００の構成や機能等）は、特に断らない限り第２の実施形態に適用することができる。

「フリッカ光源に応じた色のずれ」
第１の実施形態では、フリッカを生じる光源（フリッカ光源）のもとで撮影する場合を想定し、フリッカ成分による画質の低下を抑制するフリッカレス撮影処理について説明した。ところで、フリッカ光源はその種類に応じてフリッカ成分の波形がＲＧＢ毎に異なる光源が多く存在する。図８は、フリッカ光源の種類に応じてフリッカ成分のＲＧＢ毎の波形が異なることを説明するための図である。図８Ａ、図８Ｂおよび図８Ｃの各図におけるグラフの横軸は時間を示し、縦軸はＪＰＥＧ(Joint Photographic Experts Group)形式の画像の出力レベルである。また、図中、実線がＲの成分を示し、点線がＧの成分を示し、一点鎖線がＢの成分を示している。

図８Ａは、昼白色蛍光灯のフリッカ成分の波形例を示している。図８Ｂは、三波長昼白色蛍光灯のフリッカ成分の波形例を示している。図８Ｃは、水銀灯のフリッカ成分の波形例を示している。図示の通り、フリッカ光源の種類に応じてフリッカ成分のＲＧＢ毎の波形が異なっていることがわかる。フリッカ光源のこの特性がフリッカレス撮影処理により得られる画像のホワイトバランス（色味）に影響を与えるおそれがある。

図９は、フリッカ光源の一例である昼白色蛍光灯のフリッカに起因する色のずれを説明するための図である。図９では、フリッカ成分のピークのタイミングに露光タイミングを同期させた場合における２つの露光時間が示されている。長い露光時間であるＴａは、例えば１／１００秒であり、短い露光時間であるＴｂは、例えば、１／１０００秒である。各々の露光時間で得られる画像の色は、当該露光時間の間のＲＧＢを積分した積分値となる。得られた２つの画像に対して同一のホワイトバランス処理を実行するとＲＧＢの積分値が異なるため、ホワイトバランスにより得られる２つの画像の色が異なるおそれがある。第２の実施形態は、この点に対応する実施形態である。

「デジタル信号処理部の構成例」
図１０は、第２の実施形態におけるデジタル信号処理部（以下適宜、デジタル信号処理部２０Ａと称する）の構成例である。第１の実施形態におけるデジタル信号処理部２０と異なる点を中心に説明する。ホワイトバランス調整回路２７に対して、メモリ２７Ａが接続されている。メモリ２７Ａには、シャッタスピードに応じたホワイトバランス調整用のパラメータ（以下適宜、ホワイトバランスゲインと称する）が記憶されている。システムコントローラ１４による制御によりメモリ２７Ａから読み出されたホワイトバランスゲインがホワイトバランス調整回路２７に設定されるように構成されている。なお、本実施形態では、ホワイトバランスゲインの生成は、システムコントローラ１４により制御される。

「動作例」
次に、第２の実施形態における撮像装置（以下適宜、撮像装置１００Ａと称する）の動作例について、図１１および図１２のフローチャートを参照して説明する。なお、撮像装置１００Ａには、ホワイトバランス（ＷＢ）に関する設定として例えば、以下の３つのモードが設定可能とされている。
・オートホワイトバランスモード
・プリセットホワイトバランスモード
・カスタムホワイトバランスモード

３つのモードのうち、オートホワイトバランスモードは、撮像装置１００Ａにより自動でホワイトバランスゲインが設定されるモードである。プリセットホワイトバランスモードは、複数の代表的な光源（太陽、電球、蛍光灯等）が選択可能とされており、選択された光源に最適なホワイトバランスゲインが設定されるモードである。カスタムホワイトバランスモードは、ユーザが撮像装置１００Ａの使用環境下で壁等の無彩色の箇所を試験的に撮影（テスト撮影）し、その結果に応じたホワイトバランスゲインを取得するモードである。

図１１のフローにおいて、ステップＳＴ２１では、ユーザが操作部１８ａを使用してホワイトバランスの設定を変更する操作がなされる。そして、処理がステップＳＴ２２に進む。

ステップＳＴ２２では、ホワイトバランスの設定としてオートホワイトバランスが設定されたか否かがシステムコントローラ１４により判断される。オートホワイトバランスモードが設定された場合には、処理がステップＳＴ２３に進む。ステップＳＴ２３では、撮像装置１００Ａの例えばシステムコントローラ１４により自動でホワイトバランスゲインが生成され、当該ホワイトバランスゲインがホワイトバランス調整回路２７に設定される。ステップＳＴ２２において、設定されたホワイトバランスのモードがオートホワイトバランスモードでない場合には、処理がステップＳＴ２４に進む。

ステップＳＴ２４では、ホワイトバランスの設定としてプリセットホワイトバランスが設定されたか否かがシステムコントローラ１４により判断される。プリセットホワイトバランスモードが設定された場合には、処理がステップＳＴ２５に進む。ステップＳＴ２５では、選択された光源に対応するホワイトバランスゲインがメモリ２７Ａから読み出され、当該ホワイトバランスゲインがホワイトバランス調整回路２７に設定される。ステップＳＴ２４において、設定されたホワイトバランスのモードがプリセットホワイトバランスモードでない場合には、処理がステップＳＴ２６に進む。

ステップＳＴ２６では、ホワイトバランスのモードとしてカスタムホワイトバランスモードが設定されたことから、ホワイトバランスゲインを生成するため（得るため）のテスト撮影が実行される。なお、このとき表示部１８ｂにテスト撮影を促す表示等がなされてもよい。テスト撮影が始まり、ユーザが無彩色の箇所に撮像装置１００Ａを向けシャッタボタンが押される。そして、処理がステップＳＴ２７に進む。

ステップＳＴ２７において、ＣＭＯＳ撮像素子１２の駆動レートが制御され、フレームレートが高速化（例えば、２００または２４０ｆｐｓ）される。そして、フリッカ成分の有無、周波数、ピークのタイミング等が検出される。なお、この処理の詳細は、第１の実施形態で詳細に説明しているので重複した説明を省略する。そして、処理がステップＳＴ２８に進む。

ステップＳＴ２８では、ステップＳＴ２７の処理でフリッカ成分が検出されたか否かがシステムコントローラ１４により判断される。フリッカ成分が検出されない場合には、処理がステップＳＴ２９に進み、露光時間Ｔ１で１枚、白、灰色等の無彩色の箇所の撮影に応じた処理がなされる。なお、ここでの露光時間Ｔ１は、フリッカの生じない１/ｎ秒（ｎは光源周波数で１００または１２０の場合が多い）である。そして、処理がステップＳＴ３０に進む。

ステップＳＴ３０では、テスト撮影の結果により得られる画像データに対する適切なホワイトバランスゲインＷｂがシステムコントローラ１４により生成される。そして、処理がステップＳＴ３１に進む。ステップＳＴ３１では、ステップＳＴ３０の処理で得られたホワイトバランスゲインＷｂが、システムコントローラ１４による制御に応じてメモリ２７Ａに記憶され保存される。

ステップＳＴ２８において、フリッカ成分が検出された場合には、処理がステップＳＴ３２に進む。ステップＳＴ３２では、露光時間Ｔ１で１枚の無彩色の箇所を撮影するテスト撮影が行われる。このテスト撮影は、第１の実施形態で説明した、フリッカ成分のピークのタイミングに露光タイミングを同期させたフリッカレス撮影処理である。そして、処理がステップＳＴ３３に進む。

ステップＳＴ３３では、ステップＳＴ３２の撮影に続いて、露光時間Ｔ２で１枚の無彩色の箇所を撮影するテスト撮影が行われる。このテスト撮影も、フリッカ成分のピークのタイミングに露光タイミングを同期させたフリッカレス撮影処理である。なお、露光時間Ｔ２は、例えば、撮像装置１００Ａに設定可能な最速のシャッタスピードであり、本例では、１／８０００秒である。なお、ステップＳＴ３２、３３のテスト撮影は、例えば、ユーザがテスト撮影をするためにシャッタボタンを１回押すことにより自動で連続的に実行されるものであり、ユーザが２回シャッタボタンを押す必要はない。そして、処理がステップＳＴ３４に進む。

ステップＳＴ３４では、ステップＳＴ３２におけるテスト撮影で得られた画像ＡおよびステップＳＴ３３におけるテスト撮影で得られた画像Ｂのそれぞれに対する適切なホワイトバランスゲインＷｂＴ１、ＷｂＴ２がシステムコントローラ１４により生成される。そして、処理がステップＳＴ３５に進む。

ステップＳＴ３５では、露光時間Ｔ１、Ｔ２に対応するそれぞれのホワイトバランスゲインＷｂＴ１、ＷｂＴ２が露光時間に対応付けられてメモリ２７Ａに記憶され、保存される。なお、フリッカレス撮影で得られたホワイトバランスゲインは、その旨を示すフラグが対応付けられて記憶される。

次に、カスタムホワイトバランスモードが選択され、テスト撮影がなされた後の処理について、図１２のフローチャートを参照して説明する。

ステップＳＴ４１では、実際に被写体を撮影する本撮影（第２の撮影）のためのシャッタボタンが押された後、メモリ２７Ａに記憶されたホワイトバランスゲインを選択する処理が行われる。なお、この選択処理はユーザによって行われてもよいし、システムコントローラ１４の制御によって最新のホワイトバランスゲインが選択されるようにしてもよい。そして、処理がステップＳＴ４２に進む。

ステップＳＴ４２では、ステップＳＴ４１で選択されたホワイトバランスゲインがフリッカレス撮影でのテスト撮影で得られたものであるか否かが判断される。なお、選択されたホワイトバランスゲインがフリッカレス撮影でのテスト撮影で得られたものであるか否かは、メモリ２７Ａに記憶されているホワイトバランスゲインに対応付けられたフラグを参照することにより判断することができる。ここで、選択されたホワイトバランスゲインが図１１におけるステップＳＴ３０、３１で算出および記憶されたホワイトバランスゲインＷｂの場合には、ステップＳＴ４２で否定判断がなされ、処理がステップＳＴ４３に進む。

ステップＳＴ４３では、選択されたホワイトバランスゲインＷｂが本撮影で使用されるホワイトバランスゲインとしてホワイトバランス調整回路２７に設定される。そして、処理がステップＳＴ４４に進む。

ステップＳＴ４４では、本撮影の撮影処理によって取り込まれた画像データに対して、ホワイトバランスゲインＷｂによるホワイトバランス調整処理等の信号処理が実行される。各種の信号処理が施された画像データが適宜、記憶される。

ステップＳＴ４２において、ステップＳＴ４１で選択されたホワイトバランスゲインがフリッカレス撮影でのテスト撮影で得られたものである場合には、処理がステップＳＴ４５に進む。ステップＳＴ４５では、撮影に使用する露光時間（シャッタスピード）Ｔａｃｔが取得される。そして、処理がステップＳＴ４６に進む。

ステップＳＴ４６では、ホワイトバランスゲイン生成時に使用した露光時間Ｔ１、Ｔ２がメモリ２７Ａから読み出される。そして、処理がステップＳＴ４７に進む。

ステップＳＴ４７では、Ｔａｃｔ＝Ｔ１であるか否かが判断される。Ｔａｃｔ＝Ｔ１である場合には、処理がステップＳＴ４８に進む。

ステップＳＴ４８では、露光時間Ｔ１に対応するホワイトバランスゲインＷｂＴ１がメモリ２７Ａから読み出され、ホワイトバランス調整回路２７に設定される。そして、処理がステップＳＴ４４に進む。

ステップＳＴ４４では、撮影処理が行われる。例えば、本撮影により得られた画像データに対してホワイトバランスゲインＷｂ１によるホワイトバランス調整処理等の信号処理が実行される。各種の信号処理が施された画像データが適宜、記憶される。

ステップＳＴ４７において、Ｔａｃｔ＝Ｔ１でない場合には、処理がステップＳＴ４９に進む。ステップＳＴ４９では、Ｔａｃｔ＝Ｔ２であるか否かが判断される。Ｔａｃｔ＝Ｔ２である場合には、処理がステップＳＴ５０に進む。

ステップＳＴ５０では、露光時間Ｔ２に対応するホワイトバランスゲインＷｂＴ２がメモリ２７Ａから読み出され、ホワイトバランス調整回路２７に設定される。そして、処理がステップＳＴ４４に進む。

ステップＳＴ４４では、撮影処理が行われる。例えば、本撮影により得られた画像データに対してホワイトバランスゲインＷｂ２によるホワイトバランス調整処理等の信号処理が実行される。各種の信号処理が施された画像データが適宜、記憶される。

ステップＳＴ４９において、Ｔａｃｔ＝Ｔ２でない場合には、処理がステップＳＴ５１に進む。ステップＳＴ５１では、システムコントローラ１４が、露光時間Ｔ１、Ｔ２と異なる露光時間Ｔａｃｔに対応するホワイトバランスゲインＷｂＴａｃｔを、生成したホワイトバランスゲインＷｂＴ１、ＷｂＴ２に基づいて適用する。ホワイトバランスゲインＷｂＴａｃｔは、例えば、線形補間処理により生成することができる。

線形補間の一例について説明する。なお、以下の例は、Ｒ，Ｂに対するゲインを求める例であるが、Ｇに対するゲインを含めてもよい。
露光時間Ｔ１のホワイトバランスゲイン（Ｒ，Ｂ）を（Ｒｔ１，Ｂｔ１）とし、露光時間Ｔ２のホワイトバランスゲイン（Ｒ，Ｂ）を（Ｒｔ２，Ｂｔ２）とするとき、露光時間Ｔａｃｔのホワイトバランスゲイン（Ｒ，Ｂ）である（Ｒｔｘ，Ｂｔｘ）は、下記の式（１ａ）、（１ｂ）で表すことができる。
Ｒｔｘ＝Ｒｔ１＋α（Ｒｔ２−Ｒｔ１） ・・・（１ａ）
Ｂｔｘ＝Ｂｔ１＋α（Ｂｔ２−Ｂｔ１） ・・・（１ｂ）
但し、αは補間係数であり、α＝（Ｔａｃｔ−Ｔ１）／（Ｔ２−Ｔ１）
なお、Ｔと露光時間との関係性は下記の式（１ｃ）で規定することができる
Ｔ＝ＬＯＧ｛（１／露光時間），２｝ ・・・（１ｃ）
なお、上述の補間計算例は一例であり、これに限定されるものではない。

ステップＳＴ５１における処理により露光時間Ｔａｃｔに対応するホワイトバランスゲインＷｂＴａｃｔが生成され、ホワイトバランス調整回路２７に設定される。そして、処理がステップＳＴ４４に進む。

ステップＳＴ４４では、撮影処理が行われる。例えば、本撮影により得られた画像データに対して設定されたホワイトバランスゲインＷｂＴａｃｔを適用したホワイトバランス調整処理等の信号処理が実行される。各種の信号処理が施された画像データが適宜、記憶される。

[第２の実施形態の効果]
以上、説明した第２の実施形態によれば、フリッカレス撮影においてシャッタスピードが可変された場合でも、シャッタスピードに対応する適切なホワイトバランスゲインによるホワイトバランスゲイン処理を行うことが可能となり、適切な色の調整が可能となる。

[第２の実施形態の変形例]
第２の実施形態は、例えば、以下のような変形が可能である。
上述した第２の実施形態では、２回のテスト撮影を行うことで２つの画像を得、当該２つの画像に基づいて各露光時間に対応するホワイトバランスゲインを生成するようにしたがこれに限定されるものではない。図１３に示すように、例えば、幕速の中心をフリッカ成分のピークに合わせたフリッカレス撮影によるテスト撮影を３回行うことで３つの画像を得、各露光時間に対応するホワイトバランスゲインＷｂＴ１、ＷｂＴ２、ＷｂＴ３を算出してもよい。また、４回以上のテスト撮影が行われてもよい。なお、同図の例では、露光時間が長いほどＢの成分が少なくなるのでＢのゲインを大きくすること等が示されている。

図１３の露光時間Ｔ１、Ｔ２、Ｔ３は、それぞれ１／１００秒、１／１０００秒、１／８０００秒であるが、この露光時間は、フリッカ成分の１周期より遅くなければ適宜、設定することが可能である。また、露光時間Ｔ１、Ｔ２に対応するホワイトバランスゲインＷｂＴ１、ＷｂＴ２から、外側（Ｔ１からＴ２までの範囲から外れる時間）の露光時間に対応するホワイトバランスゲインを補間により求めてもよい。テスト撮影は、露光時間が短い方のテスト撮影から行われてもよいし、露光時間の長い方のテスト撮影から行われてもよい。

過去にフリッカレス撮影により得られた複数枚の画像に基づいて、露光時間に対応するホワイトバランスゲインを生成するようにしてもよい。例えば、画像に対応付けられたメタデータ（付随情報）にシャッタスピードに関する情報を含め、当該シャッタスピードに対応するホワイトバランスゲインを生成するようにしてもよい。また、生成されたホワイトバランスゲインが記憶され後から使用できるようにしてもよい。過去に得られた画像は、撮像装置に記憶されている画像でもよいし、可搬型のメモリに記憶されている画像でもよいし、インターネット等を介してダウンロードされた画像でもよい。

上述した第２の実施形態において、生成されたホワイトバランスゲインが記憶され、後から使用できるようにしてもよい。また、ＧＰＳ（Global Positioning System）等の位置情報と、露光時間（シャッタスピードでもよい）およびホワイトバランスゲインとを対応付けて記憶し、同一の場所および同一の露光時間での撮影がなされる場合には、その場所における過去のホワイトバランスゲインを設定したり、ユーザに提示する処理が行われるようにしてもよい。

上述した第２の実施形態では、テスト撮影および本撮影が行われるタイミングを、フリッカ成分のピークのタイミングに同期させたが、フリッカ成分のボトム（振幅が最も小さくなる箇所）のタイミング等、他のタイミングに同期させてもよく、露光のタイミングを同期させるフリッカ成分の位相が、各撮影において同じであればよい。

上述した第２の実施形態におけるステップＳＴ４７、４９の処理において、シャッタスピードがＴ１やＴ２に厳密に一致していなくても、所定の範囲内の誤差であれば、Ｔ１、Ｔ２に対応するホワイトバランスゲインＷｂＴ１、ＷｂＴ２が当該シャッタスピードに対応するホワイトバランスゲインとして使用されるようにしてもよい。

第２の実施形態は、メカニカルなシャッタ、電子シャッタ、グローバルシャッタ、ローリングシャッタ等、何れに対しても適用可能であり、撮像素子がＣＣＤ(Charge Coupled Device)である場合にも適用可能である。

フリッカ光源の光源周波数は、１００Ｈｚや１２０Ｈｚに限定されず、高速に明滅するＬＥＤに対しても本技術を適用することができる。

上述した第２の実施形態において、動画の撮影をフリッカ光源下で行う場合でも、予め無彩色チャート等を露光時間を変えながらテスト撮影して、当該露光時間に対応するホワイトバランスゲインが算出されるようにしてもよい。

上述した第２の実施形態において、フリッカ光源下でマクベスチャート等の白色以外の様々な色からなる被写体を異なる露光時間で複数枚撮影して、露光時間毎の色再現に関するパラメータが算出されるようにしてもよい。すなわち、本技術の第２実施形態は、異なる露光時間に対応するホワイトバランスゲインのみではなく、ホワイトバランスゲインおよび色再現に関するパラメータの少なくとも一方を含む、露光時間毎の色の調整に関するパラメータの生成を制御する構成とすることができる。

上述した第２の実施形態において、被写体のモニタリング中にフリッカレス撮影を行い、撮影により得られるスルー画像に対しても露光時間毎のホワイトバランスゲインが生成されるようにしてもよい。

上述した第２の実施形態において、ステップＳＴ４５における露光時間は、撮像装置により自動で設定されたものでもよい。

上述した第２の実施形態において、フリッカ光源の種類に応じてステップＳＴ３２、３３における露光時間Ｔ１、Ｔ２が異なるように設定されてもよいし、フリッカ光源の種類に応じた方法でホワイトバランスゲイン等のパラメータが生成されるようにしてもよい。

本撮影の前に、撮像装置１００に設定されているシャッタスピードに応じたホワイトバランスゲイン等を生成していてもよく、そのまま当該シャッタスピードで本撮影がなされる場合には、事前に生成したホワイトバランスゲイン等を適用してもよい。

上述した第２の実施形態では、システムコントローラ１４がホワイトバランスゲイン等を生成したが、システムコントローラ１４の制御に応じて、他の機能ブロックがホワイトバランスゲインを生成するようにしてもよい。

＜３．その他の変形例＞
なお、本技術は、以下のような構成も取ることができる。
（１）
互いに異なる露光時間で撮影された複数の画像に基づいて、当該露光時間に対応する色の調整に関するパラメータの生成を制御する制御部を備える
画像処理装置。
（２）
前記色の調整に関するパラメータは、ホワイトバランスを調整するためのホワイトバランスゲインおよび色の再現に関するパラメータの少なくとも一方である
（１）に記載の画像処理装置。
（３）
前記制御部は、前記露光時間と異なる露光時間に対応する前記色の調整に関するパラメータを、前記生成したパラメータに基づいて生成するように構成される
（１）または（２）に記載の画像処理装置。
（４）
前記画像は、フリッカ光源におけるフリッカ成分の所定の位相に、露光のタイミングを同期させた撮影により得られる画像である
（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記フリッカ成分の所定の位相は、前記フリッカ成分のピークである
（４）に記載の画像処理装置。
（６）
前記撮影後に前記所定の位相に露光のタイミングを同期させた第２の撮影がなされるように構成される
（４）または（５）に記載の画像処理装置。
（７）
前記制御部は、前記第２の撮影において設定された露光時間に対応する色の調整に関するパラメータを、前記生成したパラメータに基づき適用する
（６）に記載の画像処理装置。
（８）
前記制御部は、互いに異なる露光時間で撮影された２つの画像に基づいて、それぞれの露光時間に対応する色の調整に関するパラメータの生成を制御するように構成される
（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
前記生成されたパラメータが記憶されるように構成される
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０）
フリッカ光源の種類に応じて前記複数の露光時間が設定されるように構成される
（１）乃至（９）のいずれかに記載の画像処理装置。
（１１）
フリッカ光源の種類に応じた方法により前記パラメータの生成が制御されるように構成される
（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
撮像部を備える
（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
制御部が、互いに異なる露光時間で撮影された複数の画像に基づいて、当該露光時間に対応する色の調整に関するパラメータの生成を制御する
画像処理方法。
（１４）
制御部が、互いに異なる露光時間で撮影された複数の画像に基づいて、当該露光時間に対応する色の調整に関するパラメータの生成を制御する
画像処理方法をコンピュータに実行させるプログラム。

上述した実施形態における撮像装置は、医療用の機器やスマートフォン、コンピュータ装置、ゲーム機器、ロボット、防犯カメラ、移動体（電車、飛行機、ヘリコプター、小型飛行体等）に組み込まれていてもよい。

以上、本技術の実施形態について具体的に説明したが、上述の各実施形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。例えば、上述の実施形態において挙げた構成、方法、工程、形状、材料および数値などはあくまでも例に過ぎず、必要に応じてこれと異なる構成、方法、工程、形状、材料および数値などを用いてもよい。上述した実施形態および変形例を実現するための構成が適宜、追加されてもよい。また、装置に限らず、方法、プログラム、プログラムが記録された記録媒体等、任意の形態によって本技術を実現することができる。

１００・・・撮像装置
１１・・・撮像光学系
１２・・・ＣＭＯＳ撮像素子
１４・・・システムコントローラ
２０・・・デジタル信号処理部
２５，２５Ｒ、２５Ｇ，２５Ｂ・・・フリッカ低減部
２７・・・ホワイトバランス調整回路

Claims (14)

1. 互いに異なる露光時間で撮影された複数の画像に基づいて、当該露光時間に対応する色の調整に関するパラメータの生成を制御する制御部を備える
   画像処理装置。
2. 前記色の調整に関するパラメータは、ホワイトバランスを調整するためのホワイトバランスゲインおよび色の再現に関するパラメータの少なくとも一方である
   請求項１に記載の画像処理装置。
3. 前記制御部は、前記露光時間と異なる露光時間に対応する前記色の調整に関するパラメータを、前記生成したパラメータに基づいて生成するように構成される
   請求項１に記載の画像処理装置。
4. 前記画像は、フリッカ光源におけるフリッカ成分の所定の位相に、露光のタイミングを同期させた撮影により得られる画像である
   請求項１に記載の画像処理装置。
5. 前記フリッカ成分の所定の位相は、前記フリッカ成分のピークである
   請求項４に記載の画像処理装置。
6. 前記撮影後に前記所定の位相に露光のタイミングを同期させた第２の撮影がなされるように構成される
   請求項４に記載の画像処理装置。
7. 前記制御部は、前記第２の撮影において設定された露光時間に対応する色の調整に関するパラメータを、前記生成したパラメータに基づき適用する
   請求項６に記載の画像処理装置。
8. 前記制御部は、互いに異なる露光時間で撮影された２つの画像に基づいて、それぞれの露光時間に対応する色の調整に関するパラメータの生成を制御するように構成される
   請求項１に記載の画像処理装置。
9. 前記生成されたパラメータが記憶されるように構成される
   請求項１に記載の画像処理装置。
10. フリッカ光源の種類に応じて前記複数の露光時間が設定されるように構成される
    請求項１に記載の画像処理装置。
11. フリッカ光源の種類に応じた方法により前記パラメータの生成が制御されるように構成される
    請求項１に記載の画像処理装置。
12. 撮像部を備える
    請求項１に記載の画像処理装置。
13. 制御部が、互いに異なる露光時間で撮影された複数の画像に基づいて、当該露光時間に対応する色の調整に関するパラメータの生成を制御する
    画像処理方法。
14. 制御部が、互いに異なる露光時間で撮影された複数の画像に基づいて、当該露光時間に対応する色の調整に関するパラメータの生成を制御する
    画像処理方法をコンピュータに実行させるプログラム。

Images