JP6827838B2 - 撮像装置及び画像処理装置とその制御方法並びにプログラム - Google Patents

Description

本発明は、撮像装置とその制御方法、フリッカを含む画像の画像処理を行う画像処理装置とその制御方法及びプログラムに関する。

ＣＭＯＳセンサ等の電荷蓄積型の固体撮像素子を備えたデジタルビデオカメラ等の撮像装置を用いて蛍光灯等の光源下で被写体を撮像したときに、光源からの照明光量の変化によって取得した画像内に明暗差（縞）が生じることがある。このような照明光量の変化は一般的にフリッカと称呼されており、フリッカは、撮像装置の駆動周期と光源の商用電源の周波数とが一致せずに撮像素子の露光量がラインごとに異なってしまうことに起因して所定の周期で発生する。

フリッカの撮影映像への影響を排除するために、フリッカ成分を検出し、検出したフリッカ成分が打ち消されるように撮影映像を補正する（以下「フリッカ補正」という）機能が提案されている。例えば、特許文献１には、映像中の縞模様をラインごとの画素値の利得として正弦波で近似することでフリッカ成分を検出し、検出したフリッカ成分を打ち消す画像処理を行う技術がする技術が提案されている。

特開２００４−２２２２２８号公報

しかしながら、上記特許文献１に記載された技術では、被写体を撮像する際のシャッタ速度や光源の入力電圧に対する光量変化の応答特性などによっては、撮影画像に生じる実際のフリッカ成分（明暗差）の形状が理想的な正弦波の形状から乖離してしまうことがあり、この場合には補正の精度が低下してしまう。また、補正精度の低い画像には補正しきれないフリッカ成分（以下「補正残り」と称す）が残り、その影響によって画像に明暗差（縞）が生じてしまう。こうして補正残りが生じた画像を外部の画像処理装置で補正する場合、補正残りに起因する明暗差はフリッカ成分との相似性が低い。そのため、外部の画像処理装置においてフリッカ検出及び補正を正確に行うことは容易ではなく、明暗差が低減された画像を得ることが困難となっている。

一方、撮像により得られた映像素材をすぐに放送等に用いるためにフリッカ補正を行った後に、高精度なフリッカ補正を行うために、一旦、フリッカ補正前の元の映像素材に戻したいという要望がある。また、フリッカ補正をキャンセルした元の映像素材を保存したいという要望もある。このような要望に対して、既に行われたフリッカ補正の条件を知ることができれば至便である。

本発明は、フリッカに起因する明暗差が軽減された画像を容易に生成することを可能とする技術を提供することを目的とする。また、本発明は、フリッカ成分が補正された画像をフリッカ成分の補正前の画像へ容易に戻すことができる技術を提供することを目的とする。

本発明に係る撮像装置は、撮像手段と、前記撮像手段により撮像された画像に含まれるフリッカ成分を検出する検出手段と、前記検出手段により検出されたフリッカ成分を打ち消す画像処理を行うか否かを判定する判定手段と、前記画像処理のための補正値を算出する算出手段と、前記判定手段が前記画像処理を行うと判定した場合に、前記撮像手段により撮像された画像に対して前記補正値を用いて前記画像処理を行って補正画像を生成することができる補正手段と、前記フリッカ成分または前記補正値を含むフリッカ情報をメタデータとして前記画像または前記補正画像に付加する付加手段と、を備え、前記フリッカ情報は、少なくとも前記補正手段による前記画像処理の実施の有無を示す情報を更に含むことを特徴とする。

本発明によれば、フリッカに起因する明暗差が軽減された画像を容易に生成することができ、逆に、フリッカ成分が補正された画像をフリッカ成分の補正前の画像へ容易に戻すことができる。

フリッカが発生しているフレームを模式的示す図である。 第１実施形態に係る撮像装置が備える信号処理部のブロック図である。 第２実施形態に係る画像処理装置が備える信号処理部のブロック図である。 フリッカ補正後の画像信号に観察される明暗差と補正残りの補正に用いられる基準波形との関係を説明する図である。 フリッカ未補正の画像信号に観察される明暗差とフリッカ補正に用いられる基準波形との関係を説明する図である。

以下、本発明の実施形態について添付図面を参照して詳細に説明する。最初に、画像データからのフリッカ成分の検出方法と補正方法について概説する。図１は、撮像装置により撮影された映像にフリッカが発生している状態を模式的に示す図であり、液晶ディスプレイ等の表示装置に映像を再生した状態を示している。ＣＭＯＳセンサに代表されるＸＹアドレス方式の撮像素子で撮像を行った場合、図１に示されるように、映像の上下方向において明暗差が縞模様のように生じて撮影されることがある。前述したように、フリッカは、撮影時のフレームレートと撮影環境の光源の電源周波数が一致していないことにより発生する。映像に現れた明暗の縞模様からのフリッカ成分の抽出には、例えば、下記式１を用いて、時間方向の定常的な信号成分を抽出する方法を用いることができる。

上記式１において、“ｍｅｍ”は、上記式１の出力としてメモリに格納される値であり、“ａｖｅ”は、入力される画像内の各行の色成分の信号値である。また、上記式１において、“ｋ”は、巡回型のローパスフィルタのフィルタ係数であり、“ｍｏｕｔ”は、１フレームの前の画像の信号値が入力されたときに演算された上記式１の演算結果（１フレーム前のｍｅｍ）である。上記式１による演算を各色成分について各行で行うことにより、時間方向の定常的な信号成分を抽出することができる。抽出された定常的な信号成分を、現在のフレームでの信号レベル（各行の色成分ごとの積分値）で除算することにより、フリッカ成分（映像信号のレベル変動成分）を算出することができる。

続いて、算出されたフリッカ成分に基づき、上下方向の信号レベルの変動特性であるモデル関数（フリッカモデル）を生成する。モデル関数は、例えば、上下方向にある特定の振幅ｗ、周波数ｆ及び位相θを持つ周期的な関数として近似することができる。このとき、光源の電源である交流電源の電圧変動は三角関数の特徴を持つため、モデル関数とする周期的な関数として正弦波又は余弦波を用いるのが一般的である。但し、これに限られず、他の周期的な理想関数を用いても構わない。周波数ｆは、フレームレートと光源の電源周波数により決定される。各行の位相θは、フリッカ成分のうち変動比が１で上下方向に変動比の変化量で１をとる行を位相θ＝０（ゼロ）とすることによって算出される。振幅ｗは、算出された位相のπ／３及び３π／２における変動比から算出される。

モデル関数は色成分ごとに生成され、検出されたフリッカ成分を打ち消すようなゲイン（以下「補正ゲイン」と称する）をフレーム（画像）の各行に掛ける。本実施形態におけるフリッカ補正において、「フリッカ成分を打ち消す」とは、フリッカ成分を完全に無くすことを必要とするものではなく、フリッカ成分を一定限度（鑑賞の妨害にならない程度）にまで低減させることを意味する。

その際、入力画像（撮像素子から出力されるフレーム）の画像データがベイヤー配列の場合には、補正ゲインを調整するために各行に対して同じ補正係数を設定するのではなく、各行の同じ色成分の画素に対して同じ補正係数を設定する。なお、フリッカ成分を打ち消す補正ゲインを調整するための補正係数の算出方法としては、正弦波等の規則的なフリッカ成分であれば、位相をπだけずらした出力となる補正係数を算出すればよい。また、検出されたフリッカ成分が１倍を中心に正規化されている場合には、検出したフリッカ成分の逆数を補正係数とすることができる。

次に、上述したフリッカ補正方法を用いて映像信号を補正する撮像装置（第１実施形態）と画像処理装置（第２実施形態）について説明する。以下の説明では、撮像装置及び画像処理装置の構成について、フリッカ補正に関与する構成を中心に説明を行うこととし、フリッカ補正と直接の関係がない構成についての説明は省略する。

＜第１実施形態＞
本実施形態では、撮影映像に対する編集などを行わずに、撮影後すぐに使用するためにフリッカを補正する必要がある場合に有用な構成の例として、撮像装置で撮像を行い、得られた撮影映像のフリッカを検出し、フリッカ補正を行う構成を取り上げる。図２は、本発明の第１実施形態に係る撮像装置が備える信号処理部１００の概略構成を示すブロック図である。

信号処理部１００は、フリッカ成分検出部１０１、補正値算出部１０２、フリッカ補正部１０３及びメタデータ付加部１０４を有する。なお、フリッカ成分検出部１０１、補正値算出部１０２、フリッカ補正部１０３及びメタデータ付加部１０４はそれぞれ、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能である。また、これらの各部は、ソフトウェアとハードウェアとの組み合わせによって実装されていてもよいし、マイクロコンピュータ或いはＡＳＩＣ等の演算装置で構成されていてもよい。

撮像装置は、一般的なデジタルビデオカメラやデジタルカメラ等のように、撮像光学系、撮像素子、信号処理部１００、画像処理回路、記憶媒体等が共通の筐体に実装されたものであってもよい。また、撮像装置は、監視カメラのように、撮像光学系及び撮像素子を有する撮像部と、信号処理部１００、画像処理回路及び記憶媒体等を有する処理部（情報処理装置）とが通信可能に接続されたものであってもよい。信号処理部１００の動作は、撮像装置が備える不図示のシステム制御部によって制御される。

信号処理部１００へ入力される画像信号とは、本実施形態では、不図示の撮像素子（具体的にはＣＭＯＳセンサ）により撮像された映像（動画）を構成するフレーム（画像）の画像データを指すものとする。画像信号は、一般的なテレビジョンで入力可能な輝度色差信号（ＹＣＣ）であってもよいし、ＲＧＢ画像を時系列順に出力したＲＧＢ画像信号であっても構わない。

信号処理部１００への入力信号である画像信号は、フリッカ成分検出部１０１とフリッカ補正部１０３へ並列的に入力される。フリッカ成分検出部１０１は、入力された画像信号を復号し、画像の行ごとにＲＧＢの色信号値を積分値として取得する。そして、フリッカ成分検出部１０１は、画像の行ごとに取得した色信号値の積分値から、画像内のフリッカ成分を検出する。その際に検出されるフリッカ成分には、検出に用いたモデル関数、フリッカの周波数（光量変化の周期）、振幅及びレベル等が含まれる。

フリッカ成分検出部１０１で検出されたフリッカ成分は、補正値算出部１０２とメタデータ付加部１０４へ並列的に出力される。補正値算出部１０２では、取得したフリッカ成分のフリッカレベルを監視し、フリッカ補正を行うか否かを所定の条件にしたがって判定する。例えば、フリッカレベルが予め定められた所定の閾値以上であることを所定の条件とすることができる。補正値算出部１０２は、取得したフリッカレベルが所定の閾値以上の場合にフリッカ補正を行うと判定し、取得したフリッカレベルが所定の閾値未満の場合にはフリッカ補正を行わないと判定する。所定の閾値のデフォルト値は、例えば、予めフリッカ環境下で撮像された各種映像を検証した試験結果から定めることができる。所定の閾値は、ユーザにより設定が可能な構成となっていてもよい。

補正値算出部１０２は、フリッカ補正を行うと判定した場合に、フリッカ成分を打ち消す補正パラメータとして、補正ゲインの補正係数を算出し、フリッカ補正部１０３へ送る。一方、補正値算出部１０２は、フリッカ補正を実施しないと判定した場合、フリッカ補正部１０３で画像信号を実質的に補正しない補正ゲインとなる補正係数（例えば、基準倍率として１倍）をフリッカ補正部１０３へ送る。但し、補正値算出部１０２は、フリッカ補正を実施しないと判定した場合には、補正ゲインの補正係数を算出せず、画像信号を補正しない指令をフリッカ補正部１０３に送るようにしてもよい。

フリッカ補正部１０３は、補正値算出部１０２から取得した補正係数に応じた補正ゲインを、画像信号の各行に掛けることでフリッカ補正を行い、補正画像の画像信号を生成する。なお、フリッカ補正部１０３は、こうして生成した補正画像の画像信号をメタデータ付加部１０４へ出力する。また、フリッカ補正部１０３は、フリッカ補正を行わないときには、入力信号である画像信号をそのままメタデータ付加部１０４へ出力する。

前述の通り、フリッカ成分検出部１０１は、検出したフリッカ成分に関する情報をメタデータ付加部１０４へ出力しており、補正値算出部１０２は、算出した補正係数やフリッカ補正の実施の有無の判定結果等の情報をメタデータ付加部１０４へ出力している。そこで、メタデータ付加部１０４は、フリッカ補正部１０３から取得した補正画像の画像信号又は入力信号の画像信号に対して、その画像信号がフリッカ補正されたものであるか否かの識別を可能とするためのフリッカ情報をメタデータとして付加する。フリッカ情報は、例えば、フリッカ補正の実施の有無を示す情報であってもよいし、フリッカ補正に用いられた補正ゲイン（補正係数）であってもいし、検出されたフリッカ成分そのものであっても構わない。

メタデータ付加部１０４から出力される画像信号は、例えば、メタデータ付加部１０４の後段に設けられた不図示の記憶媒体に記憶され或いは不図示の画像処理装置等の外部機器へ送られる。信号処理部１００での処理を経た画像信号であれば、後から外部機器等で画像処理ソフトウェアによる画像処理を行う際に、画像信号に付加されたメタデータから、フリッカ補正が施されたものが否かの判別が可能である。よって、判別結果に適した画像処理を行うことが可能になる。例えば、第２実施形態で説明するように、画像処理ソフトウェアを用いて画像処理を行う際に、メタデータに含まれるフリッカ情報に基づき、画像信号の画像処理条件を適切に設定することができ、また、処理時間の短縮を図ることができる。また、二重にフリッカ補正が施されてしまうことによる画質低下を防止することができる。

以上の説明の通り、本実施形態によれば、フリッカ補正後の映像信号を後になって画像処理する際の利便性を飛躍的に向上させることができる。なお、本実施形態では、信号処理部１００を備える機器として撮像装置を取り上げた。但し、信号処理部１００を備える機器は、外部からの画像信号の入力が可能であればよく、例えば、パーソナルコンピュータ（ＰＣ）等の情報処理装置であってもよい。その場合、信号処理部１００に入力される画像信号は、撮像装置により取得されて記憶媒体に記憶されていた画像データであってもよい。

＜第２実施形態＞
本実施形態では、第１実施形態で説明した信号処理部１００から出力された画像信号（フリッカ情報がメタデータとして付加された画像信号）を画像処理する画像処理装置について説明する。図３は、本発明の第２実施形態に係る画像処理装置が備える信号処理部２００の概略構成を示すブロック図である。信号処理部２００は、メタデータ解析部２０１、周期成分検出部２０２、補正値算出部２０３及びフリッカ補正部２０４を有する。なお、画像処理装置は、例えば、パーソナルコンピュータであり、信号処理部２００の機能は、例えば、パーソナルコンピュータのＣＰＵが画像処理ソフトウェアのプログラムを実行することによって実現される。但し、信号処理部２００の機能は、ソフトウェアによる実現に限定されず、ハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの組み合わせにより実現されてもよい。

信号処理部２００へ入力される画像信号は、撮像装置による撮像動作により取得されて信号処理部１００で処理された後に続いて入力されるものであってもよいし、信号処理部１００で処理された後に、一旦、記憶媒体に記憶されていたものであってもよい。信号処理部２００への入力信号である画像信号は、メタデータ解析部２０１、周期成分検出部２０２及び補正値算出部２０３に並列的に入力される。メタデータ解析部２０１は、画像信号に付加されたメタデータを解析してフリッカ情報を取得する。ここで、メタデータ解析部２０１が取得するフリッカ情報とは、第１実施形態においてメタデータ付加部１０４が補正画像の画像信号又は入力信号の画像信号に付加したフリッカ情報と同じである。メタデータ解析部２０１は、解析したフリッカ情報を周期成分検出部２０２と補正値算出部２０３へ出力する。

周期成分検出部２０２及び補正値算出部２０３がメタデータ解析部２０１からフリッカ情報を取得して実行する処理について、具体的に３つの例を挙げて説明する。以下に説明する第１の例、第２の例及び第３の例のうちどの処理を行うかは、画像処理装置の不図示の操作手段を介してユーザにより指示される。

第１の例は、フリッカ補正が行われた画像信号が信号処理部２００に入力された場合に行われる処理の例であり、画像信号に含まれるフリッカ補正の補正残り（既に行われたフリッカ補正で補正しきれなかったフリッカ成分）を補正する処理である。図４は、フリッカ補正後に補正残りが発生している映像において観測される明暗差（縞模様）と、補正残りの補正に用いられる基準波形との関係を説明する図である。補正残りが生じた映像に現れる明暗差は、パルス波形に近い形状（波形）となり、その周期（周波数）はフリッカ補正前のフリッカの周期と略同一となるが、その位相φはフリッカ補正前のフリッカの位相φとは異なる。

周期成分検出部２０２は、まず、メタデータ解析部２０１から取得したフリッカ情報に基づき、入力信号である画像信号はフリッカ補正済みかフリッカ未補正かを判定する。ここでは、周期成分検出部２０２は、フリッカ補正済みの画像信号が信号処理部２００へ入力されたと判定したものとする。

ここで、周期成分検出部２０２は、少なくともフリッカ補正の実施の有無を判定することができれば、画像信号を解析することによって、補正残りに起因する明暗差の周期、位相及びレベルを検出することは可能である。しかし、画像信号を解析して補正残りを検出する場合には、処理（演算）負荷が大きくなってしまう。そこで、本実施形態では、メタデータ解析部２０１から取得したフリッカ情報（フリッカ成分）に基づいて、補正残り（に起因する明暗差）の周期及び位相の検出に用いる基準波形となるパルス波形を決定する。つまり、補正残りの輝度変化には、フリッカの周期とは異なる周期ではあっても、一定の周期性があることを利用して、基準波形を用いて補正残りを検出する。なお、ここで用いるフリッカ情報とは、第１実施形態で説明したように、フリッカの検出に用いたモデル関数、フリッカの周波数、振幅及びレベル等である。これにより、補正残りの周期性から外れた輝度変化を補正残りと誤検知することを防止することができ、また、補正残りの周期性から外れた輝度変化を誤って補正してしまうことで不自然な輝度変化が生じた画像が生成されてしまうのを抑制することができる。

周期成分検出部２０２により検出された補正残りに起因する明暗差の周期、位相及びレベルは、補正値算出部２０３へ出力される。補正値算出部２０３は、周期成分検出部２０２から取得した情報に基づいて補正係数を算出し、フリッカ補正部２０４へ出力する。フリッカ補正部２０４は、取得した補正係数を用いて補正ゲインを決定し、入力画像の補正残りが打ち消されるように画像処理を行う。こうして、画像信号に付加されたメタデータに含まれるフリッカ情報を利用して画像信号の補正残りを適切に検出し、補正することで、補正残りによる画質劣化を抑制した良好な映像を得ることができる。

第２の例は、フリッカ補正が行われていない画像信号が信号処理部２００に入力された場合に行われる処理であり、画像信号のフリッカ成分を補正する処理である。図５は、フリッカ未補正の映像において観測される明暗差（縞模様）と、フリッカの検出と補正に用いられる基準波形との関係を説明する図である。フリッカ未補正の映像では、明暗差は正弦波に近い波形として観測される。そこで、周期成分検出部２０２は、まず、メタデータ解析部２０１から取得したフリッカ情報に基づき、入力信号である画像信号はフリッカ補正済みかフリッカ未補正かを判定する。ここでは、周期成分検出部２０２は、フリッカ未補正の画像信号が信号処理部２００へ入力されたと判定したものとする。フリッカの補正方法について概説したように、フリッカの検出と補正は、基準波形として正弦波を用いて行うことができる。そこで、周期成分検出部２０２が備える不図示のメモリにフリッカを想定した正弦波情報を格納しておき、フリッカの検出に用いる基準波形として選択した正弦波と画像信号とを比較する。これにより、フリッカの周期や位相を容易に検出することができる。

ところで、画像信号の輝度変化からフリッカ成分の検出と補正を行うフリッカ補正機能では、フリッカ成分に類似した周期的な被写体の変化をフリッカ成分と誤認してしまい、誤って補正してしまうことが起こり得る。この問題を回避するために、被写体の撮像時にはフリッカを補正せずに撮像後にフリッカを補正することがあり、これによってより適切なフリッカ補正を施すことができる。しかしながら、この場合には、フリッカの周波数や位相、レベル、基準波形等のすべてのパラメータを一から手動で設定した上で適切な補正係数を決定しなければならいため、画像補正についての深い知識や熟練した技術が必要となる。

この問題を回避するために、信号処理部２００を情報処理装置上で動作する画像処理ソフトウェアで実現する場合、フリッカ情報に含まれるフリッカ成分を補正候補パラメータに設定し、画像処理ソフトウェア上で設定する補正パラメータの初期値として利用する。例えば、補正値算出部２０３は、メタデータ解析部２０１から取得したフリッカ情報としてのフリッカ成分を打ち消す補正係数を算出し、画像処理ソフトウェアにおけるフリッカ補正の初期設定値として利用する。

信号処理部２００として機能する画像処理ソフトウェアが動作する情報処理装置は、ユーザからの操作入力を受け付ける操作手段を備え、フリッカ補正の初期値を基準としてユーザによる操作による微調整を可能とする調整手段を備える。調整手段により実行される処理としては、例えば、ＲＧＢ別の補正ゲイン調整、位相調整、補正に用いる基準波形の変更、画像（フレーム）ごとの補正ゲインの変更、画像における補正領域の限定等が挙げられる。補正値算出部２０３は、初期値として利用した補正係数をそのまま用いるか又はユーザにより微調整された補正係数を用いてフリッカ補正部２０４に出力する。フリッカ補正部２０４は、取得した補正係数を用いて画像の行ごとに補正ゲインを掛ける。これによりフリッカ成分が補正された高品質な映像が生成され、生成された映像は後段へ出力され、例えば、不図示のディスプレイに表示される。

第３の例は、フリッカ補正が行われた画像信号が信号処理部２００に入力された場合に行われる処理の別の例であり、フリッカ補正後の画像信号をフリッカ補正前の画像信号（フリッカ未補正の画像信号）に戻す処理である。例えば、報道性が高く、歴史的に貴重な撮影素材は、放送局等で報道を目的として迅速に利用されることが期待されると共に、歴史的瞬間の貴重な撮影素材として繰り返し利用されることが期待される。その場合、撮影時には迅速に報道素材として完成度を高めるために、フリッカ補正を行うことが望ましい。一方で、後の利用時により高品質な映像資料とするために、フリッカ補正を高精度にやり直したいという要望があり、そのために既に施されたフリッカ補正をキャンセルしたいという要望がある。また、フリッカ補正前のオリジナルの映像を保存したいために、既に施されたフリッカ補正をキャンセルしたいという需要もある。

そこで、周期成分検出部２０２は、メタデータ解析部２０１から取得したフリッカ情報の中から、入力された画像信号に対して既に実施されたフリッカ補正の際に用いられた補正ゲイン（補正係数）を補正値算出部２０３へ伝達する。補正値算出部２０３は、既に実施されたフリッカ補正をキャンセルする補正係数を算出し、入力された画像信号に対して既に実施されたフリッカ補正のキャンセル処理を行う。フリッカ補正部２０４は、キャンセル処理後の画像信号をその後段に設けられた記憶装置や表示装置等の不図示の処理装置へ出力する。

なお、非線形階調変換が施された画像信号が信号処理部２００に入力される場合がある。この場合、非線形変換特性の逆特性による変換を行ってリニアな画像信号に戻した後に、フリッカ補正をキャンセルする補正係数による画像処理を行えばよい。但し、これに限らず、非線形変換特性を考慮した補正係数を算出し、フリッカ補正をキャンセルするよう画像処理を行ってもよい。補正値算出部２０３は、ユーザ操作（ユーザによる補正方法の選択）を受け付けて、所定の補正係数を算出し、フリッカ補正部２０４へ出力する。フリッカ補正部２０４は、取得した補正係数を用いて、ユーザ指示に従う方法でフリッカ補正のキャンセル処理を行う。

以上の説明の通り、本実施形態によれば、画像信号に付加されたメタデータを用い、必要に応じて、フリッカ補正、フリッカ補正で補正しきれなかったフリッカ成分である補正残りの補正処理、フリッカ補正のキャンセル処理を行う。これにより、所望の映像を容易に得ることができると共に映像の再利用性を向上させることができ、更に画像処理の演算負荷を軽減することができる。

＜その他の実施形態＞
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。例えば、信号処理部２００にメタデータが付加されていない画像信号が入力されることが考えられる。この場合、上述した第１の例、第２の例の画像処理を行うことができるようにするためには、信号処理部１００が備えるフリッカ成分検出部１０１とメタデータ付加部１０４を信号処理部２００に設けた構成とすればよい。その場合、メタデータ解析部２０１が画像信号にメタデータが付加されていないことを検知した場合、フリッカ成分検出部１０１が画像信号を解析してフリッカ成分又は補正残りの周期等に関する情報を検出し、検出結果を補正値算出部２０３に伝達する。補正値算出部２０３は、取得したフリッカ成分又は補正残りの周期等に基づいて補正係数を算出してフリッカ補正部２０４へ伝達し、フリッカ補正部２０４は取得した補正係数を用いてフリッカ成分又は補正残りを補正して補正画像を生成する。メタデータ付加部１０４は、補正画像に対してフリッカ情報或いは補正残りの補正情報等を付加する。

また、上記の第１実施形態では、補正値算出部１０２は、フリッカレベルが所定の閾値以上である場合にフリッカ補正を行う構成としたが、フリッカ補正を行うか否かの判定基準は、フリッカレベルに限定されるものではない。例えば、画像の輝度情報に基づき、所定の輝度以上の行が周期的に現れている場合や、撮影時の露光時間情報に基づき、一定の露光時間以上の露光がなされている場合にフリッカ補正を行うと判定するようにしてもよい。更にフリッカレベルの変動幅が所定値よりも大きい場合には、フリッカ補正を行っても不自然な明暗差が残る可能性が高くなるため、フリッカ補正を行わないと判定するようにしてもよい。

本発明は以下の処理を実行することによっても実現される。本発明は、上述した実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００，２００ 信号処理部
１０１ フリッカ成分検出部
１０２，２０３ 補正値算出部
１０３，２０４ フリッカ補正部
１０４ メタデータ付加部
２０１ メタデータ解析部
２０２ 周期成分検出部

Claims (12)

1. 撮像手段と、
   前記撮像手段により撮像された画像に含まれるフリッカ成分を検出する検出手段と、
   前記検出手段により検出されたフリッカ成分を打ち消す画像処理を行うか否かを判定する判定手段と、
   前記画像処理のための補正値を算出する算出手段と、
   前記判定手段が前記画像処理を行うと判定した場合に、前記撮像手段により撮像された画像に対して前記補正値を用いて前記画像処理を行って補正画像を生成することができる補正手段と、
   前記フリッカ成分または前記補正値を含むフリッカ情報をメタデータとして前記画像または前記補正画像に付加する付加手段と、を備え、
   前記フリッカ情報は、少なくとも前記補正手段による前記画像処理の実施の有無を示す情報を更に含むことを特徴とする撮像装置。
2. 前記判定手段は、前記画像のフリッカ成分のレベルが所定の閾値以上である場合に前記補正手段による前記画像処理を行うと判定すること特徴とする請求項１に記載の撮像装置。
3. 前記フリッカ情報は、フリッカの周波数、レベル、振幅、位相及び前記補正値の少なくとも１つを含むことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記算出手段は、前記フリッカ成分を打ち消す補正ゲインを前記補正値としてを算出することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 入力画像のフリッカ成分を検出する検出手段と、
   前記検出手段により検出されたフリッカ成分を打ち消す画像処理を行うか否かを判定する判定手段と、
   前記画像処理のための補正値を算出する算出手段と、
   前記判定手段が前記画像処理を行うと判定した場合に、前記入力画像に対して前記補正値を用いて前記画像処理を行って補正画像を生成することができる補正手段と、
   前記フリッカ成分または前記補正値を含むフリッカ情報をメタデータとして前記入力画像または前記補正画像に付加する付加手段と、を備え、
   前記フリッカ情報は、少なくとも前記補正手段による前記画像処理の実施の有無を示す情報を更に含むことを特徴とする画像処理装置。
6. 前記判定手段は、前記入力画像のフリッカ成分のレベルが所定の閾値以上である場合に前記補正手段による前記画像処理を行うと判定すること特徴とする請求項５に記載の画像処理装置。
7. 前記付加手段が前記メタデータとして前記入力画像または前記補正画像に付加するフリッカ情報は、フリッカの周波数、レベル、振幅、位相及び前記補正値の少なくとも１つを含むことを特徴とする請求項５又は６に記載の画像処理装置。
8. 前記算出手段は、前記フリッカ成分を打ち消す補正ゲインを前記補正値として算出することを特徴とする請求項５乃至７のいずれか１項に記載の画像処理装置。
9. 撮像手段により画像を撮像する撮像ステップと、
   前記撮像ステップで得られた画像に含まれるフリッカ成分を検出する検出ステップと、
   前記検出ステップで検出されたフリッカ成分のレベルが所定の閾値以上である場合に前記フリッカ成分を補正する画像処理を行うと判定する判定ステップと、
   前記判定ステップで前記画像処理を行うと判定した場合に、前記検出ステップで検出したフリッカ成分に基づき前記画像のフリッカを補正するための補正値を算出する算出ステップと、
   前記算出ステップで算出した補正値を用いて前記画像のフリッカを補正して補正画像を生成する補正ステップと、
   前記フリッカ成分または前記補正値を含み、且つ、少なくとも前記補正ステップでの補正の実施の有無を示す情報を含むフリッカ情報をメタデータとして前記画像または前記補正画像に付加する付加ステップと、を有することを特徴とする撮像装置の制御方法。
10. 入力画像のフリッカ成分を検出する検出ステップと、
    前記検出ステップで検出されたフリッカ成分のレベルが所定の条件を満たす場合に前記フリッカ成分を打ち消す画像処理を行うと判定する判定ステップと、
    前記判定ステップで前記画像処理を行うと判定した場合に、前記画像処理のための補正値を算出する算出ステップと、
    前記入力画像に対して前記補正値を用いて前記画像処理を行って補正画像を生成する補正ステップと、
    前記フリッカ成分または前記補正値を含み、且つ、少なくとも前記補正ステップでの補正の実施の有無を示す情報を含むフリッカ情報をメタデータとして前記入力画像または前記補正画像に付加する付加ステップと、を有することを特徴とする画像処理装置の制御方法。
11. 請求項９に記載の撮像装置の制御方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
12. 請求項１０に記載の画像処理装置の制御方法の各ステップをコンピュータに実行させることを特徴とするプログラム。