JP4353223B2 - 画像データ処理装置、画像データ処理方法および撮像システム - Google Patents

Description

この発明は、例えば高速撮像の際などに生じる面フリッカーを補正する画像データ処理装置、画像データ処理方法および撮像システムに関する。詳しくは、この発明は、閾値以上または閾値以下の値を持つ選択範囲の画素データを積算して得られたフレーム毎の積算値に基づいて各フレームの補正ゲインを求めると共に、この補正ゲインに基づいて各フレームの選択範囲の画素データの値を補正することにより、補正ゲインを得るための処理負荷を少なくでき、また、選択範囲の画素データに対応した画像領域のフリッカーを良好に補正できるようにした画像データ処理装置等に係るものである。

フリッカーの問題は、ローリングシャッタ式（フォーカルプレーンシャッタ式）の撮像素子において大きく取り上げられる。しかし、グローバルシャッタ式（全面同時シャッタ式）の場合も、高速撮像においては、照明の明滅周期よりも撮像レートの方が速いことに起因する、面フリッカーと呼ばれる画面全体の明滅現象が見られる。この現象は、複数光源が画面内に存在する場合など、画面内の領域ごとに明滅の位相やレベルが異なることにより、各部の補正を適切に行うことが困難な場合がある。

従来、フリッカーの補正手法として、フリッカーが生じている領域を検出して補正するというものがある。この手法では、どの領域がフリッカーを生じているかを検出することが必要となる。しかし、フリッカーの状態は光源や被写体によってさまざまであり、正確な補正を行おうとすると、複雑な領域検出のための処理が必要となり、実装した場合の負荷が大きくなってしまう。

また、従来、フリッカーの補正手法として、平均値とフレームの積算値により補正ゲインを決定するものもある。この手法では、画面内に複数のフリッカー状態（フリッカーしている部分としていない部分）があると、フリッカーが生じている部分が補正できた場合、フリッカーが生じていなかった部分に逆にフリッカーが発生してしまう。

例えば、図８のフリッカー補正の弊害例（１）では、フレーム内の成分として直方体の占める割合が大きいため、直方体のフリッカー成分が補正されると、その補正ゲインにより背景がフリッカー成分を持ってしまう。逆に、図９のフリッカー補正の弊害例（２）では、フレーム内の成分として背景の占める割合が大きいため、背景のフリッカー成分が補正されると、その補正ゲインにより直方体がフリッカー成分を持ってしまう。

また、特許文献１には、画面を分割し、分割領域毎にフリッカー補正ゲインを算出し、分割領域毎に独立したフリッカー補正ゲインでフリッカー補正を行うことが提案されている。
特開２０００−１０１９０９号公報

特許文献１に記載される技術においては、分割領域毎に、平均輝度値を検出して、フリッカー補正ゲインを算出することが必要であり、補正ゲインを得るための処理負荷が大きくなる。また、この特許文献１に記載される技術においては、画面の分割位置をユーザが予め設定するか、あるいはフリッカー領域の検出結果に基づいて画面の分割位置を自動的に設定するものであるが、各分割領域は垂直位置、水平位置で特定される矩形領域であることから、フリッカー領域が矩形領域でなく、複雑な形状の領域であるときには、フリッカー補正を良好に行えなくなる。この場合、分割領域の個数を多くすれば、各分割領域が矩形領域であってもある程度は対処できるが、その分、補正ゲインを得るための処理負荷が増大する。

この発明の目的は、補正ゲインを得るための処理負荷を少なくし、かつ選択範囲の画素データに対応した画像領域のフリッカーを良好に補正することにある。

この発明の概念は、
撮像デバイスで撮像して得られた画像データの各フレームを順次補正対象フレームとしてフリッカー補正処理を行う画像データ処理装置であって、
画素データの閾値を発生する閾値発生部と、
上記画像データのフレーム毎に、上記閾値発生部で発生された上記閾値に基づき、該閾値以上の値または該閾値以下の値を持つ選択範囲の画素データを抽出し、該抽出した画素データの値を積算する積算部と、
上記積算部で得られる複数のフレームの積算値を保持する保持部と、
上記保持部に保持されている上記複数のフレームの積算値に基づいて、上記画像データの平均値を算出する算出部と、
上記算出部で算出された平均値を、上記保持部に保持されている上記複数のフレームの積算値のうち、上記補正対象フレームに対応した積算値で除算して、該補正対象フレームの基準補正ゲインを算出する演算部と、
上記閾値発生部で発生される閾値に基づき、上記補正対象フレームの各画素データが、上記選択範囲の画素データであるか否かを判別する比較部と、
上記比較部の判別結果に基づき、上記補正対象フレームの上記選択範囲の各画素データに対応して、上記演算部で算出された基準補正ゲインに基づいた補正ゲインを出力する補正ゲイン出力部と、
上記補正対象フレームの各画素データのうち、上記選択範囲の各画素データを、上記補正ゲイン出力部から出力される補正ゲインに基づいて補正する補正部と
を備えることを特徴とする画像データ処理装置にある。

この発明においては、閾値発生部から画素データの閾値が発生される。また、画像データの各フレームが積算部で積算される。この場合、閾値以上の値または閾値以下の値を持つ画素データが選択範囲の画素データとされ、各フレームでは、この選択範囲の画素データが抽出されて積算される。

積算部で得られる複数のフレームの積算値が保持部に保持される。撮像デバイスの撮像タイミングとフリッカーの位相関係には周期がある。保持部で保持される複数のフレームの積算値は、例えば、撮像デバイスの撮像タイミングとフリッカーの位相関係の周期における１周期に含まれる連続した一定数のフレームの積算値とされる。なお、当然であるが、この連続した一定数のフレームでは、撮像デバイスの撮像タイミングとフリッカーの位相関係が互いに異なるものとなっている。この場合、画像データの平均値を算出するために必要となるフレームの積算値だけが保持部で保持されるため、保持部を構成する記憶媒体の容量の節約が可能となる。

保持部に保持されている複数フレームの積算値に基づいて、算出部により画像データの平均値が算出される。この場合、例えば、上述した撮像デバイスの撮像タイミングとフリッカーの位相関係の周期における１周期に含まれる一定数のフレームの積算値が平均化されて画像データの平均値が算出される。

そして、演算部では、算出部で算出された平均値が、保持部に保持されている複数のフレームの積算値のうち、補正対象フレームに対応したフレームの積算値で除算されて、この補正対象フレームの基準補正ゲインが算出される。上述したように撮像デバイスの撮像タイミングとフリッカーの位相関係には周期があることから、補正対象フレームに対応した積算値として、例えば、撮像デバイスの撮像タイミングとフリッカーの位相関係が当該補正対象フレームと同じであり、かつ当該補正対象フレームの前に位置するフレームの積算値が用いられる。この場合、演算のための時間を長くとることが可能となる。

比較部では、閾値発生部で発生される閾値に基づいて、補正対象フレームの各画素データが、上述した選択範囲の画素データであるか否かが判別される。そして、補正対象フレームの選択範囲の各画素データに対応して、演算部で算出された基準補正ゲインに基づいた補正ゲインが、補正ゲイン出力部から出力される。補正部では、補正対象フレームの選択範囲の各画素データの値が、補正ゲイン出力部から出力される補正ゲインに基づいて補正される。このように、補正対象フレームの選択範囲の各画素データの値が補正されることで、当該選択範囲の画素データに対応した画像領域に発生しているフリッカーが補正される。

上述したフリッカー補正処理では、画像データの各フレームに対して基準補正ゲインを１つのみ取得すればよく、補正ゲインを得るための処理負荷を少なくできる。また、選択範囲の画素データを用いて基準補正ゲインを取得すると共に、この基準補正ゲインに基づいて選択範囲の画素データの値を補正するものであり、選択範囲以外の画素データに影響を及ぼすことなく、選択範囲の画素データに対応した画像領域（フリッカー補正対象の画像領域）に発生しているフリッカーを良好に補正できる。

例えば、補正ゲイン出力部から、選択範囲の画素データのうち、閾値から平均値までの間の値を持つ画素データに対しては、当該画素データの値と閾値との差に応じて、１．０から基準補正ゲインまでの補正ゲインが出力される。この場合、閾値に近い値を持つ画素データ程補正ゲインが１．０に近い値とされて補正の影響が軽減されるため、フリッカー補正対象の画像領域（選択範囲の画素データに対応した画像領域）とそれ以外の画像領域との境界を違和感なくつなげることができる。

例えば、閾値発生部から発生される閾値の値をユーザが調整するためのユーザ操作部が備えられる。ユーザはユーザ操作部により閾値の値を調整して、フリッカー補正対象の画像領域を任意に調整できる。

また、例えば、選択範囲の画素データとして、閾値以上の値を持つ画素データ、または閾値以下の値を持つ画素データをユーザが選択するためのユーザ操作部が備えられる。ユーザはユーザ操作部により閾値以上の値を持つ画素データ、または閾値以下の値を持つ画素データを選択して、フリッカー補正される画像領域として、閾値以上の値を持つ画素データに対応した画像領域、あるいは閾値以下の値を持つ画素データに対応した画像領域のいずれかを任意に選択できる。

この発明によれば、閾値以上または閾値以下の値を持つ選択範囲の画素データを積算して得られたフレーム毎の積算値に基づいて各フレームの補正ゲインを求めると共に、この補正ゲインに基づいて各フレームの選択範囲の画素データの値を補正するものであり、補正ゲインを得るための処理負荷を少なくでき、また、選択範囲の画素データに対応した画像領域（フリッカー補正対象の画像領域）のフリッカーを良好に補正できる。

以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての撮像システム１００の構成を示している。この撮像システム１００は、撮像デバイス１０１と、閾値発生部１０２と、ユーザ操作部１０３と、積算部１０４と、履歴保持部１０５と、平均値算出部１０６と、基準補正ゲイン演算部１０７と、比較部１０８と、補正ゲイン決定部１０９と、補正部１１０と、モニタ１１１とを有している。閾値発生部１０２、ユーザ操作部１０３、積算部１０４、履歴保持部１０５、平均値算出部１０６、基準補正ゲイン演算部１０７、比較部１０８、補正ゲイン決定部１０９、および補正部１１０は、撮像デバイス１０１から出力される画像データに対してフリッカー補正を行う画像データ処理装置を構成している。

撮像デバイス１０１は、図示しない被写体を撮像して、被写体に対応した画像データを出力する。画像データは各フレームの画像データが連続したものとなっている。撮像デバイス１０１は、例えば、フレームの周期を短くして高速撮像を行うことが可能となっている。この場合、照明の明滅周期よりもフレーム周期が短くなると、いわゆる面フリッカーが発生する。

閾値発生部１０２は、画素データの閾値Ｌthを発生する。この閾値Ｌthの値は、ユーザ操作部１０３におけるユーザの操作により調整可能とされている。ユーザは、閾値Ｌthを調整することで、フリッカー補正される画像領域を任意に調整できる。フリッカー補正される画像領域は、後述するように、閾値Ｌth以上の値を持つ画素データに対応した画像領域、あるいは閾値Ｌth以下の値を持つ画素データを含む領域である。なお、ユーザ操作部１０３におけるユーザの操作により、フリッカー補正対象として、閾値Ｌth以上の値を持つ画素データに対応した画像領域（以下、適宜、「高輝度領域」という）、あるいは閾値Ｌth以下の値を持つ画素データに対応した画像領域（以下、適宜、「低輝度領域」という）のいずれかを、任意に選択可能とされている。

このようにユーザが高輝度領域または低輝度領域をフリッカー補正対象として選択可能とした理由は、これら高輝度領域および低輝度領域のいずれにもフリッカーが発生する可能性があるためである。ユーザは、高輝度領域にフリッカーが発生している場合には、フリッカー補正される画像領域として高輝度領域を選択し、一方低輝度領域にフリッカーが発生している場合には、フリッカー補正される画像領域として低輝度領域を選択する。

積算部１０４は、撮像デバイス１０１から出力される画像データの各フレームの積算値を取得する。この場合、積算部１０４は、各フレームにおいて、閾値１０２で発生される閾値Ｌthに基づいて、選択範囲の画素データ（閾値Ｌth以上の値を持つ画素データあるいは閾値Ｌth以下の値を持つ画素データ）を抽出し、この抽出した画素データの値（レベル）を積算して、積算値を求める。上述したように、ユーザ操作部１０３におけるユーザの操作により、フリッカー補正対象として高輝度領域が選択されるとき、選択範囲の画素データは閾値Ｌth以上の値を持つ画素データとなる。また、上述したように、ユーザ操作部１０３におけるユーザの操作により、フリッカー補正対象として低輝度領域が選択されるとき、選択範囲の画素データは閾値Ｌth以下の値を持つ画素データとなる。

なお、この実施の形態においては、後述する平均値算出部１０６において画像データの平均値を算出し易くするため、積算部１０４で取得される各フレームの積算値は、抽出した各画素データの値を積算した値を、さらに当該抽出した画素データの個数で割ったもの（選択範囲の各画素データの値の平均値）とされる。この意味で、積算部１０４は、撮像デバイス１０１から出力される画像データのフレーム毎に、選択範囲の各画素データの値の平均値を取得する、画素データ平均値取得部としてもよい。

履歴保持部１０５は、積算部１０４で得られる各フレームの積算値のうち、例えば最新の複数のフレームの積算値を保持する。この履歴保持部１０５で保持される複数のフレームの積算値は、フレームの進行に応じて、順次更新されていく。この履歴保持部１０５は、半導体メモリ等の記憶媒体で構成されている。撮像デバイス１０１の撮像タイミングとフリッカー（照明の明滅に起因する）の位相関係には周期がある。つまり、一定数（撮像のフレーム周期と照明の明滅周期とにより一意に決まる）のフレーム毎に、撮像タイミングとフリッカーとの位相関係は同じものになる。

履歴保持部１０５で保持される複数フレームの積算値は、例えば、撮像デバイス１０１の撮像タイミングとフリッカーの位相関係の周期における１周期に含まれる連続した一定数（撮像のフレーム周期と照明の明滅周期とにより一意に決まる）のフレームの積算値とされる。当然であるが、この連続した一定数のフレームでは、撮像デバイス１０１の撮像タイミングとフリッカーの位相関係が互いに異なるものとなっている。この場合、画像データの平均値を算出するために必要となるフレームの積算値だけが履歴保持部１０５で保持されるため、履歴保持部１０５を構成する記憶媒体の容量の節約が可能となる。

平均値算出部１０６は、履歴保持部１０５に保持されている複数のフレームの積算値に基づいて、画像データの平均値Ｌavを算出する。この場合、例えば、上述した撮像デバイス１０１の撮像タイミングとフリッカーの位相関係の周期における１周期に含まれる一定数のフレームの積算値が平均化されて画像データの平均値Ｌavが算出される。

基準補正ゲイン演算部１０７は、平均値算出部１０６で算出された画像データの平均値Ｌavを、履歴保持部１０５に保持されている複数のフレームの積算値のうち、後述する補正部１１０で補正される補正対象フレームに対応した積算値で除算して、当該補正対象フレームの基準補正ゲインＧを算出する。補正対象フレームに対応した積算値として、この補正対象フレームそのものの積算値を使用できることは勿論である。しかし、この実施の形態では、上述したように撮像デバイス１０１の撮像タイミングとフリッカーの位相関係には周期があることから、補正対象フレームに対応した積算値として、例えば、撮像デバイス１０１の撮像タイミングとフリッカーの位相関係が補正対象フレームと同じであり、かつこの補正対象フレームの前に位置するフレームの積算値が用いられる。この場合、補正対象フレームの前のフレームの積算値が用いられることから、実際に補正対象フレームの補正を行うまでに時間があり、基準補正ゲインの演算のための時間を長くとることができる。

比較部１０８は、閾値発生部１０２で発生される閾値Ｌthに基づいて、補正対象フレームの各画素データが、選択範囲の画素データ（閾値Ｌth以上の値を持つ画素データあるいは閾値Ｌth以下の値を持つ画素データ）であるか否かを判別する。上述したように、ユーザ操作部１０３におけるユーザの操作により、フリッカー補正対象として高輝度領域が選択されるときは、補正対象フレームの各画素データが閾値Ｌth以上の値を持つ画素データであるか否かが判別される。一方、上述したように、ユーザ操作部１０３におけるユーザの操作により、フリッカー補正対象として低輝度領域が選択されるときは、補正対象フレームの各画素データが閾値Ｌth以下を持つ画素データであるか否かが判別される。

補正ゲイン決定部１０９は、比較部１０８の判別結果に基づいて、補正対象フレームの選択範囲の画素データに対応して、基準補正ゲイン演算部１０７で算出された基準補正ゲインＧに基づいた補正ゲインＧｃを出力する。この補正ゲイン決定部１０９は、補正ゲイン出力部を構成している。

この補正ゲイン決定部１０９では、比較部１０８の判別結果の他に、閾値発生部１０２で発生される閾値Ｌth、平均値算出部１０６で算出された平均値Ｌavおよび補正対象フレームの画素データの値（レベル）Ｌin等に基づき、当該補正対象フレームの各画素データに対応して出力すべき補正ゲインＧｃが、画素データの値Ｌinに応じて、以下のように決定される。

まず、上述したように、ユーザの操作によりフリッカー補正対象として高輝度領域が選択される場合について、図２を参照して、説明する。図２の実線部分は、基準補正ゲインＧが１．０以上の場合を示し、図２の一点鎖線部分は、基準補正ゲインＧが１．０以下の場合を示している。

画素データの値Ｌinが閾値Ｌth以下であるときは、当該画素データは補正対象領域に対応した画素データではないので、補正ゲインＧｃは１．０とされ、当該画素データには実質的に補正処理は行われない。

また、画素データの値Ｌinが、閾値Ｌthより大きく、かつ、平均値Ｌavより小さいときは、補正ゲインＧｃは、｛（Ｇ−1.0）／（Ｌav−Ｌth）｝＊（Ｌin−Ｌth）＋1.0とされる。つまり、このときの補正ゲインＧｃは、当該画素データの値Ｌinと閾値Ｌthとの差に応じて、１．０から基準補正ゲインＧまで変化する。この場合、閾値Ｌthに近い値を持つ画素データほど補正ゲインが１．０に近い値とされて補正の影響が軽減されるため、フリッカー補正対象の画像領域（閾値Ｌth以上の値を持つ画素データに対応した画像領域）とそれ以外の画像領域との境界を違和感なくつなげることができる。

また、画素データの値Ｌinが、平均値Ｌav以上であるときは、補正ゲインＧｃは、基準補正ゲインＧそのものとされる。

次に、上述したように、ユーザの操作によりフリッカー補正対象として低輝度領域が選択される場合について、図３を参照して、説明する。図３の実線部分は、基準補正ゲインＧが１．０以上の場合を示し、図３の一点鎖線部分は、基準補正ゲインＧが１．０以下の場合を示している。

画素データの値Ｌinが閾値Ｌth以上であるときは、当該画素データは補正対象領域に対応した画素データではないので、補正ゲインＧｃは１．０とされ、当該画素データには実質的に補正処理は行われない。

また、画素データの値Ｌinが、閾値Ｌthより小さく、かつ、平均値Ｌavより大きいときは、補正ゲインＧｃは、｛（1.0−Ｇ）／（Ｌth−Ｌav）｝＊（Ｌth−Ｌin）＋1.0とされる。つまり、このときの補正ゲインＧｃは、当該画素データの値Ｌinと閾値Ｌthとの差に応じて、１．０から基準補正ゲインＧまで変化する。この場合、閾値Ｌthに近い値を持つ画素データほど補正ゲインが１．０に近い値とされて補正の影響が軽減されるため、フリッカー補正対象の画像領域（閾値Ｌth以下の値を持つ画素データに対応した画像領域）とそれ以外の画像領域との境界を違和感なくつなげることができる。

また、画素データの値Ｌinが、平均値Ｌav以下であるときは、補正ゲインＧｃは、基準補正ゲインＧそのものとされる。

補正部１１０は、補正対象フレームの各画素データのうち、上述した選択範囲の画素データを、補正ゲイン決定部１０９から出力される補正ゲインＧｃに基づいて補正する。この場合、補正部１１０では、補正対象フレームの各画素データに対して、補正ゲイン決定部１０９から出力される補正ゲインＧｃを掛け合わせることで、補正が行われる。ここで、補正対象領域に対応していない画素データの補正ゲインＧｃは上述したように１．０であり、当該画素データに対して実質的に補正処理は行われない。

モニタ１１１は、補正部１１０から出力されるフリッカー補正された画像データに基づいて画像を表示する。この場合、例えば、撮像デバイス１０１で高速撮像されて得られた画像データを、そのフレーム周期を長くして表示することで、スローモーション表示が可能となる。なお、図示していないが、補正部１１０とモニタ１１１との間に記録装置を介在させ、補正部１１０で得られるフリッカー補正された画像データを一旦記録装置に記録し、その後に再生してモニタ１１１に供給する。この場合、記録装置において、フレーム周期の変換を行うことができ、上述したスローモーション表示を実現できる。

図１に示す撮像システム１００の動作を説明する。

閾値発生部１０２からは画素データの閾値Ｌthが発生される。この閾値Ｌthは、この閾値Ｌthを必要とする各部、例えば積算部１０４、比較部１０８および補正ゲイン決定部１０９等に供給される。

撮像デバイス１０１で撮像して得られた画像データは、この画素データを必要とする各部、例えば積算部１０４、比較部１０８、補正ゲイン決定部１０９および補正部１１０等に供給される。補正部１１０では、画像データの各フレームが順次補正対象フレームとなってフリッカー補正処理が行われる。

積算部１０４では、画素データのフレーム毎に、選択範囲の画素データ（閾値以上の値または閾値以下の値を持つ画素データ）が抽出されて積算されて積算値が得られる。この積算値は履歴保持部１０５に供給される。履歴保持部１０５には、積算部１０４で得られる各フレームの積算値のうち、最新の複数のフレームの積算値が保持される。例えば、この履歴保持部１０５には、撮像デバイス１０１の撮像タイミングとフリッカーとの位相関係の周期における１周期に含まれる連続した一定数（撮像のフレーム周期と照明の明滅周期とにより一意に決まる）のフレームの積算値が保持される。

平均値保持部１０６では、履歴保持部１０５で保持されている複数のフレームの積算値に基づいて、画像データの平均値Ｌavが算出される。例えば、上述した撮像デバイス１０１の撮像タイミングとフリッカーとの位相関係の周期における１周期に含まれる一定数のフレームの積算値が平均化されて画像データの平均値Ｌavが算出される。この平均値Ｌavは、基準補正ゲイン演算部１０７および補正ゲイン決定部１０９に供給される。

上述したように、補正部１１０では、画像データの各フレームが順次補正対象フレームとなって、フリッカー補正処理が行われる。基準補正ゲイン演算部１０７では、各補正対象フレームに対応した基準補正ゲインＧが順次算出される。この場合、平均値算出部１０６で算出された画像データの平均値Ｌavが、履歴保持部１０５に保持されている複数のフレームの積算値のうち、補正部１１０で補正される補正対象フレームに対応した積算値で除算されて、当該補正対象フレームの基準補正ゲインＧが求められる。この基準補正ゲインGは、補正ゲイン決定部１０９に供給される。

比較部１０８では、閾値Ｌthに基づいて、補正対象フレームの各画素データが、選択範囲の画素データ（閾値Ｌth以上の値を持つ画素データあるいは閾値Ｌth以下の値を持つ画素データ）であるか否かが判別される。選択範囲の画素データはフリッカー補正対象の画像領域に対応しているため、選択範囲の画素データであるか否かの判別は、補正すべき画素データであるか否かの判別を意味する。この比較部１０８における判別結果は、補正ゲイン決定部１０９に供給される。

補正ゲイン決定部１０９からは、補正対象フレームの選択範囲の各画素データに対応して、基準補正ゲインＧに基づいた補正ゲインＧｃが出力される。この場合、選択範囲の画素データのうち、閾値Ｌthから平均値Ｌavまでの間の値を持つ画素データに対しては、当該画素データの値Ｌinと閾値Ｌthとの差に応じて、１．０から基準補正ゲインＧまでの補正ゲインＧｃが出力される。この補正ゲインＧｃは、補正部１１０に供給される。

補正部１１０では、補正対象フレームの各画素データのうち、上述した選択範囲の画素データが、補正ゲイン決定部１０９から出力される補正ゲインＧｃに基づいて補正される。なお、選択範囲以外の画素データに対しては、補正ゲインＧｃが１．０とされるので、実質的に補正処理は行われない。

補正部１１０から出力されるフリッカー補正が行われた画像データは、モニタ１１１に供給される。このモニタ１１１には、このフリッカー補正が行われた画像データに基づいて画像が表示される。モニタ１１１に表示される画像は、フリッカー補正対象の画像領域（選択範囲の画素データに対応した画像領域）ではフリッカーが良好に補正されたものとなる。

なお、ユーザ操作により閾値発生部１０２で発生される閾値Ｌthの値が調整される場合、選択範囲に含まれる画素データが減少または増加し、結果的に、フリッカー補正対象の画像領域が変更される。ユーザは、モニタ１１１に表示される画像を見ながら閾値Ｌthの値を調整して、この閾値Ｌthの値を最適な値に調整できる。

また、ユーザ操作によりフリッカー補正対象として高輝度領域（閾値Ｌth以上の値を持つ画素データに対応した画像領域）が選択される場合、基準補正ゲイン演算部１０７では高輝度領域に対応した画素データに基づいて基準補正ゲインＧが求められると共に、補正部１１０では高輝度領域に対応した画素データに対して補正ゲインＧｃによるフリッカー補正処理が行われる。逆に、ユーザ操作によりフリッカー補正対象として低輝度領域（閾値Ｌth以下の値を持つ画素データに対応した画像領域）が選択される場合、基準補正ゲイン演算部１０７では低輝度領域に対応した画素データから基準補正ゲインＧが求められると共に、補正部１１０では低輝度領域に対応した画素データに対して補正ゲインＧｃによるフリッカー補正処理が行われる。ユーザは、モニタ１１１に表示される画像を見ながら、フリッカー補正対象として高輝度領域または低輝度領域を選択できる。

次に、図１に示す撮像システム１００におけるフリッカー補正を、具体例を用いて、さらに説明する。

ここでは、一例として、図４に示すような補正対象フレームＦＬを考える。この補正対象フレームＦＬは、フィールド内には照明によってフリッカーが生じているが、後ろの暗部には照明条件の違いによってフリッカーが生じていない、状態にあるものとする。この補正対象フレームＦＬにおける、各画素データの値（レベル）Ｌinの分布は、図５に示すような分布になっていると考えられる。フィールド内の画素データ値Ｌinは“レベルＢ”に分布しており、後ろの暗部は“レベルＡ”に分布している。

撮像デバイス１０１で撮像して得られた画像データは、上述したように、積算部１０４においてフレーム毎に積算される。この際、フリッカーが生じている領域の画素データの値（レベル）Ｌinが考慮されて、閾値発生部１０２から発生される閾値Ｌthの値が設定される。補正対象フレームＦＬの各画素データの値（レベル）Ｌinの分布が図５に示すような分布にある場合、閾値Ｌthの値は、図５に示すように、レベルＢとレベルＡとの間に設定される。

なお、上述したように、ユーザは、ユーザ操作部１０３の操作により、閾値Ｌthの値を調整できる。ユーザは、モニタ１１１に表示される画像を見ながら、フィールド内のフリッカーが補正され、かつ、後ろの暗い部分にそのフリッカーの補正による影響が出ないように、閾値Ｌthの値を調整すればよい。このように閾値Ｌthが調整されるとき、ユーザが特に意識しなくても、閾値Ｌthの値を、図５に示すように、レベルＢとレベルＡとの間に設定できる。

また、この補正対象フレームＦＬでは、明るいフィールド内にフリッカーが生じており、ユーザ操作により、フリッカー補正される画像領域として、高輝度領域が選択される。そのため、積算部１０４では、選択範囲の画素データが閾値Ｌth以上の値を持つ画素データとなり、レベルＡの部分に含まれる画素データは除外され、レベルＢの部分に含まれる画素データのみが抽出されて、積算が行われる。

撮像デバイス１０１の撮像タイミングとフリッカー（照明の明滅に起因する）の位相関係には周期があり、ある期間経過すると位相関係がもとの状態にもどる。この撮像タイミングとフリッカーの位相関係の周期は、撮像のフレーム周期と照明の明滅周期とにより一意に決まる。例えば、撮像タイミングとフリッカーの位相が図６に示すような関係にある場合、撮像タイミングとフリッカーの位相関係は、撮像タイミングＴａと撮像タイミングＴｄにおいて一致する。図６において、フレームＦａ，Ｆｂ，Ｆｃ，・・・は、撮像タイミングＴａ，Ｔｂ，Ｔｃ，・・・に対応した各フレームを示している。

この例の場合、履歴保持部１０５には、撮像デバイス１０１の撮像タイミングとフリッカーの位相関係の周期における１周期に含まれる連続した一定数のフレームの積算値として、フレームＦａ，Ｆｂ，Ｆｃの積算値（選択範囲の各画素データの値の平均値）Ｉ(a)，Ｉ(b)，Ｉ(c)が保持されている。図７の上部には、撮像タイミングＴａ，Ｔｂ，Ｔｃ，・・・に対応した各フレームの積算値Ｉ(a)，Ｉ(b)，Ｉ(c)，・・・を示している。

平均値算出部１０６では、上述したように履歴保持部１０５に保持されている撮像タイミングＴａ，Ｔｂ，Ｔｃに対応した各フレームの積算値Ｉ(a)，Ｉ(b)，Ｉ(c)の平均が演算されて、画像データの平均値Ｌinが求められる。

基準補正ゲイン演算部１０７では、平均値算出部１０６で算出された平均値Ｌavと、次に補正するべきフレーム（補正対象フレーム）の１周期前のフレームの積算値から、基準補正ゲインＧが計算される。この例の場合、撮像タイミングＴｄに対応したフレームＦｄを補正する場合、1周期前のフレームとなるのは撮像タイミングＴａに対応したフレームＦａである。そのため、フレームＦａの積分値Ｉ(a)と平均値Ｌavから、Ｌav／Ｉ(a)の演算により、フレームＦｄに対する基準補正ゲインG(d)が求められる。

図７の下部には、同様にして求められた、フレームＦａ，Ｆｂ，Ｆｃ，・・・に対する基準補正ゲインＧ(a)，Ｇ(b)，Ｇ(c)，・・・を示している。

基準補正ゲイン演算部１０７で求められた基準補正ゲインＧは、上述したように、積算部１０４、平均値算出部１０６において、閾値Ｌthを用いて、選択範囲以外の画素データ（閾値Ｌthより小さな値を持つ画素データ）を除外したものから算出されている。そのため、補正対象フレームの全ての画素データをこの基準補正ゲインＧを用いて補正するとすれば、除外された選択範囲以外の画素データに対してはこの基準補正ゲインＧは適さないものとなり、この選択範囲以外の画素データに対応した画像領域ではフリッカー成分の低減ではなく、逆にフリッカー成分を増幅してしまう結果となる。

このような選択範囲以外の画素データへの影響を回避するため、選択範囲以外の画素データに対する補正ゲインＧｃは１．０とされ、実質的に補正処理が行われないようにされる。比較部１０８では、閾値Ｌthに基づいて、補正対象フレームの各画素データが、選択範囲の画素データ（閾値Ｌth以上の値を持つ画素データ）であるか、選択範囲以外の画素データ（閾値Ｌthより小さな値を持つ画素データ）であるかが判別される。

補正ゲイン決定部１０９では、比較部１０８の判別結果等に基づいて、補正対象フレームの各画素データの補正ゲインＧｃが、当該画素データの値Ｌinに応じて、決定される（図２参照）。この場合、選択範囲以外の画素データに対する補正ゲインＧｃは上述したように１．０とされ、この選択範囲以外の画素データに対応した画像領域でフリッカー成分の低減ではなく、逆にフリッカー成分が増幅してしまうことのないようにされる。

また、画素データの値Ｌinが、閾値Ｌthより大きく、かつ、平均値Ｌavより小さいときは、閾値Ｌthに近い値を持つ画素データほど補正ゲインが１．０に近い値とされて、補正の影響が軽減され、フリッカー補正対象の画像領域（閾値Ｌth以上の値を持つ画素データに対応した画像領域）とそれ以外の画像領域との境界の違和感が軽減される。

補正部１１０では、上述したように補正ゲイン決定部１０９において決定された、補正対象フレームの各画素データに対する補正ゲインＧｃが、対応する画素データに掛け合わせられる。この補正部１１０からは、各補正対象フレームの選択範囲の画素データに対してフリッカー補正処理が行われた、フリッカー補正処理後の画像データが得られる。

図４に示す補正対象フレームの場合に、フリッカーが生じていたフィールド内では、フリッカーが軽減された状態で表示され、かつ、フリッカーが生じていなかった後ろの暗部は、フリッカーの補正による影響が出ることなく、そのままの状態で表示される。

図１に示す撮像システム１００においては、画像データの各フレームに対して基準補正ゲインＧを１つのみ取得すればよく、補正ゲインＧｃを得るための処理負荷を少なくできる。

また、図１に示す撮像システム１００においては、選択範囲の画素データを用いて基準補正ゲインＧを取得すると共に、この基準補正ゲインＧに基づいて選択範囲の画素データを補正するものであり、選択範囲以外の画素データに影響を及ぼすことなく、選択範囲の画素データに対応した画像領域（フリッカー補正対象の画像領域）に発生しているフリッカーを良好に補正できる。

また、図１に示す撮像システム１００においては、ユーザはユーザ調整部１０３により閾値発生部１０２から発生される閾値Ｌthの値を調整して、フリッカー補正対象の画像領域を任意に調整できる。

また、図１に示す撮像システム１００においては、ユーザはユーザ操作部１０３により閾値Ｌth以上の値を持つ画素データ、または閾値Ｌth以下の値を持つ画素データを選択して、フリッカー補正対象の画像領域として、高輝度領域（閾値Ｌth以上の値を持つ画素データに対応した画像領域）、あるいは低輝度領域（閾値Ｌth以下の値を持つ画素データに対応した画像領域）のいずれかを任意に選択できる。

この発明は、補正ゲインを得るための処理負荷を少なくでき、また、選択範囲の画素データに対応した画像領域（フリッカー補正対象の画像領域）のフリッカーを良好に補正できるものであり、高速撮像が可能な撮像システム等に適用できる。

実施の形態としての撮像システムの構成を示すブロック図である。 高輝度領域をフリッカー補正対象とする場合の補正ゲインＧｃを説明するための図である。 低輝度領域をフリッカー補正対象とする場合の補正ゲインＧｃを説明するための図である。 補正対象フレームの一例（フィールド部分にフリッカーが発生しており、その後ろの部分の暗部にはフリッカーが発生していない）示す図である。 補正対象フレームの各画素データの値（レベル）の分布を示す図である。 撮像タイミングとフリッカーの位相関係の一例を示す図である。 画像データの各フレームの積算値と基準補正ゲインＧの変化を示す図である。 従来のフリッカー補正の弊害例（１）を説明するための図である。 従来のフリッカー補正の弊害例（２）を説明するための図である。

符号の説明

１００・・・撮像システム、１０１・・・撮像デバイス、１０２・・・閾値発生部、１０３・・・ユーザ操作部、１０４・・・積算部、１０５・・・履歴保持部、１０６・・・平均値算出部、１０７・・・基準補正ゲイン演算部、１０８・・・比較部、１０９・・・補正ゲイン決定部、１１０・・・補正部、１１１・・・モニタ

Claims (6)

1. 撮像デバイスで撮像して得られた画像データの各フレームを順次補正対象フレームとしてフリッカー補正処理を行う画像データ処理装置であって、
   画素データの閾値を発生する閾値発生部と、
   上記画像データのフレーム毎に、上記閾値発生部で発生された上記閾値に基づき、該閾値以上の値を持つ画素データ、該閾値以下の値を持つ画素データ、のいずれかの範囲を選択範囲とし、該選択範囲の画素データを抽出し、該抽出した画素データの値を積算する積算部と、
   上記積算部で得られる複数のフレームの積算値を保持する保持部と、
   上記保持部に保持されている上記撮像デバイスの撮像タイミングとフリッカーの位相関係の周期における１周期に含まれる連続した一定数のフレームの積算値に基づいて、上記画像データの平均値を算出する算出部と、
   上記算出部で算出された平均値を、上記保持部に保持されている上記複数のフレームの積算値のうち、上記補正対象フレームの積算値、または上記撮像デバイスの撮像タイミングと上記フリッカーの位相関係が該補正対象フレームと同じであり、かつ該補正対象フレームの前に位置するフレームの積算値で除算して、該補正対象フレームの基準補正ゲインを算出する演算部と、
   上記閾値発生部で発生される閾値に基づき、上記補正対象フレームの各画素データが、上記選択範囲の画素データであるか否かを判別する比較部と、
   上記比較部の判別結果に基づき、上記補正対象フレームの上記選択範囲の各画素データに対応して、上記演算部で算出された基準補正ゲインに基づいた補正ゲインを出力する補正ゲイン出力部と、
   上記補正対象フレームの各画素データのうち、上記選択範囲の各画素データを、上記補正ゲイン出力部から出力される補正ゲインに基づいて補正する補正部と
   を備えることを特徴とする画像データ処理装置。
2. 上記補正ゲイン出力部は、
   上記選択範囲の画素データのうち、上記閾値から上記平均値までの間の値を持つ画素データに対しては、該画素データの値と上記閾値との差に応じて、１．０から上記基準補正ゲインまでの補正ゲインを出力する
   ことを特徴とする請求項１に記載の画像データ処理装置。
3. 上記閾値発生部から発生される閾値の値をユーザが調整するためのユーザ操作部をさらに備える
   ことを特徴とする請求項１に記載の画像データ処理装置。
4. 上記選択範囲の画素データとして、上記閾値以上の値を持つ画素データ、または上記閾値以下の値を持つ画素データをユーザが選択するためのユーザ操作部をさらに備える
   ことを特徴とする請求項１に記載の画像データ処理装置。
5. 撮像デバイスで撮像して得られた画像データの各フレームを順次補正対象フレームとしてフリッカー補正処理を行う画像データ処理方法であって、
   画素データの閾値を発生する閾値発生ステップと、
   上記画像データのフレーム毎に、画素データの閾値に基づき、該閾値以上の値を持つ画素データ、該閾値以下の値を持つ画素データ、のいずれかの範囲を選択範囲とし、該選択範囲の画素データを抽出し、該抽出した画素データの値を積算する積算ステップと、
   上記積算ステップで得られる複数のフレームの積算値を記憶媒体に保持する保持ステップと、
   上記保持ステップで上記記憶媒体に保持された上記撮像デバイスの撮像タイミングとフリッカーの位相関係の周期における１周期に含まれる連続した一定数のフレームの積算値に基づいて、上記画像データの平均値を算出する算出ステップと、
   上記算出ステップで算出された平均値を、上記記憶媒体に保持された上記複数のフレームの積算値のうち、上記補正対象フレームの積算値、または上記撮像デバイスの撮像タイミングと上記フリッカーの位相関係が該補正対象フレームと同じであり、かつ該補正対象フレームの前に位置するフレームの積算値で除算して、該補正対象フレームの基準補正ゲインを算出する演算ステップと、
   上記画素データの閾値に基づき、上記補正対象フレームの各画素データが、上記選択範囲の画素データであるか否かを判別する比較ステップと、
   上記比較ステップの判別結果に基づき、上記補正対象フレームの上記選択範囲の各画素データに対応して、上記演算ステップで算出された基準補正ゲインに基づいた補正ゲインを出力する補正ゲイン出力ステップと、
   上記補正対象フレームの各画素データのうち、上記選択範囲の各画素データを、上記補正ゲイン出力ステップで出力される補正ゲインに基づいて補正する補正ステップと
   を備えることを特徴とする画像データ処理方法。
6. 撮像デバイスと、該撮像デバイスで撮像して得られた画像データの各フレームを順次補正対象フレームとしてフリッカー補正処理を行う画像データ処理装置とを有する撮像システムであって、
   上記画像データ処理装置は、
   画素データの閾値を発生する閾値発生部と、
   上記画像データのフレーム毎に、上記閾値発生部で発生された上記閾値に基づき、該閾値以上の値を持つ画素データ、該閾値以下の値を持つ画素データ、のいずれかの範囲を選択範囲とし、該選択範囲の画素データを抽出し、該抽出した画素データの値を積算する積算部と、
   上記積算部で得られる複数のフレームの積算値を保持する保持部と、
   上記保持部に保持されている上記撮像デバイスの撮像タイミングとフリッカーの位相関係の周期における１周期に含まれる連続した一定数のフレームの積算値に基づいて、上記画像データの平均値を算出する算出部と、
   上記算出部で算出された平均値を、上記保持部に保持されている上記複数のフレームの積算値のうち、上記補正対象フレームの積算値、または上記撮像デバイスの撮像タイミングと上記フリッカーの位相関係が該補正対象フレームと同じであり、かつ該補正対象フレームの前に位置するフレームの積算値で除算して、該補正対象フレームの基準補正ゲインを算出する演算部と、
   上記閾値発生部で発生される閾値に基づき、上記補正対象フレームの各画素データが、上記選択範囲の画素データであるか否かを判別する比較部と、
   上記比較部の判別結果に基づき、上記補正対象フレームの上記選択範囲の各画素データに対応して、上記演算部で算出された基準補正ゲインに基づいた補正ゲインを出力する補正ゲイン出力部と、
   上記補正対象フレームの各画素データのうち、上記選択範囲の各画素データを、上記補正ゲイン出力部から出力される補正ゲインに基づいて補正する補正部と
   を備えることを特徴とする撮像システム。