JP5218239B2 - 画像データ処理装置および撮像装置 - Google Patents

Description

本発明は、フリッカを検出して補正する技術に関する。より詳細には、電源周波数で明るさが変動する照明光のもとで撮像された映像に発生するフリッカを検出して補正する画像データ処理装置および撮像装置に関する。

フリッカの問題は、ローリングシャッタ式の撮像素子において大きく取り上げられるが、グローバルシャッタ式の撮像素子の場合では面フリッカと呼ばれる画面全体の明滅現象が見られる。この面フリッカは、照明光の明滅周期（西日本：１／１２０秒、東日本：１／１００秒）が撮像の周期の整数倍ではないことに起因する。この照明光の明滅周期は、電源周波数で決定される。西日本の電源周波数は６０Ｈｚであるので、西日本における照明光の明滅周期は１／１２０秒となる。一方、東日本の電源周波数は５０Ｈｚであるので、東日本における照明光の明滅周期は１／１００秒となる。

ところで、面フリッカは、撮像装置の撮像周波数と照明光の明滅周波数との最小公倍数であることが知られている。このような特徴を持つ面フリッカを除去するために、従来の技術では、グローバルシャッタ式の撮像素子から得られるデジタル信号（画像データ）にかける補正ゲインを変化させていた。

ここで、補正ゲインの決定方法について図８を参照して説明する。
図８は、撮像対象の変化が少ない場合の面フリッカの補正に関する従来技術を示す説明図である。

図８（ａ）は、撮像周波数と照明光の明滅周波数との関係性を示す波形図である。
縦軸は照明光の強さを表している。横軸は時間軸である。
図８（ｂ）は、撮像素子で光電変換されることにより生成されたデジタル信号と、当該デジタル信号を基に生成される補正ゲインとの関係性を示す波形図である。
図８（ｂ）上段の縦軸はデジタル信号のレベル、すなわち各フレームの明るさを示す。図８（ｂ）下段の縦軸は補正ゲインの大きさを表す。横軸は、図８（ｂ）の上段および下段で共通の時間軸である。

例えば、撮像の周期、すなわち露光時間が１／１８０秒の撮像装置の場合、当該撮像装置の撮像周波数は１８０Ｈｚになる。このような撮像装置を用いて、明滅周波数が１２０Ｈｚの照明光の下で撮像を行った際、当該撮像装置で撮像される動画像に現れる面フリッカのフリッカ周期は、撮像周波数と明滅周期の最大公約数である６０Ｈｚとなる。このとき、撮像素子から出力されるデジタル信号のフレームごとの画素レベルの合計（以下、「積算画素レベル」という）が、図８（ｂ）の上段に示すように、６０Ｈｚで変動するためである。

これまでは補正ゲインを決める要因として、撮像周波数と照明光の明滅周波数の最小公倍数がフリッカ周波数であることを利用し、補正すべきフレームの直前の同位相のデータを使い補正ゲインを決定していた。図８（ｂ）の下段に示すように、この手法は撮像対象の変化が少ない場合は効果的な補正ができる。特許文献１には、この種のフリッカ補正用のゲインを決定する技術についての記載がある。

特開２００１−１１１８８７号公報

しかしながら、図９に示すように、撮像対象物の輝度や色などが瞬間的に変化した場合、一瞬の変化（外乱）も次の周期の補正のデータとしてそのまま使ってしまう。そのため、正常なレベルのフレームに対しても適切でない補正をかけてしまうことになり、画質を大きく損なう結果となってしまう、という問題があった。

本発明は斯かる点に鑑みてなされたものであり、フリッカの誤判定による動画質の低下を抑える画像データ処理装置および撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の画像データ処理装置は、操作部と、所定の撮像周波数での撮像が行われている撮像デバイスから得られた画像データに対して、設定された補正ゲインを乗算する補正部とを備える。撮像デバイスから得られた画像データから、各フレームの所定の範囲の画素の画素レベルの和である積算画素レベルをフレームごとに逐次算出する積算部を備える。さらに、積算部で逐次算出された積算画素レベルを、算出される度に所定数保持する履歴保持部とを備える。撮像周波数および操作部から入力される電源周波数に基づいて、履歴保持部に保持された積算画素レベルの中から、補正部に現在入力されている画像データに係るフリッカ位相と同一位相の積算画素レベルを検出する。そして、検出した積算画素レベルの平均値である第一平均値を算出する。そして、履歴保持部に保持された積算画素レベルの平均値である第二平均値を算出する。そして、第一平均値を第二平均値で除して補正ゲインを算出し、算出した補正ゲインを補正部に設定する。

上記構成によれば、同位相平均部および平均値生成部で加算する積算画素レベルの数を複数にした。これにより、瞬間的な撮像状況の変動が無視できる程度の期間における積算画素レベルから第一平均値および第二平均値をそれぞれ算出し、これらの平均値から適切な補正ゲインを算出することができる。そして、この補正ゲインで補正対象の画像データに対して補正を行うことができる。

本発明によれば、瞬間的な撮像状況の変動に起因するフリッカの誤判定による動画質の低下を抑える画像データ処理装置および撮像装置を提供することができる。

本発明の一実施形態に係る撮像装置を示すブロック図である。 撮像対象に変化がない場合、撮像デバイスに入ってくる撮像光の時間変化を示す波形図である。 画像データ処理部によるフリッカ補正処理の動作の流れを示すフローチャートである。 撮像状況に瞬間的な変化が生じた場合の平均値Ｄｘおよび補正ゲインＧｎの変化の一例を示す波形図である。 本発明の他の実施形態に係る撮像装置を示すブロック図である。 画像データ処理部によるフリッカ補正処理の動作の流れの一部を示すフローチャートである。 加算期間検出部で検出された３００個の積算画素レベルを時系列順に並べた波形図である。 撮像対象の変化が少ない場合の面フリッカの補正に関する従来技術を示す説明図である。 撮像対象の変化が瞬間的な場合の面フリッカの補正に関する従来技術を示す説明図である。

以下、発明を実施するための最良の形態（以下、「実施の形態」とする）について以下の順序で説明を行う。以下に述べる実施の形態は、本発明の好適な具体例である。そのため、技術的に好ましい種々の限定が付されている。しかしながら、本発明の範囲は、下記の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。例えば、以下の説明で挙げる各パラメータの数値的条件は好適例に過ぎず、説明に用いた各図における寸法、形状および配置関係も概略的なものである。

１．一実施形態
（１）撮像装置の構成
（２）撮像装置の動作
２．他の実施形態
（１）撮像装置の構成
（２）撮像装置の動作
３．変形例

＜１．一実施形態＞
［撮像装置１０１の構成］

図１は、本実施形態の撮像装置を示す機能ブロック図である。
図１に示す撮像装置１０１は図示しないレンズを有し、このレンズを介して撮像光が撮像デバイス１０２の図示しない撮像面に結像される。撮像デバイス１０２は、グローバルシャッタ式の撮像素子、例えばＣＣＤ（Charge Coupled Device Image Sensor）素子である。この撮像デバイス１０２は、レンズを介して結像された撮像光を撮像面単位で光電変換して所定のアナログ信号を生成し、当該アナログ信号をデジタル変換して所定のデジタル信号（画像データ）を生成する。なお、このデジタル信号は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）といった色信号のことである。

そして、撮像デバイス１０２で生成されたデジタル信号は画像データ処理部１０３に供給される。また、この撮像デバイス１０２は、電子シャッタ機能を有しており、後述する制御部１０４からの指示に基づいて、電子シャッタに撮像周波数を設定する。本実施形態では、撮像デバイス１０２で撮像される映像のフレームレートが１８０フレーム／秒、すなわち撮像周波数が１８０Ｈｚであるとする。

画像データ処理部１０３は、撮像デバイス１０２から供給されるデジタル信号のゲインをフレーム単位で調節する。これにより、当該デジタル信号に含まれる面フリッカのフリッカ成分の除去（以下、「フリッカ補正処理」という）を行って所定のレベルのデジタル信号を生成する。そして、画像データ処理部１０３で生成された、フリッカ補正処理の成されたデジタル信号は映像信号生成部１０５に供給される。画像データ処理部１０３でのデジタル信号のゲイン調整は、色信号（赤）、色信号（緑）および色信号（青）でそれぞれ独立して行われる。ただし、これらの色信号（赤）、色信号（緑）および色信号（青）それぞれに対する画像データ処理部１０３の処理は基本的に同じであるので、以下ではこれらの３つの信号それぞれに対する処理の説明は省略する。なお、画像データ処理部１０３の詳細については後述する。

映像信号生成部１０５では、画像データ処理部１０３から供給されるデジタル信号の各フレームごとの周辺光量落ちの補正処理、所定の補間処理、それに伴うフィルタ処理、シェーディング処理などの信号処理等が行われる。さらに、画質の向上を図るような処理等も行われる。

さらに、映像信号生成部１０５は、画像データ処理部１０３から供給されるデジタル信号に対して、色調調整処理、輝度圧縮処理、ガンマ補正等の周知の画像処理を行って、所定の表示装置に入力するための映像信号を生成する。そして、このような画像処理のなされた映像信号が、液晶ディスプレイ等からなる表示部１０６に映像として映し出される他、例えばパーソナルコンピュータ等の外部装置に供給される。なお、画像データ処理部１０３でのフリッカ補正処理および映像信号生成部１０５でのその他の補正処理は、後述する制御部１０４からの制御に基づいて行われる。

制御部は、マイクロコンピュータ等であり、撮像装置１０１を構成する各ブロックを制御する。より具体的には、制御部１０４は、撮像デバイス１０２の電子シャッタに関する撮像周波数の設定および画像データ処理部１０３に関するゲインの設定等を制御する。また、制御部１０４は、図示しないレンズ等の光学系、撮像デバイス１０２等の各部の動作を制御する。これらの制御のために、制御部１０４は、撮像装置１０１内の各部とデータ伝送可能に接続させてある。

操作部１１３は、撮像装置１０１に配設されたボタンキーや当該撮像装置１０１に搭載された表示部１０６の画面に表示されるアイコンに割り当てられたソフトキー等からなる。そして、利用者の操作に応じた操作信号が操作部１１３から所定のインターフェース（不図示）を介して制御部１０４に入力される。制御部１０４は、当該操作信号、もしくは予め規定された設定等に基づいて、内蔵のＲＯＭ（Read Only Memory）等の不揮発性記憶部に記録されているコンピュータプログラムに従い、所定の演算および各回路に対する制御を行う。

ここで、撮像装置１０１を構成する画像データ処理部１０３の処理対象である面フリッカの特徴について図２を参照して説明しておく。
図２は、撮像対象に変化がない場合、撮像デバイス１０２に入ってくる撮像光の時間変化を示す波形図である。
縦軸は撮像デバイス１０２に入ってくる撮像光の光量を示しており、横軸は時間軸である。

図２に示す例では、撮像デバイス１０２の撮像周波数が１８０Ｈｚ、すなわちフレームレートが１８０フレーム／秒の撮像装置１０１を用いて、電源周波数が６０Ｈｚ、すなわち照明光の明滅周期が１／１２０秒の照明光の下で撮像を行っているものとしている。

このような条件下では、図２に示すように３フレームに１回、同じフリッカ位相のデータが撮像デバイス１０２から画像データ処理部１０３に供給されることとなる。そのため、前述の画像データ処理部１０３は、予め電源周波数および撮像周波数を知らされていれば、どのタイミングでフリッカ位相が等しくなるのかを求めることができる。

次に、図１に戻り、画像データ処理部１０３の詳細について説明を行う。
画像データ処理部１０３は、積算部１０７と、履歴保持部１０８と、同位相平均部１０９と、平均値生成部１１０と、補正ゲイン演算部１１１と、補正部１１２とを含む。

積算部１０７は、撮像デバイス１０２で得られたデジタル信号から、各フレームに対応する画素の画素レベルの和（以下、「積算画素レベル」という）を当該各フレームごとに逐次算出する。そして、積算画素レベルを算出するたびに、算出した当該積算画素レベルを履歴保持部１０８に出力する。

履歴保持部１０８は、例えばフレームメモリであり、積算部１０７から入力される積算画素レベルのうち最新の所定個数のデータを保持する。そして、履歴保持部１０８内に保持されたデータが更新されるたびに、履歴保持部１０８に記憶されたすべての積算画素レベルが同位相平均部１０９および平均値生成部１１０に出力される。本実施形態では、履歴保持部１０８内に保持する積算画素レベルの個数を１８０とするが、履歴保持部１０８内に保持する積算画素レベルの個数および当該履歴保持部１０８から出力される積算画素レベルの個数はこれに限られるものではない。なお、履歴保持部１０８は制御部１０４とデータ伝送を行う構成としてあり、履歴保持部１０８内に保持する積算画素レベルの個数および履歴保持部１０８から出力される積算画素レベルの個数は操作部１１３に対する利用者の操作に応じて設定される。

同位相平均部１０９は、履歴保持部１０８から入力されたすべての積算画素レベルの中から、現在補正部１１２に入力されているデジタル信号に係るフリッカ位相と同一位相時の積算画素レベルをすべて検出する。この検出は、図２の説明で記載したように、撮像周波数および照明光の明滅周波数を利用することによって実現される。そのため、同位相平均部１０９は、制御部１０４と電気的に接続されており、利用者によって操作部１１３から入力された撮像周波数および電源周波数が制御部１０４を通じて供給されるようになっている。

同位相平均部１０９は、検出したすべての積算画素レベルの平均値Ｄａを計算し、当該検出した積算画素レベルの平均値Ｄａを補正ゲイン演算部１１１に出力する。

本実施形態では、図２に示したように、フリッカ位相は３パターンであり、フリッカ位相は３周期に１回同位相となる。そのため、同位相平均部１０９では６０個の積算画素レベルの平均値が平均値Ｄａとなる。

一方、平均値生成部１１０は、履歴保持部１０８から入力されたすべての積算画素レベルの平均値Ｄｘを計算し、当該すべての積算画素レベルの平均値Ｄｘを補正ゲイン演算部１１１に出力する。本実施形態では、履歴保持部１０８から平均値生成部１１０に入力される積算画素レベルの数は１８０であるので、この平均値生成部１１０では１８０個の積算画素レベルの平均が計算される。この１８０個の積算画素レベルは、デジタル信号１秒分のデータである。この１８０個の積算画素レベルから求められる平均値Ｄｘは、フリッカ周波数が１８０Ｈｚのフリッカにより変動するであろうすべてのレベルのデータを十分な数だけ含んでいる。つまり、フリッカを含まないデジタル信号と等価と考えることができる。そのため、平均値Ｄｘを次段での補正ゲイン算出の基準として使用する。

補正ゲイン演算部１１１は、同位相平均部１０９からの出力および平均値生成部１１０からの出力を利用して、補正ゲインＧｎを演算し、演算した補正ゲインＧｎを補正部１１２に出力する。
補正ゲインＧｎを計算する式を以下に示す。
Ｇｎ＝Ｄａ／Ｄｘ

補正部１１２は、乗算器であり、撮像デバイス１０２から入力されるデジタル信号に対して補正ゲイン演算部１１１から入力された補正ゲインＧｎを乗算する。これにより、撮像デバイス１０２から入力されるデジタル信号に対して各フレームごとにゲインの調節が行われ、ゲイン調整がなされたデジタル信号が映像信号生成部１０５に出力される。

［撮像装置１０１の動作］
次に、撮像装置１０１の動作について図３，４を参照して説明する。
図３は、画像データ処理部１０３によるフリッカ補正処理の動作の流れを示すフローチャートである。

まず、撮像デバイス１０２から画像データ処理部１０３に前述のデジタル信号が入力される。すると、この画像データ処理部１０３の積算部１０７では、入力されたデジタル信号から、積算画素レベルが各フレームごとに逐次算出される（ステップＳ４０１）。そして、積算画素レベルが算出されるたびに、算出された当該算出レベルが履歴保持部１０８に出力される。

履歴保持部１０８では、積算部１０７から入力さる積算画素レベルのうち最新の１８０個のデータが保持される（ステップＳ４０２）。そして、履歴保持部１０８内に保持された１８０個の積算画素レベルが更新されるたびに、履歴保持部１０８に保持された１８０個の積算画素レベルが同位相平均部１０９および平均値生成部１１０に出力される。

そして、同位相平均部１０９では、履歴保持部１０８から入力された１８０個の最新の積算画素レベルの中から、現在補正部１１２に入力されているデジタル信号に対応するフリッカ位相と同一位相時の積算画素レベルが６０個検出される。このような検出は、前述したように、制御部１０４から入力される撮像周波数（１８０Ｈｚ）および電源周波数（６０Ｈｚ）に基づいて行われる。そして、検出された同位相の積算画素レベル６０個すべての平均値Ｄａが算出され（ステップＳ４０３）、算出された平均値Ｄａが補正ゲイン演算部１１１に出力される。

一方、平均値生成部１１０には、履歴保持部１０８から同位相平均部１０９に入力されている積算画素レベルと同じものが入力される。平均値生成部１１０では、入力された１８０個の最新の積算画素レベルの平均値Ｄｘが算出され（ステップＳ４０４）、算出された平均値Ｄｘが補正ゲイン演算部１１１に出力される。

以上の処理が完了した後、補正ゲイン演算部１１１では、同位相平均部１０９から入力される平均値Ｄａおよび平均値生成部１１０から入力される平均値Ｄｘに前述の計算式を適応することにより、補正ゲインＧｎが算出される（ステップＳ４０５）。そして、補正ゲイン演算部１１１で算出された補正ゲインＧｎが補正部１１２に出力される。補正部１１２では、撮像デバイス１０２から入力されているデジタル信号に対して、補正ゲイン演算部１１１から入力された補正ゲインＧｎを各フレームごとに乗算することにより、当該デジタル信号に含まれる面フリッカの成分が除去される。

次に、補正部１１２に入力されたデジタル信号と、当該デジタル信号の補正に用いられる補正ゲインＧｎとの時間的な関係を図４を参照して説明する。
図４は、撮像状況に瞬間的な変化が生じた場合の平均値Ｄｘおよび補正ゲインＧｎの変化の一例を示す波形図である。

図４（ａ）は、平均値Ｄｘの時間変化を示す波形図である。
縦軸は平均値Ｄｘの大きさを示している。横軸は時間軸である。
平均値Ｄｘは、前述したように、安定した撮像状況においてはフリッカのない状態のデータとほぼ等価となり、ほぼ一定の値をとる。しかし、撮像状況に瞬間的な変動があると、平均値Ｄｘは１８０個、すなわち１秒分の積算画素レベルの平均値であるため、変動に応じて瞬間的に増減する。なお、ここでの変動とは、例えば撮像デバイス１０２で撮像する撮像対象物からの反射光の変化や当該撮像対象物の色の変化のことを指す。

図４（ａ）に示す波形図の例では、平均値Ｄｘが瞬間的に増加しているので、この増加した期間において撮像状況に瞬間的な変動があったことを示している。

図４（ｂ）は、補正ゲインＧｎの時間変化を示す波形図である。
縦軸は補正ゲインＧｎの大きさを表している。また、横軸は図４（ａ）の横軸と共通の時間軸である。
図４（ｂ）に示す補正ゲインＧｎは、図４（ａ）に示す平均値Ｄｘおよび当該平均値Ｄｘが算出されたのと同じ期間において同位相平均部１０９で算出される平均値Ｄａに基づいて補正ゲイン演算部１１１で算出されたものである。

ところで、補正ゲインＧｎは、当該補正ゲインＧｎを算出するのに用いたデジタル信号が補正部１１２に入力されてから一周期後に補正部１１２に入力されるデジタル信号の補正に用いられる。この一周期は、フリッカ位相のすべてのパターン（本例では３パターン）が登場するのに必要な期間に相当し、照明光の明滅周波数（１２０Ｈｚ）と撮像周波数（１８０Ｈｚ）の最小公倍数である６０Ｈｚの逆数、すなわち１／６０秒となる。なお、一周期の中には、３パターンのフリッカ位相にそれぞれ対応する３つの平均値Ｄｘおよび補正ゲインＧｎが含まれる。

本例では、期間４０３に算出された各補正ゲインは、期間４０３の一周期後、すなわち１／６０秒後の期間４０４に補正部１１２に入力されるデジタル信号の補正に用いられる。

Ｄｘが瞬間的に変化している期間４０３に算出された各補正ゲインＧｎは、撮像状況に瞬間的な変化が生じているときに撮像デバイス１０２から出力されるデジタル信号を元に算出された値である。これに対して、当該各補正ゲインが補正に用いられる期間４０４に撮像デバイス１０２から補正部１１２に入力されるデジタル信号は、安定した撮像状況のものである。しかしながら、期間４０３において算出される補正ゲインＧｎは、期間４０４において算出される補正ゲインＧｎと近い値となる。そのため、期間４０３に算出される補正ゲインＧｎで、期間４０４に補正部１１２に入力されるデジタル信号を補正することは、期間４０４に算出される最適な補正ゲインＧｎで、期間４０４に補正部１１２に入力されるデジタル信号を補正することほぼ等価となる。なお、撮像状況に瞬間的な変化が起こっていない場合、算出される補正ゲインはほぼ一定となるので、撮像デバイス１０２から補正部１１２に入力されるデジタル信号に適切な補正が行われることは言うまでもない。

以上説明したように、本実施形態では、同位相平均部１０９および平均値生成部１１０で加算する積算画素レベルの数を複数にするようにしている。すなわち、一時的な撮像状況の変動が無視できる程度の期間における積算画素レベルから平均値Ｄａおよび平均値Ｄｘをそれぞれ算出し、これらの平均値から補正ゲインＧｎを算出することができる。そのため、撮像状況に瞬間的な変動があったとしても、算出する補正ゲインＧｎに当該変化が影響を及ぼさないようにすることができるので、補正対象のデジタル信号に対して適切な補正ゲインＧｎをかけて補正を行うことができる。これにより、フリッカの誤判定による動画質の低下を抑えることができる、という効果がある。

また、本実施形態では、補正ゲインＧｎを算出するに際して時間（同位相平均部１０９および平均値生成部１１０で加算する積算画素レベルの数）を利用者による設定可能なパラメータとしている。そのため、撮像状況の瞬間的な変動の特性、例えば変動の継続時間に最も適した補正ゲインＧｎでデジタル信号の補正を行うことができる。

また、本実施形態では、撮像を行うときに必ず設定される撮像周波数および電源周波数を、補正ゲインＧｎを算出する際のパラメータに含めている。そのため、撮像周波数とフリッカ周波数が限定されない面フリッカ補正をデジタル信号に対して行うことが容易になる、という効果がある。

また、本実施形態では、補正対象となっているデジタル信号に係るフリッカ位相と同一位相の加算レベルのみから平均値Ｄａを計算しており、当該平均値Ｄａおよび平均値Ｄｘから補正ゲインＧｎを算出している。そのため、補正対象となっているデジタル信号の補正に用いられる補正ゲインＧｎをより適切な値に近づけることができる。これにより、デジタル信号に含まれる面フリッカの成分をより的確に除去できる、という効果がある。

＜２．他の実施形態＞
［撮像装置５０１の構成］
図５は、本実施形態の撮像装置を示す機能ブロック図である。
撮像装置５０１は、適切な加算期間（補正ゲイン演算部および平均値生成部で平均を取る際の積算画素レベルの数）を所定の単位時間における加算レベルの時間変化に基づいて決定し、この加算期間で平均値Ｄａを算出する。そして、算出した平均値Ｄａおよび平均値Ｄｘに基づいて補正ゲインＧｎを算出し、算出した補正ゲインＧｎでデジタル信号の補正を行う。この撮像装置５０１は、一実施形態の撮像装置１０１を構成する画像データ処理部１０３の代わりに、画像データ処理部５０２を設けている。

画像データ処理部５０２は、積算部１０７と、履歴保持部５０３と、加算期間検出部５０４と、同位相平均部５０５と、平均値生成部１１０と、補正ゲイン演算部１１１と、補正部１１２とを含む。なお、この画像データ処理部５０２において、一実施形態に係る画像データ処理部１０３と共通部分には同じ符号を付して説明は省略する。

履歴保持部５０３は、一実施形態に係る履歴保持部１０８と同様に、例えばフレームメモリである。この履歴保持部５０３は、積算部１０７から入力される積算画素レベルのうち最新の所定個数のデータを保持する。そして、履歴保持部５０３内に保持されたデータが更新されるたびに、履歴保持部５０３に記憶されたすべての積算画素レベルが加算期間検出部５０４、同位相平均部５０５および平均値生成部１１０に出力される。

本実施形態では、履歴保持部５０３内に保持する積算画素レベルの個数を９００、すなわち９００フレーム分のデータとする。しかし、履歴保持部５０３内に保持する積算画素レベルの個数および当該履歴保持部５０３から出力される積算画素レベルの個数はこれに限られるものではない。なお、履歴保持部５０３は制御部１０４と電気的に接続されており、履歴保持部５０３内に保持する積算画素レベルの個数および履歴保持部５０３から出力される積算画素レベルの個数は操作部１１３に対する利用者の操作に応じて設定される。

加算期間検出部５０４は、履歴保持部５０３から入力されたすべての積算画素レベルの中から、現在補正部１１２に入力されているデジタル信号に係るフリッカ位相と同一位相時の積算画素レベルをすべて検出する。これらの検出された積算画素レベルの個数が、前述の所定の単位期間に相当する個数である。この検出は、図２の説明で記載したように、制御部１０４から入力される撮像周波数および照明光の明滅周波数を利用することによって実現される。そして、加算期間検出部５０４は、当該検出した積算画素レベルの時間変動に基づいて加算期間を決定し、決定した加算期間を同位相平均部５０５に出力する。本例では、履歴保持部５０３から入力される積算画素レベルは、３パターンのフリッカ位相にそれぞれ対応している。そのため、加算期間検出部５０４検出する同一位相時の積算画素レベルの個数は、履歴保持部５０３から入力される積算画素レベルの個数の３分の１つまり、３００個である。

同位相平均部５０５は、履歴保持部５０３から入力されたすべての積算画素レベルの中から、現在補正部１１２に入力されているデジタル信号に係るフリッカ位相と同一位相時の積算画素レベルをすべて検出する。この検出方法は、加算期間検出部と同様である。そして、同位相平均部５０５は、検出したすべての積算画素レベルのから、加算期間検出部５０４で決定した加算期間に対応する積算画素レベルを選択し、選択した加算レベルの平均値Ｄａを算出して補正ゲイン演算部１１１に出力する。

［撮像装置５０１の動作］
次に、撮像装置５０１の動作について図６および図７を参照して説明する。
図６は、画像データ処理部５０２によるフリッカ補正処理の動作の流れの一部を示すフローチャートである。

撮像装置５０１による撮像が開始されると、直前に積算部１０７で算出された積算画素レベルに応じた補正ゲインＧｎが設定される（ステップＳ６０１）。そして、補正部１１２では、ステップＳ６０１の処理で設定された補正ゲインＧｎで、撮像デバイス１０２から当該補正部１１２に入力されているデジタル信号の補正が行われる。

このとき、撮像デバイス１０２から積算部１０７にはデジタル信号が入力されており、当該積算部１０７では、入力されたデジタル信号から、積算画素レベルが各フレームごとに逐次算出される。そして、積算画素レベルが算出されるたびに、算出された当該算出レベルが履歴保持部５０３に出力される。

履歴保持部５０３では、積算部１０７から入力されている積算画素レベルのうち最新の９００個のデータが保持される。そして、履歴保持部５０３内に保持された９００個の積算画素レベルが更新されるたびに、履歴保持部５０３に保持された９００個の積算画素レベルが加算期間検出部５０４、同位相平均部５０５および平均値生成部１１０に出力される。

加算期間検出部５０４では、履歴保持部５０３から入力された９００個の最新の積算画素レベルの中から、現在補正部１１２に入力されているデジタル信号に対応するフリッカ位相と同位相の積算画素レベルが時系列順に３００個（単位期間に相当）検出される。

図７は、加算期間検出部５０４で検出された３００個の積算画素レベルを時系列順に並べた波形図である。
単位期間７０２において、変動成分期間７０３が等しく且つ積算画素レベルが所定の閾値を超えるような変動が３回以上あるか否かが確認される（ステップＳ６０２）。確認されない場合は（ステップＳ６０２のＮＯ）、ステップＳ６０１の処理に戻る。

確認された場合は（ステップＳ６０２のＹＥＳ）、加算期間検出部５０４では、確認された変動成分期間の約１０倍の期間が加算期間７０４として算出され、この算出された加算期間７０４が同位相平均部５０５に出力される。例えば、図７に示す変動成分期間７０３に相当する積算画素レベルの個数が３個である場合、加算期間検出部５０４から同位相平均部５０５に出力される加算期間は、３０個となる。

そして、同位相平均部５０５では、履歴保持部５０３から入力された９００個の最新の積算画素レベルの中から、現在補正部１１２に入力されているデジタル信号に対応するフリッカ位相と同一位相時の積算画素レベルが３００個検出される。そして、検出された同位相の積算画素レベル３００個の中から最新の３０個（加算期間７０４に相当する個数）の平均値Ｄａが算出される。そして、算出された平均値Ｄａが補正ゲイン演算部１１１に出力される。

一方、平均値生成部１１０には、履歴保持部５０３から同位相平均部５０５に入力されている９００個の最新の積算画素レベルと同じものが入力されている。平均値生成部１１０では、入力された９００個の最新の積算画素レベルの平均値Ｄｘが算出され、算出された平均値Ｄｘが補正ゲイン演算部１１１に出力される。

以上の処理が完了した後、補正ゲイン演算部１１１では、同位相平均部５０５から入力される平均値Ｄａおよび平均値生成部１１０から入力される平均値Ｄｘに前述の計算式を適応する。これにより、現在補正部１１２に入力されているデジタル信号を補正するための補正ゲインＧｎが算出される（ステップＳ４０５）。そして、算出した補正ゲインＧｎが補正部１１２に出力される。補正部１１２では、撮像デバイス１０２から入力されているデジタル信号に対して、補正ゲイン演算部１１１から入力された補正ゲインＧｎを各フレームごとに乗算する（Ｓ６０３）。これにより、当該デジタル信号に含まれる面フリッカの成分が除去される。

以上のように、本実施形態では、上記した一実施形態と同様に、撮像状況に瞬間的な変動があったとしても、算出する補正ゲインＧｎに当該変化が影響を及ぼさないようにすることができる。そのため、補正対象のデジタル信号に対して適切な補正ゲインＧｎをかけて補正を行うことができる。これにより、フリッカの誤判定による動画質の低下を抑えることができる。

さらに、本実施形態では、単位期間における同位相の積算画素レベルの時間変動を監視し、当該変動に応じて加算期間を算出し、算出した加算期間に基づいて補正ゲインを計算するようにした。そのため、撮像状況に応じた補正ゲインを計算できるようになる。このような撮影状況に応じた補正ゲインでデジタル信号の補正を行うので、当該デジタル信号からより確実に面フリッカを除去することができる。

＜３．変形例＞
なお、上述した各実施形態では、フレームごとに積算画素レベルを算出し、当該積算画素レベルに基づいてフレームごとに補正ゲインを算出した。しかしながら、フレームを分割したエリアごとに積算画素レベルを算出し、エリアごとの積算画素レベルそれぞれに基づいて当該エリアごとに補正ゲインを算出するようにしてもよい。

また、上述した各実施形態では、グローバルシャッタ式の撮像素子の一例であるＣＣＤ素子を用いて撮像した動画像に現れる面フリッカを除去する場合を例とした。しかし、ローリングシャッタ式の撮像素子、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子を用いて撮像した動画像に現れる、面フリッカでないフリッカも除去することができる。この場合は、ＣＭＯＳ素子の各ラインから得られるデジタル信号ごとに、前述のフリッカ補正処理を行うことで、ＣＭＯＳ素子から得られるデジタル信号に含まれるフリッカ成分を除去することができる。

また、上述した他の実施形態では、加算期間を変動成分期間の約１０倍としたが、これに限られるものではない。

１０１…撮像装置、１０２…撮像デバイス、１０３…画像データ処理部、１０４…制御部、１０５…映像信号生成部、１０６…表示部、１０７…積算部、１０８…履歴保持部、１０９…同位相平均部、１１０…平均値生成部、１１１…補正ゲイン演算部、１１２…補正部、１１３…操作部、５０１…撮像装置、５０２…画像データ処理部、５０３…履歴保持部、５０４…加算期間検出部、５０５…同位相平均部

Claims (6)

1. 操作部と、
   所定の撮像周波数での撮像が行われている撮像デバイスから得られた画像データに対して、設定された補正ゲインを乗算する補正部と、
   前記撮像デバイスから得られた画像データから、各フレームの所定の範囲の画素の画素レベルの和である積算画素レベルを前記フレームごとに逐次算出する積算部と、
   前記積算部で逐次算出された積算画素レベルを、算出される度に所定数保持する履歴保持部と、
   前記撮像周波数および前記操作部から入力される電源周波数に基づいて、履歴保持部に保持された積算画素レベルの中から、前記補正部に現在入力されている前記画像データに係るフリッカ位相と同一位相の前記積算画素レベルを検出し、検出した前記積算画素レベルの平均値である第一平均値を算出する同位相平均部と、
   前記履歴保持部に保持された積算画素レベルの平均値である第二平均値を算出する平均値生成部と、
   前記同位相平均部で算出された前記第一平均値を、前記平均値生成部で算出された前記第二平均値で除して前記補正ゲインを算出し、算出した前記補正ゲインを前記補正部に設定する補正ゲイン演算部と
   を備える画像データ処理装置。
2. 前記操作部に対する利用者の操作に応じて、前記履歴保持部に保持する前記積算画素レベルの個数を変更する制御部を備える
   請求項１に記載の画像データ処理装置。
3. さらに、
   前記撮像周波数および前記電源周波数に基づいて、履歴保持部に保持された積算画素レベルの中から、前記補正部に現在入力されている前記画像データに係るフリッカ位相と同一位相の前記積算画素レベルを検出し、検出した前記積算画素レベルの時系列変化を監視し、前記監視している前記積算画素レベルの時系列変化に基づいて加算期間を算出する加算期間検出部を備え、
   前記同位相平均部は、検出した前記積算画素レベルの中から、前記加算期間検出部で算出された前記加算期間に対応する個数の前記積算画素レベルで平均値を算出する
   請求項１に記載の画像データ処理装置。
4. 前記撮像デバイスは、グローバルシャッタ式の撮像素子を含む
   請求項１に記載の画像データ処理装置。
5. 前記撮像デバイスは、ローリングシャッタ式の撮像素子を含む
   請求項１に記載の画像データ処理装置。
6. 操作部と、
   入射光を光電交換して所定の画像データを生成する撮像デバイスと、
   所定の撮像周波数での撮像が行われている撮像デバイスから得られた画像データに対して、設定された補正ゲインを乗算する補正部と、
   前記撮像デバイスから得られた画像データから、各フレームの所定の範囲の画素の画素レベルの和である積算画素レベルを前記フレームごとに逐次算出する積算部と、
   前記積算部で逐次算出された積算画素レベルを、算出される度に所定数保持する履歴保持部と、
   前記撮像周波数および前記操作部から入力される電源周波数に基づいて、履歴保持部に保持された積算画素レベルの中から、前記補正部に現在入力されている前記画像データに係るフリッカ位相と同一位相の前記積算画素レベルを検出し、検出した前記積算画素レベルの平均値である第一平均値を算出する同位相平均部と、
   前記履歴保持部に保持された積算画素レベルの平均値である第二平均値を算出する平均値生成部と、
   前記同位相平均部で算出された前記第一平均値を、前記平均値生成部で算出された前記第二平均値で除して前記補正ゲインを算出し、算出した前記補正ゲインを前記補正部に設定する補正ゲイン演算部と
   を備える撮像装置。

Images