JP4632918B2

JP4632918B2 - 撮像装置

Info

Publication number: JP4632918B2
Application number: JP2005296231A
Authority: JP
Inventors: 益三嵩本; 成浩的場
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2005-10-11
Filing date: 2005-10-11
Publication date: 2011-02-16
Anticipated expiration: 2025-10-11
Also published as: JP2007110205A

Description

この発明は、デジタル撮像装置において、蛍光灯照明装置の点灯下で撮像するときの蛍光灯の影響によるフリッカを抑圧する機能をより高精度に行う撮像装置に関するものである。

日本国内でインバータ機能の無い蛍光灯を点灯した場合、蛍光灯は電源周波数50Hzの地域では1秒間に100回の間隔、電源周波数60Hzの地域では1秒間に120回の間隔で明暗を繰り返す。

CCD(Charge-Coupled Device)を搭載したデジタルビデオカメラもしくはデジタルスチルカメラを上記蛍光灯下で使用する場合、CCDの画像読み出しのタイミングと蛍光灯の点滅周期の関係により、CCDに蓄積される電荷量が画像読み出しのタイミング毎に異なる場合がある。

CCDに蓄積される電荷量が異なると、画像の明るさが異なり映像が点滅するフリッカ現象が発生する。

フリッカの繰り返し周期は、蛍光灯の明滅周期とデジタル撮像装置のフレームレートで決定され、規則的な周期でフリッカ現象は繰り返される。例えば、蛍光灯の明滅周期が100Hz(電源周波数50Hz)、フレームレートが30fpsの場合、フリッカ現象は3フレーム周期で明滅を繰り返す。

従来、フリッカの周期的な規則性に着目し、フリッカを抑圧するための方法が提案されており、特開平10-257381号公報に開示された手法では、輝度の最大値および最小値から、フィールド毎の階調を補正するための補正係数を算出し、輝度変化の周期に基づき、1周期前のデータを用いて輝度値を補正する方法が用いられている。

特開平10-257381号公報

しかしながら、特開平10-257381号公報に開示の技術では、1周期前のデータを用いて輝度値を補正する方法であるため、補正時のデータが1周期前のデータと同じなければならないという条件が前提であり、前述したように、フリッカは規則的な周期で明滅を繰り返すが、自動露出調整機能(AE)やオートホワイトバランス機能(AWB)などの各種補正機能により、1周期前のデータと違ってしまう可能性があり、フリッカ補正性能を著しく低下させる恐れがある。

この発明はこのような事情に鑑みてなされたもので、自動露出調整機能(AE)やオートホワイトバランス機能(AWB)などの影響によって、フリッカの規則性が低下するのを防止し、フリッカ補正処理機能に対して、できるだけ理想値に近い入力データを提供し、フリッカ補正性能を向上させることを目的としている。

この発明に係る撮像素子にCCDを用いた撮像装置は、
CCDが出力し、デジタル処理された映像信号を増幅するデジタル信号増幅器と、デジタル信号増幅器の出力からフレーム毎の映像を構成する各種色成分の画素値の平均値である画素平均値を算出する平均値算出器と、平均値算出器の画素平均値からAWB係数を算出するAWB係数算出器と、AWB係数を算出した画素平均値に対してAWB係数で除算を行うAWB係数除算器と、AWB係数除算器の出力を参照してデジタル信号増幅器の出力に対し、フリッカ補正処理を行うフリッカ補正器を備え、デジタル信号増幅器はAWB係数算出器のAWB係数を用いて増幅する。

この発明は、CCDが出力し、デジタル処理された撮影対象物の映像を構成するフレーム毎に画素の平均値を求め、この画素平均値からAWB係数を算出して、画素平均値に対してAWB係数で除算することで、AWB処理に影響されない画素平均値を取得することが可能であり、AWB処理に影響されない画素平均値を参照して、出力信号のフリッカ補正処理を行うので、AWB処理よるフリッカの規則性低下を防止し、フリッカ補正処理機能に対して、できるだけ理想値に近い入力データを提供し、フリッカ補正性能を向上させることが可能である。

実施の形態１．
図１はこの発明を実施するための最良の形態である実施の形態１における撮像装置を示す構成図である。
図１において、11は撮像レンズ、12は光電変換素子であるCCD、13はアナログ信号処理器（CDS/AGC）、14はADコンバータ、15は平均値算出器、16はフリッカ判別器、17は平均化処理器、18はAE設定値算出器、19はフリッカ補正器である。

次に動作について説明する。
まず撮像レンズ11は撮影対象からの光をCCD12の受光面に結像させる。
CCD12は赤(R)、緑(G)、青(B)の光にそれぞれ感応する3種の画素を交互にマトリクス状に数十万個配列して成り、画素毎に受けた光を電荷に変換して蓄積し、蓄積電荷をアナログ信号として出力する。

アナログ信号処理器13はCCD12の出力信号を2重相関サンプリングし自動ゲイン処理を行う。
ADコンバータ14は、アナログ信号処理器13から入力されるアナログ信号をデジタル信号に変換を行う。

平均値算出器15はADコンバータ14からの出力信号に対して、1フレーム毎のRGB各色成分に対して画素平均値を求める。
フリッカ判別器16は平均値算出器15から出力される画素平均値を参照、即ち画素平均値の周期的な増減を検出してフリッカ発生の判別を行い、平均化処理器17およびフリッカ補正器19に対してフリッカ発生時にはフリッカ発生通知、フリッカ未発生時にはフリッカ未発生通知を行う。

フリッカ補正器19は、フリッカ判別器16よりフリッカ発生通知があった場合には平均値算出器15から出力される画素平均値を参照し、フリッカ補正処理を行う。また、フリッカ未発生通知があった場合には、バイパス処理を行う。

平均化処理器17はフリッカ判別器16より、フリッカ発生通知があった場合には平均値算出器15にて算出される1フレーム画素値の平均値に対して、フリッカ1周期のフレーム数を1単位とした平均化処理を行い、フリッカ未発生通知があった場合には、バイパス処理を行う。

平均化処理器17では、以下の式にて平均化処理が行われる。F(n)はnフレーム番目の画素平均値、F_AVE(n)は平均化処理結果であるフリッカ周期画素平均値、kは平均化処理を行うフレーム数である。ただし、kはフリッカ1周期のフレーム数に対して、定数倍したフレーム数である。
F_AVE(n)＝(F(n)＋F(n-1)＋F(n-2)＋…＋F(n-k-1))÷k ‥‥ 式１

図２は、フリッカ発生時のフレーム毎の画素平均値の変動および、変動に伴うAE処理動作を示したものである。AE処理は、目標レベルよりも画素平均値が大きい場合は、次のフレームの画素値を小さくしようとする処理、目標レベルよりも画素平均値が小さい場合は、次のフレームの画素値を大きくしようとする処理を行う。つまり、毎フレームごとに前のフレームの画素平均値を参照してAE処理が行われる影響により、フリッカ周期毎の画素平均値を一定に保持することができなくなる。

フリッカ1周期を1単位とした場合、フリッカ1周期の画素平均値を平均したものはどのフレームから始めても常に一定値となり、フリッカ周期で平均した画素平均値に対してフリッカ周期単位でAE処理が行われれば、AE処理による影響を抑止することができる。

図３は、フリッカ1周期が3フレームで、平均化処理器17での平均化処理を3フレームで行う場合の機略図である。図３は、式１のk=3の場合である。
AE設定値算出器18は平均化処理器17から入力される画素平均値を参照し、画面の明るさ(画素平均値)が基準レベルに到達するように、CCD12に対して露光時間の制御、CDS/AGC13に対してゲイン制御を行う。

この発明を実施するための実施の形態１のように、フリッカ1周期のフレーム数を1単位とした平均化処理を行った画素平均値に対して、AE処理を行うことで、AE処理によるフリッカの規則性低下を防止し、フリッカ補正処理機能に対して、できるだけ理想値に近い入力データを提供し、フリッカ補正性能を向上させることが可能である。

実施の形態２．
図４はこの発明を実施するための実施の形態２である撮像装置を示す構成図である。
図４おいて、21は撮像レンズ、22は光電変換素子であるCCD、23はアナログ信号処理器（CDS/AGC）、24はADコンバータ、25はAWB処理器、26は平均値算出器、27はフリッカ判別器、28は平均化処理器、29はAWB設定値算出器、30はフリッカ補正器である。

次に動作について説明する。
まず撮像レンズ21は撮影対象からの光をCCD22の受光面に結像させる。
CCD22は赤(R)、緑(G)、青(B)の光にそれぞれ感応する3種の画素を交互にマトリクス状に数十万個配列して成り、画素毎に受けた光を電荷に変換して蓄積し、蓄積電荷をアナログ信号として出力する。

アナログ信号処理器23はCCD22の出力信号を2重相関サンプリングし自動ゲイン処理を行う。
ADコンバータ24は、アナログ信号処理器23から入力されるアナログ信号をデジタル信号に変換を行う。
AWB処理器25は、後述のAWB設定値算出器29で算出したAWB設定値を用いてAWB処理を行う。

平均値算出器26はAWB処理器25からの出力信号のRGB各色成分に対して、画素平均値を求める。
フリッカ判別器27は平均値算出器26から出力される１フレームの画素平均値を参照し、フリッカ発生の判別を行い、フリッカ発生時には平均化処理器28およびフリッカ補正器30に対してフリッカ発生通知を、フリッカ未発生時にはフリッカ未発生通知を行う。

フリッカ補正器30は、フリッカ判別器27より、フリッカ発生通知があった場合には平均値算出器26から出力される画素平均値を参照し、フリッカ補正処理を行う。また、フリッカ未発生通知があった場合には、バイパス処理を行う。

平均化処理器28はフリッカ判別器27より、フリッカ発生通知があった場合には平均値算出器26にて算出されるRGB各色成分の画素値の平均値に対して、フリッカ1周期のフレーム数を1単位とした平均化処理を行いフリッカ周期画素平均値を算出し、フリッカ未発生通知があった場合には、バイパス処理を行う。

平均化処理器28では、以下の式にて平均化処理が行われる。FR(n)はR成分に対するnフレーム番目の画素平均値、FR_AVE(n)はR成分に対する平均化処理結果、FG(n)はG成分に対するnフレーム番目の画素平均値、FG_AVE(n)はG成分に対する平均化処理結果、FB(n)はB成分に対するnフレーム番目の画素平均値、FB_AVE(n)はB成分に対する平均化処理結果、kは平均化処理を行うフレーム数である。ただし、kはフリッカ1周期のフレーム数に対して、定数倍したフレーム数である。
FR_AVE(n)＝(FR(n)＋FR(n-1)＋FR(n-2)＋…＋FR(n-k-1))÷k ‥‥ 式２
FG_AVE(n)＝(FG(n)＋FG(n-1)＋FG(n-2)＋…＋FG(n-k-1))÷k ‥‥ 式３
FB_AVE(n)＝(FB(n)＋FB(n-1)＋FB(n-2)＋…＋FB(n-k-1))÷k ‥‥ 式４

図２のAE処理の場合と同様に、AWB処理は、RGB各色成分の画素値に対して、目標レベルよりも画素平均値が大きい場合は、次のフレームの画素値を小さくしようとする処理、目標レベルよりも画素平均値が小さい場合は、次のフレームの画素値を大きくしようとする処理を行う。つまり、フレーム毎に前のフレームの画素値を参照してAWB処理が行われることで、フリッカ周期毎の画素平均値を一定に保持することができなくなる。

フリッカ1周期を1単位とした場合、フリッカ1周期の画素平均値を平均したものは常に一定値となり、平均した画素平均値に対してAWB処理が行われれば、AWB処理による影響を抑止することができる。
AWB設定値算出器29は平均化処理器28から入力される画素値の平均値に対して、AWB設定値を算出する。

この発明を実施するための実施の形態２のように、フリッカ1周期を1単位としたAWB処理を行うことで、AWB処理によるフリッカの規則性低下を防止し、フリッカ補正処理機能に対して、できるだけ理想値に近い入力データを提供し、フリッカ補正性能を向上させることが可能である。

実施の形態３．
図５はこの発明を実施するための実施の形態３である撮像装置を示す構成図である。
図５おいて、31は撮像レンズ、32は光電変換素子であるCCD、33はアナログ信号処理器（CDS/AGC）、34はADコンバータ、35はデジタル信号増幅器、36は平均値算出器、37はAWB係数除算器、38はフリッカ補正器、39はAWB係数算出器である。

次に動作について説明する。
まず撮像レンズ31は撮影対象からの光をCCD32の受光面に結像させる。
CCD32は赤(R)、緑(G)、青(B)の光にそれぞれ感応する3種の画素を交互にマトリクス状に数十万個配列して成り、画素毎に受けた光を電荷に変換して蓄積し、蓄積電荷をアナログ信号として出力する。

アナログ信号処理器33はCCD32の出力信号を2重相関サンプリングし自動ゲイン処理を行う。
ADコンバータ34は、アナログ信号処理器33から入力されるアナログ信号をデジタル信号に変換を行う。

デジタル信号増幅器35は、後述のAWB係数算出器39で算出したRGB各色成分のAWB設定値(AWB係数)を用いて、RGB各色成分の画素値に対して増幅処理を行う。
デジタル信号増幅器35では、以下の計算式により増幅処理が行われる。R'/G'/B'はRGB各色成分の出力画素値、KR/KG/KBはAWB係数算出器39にて算出されるRGB各色成分の画素値に対するAWB係数、R/G/BはRGB各色成分の入力画素値を示す。
R' = KR × R ‥‥‥ 式５
G' = KG × G ‥‥‥ 式６
B' = KB × B ‥‥‥ 式７

平均値算出器36は、デジタル信号増幅器35からの出力信号のRGB各色成分１フレームに対して、画素値の平均値を求める。
AWB係数除算器37は、平均値算出器36にて算出された画素値の平均値に対して、AWB係数算出器39にて算出されたAWB係数を除算する。

平均値算出器36にて算出された画素平均値に対して、KR/KG/KBを用いて除算を行えば、AWB処理に影響されない画素平均値を取得できることがわかる。よって、AWB係数除算器37では、以下の計算式により、除算処理が行われる。このとき、FR'/FG'/FB'は出力データ、FR/FG/FBは平均値算出器36にて算出されるRGB各色成分の画素平均値、KR/KG/KBはAWB係数算出器39にて算出されるRGB各色成分の画素値に対するAWB係数を示す。
FR' = FR ÷ KR ‥‥‥ 式８
FG' = FG ÷ KG ‥‥‥ 式９
FB' = FB ÷ KB ‥‥‥ 式１０

フリッカ補正器38は、デジタル信号増幅器35からの出力信号をAWB係数除算器37からの出力データを参照し、フリッカ補正処理を行う。
AWB係数算出器39は平均化処理器36から入力される画素値の平均値に対して、AWB係数を算出する。

この発明を実施するための実施の形態３のように、平均値算出器36によって算出されたRGB画素平均値に対して、AWB係数除算器37にてAWB係数を除算することで、AWB処理に影響されない画素平均値を取得することが可能であり、AWB処理に影響されない画素平均値を参照して、デジタル信号増幅器35からの出力信号のフリッカ補正処理を行う。したがって、AWB処理よるフリッカの規則性低下を防止し、フリッカ補正処理機能に対して、できるだけ理想値に近い入力データを提供し、フリッカ補正性能を向上させることが可能である。

この発明は、デジタルビデオカメラやデジタルスチルカメラ、携帯端末、携帯電話機に適用され、これらの機器を蛍光灯の下で撮影する際に、フリッカ補正処理機能に対して、できるだけ理想値に近い入力データを提供し、フリッカ補正性能を向上させることが可能である。

この発明の実施の形態１における撮像装置を示す構成図である。フリッカ発生時におけるフレーム毎の画素平均値の変動と変動に伴うAE処理動作の機略図である。平均化処理器による平均化処理を行う場合の機略図である。実施の形態２における撮像装置を示す構成図である。実施の形態３における撮像装置を示す構成図である。

符号の説明

11、21、31：撮像レンズ、12、22、32：光電変換素子であるCCD、13、23、33：アナログ信号処理器（CDS/AGC）、14、24、34：ADコンバータ、15、26、36：平均値算出器、16、27：フリッカ判別器、17、28：平均化処理器、18：AE設定値算出器、19、30、38：フリッカ補正器、25はAWB処理器、29：AWB設定値算出器、35：デジタル信号増幅器、37：AWB係数除算器、39：AWB係数算出器。

Claims

撮像素子にCCDを用いる撮像装置において、
CCDが出力し、デジタル処理された映像信号を増幅するデジタル信号増幅器と、デジタル信号増幅器の出力からフレーム毎の映像を構成する各種色成分の画素値の平均値である画素平均値を算出する平均値算出器と、平均値算出器の画素平均値からAWB係数を算出するAWB係数算出器と、AWB係数を算出した画素平均値に対してAWB係数で除算を行うAWB係数除算器と、AWB係数除算器の出力を参照してデジタル信号増幅器の出力に対し、フリッカ補正処理を行うフリッカ補正器を備え、デジタル信号増幅器はAWB係数算出器のAWB係数を用いて増幅する撮像装置。