JP3607356B2

JP3607356B2 - 撮像装置

Info

Publication number: JP3607356B2
Application number: JP11485295A
Authority: JP
Inventors: 敦寛大野; 健治伊藤; 知行倉重; 靖都木; 浩幸垂水
Original assignee: Hitachi Ltd; Hitachi Advanced Digital Inc
Current assignee: Hitachi Ltd; Hitachi Advanced Digital Inc
Priority date: 1995-05-12
Filing date: 1995-05-12
Publication date: 2005-01-05
Anticipated expiration: 2020-01-05
Also published as: JPH08307883A

Description

【０００１】
【産業上の利用分野】
本発明は、撮像装置に係り、特に、蛍光灯照明下での撮像の際に発生する色フリッカの問題を軽減させた撮像装置に関する。
【０００２】
【従来の技術】
様々な色温度を持つ光源下での安定した色再生を行うために、撮像装置にはホワイトバランス処理が必須である。特に家庭用ムービーをはじめとする家庭用カメラや小型監視カメラには、映像信号中の色温度情報を抽出し、抽出された色温度情報に基づいて、色あるいは色差信号利得を自動的に更新するオートホワイトバランス制御回路ないし制御装置が一般的に設けられており、この一般的な構成については、たとえば特開平３−７９１９０号公報（名称「ホワイトバランス補正装置」）等に開示されている。
【０００３】
【発明が解決しようとする課題】
ここで、上記従来例をはじめとするオートホワイトバランス制御での問題点として、蛍光灯照明下での色再生があげられる。
【０００４】
本問題点には、数フィールド周期での短周期色フリッカの問題と、数秒から数十秒周期での長周期色フリッカの問題の２つがある。
【０００５】
まず、上記短周期色フリッカの現象と、その内容について、図９を用いて説明する。図９の（Ａ）は垂直同期パルスであり、ＴＡ，ＴＢ，ＴＣは１垂直期間（１フィールド時間）であり、本図ではＮＴＳＣ規格である６０Ｈｚで示している。撮像素子からは原則的に、各フィールド時間に蓄積された信号電荷が次のフィールドに読み出され、信号処理回路で映像信号に加工される。
【０００６】
一方、図９の（Ｂ）は、５０Ｈｚの商用電源により点灯している蛍光灯管の両端電圧の絶対値の時間変化を示すグラフであり、蛍光灯は原則的に本曲線に従って明滅している。
【０００７】
しかし、ここにおいて同蛍光灯の光の色成分を、たとえばＲ，Ｇ，Ｂに分解してみると、各々の残光特性の差異から、時間的に色合いが変化する。たとえば一般的な希土類白色蛍光管の場合、Ｇ，Ｂに対してＲの残光特性が長いため、図９の（Ｂ）の曲線の立ち上がり部分では、相対的に青っぽい色合いとなり、同曲線の立ち下がりの部分では、赤っぽい色合いとなる。
【０００８】
ところで撮像装置においては、露光制御も上記したホワイトバランス制御と同様に重要な制御項目であるが、この露光制御手段としては、開口量を制御する絞りと、露出時間を制御するシャッタの２つがあり、さらにシャッタには、メカニカルシャッタと撮像素子の電荷蓄積時間を電気的に制御する電子シャッタの２つが知られている。しかし、メカニカルシャッタは構造的，耐久度的に高速な連続動作に不向きであるため、動画撮像を目的とした撮像装置では、絞りと電子シャッタの組み合わせ、ないし電子シャッタのみでの露光制御手段を採用している場合がほとんどである。
【０００９】
この電子シャッタが高速に動作した場合、各映像フィールドでの電荷蓄積時間は、図９の（Ｃ）のＳＡ，ＳＢ，ＳＣのような期間となる。この結果、各フィールドでの映像信号の色合い（Ｒ，Ｇ，Ｂ成分の比率）は、映像フィールド周波数（６０Ｈｚ）と電源周波数の２倍（１００Ｈｚ）の最大公約数（２０Ｈｚ）の周波数、すなわち３フィールド周期で変化し、この変化の大きさはシャッタスピードが高速になるほど大きくなり、撮像装置の再生映像が色フリッカを生じる。これが上記した短周期色フリッカである。
【００１０】
また、長周期色フリッカは、下記の２つの原因で発生する。
１）電源周波数としては世界的に、５０Ｈｚと６０Ｈｚの地域がほとんどであるが、時間的にコンマ数％の周波数変動を持つ場合が多い。
２）ＮＴＳＣの正確なフィールド周波数は、正確には５９．９４…Ｈｚである。
【００１１】
すなわち、上記短周期色フリッカの説明から明らかであるが、色フリッカの問題は、蛍光灯点滅周波数すなわち電源周波数と、映像フィールド周波数が正確に等しいか、正数倍の関係になっていれば発生しない。しかし上記２つの理由により、特にＮＴＳＣカメラを電源周波数６０Ｈｚの地域で使用した場合に、電源周波数と映像フィールド周波数のわずかな周波数の差違により、数秒から数十秒周期の長周期色フリッカを生じる。これは、図９の各映像フィールドの時間的位相に対して、蛍光灯明滅波形の位相がゆっくり変化するためだといってもよい。このことから発生する長周期のフリッカもまた、シャッタスピードが高速になるほど重大となる。
【００１２】
しかしながら、前記先願公報に開示された従来技術をはじめとする従来のホワイトバランス制御装置は、上記の問題点に対して有効な考慮がなされていなかった。
【００１３】
本発明は上記の点に鑑みなされたもので、その目的とするところは、蛍光灯照明下での撮像の際に発生する色フリッカ等の問題を軽減させた撮像装置を提供することにある。
【００１４】
【課題を解決するための手段】
まず、短周期色フリッカを対策，改善するには、以下の手段が考えられる。 ▲１▼映像フィールド周波数と電源周波数の２倍周波数との最大公約数である周波数の１サイクルとほぼ等しい時間の連続フィールドにわたり、色温度情報を各映像フィールドごとに独立に抽出し、ある映像フィールドに対する色あるいは色差信号利得の更新を、上記最大公約数である周波数の１サイクル前の映像フィールドで抽出された色温度情報に基づいて行う。
▲２▼映像フィールド周波数と電源周波数の２倍周波数との最大公約数である周波数の１サイクルとほぼ等しい時間の連続フィールドにわたり、各映像フィールドでの色あるいは色差信号利得の更新命令情報を独立に格納する手段を設け、実際の色あるいは色差信号利得の更新を、上記最大公約数周波数の１サイクル後に行う。
【００１５】
また、長周期色フリッカを対策，改善するには、以下の手段が考えられる。
▲３▼ホワイトバランス制御の応答速度を上げる。
▲４▼現在の色温度情報と、過去の色温度情報の差異による設定される、色あるいは色差信号利得の利得更新制御を行うか否かの閾値により定まる制御感度を高くして、わずかの色温度情報の変化に応答するようにする。
【００１６】
【作用】
上記手段▲１▼，▲２▼では、１フリッカ周期の中で、それぞれの映像フィールドの色ないし色差信号利得制御を、対象となる映像フィールドと原理的にもっとも色情報が似通った映像フィールドでの検出結果に基づいて行うため、短周期色フリッカを対策，改善できる。
【００１７】
上記手段▲３▼では、ホワイトバランス処理の応答スピードが色フリッカによる色の遷移スピードを上回れば、色フリッカによる色遷移をホワイトバランス処理が相殺するので、長周期色フリッカを対策，改善できる。
【００１８】
また、上記手段▲４▼では、ホワイトバランス制御の安定化をはかるために設定している閾値によって、長周期色フリッカによる色温度情報の変化がホワイトバランス処理から無視される事を防止するので、色フリッカによる色遷移をホワイトバランス処理が相殺できる。
【００１９】
【実施例】
以下、本発明の詳細を図示した各実施例によって説明する。
【００２０】
〈第１実施例〉
まず、本発明の第１実施例を、図１，図２，図３を用いて説明する。本実施例では、ＮＴＳＣ撮像装置（映像フィールド周波数略６０Ｈｚ）を５０Ｈｚの電源周波数地域で使用した場合を例にとって、このときに発生する３フィールド周期の短周期色フリッカを軽減する例について説明する。
【００２１】
図１は本実施例の撮像装置の構成を示すものである。撮像素子（ＣＣＤ）１０１で光電変換された映像信号は、Ａ／Ｄ変換器１０２でディジタルデータ化され、色／輝度分離回路１０３で輝度信号と色信号に分離されて、輝度処理回路１０４と色処理回路１０５に入力される。色処理回路１０５では、色マトリクス１０６でＲ，Ｇ，Ｂ信号が生成され、それぞれは利得可変アンプ１０７を介して出力され、エンコーダ／ミキサ１０８で、輝度，色信号がミキシング，エンコーディングされて、ビデオ信号が生成される。
【００２２】
ここで上記Ｒ，Ｇ，Ｂ信号は、上記利得可変アンプ１０７の出力段階で分岐され、色温度情報抽出回路１０９に入力される。色温度情報抽出回路１０９からは、Ｒ，Ｇ，Ｂ信号の組成，絶対量など色温度の計算に必要な情報が、マイコン１１３に出力される。マイコン１１３内には、本色温度情報を格納する色温度情報格納器（メモリ）１１０が複数フィールド分設けられており、色温度情報格納器１１０中のｃには、１フィールド前の色温度情報が、同じくｂには、２フィールド前の色温度情報が、同じくａには、３フィールド前の色温度情報が、それぞれ格納される。本実施例では、利得制御量計算器１１１に３フィールド前の色温度情報を入力し、これを元にＲＧＢ利得制御回路１１２を介して、Ｒ，Ｇ，Ｂ利得を制御する。
【００２３】
ここで利得制御する現在の映像フィールドと、３フィールド前の映像フィールドとは、前記した短周期色フリッカにおいての同位相関係にあるため、常に適切な制御量を与えることができ、短周期色フリッカを軽減することが出来る。
【００２４】
図２は、本実施例の効果を時間軸に模式的に表したものである。図２中のａ，ｂ，ｃ，ｄ，……は、映像フィールドであり、ホワイトバランス制御前の色信号組成は、２０１のようにａ，ｄフィールドが適正量からＲ（赤）方向に遷移しており、ｃ，ｆフィールドが適正量からＢ（青）方向に遷移しているものとする。
【００２５】
ここで、本実施例でのホワイトバランス制御では、フィードバック型の微分制御をおこない、利得可変アンプ２０２での制御結果がＲ（赤）方向に遷移していれば、あらかじめ定められた一定量だけ制御利得をＢ方向にシフトさせ、Ｂ（青）方向に遷移していれば、同じく一定量だけＲ方向にシフトさせる。本図ではこの制御を、記号“Ｒ”，“Ｂ”で示す。
【００２６】
各映像フィールドでの利得可変アンプ２０２は、短周期色フリッカにおいての同位相関係にある３フィールド以前の制御結果に基づいて制御されるため、図２の２０３に示すように、制御後の色相を収束に向かわせることが可能である。
【００２７】
これに対し、たとえば従来のホワイトバランス制御がそうであったように、直前のフィールドの制御結果に基づいての制御を続ける場合の制御例を図３に示す。この場合、たとえば、ｅフィールドでの色相は適正位置にあるのに、ｄフィールドがＲ方向に色相遷移しているためにＢ方向へさらに遷移させる事になり、この結果、問題とする短周期色フリッカを軽減させることが出来ない。
【００２８】
以上のように本実施例によれば、映像フィールド周波数と蛍光灯点滅周波数の差違によって生じる短周期色フリッカを軽減させて、良好なホワイトバランス制御を実現することが出来る。
【００２９】
なお、本実施例では、図１の色温度情報格納器１１０に、各映像フィールドでの色温度情報をそのまま格納し、３フィールド前の色温度情報に基づいて制御量を計算して、この計算結果から利得可変アンプ１０７を制御するものとしたが、各映像フィールドであらかじめ利得可変アンプの制御量を計算し、この各フィールドで計算された制御量の計算結果を連続３フィールド分格納しておき、３フィールド前の計算結果に従って利得制御しても、同様の効果が得られる。
【００３０】
〈第２実施例〉
次に、本発明の第２実施例を、図４，図５，図６を用いて説明する。本実施例でも、上述した第１実施例と同様に、ＮＴＳＣ撮像装置（映像フィールド周波数略６０Ｈｚ）を５０Ｈｚの電源周波数地域で使用したときに発生する３フィールド周期の短周期色フリッカを軽減する例について説明する。
【００３１】
図４は本実施例の撮像装置の構成を示すものであり、各部の構成は、図１と同じで、例えば色マトリクス４０６は、図１での色マトリクス１０６と同様のものである。
【００３２】
本実施例では、色温度情報の検出は、利得可変アンプ４０７に入力される以前のＲ，Ｇ，Ｂ信号からおこない、フィードフォワード型の制御方法を用いる。
【００３３】
本実施例においても、ホワイトバランス制御は、利得制御量計算器４１１に３フィールド前の色温度情報を入力し、これを元にＲＧＢ利得制御回路１１２を介して、Ｒ，Ｇ，Ｂ利得を制御する。
【００３４】
ここで、利得制御する現在の映像フィールドと、３フィールド前の映像フィールドとは、前記した短周期色フリッカにおいての同位相関係にあるため、常に適切な制御量を与えることができ、短周期色フリッカを軽減することが出来る。
【００３５】
図５は、本実施例の効果を時間軸に模式的に表したものである。図５中のａ，ｂ，ｃ，ｄ，……は、映像フィールドであり、ホワイトバランス制御前の色信号組成は、５０１のようにａ，ｄフィールドが適正量からＲ（赤）方向に遷移しており、ｃ，ｆフィールドが適正量からＢ（青）方向に遷移しているものとする。
【００３６】
ここで、本実施例でのホワイトバランス制御では、フィードフォワード型の積分制御をおこない、各映像フィールドでの色信号組成の適正値からの遷移量を求めて、遷移量から可変利得アンプ５０２の次の制御量を決定する。本図ではこの制御を、記号“＞１”，“＜１”で示す。
【００３７】
各映像フィールドでの利得可変アンプ５０２は、短周期色フリッカにおいての同位相関係にある３フィールド以前の制御結果に基づいて制御されるため、図５の５０３に示すように、制御後の短周期色フリッカを軽減させることが可能である。
【００３８】
これに対し、たとえば従来のホワイトバランス制御がそうであったように、直前のフィールドの色温度情報に基づいての制御を続ける場合の制御例を図６に示す。この場合、たとえば、ｅフィールドでの色相が適正位置にあるため、ｅフィールドでの利得制御更新がおこなわれない。この結果、問題とする短周期色フリッカを軽減させることが出来ない。
【００３９】
以上のように本実施例によれば、映像フィールド周波数と蛍光灯点滅周波数の差違によって生じる短周期色フリッカを軽減させて、良好なホワイトバランス制御を実現することが出来る。
【００４０】
また、本実施例でも前記第１実施例と同様に、連続３フィールド分格納するのは、色温度情報でも、可変利得アンプの制御情報でも得られる効果は同様である。
【００４１】
〈第３実施例〉
次に、本発明の第３実施例を、図７，図８を用いて説明する。本実施例では、前記した長周期色フリッカを軽減させた撮像装置について記述する。前記したように、長周期色フリッカを対策，改善するには、ホワイトバランス制御の応答速度、あるいは制御感度を上げることが、もっとも効果的である。
【００４２】
しかしながら、ただ単にホワイトバランス制御の応答速度や制御感度を上げると応答が過敏になり、たとえば有彩色の服を着た人物が画面を横切っただけで被写体の色温度が変わったものと誤認式して、ホワイトバランス制御が応答してしまうなどの不具合が生じる危険性が高くなる。
【００４３】
すなわち、長周期色フリッカの抑圧のみを考えるなら、ホワイトバランス制御の応答速度は早いほど望ましいが、たとえば自然光下での撮像は、比較的緩慢な応答速度に設定した方が望ましい場合が多い。
【００４４】
また、現在の色温度情報と、過去の色温度情報の差異による設定する、色あるいは色差信号利得の更新制御を行うか否かの閾値は、通常有る程度大きくとって、わずかな色温度情報の変化には利得を更新しないほうが再生画の色再生の安定度が高くなるが、長周期色フリッカの抑圧のみを考えるならこの閾値は小さくとどめておくべきである。
【００４５】
そこで本実施例では、図７に示すように、撮像装置に、絞り値検出器７１１，赤外線検出器７１０，走査回路７１２からの電子シャッタスピード情報パスなどを設け、これらから得られる情報と、ホワイトバランス制御の制御結果から算出される色温度情報７１３などから、撮影環境判定器７０９において撮像環境を推定して、蛍光灯照明である確度が高い場合に、ホワイトバランス制御の応答速度を高速化し、または、色あるいは色差信号利得の更新制御を行うか否かの閾値を小さくして、制御感度を高くする。
【００４６】
なお、図７では７０７はマイコンを示しており、ホワイトバランス処理回路７０８，撮像環境判定器７０９の部位は、ソフトウェア上で実現したものである。
【００４７】
蛍光灯照明である確度の計算には、たとえば以下のような条件を用いる。
１）通常の蛍光灯照明の平均的色温度は、ほぼ４０００ｋ（ケルビン）から６０００ｋ程度である。
２）通常の蛍光灯照明下の被写体照度は、ほぼ４００ｌｘ（ルクス）から３０００ｌｘ程度である。
３）通常の蛍光灯照明下で検出される赤外線量は、太陽光などの自然光に比べて少ない。
【００４８】
ここで、平均的色温度はホワイトバランス制御の制御結果から算出され、被写体照度は絞り値と電子シャッタスピードから算出され、赤外線量は赤外線検出器から検出される。
【００４９】
本実施例では、これらの情報から、蛍光灯照明である確度に応じて、ホワイトバランス制御の応答速度、および／または、色あるいは色差信号利得の更新制御を行うか否かの閾値から定まる制御感度を、たとえば図８の変化曲線のように変化させる。
【００５０】
ここで、特にホワイトバランス制御の応答速度を変化させるためには、
１）色温度情報の抽出周期、
２）色あるいは色差信号利得の更新周期、
３）色あるいは色差信号利得の１回の利得更新制御での利得更新量の最大値、
などを変化させればよい。
【００５１】
このように本実施例においては、蛍光灯照明下での撮像である確度が高い場合にホワイトバランス処理の応答スピードや、制御感度を高くするので、ホワイトバランス制御の安定化を達成しながら、長周期色フリッカを対策，改善することができる。
【００５２】
〈第４実施例〉
次に、本発明の第４実施例について説明する。本実施例では、図１から図６を用いて説明した第１，第２実施例の撮像装置によって検出された短周期色フリッカの存在により、蛍光灯照明下の撮像であるか否かを判断し、これにより蛍光灯照明であると判定された場合に、図７，図８を用いて説明した第３実施例と同様に、制御速度、あるいは制御感度を高くする。
【００５３】
またこの場合、短周期色フリッカの発生量に応じて制御速度、あるいは制御感度を連続的に変化させてもよい。
【００５４】
本実施例においても、ホワイトバランス制御の安定化を達成しながら、長周期色フリッカを対策，改善することができる。
【００５５】
【発明の効果】
本発明による撮像装置によれば、蛍光灯照明下での撮像である確度が高い場合に、ホワイトバランス処理の応答速度や、制御感度を高くするので、長周期色フリッカによる色遷移を相殺できる。また、蛍光灯照明であるかどうかの判定に、複数の情報を用いることで、判定の確度を高めることができる。さらに、蛍光灯照明下での撮像である確度（判定の確からしさの程度）に応じて、上記のホワイトバランス処理の応答速度や制御感度の制御特性を連続的に可変させるので、急激な特性変化を生じさせることがなく、制御の安定化が図れる。
【図面の簡単な説明】
【図１】本発明の第１実施例に係る撮像装置の要部構成を示すブロック図である。
【図２】本発明の第１実施例によるホワイトバランス制御の動作を示す説明図である。
【図３】本発明の第１実施例と対比するための、従来のホワイトバランス制御の動作を示す説明図である。
【図４】本発明の第２実施例に係る撮像装置の要部構成を示すブロック図である。
【図５】本発明の第２実施例によるホワイトバランス制御の動作を示す説明図である。
【図６】本発明の第２実施例と対比するための、従来のホワイトバランス制御の動作を示す説明図である。
【図７】本発明の第３実施例に係る撮像装置の要部構成を示すブロック図である。
【図８】本発明の第３実施例によるホワイトバランス制御の動作を示す説明図である。
【図９】蛍光灯照明下での色フリッカを示す説明図である。
【符号の説明】
１０１撮像素子（ＣＣＤ）
１０２Ａ／Ｄ変換器
１０３色／輝度分離回路
１０４輝度処理回路
１０５色処理回路
１０６色マトリクス
１０７利得可変アンプ
１０８エンコーダ／ミキサ
１０９色温度情報抽出回路
１１０色温度情報格納器
１１１利得制御量計算器
１１２ＲＧＢ利得制御回路
１１３マイコン

Claims

光電変換により映像信号を生成する撮像素子と、該映像信号の色温度情報に基づいて、色あるいは色差信号利得を自動的に制御するホワイトバランス処理手段と、撮影環境を判定する撮影環境判定手段とを有する撮像装置において、
前記撮影環境判定手段は、ホワイトバランスの制御結果から算出される色温度情報と、絞り値およびシャッタスピードから算出される被写体照度情報と、赤外線検出手段の検出結果に基づく赤外線量情報のうちの、２つ以上を用いて撮影環境を判定し、
前記撮影環境判定手段によって、蛍光灯照明である確度が高いと判断された場合には、前記ホワイトバランス処理手段によるホワイトバランス制御の応答速度を上げるようにしたことを特徴とする撮像装置。
請求項１に記載の撮像装置において、
前記撮影環境判定手段による判定に基づく蛍光灯照明であるかどうかの確度に応じて、前記ホワイトバランス処理手段によるホワイトバランス制御の応答速度の制御特性を連続的に可変して、蛍光灯照明である確度が高いほど、前記ホワイトバランス制御の応答速度を上げるようにしたことを特徴とする撮像装置。
光電変換により映像信号を生成する撮像素子と、該映像信号の色温度情報に基づいて、色あるいは色差信号利得を自動的に制御するホワイトバランス処理手段と、撮影環境を判定する撮影環境判定手段とを有する撮像装置において、
前記撮影環境判定手段は、ホワイトバランスの制御結果から算出される色温度情報と、絞り値およびシャッタスピードから算出される被写体照度情報と、赤外線検出手段の検出結果に基づく赤外線量情報のうちの、２つ以上を用いて撮影環境を判定し、
前記撮影環境判定手段によって、蛍光灯照明である確度が高いと判断された場合には、前記ホワイトバランス処理手段における色あるいは色差信号利得の更新制御を行うか否かの閾値を小さくするようにしたことを特徴とする撮像装置。
請求項３に記載の撮像装置において、
前記撮影環境判定手段による判定に基づく蛍光灯照明であるかどうかの確度に応じて、前記ホワイトバランス処理手段における色あるいは色差信号利得の更新制御を行うか否かの閾値から定まる制御感度の特性を連続的に可変して、蛍光灯照明である確度が高いほど、前記制御感度を高めるようにしたことを特徴とする撮像装置。