JP4439767B2

JP4439767B2 - 撮像装置およびホワイトバランスの調整方法およびその動作処理プログラム

Info

Publication number: JP4439767B2
Application number: JP2001242014A
Authority: JP
Inventors: 智中山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2001-08-09
Filing date: 2001-08-09
Publication date: 2010-03-24
Anticipated expiration: 2021-08-09
Also published as: JP2003061102A; CN1402530A; CN1179577C; US20030030730A1; US7453500B2

Description

【０００１】
【発明の属する技術分野】
本発明は、閃光発光装置などの照明装置を有する撮像装置に関するものである。
【０００２】
【従来の技術】
撮像装置では、照度の低い被写体を撮影する場合や、逆光状態の被写体を撮影する場合に閃光装置を用いることが必要不可欠である。
【０００３】
そして、被写体の色温度に応じてホワイトバランスの調整が行われているが、閃光装置を用いた撮影では被写体の色温度とストロボの色温度それぞれを考慮して決定しなければならない。この手法のひとつとして、被写体の照度と閃光装置の発光量の影響度とに基づいて、ホワイトバランス制御値が算出されている。
【０００４】
しかしながら、図６のホワイトバランスの制御特性を表わすグラフを見ると理解されるように、被写体の照度と閃光装置の発光量の影響度に基づいて、照明を行う前の被写体の色温度に対するホワイトバランスの制御値と閃光装置の発光量に基づく色温度に対するホワイトバランスの制御値との比率で実際に制御すべきホワイトバランスの制御値を単純に算出してしまうと、太線で示される黒体放射特性から算出されたホワイトバランス制御値が外れてしまうものとなる。
【０００５】
その結果、このように算出されたホワイトバランス制御値に基づいて調整を行ってしまうと、画像がマゼンタよりに色味を帯びてしまうことになる。
【０００６】
【発明が解決しようとする課題】
しかしながら、図６のＲ信号、Ｂ信号に対するホワイトバランスの制御特性を表わすグラフを見ると理解されるように、被写体の照度と閃光装置の発光量の影響度に基づいて、照明を行う前の被写体の色温度に対するホワイトバランスの制御値と閃光装置の発光量に基づく色温度に対するホワイトバランスの制御値との比率で実際に制御すべきホワイトバランスの制御値を単純に算出してしまうと、太線で示される黒体放射特性から算出されたホワイトバランス制御値が外れてしまうものとなる。
【０００７】
その結果、このように算出されたホワイトバランス制御値に基づいて調整を行ってしまうと、画像がマゼンタよりに色味を帯びてしまうことになる。
【０００８】
本願発明は、上述した課題を解決すべく、閃光装置を用いた場合、ホワイトバランス調整がさらに向上した撮像装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために本発明は、被写体を照明する照明手段の発光量と前記照明手段によって照明される前の被写体の照度に基づいて、撮像手段から出力される画像信号に含まれる第１の色成分の信号の利得を制御するための第１の利得制御値を取得し、前記第１の利得制御値を黒体放射特性に基づく関数に適応して前記画像信号に含まれる前記第１の色成分と異なる第２の色成分の信号の利得を制御するための第２の利得制御値を取得し、前記第１の利得制御値に基づいて、前記第１の色成分の信号の利得を制御し、前記第２の利得制御値に基づいて、前記第２の色成分の信号の利得を制御することによって、ホワイトバランスを調整する制御手段を有することを特徴とする撮像装置を提供する。
【００１０】
また、被写体を照明する照明手段の発光量と前記照明手段によって照明される前の被写体の照度に基づいて、撮像手段から出力される画像信号に含まれる第１の色成分の信号の利得を制御するための第１の利得制御値を取得し、前記第１の利得制御値を黒体放射特性に基づく関数に適応して前記画像信号に含まれる前記第１の色成分と異なる第２の色成分の信号の利得を制御するための第２の利得制御値を取得し、前記第１の利得制御値に基づいて、前記第１の色成分の信号の利得を制御し、前記第２の利得制御値に基づいて、前記第２の色成分の信号の利得を制御することによって、ホワイトバランスを調整することを特徴とするホワイトバランスの調整方法を提供する。
【００１２】
【発明の実施の形態】
以下、添付の図面に沿って本発明の実施の形態を説明する。
【００１３】
図２は、本実施の形態における撮像装置のブロック図である。
【００１４】
図２において、レンズ光学系２０１は、焦点レンズおよびズームレンズを有する。また、光学絞り２０２は、被写体光の入射を抑制する。撮像素子２０３は、ＣＣＤなどによって構成され、レンズ光学系２０１および光学絞り２０２を介して入射した被写体光を電気的な画像信号に変換する。
【００１５】
輝度信号生成回路２０４は、撮像素子２０３によって得られた画像信号から輝度信号を生成する。輝度信号処理回路２０５は、輝度信号生成回路２０４において生成された輝度信号に対してγ補正あるいは輪郭強調処理を行う。
【００１６】
色分離回路２０６は、撮像素子２０３によって得られた画像信号からＲＧＢ３色の色信号をそれぞれ生成する。ホワイトバランスアンプ２０７ｒは、Ｒ信号の利得を変更し、ホワイトバランスアンプ２０７ｂは、Ｂ信号の利得を変更する。これらホワイトバランスアンプ２０７ｒ，２０７ｂによりホワイトバランスを調整する。色差マトリクス回路２０８は、ホワイトバランスアンプ２０７によって調整されたＲＢ信号、さらにはＧ信号から色差信号Ｒ−Ｙ、Ｂ−Ｙを生成する。リニアマトリクス回路２０９は色差信号Ｒ−Ｙ、Ｂ−Ｙの色相を調整する。色差利得回路２１０は色差信号Ｒ−Ｙ、Ｂ−Ｙの夫々の利得を制御し色飽和度を調整する。
【００１７】
エンコーダ回路２１１は、輝度信号と色差信号からビデオ信号を生成する。また、ホワイトバランス制御回路２１２は、色差利得回路２１０から出力された色差信号に基づいて、被写体の色温度情報を取得する。さらに、閃光装置２１３の発光タイミングおよび発光量に関する情報を取得する。そして、ホワイトバランス制御回路２１２は、これらの情報に基づいてホワイトバランスアンプ２０７ｒ，２０７ｂを制御することによりホワイトバランスを調整する。閃光装置２１３は、閃光装置制御回路２１４の制御に基づいて被写体を照明する。閃光装置制御回路２１４は、輝度信号生成回路２０４において生成された輝度信号に基づいて被写体の照度を検出し、さらに不図示の被写体距離を検出する検出回路から被写体距離を検出し、その検出された被写体の照度および被写体距離に基づいて閃光装置２１３の発光量を制御する。
【００１８】
図１は、本実施の形態の撮像装置において、閃光装置２１３を用いて静止画像を撮影したときのホワイトバランス調整を実行するためのフローチャートである。また、図３は、本実施の形態において、実際にホワイトバランス調整する利得制御値を算出する過程を説明するためのＲ信号およびＢ信号に対する利得制御値の相関図である。
【００１９】
まず、ステップＳ１０１において、撮影者により不図示の操作部材を用いて静止画像の撮影の指示が行われる。すると、ステップＳ１０２において、閃光装置制御回路２１４は、輝度信号生成回路２０４から出力された輝度信号に基づいて被写体の照度を検出する。そして、ステップＳ１０３に進み、閃光装置制御回路２１４は、検出された被写体の照度に基づいて、閃光装置２１３において発光すべき発光量を演算する。
【００２０】
ステップＳ１０４において、ホワイトバランス制御回路２１２は、閃光装置制御回路で演算された閃光装置２１３の発光量に関する情報を取得する。そして、閃光装置２１３の発光前において色差利得回路２１０から出力された色差信号に基づいて被写体の色温度情報を取得し、Ｒ，Ｂ各信号の利得制御値Ｐ（ｒ１，ｂ１）を算出する。
【００２１】
ステップＳ１０６において、ステップＳ１０４と同様に、閃光装置２１３の発光量に対応する閃光装置２１３から発光される光の色温度情報を不図示のテーブルから抽出し、Ｒ，Ｂ各信号の利得制御値Ｑ（ｒ２，ｂ２）を算出する。
【００２２】
ステップＳ１０５において、発光前の被写体の照度および閃光装置２１３の発光量とから、被写体の色温度に対して閃光装置２１３から発光される光の色温度の影響度を示すWB比率ｋ（制御すべき利得制御値の割合：０＜ｋ＜１）を算出する。なお、この光の色温度の影響度は、被写体の照度と閃光装置２１３の発光量との関係を予め実験的に求めておき、不図示のテーブルに格納しておくものとする。
【００２３】
ステップＳ１０７において、WB比率ｋと、ステップＳ１０４およびステップＳ１０６において求められたＲ信号およびＢ信号に対する利得制御値のうちいずれか一方の利得制御値に基づいて、実際にホワイトバランス調整するための利得制御値を算出する。例えば、Ｒ信号に対する利得制御値に関して実際にホワイトバランス調整するための利得制御値を算出するとすると、ｒ＝｜ｒ２−ｒ１｜，ｒ´＝｜ｒ２−ｒ０｜として、利得制御値ＱからシフトされるＲ信号の利得制御量ｒ´は、
ｒ：ｒ´＝１：ｋ ▲１▼
であるので、
ｒ´＝ｋ＊ｒ ▲２▼
となり、実際にホワイトバランス調整するためのＲ信号に対する利得制御値ｒ０が算出される。
【００２４】
ステップＳ１０８において、他方の色信号すなわちＢ信号に対する利得制御値ｂ０を求める。ステップＳ１０８では、ステップＳ１０７においてｒ０を求めた演算を用いてｂ０を求めるのではなく、ステップＳ１０７において求められたｒ´を黒体放射近似特性（太線）に対応する関数ｆに適用して求める。すなわち、
ｂ０＝ｆ（ｒ０） ▲３▼
となり、実際にホワイトバランス調整するためのＲ信号に対する利得制御値ｂ０が算出される。なお、本実施の形態において、関数ｆは、利得制御値ｒに対応する黒体放射特性に近似した利得制御値ｂがルックアップテーブルに格納されているものとする。
【００２５】
ステップＳ１０９において、ステップＳ１０７およびステップＳ１０８において求められた利得制御値Ｒ（ｒ０，ｂ０）をホワイトバランスアンプ２０７ｒ，２０７ｂに対して出力する。
【００２６】
ステップS１１０において、閃光装置２１３による発光を用いた静止画像の撮影が行われ、利得制御値Ｒを用いてホワイトバランス調整が行われる。
【００２７】
このように、閃光装置２１３を使用して撮影する場合にＢ信号の利得制御値を黒体放射特性上になるように算出することにより、あらゆるストロボ撮影において最適なホワイトバランスで撮影することが可能になる。（なお、仮にステップＳ１０８において、Ｂ信号の利得制御値をステップＳ１０７に示すＲ信号の利得制御値と同様に求めてしまうと、図３のＲ´となってしまい、ホワイトバランスの調整がマゼンタよりとなってしまう。）
なお、上述した実施の形態では、実際のＲ信号に対する利得制御値をはじめに求めていたが、Ｂ信号に対する利得制御値をはじめに求めてもよい。
【００２８】
また、ステップＳ１０４において算出される利得制御値およびステップＳ１０６において算出される利得制御値は、Ｒ信号またはＢ信号のうちのどちらか一方のみを算出してもよい。
【００２９】
次に、人工照明の下で閃光装置２１３を発光したときのホワイトバランス調整に関する場合を説明する。図１のフローチャートでは、被写体光源の色温度が黒体放射上に位置する場合を説明したが、蛍光灯などの人口照明では自然光と異なる特殊なスペクトルを有し、人工照明下の色温度が黒体放射上にない場合が考えられる。以下、こういった人工光源の下で閃光装置を用いた撮影を行うときのホワイトバランス制御に関して説明する。
【００３０】
図４は、人工照明下で閃光装置を発光したときのホワイトバランス調整の動作処理フローチャートである。また、図５は、人工照明下で閃光装置２１３を発光したときに、実際にホワイトバランス調整する利得制御値を算出する過程を説明するためのＲ信号およびＢ信号に対する利得制御値の相関図である。図４及び図５を用いて人工照明下で閃光装置を発光したときのホワイトバランスの調整動作を説明する。なお、図４において、図１と同じ符号は同様の処理を行うものとしてその説明を省略する。
【００３１】
図５において、利得制御値Ｐは、閃光装置２１３を発光する前の人口照明下の被写体光に基づいて算出されたものであり、太線で示した黒体放射特性から外れた値となっている。ここで、図１のステップＳ１０８において算出された制御値Ｒ（ｒ０，ｂ０）に基づいてホワイトバランス調整を行うと、実際に調整された画像が黄色がかったものとなってしまう。そこで、人口照明下のホワイトバランス調整では、利得制御値Ｐが黒体放射特性から外れた分だけ実際に調整を行うための利得制御値Ｒを補正する処理を行う。なお、利得制御値Ｐが黒体放射特性から外れた値であるかどうかの判断は、ステップＳ１０２において利得制御値Ｐが得られたときに利得制御値Ｐが黒体放射特性の関数ｆ上にあるかどうかで判断を行う。
【００３２】
ステップＳ１０８ａにおいて、利得制御値ＰのＢ信号に対する利得制御値の成分ｂ１の黒体放射特性からのずれ量をｂ（ｄｉｆｆ）として、補正すべき量ｂ（ｄｉｆｆ）´は、
ｂ（ｄｉｆｆ）´＝ｋ＊ｂ（ｄｉｆｆ） ▲４▼
となる。ｂ（ｄｉｆｆ）´は、ｋに依存している。すなわち、ｂ（ｄｉｆｆ）´被写体の照度とストロボの発光量に応じて変動する。例えば、被写体の照度が比較的高くストロボの発光量が小さい場合にはｂ（ｄｉｆｆ）´は大きくなり、実際に調整すべきホワイトバランス制御値は、人口照明下のホワイトバランス制御値に近づく。一方、被写体の照度が低くストロボの発光量が大きい場合には、ｂ（ｄｉｆｆ）´は小さくなり、実際に調整すべきホワイトバランス制御値は黒体放射特性に近づく。
【００３３】
ステップＳ１０８ｂにおいて、利得制御値Ｑのｂ２からシフトすべきＢ信号の利得制御量は、
ｂ´＋ｂ（ｄｉｆｆ）´
となり、実際にホワイトバランス調整するためのＲ信号に対する利得制御値ｂ０´が算出される。
【００３４】
そして、ステップＳ１０９において、ステップＳ１０７およびステップＳ１０８ｂにおいて求められた利得制御値Ｒ”（ｒ０，ｂ０´）をホワイトバランスアンプ２０７ｒ，２０７ｂに対して出力する。
【００３５】
以上説明したように、人口照明下において閃光装置２１３を発光した場合においても適切なホワイトバランス調整を行うことができる。
【００３６】
なお、上述した実施の形態では、被写体を照明する装置として、閃光発光装置を用いて説明したが、被写体を照明する装置であればどのようなものでもよい。例えば、被写体を照明する時間が長ければ動画の撮影に対しても本発明を適用することができる。
【００３７】
また、上述した実施の形態においては、発光前の被写体の照度および閃光装置２１３の発光量とから、被写体の色温度に対して閃光装置の発光による色温度の影響度ｋを算出していたが、さらに、被写体の距離に応じてｋを変化させてもよい。
【００３８】
また、本実施の形態においては、Ｒ信号およびＢ信号に対して利得の調整を行うことによってホワイトバランスを調整していたが、Ｒ−Ｙ信号およびＢ−Ｙ信号などの色差信号に対する利得を調整することによってホワイトバランスの調整を行ってもよい。
【００３９】
本発明は、一例として、前述した実施形態の機能を実現するソフトウェアのプログラムコードを、インターネットなどのネットワークを介して撮像装置に供給し、撮像装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって達成できる。
【００４０】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態のホワイトバランス制御回路２１２の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４１】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００４２】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００４３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示にもとづき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【００４４】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、本発明の撮像装置に不可欠なモジュールを、記憶媒体に格納することになる。
【００４５】
【発明の効果】
以上説明したように、本願発明によれば、閃光装置などを用いて被写体を照明した場合、被写体照度およびストロボ発光量に対応し、かつ黒体放射特性にのっとったホワイトバランスの制御利得値に基づいてホワイトバランスを調整しているので最適な画像を得ることができる。
【図面の簡単な説明】
【図１】本実施の形態におけるホワイトバランス調整のための動作処理フローチャート。
【図２】本実施の形態における撮像装置のブロック図。
【図３】実際にホワイトバランス調整する利得制御値を算出する過程を説明するためのＲ信号およびＢ信号に対する利得制御値の相関図。
【図４】蛍光灯などの人口照明下におけるホワイトバランス調整のための動作処理フローチャート。
【図５】蛍光灯などの人口照明下において実際にホワイトバランス調整する利得制御値を算出する過程を説明するためのＲ信号およびＢ信号に対する利得制御値の相関図。
【図６】従来において実際にホワイトバランス調整する利得制御値を算出する過程を説明するためのＲ信号およびＢ信号に対する利得制御値の相関図。
【符号の説明】
２０３撮像素子
２０４輝度信号生成回路
２０７ｒ，２０７ｂホワイトバランスアンプ
２１２ホワイトバランス制御回路
２１３閃光装置
２１４閃光装置制御回路

Claims

被写体を照明する照明手段の発光量と前記照明手段によって照明される前の被写体の照度に基づいて、撮像手段から出力される画像信号に含まれる第１の色成分の信号の利得を制御するための第１の利得制御値を取得し、前記第１の利得制御値を黒体放射特性に基づく関数に適応して前記画像信号に含まれる前記第１の色成分と異なる第２の色成分の信号の利得を制御するための第２の利得制御値を取得し、前記第１の利得制御値に基づいて、前記第１の色成分の信号の利得を制御し、前記第２の利得制御値に基づいて、前記第２の色成分の信号の利得を制御することによって、ホワイトバランスを調整する制御手段を有することを特徴とする撮像装置。
請求項１において、前記制御手段は、さらに被写体距離に基づいて第１の色成分の利得制御値を取得することを特徴とする撮像装置。
請求項１において、前記第１の色成分の利得制御値は撮像手段から出力される画像信号のうちＲ信号の利得を制御するものであり、前記第２の色成分の利得制御値は撮像手段から出力される画像信号のうちＢ信号の利得を制御するものであることを特徴とする撮像装置。
請求項１において、前記第１の色成分の利得制御値は撮像手段から出力される画像信号のうちＢ信号の利得を制御するものであり、前記第２の色成分の利得制御値は撮像手段から出力される画像信号のうちＲ信号の利得を制御するものであることを特徴とする撮像装置。
請求項１において、前記制御手段は、前記被写体が人口照明下であると判断された場合、前記照明手段の発光量と前記照明手段によって照明される前の被写体照度に基づいて前記第２の色成分の利得制御値を補正することを特徴とする撮像装置。
請求項１ないし請求項５のいずれか１項において、前記照明手段は閃光発光を行なうことを特徴とする撮像装置。
被写体を照明する照明手段の発光量と前記照明手段によって照明される前の被写体の照度に基づいて、撮像手段から出力される画像信号に含まれる第１の色成分の信号の利得を制御するための第１の利得制御値を取得し、前記第１の利得制御値を黒体放射特性に基づく関数に適応して前記画像信号に含まれる前記第１の色成分と異なる第２の色成分の信号の利得を制御するための第２の利得制御値を取得し、前記第１の利得制御値に基づいて、前記第１の色成分の信号の利得を制御し、前記第２の利得制御値に基づいて、前記第２の色成分の信号の利得を制御することによって、ホワイトバランスを調整することを特徴とするホワイトバランスの調整方法。