JP3880276B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP3880276B2
JP3880276B2 JP2000058507A JP2000058507A JP3880276B2 JP 3880276 B2 JP3880276 B2 JP 3880276B2 JP 2000058507 A JP2000058507 A JP 2000058507A JP 2000058507 A JP2000058507 A JP 2000058507A JP 3880276 B2 JP3880276 B2 JP 3880276B2
Authority
JP
Japan
Prior art keywords
signal
color
adjustment
value
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000058507A
Other languages
English (en)
Other versions
JP2001251644A (ja
Inventor
徹也 久野
博明 杉浦
彰久 宮田
林  哲也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2000058507A priority Critical patent/JP3880276B2/ja
Publication of JP2001251644A publication Critical patent/JP2001251644A/ja
Application granted granted Critical
Publication of JP3880276B2 publication Critical patent/JP3880276B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ビデオカメラや電子スチルカメラなどの撮像装置に関するものであり、さらに詳しくは、撮像装置の色再現性を補正する手段を備えた撮像装置に関するものである。
【0002】
【従来の技術】
図20は従来の撮像装置の構成図であり、主に色信号処理に関する構成図である。図20において、1はレンズユニット、2は撮像素子、3はアイリスドライバ、4はタイミングジェネレータ(以後、TGと称する)、5は前置信号処理手段、6はA/Dコンバータ、7は演算手段、8は信号処理手段、9は出力端子、10は撮像信号積算手段、11はアイリス制御手段、12はズームレンズドライバである。また、レンズユニット1において、1aはアイリス、1bはレンズ系、1dはズームレンズである。また、信号処理手段8において、8aは色分離手段、8bはホワイトバランス(WB)調整手段調整手段、8cはマトリクス手段、8dは加減算器、8eは色信号積算手段、8gはエンコーダ、8baはR(Red)信号の利得制御手段、8bbはG(Green)信号の利得制御手段、8bcはB(Blue)信号の利得制御手段である。
【0003】
図20の従来の撮像装置は、レンズユニット1と、撮像素子2と、アイリスドライバ3と、TG4と、前置信号処理手段5と、A/Dコンバータ6と、演算手段7と、信号処理手段8と、出力端子9と、撮像信号積算手段10と、アイリス制御手段11と、ズームレンズドライバ12とを備えている。
【0004】
レンズユニット1は、アイリス(絞り機構)1aと、レンズ系1bとを有し、被写体の光学像を撮像素子2上に結像させる。アイリス1aは、アイリスドライバ3によって開閉するように駆動され、撮像素子2への入射光量を調整する。レンズ系1bは、ズームレンズ1dを含む複数のレンズから構成されている。ズームレンズ1dは、ズームレンズドライバ12によって前後に移動するように駆動される。このズームレンズ1dの位置によって、撮像する被写体の拡大倍率(以後、撮像倍率と称する)を変化させることができる。
【0005】
撮像素子2は、光を電気信号に変換する2次元配列された多数の画素と、カラー画像を得るためにそれぞれの画素の上に配置された複数種のカラーフィルタとを有し、被写体の光学像を撮像信号に変換し、この撮像信号を前置信号処理手段5に出力する。上記のカラーフィルタは、例えば、R,G,Bの原色の3種類のカラーフィルタである。また、TG4は、演算手段7によって制御され、撮像素子2の駆動パルスを生成し、この駆動パルスを撮像素子2に出力する。
【0006】
前置信号処理手段5は、CDS(Correlated Double Sampling:相関2重サンプリング)回路と、利得調整回路とを有する。この前置信号処理手段5は、撮像素子2から入力された撮像信号をCDS回路においてCDSすることによりノイズを除去し、さらに利得調整回路において撮像信号を増幅することにより撮像信号のレベルを調整し、このノイズ除去およびレベル調整した撮像信号をA/Dコンバータ6に出力する。また、A/Dコンバータ6は、前置信号処理手段5から入力された撮像信号をアナログ信号からデジタル信号に変換し、信号処理手段8の色分離手段8aに出力する。
【0007】
撮像信号積算手段10は、前置信号処理手段5から出力された撮像信号を少なくとも1フィールドごとまたは1フレームごとに積算し、積算値をアイリス制御手段11に出力する。また、アイリス制御手段11は、撮像信号積算手段10による積算値すなわち平均画像レベル(APL:Average Picture Level)があらかじめ定められた一定レベルとなるように、アイリスドライバ3に制御信号を出力し、アイリスドライバ3によってアイリス1aを開閉させる。また、演算手段7は、撮像倍率が所望の倍率になるように、ズームレンズドライバ12に制御信号を出力し、ズームレンズドライバ12によってズームレンズ1dを移動させる。
【0008】
信号処理手段8は、A/Dコンバータ6から入力されたデジタルの撮像信号からR,G,B原色信号を分離し、これらの原色信号からR−Y信号およびB−Y信号を生成し、これらR−Y信号およびB−Y信号によるクロミナンス信号を出力端子9に出力する。この信号処理手段8は、色分離手段8aと、WB調整手段8bと、マトリクス手段8cと、加減算器8dと、色信号積算手段8eと、エンコーダ8gとを有する。
【0009】
色分離手段8aは、入力された撮像信号から、R信号(色信号R’)と、G信号(色信号G’)と、B信号(色信号B’)とを分離し、これらの色信号R’,G’,B’をWB調整手段8bに出力する。
【0010】
WB調整手段8bは、色信号R’の利得を調整する利得調整手段8baと、色信号G’の利得を調整する利得調整手段8bbと、色信号B’の利得を調整する利得調整手段8bcとを有する。このWB調整手段8bは、演算手段7からのR信号利得値に従って利得調整手段8baにおいて色信号R’を増幅または減衰させるとともに、演算手段7からのB信号利得値に従って利得調整手段8bcにおいて色信号B’を増幅または減衰させることにより、R,G,B信号の信号レベルが互いに等しくなるように色信号R’,G’,B’のホワイトバランス(WB)を調整し、WB調整したR信号(色信号R)、G信号(色信号G)、B信号(色信号B)を色信号積算手段8eおよび加減算器8dに出力する。
【0011】
色信号積算手段8eは、WB調整された色信号R,G,Bをそれぞれ少なくとも1フィールドごとまたは1フレームごとに積算することにより、色信号R,G,Bの積算値ΣR,ΣB,ΣGをそれぞれ算出し、これらの積算値ΣR,ΣB,ΣGを演算手段7に出力する。
【0012】
演算手段7は、積算値ΣRおよびΣBが積算値ΣGに等しくなるように、R信号利得値およびB信号利得値をWB調整手段8bに出力する。
【0013】
加減算器8dは、WB調整された色信号R,G,Bから、色差信号であるR−G信号(R信号とG信号の差信号)およびB−G信号(B信号とG信号の差信号)を生成し、マトリクス手段8cに出力する。
【0014】
マトリクス手段8cは、入力されたR−G信号およびB−G信号を、次式(1)に示すマトリクス演算によって色差信号であるR−Y信号(R信号と輝度信号であるY信号の差信号)およびB−Y信号(B信号とY信号の差信号)に変換し、これらのR−Y信号およびB−Y信号をエンコーダ8gに出力する。
【数1】
Figure 0003880276
式(1)において、a11,a12,a21,a22は、マトリクス係数である。これらのマトリクス係数a11,a12,a21,a22は、図20の従来の撮像装置では固定の値である。
【0015】
エンコーダ8gは、出力端子9から出力される信号が必要な信号形式となるように、R−Y信号およびB−Y信号をエンコードし、エンコードした信号を出力端子9に出力する。ここでは、R−Y信号およびB−Y信号を平衡変調してビデオ信号のクロミナンス信号を生成し、このクロミナンス信号を出力端子9に出力する。
【0016】
図20の従来の撮像装置では、標準光源の照明下において得られる映像信号の色再現性が設計目標としている色再現性になるように、撮像素子2の分光感度特性およびマトリクス手段8cのマトリクス係数a11,a12,a13,a14をあらかじめ定めておく。例えば、NTSC(National Television System Committee)方式の場合には、NTSC方式にて規定された標準光源(例えばC光源)の照明下での撮像装置の分光応答度がNTSC方式にて規定された等色関数に近くなるように、撮像素子2の分光感度特性およびマトリクス手段8cのマトリクス係数a11,a12,a13,a14をあらかじめ定めておく。従って、被写体がNTSC方式にて規定された上記の標準光源で照射された場合は、理想的な色再現性が得られる。
【0017】
しかし、被写体の照明は常に撮影者が設定できるわけでなく、実際の撮影環境下においては、蛍光灯、水銀ランプなど様々な照明があり得る。例えば、一般的な蛍光灯の照明下で撮影した場合、その蛍光灯の演色性が低い場合は、太陽光などの演色性が良い照明下で撮影した場合に比べて、色再現性が悪くなるという問題があった。これは、撮像装置において生成される色信号R,G,Bが、撮像素子2の分光感度特性と、照明の分光特性と、被写体の分光反射特性との乗算値から求められるためであり、演色性の良い太陽光などの光源と、演色性の悪い蛍光灯などの光源との分光特性が著しく異なるためである。
【0018】
これらの問題を解決するために、撮影環境における光源を判別し、光源に応じて上記のマトリクス係数を可変とすることで、撮像装置の色再現性を改善する従来の撮像装置もあった。図21は色再現性の改善を図った従来の撮像装置の構成図である。図21において、13は外部測光センサ(外光センサ)であり、図20と同じものには同じ符号を付してある。
【0019】
外光センサ13は、例えばそれぞれR,G,Bの色フィルタを具備した3個のセンサを有し、それぞれのセンサの出力信号を演算手段7に出力する。外光センサの色フィルタの分光感度特性は、撮像素子2のカラーフィルタと同様の特性を有する。外光センサ13のそれぞれのセンサは、撮影時における照明から発せられた光を上記色フィルタを介して受光するため、演算手段7は、外光センサ13からの出力信号によって照明光のR,G,B比を認識することができ、このR,G,B比により照明の演色性を推定することができる。一般に、演色性(Ra)が100である太陽光に比べ、蛍光灯はR成分およびB成分が少ない。これは、蛍光灯の発光効率を上げるためにG成分を多くしているからである。このため、人工の照明光の場合、演色性が低くなるに従ってR/Gの値およびB/Gの値が小さくなっていく傾向にある。
【0020】
図21の従来の撮像装置は、外光センサ13から得られた照明のR,G,B比をもとに照明の演色性を判別し、この演色性に応じて、演算手段7によってマトリクス手段8cのマトリクス係数a11,a12,a21,a22を調整し、色再現性を補正するものであった。
【0021】
【発明が解決しようとする課題】
しかしながら、図20に示した従来の撮像装置では、演色性の悪い照明下での撮影では良好な色再現性が得られないことがあるという問題があった。
【0022】
また、図21に示した撮像装置を実現するためには、照明光の演色性を判別するための外光センサを設ける必要があり、撮像装置を小型化する上で不利であり、また意匠的にも制限がかかり、さらにコスト的にも不利であるという問題があった。
【0023】
本発明は、このような従来の問題を解決するためになされたものであり、新たに外部センサを設けることなく、演色性の悪い照明下でも色再現性を補正することが可能な撮像装置を得ることを目的とするものである。
【0024】
【課題を解決するための手段】
上記の目的を達成するために、本発明の請求項1記載の撮像装置は、被写体の光学像を撮像信号に変換する撮像素子と、上記光学像を上記撮像素子上に結像させるレンズユニットと、上記撮像信号から第1、第2、第3の色信号を分離する色分離手段と、第1の信号利得値に従って第1の色信号の信号レベルを調整するとともに第2の信号利得値に従って第2の色信号の信号レベルを調整することにより、第1、第2、第3の色信号の信号レベルが互いに等しくなるように白バランス調整する白バランス調整手段と、白バランス調整された第1、第2、第3の色信号の積算値をそれぞれ算出する積算手段と、上記積算値が互いに等しくなるように上記第1および第2の信号利得値を上記白バランス調整手段に出力する演算手段と、上記演算手段からのマトリクス係数を用いたマトリクス演算により、上記白バランス調整された色信号を色差信号に変換する変換手段とを備え、上記演算手段が、上記第1の色信号および第2の色信号に対して1つずつ、数値を“1”ずつアップまたはダウンさせるアップダウンカウンタの役割をして、カウンタ値を上記第1および第2の信号利得値として白バランス調整手段に出力する手段を有して、上記第3の色信号の積算値と、上記第1の色信号又は上記第2の色信号の積算値とを比較し、その大小により、上記第1又は第2の信号利得値をあらかじめ定められた一定の値だけ増減させて、上記第1、第2、第3の色信号の積算値が略等しい値に収束するように、上記第1および第2の信号利得値の調整を繰り返すことで、上記第1、第2、第3の色信号のレベルが略等しくなるように白バランスを調整すると共に、上記白バランス調整における上記第1および第2の信号利得値の調整範囲内に、照明の種類及びその演色性に応じた領域区分、及び、該各領域区分に応じた個別のマトリクス補正値を設定しておき、上記白バランス調整における上記第1および第2の信号利得値の調整の間に、上記第1および第2の信号利得値が、上記各領域区分のいずれかの領域内に位置しているかを判別することで照明の種類を判別すると共に、その位置する領域区分に応じた補正値でマトリクス係数を補正することを特徴とする。
【0025】
本発明の請求項2記載の撮像装置は、上記レンズユニットが、上記撮像素子に入射する光量を調整するアイリスと、上記アイリスの開口率を検知するセンサとを有し、上記演算手段が、上記信号利得値および上記開口率に応じてマトリクス係数を補正することを特徴とする。
【0026】
本発明の請求項3記載の撮像装置は、上記レンズユニットが、上記演算手段からの制御信号に従って被写体の撮像倍率を変える手段を有し、上記演算手段は、上記信号利得値および上記撮像倍率に応じてマトリクス係数を補正する。
【0027】
【発明の実施の形態】
実施の形態1.
図1は本発明の実施の形態1による撮像装置の構成図である。図1において、1はレンズユニット、2は撮像素子、3はドライバ、4はタイミングジェネレータ(TG)、5は前置信号処理手段、6はA/Dコンバータ、7Aは演算手段、8は信号処理手段、9は出力端子、10は撮像信号積算手段、11はアイリス制御手段、12はズームレンズドライバである。また、レンズユニット1において、1aはアイリス、1bはレンズ系、1dはズームレンズである。また、信号処理手段8において、8aは色分離手段、8bはホワイトバランス調整手段(WB調整手段)、8cはマトリクス手段、8dは加減算器、8eは色信号積算手段、8gはエンコーダ、8baはR信号の利得制御手段、8bbはG信号の利得制御手段、8bcはB信号の利得制御手段である。なお、図1において、図20と同じものには同じ符号を付してある。
【0028】
図1の実施の形態1の撮像装置は、レンズユニット1と、撮像素子2と、アイリスドライバ3と、TG4と、前置信号処理手段5と、A/Dコンバータ6と、演算手段7Aと、信号処理手段8と、出力端子9と、撮像信号積算手段10と、アイリス制御手段11と、ズームレンズドライバ12とを備えている。このように実施の形態1の撮像装置は、図20の従来の撮像装置において、演算手段7を演算手段7Aとしたものである。
【0029】
レンズユニット1は、アイリス1aと、レンズ系1bとを有し、被写体の光学像を撮像素子2上に結像させる。アイリス1aは、アイリスドライバ3によって開閉するように駆動され、撮像素子2に入射する光量を調整する。レンズ系1bは、ズームレンズ1dを含む複数のレンズから構成されている。ズームレンズ1dは、ズームレンズドライバ12によって前後に移動するように駆動される。このズームレンズ1dの位置によって撮像倍率を変化させることができる。
【0030】
撮像素子2は、光を電気信号に変換する2次元配列された多数の画素と、カラー画像を得るためにそれぞれの画素の上に配置された複数種のカラーフィルタとを有する。この撮像素子2は、被写体の光学像を撮像信号に変換し、この撮像信号を前置信号処理手段5に出力する(被写体を撮像し、被写体の撮像信号を前置信号処理手段5に出力する)。代表的な撮像素子としては、CCDセンサとCMOSセンサがある。また、代表的なカラーフィルタとしては、R(Red),G(Green),B(Blue)の原色の3種類のカラーフィルタと、Ye(Yellow),Mg(Magenta),Cy(Cyan),G(Green)の補色の4種類のカラーフィルタがある。また、TG4は、演算手段7Aによって制御され、撮像素子2の駆動パルスを生成し、この駆動パルスを撮像素子2に出力する。
【0031】
前置信号処理手段5は、CDS(相関2重サンプリング)回路と、利得調整回路とを有する。この前置信号処理手段5は、撮像素子2から入力された撮像信号をCDS回路においてCDSすることによりノイズを除去し、さらに利得調整回路において撮像信号を増幅することにより撮像信号のレベルを調整し、このノイズ除去およびレベル調整した撮像信号をA/Dコンバータ6に出力する。また、A/Dコンバータ6は、前置信号処理手段5から入力された撮像信号をアナログ信号からデジタル信号に変換し、信号処理手段8の色分離手段8aに出力する。
【0032】
撮像信号積算手段10は、前置信号処理手段5から出力された撮像信号を少なくとも1フィールドごとまたは1フレームごとに積算し、積算値をアイリス制御手段11に出力する。また、アイリス制御手段11は、撮像信号積算手段10による積算値すなわち平均画像レベル(APL:Average Picture Level)があらかじめ定められた一定レベルとなるように、アイリスドライバ3に制御信号を出力し、アイリスドライバ3によってアイリス1aを開閉させる。また、演算手段7Aは、撮像倍率が所望の倍率になるように、ズームレンズドライバ12に制御信号を出力し、ズームレンズドライバ12によってズームレンズ1dを移動させる。
【0033】
信号処理手段8は、A/Dコンバータ6から入力されたデジタルの撮像信号からR,G,Bの色信号を分離し、これらの色信号からR−Y信号およびB−Y信号を生成し、これらR−Y信号およびB−Y信号によるビデオ信号のクロミナンス信号を出力端子9に出力する。この信号処理手段8は、色分離手段8aと、WB調整手段8bと、マトリクス手段8cと、加減算器8dと、色信号積算手段8eと、エンコーダ8gとを有する。なお、上記のビデオ信号を、例えばYUV信号(輝度信号であるY信号と、uv色度図による色差信号であるU信号およびV信号との複合信号)とすることも可能であり、この場合には、上記のクロミナンス信号は、上記U信号およびV信号により構成されるUV信号である。
【0034】
色分離手段8aは、入力された撮像信号から、R信号(色信号R’)と、G信号(色信号G’)と、B信号(色信号B’)とを分離し、これらの色信号R’,G’,B’をWB調整手段8bに出力する。
【0035】
WB調整手段8bは、色信号R’の利得を調整する利得調整手段8baと、色信号G’の利得を調整する利得調整手段8bbと、色信号B’の利得を調整する利得調整手段8bcとを有する。このWB調整手段8bは、演算手段7AからのR信号利得値に従って利得調整手段8baにおいて色信号R’を増幅または減衰させるとともに、演算手段7からのB信号利得値に従って利得調整手段8bcにおいて色信号B’を増幅または減衰させることにより、R,G,B信号の信号レベルが互いに等しくなるように色信号R’,G’,B’のホワイトバランス(WB)を調整し、WB調整したR信号(色信号R)、G信号(色信号G)、B信号(色信号B)を色信号積算手段8eおよび加減算器8dに出力する。WB調整手段8bによるWB調整は、次式(2)にて示される。
【数2】
Figure 0003880276
式(2)において、R’,G’、B’は、それぞれWB調整手段8bに入力されるR,G,B信号であり、R,G,Bは、それぞれWB調整手段8bから出力されるWB調整されたR,G,B信号であり、WBR,WBG,WBBは、それぞれR,G,B信号のWB調整係数である。一般に、WB調整は、G信号の利得を固定として調整するため、G信号のWB調整係数WBGは固定値である。また、WB調整係数WBR,WBBは、それぞれ演算手段7Aから入力されるR信号利得値,B信号利得値に応じた可変の値である。
【0036】
色信号積算手段8eは、WB調整された色信号R,G,Bをそれぞれ少なくとも1フィールドごとまたは1フレームごとに積算することにより、色信号R,G,Bの積算値ΣR,ΣB,ΣGをそれぞれ算出し、これらの積算値ΣR,ΣB,ΣGを演算手段7に出力する。
【0037】
演算手段7Aは、積算値ΣRおよびΣBが積算値ΣGに等しくなるように、WB調整係数WBRに相当するR信号利得値およびWB調整係数WBBに相当するB信号利得値をWB調整手段8bに出力する。また、演算手段7Aは、上記のR信号利得値およびB信号利得値に応じて補正したマトリクス係数を、マトリクス手段8cに出力する。
【0038】
加減算器8dは、WB調整された色信号R,G,Bから、色差信号であるR−G信号(R信号とG信号の差信号)およびB−G信号(B信号とG信号の差信号)を生成し、マトリクス手段8cに出力する。
【0039】
マトリクス手段8cは、入力されたR−G信号およびB−G信号から、次式(3)に示すマトリクス演算により、色差信号であるR−Y信号(R信号と輝度信号であるY信号の差信号)およびB−Y信号(B信号とY信号の差信号)を生成し、これらのR−Y信号およびB−Y信号をエンコーダ8gに出力する。
【数3】
Figure 0003880276
式(3)において、b11,b12,b21,b22はマトリクス係数である。これらのマトリクス係数b11,b12,b21,b22は、演算手段7Aから入力される可変の値である。なお、マトリクス手段8cにおいて、U信号およびV信号を生成するようにすることも可能である。
【0040】
加減算器8dおよびマトリクス手段8cは、演算手段7Aからのマトリクス係数を用いたマトリクス演算により、WB調整された色信号R,G,Bを色差信号(ここでは、R−Y信号およびB−Y信号)に変換する変換手段を構成している。
【0041】
図2はマトリクス手段8cの一構成例を示す図である。図2において、マトリクス手段8cは、乗算器8h,8i,8j,8kと、加減算器(加算器)8l,8mとによって実現されている。マトリクス手段8cには、R−G信号およびB−G信号が入力されるとともに、式(3)に示したマトリクス係数b11,b12,b21,b22に対応する信号が演算手段7Aから入力される。乗算器8hは、R−G信号とb11の信号とを乗算し、加算器8lに出力する。乗算器8iは、B−G信号とb12の信号とを乗算し、加算器8lに出力する。加算器8lは、乗算器8hから入力された信号と、乗算器8iから入力された信号とを加算し、R−Y信号を生成する。また、乗算器8kは、R−G信号とb21の信号とを乗算し、加算器8mに出力する。乗算器8jは、B−G信号とb22の信号とを乗算し、加算器8mに出力する。加算器8mは、乗算器8kから入力された信号と、乗算器8jから入力された信号とを加算し、B−Y信号を生成する。
【0042】
エンコーダ8gは、出力端子9から出力される信号が必要な信号形式となるように、R−Y信号およびB−Y信号をエンコードし、エンコードした信号を出力端子9に出力する。ここでは、R−Y信号およびB−Y信号を平衡変調してビデオ信号のクロミナンス信号を生成し、このクロミナンス信号を出力端子9に出力する。なお、上記必要な信号形式が色差信号の場合には、R−Y信号およびB−Y信号にそれぞれシンクチップなどを付加して個別に出力することも可能である。また、U信号およびV信号をエンコードすることも可能である。
【0043】
ここで、図1の実施の形態1の撮像装置および図20および図21の従来の撮像装置を含めた一般的な撮像装置の色再現性について説明する。まず、撮像装置から出力されるR−Y信号およびB−Y信号は、式(3)によって求められ、式(3)にて示したR−G信号およびB−G信号を構成する色信号R,G,Bは、次式(4)、(5)、(6)にて示される。
【数4】
Figure 0003880276
式(4)、(5)、(6)において、λは波長である。R(λ),G(λ)、B(λ)は、それぞれ撮像信号のR,G,B成分についての撮像素子2の分光感度特性である。L(λ)は撮像時における被写体に対する照明の分光特性である。また、O(λ)は被写体の分光反射特性である。式(4)、(5)、(6)に示すように、R,G,B信号は、撮像素子2の分光感度特性R(λ),G(λ)、B(λ)と、照明の分光特性L(λ)と、被写体の分光反射特性O(λ)との乗算値の全波長域による積算値として求められる。
【0044】
図3はR,G,B成分についての撮像素子2の分光感度特性の一例を示す図である。図3において、分光感度は、G成分についての分光感度のピーク値を1.0とした相対的な分光感度である。また、図4はハロゲンランプや太陽光などに代表される演色性の良い(撮像装置での色再現性が良い)照明の分光特性の一例であり、図5は演色性が図4の照明よりも劣る蛍光灯などに代表される照明の分光特性の一例である。図4および図5において、分光レベルは、全波長域でのピーク値を1.0とした相対的な分光レベルである。図5に示した蛍光灯などに代表される照明は、輝線スペクトルの組み合わせによって構成されているため、図4に示したハロゲンランプや太陽光などに代表される照明よりも演色性が劣る。図4の照明下にて得られた得有象信号の色再現性は、図5の照明下にて得られた映像信号の色再現性と必ずしも一致しない。
【0045】
撮像装置では、図4のような標準光源の照明下において得られる映像信号の色再現性が設計目標としている色再現性になるように、撮像素子2の分光感度特性(図3参照)およびマトリクス手段8cのマトリクス係数(実施の形態1の撮像装置では式(3)のb11,b12,b21,b22、従来の撮像装置では式(1)のa11,a12,a21,a22)をあらかじめ定めておく。例えば、NTSC方式の場合には、NTSC方式にて規定された標準光源の照明下での撮像装置の分光応答度がNTSC方式にて規定された等色関数に近くなるように、撮像素子2の分光感度特性およびマトリクス手段8cのマトリクス係数をあらかじめ定めておく。従って、被写体がNTSC方式にて規定された上記の標準光源で照射された場合は、理想的な色再現性が得られる。
【0046】
また、上記標準の照明とは分光特性が異なる図5のような照明下においては、マトリクス手段8cのマトリクス係数を調整することにより、得られるR,G,B信号を、図4のような照明下において得られるR,G,B信号に等しくすることができる(これをメタメリズムと呼んでいる)。メタメリズムは、全ての照明の分光特性に対して常に同一とならない場合もあるが、それに近似させるように照明に応じて上記マトリクス係数を変化させることで色再現性を改善することはできる。図21の従来の撮像装置は、外光センサ13から得られた照明のR,G,B比をもとにマトリクス係数を調整し、色再現性を補正するものであった。
【0047】
次に、実施の形態1の撮像装置における色再現性の補正動作(改善動作)について説明する。図6は本発明の実施の形態1の撮像装置における色再現性の補正手順を説明するフローチャートである。図6の手順は、WB調整ステップWBS(ステップS1〜S8)と、マトリクス補正ステップMCS(ステップS9〜S11)とを含んでいる。
【0048】
演算手段7Aは、数値を“1”ずつアップまたはダウンさせるアップダウンカウンタの役割をする手段を、R信号およびB信号に対して1つずつ内部に有する。R信号のアップダウンカウンタの値をUDCRとし、B信号のアップダウンカウンタの値をUDCBとする。演算手段7Aは、カウンタ値UDCRをR信号利得値としてWB調整手段8bの信号利得調整手段8baに出力し、カウンタ値UDCBをB信号利得値としてWB調整手段8bの信号利得調整手段8bcに出力する。
【0049】
また、WB調整手段8bは、色分離手段8aから入力された色信号R’,G’,B’を、演算手段7Aから入力されたR,B信号利得値UDCR,UDCBに応じたWB調整係数WBR,WBB、および固定値のWB調整係数WBGを用いて、式(2)に従ってWB調整し、WB調整された色信号R,G,Bを生成する。ここでは、説明を簡単にするため、R信号利得値UDCR=WB調整係数WBR、B信号利得値UDCB=WB調整係数WBBとする。信号利得調整手段8baは、R信号利得値UDCR(=WB調整係数WBR)に従ってR信号の利得を増減させ、信号利得調整手段8bcは、B信号利得値UDCB(=WB調整係数WBB)に従ってB信号の利得を増減させる。なお、信号利得調整手段8bbは、固定値のWB調整係数WBRに従ってG信号の利得を一定とする。一定利得のG信号に対し、UDCRおよびUDCBの値が小さくなれば、WB調整係数WBR,WBBの値も小さくなり、従ってR信号およびB信号の利得は小さくなる。また、UDCRおよびUDCBの値が大きくなれば、WB調整係数WBR,WBBの値も大きくなり、R信号およびB信号の利得は大きくなる。
【0050】
図6のWB調整ステップ(ステップS1〜S9)について以下に説明する。まず、ステップS1において、演算手段7Aは、WB調整手段8aの信号利得調整手段8ba,8bcにR,B信号利得値(カウンタ値)UDCR,UDCBの初期値WBR0,WBB0を出力する。これにより、信号利得調整手段8baは、R信号利得を初期値WBR0に従って設定し、信号利得調整手段8bcは、B信号利得を初期値WBB0に従って設定する。
【0051】
次に、ステップS2において、積算手段8cは、WB調整された色信号R,G,Bを、それぞれ映像1画面に相当する1フィールドまたは1フレーム以上ごとに積算し、これらの積算値ΣR,ΣG,ΣBを演算手段7Bに出力する。
【0052】
次に、演算手段7Aは、ステップS3において、積算値ΣRとΣGを比較する。そして、R信号の積算値ΣRがG信号の積算値ΣGより小さければ、ステップS4において、カウンタ値(R信号利得値)UDCRをあらかじめ定められた一定の値iだけアップ(増加)させる。これはWB調整手段8bでのR信号利得を増加させることに相当する。また、R信号の積算値ΣRがG信号の積算値ΣGより大きければ、ステップS5において、カウンタ値(R信号利得値)UDCRをあらかじめ定められた一定の値iだけダウン(減少)させる。これはWB調整手段8bでのR信号利得を減少させることに相当する。
【0053】
次に、演算手段7Aは、ステップS6において、積算値ΣBとΣGを比較する。そして、B信号の積算値ΣBがG信号の積算値ΣGより小さければ、ステップS7において、カウンタ値(B信号利得値)UDCBをあらかじめ定められた一定の値jだけアップ(増加)させる。これはWB調整手段8bでのB信号利得を増加させることに相当する。また、B信号の積算値ΣBがG信号の積算値ΣGより大きければ、ステップS8において、カウンタ値(B信号利得値)UDCBをあらかじめ定められた一定の値jだけダウン(減少)させる。これはWB調整手段8bでのB信号利得を減少させることに相当する。
【0054】
上記のWB調整ステップWBSのステップS2〜S8を、あとで説明するマトリクス補正ステップMCS(ステップS9〜S14)を間に挟みながら、繰り返すことにより、積算値ΣR,ΣG,ΣBがほぼ等しくなるように、撮像信号から色分離された信号R’およびB’の信号利得を調整し、R,G,B信号のレベルがほぼ等しくなるようにR,G,B信号のWBを調整する。WB調整完了時以降においては(R,G,B信号のレベルがほぼ等しくなったあとにおいては)、上記のWB調整ステップごとに、上記アップダウンカウンタは、アップ動作とダウン動作を交互に繰り返すこととなり、カウンタ値UDCRおよびUDCBは、それぞれWB調整完了時の値に収束する。
【0055】
図6のマトリクス補正ステップMCS(ステップS9〜S14)を説明する前に、上記のUDCR,UDCBの値と照明(光源)の種類(演色性や色温度などを含む)との関連、およびR,B信号利得値UDCR,UDCBの調整範囲の制限について以下に説明する。図7はUDCR,UDCBの値と照明(光源)の種類との関連、およびUDCR,UDCBの調整範囲を示す図である。
【0056】
一般に、ハロゲンランプ、太陽光(演色性Ra=100)、標準光源(例えば、JIS Z8720のA,C,D50,D55光源)などの演色性の非常に高い照明を用いた場合、照明の色温度と、WB調整完了時のUDCR,UDCBの値との関係は、図7の曲線Lに示すようになる。例えば、図7のM点は、色温度3000[K(ケルビン)]の太陽光(赤っぽい、夕焼け等)においてWB調整したときのUDCR,UDCBの値であり、図7のN点は、色温度5800[K]の太陽光(青っぽい、晴天光下等)においてWB調整したときのUDCR,UDCBの値である。
【0057】
実施の形態1の撮像装置や図19および図20の従来の撮像装置でのWB調整は、撮像した画面全てを積算すると無彩色になるということを前提としたものであり、一般にTTL方式と呼ばれている。TTL方式のWB調整は、被写体が単一色である場合や、ある特定の色が被写体中の大部分を占める場合には、色が薄くなったり、WB調整に誤差を生じるという問題がある。そのため、TTL方式のWB調整を採用している撮像装置では、WB調整におけるUDCR,UDCBの調整範囲に制限を設け、上記の問題を避け、WB調整の精度を上げている。
【0058】
図7では、領域ABCDEF内がWB調整におけるUDCR,UDCBの調整範囲である。従って、WB調整において、上記の調整範囲内の値のみがUDCR,UDCBの調整値として許容され、上記の調整範囲内からはずれた値にUDCR,UDCBを調整することは禁止され、上記の調整範囲がUDCR,UDCBの追従範囲となる。上記の調整範囲は、いろいろな照明下において白色の被写体を撮像した場合においてUDCR,UDCBがとり得る値の範囲をもとに、あらかじめ定められたものである。図7の調整範囲ABCDEFでは、太陽光における色温度のWB追従範囲は、2800[K](A点)から8000[K](D点)までである。
【0059】
図7において、被写体がG(Green)であるほど、WB調整におけるUDCR,UDCBの値は右上方向に向かい、被写体がMg(Magenta)であるほど、WB調整におけるUDCR,UDCBの値は左下方向に向かう。また、通常、照明光の発光効率からMgの照明は存在せず、演色性が悪い照明ほど、その色はGの方向に向かう。従って、演色性が悪い照明ほど、WB調整におけるUDCR,UDCBの値は右上方向に向かう。図7の領域ADKHは、3波長型蛍光灯など比較的演色性の良い(ただし、領域ABCDよりも演色性が劣る)照明下で白色を撮像したときにおけるWB調整完了時のUDCR,UDCBの値の範囲である。また、図7の領域HKEFは、演色性が3波長型蛍光灯に比較して劣る白色蛍光灯などの照明下で白色を撮像したときにおけるWB調整完了時のUDCR,UDCBの値の範囲である。
【0060】
WB調整は、WB調整動作(図6のWB調整ステップWBSのステップS2〜S9)を繰り返すことによって完了し、WBがとれたR,G,B信号が得られる。WB調整の完了時以降は、UDCR,UDCBは照明の種類に応じた値に収束する。上記のUDCR,UDCBは演算手段7Aによって生成されるのであるから、図7の領域ABCD、領域ADKH、領域HKEFについてのデータをあらかじめ演算手段7Aに設定しておけば、演算手段7Aは、WB調整完了時のUDCR,UDCBの値(WBがとれているときのUDCR,UDCBの収束値)が、図7の領域ABCD、領域ADKH、領域HKEFのいずれの領域内に位置するかを判別することができる。従って、WB調整完了時のUDCR,UDCBの値をもとに、照明の種類を判別することが可能である。
【0061】
図8はWB調整におけるUDCR,UDCBの値の変化および収束例を示す図である。この図8は、UDCR,UDCBの初期値WBR0,WBB0(図6のステップS1参照)を(UDCR,UDCB)=(WBR0,WBB0)=(140,140)(図7および図8のS点)とし、i=1(図6のステップS4,S5参照),j=1(図6のステップS7,S8参照)とし、図6のWB調整動作(図6のWB調整ステップWBSのステップS2〜S8)を20回繰り返したとき、UDCR,UDCBの値が(UDCR,UDCB)=(160,160)(図8のP点)に変化し、20回目以降のWB調整動作において、UDCR,UDCBの値が(UDCR,UDCB)=(160,160)に収束した様子を示すものである。このとき、撮影に用いられた照明は、白色蛍光灯、または演色性が白色蛍光灯と同様の照明であることが判る。
【0062】
この実施の形態1の撮像装置では、WB調整のUDCR,UDCBの値に応じてマトリクス係数b11,b12,b21,b22を補正する。さらに詳細には、調整範囲を複数の領域に区分し、(UDCR,UDCB)がどの領域に位置しているかを判別し、(UDCR,UDCB)が位置している領域に応じてマトリクス係数b11,b12,b21,b22を補正する。
【0063】
図9は本発明の実施の形態1の撮像装置におけるUDCR,UDCBの調整範囲の領域区分の一例を示す図である。図9では、領域ABCDEFを調整範囲としており(図7と同じ)、この調整範囲を、領域a,領域b、領域c,および領域s(=領域ABCDPQ)に区分している。図9では、領域s→領域a→領域b→領域cの順序で照明の演色性が悪くなる。上記の調整範囲、および上記の領域a,b,c,sについてのデータは、あらかじめ演算手段7Aに設定されている。演算手段7Aは、(UDCR,URCB)が、領域a,b,c,sのいずれかの領域内に位置しているかを判別し、領域a,b,cのいずれかの領域内に位置していれば、その領域に応じた補正値でマトリクス係数b11,b12,b21,b22を補正する。また、演算手段7Aは、(UDCR,URCB)が、領域s内に位置していれば、マトリクス係数b11,b12,b21,b22を初期値のまま補正しない。
【0064】
図10は本発明の実施の形態1の撮像装置における図9の領域a,b,cに応じたマトリクス係数の補正値の一例を示す図である。図10のように、演算手段7Aは、(UDCR,URCB)の値が領域a内に位置するとき、マトリクス係数b11の初期値に補正値Δb11=“+2”を加算し、b12の初期値に補正値Δb12=“0”を加算し(b12は補正せず、初期値のままとする)、b21の初期値に補正値Δb21=“−1”を加算し、b22の初期値に補正値Δb22=“0”を加算し(b22は補正せず、初期値のままとする)、これらの補正したマトリクス係数b11,b12,b21,b22をマトリクス手段8cに出力する。また、演算手段7Aは、(UDCR,URCB)の値が領域b内に位置するとき、マトリクス係数b11の初期値に補正値Δb11=“+4”を加算し、b12の初期値に補正値Δb12=“0”を加算し(b12は補正せず、初期値のままとする)、b21の初期値に補正値Δb21=“−2”を加算し、b22の初期値に補正値Δb22=“0”を加算し(b22は補正せず、初期値のままとする)、これらの補正したマトリクス係数b11,b12,b21,b22をマトリクス手段8cに出力する。また、演算手段7Aは、(UDCR,URCB)の値が領域c内に位置するとき、マトリクス係数b11の初期値に補正値Δb11=“+6”を加算し、b12の初期値に補正値Δb12=“+1”を加算し、b21の初期値に補正値Δb21“−3”を加算し、b22の初期値に補正値Δb22=“0”を加算し(b22は補正せず、初期値のままとする)、これらの補正したマトリクス係数b11,b12,b21,b22をマトリクス手段8cに出力する。なお、(UDCR,URCB)の値が領域a,b,cのいずれの領域内にも位置しないとき、つまり図9の領域s(=領域ABCDPQ)内に位置するとき、演算手段7Aは、マトリクス係数b11,b12,b21,b22の初期値をマトリクス手段8cに出力する。
【0065】
図6のマトリクス補正ステップMCS(ステップS9〜S14)について以下に説明する。まず、ステップS9において、演算手段7Aは、(UDCR,URCB)が図9の領域a内に位置するか否かを判別する。そして、領域a内に位置していなければ、ステップS11に進む。また、領域a内に位置していれば、演算手段7Aは、ステップS10において、あからじめ設定されたマトリクス係数b11,b12,b21,b22の初期値に、それぞれ個別の補正値(例えば、図10に示す領域aの補正値)を加減算し、補正したマトリクス係数b11,b12,b21,b22をマトリクス手段8cに出力し、WB調整ステップWBSのステップS2に戻る。
【0066】
上記ステップS9で(UDCR,URCB)が領域a内に位置していなければ、ステップS11において、演算手段7Aは、(UDCR,URCB)が図9の領域B内に位置するか否かを判別する。そして、領域b内に位置していなければ、ステップS13に進む。また、領域b内に位置していれば、演算手段7Aは、ステップS12において、あからじめ設定されたマトリクス係数b11,b12,b21,b22の初期値に、それぞれ個別の補正値(例えば、図10に示す領域bの補正値)を加減算し、補正したマトリクス係数b11,b12,b21,b22をマトリクス手段8cに出力し、WB調整ステップWBSのステップS2に戻る。
【0067】
上記ステップS11で(UDCR,URCB)が領域b内に位置していなければ、ステップS13において、演算手段7Aは、(UDCR,URCB)が図9の領域c内に位置するか否かを判別する。そして、領域c内に位置していなければ、つまり領域s内に位置していれば、演算手段7Aは、マトリクス係数b11,b12,b21,b22の初期値をマトリクス手段8cに出力し、WB調整ステップWBSのステップS2に戻る。また、領域c内に位置していれば、演算手段7Aは、ステップS14において、あからじめ設定されたマトリクス係数b11,b12,b21,b22の初期値に、それぞれ個別の補正値(例えば、図10に示す領域cの補正値)を加減算し、補正したマトリクス係数b11,b12,b21,b22をマトリクス手段8cに出力し、WB調整ステップWBSのステップS2に戻る。
【0068】
太陽光下で撮像したときのR(Red),Ye(Yellow)が図11に示す色再現性であったとき、白色蛍光灯下で撮像したときのR,Yeの色再現性は図12に示すようになる。通常、演色性が悪い照明ほど、赤みが減り、黄色みが増すかまたは緑っぽい色再現性となる。そのため、図12に示す色再現性となる白色蛍光灯下でのWB調整完了時のR,B信号の利得(UDCR,URCB)が、図9の領域b内に位置するならば、R−Y信号の利得に対応するマトリクス係数b11を大きくなるように補正し、B−Y信号の利得に対応するマトリクス係数b22を小さくなるように補正することにより、図12に示した色再現を図11に示した色再現に近づけることができ、演色性を良くするように色再現性を補正することができる。
【0069】
このように実施の形態1によれば、WB調整のR,B信号利得値UDCR,UDCBに応じてマトリクス係数b11,b12,b21,b22を補正することにより、新たに外部センサを設けることなく、演色性の悪い照明を含めた様々な照明に応じて色再現性を適正に補正ができ、色再現性の良好な画像が得ることができる。また、外部センサを設ける場合よりも、装置の小型化や意匠についての自由度を大きくでき、低コストにすることが可能である。
【0070】
なお、上記実施の形態1では、図9に示したように、R,B信号の利得(UDCR,URCB)の調整範囲を領域a,b,c,sの4つに区分したが、上記調整範囲を2個、3個、または5個以上の領域に区分しても同様の効果を得ることができる。また、マトリクス補正値Δb11,Δb12,Δb21,Δb22についても、マトリクス係数b11,b12,b21,b22の初期値に加減算するのではなく、上記初期値に乗除算することも可能である。ただし、加減算による補正のほうが演算手段7Aの処理負担が軽減されることは言うまでもない。
【0071】
実施の形態2.
先に説明したように、TTL方式のWB調整では、被写体が単一色の場合や、ある特定の色が被写体の大部分を占める場合には、WB調整に誤差を生じる。このため、TTL方式のWB調整を採用した上記実施の形態1の撮像装置では、WB調整におけるUDCR,UDCBの調整範囲を制限することにより、WB調整の精度を上げている。しかし、アイリス1aの開口率小さい場合や、被写体の撮像倍率が高い場合には、UDCR,UDCBの調整範囲を制限しても、WB調整の精度が低下することがあり、このWB調整の精度が低下によって、上記実施の形態1の撮像装置においても、色再現性の補正精度が低下することがある。
【0072】
そこで、実施の形態2の撮像装置は、上記実施の形態1の撮像装置において、WB調整のUDCR,UDCBの値に応じたマトリクス補正値Δb11,Δb12,Δb21,Δb22(図10参照)を、アイリス1aの開口率に応じて、あるいは被写体の撮像倍率に応じて、あるいはアイリス1aの開口率および被写体の撮像倍率に応じて、補正することにより、アイリス1aの開口率小さい場合や、被写体の撮像倍率が高い場合の色再現性の誤補正を防止することを特徴とするものである。つまり、実施の形態2の撮像装置は、WB調整のUDCR,UDCBの値およびアイリス1aの開口率に応じて、あるいはWB調整のUDCR,UDCBの値および撮像倍率に応じて、あるいはWB調整のUDCR,UDCBの値、アイリス1aの開口率、および撮像倍率に応じて、マトリクス係数b11,b12,b21,b22を補正することにより、アイリス1aの開口率小さい場合や、被写体の撮像倍率が高い場合の色再現性の誤補正を防止することを特徴とするものである。
【0073】
図13は本発明の実施の形態2の撮像装置の構成図である。図13において、1Aはレンズユニット、1cはセンサ、7Bは演算手段であり、図1と同じものには同じ符号を付してある。このように実施の形態2の撮像装置は、上記実施の形態1の撮像装置(図1参照)において、レンズユニット1をレンズユニット1Aとし、演算手段7Aを演算手段7Bとしたものである。
【0074】
レンズユニット1Aは、図1のレンズユニット1において、センサ1cを設けたものである。センサ1cは、アイリス1aの開口率を検知するセンサであり、アイリス1aの開口率に応じた電圧信号を演算手段7Bに出力する。このセンサ1cは、レンズユニット1A内に設けられており、例えばホール素子などにより実現することができる。
【0075】
演算手段7Bは、上記実施の形態1の演算手段7Aにおいて、WB調整のUDCR,UDCBの値およびアイリス1aの開口率に応じて、あるいはWB調整のUDCR,UDCBの値および撮像倍率に応じて、あるいはWB調整のUDCR,UDCBの値、アイリス1aの開口率、および撮像倍率に応じて、マトリクス係数b11,b12,b21,b22を補正するものである。この演算手段7Bは、センサ1cから入力される信号によってアイリス1aの開口率を認識することができる。また、演算手段7Bは、ズームレンズドライバ12に制御信号を送ることでズームレンズ1dを駆動するため、上記の制御信号によってズームレンズ1dの位置を認識することができ、このズームレンズ1dの位置から被写体の撮像倍率を認識することができる。
【0076】
まず、WB調整のUDCR,UDCBの値およびアイリス1aの開口率に応じたマトリクス補正手順について以下に説明する。演算手段7Bは、センサ1cから入力される信号によってアイリス1aの開口率を認識することができるとともに、図10のようなUDCR,UDCBの調整範囲の領域ごとのマトリクス補正値Δb11,Δb12,Δb21,Δb22をあらかじめ備えている。さらに、演算手段7Bは、図14に示すLUT(Look Up Table)を備えている。図14のLUTにおいて、係数Iは、アイリス1aの開口率が大きくなるにつれて(Fナンバーが小さくなるにつれて)、その値が小さくなるようにあらかじめ定められている。
【0077】
演算手段7Bは、図14のLUTから、アイリス1aの開口率に応じた係数Iを求め、求めた係数Iを用いて、マトリクス補正値Δb11,Δb12,Δb21,Δb22に次式に示す演算を施す。
Δb11←Δb11/I…(8)
Δb12←Δb12/I…(9)
Δb21←Δb21/I…(10)
Δb22←Δb22/I…(11)
【0078】
TTL方式のWB調整では、アイリス1aの開口率が小さくなると、UDCR,UDCBの調整範囲を制限しても、WB調整の精度が低下することがある。これに対し、実施の形態2の撮像装置では、式(8)〜式(11)から判るように、マトリクス補正値Δb11〜Δb22を、アイリス1aの開口率が小さくなるにつれて(アイリス1aが閉じるにつれて)、小さな値にする。つまり、(UDCR,UDCB)が図9の領域a内に位置する場合、領域b内に位置する場合、領域c内に位置する場合のそれぞれにおいて、アイリス1aの開口率が小さくなるほど、マトリクス係数b11〜b22の補正量を小さくする。一般に、蛍光灯や水銀ランプなどの人工光下での被写体の照度は、太陽光下での被写体の照度によりも小さい。このため、アイリス1aが閉じるほど、太陽光下での撮影である可能性が高くなる。太陽光下では、マトリクス係数の補正は必要ない。そこで、実施の形態2の撮像装置では、アイリス1aが閉じるほどマトリクス係数の補正量を小さくすることにより、WB調整の精度低下による誤った色補正を防止している。
【0079】
次に、WB調整のUDCR,UDCBの値および撮像倍率に応じたマトリクス補正手順について以下に説明する。演算手段7Bは、ズームレンズドライバ12に送る制御信号によって被写体の撮像倍率を認識することができるとともに、図10のようなUDCR,UDCBの調整範囲の領域ごとのマトリクス補正値Δb11,Δb12,Δb21,Δb22をあらかじめ備えている。さらに、演算手段7Bは、図15に示すLUTを備えている。図15のLUTにおいて、係数zは、撮像倍率(ZOOM率)が大きくなるにつれて、その値が大きくなるようにあらかじめ定められている。
【0080】
演算手段7Bは、図15のLUTから、撮像倍率に応じた係数zを求め、求めた係数zを用いて、マトリクス補正値Δb11,Δb12,Δb21,Δb22に次式に示す演算を施す。
Δb11←Δb11/z…(12)
Δb12←Δb12/z…(13)
Δb21←Δb21/z…(14)
Δb22←Δb22/z…(15)
【0081】
被写体の撮像倍率が大きくなるにつれて、被写体の一部のみが撮像されていくため、単一色が大部分を占める可能性が高くなる。このため、TTL方式のWB調整では、被写体の撮像倍率が大きくなると、UDCR,UDCBの調整範囲を制限しても、WB調整の精度が低下することがある。これに対し、実施の形態2の撮像装置では、式(12)〜式(15)から判るように、マトリクス補正値Δb11〜Δb22を、撮像倍率が大きくなるにつれて、小さな値にする。つまり、(UDCR,UDCB)が図9の領域a内に位置する場合、領域b内に位置する場合、領域c内に位置する場合のそれぞれにおいて、撮像倍率が大きくなるほど、マトリクス係数b11〜b22の補正量を小さくすることにより、WB調整の精度低下による誤った色補正を防止している。
【0082】
次に、WB調整のUDCR,UDCBの値、アイリス1aの開口率、および撮像倍率に応じたマトリクス補正手順について以下に説明する。演算手段7Bは、センサ1cから入力される信号によってアイリス1aの開口率を認識することができ、ズームレンズドライバ12に送る制御信号によって被写体の撮像倍率を認識することができるとともに、図10のようなUDCR,UDCBの調整範囲の領域ごとのマトリクス補正値Δb11,Δb12,Δb21,Δb22をあらかじめ備えている。さらに、演算手段7Bは、アイリス1aの開口率についての係数IのLUT(図14参照)と、および撮像倍率についての係数zのLUT(図15参照)とを備えている。
【0083】
演算手段7Bは、図14のLUTからアイリス1aの開口率に応じた係数Iを求めるとともに、図15のLUTから撮像倍率に応じた係数zを求める、求めた係数Iおよびzを用いて、マトリクス補正値Δb11,Δb12,Δb21,Δb22に次式に示す演算を施す。
Δb11←Δb11/(I×z)…(16)
Δb12←Δb12/(I×z)…(17)
Δb21←Δb21/(I×z)…(18)
Δb22←Δb22/(I×z)…(19)
【0084】
式(16)〜式(19)から判るように、マトリクス補正値Δb11〜Δb22を、アイリス1aの開口率が小さくなりかつ撮像倍率が大きくなるにつれて、小さな値にする。つまり、(UDCR,UDCB)が図9の領域a内に位置する場合、領域b内に位置する場合、領域c内に位置する場合のそれぞれにおいて、アイリス1aの開口率が小さくなりかつ撮像倍率が大きくなるほど、マトリクス係数b11〜b22の補正量を小さくすることより、WB調整の精度低下による誤った色補正を防止している。
【0085】
このように実施の形態2によれば、WB調整のR,B信号利得値UDCR,UDCBおよびアイリス1aの開口率に応じてマトリクス係数b11,b12,b21,b22を補正することにより、アイリス1aの開口率が小さい場合にも、WB調整の精度低下を防止することができるので、WB調整の精度低下による色再現性の誤補正を防止し、色再現性の良好な画像が得ることができる。また、WB調整のR,B信号利得値UDCR,UDCBおよび被写体の撮像倍率に応じてマトリクス係数b11,b12,b21,b22を補正することにより、撮像倍率が大きい場合にも、WB調整の精度低下を防止することができるので、WB調整の精度低下による色再現性の誤補正を防止し、色再現性の良好な画像が得ることができる。
【0086】
なお、上記実施の形態2では、式(8)〜(15)のように、マトリクス補正値Δb11〜Δb22を、アイリス1aの開口率に応じた係数I、撮像倍率に応じた係数zで除算していたが、マトリクス補正値Δb11〜Δb22に係数I,zを加減算することも可能である。ただし、係数IのULTおよび係数zのULTを加減算に対応するように構成しておくことが必要である。加減算による補正のほうが演算手段7Bの処理負担が軽減されることは言うまでもない。
【0087】
実施の形態3.
図16は本発明の実施の形態3による撮像装置の構成図である。図16において、7Cは演算手段であり、図13と同じものには同じ符号を付してある。図16のように、実施の形態3の撮像装置は、上記実施の形態2の撮像装置(図13参照)において、演算手段7Bを演算手段7Cとし、撮像信号積算手段10およびアイリス制御手段11を削除し、アイリスドライバ3を演算手段7Cによって制御するようにしたものである。
【0088】
演算手段7Cは、上記実施の形態2の演算手段7Bにおいて、色信号積算手段8eによる積算値ΣR、ΣG、ΣBから撮像した画像の明るさL(例えば、L=ΣR+ΣG+ΣB)を算出し、このLの値すなわち平均画像レベル(APL)があらかじめ定められた一定レベルとなるように、アイリスドライバ3に制御信号を出力し、アイリスドライバ3によってアイリス1aを開閉させる。この実施の形態3の撮像装置では、色再現性について、上記実施の形態2の撮像装置と同様の効果を実現することができる。
【0089】
このように実施の形態3によれば、アイリスドライバ3を演算手段7Cによって制御することにより、撮像信号積算手段10およびアイリス制御手段11を削除でき、装置構成を簡略化することができる。
【0090】
なお、上記実施の形態3の演算手段7Cを上記実施の形態1に適用し、演算手段7Aによってアイリスドライバ3を制御することも可能である。
【0091】
実施の形態4.
図17は本発明の実施の形態4の撮像装置の構成図である。図17において、7Dは演算手段、8Aは信号処理手段、8fはマトリクス手段であり、図16と同じものには同じ符号を付してある。図17のように、実施の形態4の撮像装置は、上記実施の形態3の撮像装置(図16参照)において、演算手段7Cを演算手段7Dとし、信号処理手段8を信号処理手段8Aとしたものである。信号処理手段8Aは、上記実施の形態3の信号処理手段8において、マトリクス手段8cをマトリクス手段8fとし、加減算器8dを削除したものである。
【0092】
マトリクス手段8fは、上記実施の形態1のマトリクス手段8c(図1および図2参照)と異なり、入力された色信号R,G,Bを、次式(20)に示すマトリクス演算によってR−Y信およびB−Y号に変換し、これらのR−Y信号およびB−Y信号をエンコーダ8gに出力する。
【数5】
Figure 0003880276
式(20)において、c11,c12,c13,c21,c22,c23はマトリクス係数である。これらのマトリクス係数c11,c12,c13,c21,c22,c23は、演算手段7Dから入力される可変の値である。このマトリクス手段8fは、演算手段7Dからのマトリクス係数を用いたマトリクス演算により、WB調整された色信号R,G,Bを色差信号(ここでは、R−Y信号およびB−Y信号)に変換する変換手段に相当する。なお、マトリクス手段8fにおいて、U信号およびV信号を生成するようにすることも可能である。
【0093】
図18はマトリクス手段8fの一構成例を示す図である。図18において、マトリクス手段8fは、乗算器8p,8q,8r,8s,8t,8uと、加減算器(加算器)8v,8wとによって実現されている。マトリクス手段8fには、R−G信号およびB−G信号が入力されるとともに、式(20)に示したマトリクス係数c11,c12,c13,c21,c22,c23に対応する信号が演算手段7Dから入力される。
【0094】
乗算器8pは、R信号とc11の信号とを乗算し、加算器8vに出力する。乗算器8qは、G信号とc12の信号とを乗算し、加算器8vに出力する。乗算器8rは、B信号とc13の信号とを乗算し、加算器8vに出力する。加算器8vは、乗算器8pから入力された信号と、乗算器8qから入力された信号と、乗算器8rから入力された信号とを加算し、R−Y信号を生成する。
【0095】
また、乗算器8sは、R信号とc21の信号とを乗算し、加算器8wに出力する。乗算器8tは、G信号とc22の信号とを乗算し、加算器8wに出力する。乗算器8uは、B信号とc23の信号とを乗算し、加算器8wに出力する。加算器8wは、乗算器8sから入力された信号と、乗算器8tから入力された信号と、乗算器8uから入力された信号とを加算し、B−Y信号を生成する。
【0096】
演算手段7Dは、上記実施の形態1の演算手段7Cにおいて、WB調整のUDCR,UDCBの値およびアイリス1aの開口率に応じて、あるいはWB調整のUDCR,UDCBの値および撮像倍率に応じて、あるいはWB調整のUDCR,UDCBの値、アイリス1aの開口率、および撮像倍率に応じて、マトリクス係数c11,c12,c13,c21,c22,c23を補正する。
【0097】
実施の形態4の撮像装置におけるUDCR,UDCBの調整範囲および領域区分は、上記実施の形態1の撮像装置と同じであり、例えば図9の領域a,b,c,sである。図19は本発明の実施の形態4の撮像装置における図9の領域a,b,cに応じたマトリクス係数の補正値の一例を示す図である。
【0098】
演算手段7Dは、センサ1cから入力される信号によってアイリス1aの開口率を認識することができ、ズームレンズドライバ12に送る制御信号によって被写体の撮像倍率を認識することができるとともに、図19のようにUDCR,UDCBの調整範囲の領域区分ごとのマトリクス補正値Δc11,Δc12,Δc13,Δc21,Δb12をあらかじめ備えている。さらに、演算手段7Dは、アイリス1aの開口率についての係数IのLUT(図14参照)と、撮像倍率についての係数zのLUT(図15参照)とを備えている。
【0099】
演算手段7Dは、上記実施の形態1の演算手段7Aと同じようにして(図6のステップS9,S11,S13と同じようにして)、R,B信号利得(UDCR,UDCB)が図9のどの領域に内に位置しているかを判別する。また、アイリス1aの開口率についての係数Iまたは/および撮像倍率についての係数zを、図14または/および図15のLUTから求める。さらに、(UDCR,UDCB)が位置している領域に応じた上記マトリクス補正値Δc11〜Δc23(図19参照)に対し、上記実施の形態2の演算手段7Bと同じようにして(式(7)〜(19)と同じようにして)、係数Iまたは/および係数zによる補正演算を施す。そして、上記実施の形態1の演算手段7Aと同じようにして(図6のステップS10,S12,S14と同じようにして)、上記の補正演算を施したマトリクス補正値Δc11〜Δc23をマトリクス係数c11〜c23の初期値にそれぞれ加減算することにより、マトリクス係数c11〜c23を補正し、この補正したマトリクス係数c11〜c23をマトリクス手段8fに出力する。これにより、色再現性について、上記実施の形態2の撮像装置と同様の効果を実現することができる。
【0100】
このように実施の形態4によれば、演算手段7Dからのマトリクス係数を用いたマトリクス演算により、入力された色信号R,G,Bを色差信号(R−Y信およびB−Y号)に直接変換するマトリクス手段8fを設けたことにより、加減算器8d(図16参照)を削除でき、装置構成を簡略化することができる。
【0101】
なお、上記実施の形態4の信号処理装置8Aおよび演算手段7Dを、上記実施の形態1または2に適用することも可能である。
【0102】
【発明の効果】
以上のように本発明の請求項1記載の撮像装置によれば、白バランス調整の第1,第2の信号利得値に応じてマトリクス係数を補正することにより、新たに外部センサを設けることなく、演色性の悪い照明を含めた様々な照明に応じて色再現性を適正に補正ができ、色再現性の良好な画像が得ることができるという効果がある。また、外部センサを設ける場合よりも、装置の小型化や意匠についての自由度を大きくでき、低コストにすることが可能であるという効果がある。
【0103】
また、請求項2記載の撮像装置によれば、白バランス調整の第1,第2の信号利得値およびアイリスの開口率に応じてマトリクス係数を補正することにより、アイリスの開口率が小さい場合にも、白バランス調整の精度低下を防止することができるので、白バランス調整の精度低下による色再現性の誤補正を防止し、色再現性の良好な画像が得ることができるという効果がある。
【0104】
また、請求項3記載の撮像装置によれば、白バランス調整の第1,第2の信号利得値および被写体の撮像倍率に応じてマトリクス係数を補正することにより、撮像倍率が大きい場合にも、白バランス調整の精度低下を防止することができるので、白バランス調整の精度低下による色再現性の誤補正を防止し、色再現性の良好な画像が得ることができるという効果がある。
【図面の簡単な説明】
【図1】 本発明の実施の形態1の撮像装置の構成図である。
【図2】 本発明の実施の形態1の撮像装置におけるマトリクス手段の構成図である。
【図3】 R,G,B成分についての撮像素子の分光感度特性の一例を示す図である。
【図4】 ハロゲンランプや太陽光などに代表される演色性の良い照明の分光特性の一例を示す図である。
【図5】 蛍光灯に代表される演色性の悪い照明の分光特性の一例を示す図である。
【図6】 本発明の実施の形態1の撮像装置における色再現性の補正手順を説明するフローチャートである。
【図7】 UDCR,UDCBの値と照明(光源)の種類との関連、およびUDCR,UDCBの調整範囲を示す図である。
【図8】 WB調整におけるUDCR,UDCBの値の変化および収束例を示す図である。
【図9】 本発明の実施の形態1の撮像装置におけるUDCR,UDCBの調整範囲の領域区分の一例を示す図である。
【図10】 本発明の実施の形態1の撮像装置におけるUDCR,UDCBの調整範囲の領域区分に応じたマトリクス係数の補正値の一例を示す図である。。
【図11】 演色性の良い太陽光下でのRとYeの色再現性を示す図である。
【図12】 演色性の悪い白色蛍光灯下でのRとYeの色再現性および本発明の実施の形態1によるRとYeの色再現性の補正を示す図である。
【図13】 本発明の実施の形態2の撮像装置の構成図である。
【図14】 アイリスの開口率に応じたマトリクス補正値の補正係数IのLUTを説明する図である。
【図15】 撮像倍率に応じたマトリクス補正値の補正係数zのLUTを説明する図である。
【図16】 本発明の実施の形態3の撮像装置の構成図である。
【図17】 本発明の実施の形態4の撮像装置の構成図である。
【図18】 本発明の実施の形態4の撮像装置におけるマトリクス手段の構成図である。
【図19】 本発明の実施の形態4の撮像装置におけるUDCR,UDCBの調整範囲の領域区分に応じたマトリクス係数の補正値の一例を示す図である。
【図20】 従来の撮像装置の構成図である。
【図21】 色再現性の改善を図った従来の撮像装置の構成図である。
【符号の説明】
1 レンズユニット、 1a アイリス、 1b レンズ系、 1c センサ、 1d ズームレンズ、 2 撮像素子、 3 アイリスドライバ、 4 タイミングジェネレータ(TG)、 5 前置信号処理手段、 6 A/Dコンバータ、 7A,7B,7C,7D 演算手段、 8,8A 信号処理手段、 8a 色分離手段、 8b ホワイトバランス調整手段(WB調整手段)、 8cマトリクス手段、 8d 加減算器、 8e 色信号積算手段、 8f マトリクス手段、 8g エンコーダ、 8h,8i,8j,8k 乗算器、 8l,8m 加減算器、 8p,8q,8r,8s,8t,8u 乗算器、 8v,8w 加減算器、8ba,8bb,8bc 利得制御手段、 9 出力端子、 10 撮像信号積算手段、 11 アイリス制御手段、 12 ズームレンズドライバ。

Claims (3)

  1. 被写体の光学像を撮像信号に変換する撮像素子と、
    上記光学像を上記撮像素子上に結像させるレンズユニットと、
    上記撮像信号から第1、第2、第3の色信号を分離する色分離手段と、
    第1の信号利得値に従って第1の色信号の信号レベルを調整するとともに第2の信号利得値に従って第2の色信号の信号レベルを調整することにより、第1、第2、第3の色信号の信号レベルが互いに等しくなるように白バランス調整する白バランス調整手段と、
    白バランス調整された第1、第2、第3の色信号の積算値をそれぞれ算出する積算手段と、
    上記積算値が互いに等しくなるように上記第1および第2の信号利得値を上記白バランス調整手段に出力する演算手段と、
    上記演算手段からのマトリクス係数を用いたマトリクス演算により、上記白バランス調整された色信号を色差信号に変換する変換手段と
    を備え、
    上記演算手段は、
    上記第1の色信号および第2の色信号に対して1つずつ、数値を“1”ずつアップまたはダウンさせるアップダウンカウンタの役割をして、カウンタ値を上記第1および第2の信号利得値として白バランス調整手段に出力する手段を有して、
    上記第3の色信号の積算値と、上記第1の色信号又は上記第2の色信号の積算値とを比較し、その大小により、上記第1又は第2の信号利得値をあらかじめ定められた一定の値だけ増減させて、上記第1、第2、第3の色信号の積算値が略等しい値に収束するように、上記第1および第2の信号利得値の調整を繰り返すことで、上記第1、第2、第3の色信号のレベルが略等しくなるように白バランスを調整すると共に、
    上記白バランス調整における上記第1および第2の信号利得値の調整範囲内に、照明の種類及びその演色性に応じた領域区分、及び、該各領域区分に応じた個別のマトリクス補正値を設定しておき、
    上記白バランス調整における上記第1および第2の信号利得値の調整の間に、上記第1および第2の信号利得値が、上記各領域区分のいずれかの領域内に位置しているかを判別することで照明の種類を判別すると共に、その位置する領域区分に応じた補正値でマトリクス係数を補正する
    ことを特徴とする撮像装置。
  2. 上記レンズユニットは、上記撮像素子に入射する光量を調整するアイリスと、上記アイリスの開口率を検知するセンサとを有し、
    上記演算手段は、上記信号利得値および上記開口率に応じてマトリクス係数を補正する
    ことを特徴とする請求項1記載の撮像装置。
  3. 上記レンズユニットは、上記演算手段からの制御信号に従って被写体の撮像倍率を変える手段を有し、
    上記演算手段は、上記信号利得値および上記撮像倍率に応じてマトリクス係数を補正する
    ことを特徴とする請求項1記載の撮像装置。
JP2000058507A 2000-03-03 2000-03-03 撮像装置 Expired - Fee Related JP3880276B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000058507A JP3880276B2 (ja) 2000-03-03 2000-03-03 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000058507A JP3880276B2 (ja) 2000-03-03 2000-03-03 撮像装置

Publications (2)

Publication Number Publication Date
JP2001251644A JP2001251644A (ja) 2001-09-14
JP3880276B2 true JP3880276B2 (ja) 2007-02-14

Family

ID=18579090

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000058507A Expired - Fee Related JP3880276B2 (ja) 2000-03-03 2000-03-03 撮像装置

Country Status (1)

Country Link
JP (1) JP3880276B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3861808B2 (ja) 2002-12-25 2006-12-27 ソニー株式会社 撮像装置
JP2009239323A (ja) * 2006-07-27 2009-10-15 Panasonic Corp 映像信号処理装置

Also Published As

Publication number Publication date
JP2001251644A (ja) 2001-09-14

Similar Documents

Publication Publication Date Title
US6995791B2 (en) Automatic white balance for digital imaging
US7030913B2 (en) White balance control apparatus and method, and image pickup apparatus
JP4324404B2 (ja) 固体撮像装置及びデジタルカメラ
US7102669B2 (en) Digital color image pre-processing
US7479991B2 (en) Digital camera, and signal processing method and signal processing apparatus for the same
US20070076103A1 (en) Image pickup apparatus and image processing method
KR20040057927A (ko) 화상합성방법 및 촬상장치
JP4892909B2 (ja) 信号処理方法、信号処理回路およびこれを用いたカメラシステム
US20020071041A1 (en) Enhanced resolution mode using color image capture device
JP2006094112A (ja) 撮像装置
JP3919389B2 (ja) 信号処理装置及び信号処理方法
US8384799B2 (en) Image processing apparatus and image processing method
JP4049257B2 (ja) 固体撮像装置及びデジタルカメラ
JP3142603B2 (ja) 画像撮影装置のホワイトバランス装置
JP3880276B2 (ja) 撮像装置
KR100529259B1 (ko) 색억압 회로
JP3966866B2 (ja) 撮像装置、カメラ、及び信号処理方法
JPH11341502A (ja) 固体撮像素子の信号処理回路およびカメラシステム
JP3966868B2 (ja) 撮像装置、カメラ、及び信号処理方法
JP3609138B2 (ja) ビデオカメラ
JP6632093B2 (ja) 撮像装置
JP2003070009A (ja) 撮像装置
JP4397724B2 (ja) 撮像装置、カメラ、及び信号処理方法
JP4240257B2 (ja) 電子カメラ
KR100319860B1 (ko) 캠코더의 화이트 밸런스 보정장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040816

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061107

R150 Certificate of patent or registration of utility model

Ref document number: 3880276

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091117

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101117

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111117

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131117

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees