JP3551568B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP3551568B2 JP3551568B2 JP20566395A JP20566395A JP3551568B2 JP 3551568 B2 JP3551568 B2 JP 3551568B2 JP 20566395 A JP20566395 A JP 20566395A JP 20566395 A JP20566395 A JP 20566395A JP 3551568 B2 JP3551568 B2 JP 3551568B2
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- light source
- data
- color
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤ等の撮像素子を用いた撮像装置に係り、特に撮像画像のホワイトバランス調整に関するものである。
【０００２】
【従来の技術】
レンズに入射した光像を電気信号に変換して取り込むカラービデオカメラやスチルビデオカメラにおいては、使用されるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像センサの分光感度特性は一定で、被写体の光源の色温度が変化した場合、撮像画像に色ずれが生じるため、通常、この色ずれを補正するために撮像信号のホワイトバランスが取られるようになっている。
【０００３】
上記ホワイトバランスは、撮像画像内の光源の色温度情報が含まれる高輝度部（白色部）の画像データに基づき撮像画像のＲ，Ｇ，Ｂの各色成分のレベル比（Ｒ／Ｇ，Ｂ／Ｇ）を調整することにより可能であるが、従来のカラービデオカメラやスチルビデオカメラでは、入射光量に比例した電圧を出力するリニアな光電変換特性を有するＣＣＤが用いられており、被写体の輝度範囲に対するダイナミックレンジが不十分で、撮像画面内の高輝度部から正確に光源の色温度情報が抽出できないため、高輝度部の画像データを用いたホワイトバランスの調整方法は採用されていない。
【０００４】
すなわち、従来のビデオカメラに使用される撮像センサは、図１４の特性▲１▼に示すように、光の強度（特性▲１▼の傾き）を比例係数とする入射光量に比例した電圧を出力するリニアな光電変換特性を有し、ダイナミックレンジに対する入射光量の範囲（領域Ａ１）が狭く、撮像センサの露光時間のみを制御して撮像すると、光源の色温度情報が含まれる高輝度部（領域Ａ２）の画像はオーバーフローしてしまう。特に補色系単板式ＣＣＤを用いたものでは色変調キャリアが飽和して色が回るため、色再現性を考慮すると、更にダイナミックレンジが狭くなる。
【０００５】
このため、正確な光源の色温度情報が得られない高輝度部の画像データに基づいてホワイトバランスの調整を行うと、却って色ずれを悪化させることになる。
【０００６】
絞りにより入射光量を制限して特性▲１▼の傾きを特性▲２▼のように変化させ、入射光量と露光時間とを制御して撮像センサのダイナミックレンジを拡張することによりオーバーフローさせることなく高輝度部の画像を取り込むことも可能であるが、主要被写体のＳ／Ｎ比劣化を招くため、このような露出制御を行うことができず、高輝度部の画像データに基づくホワイトバランス調整は採用されていない。
【０００７】
上記のように撮像センサの光電変換特性により高輝度部から信頼性のある光源情報が得られないので、従来、これに代わるものとして比較的明るく彩度の低い部分の撮像信号に基づきホワイトバランスの調整が行われている。
【０００８】
すなわち、Ｒ，Ｇ，Ｂの各色成分の画像信号をＹ信号（輝度信号）とＣ信号（色信号）とに変換し、Ｃ信号が所定レベル以下で、かつ、Ｙ信号が所定レベル以上の部分の画像信号を基準レベルとしてホワイトバランスの調整が行われている。
【０００９】
【発明が解決しようとする課題】
しかし、上記従来のホワイトバランスの調整方法は、比較的明るく彩度の低い部分の撮像データから光源の色温度情報を推定しているので、ホワイトバランス調整値の精度及びその信頼性が十分とはいえず、逆光シーン、晴天シーン、夜景シーン等の光源の色温度が異なる種々の撮影シーンに対して適切な色補正を行うことは困難だった。
【００１０】
本発明は、上記課題に鑑みてなされものであり、対数出力型の光電変換特性を有する撮像素子を用い、この撮像素子で得られた画像信号の光源の色温度情報が含まれる部分の画像信号を用いてホワイトバランスを行うことにより簡単かつ正確に色補正が可能な撮像装置を提供するものである。
【００１１】
【課題を解決するための手段】
本発明は、入射光をその光量に対して対数圧縮された電気信号に変換して出力する複数の光電変換素子からなる撮像手段と、上記撮像手段で撮像された画像から所定の高輝度領域を抽出する領域抽出手段と、抽出された高輝度領域から光源の色温度を検出する検出手段と、検出された、高輝度領域からの光源の色温度に基づくデータ及び該高輝度領域以外の領域の画像データから算出されたデータを基に上記撮像画像のホワイトバランス調整用のデータを生成するデータ生成手段とを備えたものである。
【００１２】
上記構成によれば、被写体光像はその輝度に対して対数圧縮された電気信号に変換されて撮像され、この撮像画像から所定の高輝度領域が抽出される。そして、この高輝度領域から光源の色温度が検出され、この検出結果及び高輝度領域以外の領域の画像データから算出されたデータに基づき上記撮像画像のホワイトバランス調整用のデータが生成される。
【００１３】
【発明の実施の形態】
図１は、本発明に係る撮像装置のブロック構成図である。
撮像装置１は、被写体からの反射光（被写体光像）を撮像系に導く光学系、上記被写体光像を電気信号に変換して取り込む撮像系、この撮像系で撮像された画像信号の信号処理を行う信号処理系とから構成されている。
【００１４】
光学系は、被写体光像を撮像系の撮像面に結像するレンズ系２、非撮像時にＣＣＤイメージセンサ６を保護するためのアイリス３及びこのアイリス３の駆動を制御するアイリスドライバ４からなる。アイリスドライバ４は、後述する露出制御演算回路９５から入力される露出制御値に基づきアイリス３の開閉を制御する。すなわち、アイリスドライバ４は、ＣＣＤイメージセンサ６の撮像動作開始直前にアイリス３を開口させ、所定の露光時間の経過後、アイリス３を閉塞させ、非撮像時はＣＣＤイメージセンサ６への入射光を遮断する。
【００１５】
撮像系は、入射光をＲ（赤），Ｇ（緑）、Ｂ（青）の３原色の色成分に分解するダイクロイックプリズム５、このダイクロイックプリズム５から出力されるＲ，Ｇ，Ｂの各色成分の被写体光像を電気信号に光電変換して取り込む３枚のＣＣＤイメージセンサ６（Ｒ），６（Ｇ），６（Ｂ）及びこれらのＣＣＤイメージセンサ６（Ｒ），６（Ｇ），６（Ｂ）の駆動を制御するタイミングジェネレータ７からなる。
【００１６】
なお、本実施の形態では撮像系を３板式ＣＣＤイメージセンサで構成しているが、単板式ＣＣＤイメージセンサで構成してもよい。
【００１７】
ＣＣＤイメージセンサ６（撮像手段）は、入射光量に対する出力電圧が対数関数となる光電変換特性を有し、各画素は等価的に図３に示す回路で構成されている。
【００１８】
各画素は、入射光量を対数圧縮された電圧に光電変換して出力する感光部６１とこの感光部６１からの出力電圧に基づき電荷を蓄積する電荷蓄積部６２とからなる。
【００１９】
感光部６１は入射光をその強度に比例した光電流Ｉｐに光電変換するｐｎ接合型フォトダイオードＰＤと上記光電流Ｉｐを対数圧縮された電圧ＶＧに変換するｎチャネルＭＯＳ型電界効果トランジスタＦＥＴ（以下、ＭＯＳＦＥＴという。）とから構成されている。
【００２０】
上記フォトダイオードＰＤのアノードは上記ＭＯＳＦＥＴのドレイン（Ｄ）とゲート（Ｇ）とに接続され、フォトダイオードＰＤのカソードには電源電圧ＶＤＤが印加されている。また、上記ＭＯＳＦＥＴのゲート（Ｇ）は電荷蓄積部６２の第１電極Ｍ１に接続され、ＭＯＳＦＥＴのソース（Ｓ）及びバックゲート（基板）にはそれぞれＤＣ（直流）電圧ＶＳＳとＤＣ電圧ＶＳＵＢが印加されている。
【００２１】
なお、ここでＶＤＤ＞ＶＳＳ＞ＶＳＵＢであり、フォトダイオードＰＤには逆バイアスが印加され、ＭＯＳＦＥＴのソース（Ｓ）及びドレイン（Ｄ）とバックゲートにも逆バイアスが印加されている。
【００２２】
電荷蓄積部６２は、余剰電荷を排出する入力ダイオード６２１、蓄積電荷電圧を制御する第１電極Ｍ１、電荷を蓄積する第２電極Ｍ２、蓄積電荷の読出を制御する第３電極Ｍ３及び読み出された蓄積電荷の転送を行う第４電極Ｍ４以降の複数の電極からなる２相駆動型ＣＣＤから構成されている。
【００２３】
上記入力ダイオード６２１には電荷蓄積部６２の電荷蓄積開始を制御する制御パルスφＤ（ローレベルのパルス信号）が入力され、上記第１電極Ｍ１にはＭＯＳＦＥＴのゲート電圧ＶＧが入力されるようになっている。
【００２４】
また、上記第２電極Ｍ２と第３電極Ｍ３とにはそれぞれダイナミックレンジのオフセットレベルを調整するＤＣ電圧ＶＲと電荷蓄積部６２の電荷蓄積終了を制御するシフトパルスφＳ（ハイレベルのパルス信号）とが印加され、上記第４電極Ｍ４以降の偶数番目の電極Ｍ（２ｉ＋２）（ｉ＝１，２，…）と奇数番目の電極Ｍ（２ｉ＋３）（ｉ＝１，２，…）とにはそれぞれ蓄積電荷を読出しを制御する第１転送パルスφ１と第２転送パルスφ２とが印加されるようになっている。なお、上記第１パルスφ１及び第２転送パルスφ２は互いに位相がπだけずれたパルス列信号である。
【００２５】
ここで、感光部６１と電荷蓄積部６２の各動作について説明する。
閾値電圧ＶＴが（ＶＧ−ＶＳ）≦ＶＴ＋（ｎｋＴ／ｑ）を満足するとき、ｎチャネルＭＯＳ型電界効果トランジスタのドレイン（Ｄ）には下記▲１▼式に示すサブスレッショールド電流ＩＤＳ（ｓｕｂ−ｔｈｒｅｓｈｏｌｄ ｃｕｒｒｒｅｎｔ）と呼ばれる微小電流が流れることが知られている。
【００２６】
【数１】
【００２７】
上記▲１▼式において、表面準位密度Ｎｆｓ＝０（すなわち、Ｃｆｓ＝０）、（Ｋ／ｎ）≪（ＶＤ−ＶＳ）とすると、ｎ＝ｍ、１≪ｍ（ＶＤ−ＶＳ）／Ｋとなり、ｅｘｐ｛−ｍ（ＶＤ−ＶＳ）／Ｋ｝≒０となるから、上記▲１▼式は下記▲２▼式となる。
【００２８】
【数２】
【００２９】
上記▲２▼式より、閾値電圧ＶＴが（ＶＧ−ＶＳ）≦ＶＴ＋Ｋを満足し、かつ、（Ｋ／ｎ）≪ＶＤ−ＶＳ＝ＶＧ−ＶＳのとき、すなわち、（Ｋ／ｎ）≪（ＶＧ−ＶＳ）≦（ＶＴ＋Ｋ）であれば、ＭＯＳＦＥＴのドレイン（Ｄ）に流れるサブスレッショールド電流ＩＤＳはゲート・ソース間の電位差（ＶＧ−ＶＳ）の指数関数となることが分かる。
【００３０】
一方、上記閾値電圧ＶＴは下記▲３▼式で表され、（ＶＳＳ（＝ＶＳ）−ＶＳＵＢ）により変化するから、ＤＣ電圧ＶＳＵＢを適切に調整して上記（Ｋ／ｎ）≪（ＶＧ−ＶＳ）≦ＶＴ＋Ｋの条件を満足するようにＭＯＳＦＥＴの動作状態を設定すると、回路構成上、ＩＤ＝ＩＰであるから、光電流ＩＰ＝ＩＤＳ０・ｅｘｐ｛（ＶＧ−ＶＳＳ−ＶＴ）／Ｋ｝となり、ＭＯＳＦＥＴのゲート（Ｇ）には下記数▲４▼に示す対数圧縮されたゲート電圧ＶＧが出力される。
【００３１】
【数３】
【００３２】
【数４】
【００３３】
従って、感光部６１に光が入射すると、その光の強度に比例した光電流ＩＰがフォトダイオードＰＤのカソードからアノードに流れ、ＭＯＳＦＥＴのドレイン（Ｄ）とゲート（Ｇ）とに供給される。そして、この光電流ＩＰは対数圧縮された電圧に変換されてＭＯＳＦＥＴのゲート（Ｇ）から出力される。すなわち、感光部６１においては、入射光が入射光量に対して対数圧縮された電圧に光電変換されて出力される。
【００３４】
一方、電荷蓄積部６２においては、各電極Ｍ１，Ｍ２，…の直下にポテンシャルの井戸が形成され、上記第２電極Ｍ２直下のポテンシャルの井戸に上記ＭＯＳＦＥＴのゲート電圧ＶＧに対応した電荷量が蓄積されるようになっている。
【００３５】
ポテンシャルの井戸の深さは対応する電極への印加電圧が高くなる程、深くなり、電荷に対するポテンシャルレベルは低くなるようなっている。従って、上記ＤＣ電圧ＶＲを高くするほど、上記第２電極Ｍ２直下のポテンシャルの井戸の深さが深くなり、この井戸への電荷蓄積容量は大きくなる。
【００３６】
上記第２電極Ｍ２直下のポテンシャルの井戸への電荷の蓄積は、最初、上記ＤＣ電圧ＶＲにより決定される最大蓄積量ＣＭＡＸ（ＣＣＤのダイナミックレンジに相当する電荷量）の電荷を上記井戸に注入しておき、この後、所定の露光時間だけ上記ＭＯＳＦＥＴのゲート電圧ＶＧに基づき上記井戸の上限レベルを低下させて入射光量に対応する量ＣＬｏｇ（露光量に相当する電荷量）の電荷を上記入力ダイオード６２１に排出することにより行われる。
【００３７】
従って、露出制御終了時には、上記ポテンシャルの井戸に最大蓄積量ＣＭＡＸからゲート電圧ＶＧに比例した量ＣＬｏｇ（入射光量に対して対数圧縮された電荷量）を除いた量ＣＩＮＴ（＝ＣＭＡＸ−ＣＬｏｇ）の電荷が蓄積される。なお、この電荷量ＣＩＮＴは、電荷蓄積部６２のダイナミックレンジ（感度範囲）から被写体の輝度を差し引いた輝度値であるから、被写体輝度を白黒反転したネガ信号となっている。
【００３８】
上記第２電極Ｍ２直下のポテンシャルの井戸に蓄積された電荷は、上記露光時間が経過した時にシフトパルスφＳを入力し、第３電極Ｍ３直下のポテンシャルレベルを第２電極Ｍ２直下のポテンシャルレベルより低下させ、この第３電極Ｍ３直下を通して第４電極Ｍ４直下の転送領域に排出することにより読み出される。
【００３９】
図４は、電荷蓄積部６２の電荷蓄積及び蓄積電荷の転送処理を示すタイムチャートを示し、図５は、図４のタイムチャートの各タイミングにおける電荷蓄積部６２のポテンシャルの状態を示す図である。なお、図５において、斜線部は電荷を示している。
【００４０】
図４において、時刻ｔ１は露光開始タイミングであり、時刻ｔ４は露光終了タイミングである。ｔ＝ｔ１で制御パルスφＤがローレベルに立ち下がると、入力ダイオード６２１側から第１電極Ｍ１の下を通って第２電極Ｍ２直下のポテンシャルの井戸Ｗ１に電子が注入され（図５（ａ））、ｔ＝ｔ２で制御パルスφＤがハイレベルに立ち上がると、上記井戸Ｗ１に対して余剰の電子が第１電極Ｍ１の下を通って入力ダイオード６２１に排出され、これと同時に電荷蓄積（露光動作）が開始される（図５（ｂ））。
【００４１】
すなわち、制御パルスφＤが入力されると、ポテンシャルの井戸Ｗ１に上記最大蓄積量ＣＭＡＸの電荷を注入することでＣＣＤのリセットが行われ、露光が開始される。
【００４２】
露光が開始されると、ＭＯＳＦＥＴのゲート電圧ＶＧは入射光量に対して対数圧縮された特性で上昇し、この電圧上昇に応じて第１電極Ｍ１直下のポテンシャルが深くなり、上記ポテンシャルの井戸Ｗ１の電荷が第１電極Ｍ１の下を通って入力ダイオード６２１に排出される（図５（ｃ））。
【００４３】
これにより上記ポテンシャルの井戸Ｗ１には上記電荷量ＣＩＮＴ（＝ＣＭＡＸ−ＣＬｏｇ）が残留する。上記電荷量ＣＩＮＴはＤＣ電圧ＶＲと上記ゲート電圧ＶＧとの電位差ＶＲＧ（＝ＶＲ−ＶＧ）の関数となるが、露光時間内に排出される電荷量ＣＬｏｇは上記ゲート電圧ＶＧの対数特性に基づくものであるから、上記電荷量ＣＩＮＴも対数特性となる。
【００４４】
そして、ｔ＝ｔ４でシフトパルスφＳがハイレベルに立ち上がると、第３電極Ｍ３直下のポテンシャルの井戸Ｗ２のレベルがポテンシャルの井戸Ｗ１のレベルより低下し、この井戸Ｗ１に残留している蓄積電荷が第３電極Ｍ３直下のポテンシャルの井戸Ｗ２に転送されて露光は終了し（図５（ｄ））、ｔ＝ｔ５でシフトパルスφＳがローレベルに立ち下がると、上記ポテンシャルの井戸Ｗ２のレベルがポテンシャルの井戸Ｗ１のレベルより高くなり、蓄積電荷が第４電極Ｍ４以降の電極直下のポテンシャルの井戸（シフトレジスタ）に転送され、この蓄積電荷の信号処理系への読出が可能になる（図５（ｅ））。
【００４５】
そして、この後、ｔ＝ｔ６から第１，第２転送パルスφ１，φ２が入力されると、第１，第２転送パルスφ１，φ２に同期して第４電極Ｍ４以降の電極Ｍ（ｉ＋３）（ｉ＝１，２，…）が交互に順次、ローレベルに変化され、上記蓄積電荷が第４電極Ｍ４以降の電極直下のポテンシャルの井戸に順次、転送されて信号処理系に読み出される（図５（ｆ））。
【００４６】
上記のようにＣＣＤイメージセンサ６は被写体からの入射光をその光量に対して対数圧縮された電気信号に変換して出力するので、図６に示す光電変換特性を有している。
【００４７】
同図において、横軸は入射光量であり、縦軸はイメージセンサからの出力電圧である。
【００４８】
上述したように、通常のＣＣＤイメージセンサはリニアな光電変換特性を有しているので（図１４参照）、ＣＣＤ出力電圧の範囲（ダイナミックレンジ）に対する入射光量の範囲Ａ１が非常に狭く、例えばスキーのゲレンデや晴天の雪景色を背景とする被写体をＣＣＤイメージセンサの露光時間のみを制御して撮影すると、背景の高輝度部分の出力がオーバーフローしてしまい、撮影画像の濃度バランスが著しく損なわれることとなる。
【００４９】
このため、通常のＣＣＤイメージセンサを用いたカメラでは、被写体からの入射光量を制限する絞りを設け、この入射光量と上記露光時間とを調整することによりＣＣＤイメージセンサの光電変換特性の傾きを小さくしてダイナミックレンジを拡張するようにしている。
【００５０】
一方、本発明に係るＣＣＤイメージセンサ６は、図６に示すように、対数圧縮して出力するノンリニアな光電変換特性を有しているので、ＣＣＤ出力電圧の範囲（ダイナミックレンジ）Ｄに対する入射光量の範囲Ａ３が非常に広く、通常のＣＣＤイメージセンサのように絞りや蓄積時間制御を用いて入射光量を調整する必要はなく、ダイナミックレンジＡ３について適正露出を得ることができるようになっている。
【００５１】
また、上述のようにＤＣ電圧ＶＲは上記第２電極Ｍ２直下のポテンシャルの井戸Ｗ１の深さを決定し、ＤＣ電圧ＶＲによりＣＣＤイメージセンサ６のダイナミックレンジの範囲が変化するようになっている。これは図６において、ＤＣ電圧ＶＲによりＣＣＤイメージセンサ６のダイナミックレンジのオフセットレベルＶＬを変化することに相当する。
【００５２】
従って、ＣＣＤイメージセンサ６では、上記ＤＣ電圧ＶＲを調整することにより等価的にダイナミックレンジＤ′〜Ｄの範囲で適正露出が可能になるので、本撮像装置１では、上記ＤＣ電圧ＶＲにより露出制御を行うようにしている。
【００５３】
図１に戻り、タイミングジェネレータ７はＣＣＤイメージセンサ６（Ｒ），６（Ｇ），６（Ｂ）、相関二重サンプリング回路８１の駆動を制御するクロックを生成するとともに、露出制御演算回路９５から入力される露出値に基づき上記制御パルスφＤ、シフトパルスφＳ、第１，第２転送パルスφ１，φ２等の各種制御信号を生成する。
【００５４】
信号処理系は撮像系から出力される画像信号（アナログ信号）に所定の信号処理を施し、デジタル信号に変換するアナログ信号処理回路８とデジタル信号に変換された画像信号（以下、画像データという。）に所定の信号処理を施して出力するデジタル信号処理回路９とから構成されている。
【００５５】
アナログ信号処理回路８は、上記ＣＣＤイメージセンサ６から出力される画像信号のノイズを抑圧する相関二重サンプリング回路８１（図中、ＣＤＳで示す。以下、ＣＤＳ回路８１という。）、上記画像信号を所定の規定レベルに増幅するプリアンプ８２、上記画像信号のホワイトバランスを調整するホワイトバランス回路８３（以下、ＷＢ回路８３という。）及び画像信号をＡ／Ｄ変換するＡ／Ｄコンバータ８４を備えている。
【００５６】
ＷＢ回路８３はＲ，Ｇ，Ｂの各色成分の画像信号のゲインを調整する３個のＷＢアンプ（図中、ＶＣＡで示す。）を備え、Ｇ色の画像信号を所定の基準レベルに設定するとともに、Ｒ色及びＢ色の各画像信号のレベルを色補正演算回路９８からＤ／Ａコンバータ９９を介して入力されるアンプゲイン制御値ＡＧＲ，ＡＧＢに基づき調整する。
【００５７】
Ａ／Ｄコンバータ８４は３個のＡ／Ｄコンバータ８４（Ｒ），８４（Ｇ），８４（Ｂ）を有し、Ｒ，Ｇ，Ｂの各色成分の画像信号を構成する画素信号をそれぞれ１０ビットの画像データに変換する。この画像データはデジタル信号処理回路９内のγ補正回路９１、Ｙマトリックス回路９４、光源判別回路９７及び色補正演算回路９８に入力される。
【００５８】
デジタル信号処理回路９は、Ａ／Ｄコンバータ８４から入力される画像データのγ特性を補正するγ補正回路９１、画像データの輪郭補正を行うエンハンサ９２、デジタル信号処理後の画像データをアナログ信号に変換して出力するＤ／Ａコンバータ９３、Ｒ，Ｇ，Ｂの画像データから輝度データを生成するＹマトリックス回路９４、このＹマトリックス回路９４で生成された輝度データから露出制御値（ＤＣ電圧ＶＲ）、プリアンプ５のゲイン調整値及びγ補正回路９１のγ補正テーブルを生成する露出制御演算回路９５、エンハンサ９２の輪郭補正を制御する輪郭補正制御回路９６、画像データから光源の色温度を検出するとともに、この検出確度を演算する光源判別回路９７、上記アンプゲイン制御値を演算する色補正演算回路９８及びこの色補正演算回路９８から出力されるアンプゲイン制御値をアナログデータに変換するＤ／Ａコンバータ９９を備えている。
【００５９】
γ補正回路９１はＲ，Ｇ，Ｂの各色成分の画像データに対応して３個のγ補正回路を有している。各γ補正回路９１（Ｒ），９１（Ｇ），９１（Ｂ）は露出制御演算回路９５で作成された階調補正用のルックアップテーブルを用いてＲ，Ｇ，Ｂの各色成分の画像データを構成する各画素データのγ変換を行う。なお、このとき、各画素データは１０ビットデータから８ビットデータに変換される。
【００６０】
本実施の形態では、入力部で対数変換されていて入力画像のレンジが広いため、画像入力時には入力画像より主要被写体のレベルを適正値に変換し、更にこの変換後のレベルに対して最適なγ特性を持たせる必要がある。この出力に対する露出レベル調整とγ調整とを各γ補正回路９１（Ｒ），９１（Ｇ），９１（Ｂ）で行っている。
【００６１】
エンハンサ９２もＲ，Ｇ，Ｂの各色成分の画像データに対して３個のエンハンサを有している。各エンハンサ９２（Ｒ），９２（Ｇ），９２（Ｂ）は、輪郭補正制御回路９６から入力される輪郭制御信号に基づき画像データの水平方向及び垂直方向に輪郭信号を付加して画像のエッジ部を強調し、解像度感を高める。
【００６２】
Ｄ／Ａコンバータ９３もＲ，Ｇ，Ｂの各色成分の画像データに対して３個のＤ／Ａコンバータ９３（Ｒ），９３（Ｇ），９３（Ｂ）を有し、所定の信号処理後の画像データをアナログ信号に変換して出力する。
【００６３】
Ｙマトリックス回路９４は、Ｒ，Ｇ，Ｂの各色成分の画像データを比視感度に近い所定の割合（例えば、Ｒ：Ｇ：Ｂ：＝０．３３：０．５９：０．１１）で合成して輝度データを生成する。この輝度データは露出制御演算回路９５、光源判別回路９７に入力されるとともに、露出制御演算回路９５を介して輪郭補正制御回路９６に入力される。
【００６４】
露出制御演算回路９５はＹマトリックス回路９４で生成された輝度データから予め設定されたテーブルを用いてＣＣＤイメージセンサ６のＤＣ電圧ＶＲ及びプリアンプ５のゲイン調整値を演算し、ＤＣ電圧ＶＲをタイミングジェネレータ７に出力し、ゲイン調整値をプリアンプ５に出力する。
【００６５】
輪郭補正制御回路９６は、輝度データに基づきＲ，Ｇ，Ｂの各色成分の画像データに対する輪郭強調レベルを設定し、輪郭制御信号としてそれぞれエンハンサ９２（Ｒ），９２（Ｇ），９２（Ｂ）に出力する。
【００６６】
光源判別回路９７はＲ，Ｇ，Ｂの各色成分の画像データから所定レベルの高輝度領域の画像データを抽出し、この画像データから光源の色温度を検出するとともに、ホワイトバランス調整データＷＢＤ１（Ｒ１／Ｇ１，Ｂ１／Ｇ１）を演算する。なお、上記Ｒ１，Ｇ１，Ｂ１は上記高輝度領域に含まれるＲ，Ｇ，Ｂの各色成分の画像データの平均レベルである。
【００６７】
また、光源判別回路９７は上記光源の色温度の検出精度を判別し、この判別結果から上記アンプゲイン制御値（ＡＧＲ，ＡＧＢ）を生成するための制御信号を生成する。
【００６８】
なお、上記アンプゲイン制御値（ＡＧＲ，ＡＧＢ）は、後述するように高輝度領域の画像データから算出されたホワイトバランス調整データＷＢＤ１と上記高輝度領域を除く領域（以下、低輝度領域という。）の画像データから算出されたホワイトバランス調整データＷＢＤ２（Ｒ２／Ｇ２，Ｂ２／Ｇ２）とを所定の比率αで加算し、更にこの加算結果の逆数を演算することで生成され、上記制御信号は上記加算比率αを指示する信号である。なお、上記Ｒ２，Ｇ２，Ｂ２は上記低輝度領域に含まれるＲ，Ｇ，Ｂの各色成分の画像データの平均レベルである。
【００６９】
色補正演算回路９８は、Ｒ，Ｇ，Ｂの各色成分の画像データから上記低輝度領域の画像データを抽出し、この画像データから上記ホワイトバランス調整データＷＢＤ２を演算するとともに、光源判別回路９７から入力される加算比率αに基づきこのホワイトバランス調整データＷＢＤ２と上記ホワイトバランス調整データＷＢＤ１とを加算し、更にこの加算結果の逆数を演算してアンプゲイン制御値（ＡＧＲ，ＡＧＢ）を算出する。このアンプゲイン制御値（ＡＧＲ，ＡＧＢ）はＤ／Ａコンバータによりアナログ信号に変換された後、ＷＢ回路８３のＷＢアンプ８３（Ｒ），８３（Ｂ）に入力される。
【００７０】
図２は、光源判別回路及び色補正演算回路の回路構成図である。
光源判別回路９７は、ローライト（ｌｏｗｌｉｇｈｔ）クリップ回路（領域抽出手段）９７１、ハイライト部面積演算回路９７２、重み付け回路９７３、積分回路９７４、色補正ゲイン演算回路９７５、色度データ変換回路９７６及び光源判別確度演算回路（検出手段）９７７からなる。
【００７１】
一方、色補正演算回路９８は、ハイライト（ｈｉｇｈｌｉｇｈｔ）クリップ回路９８１、重み付け回路９８２、積分回路９８３、色補正ゲイン演算回路９８４、カラーフェリアクリップ回路９８５、ＭＩＸ回路９８６（データ生成手段）及びカウンタ９８７からなる。
【００７２】
タイミングジェネレータ７から出力されるＤＣ電圧ＶＲ及びＲ，Ｇ，Ｂの各色成分の画像データは、上記ローライトクリップ回路９７１とハイライトクリップ回路９８１とに入力される。
【００７３】
上記ローライトクリップ回路９７１は、所定のクリップレベルで画像データの低輝度部をクリップし、高輝度部の画像データのみを取り出す回路である。上記クリップレベルはＣＣＤイメージセンサ６のＤＣ電圧ＶＲ、すなわち、ダイナミックレンジのオフセットレベルに応じて可変設定され、これにより画像データに含まれる光源の色温度を示す領域（光源の光が直接入射された領域）又は光源の色温度を反映している領域（光源からの光が正反射して入射された領域）を絶対値として正確に抽出できるようになっている。
【００７４】
例えば撮影画像が、図７に示す晴天又は曇天の屋外撮影シーンでは、空を示す領域（斜線で示す領域）Ｓ１が光源の色温度を反映しているので、この領域Ｓ１がハイライト部として抽出される。
【００７５】
また、図８に示す逆光シーンでは、太陽を示す領域Ｓ２（点線斜線で示す領域）が光源の色温度を示し、白い雲を示す領域Ｓ３及びパラソルの白色部分を示す領域Ｓ４（斜線で示す領域）が光源の色温度を反映しているので、これらの領域Ｓ２〜Ｓ４がハイライト部として抽出される。
【００７６】
また、図９に示す夜景シーンでは、月を示す領域Ｓ５（斜線で示す領域）及びビルの灯を示す領域Ｓ６（点線斜線で示す領域）が光源の色温度を示しているので、これらの領域Ｓ５，Ｓ６がハイライト部として抽出され、図１０に示す電飾逆光シーンでは、照明を示す領域Ｓ７（点線斜線で示す領域）が光源の色温度を示しているので、この領域Ｓ７がハイライト部として抽出される。
【００７７】
ローライトクリップ回路９７１で抽出されたハイライト部のＲ色，Ｂ色の各画像データは重み付け回路９７３に入力され、Ｇ色の画像データはハイライト部面積演算回路９８２及び重み付け回路９７３に入力される。
【００７８】
ハイライト部面積演算回路９７２はローライトクリップ回路９７１で抽出されたハイライト部の撮像画面内における総面積を演算する回路である。ハイライト部面積演算回路９７２は、例えばハイライト部を構成する画素数からその総面積を演算し、この演算結果を光源判別確度演算回路９７６に出力する。
【００７９】
上記重み付け回路９７３は、ローライトクリップ回路９７１で抽出されたハイライト部の画像データに所定の係数を乗じてレベルの重み付けを行う回路である。また、上記積分回路９７４は、例えばＣＲ積分回路からなり、上記ハイライト部の画像データを所定の周期Ｔで所定時間τだけ積分し、そのハイライト部のレベルを平均化する回路である。
【００８０】
上記積分回路９７８の積分開始タイミングと上記積分時間τとは、後述するカウンタ９８７により制御される。上記積分時間τは予め適宜の時間が設定されており、上記積分開始タイミングはハイライト部の画像データから検出された光源の色温度の信頼度に応じて決定されるようになっている。
【００８１】
積分回路９７４はカウンタ９８７から入力される積分開始タイミングでハイライト部の画像データのレベルの積分（平均化）を開始し、所定の積分時間τだけ積分を行うと、この積分結果を次の積分開始タイミングまでホールドする。これによりハイライト部のＲ，Ｇ，Ｂの各色成分の平均レベルＲ１，Ｇ１，Ｂ１は上記所定の周期Ｔで更新される。
【００８２】
積分回路９７４から出力されるＲ，Ｂの各色成分の画像データの平均レベルＲ１，Ｂ１は色補正ゲイン演算回路９７５と色度データ変換回路９７６とに入力され、Ｇの色成分の画像データの平均レベルＧ１は色補正ゲイン演算回路９７５、色度データ変換回路９７６及び光源判別確度演算回路９７７に入力される。
【００８３】
なお、上記ローライトクリップ回路９７１、重み付け回路９７３及び積分回路９７４ではＲ，Ｇ，Ｂの各色成分の画像データについてそれぞれ信号処理が行われる。
【００８４】
上記色補正ゲイン演算回路９８５は、上記Ｒ，Ｇ，Ｂの各色成分の画像データの平均レベルＲ１，Ｇ１，Ｂ１からホワイトバランス調整データＷＢＤ１（Ｒ１／Ｇ１，Ｂ１／Ｇ１）を演算するものである。この演算結果はＭＩＸ回路９８６に入力される。
【００８５】
上記色度データ変換回路９７６は上記Ｒ，Ｇ，Ｂの各色成分の画像データの平均レベルＲ１，Ｇ１，Ｂ１をＣＩＥ（国際照明委員会）ｘｙ色度図における色度データ（ｘ座標値，ｙ座標値）に変換するものである。この色度データ（ｘ，ｙ）への変換はハイライト部に光源が含まれていると判断した場合、その判断の確度（信頼性）を算出するためのものである。
【００８６】
すなわち、ＣＩＥｘｙ色度図によれば、図１１に示すように、黒体の温度変化による色温度軌跡Ａ（以下、黒体軌跡Ａという。）が示され、タングステン白色電球（図中、ａ点）、太陽光（図中、ｂ点）、昼光（図中、ｃ点）等の各種光源の色温度を知ることができるから、上記色度データ（ｘ，ｙ）と上記黒体軌跡Ａとを比較することによりハイライト部に光源が含まれているか否かを推定することができる。
【００８７】
色度データ（ｘ，ｙ）が黒体軌跡Ａ上若しくはその近傍に位置していれば、ハイライト部が光源の色温度を示していると判断してもその判断の確度は略１００％信頼し得るものであるが、色度データ（ｘ，ｙ）が黒体軌跡Ａから離れてくると、ハイライト部が光源の色温度を含んでいるとの判断の信頼性は低下してくる。
【００８８】
そこで、本実施の形態においては、色度データ（ｘ，ｙ）からハイライト部が光源の色温度を含んでいるとの判断をした場合の確度を予め経験的に求めておき、上記色度データ変換回路９７６で変換された色度データ（ｘ，ｙ）からハイライト部に光源が含まれていると判断した場合の確度を算出するようにしている。
【００８９】
図１１において、ｘｙ色度図の中央部（白色領域）に設けられた３個の楕円で囲まれた領域Ｑ１，Ｑ２，Ｑ３は上記確度を示す領域である。領域Ｑ１は黒体軌跡Ａを含む近傍領域で、ハイライト部に光源が含まれているとの判断の確度が略１００％の高確度領域である。また、その外側の領域Ｑ２は上記判断の確度が中位の中確度領域、更に外側の領域Ｑ３は上記判断の確度が低い低確度領域である。
【００９０】
また、各領域Ｑ１，Ｑ２，Ｑ３に設定されたα１は、上述の加算比率αを算出するために用いられる光源判別確度係数である。なお、上記領域Ｑ３の外側の領域は上記判断の確度が略０％となる領域で、光源判別確度係数α１は「０」である。
【００９１】
上記色度データ（ｘ，ｙ）は、Ｒ，Ｇ，Ｂの各色成分の画像データの平均レベル（Ｒ１，Ｇ１，Ｂ１）をＸＹＺ表色系の３刺激値（Ｘ，Ｙ，Ｚ）に変換し、この３刺激値に所定の演算（ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ），ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ））を施して算出される。そして、この算出結果はＧ色の画像データの平均レベルＧ１とともに、上記光源判別確度演算回路９７７とＭＩＸ回路９８６とに入力される。
【００９２】
上記光源判別確度演算回路９７７は上記色度データ（ｘ，ｙ）から上記光源判別確度係数α１を算出するとともに、ハイライト部の輝度レベル（Ｇ色の画像データの平均レベルＧ１）から予め設定されたテーブルに基づき後述する加算係数α２を算出し、これら光源判別確度係数α１，加算係数α２及びハイライト部面積演算回路９７２から入力されるハイライト部の総面積データから予め設定されたテーブルに基づいて上記加算比率αを演算するものである。
【００９３】
図１２は、加算係数α２の算出テーブルの一例を示す図である。
同図において、横軸はハイライト部の輝度レベル（すなわち、ハイライト部のＧ色の画像データの平均レベルＧ１）であり、縦軸は加算係数α２である。横軸の「ｍａｘ」は、ＣＣＤイメージセンサ６のダイナミックレンジの上限値（図６、ダイナミックレンジの上限値参照）に相当し、ローライトクリップレベルは、ＣＣＤイメージセンサ６のＤＣ電圧ＶＲに基づきローライトクリップ回路９７１に設定されるレベルである。
【００９４】
同図に示すテーブルは、ＣＣＤイメージセンサ６の光電変換特性（図６参照）に基づきハイライト部の輝度レベル（Ｇ１）が所定のハイレベル閾値ＧＨ以上であれば、ハイライト部にはほぼ確実に光源が含まれていると推定して加算係数α２を「１」に設定し、ハイライト部の輝度レベルが上記ハイレベル閾値ＧＨより小さいときは、ハイライト部に光源が含まれるとの判断の信頼性は十分でないので、実験等で得られた所定の線図によりハイライト部の輝度レベルに応じて所定の加算係数α２を設定するようにしている。
【００９５】
また、図１３は、ハイライト部の色温度の判別結果に基づくＷＢ制御の一例を示す図である。
【００９６】
上記加算比率αを算出するためのテーブルは、図１３に示すＷＢ制御に基づいて予め設定されており、加算比率αは同図の各ケースに応じて「加算比率」の欄に示すように設定される。
【００９７】
同図において、「ハイライト部面積」はローライトクリップ回路９７１により抽出されるハイライト部の総面積で、ハイライト部面積演算回路９７２の出力内容である。
【００９８】
「黒体軌跡判別」は色度データ（ｘ，ｙ）によるハイライト部の光源判別で、「黒体軌跡」はハイライト部に光源が含まれる可能性がある（図１１において、色度データ（ｘ，ｙ）が領域Ｑ１〜Ｑ３にある）ことを示し、「黒体軌跡外」は、ハイライト部に光源が含まれる可能性がない（図１１において、色度データ（ｘ，ｙ）が領域Ｑ３の外側にある）ことを示している。
【００９９】
また、「ハイライト輝度レベル」はハイライト部のＧ色の画像データの平均レベルＧ１で、実質的にハイライト部の輝度レベルを示し、「想定シーン」は上記「ハイライト部面積」、「黒体軌跡判別」及び「ハイライト輝度レベル」の判別結果の組み合わせから想定される被写体の撮影シーンを示している。
【０１００】
そして、「ＷＢ制御内容」はホワイトバランスの定性的な調整内容を示し、「加算比率」はＭＩＸ回路９８６における加算制御の内容を示し、「光源」は高輝度領域の画像データから算出されたホワイトバランス調整データＷＢＤ１（Ｒ１／Ｇ１，Ｂ１／Ｇ１）の加算比率（α×１００〔％〕）、「通常」は低輝度領域の画像データから算出されたホワイトバランス調整データＷＢＤ２（Ｒ２／Ｇ２，Ｂ２／Ｇ２）の加算比率（（１−α）×１００〔％〕）を示している。
【０１０１】
同図の（１）〜（３）は抽出されたハイライト部の面積が大きく、このハイライト部に光源の色温度が含まれていると推定されるケースである。
【０１０２】
ケース（１）は、ハイライト部の輝度レベルが高く、ハイライト部に光源が存在すると推定されるケースで、例えば図８に示す逆光シーンである。また、ケース（２）は、ハイライト部の輝度レベルが中位で、ハイライト部に光源からの反射光が存在すると推定されるケースで、例えば図７に示すような順光シーンである。
【０１０３】
ケース（１），（２）では、ハイライト部のＧ色の平均レベルＧ１はハイレベル閾値ＧＨを越え、ハイライト部から正確な色温度情報が得られるから、加算係数αは「１」に設定される。すなわち、アンプゲイン制御値（ＡＧＲ，ＡＧＢ）はホワイトバランス調整データＷＢＤ１（Ｒ１／Ｇ１，Ｂ１／Ｇ１）に基づき生成される。
【０１０４】
ケース（３）はハイライト部の輝度が低く、ハイライト部に光源の色温度を反映する物はないが白い反射物が存在すると推定されるケースである。ケース（３）では、ハイライト部のＧ色の平均レベルＧ１はハイレベル閾値ＧＨより低くなるので、加算係数α２は所定の線図から平均レベルＧ１に応じて設定される。
【０１０５】
従って、ケース（３）では、色度データ（ｘ，ｙ）から算出された光源判別確度係数α１とハイライト部のＧ色の平均レベルＧ１から算出された加算係数α２との平均値により加算比率α（＝（α１＋α２）／２）が設定され、アンプゲイン制御値（ＡＧＲ，ＡＧＢ）は高輝度領域から得られるホワイトバランス調整データＷＢＤ１（Ｒ１／Ｇ１，Ｂ１／Ｇ１）と低輝度領域から得られるホワイトバランス調整データＷＢＤ２（Ｒ２／Ｇ２，Ｂ２／Ｇ２）とを上記加算比率αで加算した値に基づき生成される。
【０１０６】
また、同図のケース（４），（５）は抽出されたハイライト部の面積が小さく、画面内に点光源が含まれていると推定されるケースである。この場合は、ハイライト部から光源の色温度情報が得られても、点光源のため、被写体に与える影響は少ないので、ハイライト部の光源の色温度情報は考慮しないようにしている。
【０１０７】
従って、ケース（４），（５）では、加算比率αは「０」に設定され、アンプゲイン制御値（ＡＧＲ，ＡＧＢ）は、低輝度領域から得られるホワイトバランス調整データＷＢＤ２（Ｒ２／Ｇ２，Ｂ２／Ｇ２）に基づき生成される。
【０１０８】
また、同図のケース（６），（７）はハイライト部が大きく、その部分の輝度レベルも中位以上であるが、ハイライト部の輝度レベルは白色光源を反映したものではないと判断されるケースで、撮影シーンが、例えばカラー電球を光源とする場合や夕焼け等のカラーフェリアシーンと推定される場合である。
【０１０９】
ケース（６），（７）ではハイライト部の光源の色温度を考慮すると、却ってＷＢ調整を悪化させる可能性があるので、加算比率αはケース（４），（５）と同様に「０」に設定され、アンプゲイン制御値（ＡＧＲ，ＡＧＢ）は、低輝度領域から得られるホワイトバランス調整データＷＢＤ２（Ｒ２／Ｇ２，Ｂ２／Ｇ２）に基づき生成される。
【０１１０】
なお、低輝度領域の画像データから生成されるホワイトバランス調整データＷＢＤ２は、後述するようにカラーフェリアクリップ回路９８５によりカラーフェリアを抑制するように補正されるので、撮影シーンがカラーフェリアシーンの場合（ケース（７））は、ＷＢ調整で同時にカラーフェリア補正も行われる。
【０１１１】
また、同図のケース（８）はハイライト部が抽出されないケースで、この場合は被写体から光源の色温度情報が得られないので、上記ケース（８）と同様のＷＢ制御が行われる。
【０１１２】
図２に戻り、上記ハイライトクリップ回路９８１は、画像データのハイライト部をクリップし、低輝度領域の画像データを抽出する回路である。クリップレベルには上記ローライトクリップ回路９８１と同一のレベルが設定される。このハイライトクリップ回路９８１では、例えば図７〜図１０の撮影シーンの例では、領域Ｓ１〜領域Ｓ７を除く領域が低輝度領域として抽出される。
【０１１３】
上記重み付け回路９８３及び積分回路９８４はそれぞれ光源判別回路９７内の重み付け回路９７１と積分回路９７２とに対応し、低輝度領域におけるＲ，Ｇ，Ｂの各色成分の画像データの平均レベルＲ２，Ｇ２，Ｂ２を算出するものである。
【０１１４】
なお、上記積分回路９８４の積分開始タイミング及び積分定数τもカウンタ９８７により制御され、低輝度領域におけるＲ，Ｇ，Ｂの各色成分の画像データの平均レベルＲ２，Ｇ２，Ｂ２も上記所定の周期Ｔで更新される。
【０１１５】
色補正ゲイン演算回路９８４は上記色補正ゲイン演算回路９７５に対応し、低輝度領域のＲ，Ｇ，Ｂの各色成分の画像データの平均レベルＲ２，Ｇ２，Ｂ２からホワイトバランス調整データＷＢＤ１（Ｒ１／Ｇ１，Ｂ１／Ｇ１）を演算するものである。この演算結果はカラーフェリアクリップ回路９８５に入力される。
【０１１６】
カラーフェリアクリップ回路９８５は、ＷＢ調整の過補正によるカラーフェリアを抑制するもので、上記ホワイトバランス調整データＷＢＤ２（Ｒ２／Ｇ２，Ｂ２／Ｇ２）が所定のハイレベルを越えるとき、このハイレベルでクリップしてＭＩＸ回路９８６に出力するものである。
【０１１７】
ＭＩＸ回路９８６は、上記色補正ゲイン演算回路９７５から入力されるホワイトバランス調整データＷＢＤ１（Ｒ１／Ｇ１，Ｂ１／Ｇ１）とカラーフェリアクリップ回路９８５から入力されるホワイトバランス調整データＷＢＤ２（Ｒ２／Ｇ２，Ｂ２／Ｇ２）とを、上記光源判別確度演算回路９７７から入力される加算比率αで加算し、この加算結果の逆数を演算してアンプゲイン制御値（ＡＧＲ，ＡＧＢ）を生成するものである。
【０１１８】
なお、アンプゲイン制御値（ＡＧＲ，ＡＧＢ）は、下記▲５▼，▲６▼式で算出される。
【０１１９】
【数５】
【０１２０】
上記カウンタ９８７は積分回路９７４，９８３の積分時間を制御するとともに、上記光源判別確度演算回路９８７から入力される光源判別確度係数α１に基づき積分回路９７４，９８３の積分開始タイミングを制御するものである。カウンタ９８７は所定時間τだけ積分回路９７４，９８３を動作させると、この積分結果を所定時間ＴＨＬＤだけホールドさせ、この積分動作とホールド動作を交互に繰り返すことによりアンプゲイン制御値（ＡＧＲ，ＡＧＢ）を周期Ｔ（＝ＴＨＬＤ＋τ）で更新させる。なお、通常時は、ＴＨＬＤ＝０で、Ｔ＝τに設定される。
【０１２１】
上記積分時間τは、数画面分について画像データの平均化が行われるように、数秒程度の適宜の時間が設定されている。少なくとも１画面分について画像データの平均レベルが算出できれば、上記アンプゲイン制御値の演算は可能であるが、例えば動体を撮影する場合や同一被写体に対してパンニングやズーミングにより画角を変化させて撮影する場合、フレーム画像の変化に応じてアンプゲイン制御値を演算し、ＷＢ調整を行うと、上記アンプゲイン制御値が変化し、色バランスのふらつきが生じるおそれがあるため、かかる不具合を防止するため、上記積分時間τは、上記のように比較的長く設定されている。
【０１２２】
また、上記積分結果のホールド時間ＴＨＬＤは、上記光源判別確度係数α１が大きくなるのに応じて長くなるように変更設定されるようになっている。上記動体撮影やパンニング又はズーミングによる撮影において、光源が安定しているのであれば、撮影画面が変化しても光源の色温度は略一定であるから、上記ＷＢ調整周期は上記積分時間τよりも長い、より好適な周期で行うことが望ましい。
【０１２３】
本実施の形態では、撮影画像から光源の色温度を検出するとともに、その検出確度を演算するようにしているので、この演算結果に応じて上記積分結果のホールド時間ＴＨＬＤを変化させ、上記ＷＢ調整周期Ｔをより細かく調整するようにしている。
【０１２４】
すなわち、光源判別確度係数α１が大きいときは、撮影画面内から検出される光源の色温度の精度が高く、被写体の光源が安定している推定されるから、上記積分結果のホールド時間ＴＨＬＤを長くしてアンプゲイン制御値（ＡＧＲ，ＡＧＢ）の更新周期（ＴＨＬＤ＋τ）を長くするようにしている。
【０１２５】
次に、上記撮像装置１の撮像動作について、図７の撮影シーンを撮影する場合を例に簡単に説明する。
レンズ系２を通して入射された被写体光像はダイクロイックプリズム５によりＲ，Ｇ，Ｂの各色成分の光像に分離され、それぞれＣＣＤイメージセンサ６（Ｒ），６（Ｇ），６（Ｂ）の撮像面に結像される。
【０１２６】
ＣＣＤイメージセンサ６（Ｒ），６（Ｇ），６（Ｂ）にタイミングジェネレータ７から制御パルスφＤが入力されると、露光が開始され、露出制御演算回路９５により設定された所定の露光時間Ｔｖが経過すると、タイミングジェネレータ７から上記ＣＣＤイメージセンサ６（Ｒ），６（Ｇ），６（Ｂ）にシフトパルスφＳが入力されて露光が停止される。
【０１２７】
ＣＣＤイメージセンサ６（Ｒ），６（Ｇ），６（Ｂ）の電荷蓄積部６２には上記露光時間Ｔｖ内に入射光量に対して対数圧縮された電荷量が蓄積され、この蓄積電荷からなる画像信号はタイミングジェネレータ７から入力された第１，第２転送パルスφ１，φ２に同期してＣＤＳ回路８１に出力される。Ｒ，Ｇ，Ｂの各色成分の画像信号はそれぞれ、ＣＤＳ回路８１によりノイズが抑圧された後、プリアンプ８２により所定の規定レベルに増幅され、更に色補正演算回路９８からＤ／Ａコンバータ９９を介して入力されたアンプゲイン制御値（ＡＧＲ，ＡＧＢ）に基づいてＷＢ回路８３によりホワイトバランスが調整される。
【０１２８】
ホワイトバランスが調整されたＲ，Ｇ，Ｂの各色成分の画像信号は、Ａ／Ｄコンバータ９１によりデジタルの画像データに変換され、露出制御演算回路９５から入力されたγ補正データと輪郭補正制御回路９６から入力された輪郭補正データとに基づきγ補正回路９１及びエンハンサ９２でγ補正と輪郭補正とが行われた後、Ｄ／Ａコンバータ９３により再度、アナログの画像信号に変換され、図略の後段の回路に出力される。
【０１２９】
なお、上記Ｒ，Ｇ，Ｂの各色成分の画像データはＹマトリックス回路９４にも入力され、このＹマトリックス回路９４で生成された輝度データから露出制御演算回路９５でＤＣ電圧ＶＲ、γ補正データが演算されるとともに、輪郭補正制御回路９６で輪郭補正データが生成される。
【０１３０】
また、上記Ｒ，Ｇ，Ｂの各色成分の画像データは光源判別回路９７に入力され、この光源判別回路９７により高輝度領域（空の領域Ｓ１）が抽出され、この空の領域Ｓ１を構成するＲ，Ｇ，Ｂの各色成分の画像データからホワイトバランス調整データＷＢＤ１（Ｒ１／Ｇ１，Ｂ１／Ｇ１）が演算される。また、空の領域Ｓ１の総面積、平均輝度レベル及び色度データによる光源の色温度が算出され、この３要素から空の領域Ｓ１の光源の色温度を推定し、この推定の確度（光源判別確度係数α１，加算係数α２）に基づき加算比率αが設定される。
【０１３１】
また、上記Ｒ，Ｇ，Ｂの各色成分の画像データは色補正演算回路９８に入力され、この色補正演算回路９８により低輝度領域（空の領域Ｓ１以外の領域）が抽出され、この低輝度領域を構成するＲ，Ｇ，Ｂの各色成分の画像データからホワイトバランス調整データＷＢＤ２（Ｒ２／Ｇ２，Ｂ２／Ｇ２）が演算される。
【０１３２】
そして、上記加算比率αに基づき上記ホワイトバランス調整データＷＢＤ１（Ｒ１／Ｇ１，Ｂ１／Ｇ１）とホワイトバランス調整データＷＢＤ２（Ｒ２／Ｇ２，Ｂ２／Ｇ２）とを加算し、この加算結果の逆数を演算して上記アンプゲイン制御値（ＡＧＲ，ＡＧＢ）が生成される。
【０１３３】
このアンプゲイン制御値（ＡＧＲ，ＡＧＢ）はＤ／Ａコンバータ９９によりアナログ信号に変換された後、上記ＷＢ回路８３にフィードバックされる。
【０１３４】
なお、起動時の最初の撮像動作においては、ＤＣ電圧ＶＲ、露光時間Ｔｖ及びアンプゲイン制御値（ＡＧＲ，ＡＧＢ）は予め設定された初期値に設定されて撮像及び画像信号の信号処理が行われるが、その後は露出制御演算回路９５並びに光源判別回路９７及び色補正演算回路９８により設定されたＤＣ電圧ＶＲ及びアンプゲイン制御値（ＡＧＲ，ＡＧＢ）が所定のタイミング若しくは所定周期で更新的に設定される。
【０１３５】
上記のように、本実施の形態によれば、対数型の光電変換特性を有するＣＣＤイメージセンサ６を用いてオーバーフローすることなく高輝度領域の画像信号を取り込み、この高輝度領域の画像信号から被写体の光源の色温度を推定するとともに、その推定の確度を演算し、この確度に基づき上記光源の色温度を加味してホワイトバランス調整用のアンプゲイン制御値（ＡＧＲ，ＡＧＢ）を設定するようにしているので、ホワイトバランス調整を高い精度で行うことができる。
【０１３６】
特に、高輝度領域の面積、平均輝度レベル及び色度データの３要素から高輝度領域の光源の色温度の推定確度を設定するようにしているので、種々の撮影シーンにおける光源の色温度の推定が比較的高い確度で行え、撮影シーンに応じた好適なホワイトバランス調整を行うことができる。
【０１３７】
【発明の効果】
以上説明したように、本発明によれば、対数特性を備えた複数の光電変換素子からなる撮像手段により被写体を撮像し、撮像画像内の所定の高輝度領域に含まれる光源の色温度に基づくデータ及び検出された高輝度領域以外の領域の画像データから算出されたデータを基にホワイトバランス調整用のデータを生成するようにしたので、撮影シーンに拘らず光源の色温度情報に基づく正確な色補正を行うことができる。また、被写体の順光、逆光、夜景等の各種撮影シーンを高い精度で予測し得るので、撮影シーンに応じた好適な色補正が可能となる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置のブロック構成図である。
【図２】光源判別回路及び色補正演算回路の回路構成図である。
【図３】イメージセンサの各画素の等価回路図である。
【図４】イメージセンサの駆動制御のタイムチャートである。
【図５】露光時の各タイミングにおける電荷蓄積部のポテンシャルの状態を示すもので、（ａ）〜（ｆ）はそれぞれ図４のタイムチャートの時刻ｔ１〜ｔ６の各タイミングにおけるポテンシャルの状態を示す図である。
【図６】イメージセンサの光電変換特性を示す図である。
【図７】晴天又は曇天の撮影シーンにおける高輝度領域の一例を示す図である。
【図８】逆光シーンにおける高輝度領域の一例を示す図である。
【図９】夜景シーンにおける高輝度領域の一例を示す図である。
【図１０】電飾逆光シーンにおける高輝度領域の一例を示す図である。
【図１１】ＣＩＥ色度図から高輝度領域の色温度の検出確度を判別する方法を説明するための図である。
【図１２】加算係数α２の算出テーブルを示す図である。
【図１３】ハイライト部の色温度の判別結果に基づくＷＢ制御の一例を示す図である。
【図１４】従来のＣＣＤイメージセンサの光電変換特性を示す図である。
【符号の説明】
１ 撮像装置
２ レンズ系
３ アイリス
４ アイリスドライバ
５ ダイクロイックプリズム
６ ＣＣＤイメージセンサ
６１ 感光部
６２ 電荷蓄積部
７ タイミングジェネレータ
８ アナログ信号処理回路
８１ 相関二重サンプリング回路
８２ プリアンプ
８３ ホワイトバランス回路
８４ Ａ／Ｄコンバータ
９ デジタル信号処理回路
９１ γ補正回路
９２ エンハンサ
９３ Ｄ／Ａコンバータ
９４ Ｙマトリックス回路
９５ 露出制御演算回路
９６ 輪郭補正制御回路
９７ 光源判別回路
９７１ ローライトクリップ回路
９７２ ハイライト部面積演算回路
９７３ 重み付け回路
９７４ 積分回路
９７５ 色補正ゲイン演算回路
９７６ 色度データ変換回路
９７７ 光源判別確度演算回路
９８ 色補正演算回路
９８１ ハイライトクリップ回路
９８２ 重み付け回路
９８３ 積分回路
９８４ 色補正ゲイン演算回路
９８５ カラーフェリアクリップ回路
９８６ ＭＩＸ回路
９８７ カウンタ
９９ Ｄ／Ａコンバータ
【発明の属する技術分野】
本発明は、ＣＣＤ等の撮像素子を用いた撮像装置に係り、特に撮像画像のホワイトバランス調整に関するものである。
【０００２】
【従来の技術】
レンズに入射した光像を電気信号に変換して取り込むカラービデオカメラやスチルビデオカメラにおいては、使用されるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像センサの分光感度特性は一定で、被写体の光源の色温度が変化した場合、撮像画像に色ずれが生じるため、通常、この色ずれを補正するために撮像信号のホワイトバランスが取られるようになっている。
【０００３】
上記ホワイトバランスは、撮像画像内の光源の色温度情報が含まれる高輝度部（白色部）の画像データに基づき撮像画像のＲ，Ｇ，Ｂの各色成分のレベル比（Ｒ／Ｇ，Ｂ／Ｇ）を調整することにより可能であるが、従来のカラービデオカメラやスチルビデオカメラでは、入射光量に比例した電圧を出力するリニアな光電変換特性を有するＣＣＤが用いられており、被写体の輝度範囲に対するダイナミックレンジが不十分で、撮像画面内の高輝度部から正確に光源の色温度情報が抽出できないため、高輝度部の画像データを用いたホワイトバランスの調整方法は採用されていない。
【０００４】
すなわち、従来のビデオカメラに使用される撮像センサは、図１４の特性▲１▼に示すように、光の強度（特性▲１▼の傾き）を比例係数とする入射光量に比例した電圧を出力するリニアな光電変換特性を有し、ダイナミックレンジに対する入射光量の範囲（領域Ａ１）が狭く、撮像センサの露光時間のみを制御して撮像すると、光源の色温度情報が含まれる高輝度部（領域Ａ２）の画像はオーバーフローしてしまう。特に補色系単板式ＣＣＤを用いたものでは色変調キャリアが飽和して色が回るため、色再現性を考慮すると、更にダイナミックレンジが狭くなる。
【０００５】
このため、正確な光源の色温度情報が得られない高輝度部の画像データに基づいてホワイトバランスの調整を行うと、却って色ずれを悪化させることになる。
【０００６】
絞りにより入射光量を制限して特性▲１▼の傾きを特性▲２▼のように変化させ、入射光量と露光時間とを制御して撮像センサのダイナミックレンジを拡張することによりオーバーフローさせることなく高輝度部の画像を取り込むことも可能であるが、主要被写体のＳ／Ｎ比劣化を招くため、このような露出制御を行うことができず、高輝度部の画像データに基づくホワイトバランス調整は採用されていない。
【０００７】
上記のように撮像センサの光電変換特性により高輝度部から信頼性のある光源情報が得られないので、従来、これに代わるものとして比較的明るく彩度の低い部分の撮像信号に基づきホワイトバランスの調整が行われている。
【０００８】
すなわち、Ｒ，Ｇ，Ｂの各色成分の画像信号をＹ信号（輝度信号）とＣ信号（色信号）とに変換し、Ｃ信号が所定レベル以下で、かつ、Ｙ信号が所定レベル以上の部分の画像信号を基準レベルとしてホワイトバランスの調整が行われている。
【０００９】
【発明が解決しようとする課題】
しかし、上記従来のホワイトバランスの調整方法は、比較的明るく彩度の低い部分の撮像データから光源の色温度情報を推定しているので、ホワイトバランス調整値の精度及びその信頼性が十分とはいえず、逆光シーン、晴天シーン、夜景シーン等の光源の色温度が異なる種々の撮影シーンに対して適切な色補正を行うことは困難だった。
【００１０】
本発明は、上記課題に鑑みてなされものであり、対数出力型の光電変換特性を有する撮像素子を用い、この撮像素子で得られた画像信号の光源の色温度情報が含まれる部分の画像信号を用いてホワイトバランスを行うことにより簡単かつ正確に色補正が可能な撮像装置を提供するものである。
【００１１】
【課題を解決するための手段】
本発明は、入射光をその光量に対して対数圧縮された電気信号に変換して出力する複数の光電変換素子からなる撮像手段と、上記撮像手段で撮像された画像から所定の高輝度領域を抽出する領域抽出手段と、抽出された高輝度領域から光源の色温度を検出する検出手段と、検出された、高輝度領域からの光源の色温度に基づくデータ及び該高輝度領域以外の領域の画像データから算出されたデータを基に上記撮像画像のホワイトバランス調整用のデータを生成するデータ生成手段とを備えたものである。
【００１２】
上記構成によれば、被写体光像はその輝度に対して対数圧縮された電気信号に変換されて撮像され、この撮像画像から所定の高輝度領域が抽出される。そして、この高輝度領域から光源の色温度が検出され、この検出結果及び高輝度領域以外の領域の画像データから算出されたデータに基づき上記撮像画像のホワイトバランス調整用のデータが生成される。
【００１３】
【発明の実施の形態】
図１は、本発明に係る撮像装置のブロック構成図である。
撮像装置１は、被写体からの反射光（被写体光像）を撮像系に導く光学系、上記被写体光像を電気信号に変換して取り込む撮像系、この撮像系で撮像された画像信号の信号処理を行う信号処理系とから構成されている。
【００１４】
光学系は、被写体光像を撮像系の撮像面に結像するレンズ系２、非撮像時にＣＣＤイメージセンサ６を保護するためのアイリス３及びこのアイリス３の駆動を制御するアイリスドライバ４からなる。アイリスドライバ４は、後述する露出制御演算回路９５から入力される露出制御値に基づきアイリス３の開閉を制御する。すなわち、アイリスドライバ４は、ＣＣＤイメージセンサ６の撮像動作開始直前にアイリス３を開口させ、所定の露光時間の経過後、アイリス３を閉塞させ、非撮像時はＣＣＤイメージセンサ６への入射光を遮断する。
【００１５】
撮像系は、入射光をＲ（赤），Ｇ（緑）、Ｂ（青）の３原色の色成分に分解するダイクロイックプリズム５、このダイクロイックプリズム５から出力されるＲ，Ｇ，Ｂの各色成分の被写体光像を電気信号に光電変換して取り込む３枚のＣＣＤイメージセンサ６（Ｒ），６（Ｇ），６（Ｂ）及びこれらのＣＣＤイメージセンサ６（Ｒ），６（Ｇ），６（Ｂ）の駆動を制御するタイミングジェネレータ７からなる。
【００１６】
なお、本実施の形態では撮像系を３板式ＣＣＤイメージセンサで構成しているが、単板式ＣＣＤイメージセンサで構成してもよい。
【００１７】
ＣＣＤイメージセンサ６（撮像手段）は、入射光量に対する出力電圧が対数関数となる光電変換特性を有し、各画素は等価的に図３に示す回路で構成されている。
【００１８】
各画素は、入射光量を対数圧縮された電圧に光電変換して出力する感光部６１とこの感光部６１からの出力電圧に基づき電荷を蓄積する電荷蓄積部６２とからなる。
【００１９】
感光部６１は入射光をその強度に比例した光電流Ｉｐに光電変換するｐｎ接合型フォトダイオードＰＤと上記光電流Ｉｐを対数圧縮された電圧ＶＧに変換するｎチャネルＭＯＳ型電界効果トランジスタＦＥＴ（以下、ＭＯＳＦＥＴという。）とから構成されている。
【００２０】
上記フォトダイオードＰＤのアノードは上記ＭＯＳＦＥＴのドレイン（Ｄ）とゲート（Ｇ）とに接続され、フォトダイオードＰＤのカソードには電源電圧ＶＤＤが印加されている。また、上記ＭＯＳＦＥＴのゲート（Ｇ）は電荷蓄積部６２の第１電極Ｍ１に接続され、ＭＯＳＦＥＴのソース（Ｓ）及びバックゲート（基板）にはそれぞれＤＣ（直流）電圧ＶＳＳとＤＣ電圧ＶＳＵＢが印加されている。
【００２１】
なお、ここでＶＤＤ＞ＶＳＳ＞ＶＳＵＢであり、フォトダイオードＰＤには逆バイアスが印加され、ＭＯＳＦＥＴのソース（Ｓ）及びドレイン（Ｄ）とバックゲートにも逆バイアスが印加されている。
【００２２】
電荷蓄積部６２は、余剰電荷を排出する入力ダイオード６２１、蓄積電荷電圧を制御する第１電極Ｍ１、電荷を蓄積する第２電極Ｍ２、蓄積電荷の読出を制御する第３電極Ｍ３及び読み出された蓄積電荷の転送を行う第４電極Ｍ４以降の複数の電極からなる２相駆動型ＣＣＤから構成されている。
【００２３】
上記入力ダイオード６２１には電荷蓄積部６２の電荷蓄積開始を制御する制御パルスφＤ（ローレベルのパルス信号）が入力され、上記第１電極Ｍ１にはＭＯＳＦＥＴのゲート電圧ＶＧが入力されるようになっている。
【００２４】
また、上記第２電極Ｍ２と第３電極Ｍ３とにはそれぞれダイナミックレンジのオフセットレベルを調整するＤＣ電圧ＶＲと電荷蓄積部６２の電荷蓄積終了を制御するシフトパルスφＳ（ハイレベルのパルス信号）とが印加され、上記第４電極Ｍ４以降の偶数番目の電極Ｍ（２ｉ＋２）（ｉ＝１，２，…）と奇数番目の電極Ｍ（２ｉ＋３）（ｉ＝１，２，…）とにはそれぞれ蓄積電荷を読出しを制御する第１転送パルスφ１と第２転送パルスφ２とが印加されるようになっている。なお、上記第１パルスφ１及び第２転送パルスφ２は互いに位相がπだけずれたパルス列信号である。
【００２５】
ここで、感光部６１と電荷蓄積部６２の各動作について説明する。
閾値電圧ＶＴが（ＶＧ−ＶＳ）≦ＶＴ＋（ｎｋＴ／ｑ）を満足するとき、ｎチャネルＭＯＳ型電界効果トランジスタのドレイン（Ｄ）には下記▲１▼式に示すサブスレッショールド電流ＩＤＳ（ｓｕｂ−ｔｈｒｅｓｈｏｌｄ ｃｕｒｒｒｅｎｔ）と呼ばれる微小電流が流れることが知られている。
【００２６】
【数１】
上記▲１▼式において、表面準位密度Ｎｆｓ＝０（すなわち、Ｃｆｓ＝０）、（Ｋ／ｎ）≪（ＶＤ−ＶＳ）とすると、ｎ＝ｍ、１≪ｍ（ＶＤ−ＶＳ）／Ｋとなり、ｅｘｐ｛−ｍ（ＶＤ−ＶＳ）／Ｋ｝≒０となるから、上記▲１▼式は下記▲２▼式となる。
【００２８】
【数２】
上記▲２▼式より、閾値電圧ＶＴが（ＶＧ−ＶＳ）≦ＶＴ＋Ｋを満足し、かつ、（Ｋ／ｎ）≪ＶＤ−ＶＳ＝ＶＧ−ＶＳのとき、すなわち、（Ｋ／ｎ）≪（ＶＧ−ＶＳ）≦（ＶＴ＋Ｋ）であれば、ＭＯＳＦＥＴのドレイン（Ｄ）に流れるサブスレッショールド電流ＩＤＳはゲート・ソース間の電位差（ＶＧ−ＶＳ）の指数関数となることが分かる。
【００３０】
一方、上記閾値電圧ＶＴは下記▲３▼式で表され、（ＶＳＳ（＝ＶＳ）−ＶＳＵＢ）により変化するから、ＤＣ電圧ＶＳＵＢを適切に調整して上記（Ｋ／ｎ）≪（ＶＧ−ＶＳ）≦ＶＴ＋Ｋの条件を満足するようにＭＯＳＦＥＴの動作状態を設定すると、回路構成上、ＩＤ＝ＩＰであるから、光電流ＩＰ＝ＩＤＳ０・ｅｘｐ｛（ＶＧ−ＶＳＳ−ＶＴ）／Ｋ｝となり、ＭＯＳＦＥＴのゲート（Ｇ）には下記数▲４▼に示す対数圧縮されたゲート電圧ＶＧが出力される。
【００３１】
【数３】
【数４】
従って、感光部６１に光が入射すると、その光の強度に比例した光電流ＩＰがフォトダイオードＰＤのカソードからアノードに流れ、ＭＯＳＦＥＴのドレイン（Ｄ）とゲート（Ｇ）とに供給される。そして、この光電流ＩＰは対数圧縮された電圧に変換されてＭＯＳＦＥＴのゲート（Ｇ）から出力される。すなわち、感光部６１においては、入射光が入射光量に対して対数圧縮された電圧に光電変換されて出力される。
【００３４】
一方、電荷蓄積部６２においては、各電極Ｍ１，Ｍ２，…の直下にポテンシャルの井戸が形成され、上記第２電極Ｍ２直下のポテンシャルの井戸に上記ＭＯＳＦＥＴのゲート電圧ＶＧに対応した電荷量が蓄積されるようになっている。
【００３５】
ポテンシャルの井戸の深さは対応する電極への印加電圧が高くなる程、深くなり、電荷に対するポテンシャルレベルは低くなるようなっている。従って、上記ＤＣ電圧ＶＲを高くするほど、上記第２電極Ｍ２直下のポテンシャルの井戸の深さが深くなり、この井戸への電荷蓄積容量は大きくなる。
【００３６】
上記第２電極Ｍ２直下のポテンシャルの井戸への電荷の蓄積は、最初、上記ＤＣ電圧ＶＲにより決定される最大蓄積量ＣＭＡＸ（ＣＣＤのダイナミックレンジに相当する電荷量）の電荷を上記井戸に注入しておき、この後、所定の露光時間だけ上記ＭＯＳＦＥＴのゲート電圧ＶＧに基づき上記井戸の上限レベルを低下させて入射光量に対応する量ＣＬｏｇ（露光量に相当する電荷量）の電荷を上記入力ダイオード６２１に排出することにより行われる。
【００３７】
従って、露出制御終了時には、上記ポテンシャルの井戸に最大蓄積量ＣＭＡＸからゲート電圧ＶＧに比例した量ＣＬｏｇ（入射光量に対して対数圧縮された電荷量）を除いた量ＣＩＮＴ（＝ＣＭＡＸ−ＣＬｏｇ）の電荷が蓄積される。なお、この電荷量ＣＩＮＴは、電荷蓄積部６２のダイナミックレンジ（感度範囲）から被写体の輝度を差し引いた輝度値であるから、被写体輝度を白黒反転したネガ信号となっている。
【００３８】
上記第２電極Ｍ２直下のポテンシャルの井戸に蓄積された電荷は、上記露光時間が経過した時にシフトパルスφＳを入力し、第３電極Ｍ３直下のポテンシャルレベルを第２電極Ｍ２直下のポテンシャルレベルより低下させ、この第３電極Ｍ３直下を通して第４電極Ｍ４直下の転送領域に排出することにより読み出される。
【００３９】
図４は、電荷蓄積部６２の電荷蓄積及び蓄積電荷の転送処理を示すタイムチャートを示し、図５は、図４のタイムチャートの各タイミングにおける電荷蓄積部６２のポテンシャルの状態を示す図である。なお、図５において、斜線部は電荷を示している。
【００４０】
図４において、時刻ｔ１は露光開始タイミングであり、時刻ｔ４は露光終了タイミングである。ｔ＝ｔ１で制御パルスφＤがローレベルに立ち下がると、入力ダイオード６２１側から第１電極Ｍ１の下を通って第２電極Ｍ２直下のポテンシャルの井戸Ｗ１に電子が注入され（図５（ａ））、ｔ＝ｔ２で制御パルスφＤがハイレベルに立ち上がると、上記井戸Ｗ１に対して余剰の電子が第１電極Ｍ１の下を通って入力ダイオード６２１に排出され、これと同時に電荷蓄積（露光動作）が開始される（図５（ｂ））。
【００４１】
すなわち、制御パルスφＤが入力されると、ポテンシャルの井戸Ｗ１に上記最大蓄積量ＣＭＡＸの電荷を注入することでＣＣＤのリセットが行われ、露光が開始される。
【００４２】
露光が開始されると、ＭＯＳＦＥＴのゲート電圧ＶＧは入射光量に対して対数圧縮された特性で上昇し、この電圧上昇に応じて第１電極Ｍ１直下のポテンシャルが深くなり、上記ポテンシャルの井戸Ｗ１の電荷が第１電極Ｍ１の下を通って入力ダイオード６２１に排出される（図５（ｃ））。
【００４３】
これにより上記ポテンシャルの井戸Ｗ１には上記電荷量ＣＩＮＴ（＝ＣＭＡＸ−ＣＬｏｇ）が残留する。上記電荷量ＣＩＮＴはＤＣ電圧ＶＲと上記ゲート電圧ＶＧとの電位差ＶＲＧ（＝ＶＲ−ＶＧ）の関数となるが、露光時間内に排出される電荷量ＣＬｏｇは上記ゲート電圧ＶＧの対数特性に基づくものであるから、上記電荷量ＣＩＮＴも対数特性となる。
【００４４】
そして、ｔ＝ｔ４でシフトパルスφＳがハイレベルに立ち上がると、第３電極Ｍ３直下のポテンシャルの井戸Ｗ２のレベルがポテンシャルの井戸Ｗ１のレベルより低下し、この井戸Ｗ１に残留している蓄積電荷が第３電極Ｍ３直下のポテンシャルの井戸Ｗ２に転送されて露光は終了し（図５（ｄ））、ｔ＝ｔ５でシフトパルスφＳがローレベルに立ち下がると、上記ポテンシャルの井戸Ｗ２のレベルがポテンシャルの井戸Ｗ１のレベルより高くなり、蓄積電荷が第４電極Ｍ４以降の電極直下のポテンシャルの井戸（シフトレジスタ）に転送され、この蓄積電荷の信号処理系への読出が可能になる（図５（ｅ））。
【００４５】
そして、この後、ｔ＝ｔ６から第１，第２転送パルスφ１，φ２が入力されると、第１，第２転送パルスφ１，φ２に同期して第４電極Ｍ４以降の電極Ｍ（ｉ＋３）（ｉ＝１，２，…）が交互に順次、ローレベルに変化され、上記蓄積電荷が第４電極Ｍ４以降の電極直下のポテンシャルの井戸に順次、転送されて信号処理系に読み出される（図５（ｆ））。
【００４６】
上記のようにＣＣＤイメージセンサ６は被写体からの入射光をその光量に対して対数圧縮された電気信号に変換して出力するので、図６に示す光電変換特性を有している。
【００４７】
同図において、横軸は入射光量であり、縦軸はイメージセンサからの出力電圧である。
【００４８】
上述したように、通常のＣＣＤイメージセンサはリニアな光電変換特性を有しているので（図１４参照）、ＣＣＤ出力電圧の範囲（ダイナミックレンジ）に対する入射光量の範囲Ａ１が非常に狭く、例えばスキーのゲレンデや晴天の雪景色を背景とする被写体をＣＣＤイメージセンサの露光時間のみを制御して撮影すると、背景の高輝度部分の出力がオーバーフローしてしまい、撮影画像の濃度バランスが著しく損なわれることとなる。
【００４９】
このため、通常のＣＣＤイメージセンサを用いたカメラでは、被写体からの入射光量を制限する絞りを設け、この入射光量と上記露光時間とを調整することによりＣＣＤイメージセンサの光電変換特性の傾きを小さくしてダイナミックレンジを拡張するようにしている。
【００５０】
一方、本発明に係るＣＣＤイメージセンサ６は、図６に示すように、対数圧縮して出力するノンリニアな光電変換特性を有しているので、ＣＣＤ出力電圧の範囲（ダイナミックレンジ）Ｄに対する入射光量の範囲Ａ３が非常に広く、通常のＣＣＤイメージセンサのように絞りや蓄積時間制御を用いて入射光量を調整する必要はなく、ダイナミックレンジＡ３について適正露出を得ることができるようになっている。
【００５１】
また、上述のようにＤＣ電圧ＶＲは上記第２電極Ｍ２直下のポテンシャルの井戸Ｗ１の深さを決定し、ＤＣ電圧ＶＲによりＣＣＤイメージセンサ６のダイナミックレンジの範囲が変化するようになっている。これは図６において、ＤＣ電圧ＶＲによりＣＣＤイメージセンサ６のダイナミックレンジのオフセットレベルＶＬを変化することに相当する。
【００５２】
従って、ＣＣＤイメージセンサ６では、上記ＤＣ電圧ＶＲを調整することにより等価的にダイナミックレンジＤ′〜Ｄの範囲で適正露出が可能になるので、本撮像装置１では、上記ＤＣ電圧ＶＲにより露出制御を行うようにしている。
【００５３】
図１に戻り、タイミングジェネレータ７はＣＣＤイメージセンサ６（Ｒ），６（Ｇ），６（Ｂ）、相関二重サンプリング回路８１の駆動を制御するクロックを生成するとともに、露出制御演算回路９５から入力される露出値に基づき上記制御パルスφＤ、シフトパルスφＳ、第１，第２転送パルスφ１，φ２等の各種制御信号を生成する。
【００５４】
信号処理系は撮像系から出力される画像信号（アナログ信号）に所定の信号処理を施し、デジタル信号に変換するアナログ信号処理回路８とデジタル信号に変換された画像信号（以下、画像データという。）に所定の信号処理を施して出力するデジタル信号処理回路９とから構成されている。
【００５５】
アナログ信号処理回路８は、上記ＣＣＤイメージセンサ６から出力される画像信号のノイズを抑圧する相関二重サンプリング回路８１（図中、ＣＤＳで示す。以下、ＣＤＳ回路８１という。）、上記画像信号を所定の規定レベルに増幅するプリアンプ８２、上記画像信号のホワイトバランスを調整するホワイトバランス回路８３（以下、ＷＢ回路８３という。）及び画像信号をＡ／Ｄ変換するＡ／Ｄコンバータ８４を備えている。
【００５６】
ＷＢ回路８３はＲ，Ｇ，Ｂの各色成分の画像信号のゲインを調整する３個のＷＢアンプ（図中、ＶＣＡで示す。）を備え、Ｇ色の画像信号を所定の基準レベルに設定するとともに、Ｒ色及びＢ色の各画像信号のレベルを色補正演算回路９８からＤ／Ａコンバータ９９を介して入力されるアンプゲイン制御値ＡＧＲ，ＡＧＢに基づき調整する。
【００５７】
Ａ／Ｄコンバータ８４は３個のＡ／Ｄコンバータ８４（Ｒ），８４（Ｇ），８４（Ｂ）を有し、Ｒ，Ｇ，Ｂの各色成分の画像信号を構成する画素信号をそれぞれ１０ビットの画像データに変換する。この画像データはデジタル信号処理回路９内のγ補正回路９１、Ｙマトリックス回路９４、光源判別回路９７及び色補正演算回路９８に入力される。
【００５８】
デジタル信号処理回路９は、Ａ／Ｄコンバータ８４から入力される画像データのγ特性を補正するγ補正回路９１、画像データの輪郭補正を行うエンハンサ９２、デジタル信号処理後の画像データをアナログ信号に変換して出力するＤ／Ａコンバータ９３、Ｒ，Ｇ，Ｂの画像データから輝度データを生成するＹマトリックス回路９４、このＹマトリックス回路９４で生成された輝度データから露出制御値（ＤＣ電圧ＶＲ）、プリアンプ５のゲイン調整値及びγ補正回路９１のγ補正テーブルを生成する露出制御演算回路９５、エンハンサ９２の輪郭補正を制御する輪郭補正制御回路９６、画像データから光源の色温度を検出するとともに、この検出確度を演算する光源判別回路９７、上記アンプゲイン制御値を演算する色補正演算回路９８及びこの色補正演算回路９８から出力されるアンプゲイン制御値をアナログデータに変換するＤ／Ａコンバータ９９を備えている。
【００５９】
γ補正回路９１はＲ，Ｇ，Ｂの各色成分の画像データに対応して３個のγ補正回路を有している。各γ補正回路９１（Ｒ），９１（Ｇ），９１（Ｂ）は露出制御演算回路９５で作成された階調補正用のルックアップテーブルを用いてＲ，Ｇ，Ｂの各色成分の画像データを構成する各画素データのγ変換を行う。なお、このとき、各画素データは１０ビットデータから８ビットデータに変換される。
【００６０】
本実施の形態では、入力部で対数変換されていて入力画像のレンジが広いため、画像入力時には入力画像より主要被写体のレベルを適正値に変換し、更にこの変換後のレベルに対して最適なγ特性を持たせる必要がある。この出力に対する露出レベル調整とγ調整とを各γ補正回路９１（Ｒ），９１（Ｇ），９１（Ｂ）で行っている。
【００６１】
エンハンサ９２もＲ，Ｇ，Ｂの各色成分の画像データに対して３個のエンハンサを有している。各エンハンサ９２（Ｒ），９２（Ｇ），９２（Ｂ）は、輪郭補正制御回路９６から入力される輪郭制御信号に基づき画像データの水平方向及び垂直方向に輪郭信号を付加して画像のエッジ部を強調し、解像度感を高める。
【００６２】
Ｄ／Ａコンバータ９３もＲ，Ｇ，Ｂの各色成分の画像データに対して３個のＤ／Ａコンバータ９３（Ｒ），９３（Ｇ），９３（Ｂ）を有し、所定の信号処理後の画像データをアナログ信号に変換して出力する。
【００６３】
Ｙマトリックス回路９４は、Ｒ，Ｇ，Ｂの各色成分の画像データを比視感度に近い所定の割合（例えば、Ｒ：Ｇ：Ｂ：＝０．３３：０．５９：０．１１）で合成して輝度データを生成する。この輝度データは露出制御演算回路９５、光源判別回路９７に入力されるとともに、露出制御演算回路９５を介して輪郭補正制御回路９６に入力される。
【００６４】
露出制御演算回路９５はＹマトリックス回路９４で生成された輝度データから予め設定されたテーブルを用いてＣＣＤイメージセンサ６のＤＣ電圧ＶＲ及びプリアンプ５のゲイン調整値を演算し、ＤＣ電圧ＶＲをタイミングジェネレータ７に出力し、ゲイン調整値をプリアンプ５に出力する。
【００６５】
輪郭補正制御回路９６は、輝度データに基づきＲ，Ｇ，Ｂの各色成分の画像データに対する輪郭強調レベルを設定し、輪郭制御信号としてそれぞれエンハンサ９２（Ｒ），９２（Ｇ），９２（Ｂ）に出力する。
【００６６】
光源判別回路９７はＲ，Ｇ，Ｂの各色成分の画像データから所定レベルの高輝度領域の画像データを抽出し、この画像データから光源の色温度を検出するとともに、ホワイトバランス調整データＷＢＤ１（Ｒ１／Ｇ１，Ｂ１／Ｇ１）を演算する。なお、上記Ｒ１，Ｇ１，Ｂ１は上記高輝度領域に含まれるＲ，Ｇ，Ｂの各色成分の画像データの平均レベルである。
【００６７】
また、光源判別回路９７は上記光源の色温度の検出精度を判別し、この判別結果から上記アンプゲイン制御値（ＡＧＲ，ＡＧＢ）を生成するための制御信号を生成する。
【００６８】
なお、上記アンプゲイン制御値（ＡＧＲ，ＡＧＢ）は、後述するように高輝度領域の画像データから算出されたホワイトバランス調整データＷＢＤ１と上記高輝度領域を除く領域（以下、低輝度領域という。）の画像データから算出されたホワイトバランス調整データＷＢＤ２（Ｒ２／Ｇ２，Ｂ２／Ｇ２）とを所定の比率αで加算し、更にこの加算結果の逆数を演算することで生成され、上記制御信号は上記加算比率αを指示する信号である。なお、上記Ｒ２，Ｇ２，Ｂ２は上記低輝度領域に含まれるＲ，Ｇ，Ｂの各色成分の画像データの平均レベルである。
【００６９】
色補正演算回路９８は、Ｒ，Ｇ，Ｂの各色成分の画像データから上記低輝度領域の画像データを抽出し、この画像データから上記ホワイトバランス調整データＷＢＤ２を演算するとともに、光源判別回路９７から入力される加算比率αに基づきこのホワイトバランス調整データＷＢＤ２と上記ホワイトバランス調整データＷＢＤ１とを加算し、更にこの加算結果の逆数を演算してアンプゲイン制御値（ＡＧＲ，ＡＧＢ）を算出する。このアンプゲイン制御値（ＡＧＲ，ＡＧＢ）はＤ／Ａコンバータによりアナログ信号に変換された後、ＷＢ回路８３のＷＢアンプ８３（Ｒ），８３（Ｂ）に入力される。
【００７０】
図２は、光源判別回路及び色補正演算回路の回路構成図である。
光源判別回路９７は、ローライト（ｌｏｗｌｉｇｈｔ）クリップ回路（領域抽出手段）９７１、ハイライト部面積演算回路９７２、重み付け回路９７３、積分回路９７４、色補正ゲイン演算回路９７５、色度データ変換回路９７６及び光源判別確度演算回路（検出手段）９７７からなる。
【００７１】
一方、色補正演算回路９８は、ハイライト（ｈｉｇｈｌｉｇｈｔ）クリップ回路９８１、重み付け回路９８２、積分回路９８３、色補正ゲイン演算回路９８４、カラーフェリアクリップ回路９８５、ＭＩＸ回路９８６（データ生成手段）及びカウンタ９８７からなる。
【００７２】
タイミングジェネレータ７から出力されるＤＣ電圧ＶＲ及びＲ，Ｇ，Ｂの各色成分の画像データは、上記ローライトクリップ回路９７１とハイライトクリップ回路９８１とに入力される。
【００７３】
上記ローライトクリップ回路９７１は、所定のクリップレベルで画像データの低輝度部をクリップし、高輝度部の画像データのみを取り出す回路である。上記クリップレベルはＣＣＤイメージセンサ６のＤＣ電圧ＶＲ、すなわち、ダイナミックレンジのオフセットレベルに応じて可変設定され、これにより画像データに含まれる光源の色温度を示す領域（光源の光が直接入射された領域）又は光源の色温度を反映している領域（光源からの光が正反射して入射された領域）を絶対値として正確に抽出できるようになっている。
【００７４】
例えば撮影画像が、図７に示す晴天又は曇天の屋外撮影シーンでは、空を示す領域（斜線で示す領域）Ｓ１が光源の色温度を反映しているので、この領域Ｓ１がハイライト部として抽出される。
【００７５】
また、図８に示す逆光シーンでは、太陽を示す領域Ｓ２（点線斜線で示す領域）が光源の色温度を示し、白い雲を示す領域Ｓ３及びパラソルの白色部分を示す領域Ｓ４（斜線で示す領域）が光源の色温度を反映しているので、これらの領域Ｓ２〜Ｓ４がハイライト部として抽出される。
【００７６】
また、図９に示す夜景シーンでは、月を示す領域Ｓ５（斜線で示す領域）及びビルの灯を示す領域Ｓ６（点線斜線で示す領域）が光源の色温度を示しているので、これらの領域Ｓ５，Ｓ６がハイライト部として抽出され、図１０に示す電飾逆光シーンでは、照明を示す領域Ｓ７（点線斜線で示す領域）が光源の色温度を示しているので、この領域Ｓ７がハイライト部として抽出される。
【００７７】
ローライトクリップ回路９７１で抽出されたハイライト部のＲ色，Ｂ色の各画像データは重み付け回路９７３に入力され、Ｇ色の画像データはハイライト部面積演算回路９８２及び重み付け回路９７３に入力される。
【００７８】
ハイライト部面積演算回路９７２はローライトクリップ回路９７１で抽出されたハイライト部の撮像画面内における総面積を演算する回路である。ハイライト部面積演算回路９７２は、例えばハイライト部を構成する画素数からその総面積を演算し、この演算結果を光源判別確度演算回路９７６に出力する。
【００７９】
上記重み付け回路９７３は、ローライトクリップ回路９７１で抽出されたハイライト部の画像データに所定の係数を乗じてレベルの重み付けを行う回路である。また、上記積分回路９７４は、例えばＣＲ積分回路からなり、上記ハイライト部の画像データを所定の周期Ｔで所定時間τだけ積分し、そのハイライト部のレベルを平均化する回路である。
【００８０】
上記積分回路９７８の積分開始タイミングと上記積分時間τとは、後述するカウンタ９８７により制御される。上記積分時間τは予め適宜の時間が設定されており、上記積分開始タイミングはハイライト部の画像データから検出された光源の色温度の信頼度に応じて決定されるようになっている。
【００８１】
積分回路９７４はカウンタ９８７から入力される積分開始タイミングでハイライト部の画像データのレベルの積分（平均化）を開始し、所定の積分時間τだけ積分を行うと、この積分結果を次の積分開始タイミングまでホールドする。これによりハイライト部のＲ，Ｇ，Ｂの各色成分の平均レベルＲ１，Ｇ１，Ｂ１は上記所定の周期Ｔで更新される。
【００８２】
積分回路９７４から出力されるＲ，Ｂの各色成分の画像データの平均レベルＲ１，Ｂ１は色補正ゲイン演算回路９７５と色度データ変換回路９７６とに入力され、Ｇの色成分の画像データの平均レベルＧ１は色補正ゲイン演算回路９７５、色度データ変換回路９７６及び光源判別確度演算回路９７７に入力される。
【００８３】
なお、上記ローライトクリップ回路９７１、重み付け回路９７３及び積分回路９７４ではＲ，Ｇ，Ｂの各色成分の画像データについてそれぞれ信号処理が行われる。
【００８４】
上記色補正ゲイン演算回路９８５は、上記Ｒ，Ｇ，Ｂの各色成分の画像データの平均レベルＲ１，Ｇ１，Ｂ１からホワイトバランス調整データＷＢＤ１（Ｒ１／Ｇ１，Ｂ１／Ｇ１）を演算するものである。この演算結果はＭＩＸ回路９８６に入力される。
【００８５】
上記色度データ変換回路９７６は上記Ｒ，Ｇ，Ｂの各色成分の画像データの平均レベルＲ１，Ｇ１，Ｂ１をＣＩＥ（国際照明委員会）ｘｙ色度図における色度データ（ｘ座標値，ｙ座標値）に変換するものである。この色度データ（ｘ，ｙ）への変換はハイライト部に光源が含まれていると判断した場合、その判断の確度（信頼性）を算出するためのものである。
【００８６】
すなわち、ＣＩＥｘｙ色度図によれば、図１１に示すように、黒体の温度変化による色温度軌跡Ａ（以下、黒体軌跡Ａという。）が示され、タングステン白色電球（図中、ａ点）、太陽光（図中、ｂ点）、昼光（図中、ｃ点）等の各種光源の色温度を知ることができるから、上記色度データ（ｘ，ｙ）と上記黒体軌跡Ａとを比較することによりハイライト部に光源が含まれているか否かを推定することができる。
【００８７】
色度データ（ｘ，ｙ）が黒体軌跡Ａ上若しくはその近傍に位置していれば、ハイライト部が光源の色温度を示していると判断してもその判断の確度は略１００％信頼し得るものであるが、色度データ（ｘ，ｙ）が黒体軌跡Ａから離れてくると、ハイライト部が光源の色温度を含んでいるとの判断の信頼性は低下してくる。
【００８８】
そこで、本実施の形態においては、色度データ（ｘ，ｙ）からハイライト部が光源の色温度を含んでいるとの判断をした場合の確度を予め経験的に求めておき、上記色度データ変換回路９７６で変換された色度データ（ｘ，ｙ）からハイライト部に光源が含まれていると判断した場合の確度を算出するようにしている。
【００８９】
図１１において、ｘｙ色度図の中央部（白色領域）に設けられた３個の楕円で囲まれた領域Ｑ１，Ｑ２，Ｑ３は上記確度を示す領域である。領域Ｑ１は黒体軌跡Ａを含む近傍領域で、ハイライト部に光源が含まれているとの判断の確度が略１００％の高確度領域である。また、その外側の領域Ｑ２は上記判断の確度が中位の中確度領域、更に外側の領域Ｑ３は上記判断の確度が低い低確度領域である。
【００９０】
また、各領域Ｑ１，Ｑ２，Ｑ３に設定されたα１は、上述の加算比率αを算出するために用いられる光源判別確度係数である。なお、上記領域Ｑ３の外側の領域は上記判断の確度が略０％となる領域で、光源判別確度係数α１は「０」である。
【００９１】
上記色度データ（ｘ，ｙ）は、Ｒ，Ｇ，Ｂの各色成分の画像データの平均レベル（Ｒ１，Ｇ１，Ｂ１）をＸＹＺ表色系の３刺激値（Ｘ，Ｙ，Ｚ）に変換し、この３刺激値に所定の演算（ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ），ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ））を施して算出される。そして、この算出結果はＧ色の画像データの平均レベルＧ１とともに、上記光源判別確度演算回路９７７とＭＩＸ回路９８６とに入力される。
【００９２】
上記光源判別確度演算回路９７７は上記色度データ（ｘ，ｙ）から上記光源判別確度係数α１を算出するとともに、ハイライト部の輝度レベル（Ｇ色の画像データの平均レベルＧ１）から予め設定されたテーブルに基づき後述する加算係数α２を算出し、これら光源判別確度係数α１，加算係数α２及びハイライト部面積演算回路９７２から入力されるハイライト部の総面積データから予め設定されたテーブルに基づいて上記加算比率αを演算するものである。
【００９３】
図１２は、加算係数α２の算出テーブルの一例を示す図である。
同図において、横軸はハイライト部の輝度レベル（すなわち、ハイライト部のＧ色の画像データの平均レベルＧ１）であり、縦軸は加算係数α２である。横軸の「ｍａｘ」は、ＣＣＤイメージセンサ６のダイナミックレンジの上限値（図６、ダイナミックレンジの上限値参照）に相当し、ローライトクリップレベルは、ＣＣＤイメージセンサ６のＤＣ電圧ＶＲに基づきローライトクリップ回路９７１に設定されるレベルである。
【００９４】
同図に示すテーブルは、ＣＣＤイメージセンサ６の光電変換特性（図６参照）に基づきハイライト部の輝度レベル（Ｇ１）が所定のハイレベル閾値ＧＨ以上であれば、ハイライト部にはほぼ確実に光源が含まれていると推定して加算係数α２を「１」に設定し、ハイライト部の輝度レベルが上記ハイレベル閾値ＧＨより小さいときは、ハイライト部に光源が含まれるとの判断の信頼性は十分でないので、実験等で得られた所定の線図によりハイライト部の輝度レベルに応じて所定の加算係数α２を設定するようにしている。
【００９５】
また、図１３は、ハイライト部の色温度の判別結果に基づくＷＢ制御の一例を示す図である。
【００９６】
上記加算比率αを算出するためのテーブルは、図１３に示すＷＢ制御に基づいて予め設定されており、加算比率αは同図の各ケースに応じて「加算比率」の欄に示すように設定される。
【００９７】
同図において、「ハイライト部面積」はローライトクリップ回路９７１により抽出されるハイライト部の総面積で、ハイライト部面積演算回路９７２の出力内容である。
【００９８】
「黒体軌跡判別」は色度データ（ｘ，ｙ）によるハイライト部の光源判別で、「黒体軌跡」はハイライト部に光源が含まれる可能性がある（図１１において、色度データ（ｘ，ｙ）が領域Ｑ１〜Ｑ３にある）ことを示し、「黒体軌跡外」は、ハイライト部に光源が含まれる可能性がない（図１１において、色度データ（ｘ，ｙ）が領域Ｑ３の外側にある）ことを示している。
【００９９】
また、「ハイライト輝度レベル」はハイライト部のＧ色の画像データの平均レベルＧ１で、実質的にハイライト部の輝度レベルを示し、「想定シーン」は上記「ハイライト部面積」、「黒体軌跡判別」及び「ハイライト輝度レベル」の判別結果の組み合わせから想定される被写体の撮影シーンを示している。
【０１００】
そして、「ＷＢ制御内容」はホワイトバランスの定性的な調整内容を示し、「加算比率」はＭＩＸ回路９８６における加算制御の内容を示し、「光源」は高輝度領域の画像データから算出されたホワイトバランス調整データＷＢＤ１（Ｒ１／Ｇ１，Ｂ１／Ｇ１）の加算比率（α×１００〔％〕）、「通常」は低輝度領域の画像データから算出されたホワイトバランス調整データＷＢＤ２（Ｒ２／Ｇ２，Ｂ２／Ｇ２）の加算比率（（１−α）×１００〔％〕）を示している。
【０１０１】
同図の（１）〜（３）は抽出されたハイライト部の面積が大きく、このハイライト部に光源の色温度が含まれていると推定されるケースである。
【０１０２】
ケース（１）は、ハイライト部の輝度レベルが高く、ハイライト部に光源が存在すると推定されるケースで、例えば図８に示す逆光シーンである。また、ケース（２）は、ハイライト部の輝度レベルが中位で、ハイライト部に光源からの反射光が存在すると推定されるケースで、例えば図７に示すような順光シーンである。
【０１０３】
ケース（１），（２）では、ハイライト部のＧ色の平均レベルＧ１はハイレベル閾値ＧＨを越え、ハイライト部から正確な色温度情報が得られるから、加算係数αは「１」に設定される。すなわち、アンプゲイン制御値（ＡＧＲ，ＡＧＢ）はホワイトバランス調整データＷＢＤ１（Ｒ１／Ｇ１，Ｂ１／Ｇ１）に基づき生成される。
【０１０４】
ケース（３）はハイライト部の輝度が低く、ハイライト部に光源の色温度を反映する物はないが白い反射物が存在すると推定されるケースである。ケース（３）では、ハイライト部のＧ色の平均レベルＧ１はハイレベル閾値ＧＨより低くなるので、加算係数α２は所定の線図から平均レベルＧ１に応じて設定される。
【０１０５】
従って、ケース（３）では、色度データ（ｘ，ｙ）から算出された光源判別確度係数α１とハイライト部のＧ色の平均レベルＧ１から算出された加算係数α２との平均値により加算比率α（＝（α１＋α２）／２）が設定され、アンプゲイン制御値（ＡＧＲ，ＡＧＢ）は高輝度領域から得られるホワイトバランス調整データＷＢＤ１（Ｒ１／Ｇ１，Ｂ１／Ｇ１）と低輝度領域から得られるホワイトバランス調整データＷＢＤ２（Ｒ２／Ｇ２，Ｂ２／Ｇ２）とを上記加算比率αで加算した値に基づき生成される。
【０１０６】
また、同図のケース（４），（５）は抽出されたハイライト部の面積が小さく、画面内に点光源が含まれていると推定されるケースである。この場合は、ハイライト部から光源の色温度情報が得られても、点光源のため、被写体に与える影響は少ないので、ハイライト部の光源の色温度情報は考慮しないようにしている。
【０１０７】
従って、ケース（４），（５）では、加算比率αは「０」に設定され、アンプゲイン制御値（ＡＧＲ，ＡＧＢ）は、低輝度領域から得られるホワイトバランス調整データＷＢＤ２（Ｒ２／Ｇ２，Ｂ２／Ｇ２）に基づき生成される。
【０１０８】
また、同図のケース（６），（７）はハイライト部が大きく、その部分の輝度レベルも中位以上であるが、ハイライト部の輝度レベルは白色光源を反映したものではないと判断されるケースで、撮影シーンが、例えばカラー電球を光源とする場合や夕焼け等のカラーフェリアシーンと推定される場合である。
【０１０９】
ケース（６），（７）ではハイライト部の光源の色温度を考慮すると、却ってＷＢ調整を悪化させる可能性があるので、加算比率αはケース（４），（５）と同様に「０」に設定され、アンプゲイン制御値（ＡＧＲ，ＡＧＢ）は、低輝度領域から得られるホワイトバランス調整データＷＢＤ２（Ｒ２／Ｇ２，Ｂ２／Ｇ２）に基づき生成される。
【０１１０】
なお、低輝度領域の画像データから生成されるホワイトバランス調整データＷＢＤ２は、後述するようにカラーフェリアクリップ回路９８５によりカラーフェリアを抑制するように補正されるので、撮影シーンがカラーフェリアシーンの場合（ケース（７））は、ＷＢ調整で同時にカラーフェリア補正も行われる。
【０１１１】
また、同図のケース（８）はハイライト部が抽出されないケースで、この場合は被写体から光源の色温度情報が得られないので、上記ケース（８）と同様のＷＢ制御が行われる。
【０１１２】
図２に戻り、上記ハイライトクリップ回路９８１は、画像データのハイライト部をクリップし、低輝度領域の画像データを抽出する回路である。クリップレベルには上記ローライトクリップ回路９８１と同一のレベルが設定される。このハイライトクリップ回路９８１では、例えば図７〜図１０の撮影シーンの例では、領域Ｓ１〜領域Ｓ７を除く領域が低輝度領域として抽出される。
【０１１３】
上記重み付け回路９８３及び積分回路９８４はそれぞれ光源判別回路９７内の重み付け回路９７１と積分回路９７２とに対応し、低輝度領域におけるＲ，Ｇ，Ｂの各色成分の画像データの平均レベルＲ２，Ｇ２，Ｂ２を算出するものである。
【０１１４】
なお、上記積分回路９８４の積分開始タイミング及び積分定数τもカウンタ９８７により制御され、低輝度領域におけるＲ，Ｇ，Ｂの各色成分の画像データの平均レベルＲ２，Ｇ２，Ｂ２も上記所定の周期Ｔで更新される。
【０１１５】
色補正ゲイン演算回路９８４は上記色補正ゲイン演算回路９７５に対応し、低輝度領域のＲ，Ｇ，Ｂの各色成分の画像データの平均レベルＲ２，Ｇ２，Ｂ２からホワイトバランス調整データＷＢＤ１（Ｒ１／Ｇ１，Ｂ１／Ｇ１）を演算するものである。この演算結果はカラーフェリアクリップ回路９８５に入力される。
【０１１６】
カラーフェリアクリップ回路９８５は、ＷＢ調整の過補正によるカラーフェリアを抑制するもので、上記ホワイトバランス調整データＷＢＤ２（Ｒ２／Ｇ２，Ｂ２／Ｇ２）が所定のハイレベルを越えるとき、このハイレベルでクリップしてＭＩＸ回路９８６に出力するものである。
【０１１７】
ＭＩＸ回路９８６は、上記色補正ゲイン演算回路９７５から入力されるホワイトバランス調整データＷＢＤ１（Ｒ１／Ｇ１，Ｂ１／Ｇ１）とカラーフェリアクリップ回路９８５から入力されるホワイトバランス調整データＷＢＤ２（Ｒ２／Ｇ２，Ｂ２／Ｇ２）とを、上記光源判別確度演算回路９７７から入力される加算比率αで加算し、この加算結果の逆数を演算してアンプゲイン制御値（ＡＧＲ，ＡＧＢ）を生成するものである。
【０１１８】
なお、アンプゲイン制御値（ＡＧＲ，ＡＧＢ）は、下記▲５▼，▲６▼式で算出される。
【０１１９】
【数５】
上記カウンタ９８７は積分回路９７４，９８３の積分時間を制御するとともに、上記光源判別確度演算回路９８７から入力される光源判別確度係数α１に基づき積分回路９７４，９８３の積分開始タイミングを制御するものである。カウンタ９８７は所定時間τだけ積分回路９７４，９８３を動作させると、この積分結果を所定時間ＴＨＬＤだけホールドさせ、この積分動作とホールド動作を交互に繰り返すことによりアンプゲイン制御値（ＡＧＲ，ＡＧＢ）を周期Ｔ（＝ＴＨＬＤ＋τ）で更新させる。なお、通常時は、ＴＨＬＤ＝０で、Ｔ＝τに設定される。
【０１２１】
上記積分時間τは、数画面分について画像データの平均化が行われるように、数秒程度の適宜の時間が設定されている。少なくとも１画面分について画像データの平均レベルが算出できれば、上記アンプゲイン制御値の演算は可能であるが、例えば動体を撮影する場合や同一被写体に対してパンニングやズーミングにより画角を変化させて撮影する場合、フレーム画像の変化に応じてアンプゲイン制御値を演算し、ＷＢ調整を行うと、上記アンプゲイン制御値が変化し、色バランスのふらつきが生じるおそれがあるため、かかる不具合を防止するため、上記積分時間τは、上記のように比較的長く設定されている。
【０１２２】
また、上記積分結果のホールド時間ＴＨＬＤは、上記光源判別確度係数α１が大きくなるのに応じて長くなるように変更設定されるようになっている。上記動体撮影やパンニング又はズーミングによる撮影において、光源が安定しているのであれば、撮影画面が変化しても光源の色温度は略一定であるから、上記ＷＢ調整周期は上記積分時間τよりも長い、より好適な周期で行うことが望ましい。
【０１２３】
本実施の形態では、撮影画像から光源の色温度を検出するとともに、その検出確度を演算するようにしているので、この演算結果に応じて上記積分結果のホールド時間ＴＨＬＤを変化させ、上記ＷＢ調整周期Ｔをより細かく調整するようにしている。
【０１２４】
すなわち、光源判別確度係数α１が大きいときは、撮影画面内から検出される光源の色温度の精度が高く、被写体の光源が安定している推定されるから、上記積分結果のホールド時間ＴＨＬＤを長くしてアンプゲイン制御値（ＡＧＲ，ＡＧＢ）の更新周期（ＴＨＬＤ＋τ）を長くするようにしている。
【０１２５】
次に、上記撮像装置１の撮像動作について、図７の撮影シーンを撮影する場合を例に簡単に説明する。
レンズ系２を通して入射された被写体光像はダイクロイックプリズム５によりＲ，Ｇ，Ｂの各色成分の光像に分離され、それぞれＣＣＤイメージセンサ６（Ｒ），６（Ｇ），６（Ｂ）の撮像面に結像される。
【０１２６】
ＣＣＤイメージセンサ６（Ｒ），６（Ｇ），６（Ｂ）にタイミングジェネレータ７から制御パルスφＤが入力されると、露光が開始され、露出制御演算回路９５により設定された所定の露光時間Ｔｖが経過すると、タイミングジェネレータ７から上記ＣＣＤイメージセンサ６（Ｒ），６（Ｇ），６（Ｂ）にシフトパルスφＳが入力されて露光が停止される。
【０１２７】
ＣＣＤイメージセンサ６（Ｒ），６（Ｇ），６（Ｂ）の電荷蓄積部６２には上記露光時間Ｔｖ内に入射光量に対して対数圧縮された電荷量が蓄積され、この蓄積電荷からなる画像信号はタイミングジェネレータ７から入力された第１，第２転送パルスφ１，φ２に同期してＣＤＳ回路８１に出力される。Ｒ，Ｇ，Ｂの各色成分の画像信号はそれぞれ、ＣＤＳ回路８１によりノイズが抑圧された後、プリアンプ８２により所定の規定レベルに増幅され、更に色補正演算回路９８からＤ／Ａコンバータ９９を介して入力されたアンプゲイン制御値（ＡＧＲ，ＡＧＢ）に基づいてＷＢ回路８３によりホワイトバランスが調整される。
【０１２８】
ホワイトバランスが調整されたＲ，Ｇ，Ｂの各色成分の画像信号は、Ａ／Ｄコンバータ９１によりデジタルの画像データに変換され、露出制御演算回路９５から入力されたγ補正データと輪郭補正制御回路９６から入力された輪郭補正データとに基づきγ補正回路９１及びエンハンサ９２でγ補正と輪郭補正とが行われた後、Ｄ／Ａコンバータ９３により再度、アナログの画像信号に変換され、図略の後段の回路に出力される。
【０１２９】
なお、上記Ｒ，Ｇ，Ｂの各色成分の画像データはＹマトリックス回路９４にも入力され、このＹマトリックス回路９４で生成された輝度データから露出制御演算回路９５でＤＣ電圧ＶＲ、γ補正データが演算されるとともに、輪郭補正制御回路９６で輪郭補正データが生成される。
【０１３０】
また、上記Ｒ，Ｇ，Ｂの各色成分の画像データは光源判別回路９７に入力され、この光源判別回路９７により高輝度領域（空の領域Ｓ１）が抽出され、この空の領域Ｓ１を構成するＲ，Ｇ，Ｂの各色成分の画像データからホワイトバランス調整データＷＢＤ１（Ｒ１／Ｇ１，Ｂ１／Ｇ１）が演算される。また、空の領域Ｓ１の総面積、平均輝度レベル及び色度データによる光源の色温度が算出され、この３要素から空の領域Ｓ１の光源の色温度を推定し、この推定の確度（光源判別確度係数α１，加算係数α２）に基づき加算比率αが設定される。
【０１３１】
また、上記Ｒ，Ｇ，Ｂの各色成分の画像データは色補正演算回路９８に入力され、この色補正演算回路９８により低輝度領域（空の領域Ｓ１以外の領域）が抽出され、この低輝度領域を構成するＲ，Ｇ，Ｂの各色成分の画像データからホワイトバランス調整データＷＢＤ２（Ｒ２／Ｇ２，Ｂ２／Ｇ２）が演算される。
【０１３２】
そして、上記加算比率αに基づき上記ホワイトバランス調整データＷＢＤ１（Ｒ１／Ｇ１，Ｂ１／Ｇ１）とホワイトバランス調整データＷＢＤ２（Ｒ２／Ｇ２，Ｂ２／Ｇ２）とを加算し、この加算結果の逆数を演算して上記アンプゲイン制御値（ＡＧＲ，ＡＧＢ）が生成される。
【０１３３】
このアンプゲイン制御値（ＡＧＲ，ＡＧＢ）はＤ／Ａコンバータ９９によりアナログ信号に変換された後、上記ＷＢ回路８３にフィードバックされる。
【０１３４】
なお、起動時の最初の撮像動作においては、ＤＣ電圧ＶＲ、露光時間Ｔｖ及びアンプゲイン制御値（ＡＧＲ，ＡＧＢ）は予め設定された初期値に設定されて撮像及び画像信号の信号処理が行われるが、その後は露出制御演算回路９５並びに光源判別回路９７及び色補正演算回路９８により設定されたＤＣ電圧ＶＲ及びアンプゲイン制御値（ＡＧＲ，ＡＧＢ）が所定のタイミング若しくは所定周期で更新的に設定される。
【０１３５】
上記のように、本実施の形態によれば、対数型の光電変換特性を有するＣＣＤイメージセンサ６を用いてオーバーフローすることなく高輝度領域の画像信号を取り込み、この高輝度領域の画像信号から被写体の光源の色温度を推定するとともに、その推定の確度を演算し、この確度に基づき上記光源の色温度を加味してホワイトバランス調整用のアンプゲイン制御値（ＡＧＲ，ＡＧＢ）を設定するようにしているので、ホワイトバランス調整を高い精度で行うことができる。
【０１３６】
特に、高輝度領域の面積、平均輝度レベル及び色度データの３要素から高輝度領域の光源の色温度の推定確度を設定するようにしているので、種々の撮影シーンにおける光源の色温度の推定が比較的高い確度で行え、撮影シーンに応じた好適なホワイトバランス調整を行うことができる。
【０１３７】
【発明の効果】
以上説明したように、本発明によれば、対数特性を備えた複数の光電変換素子からなる撮像手段により被写体を撮像し、撮像画像内の所定の高輝度領域に含まれる光源の色温度に基づくデータ及び検出された高輝度領域以外の領域の画像データから算出されたデータを基にホワイトバランス調整用のデータを生成するようにしたので、撮影シーンに拘らず光源の色温度情報に基づく正確な色補正を行うことができる。また、被写体の順光、逆光、夜景等の各種撮影シーンを高い精度で予測し得るので、撮影シーンに応じた好適な色補正が可能となる。
【図面の簡単な説明】
【図１】本発明に係る撮像装置のブロック構成図である。
【図２】光源判別回路及び色補正演算回路の回路構成図である。
【図３】イメージセンサの各画素の等価回路図である。
【図４】イメージセンサの駆動制御のタイムチャートである。
【図５】露光時の各タイミングにおける電荷蓄積部のポテンシャルの状態を示すもので、（ａ）〜（ｆ）はそれぞれ図４のタイムチャートの時刻ｔ１〜ｔ６の各タイミングにおけるポテンシャルの状態を示す図である。
【図６】イメージセンサの光電変換特性を示す図である。
【図７】晴天又は曇天の撮影シーンにおける高輝度領域の一例を示す図である。
【図８】逆光シーンにおける高輝度領域の一例を示す図である。
【図９】夜景シーンにおける高輝度領域の一例を示す図である。
【図１０】電飾逆光シーンにおける高輝度領域の一例を示す図である。
【図１１】ＣＩＥ色度図から高輝度領域の色温度の検出確度を判別する方法を説明するための図である。
【図１２】加算係数α２の算出テーブルを示す図である。
【図１３】ハイライト部の色温度の判別結果に基づくＷＢ制御の一例を示す図である。
【図１４】従来のＣＣＤイメージセンサの光電変換特性を示す図である。
【符号の説明】
１ 撮像装置
２ レンズ系
３ アイリス
４ アイリスドライバ
５ ダイクロイックプリズム
６ ＣＣＤイメージセンサ
６１ 感光部
６２ 電荷蓄積部
７ タイミングジェネレータ
８ アナログ信号処理回路
８１ 相関二重サンプリング回路
８２ プリアンプ
８３ ホワイトバランス回路
８４ Ａ／Ｄコンバータ
９ デジタル信号処理回路
９１ γ補正回路
９２ エンハンサ
９３ Ｄ／Ａコンバータ
９４ Ｙマトリックス回路
９５ 露出制御演算回路
９６ 輪郭補正制御回路
９７ 光源判別回路
９７１ ローライトクリップ回路
９７２ ハイライト部面積演算回路
９７３ 重み付け回路
９７４ 積分回路
９７５ 色補正ゲイン演算回路
９７６ 色度データ変換回路
９７７ 光源判別確度演算回路
９８ 色補正演算回路
９８１ ハイライトクリップ回路
９８２ 重み付け回路
９８３ 積分回路
９８４ 色補正ゲイン演算回路
９８５ カラーフェリアクリップ回路
９８６ ＭＩＸ回路
９８７ カウンタ
９９ Ｄ／Ａコンバータ
Claims (1)
- 入射光をその光量に対して対数圧縮された電気信号に変換して出力する複数の光電変換素子からなる撮像手段と、上記撮像手段で撮像された画像から所定の高輝度領域を抽出する領域抽出手段と、抽出された高輝度領域から光源の色温度を検出する検出手段と、検出された、高輝度領域からの光源の色温度に基づくデータ及び該高輝度領域以外の領域の画像データから算出されたデータを基に上記撮像画像のホワイトバランス調整用のデータを生成するデータ生成手段とを備えたことを特徴とする撮像装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20566395A JP3551568B2 (ja) | 1995-08-11 | 1995-08-11 | 撮像装置 |
| US08/694,431 US6545710B1 (en) | 1995-08-11 | 1996-08-08 | Image pick-up apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20566395A JP3551568B2 (ja) | 1995-08-11 | 1995-08-11 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0955948A JPH0955948A (ja) | 1997-02-25 |
| JP3551568B2 true JP3551568B2 (ja) | 2004-08-11 |
Family
ID=16510630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20566395A Expired - Fee Related JP3551568B2 (ja) | 1995-08-11 | 1995-08-11 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3551568B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11168750A (ja) * | 1997-09-30 | 1999-06-22 | Ricoh Co Ltd | デジタルカメラ調整装置 |
| US6573932B1 (en) * | 2002-03-15 | 2003-06-03 | Eastman Kodak Company | Method for automatic white balance of digital images |
| JP4499599B2 (ja) * | 2005-04-01 | 2010-07-07 | パナソニック株式会社 | 画像処理方法、画像処理装置、画像処理プログラム、およびその画像処理装置を含む集積回路 |
| JP2007006460A (ja) * | 2005-05-27 | 2007-01-11 | Hitachi Kokusai Electric Inc | テレビジョンカメラおよびテレビジョンカメラシステム |
| US8296088B2 (en) * | 2006-06-02 | 2012-10-23 | Luminex Corporation | Systems and methods for performing measurements of one or more materials |
| JP2008123296A (ja) * | 2006-11-13 | 2008-05-29 | Pioneer Electronic Corp | 光源色推定方法、推定光源色設定方法、および、光源色制御方法 |
| KR100916484B1 (ko) * | 2007-08-14 | 2009-09-08 | 삼성전기주식회사 | 자동 화이트 밸런스 방법 |
| KR100978659B1 (ko) * | 2008-07-17 | 2010-08-30 | 삼성전기주식회사 | 색신호 이득 제어 장치 및 방법 |
| CN107635123B (zh) * | 2017-10-30 | 2019-07-19 | Oppo广东移动通信有限公司 | 白平衡处理方法及装置、电子装置和计算机可读存储介质 |
-
1995
- 1995-08-11 JP JP20566395A patent/JP3551568B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0955948A (ja) | 1997-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6545710B1 (en) | Image pick-up apparatus | |
| US8427575B2 (en) | Image sensing apparatus with exposure controller | |
| US7609320B2 (en) | Imaging device, imaging device image output method, and computer for assigning a dynamic range | |
| US7667764B2 (en) | Image sensing apparatus | |
| US7750950B2 (en) | Image pickup apparatus and image processing method | |
| JP4542058B2 (ja) | 撮像装置および撮像方法 | |
| US20040169751A1 (en) | Image processing apparatus, method, and program | |
| US7187409B2 (en) | Level difference correcting method and image pick-up device using the method | |
| US8749685B2 (en) | Solid-state imaging device, driving method thereof, and imaging apparatus | |
| US20030098917A1 (en) | Solid-state image sensor efficiently utilizing its dynamic range and image pickup apparatus using the same | |
| JP3551568B2 (ja) | 撮像装置 | |
| US20060268155A1 (en) | Image pickup apparatus | |
| KR101230200B1 (ko) | 촬상 장치 | |
| US20020030151A1 (en) | Method and apparatus for instantaneous exposure control in digital imaging devices | |
| JPH0955949A (ja) | 撮像装置 | |
| US20060268154A1 (en) | Image pickup apparatus | |
| JP4374863B2 (ja) | 撮像装置 | |
| JP4043928B2 (ja) | デジタルカメラ | |
| JP2006020279A (ja) | 撮像装置 | |
| JP2751126B2 (ja) | 階調制御機能を有する撮像装置 | |
| JP2004349930A (ja) | デジタルカメラ | |
| JP2000004445A (ja) | カメラ | |
| JP4054263B2 (ja) | 撮像装置及び撮像装置の撮影条件設定方法 | |
| JP2695522B2 (ja) | 撮像装置。 | |
| JPH1098650A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040406 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040419 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |