JP3841584B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP3841584B2 JP3841584B2 JP09492599A JP9492599A JP3841584B2 JP 3841584 B2 JP3841584 B2 JP 3841584B2 JP 09492599 A JP09492599 A JP 09492599A JP 9492599 A JP9492599 A JP 9492599A JP 3841584 B2 JP3841584 B2 JP 3841584B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- white balance
- gain
- color
- balance adjustment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明はビデオカメラ等に用いられる撮像装置に関し、特に露光量の異なる２種類の映像信号を独立にホワイトバランス調整できるようにした撮像装置に関するものである。
【０００２】
【従来の技術】
図３はダイナミックレンジ拡大信号処理を施した合成信号に対してホワイトバランス調整を行なう場合の従来の撮像装置の機能ブロックを示すものである。図３において、従来の撮像装置におけるホワイトバランス補正制御を実現する機能ブロックは、撮像素子１と、ＣＤＳ、ＡＧＣ等の前処理部２と、Ａ／Ｄ変換器３と、時間軸変換器４、輝度信号と色信号の各分離手段５、輝度信号と色信号の各合成手段６、階調補正手段７、階調補正された輝度信号合成成分と色信号合成成分を加算する手段からなるダイナミックレンジ拡大信号処理回路と、輝度信号と色信号の分離手段８、色信号をＲＧＢの原色に分離する手段９、ホワイトバランス調整用乗算器10、色差信号作成用の減算器11、色差信号を色搬送波で変調する手段12および色差信号の加算平均値を作成する手段13からなるメイン信号処理回路と、マイクロコンピュータ14とから構成されている。
【０００３】
撮像素子１は、水平ＣＣＤの転送速度が通常の２倍速度で、露光量が長時間と短時間である２種類の映像信号を１フィールド期間内に交互に出力できるものであり、これより出力された映像信号は、ＣＤＳ、ＡＧＣ等の前処理２を施した後、Ａ／Ｄ変換器３によりデジタル信号に変換され、時間軸変換器４により標準速度で且つ、同一タイミングである長時間露光画像信号と短時間露光画像信号に分離される。
【０００４】
撮像素子１がモザイク状のカラーフィルタを用いた単板カラーカメラ用の撮像素子であるときは、時間軸変換器４から出力される露光量の異なる２種類の映像信号には色変調成分が含まれており、これらを、所定の輝度レベルで合成する場合、輝度信号と色変調成分に分離するフィルタ５により、輝度信号と色キャリア成分に分離した後、輝度信号、色成分の合成６を実施する。
【０００５】
輝度信号の合成成分は、階調補正手段７により、画像ヒストグラム度数の大きいレベル（階調）程コントラストが強調されるような階調補正を施した後、分離しておいた色成分を加算してメイン信号処理回路に送られる。
【０００６】
ホワイトバランス調整はメイン信号処理回路にて実施される。ダイナミックレンジ拡大信号処理された合成信号は、メイン信号処理回路内の輝度信号と色分離手段８にて、再び輝度信号と色キャリア成分に分離される。色キャリア成分はＲＧＢ分離回路９により、ＲＧＢの原色信号に変換され、Ｒ、Ｂ信号はホワイトバランス調整用乗算器10により、それぞれゲインＫＲ、ＫＢを乗じた後、色差信号作成用の減算器11により、色差信号ＫＲ・Ｒ−Ｇ、ＫＢ・Ｂ−Ｇを作成する。
【０００７】
作成された色差信号は、全画面平均値を算出する手段13により、全画面平均値を算出し、これらは、マイクロコンピュータ14に取り込まれ、マイクロコンピュータ14は基準値と比較して、Ｒ、Ｂの色差信号の両方の全画面平均値が零になるように、ホワイトバランス調整用ゲインＫＲ、ＫＢを制御する。
【０００８】
このようにゲインＫＲ、ＫＢを制御することで、ホワイトバランス調整を実施することができる。最後に色差信号は、色搬送波による変調器12で変調した後、輝度信号に加算され複合映像信号として出力される。
【０００９】
【発明が解決しようとする課題】
しかしながら上記従来の撮像装置では、ホワイトバランス調整制御系が１系統であるので、室内と室外のように異なる色温度下の被写体を合成したときに、室内優先でホワイトバランスを調整すれば、室外部分の画像のホワイトバランスが合わないという問題を有していた。
【００１０】
本発明は上記従来の問題を解決するもので、室内と室外のように異なる色温度下の被写体を合成したときに、露光量の異なる２種類の映像信号を独立にホワイトバランス調整できるようにして、室内、室外ともに同時に正しいホワイトバランス補正を行なえるようにした撮像装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記目的を達成するために本発明は、露光量が長時間と短時間である２つの映像信号を交互に出力する撮像素子と、前記２つの映像信号を同一タイミングである長時間露光画像信号および短時間露光画像信号に変換する変換手段と、前記短時間露光画像信号について第１のホワイトバランス調整を行ない第１のホワイトバランス調整後信号を出力する第１のホワイトバランス調整手段と、前記長時間露光画像信号および前記第１のホワイトバランス調整後信号の合成信号を輝度信号と色信号に分離する分離手段と、前記色信号について第２のホワイトバランス調整を行ない第２のホワイトバランス調整後信号を出力する第２のホワイトバランス調整手段と、を有することを特徴とする。
【００１２】
このようにすることにより、室内と室外のように異なる色温度下の被写体を合成したときに、露光量の異なる２種類の映像信号を独立にホワイトバランス調整ができ、室内、室外ともに同時に正しいホワイトバランス補正を行なうことができる。
【００１３】
【発明の実施の形態】
本発明の請求項１に記載の発明は、露光量が長時間と短時間である２つの映像信号を交互に出力する撮像素子と、前記２つの映像信号を同一タイミングである長時間露光画像信号および短時間露光画像信号に変換する変換手段と、前記短時間露光画像信号について第１のホワイトバランス調整を行ない第１のホワイトバランス調整後信号を出力する第１のホワイトバランス調整手段と、前記長時間露光画像信号および前記第１のホワイトバランス調整後信号の合成信号を輝度信号と色信号に分離する分離手段と、前記色信号について第２のホワイトバランス調整を行ない第２のホワイトバランス調整後信号を出力する第２のホワイトバランス調整手段と、を有する撮像装置としたものであり、長時間露光画像のホワイトバランス調整と、短時間露光画像のホワイトバランス調整とを独立してホワイトバランス調整を実施でき、室内、室外ともに同時に正しいホワイトバランス補正を行なうことができるという作用を有する。
【００１４】
また、請求項２に記載の発明は、前記長時間露光画像信号の輝度信号と所定の合成レベルとを比較して暗領域あるいは明領域を判別する領域判別手段と、前記判別結果が明領域の前記第２のホワイトバランス調整後信号を用いて前記第１のホワイトバランス調整手段を制御し、前記判別結果が暗領域の前記第２のホワイトバランス調整後信号を用いて前記第２のホワイトバランス調整手段を制御するホワイトバランス制御手段と、を有する請求項１記載の撮像装置としたものであり、第１および第２のホワイトバランス調整手段を判別した明領域の第２のホワイトバランス調整後信号および判別した暗領域の第２のホワイトバランス調整後信号を用いて制御することで、室内、室外ともに同時に正しいホワイトバランス補正を行なうことができるという作用を有する。
【００１５】
また、請求項３に記載の発明は、前記第１のホワイトバランス調整手段は第１のゲインによって制御され、前記第２のホワイトバランス調整手段は第２のゲインによって制御され、前記判別結果が明領域の前記第２のホワイトバランス調整後信号を用いて前記第１のゲインを決定し、前記判別結果が暗領域の前記第２のホワイトバランス調整後信号を用いて前記第２のゲインを決定するゲイン制御手段、を有する請求項２記載の撮像装置としたものであり、領域判別結果が明領域の第２のホワイトバランス調整後信号を用いて第１のゲインを決定し、領域判別結果が暗領域の第２のホワイトバランス調整後信号を用いて第２のゲインを決定し、第１のゲインによって第１のホワイトバランス調整手段を制御し、第２のゲインによって第２のホワイトバランス調整手段を制御することで、室内、室外ともに同時に正しいホワイトバランス補正を行なうことができるという作用を有する。
【００１６】
以下、本発明の実施の形態について、図１および図２を用いて説明する。
【００１７】
図１において、本発明の実施の形態の撮像装置におけるホワイトバランス補正制御を実現する機能ブロックは、撮像素子101と、ＣＤＳ、ＡＧＣ等の前処理部102と、Ａ／Ｄ変換器103と、時間軸変換器104、輝度信号と色信号の各分離手段105、輝度信号および色信号の各合成手段106、階調補正手段107、短時間露光画像信号専用のホワイトバランス調整用乗算器108、領域検出パルス作成手段109および階調補正された輝度信号合成成分と色信号合成成分を加算する手段からなるダイナミックレンジ拡大信号処理回路と、輝度信号と色信号の分離手段110、色信号をＲＧＢの原色に分離する手段111、ホワイトバランス調整用乗算器112、色差信号作成用の減算器113、色差信号を色搬送波で変調する手段114、領域検出パルスにより色差信号の明・暗各領域部を選択する領域指定手段115および色差信号の加算平均値を作成する手段116からなるメイン信号処理回路と、マイクロコンピュータ117とから構成されている。
【００１８】
撮像素子101は、水平ＣＣＤの転送速度が通常の２倍速度で、露光量が長時間と短時間である２種類の映像信号を１フィールド期間内に交互に出力できるものであり、これより出力された映像信号は、ＣＤＳ、ＡＧＣ等の前処理102を施した後、Ａ／Ｄ変換器103によりデジタル信号に変換され、時間軸変換器104により標準速度で且つ、同一タイミングである長時間露光画像信号と短時間露光画像信号に分離される。
【００１９】
撮像素子101がモザイク状のカラーフィルタを用いた単板カラーカメラ用の撮像素子であるときは、時間軸変換器104から出力される露光量の異なる２系統の映像信号には色変調成分が含まれており、これらを、所定の輝度レベルで合成する場合、輝度信号と色変調成分に分離するフィルタ105により、輝度信号と色キャリア成分に分離した後、輝度信号及び色成分の合成106を実施する。
【００２０】
輝度信号の合成成分は、階調補正手段107により画像のヒストグラム度数の大きい階調程、コントラストが強調されるような補正を施した後、色変調成分を加算してメイン信号処理回路に送られる。
【００２１】
本実施の形態においては、ダイナミックレンジ拡大信号処理回路とメイン信号処理回路は独立したＬＳＩ構成としているので輝度信号と色変調信号は多重信号として扱っている。
【００２２】
輝度信号と色変調成分に分離する前の短時間露光画像信号は、画素ごとにゲイン制御可能な乗算器108を介して短時間露光画像のホワイトバランス調整を施した後に分離する。撮像素子の色フィルタは４色の配列であるから、４種のゲインを設定して画素ごとにタイミングを合わせて乗算器108にゲイン設定すれば良い。このときＲ−Ｙ信号を生成する基本信号となる２種のゲインの和を一定に保つようにゲインを算出すると、Ｒ方向のホワイトバランスを制御することができる。Ｂ−Ｙ信号についても同様である。
【００２３】
長時間露光画像のホワイトバランス調整は、メイン信号処理回路において実施される。メイン信号処理回路では、輝度信号と色信号の分離手段110において、再び輝度信号と色キャリア成分に分離される。色キャリア成分はＲＧＢ分離回路111により、ＲＧＢの原色信号に変換され、Ｒ、Ｂ信号はホワイトバランス調整用乗算器112により、それぞれゲインＫＲ、ＫＢを乗じた後、色差信号作成用の減算器113により、色差信号ＫＲ・Ｒ−Ｇ、ＫＢ・Ｂ−Ｇを作成する。
【００２４】
作成された色差信号は、全画面平均値を算出する手段116により、全画面平均値が算出され、算出された全画面平均値はマイクロコンピュータ117に取り込まれ、マイクロコンピュータ117は基準値と比較して、Ｒ、Ｂの色差信号の両方の全画面平均値が零になるように、ホワイトバランス調整用ゲインＫＲ、ＫＢを制御する。
【００２５】
このようにゲインＫＲ、ＫＢを制御することで、ホワイトバランス調整を実施することができる。最後に色差信号は、色搬送波による変調器114で変調した後、輝度信号に加算され複合映像信号として出力される。
【００２６】
ここにおいて注意すべきは、ダイナミックレンジ拡大信号処理回路側に、長時間露光画像の輝度信号と合成レベルを比較することで暗領域と明領域を区別する判別パルスを発生する手段109が設けられていると共に、メイン信号処理回路側に、この判別パルスにより、色差信号の平均値を検出する回路に入力される色差信号の明・暗各領域部を選択する領域指定手段115が設けられているので、判別パルスの制御により明・暗どちらかの領域の色差信号を選択できるようになる。選択された色差信号は、色差信号の加算平均値を作成する手段116を経由してマイクロコンピュータ117に入力される。
【００２７】
図２（ａ）に、明・暗各領域（short／long領域）を検出して判別パルスを出力する例を示す。輝度信号に対して、ある合成レベル以上を明領域（short領域）、以下を暗領域（long領域）とすると、領域判別パルスは図２（ａ）に示すようになり、これを領域指定制御情報として扱えば、領域判別パルスのＬow期間がlong領域の色差信号、Ｈigh期間がshort領域の色差信号として抽出することができる。
【００２８】
マイクロコンピュータ117はホワイトバランスゲイン制御ソフトウエアを備え、色差信号平均値が基準値と等しくなるようにホワイトバランス制御用乗算器112をフィードバック制御する。
【００２９】
図２（ｂ）に、本実施の形態におけるホワイトバランス補正制御を説明するための動作タイミングの概念を示す。これはホワイトバランス制御を実行するソフトウエアの処理内容を、横軸を時間にして示したものである。
【００３０】
最初に暗領域（long領域）のホワイトバランス調整をメイン信号処理回路内のホワイトバランス調整用乗算器112で実施する。この時点での色差信号平均値データは、明・暗領域判別パルスにより、暗領域の色差信号より作成される。暗領域のホワイトバランスの調整が完了したことを、色差平均値信号が零になったこと検出することで認識する。
【００３１】
次に、明・暗領域判別パルスによる領域指定を明領域（short領域）に設定し、明領域の色差信号を検出し、色差信号の平均値が基準値と等しくなるように、短時間露光画像信号の画素ごとにゲイン制御可能な乗算器108のゲインを算出し、短時間露光画像のホワイトバランス調整を実施する。このときメイン信号処理回路内のホワイトバランス調整用乗算器112のゲインを固定しておく。
【００３２】
以上のように、暗領域のホワイトバランス調整は暗領域の色差信号の平均値によりメイン信号処理回路内のホワイトバランス調整用乗算器を制御することで、また明領域のホワイトバランス調整は明領域の色差信号の平均値により短時間露光画像信号の画素ごとにゲイン制御可能なダイナミックレンジ拡大信号処理回路内の乗算器108を制御することで実施し、この２種類の制御ループを交互に実施することによりホワイトバランス調整を実施する。
【００３３】
以上のような構成及び作用によれば、室内、室外ともに同時に正しいホワイトバランス補正を行なうことができる。
【００３４】
【発明の効果】
以上のように本発明は、露光量が長時間と短時間である２つの映像信号を交互に出力する撮像素子と、前記２つの映像信号を同一タイミングである長時間露光画像信号および短時間露光画像信号に変換する変換手段と、前記短時間露光画像信号について第１のホワイトバランス調整を行ない第１のホワイトバランス調整後信号を出力する第１のホワイトバランス調整手段と、前記長時間露光画像信号および前記第１のホワイトバランス調整後信号の合成信号を輝度信号と色信号に分離する分離手段と、前記色信号について第２のホワイトバランス調整を行ない第２のホワイトバランス調整後信号を出力する第２のホワイトバランス調整手段と、を有することを特徴とするものであり、室内と室外のように異なる色温度下の被写体を合成したときに、露光量の異なる２種類の映像信号を独立にホワイトバランス調整ができるようにして、室内、室外ともに同時に正しいホワイトバランス補正を行ない得る撮像装置を提供できるという優れた効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態の撮像装置におけるホワイトバランス補正制御を実現するための機能ブロックを示す図、
【図２】（ａ）本実施の形態におけるlong／short領域を検出して判別パルスを出力するための説明図、
（ｂ）本実施の形態におけるホワイトバランス補正制御を説明するための動作タイミングの概念を示す図、
【図３】従来の撮像装置におけるホワイトバランス補正制御を実現するための機能ブロックを示す図である。
【符号の説明】
１、101 撮像素子
２、102 ＣＤＳ、ＡＧＣ等の前処理
３、103 Ａ／Ｄ変換器
４、104 時間軸変換器
５、105 輝度信号と色変調成分を各分離する手段(フィルタ)
６、106 輝度信号と色信号の各合成手段
７、107 階調補正手段
８、110 主要信号処理回路内の輝度信号と色信号の分離手段
９、111 色信号をＲＧＢの原色に分離する手段
10、112 主要映像信号処理回路内のホワイトバランス調整用乗算器
11、113 色差信号作成用の減算器
12、114 色差信号を色搬送波で変調する手段
13、116 色差信号の加算平均値を作成する手段
14、117 マイクロコンピュータ
108 短時間露光画像信号専用のホワイトバランス調整用乗算器
109 領域検出パルス作成手段
115 領域指定手段
【発明の属する技術分野】
本発明はビデオカメラ等に用いられる撮像装置に関し、特に露光量の異なる２種類の映像信号を独立にホワイトバランス調整できるようにした撮像装置に関するものである。
【０００２】
【従来の技術】
図３はダイナミックレンジ拡大信号処理を施した合成信号に対してホワイトバランス調整を行なう場合の従来の撮像装置の機能ブロックを示すものである。図３において、従来の撮像装置におけるホワイトバランス補正制御を実現する機能ブロックは、撮像素子１と、ＣＤＳ、ＡＧＣ等の前処理部２と、Ａ／Ｄ変換器３と、時間軸変換器４、輝度信号と色信号の各分離手段５、輝度信号と色信号の各合成手段６、階調補正手段７、階調補正された輝度信号合成成分と色信号合成成分を加算する手段からなるダイナミックレンジ拡大信号処理回路と、輝度信号と色信号の分離手段８、色信号をＲＧＢの原色に分離する手段９、ホワイトバランス調整用乗算器10、色差信号作成用の減算器11、色差信号を色搬送波で変調する手段12および色差信号の加算平均値を作成する手段13からなるメイン信号処理回路と、マイクロコンピュータ14とから構成されている。
【０００３】
撮像素子１は、水平ＣＣＤの転送速度が通常の２倍速度で、露光量が長時間と短時間である２種類の映像信号を１フィールド期間内に交互に出力できるものであり、これより出力された映像信号は、ＣＤＳ、ＡＧＣ等の前処理２を施した後、Ａ／Ｄ変換器３によりデジタル信号に変換され、時間軸変換器４により標準速度で且つ、同一タイミングである長時間露光画像信号と短時間露光画像信号に分離される。
【０００４】
撮像素子１がモザイク状のカラーフィルタを用いた単板カラーカメラ用の撮像素子であるときは、時間軸変換器４から出力される露光量の異なる２種類の映像信号には色変調成分が含まれており、これらを、所定の輝度レベルで合成する場合、輝度信号と色変調成分に分離するフィルタ５により、輝度信号と色キャリア成分に分離した後、輝度信号、色成分の合成６を実施する。
【０００５】
輝度信号の合成成分は、階調補正手段７により、画像ヒストグラム度数の大きいレベル（階調）程コントラストが強調されるような階調補正を施した後、分離しておいた色成分を加算してメイン信号処理回路に送られる。
【０００６】
ホワイトバランス調整はメイン信号処理回路にて実施される。ダイナミックレンジ拡大信号処理された合成信号は、メイン信号処理回路内の輝度信号と色分離手段８にて、再び輝度信号と色キャリア成分に分離される。色キャリア成分はＲＧＢ分離回路９により、ＲＧＢの原色信号に変換され、Ｒ、Ｂ信号はホワイトバランス調整用乗算器10により、それぞれゲインＫＲ、ＫＢを乗じた後、色差信号作成用の減算器11により、色差信号ＫＲ・Ｒ−Ｇ、ＫＢ・Ｂ−Ｇを作成する。
【０００７】
作成された色差信号は、全画面平均値を算出する手段13により、全画面平均値を算出し、これらは、マイクロコンピュータ14に取り込まれ、マイクロコンピュータ14は基準値と比較して、Ｒ、Ｂの色差信号の両方の全画面平均値が零になるように、ホワイトバランス調整用ゲインＫＲ、ＫＢを制御する。
【０００８】
このようにゲインＫＲ、ＫＢを制御することで、ホワイトバランス調整を実施することができる。最後に色差信号は、色搬送波による変調器12で変調した後、輝度信号に加算され複合映像信号として出力される。
【０００９】
【発明が解決しようとする課題】
しかしながら上記従来の撮像装置では、ホワイトバランス調整制御系が１系統であるので、室内と室外のように異なる色温度下の被写体を合成したときに、室内優先でホワイトバランスを調整すれば、室外部分の画像のホワイトバランスが合わないという問題を有していた。
【００１０】
本発明は上記従来の問題を解決するもので、室内と室外のように異なる色温度下の被写体を合成したときに、露光量の異なる２種類の映像信号を独立にホワイトバランス調整できるようにして、室内、室外ともに同時に正しいホワイトバランス補正を行なえるようにした撮像装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記目的を達成するために本発明は、露光量が長時間と短時間である２つの映像信号を交互に出力する撮像素子と、前記２つの映像信号を同一タイミングである長時間露光画像信号および短時間露光画像信号に変換する変換手段と、前記短時間露光画像信号について第１のホワイトバランス調整を行ない第１のホワイトバランス調整後信号を出力する第１のホワイトバランス調整手段と、前記長時間露光画像信号および前記第１のホワイトバランス調整後信号の合成信号を輝度信号と色信号に分離する分離手段と、前記色信号について第２のホワイトバランス調整を行ない第２のホワイトバランス調整後信号を出力する第２のホワイトバランス調整手段と、を有することを特徴とする。
【００１２】
このようにすることにより、室内と室外のように異なる色温度下の被写体を合成したときに、露光量の異なる２種類の映像信号を独立にホワイトバランス調整ができ、室内、室外ともに同時に正しいホワイトバランス補正を行なうことができる。
【００１３】
【発明の実施の形態】
本発明の請求項１に記載の発明は、露光量が長時間と短時間である２つの映像信号を交互に出力する撮像素子と、前記２つの映像信号を同一タイミングである長時間露光画像信号および短時間露光画像信号に変換する変換手段と、前記短時間露光画像信号について第１のホワイトバランス調整を行ない第１のホワイトバランス調整後信号を出力する第１のホワイトバランス調整手段と、前記長時間露光画像信号および前記第１のホワイトバランス調整後信号の合成信号を輝度信号と色信号に分離する分離手段と、前記色信号について第２のホワイトバランス調整を行ない第２のホワイトバランス調整後信号を出力する第２のホワイトバランス調整手段と、を有する撮像装置としたものであり、長時間露光画像のホワイトバランス調整と、短時間露光画像のホワイトバランス調整とを独立してホワイトバランス調整を実施でき、室内、室外ともに同時に正しいホワイトバランス補正を行なうことができるという作用を有する。
【００１４】
また、請求項２に記載の発明は、前記長時間露光画像信号の輝度信号と所定の合成レベルとを比較して暗領域あるいは明領域を判別する領域判別手段と、前記判別結果が明領域の前記第２のホワイトバランス調整後信号を用いて前記第１のホワイトバランス調整手段を制御し、前記判別結果が暗領域の前記第２のホワイトバランス調整後信号を用いて前記第２のホワイトバランス調整手段を制御するホワイトバランス制御手段と、を有する請求項１記載の撮像装置としたものであり、第１および第２のホワイトバランス調整手段を判別した明領域の第２のホワイトバランス調整後信号および判別した暗領域の第２のホワイトバランス調整後信号を用いて制御することで、室内、室外ともに同時に正しいホワイトバランス補正を行なうことができるという作用を有する。
【００１５】
また、請求項３に記載の発明は、前記第１のホワイトバランス調整手段は第１のゲインによって制御され、前記第２のホワイトバランス調整手段は第２のゲインによって制御され、前記判別結果が明領域の前記第２のホワイトバランス調整後信号を用いて前記第１のゲインを決定し、前記判別結果が暗領域の前記第２のホワイトバランス調整後信号を用いて前記第２のゲインを決定するゲイン制御手段、を有する請求項２記載の撮像装置としたものであり、領域判別結果が明領域の第２のホワイトバランス調整後信号を用いて第１のゲインを決定し、領域判別結果が暗領域の第２のホワイトバランス調整後信号を用いて第２のゲインを決定し、第１のゲインによって第１のホワイトバランス調整手段を制御し、第２のゲインによって第２のホワイトバランス調整手段を制御することで、室内、室外ともに同時に正しいホワイトバランス補正を行なうことができるという作用を有する。
【００１６】
以下、本発明の実施の形態について、図１および図２を用いて説明する。
【００１７】
図１において、本発明の実施の形態の撮像装置におけるホワイトバランス補正制御を実現する機能ブロックは、撮像素子101と、ＣＤＳ、ＡＧＣ等の前処理部102と、Ａ／Ｄ変換器103と、時間軸変換器104、輝度信号と色信号の各分離手段105、輝度信号および色信号の各合成手段106、階調補正手段107、短時間露光画像信号専用のホワイトバランス調整用乗算器108、領域検出パルス作成手段109および階調補正された輝度信号合成成分と色信号合成成分を加算する手段からなるダイナミックレンジ拡大信号処理回路と、輝度信号と色信号の分離手段110、色信号をＲＧＢの原色に分離する手段111、ホワイトバランス調整用乗算器112、色差信号作成用の減算器113、色差信号を色搬送波で変調する手段114、領域検出パルスにより色差信号の明・暗各領域部を選択する領域指定手段115および色差信号の加算平均値を作成する手段116からなるメイン信号処理回路と、マイクロコンピュータ117とから構成されている。
【００１８】
撮像素子101は、水平ＣＣＤの転送速度が通常の２倍速度で、露光量が長時間と短時間である２種類の映像信号を１フィールド期間内に交互に出力できるものであり、これより出力された映像信号は、ＣＤＳ、ＡＧＣ等の前処理102を施した後、Ａ／Ｄ変換器103によりデジタル信号に変換され、時間軸変換器104により標準速度で且つ、同一タイミングである長時間露光画像信号と短時間露光画像信号に分離される。
【００１９】
撮像素子101がモザイク状のカラーフィルタを用いた単板カラーカメラ用の撮像素子であるときは、時間軸変換器104から出力される露光量の異なる２系統の映像信号には色変調成分が含まれており、これらを、所定の輝度レベルで合成する場合、輝度信号と色変調成分に分離するフィルタ105により、輝度信号と色キャリア成分に分離した後、輝度信号及び色成分の合成106を実施する。
【００２０】
輝度信号の合成成分は、階調補正手段107により画像のヒストグラム度数の大きい階調程、コントラストが強調されるような補正を施した後、色変調成分を加算してメイン信号処理回路に送られる。
【００２１】
本実施の形態においては、ダイナミックレンジ拡大信号処理回路とメイン信号処理回路は独立したＬＳＩ構成としているので輝度信号と色変調信号は多重信号として扱っている。
【００２２】
輝度信号と色変調成分に分離する前の短時間露光画像信号は、画素ごとにゲイン制御可能な乗算器108を介して短時間露光画像のホワイトバランス調整を施した後に分離する。撮像素子の色フィルタは４色の配列であるから、４種のゲインを設定して画素ごとにタイミングを合わせて乗算器108にゲイン設定すれば良い。このときＲ−Ｙ信号を生成する基本信号となる２種のゲインの和を一定に保つようにゲインを算出すると、Ｒ方向のホワイトバランスを制御することができる。Ｂ−Ｙ信号についても同様である。
【００２３】
長時間露光画像のホワイトバランス調整は、メイン信号処理回路において実施される。メイン信号処理回路では、輝度信号と色信号の分離手段110において、再び輝度信号と色キャリア成分に分離される。色キャリア成分はＲＧＢ分離回路111により、ＲＧＢの原色信号に変換され、Ｒ、Ｂ信号はホワイトバランス調整用乗算器112により、それぞれゲインＫＲ、ＫＢを乗じた後、色差信号作成用の減算器113により、色差信号ＫＲ・Ｒ−Ｇ、ＫＢ・Ｂ−Ｇを作成する。
【００２４】
作成された色差信号は、全画面平均値を算出する手段116により、全画面平均値が算出され、算出された全画面平均値はマイクロコンピュータ117に取り込まれ、マイクロコンピュータ117は基準値と比較して、Ｒ、Ｂの色差信号の両方の全画面平均値が零になるように、ホワイトバランス調整用ゲインＫＲ、ＫＢを制御する。
【００２５】
このようにゲインＫＲ、ＫＢを制御することで、ホワイトバランス調整を実施することができる。最後に色差信号は、色搬送波による変調器114で変調した後、輝度信号に加算され複合映像信号として出力される。
【００２６】
ここにおいて注意すべきは、ダイナミックレンジ拡大信号処理回路側に、長時間露光画像の輝度信号と合成レベルを比較することで暗領域と明領域を区別する判別パルスを発生する手段109が設けられていると共に、メイン信号処理回路側に、この判別パルスにより、色差信号の平均値を検出する回路に入力される色差信号の明・暗各領域部を選択する領域指定手段115が設けられているので、判別パルスの制御により明・暗どちらかの領域の色差信号を選択できるようになる。選択された色差信号は、色差信号の加算平均値を作成する手段116を経由してマイクロコンピュータ117に入力される。
【００２７】
図２（ａ）に、明・暗各領域（short／long領域）を検出して判別パルスを出力する例を示す。輝度信号に対して、ある合成レベル以上を明領域（short領域）、以下を暗領域（long領域）とすると、領域判別パルスは図２（ａ）に示すようになり、これを領域指定制御情報として扱えば、領域判別パルスのＬow期間がlong領域の色差信号、Ｈigh期間がshort領域の色差信号として抽出することができる。
【００２８】
マイクロコンピュータ117はホワイトバランスゲイン制御ソフトウエアを備え、色差信号平均値が基準値と等しくなるようにホワイトバランス制御用乗算器112をフィードバック制御する。
【００２９】
図２（ｂ）に、本実施の形態におけるホワイトバランス補正制御を説明するための動作タイミングの概念を示す。これはホワイトバランス制御を実行するソフトウエアの処理内容を、横軸を時間にして示したものである。
【００３０】
最初に暗領域（long領域）のホワイトバランス調整をメイン信号処理回路内のホワイトバランス調整用乗算器112で実施する。この時点での色差信号平均値データは、明・暗領域判別パルスにより、暗領域の色差信号より作成される。暗領域のホワイトバランスの調整が完了したことを、色差平均値信号が零になったこと検出することで認識する。
【００３１】
次に、明・暗領域判別パルスによる領域指定を明領域（short領域）に設定し、明領域の色差信号を検出し、色差信号の平均値が基準値と等しくなるように、短時間露光画像信号の画素ごとにゲイン制御可能な乗算器108のゲインを算出し、短時間露光画像のホワイトバランス調整を実施する。このときメイン信号処理回路内のホワイトバランス調整用乗算器112のゲインを固定しておく。
【００３２】
以上のように、暗領域のホワイトバランス調整は暗領域の色差信号の平均値によりメイン信号処理回路内のホワイトバランス調整用乗算器を制御することで、また明領域のホワイトバランス調整は明領域の色差信号の平均値により短時間露光画像信号の画素ごとにゲイン制御可能なダイナミックレンジ拡大信号処理回路内の乗算器108を制御することで実施し、この２種類の制御ループを交互に実施することによりホワイトバランス調整を実施する。
【００３３】
以上のような構成及び作用によれば、室内、室外ともに同時に正しいホワイトバランス補正を行なうことができる。
【００３４】
【発明の効果】
以上のように本発明は、露光量が長時間と短時間である２つの映像信号を交互に出力する撮像素子と、前記２つの映像信号を同一タイミングである長時間露光画像信号および短時間露光画像信号に変換する変換手段と、前記短時間露光画像信号について第１のホワイトバランス調整を行ない第１のホワイトバランス調整後信号を出力する第１のホワイトバランス調整手段と、前記長時間露光画像信号および前記第１のホワイトバランス調整後信号の合成信号を輝度信号と色信号に分離する分離手段と、前記色信号について第２のホワイトバランス調整を行ない第２のホワイトバランス調整後信号を出力する第２のホワイトバランス調整手段と、を有することを特徴とするものであり、室内と室外のように異なる色温度下の被写体を合成したときに、露光量の異なる２種類の映像信号を独立にホワイトバランス調整ができるようにして、室内、室外ともに同時に正しいホワイトバランス補正を行ない得る撮像装置を提供できるという優れた効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態の撮像装置におけるホワイトバランス補正制御を実現するための機能ブロックを示す図、
【図２】（ａ）本実施の形態におけるlong／short領域を検出して判別パルスを出力するための説明図、
（ｂ）本実施の形態におけるホワイトバランス補正制御を説明するための動作タイミングの概念を示す図、
【図３】従来の撮像装置におけるホワイトバランス補正制御を実現するための機能ブロックを示す図である。
【符号の説明】
１、101 撮像素子
２、102 ＣＤＳ、ＡＧＣ等の前処理
３、103 Ａ／Ｄ変換器
４、104 時間軸変換器
５、105 輝度信号と色変調成分を各分離する手段(フィルタ)
６、106 輝度信号と色信号の各合成手段
７、107 階調補正手段
８、110 主要信号処理回路内の輝度信号と色信号の分離手段
９、111 色信号をＲＧＢの原色に分離する手段
10、112 主要映像信号処理回路内のホワイトバランス調整用乗算器
11、113 色差信号作成用の減算器
12、114 色差信号を色搬送波で変調する手段
13、116 色差信号の加算平均値を作成する手段
14、117 マイクロコンピュータ
108 短時間露光画像信号専用のホワイトバランス調整用乗算器
109 領域検出パルス作成手段
115 領域指定手段
Claims (9)
- 露光量が長時間と短時間である２つの映像信号を交互に出力する撮像素子と、
前記２つの映像信号を同一タイミングである長時間露光画像信号および短時間露光画像信号に変換する変換手段と、
前記短時間露光画像信号について第１のホワイトバランス調整を行ない第１のホワイトバランス調整後信号を出力する第１のホワイトバランス調整手段と、
前記長時間露光画像信号および前記第１のホワイトバランス調整後信号の合成信号を輝度信号と色信号に分離する分離手段と、
前記色信号について第２のホワイトバランス調整を行ない第２のホワイトバランス調整後信号を出力する第２のホワイトバランス調整手段と、
を有する撮像装置。 - 前記長時間露光画像信号の輝度信号と所定の合成レベルとを比較して暗領域あるいは明領域を判別する領域判別手段と、
前記判別結果が明領域の前記第２のホワイトバランス調整後信号を用いて前記第１のホワイトバランス調整手段を制御し、前記判別結果が暗領域の前記第２のホワイトバランス調整後信号を用いて前記第２のホワイトバランス調整手段を制御するホワイトバランス制御手段と、
を有する請求項１記載の撮像装置。 - 前記第１のホワイトバランス調整手段は第１のゲインによって制御され、前記第２のホワイトバランス調整手段は第２のゲインによって制御され、
前記判別結果が明領域の前記第２のホワイトバランス調整後信号を用いて前記第１のゲインを決定し、
前記判別結果が暗領域の前記第２のホワイトバランス調整後信号を用いて前記第２のゲインを決定するゲイン制御手段、
を有する請求項２記載の撮像装置。 - 前記２つの映像信号は１フィールド内に出力され、前記第１のホワイトバランス調整手段の制御および第２のホワイトバランス調整手段の制御は、前記１フィールド内で終了する、請求項３記載の撮像装置。
- 前記色信号はＲ信号、Ｇ信号、Ｂ信号より構成され、
前記Ｒ信号と前記Ｇ信号の差である第１の色差信号、前記Ｂ信号と前記Ｇ信号の差である第２の色差信号を生成し、
前記第１のゲインは前記明領域の前記第１の色差信号と前記第２の色差信号の平均値により決定され、
前記第２のゲインは前記暗領域の前記第１の色差信号と前記第２の色差信号の平均値により決定される、
請求項３記載の撮像装置。 - 前記ゲインの決定は、調整すべきフィールドより前のフィールドの映像信号によって決定される請求項５記載の撮像装置。
- 露光量が長時間と短時間である２つの映像信号を交互に出力する撮像出力工程と、
前記２つの映像信号を同一タイミングである長時間露光画像信号および短時間露光画像信号に変換する変換工程と、
前記短時間露光画像信号について第１のホワイトバランス調整を行ない第１のホワイトバランス調整後信号を出力する第１のホワイトバランス調整工程と、
前記長時間露光画像信号および前記第１のホワイトバランス調整後信号の合成信号を輝度信号と色信号に分離する分離工程と、
前記色信号について第２のホワイトバランス調整を行ない第２のホワイトバランス調整後信号を出力する第２のホワイトバランス調整工程と、
を有する撮像方法。 - 前記長時間露光画像信号の輝度信号と所定の合成レベルとを比較して暗領域あるいは明領域を判別する領域判別工程と、
前記判別結果が明領域の前記第２のホワイトバランス調整後信号を用いて前記第１のホワイトバランス調整工程を制御し、前記判別結果が暗領域の前記第２のホワイトバランス調整後信号を用いて前記第２のホワイトバランス調整工程を制御するホワイトバランス制御工程と、
を有する請求項７記載の撮像方法。 - 前記第１のホワイトバランス調整工程は第１のゲインによって制御され、前記第２のホワイトバランス調整工程は第２のゲインによって制御され、
前記判別結果が明領域の前記第２のホワイトバランス調整後信号を用いて前記第１のゲインを決定し、
前記判別結果が暗領域の前記第２のホワイトバランス調整後信号を用いて前記第２のゲインを決定するゲイン制御工程、
を有する請求項８記載の撮像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09492599A JP3841584B2 (ja) | 1999-04-01 | 1999-04-01 | 撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09492599A JP3841584B2 (ja) | 1999-04-01 | 1999-04-01 | 撮像装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07916897A Division JP3153147B2 (ja) | 1997-03-14 | 1997-03-14 | 撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11317960A JPH11317960A (ja) | 1999-11-16 |
| JP3841584B2 true JP3841584B2 (ja) | 2006-11-01 |
Family
ID=14123558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09492599A Expired - Lifetime JP3841584B2 (ja) | 1999-04-01 | 1999-04-01 | 撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3841584B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8599282B2 (en) | 2007-04-26 | 2013-12-03 | Samsung Electronics Co., Ltd. | Method and apparatus for generating image |
| JP4973369B2 (ja) * | 2007-08-02 | 2012-07-11 | 株式会社ニコン | 画像処理装置および撮像装置 |
| KR101575803B1 (ko) | 2010-01-15 | 2015-12-09 | 삼성전자 주식회사 | 저조도 환경에서의 고감도 영상 생성 방법 및 그 장치 |
| US8947555B2 (en) * | 2011-04-18 | 2015-02-03 | Qualcomm Incorporated | White balance optimization with high dynamic range images |
-
1999
- 1999-04-01 JP JP09492599A patent/JP3841584B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11317960A (ja) | 1999-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3153147B2 (ja) | 撮像装置 | |
| CA2252183C (en) | An imaging apparatus with dynamic range expanded, a video camera including the same, and a method of generating a dynamic range expanded video signal | |
| US5767899A (en) | Image pickup device | |
| JP3134784B2 (ja) | 画像合成回路 | |
| US7262795B2 (en) | Image processing method for generating weighted interpolated pixel data | |
| JP2003259189A (ja) | 撮像装置，画像処理方法 | |
| JP3841584B2 (ja) | 撮像装置 | |
| JP4320807B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP2000013808A (ja) | カラー撮像装置 | |
| JPH11155108A (ja) | 映像信号処理装置と処理方法、それを用いたビデオカメラ | |
| JP4269367B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP2557620B2 (ja) | 撮像装置 | |
| JP3897445B2 (ja) | 撮像装置および画像信号処理方法 | |
| JP2002135584A (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP4269366B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JPH11220749A (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP3384916B2 (ja) | 撮像装置 | |
| JP4269369B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP4556358B2 (ja) | 階調補正装置及び階調補正方法 | |
| JP4269368B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP4269370B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 | |
| JP3941181B2 (ja) | 偽色抑圧回路および偽色抑圧方法、並びにこれらを用いたカメラシステム | |
| JP2729336B2 (ja) | 絞り制御装置 | |
| JP4214558B2 (ja) | 撮像装置 | |
| JP4273546B2 (ja) | カメラ信号処理装置及びカメラ信号処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040315 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060414 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060425 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060622 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060808 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060808 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090818 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100818 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110818 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110818 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120818 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130818 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |