JP4440562B2 - 映像信号処理装置 - Google Patents
映像信号処理装置 Download PDFInfo
- Publication number
- JP4440562B2 JP4440562B2 JP2003156098A JP2003156098A JP4440562B2 JP 4440562 B2 JP4440562 B2 JP 4440562B2 JP 2003156098 A JP2003156098 A JP 2003156098A JP 2003156098 A JP2003156098 A JP 2003156098A JP 4440562 B2 JP4440562 B2 JP 4440562B2
- Authority
- JP
- Japan
- Prior art keywords
- white balance
- luminance
- image sensor
- exposure time
- video signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤなどの撮像素子を用いたビデオカメラなどに使用する映像信号処理装置に関し、特に撮像開始直後から良好な画像を出力するために露出制御やホワイトバランス制御を行う映像信号処理装置に関する。
【０００２】
【従来の技術】
従来、ビデオカメラなどに用いられる露出制御を行う映像信号処理装置としては、下記の特許文献１に記載されているものが知られており、ホワイトバランス制御に関する技術は下記の特許文献２に記載されているものが知られている。
【０００３】
【特許文献１】
特開２０００−１２５１８７号公報（第３頁、図１）
【特許文献２】
特開平５−８３７２７号公報（第３頁、図１）
【０００４】
特許文献１に記載の技術は、映像信号の１画面（１フィールド）あたりの平均映像信号レベル及びＡＧＣの制御の変動量を検出して、映像信号の基準としてあらかじめ設定した映像信号レベルと比較し、比較結果に応じてＣＣＤカメラのシャッター速度をフィードバック制御しようとするものである。また、特許文献２に記載の技術は、画面を複数のブロックに分割し、それぞれの領域を測光して、領域ごとの測光データを基準に画面のホワイトバランス制御をするものである。
特許文献２に記載の画面の測光データを用いた映像信号処理装置の例を図９に示す。
【０００５】
図９に示す装置は、光を電気信号に変換するＣＣＤ１と、ＣＣＤ１の出力であるアナログ映像信号のリセットノイズを除去するＣＤＳ回路２と、ＣＤＳ回路２の出力から輝度信号Ｙと色差信号Ｃとに分離するＹ／Ｃ分離回路３と、輝度信号Ｙのみを信号処理するＹ信号処理回路４と、色差信号ＣをＲ−Ｙ信号とＢ−Ｙ信号である色差信号に分離するＣ信号処理回路６と、ホワイトバランスゲイン制御手段１５の出力に基づきＲ−Ｙ信号のゲイン制御を行いホワイトバランスを制御するＲＧゲイン制御部７と、ホワイトバランスゲイン制御手段１５の出力に基づきＢ−Ｙ信号のゲイン制御を行いホワイトバランスを制御するＢＧゲイン制御部８と、Ｒ−Ｙ信号とＢ−Ｙ信号をサブキャリア周波数で変調し、変調後の信号をミックスさせて変調された色差信号Ｃを作り出す変調回路９と、Ｙ信号処理回路４が出力する輝度信号Ｙと変調回路９が出力する色差信号Ｃをミックスする加算器５とを含む。
【０００６】
図９に示す装置はさらに、Ｙ／Ｃ分離回路３より得られるＣ信号を複数ブロックに分割し、各ブロック単位にＣＣＤ１の各色フィルタに対応する出力信号を各色フィルタごとに独立して平均化するブロック平均化回路１０と、ブロック平均化回路１０で得られたデータを色差信号Ｃに分離した後、あらかじめ設定された色温度曲線と比較する色温度曲線判定手段１１と、色温度曲線判定手段１１によってブロックごとに比較判定された結果を全画面にわたって平均化する全画面平均検出手段１２と、あらかじめ設定された色温度判定用色差データと比較判定する色温度判定手段１３と、ブロック平均化回路１０及び色温度判定手段１３の各出力から白信号を検出する白検出手段１４と、白検出手段１４の出力に基づきホワイトバランスのゲインをＲＧゲイン制御部７及びＢＧゲイン制御部８に設定するホワイトバランスゲイン制御手段１５とから構成される。
【０００７】
図９において、ＣＣＤ１により出力された映像信号は、アナログ映像信号のリセットノイズをＣＤＳ回路２で除去後、Ｙ／Ｃ分離回路３で輝度信号Ｙ、色差信号Ｃを生成し、輝度信号ＹについてはＹ信号処理回路４でガンマ補正などの信号処理を施し、色差信号ＣについてはＣ信号処理回路６によって色差信号であるＲ−Ｙ信号、Ｂ−Ｙ信号に分離する。
【０００８】
ブロック平均化回路１０では、Ｙ／Ｃ分離回路３より得られる色差信号Ｃを複数ブロックに分割し、各ブロック単位にＣＣＤ１の各色フィルタに対応する出力信号を各色フィルタごとに独立して平均化処理し、色温度曲線判定手段１１に入力する。そして、色温度曲線判定手段１１で、ブロックごとに平均化されたデータを色差信号（Ｒ−Ｙ、Ｂ−Ｙ）に分離する。ブロックごとの色差信号はあらかじめ設定された許容色温度範囲比較用色差データテーブルと比較し、ブロックごとの色差信号（Ｒ−Ｙ、Ｂ−Ｙ）が許容範囲内であれば無彩色（白）に近い信頼性の高いデータと判断してそのデータを全画面平均検出手段１２に出力し、許容範囲外であればそのデータを排除するようにする。
【０００９】
色温度曲線判定手段１１では、図１０に示すようにデータ比較を行う。図１０において、ａは色差信号であるＲ−Ｙ信号、Ｂ−Ｙ信号に対する色温度曲線であり、一般的なホワイトバランス制御では、３０００Ｋ〜６０００Ｋであり、この範囲を図１０に領域ｂで示す。色温度曲線ａを上下から挟むようにｃ：（Ｒ−Ｂ）max とｄ：（Ｒ−Ｂ）minのような領域を設定すれば、この範囲（領域Ａ）に入らない色差データは無彩色（白）から遠い信頼性の低い無効データと判断できるため、この範囲（領域Ａ）に入らないデータについては、全画面平均検出手段１２に出力しない。
【００１０】
したがって、色温度曲線判定手段１１により、領域Ａからはずれたデータは排除されるので、全画面平均色差信号はそのまますべてのデータを使用して全画面平均色差を求めた場合より無彩色（白）に近い信頼性の高いデータになり、色温度判定手段１３で求める色温度も同様に信頼性の高いものにできるため、色温度の誤判定を防ぎ、以降の白検出手段１４、ホワイトバランスゲイン制御手段１５などの処理においても精度の高いホワイトバランス制御を実現することができるという効果が得られる。
【００１１】
【発明が解決しようとする課題】
しかしながら、露出制御において１Ｖ（フィールド）ごとの映像信号の信号レベルを算出してカメラのシャッター速度を算出して１Ｖ（フィールド）ごとにフィードバック制御を行う場合には、撮像開始直後から露出制御を安定させるまで１Ｖ（フィールド）ごと１画面分の信号レベルの平均値を算出し、算出した１画面分の信号レベルの平均値を基にレンズ絞りや撮像素子のシャッター時間制御、ＡＧＣ回路の制御により露出制御を行うため、露出制御が安定するまで被写体によっては時間がかかるという問題がある。
【００１２】
また、被写体が明るく撮像素子の出力が飽和するような場合には、さらに露出制御を安定させることが難しいという問題もある。
【００１３】
さらに、被写体の色温度が異なるような場合、例えば蛍光灯下の白や、白熱電球下の白などは同じ白であっても蛍光灯下の場合は色温度が高く、白熱電球下の場合は色温度が低い傾向にある。ホワイトバランス制御は、一般的な白の色温度(３０００Ｋ〜６０００Ｋ)をホワイトバランスの開始基準として、フィールド単位で映像信号の色ごとの平均値を算出し、この色ごとの平均値を基にホワイトバランス制御を行うため、色温度に応じてホワイトバランス制御が安定し収束するまでに時間がかかるという問題がある。また、ＣＣＤカメラなどの電源をＯＮ／ＯＦＦするような場合や明るさが急激に変動するような場合には、ホワイトバランス制御は、その都度、１画面中の各色平均値を算出し、算出した各色平均値を基準にホワイトバランス制御を行うため、各色平均値を算出してからホワイトバランス制御が収束し安定するまでに時間がかかるという問題がある。
【００１４】
本発明は上記従来例の問題点に鑑み、撮像開始直後から露出制御やホワイトバランス制御の安定した映像信号を得ることができる映像信号処理装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
請求項１に記載の発明は、被写体を撮像して映像信号を生成する撮像素子と、
前記撮像素子から出力される撮像された被写体の前記映像信号の画面の平均輝度を算出する輝度信号レベル算出手段と、撮像開始直後に前記撮像素子を比較的長い露光時間と比較的短い露光時間で交互に駆動して、前記比較的短い露光時間のとき算出された前記画面の平均輝度と目標輝度に基づいて算出された第１の露光時間と、前記比較的長い露光時間のとき算出された前記画面の平均輝度と前記目標輝度に基づいて算出された第２の露光時間とに基づいて第３の露光時間を判定し、当該第３の露光時間となるように前記撮像素子の露光時間を制御する撮像素子駆動手段とを備え、前記被写体が明るく前記撮像素子が飽和している場合は前記第１の露光時間を前記第３の露光時間とし、前記被写体が暗く適切な平均輝度が得られない場合は前記第２の露光時間を前記第３の露光時間とする構成とした。
上記構成により、撮像開始直後から露出制御の安定した映像信号を得ることができるという作用を有する。
【００１６】
請求項２に記載の発明は、請求項1に記載の映像信号処理装置において、前記輝度信号レベル算出手段により算出された前記画面の平均輝度の時間的変化量が所定量より大きい場合に、前記撮像素子を比較的長い露光時間と比較的短い露光時間で交互に駆動して、前記撮像素子の露光時間を制御する構成とした。
上記構成により、輝度レベル変化の大きい場合でも輝度レベル変化の直後から短時間で露出制御の安定した映像信号を得ることができるという作用を有する。
【００１７】
請求項３に記載の発明は、請求項１又は２に記載の映像信号処理装置において、
撮像開始直後に前記撮像素子により撮像された撮像領域中の特定領域部分の色情報に基づいて同じ撮像領域中の他の特定領域部分のホワイトバランス制御を行うホワイトバランス調整手段をさらに備えた構成とした。
上記構成により、撮像開始直後から短時間で露出制御とホワイトバランス制御の安定した映像信号を得ることができるという作用を有する。
【００１８】
請求項４に記載の発明は、請求項１から３のいずれか１つに記載の映像信号処理装置において、
前記輝度信号レベル算出手段により算出された前記画面の平均輝度の時間的変化量が所定量より大きい場合に、前記撮像素子により撮像された撮像領域中の特定領域部分の色情報に基づいて同じ撮像領域中の他の特定領域部分のホワイトバランス制御を行うホワイトバランス調整手段を備えた構成とした。
上記構成により、撮像開始直後から露出制御が安定し、かつ輝度レベル変化の大きい場合でも輝度レベル変化の直後から短時間でホワイトバランス制御の安定した映像信号を得ることができるという作用を有する。
【００２１】
請求項５に記載の発明は、請求項３又は４記載の映像信号処理装置において、
前記輝度信号レベル算出手段により算出された前記輝度信号レベルに基づいて前記撮像素子の出力が飽和しているか否かを検出する飽和検出手段を備え、前記ホワイトバランス調整手段はさらに、前記飽和検出手段により飽和が検出された場合に、前記撮像素子により撮像された撮像領域中の特定領域部分の色情報に基づいて同じ撮像領域中の他の特定領域部分のホワイトバランス制御を行う構成とした。
上記構成により、撮像素子出力が飽和しているような場合や撮像開始直後、あるいは輝度変化の大きい場合でも輝度レベル変化の直後から短時間で露出制御とホワイトバランス制御の安定した映像信号を得ることができるという作用を有する。
【００２２】
請求項６に記載の発明は、請求項１から５のいずれか１つに記載の映像信号処理装置において、
前記撮像素子駆動手段の露光制御が完了した後、表示装置に映像を出力する構成とした。
上記構成により、被写体に応じて表示装置の階調特性を制御することにより、撮像開始直後や輝度変化の大きい場合や、撮像素子出力が飽和しているような場合でも短時間で露出制御が安定した映像信号を表示開始直後から得ることができるという作用を有する。
【００２３】
請求項７に記載の発明は、請求項３から５のいずれか１つに記載の映像信号処理装置において、前記ホワイトバランス調整手段のホワイトバランス制御が完了した後、表示装置に映像を出力する構成とした。
上記構成により、被写体に応じて表示装置の階調特性を制御することにより、撮像開始直後や輝度変化の大きい場合や、撮像素子出力が飽和しているような場合でも短時間で露出制御又はホワイトバランス制御の一方又は両方の制御が安定した映像信号を表示開始直後から得ることができるという作用を有する。
【００２４】
【発明の実施の形態】
＜第１の実施の形態＞
本発明の第１の実施の形態について図１から図４を用いて説明する。図１は本発明の第１の実施の形態における映像信号処理装置の構成を示すブロック図である。
【００２５】
図１に示す装置は、光を電気信号に変換する撮像素子１０１０と、撮像素子１０１０に光を集積するためのレンズ１０００と、図９に示したように撮像素子１０１０の出力であるアナログ映像信号を処理する前処理手段１０２０と、前処理手段１０２０の出力をディジタル信号に変換するＡ／Ｄ変換器１０３０と、Ｒ、Ｇ、Ｂごとの色信号を生成するＲＧＢ生成手段１０４０と、ＲＧＢ生成手段１０４０の出力であるＲ、Ｇ、Ｂ信号に対してガンマ補正、輪郭補正などの信号処理を行い、最終的な輝度信号（ＹＯＵＴ）１０５１、色差信号（ＣＯＵＴ）１０５２を生成するカメラプロセス部１０５０を含む。また、前処理手段１０２０は、撮像素子１０１０の出力であるアナログ映像信号のリセットノイズを除去するＣＤＳ回路２、ノイズ成分が除去されたアナログ映像信号が一定の信号レベルを保持するように輝度平均値算出手段１０７０で生成する輝度平均値を基に映像信号のゲイン調整を行い、ＡＧＣ制御信号１０７２で制御されるＡＧＣ回路（図示せず）、及びゲイン調整されたアナログ映像信号に対してＡ／Ｄ変換するためにクランプする回路（図示せず）で構成される。
【００２６】
図１に示す装置はさらに、Ｒ、Ｇ、Ｂごとの色信号から例えば式（Ａ）より輝度信号を生成し、
Ｙ＝０．２９Ｒ＋０．５９Ｇ＋０．１１Ｂ …式（Ａ）
図２（Ａ）に示すように１画面中の輝度平均値を算出し、算出した輝度平均値を基準に前処理手段１０２０におけるＡＧＣ処理のゲインを制御するＡＣＧ制御信号１０７２を生成するとともに、１画面中の輝度平均値を算出して輝度平均値信号１０７１を撮像素子駆動手段１０６０に出力し、さらに１Ｖ（フィールド）前の画像の輝度平均値と現在の画像の輝度平均値の差分と輝度変化が大きいか否か判定するための基準とするしきい値を比較し、輝度変化の大小を識別するための輝度平均値変動検出信号１０７３を生成する輝度平均値算出手段１０７０を含む。
【００２７】
図１に示す装置はさらに、電源投入を検出し電源のＯＮ／ＯＦＦ状態を示す電源投入信号１０８１を生成する電源検出手段１０８０と、撮像素子１０１０を駆動し、電源投入時には電源検出手段１０８０からの電源のＯＮ／ＯＦＦ状態を示す電源投入信号１０８１、輝度平均値算出手段１０７０で算出する輝度平均値信号１０７１、及び輝度平均値変動検出信号１０７３に基づいて撮像素子１０１０のシャッター時間を制御するシャッター時間制御信号１０６１を生成する撮像素子駆動手段１０６０によって構成される。
【００２８】
撮像素子駆動手段１０６０は例えば図２（Ｂ）のように、電源投入時には電源検出手段１０８０からの電源投入信号１０８１によって電源投入直後の撮像素子１０１０の１回目のシャッター時間（請求項1でいう第１の露光時間）を１／５０sec、２回目のシャッター時間（請求項1でいう第２の露光時間）は１／１０００secとしてシャッターを切るように制御する。
【００２９】
そして、３回目以降のシャッター時間については、輝度平均値算出手段１０７０により得られた輝度平均値を基準に撮像素子駆動手段１０６０で生成するシャッター時間制御信号１０６１により撮像素子１０１０のシャッター時間を制御すれば、被写体が極端に明るく撮像素子１０１０の出力が飽和しているような場合や、被写体が極端に暗い場合であっても、撮像素子１０１０の出力が飽和しているような場合には、１／１０００secのように撮像素子のシャッター時間を短く、被写体が極端に暗い場合にはシャッター時間を１／５０secのように撮像素子１０１０のシャッター時間を長く制御することにより、撮像素子１０１０の飽和の影響のない適切な輝度平均値を得ることができる。
【００３０】
例えば図２（Ａ）のように、輝度平均値算出手段１０７０では１画面中のほぼ全体の画素データを用いて輝度平均値を算出し、この輝度平均値を基準に撮像素子１０１０のシャッター時間を算出する。図２（Ｂ）のように撮像素子１０１０のシャッター時間が１／５０secのときに、輝度平均値算出手段１０７０で算出された輝度平均値が１００である場合、輝度平均値１００を基準として、シャッター時間１secあたりの輝度平均値を（１）〜（３）式より算出する。
１secあたりの輝度平均値＝輝度平均値/シャッター時間 …（１）
１secあたりの輝度平均値＝１００/（１/５０sec) …（２）
１secあたりの輝度平均値＝５０００ …（３）
【００３１】
（３）式より、１secあたりの輝度平均値として５０００が算出される。次に、１secあたりの輝度平均値５０００を基準に露出制御が安定し収束した場合の目標となる輝度平均値である目標輝度平均値になるようなシャッター時間を（４）、（５）式より算出する。
シャッター時間＝目標平均／１secあたりの輝度平均値 …（４）
１／１００sec＝５０／５０００ …（５）
（４）、（５）式により、目標輝度平均値とするシャッター時間は１／１００secとして算出できる。
【００３２】
次に、２回目の撮像素子１０１０のシャッター時間が１/１０００secのときに、輝度平均値算出手段１０７０で算出された輝度平均値が５である場合を基に、撮像素子１０１０のシャッター時間１secあたりの輝度平均値を（１）式より算出する。この場合、（１）式より１secあたりの輝度平均値＝５０００が求められる。これから、（４）式より、目標輝度平均値を５０とする場合のシャッター時間は、１／１００secとして算出できる。
【００３３】
よって、１回目のシャッター(１／５０sec)で算出したシャッター時間１／１００secと２回目のシャッター（１／１０００sec）で算出したシャッター時間は共に１／１００secとなるため、確率的に３回目のシャッター時間（請求項１でいう第３の露光時間）は１／１００secとすればよいと判定できる。
【００３４】
したがって、撮像素子駆動手段１０６０は３回目のシャッターから撮像素子１０１０のシャッター時間を１／１００secとして制御すれば、３回目のシャッター以降は、輝度平均値算出手段１０７０で算出される輝度平均値は、目標輝度平均値である５０として算出できるため、撮像開始直後から短時間で露出制御を安定させることができ、良好な画像を得ることができる。
【００３５】
また、さらに輝度平均値算出手段１０７０では、１Ｖ（フィールド）ごとの輝度平均値の変動により、輝度平均値変動検出信号１０７３も制御する場合には、輝度平均値算出手段１０７０に１Ｖ（フィールド）前の画像と現在の画像の輝度平均値の差分から輝度変化が大きいか否かを判定するための基準となるしきい値を設けているため、このしきい値と１Ｖ（フィールド）前の画像と現在の画像の輝度平均値の差分の比較結果がしきい値より大きい場合には、例えば輝度平均値変動検出信号１０７３を”Ｈ”にする。
【００３６】
そして、輝度平均値の変化が大きい場合には、ＡＧＣ制御信号１０７２により前処理手段１０２０のＡＧＣ回路のゲインが固定になるよう制御して、前述の露出制御と同様の長時間シャッターと短時間シャッターを組み合わせた撮像素子駆動手段１０６０による撮像素子１０１０のシャッター時間制御による露出制御を優先する。他方、しきい値と１Ｖ（フィールド）前の画像の輝度平均値と現在の画像の輝度平均値の差分の比較結果がしきい値より小さい場合、つまり、輝度平均値の変化が小さい状態が継続するような場合には、輝度平均値変動検出信号１０７３を”Ｌ”にする。
【００３７】
このとき、撮像素子駆動手段１０６０による撮像素子１０１０のシャッター時間は、輝度平均値変動検出信号１０７３が”Ｌ”であればシャッター時間が固定となるように制御し、シャッターでの露出制御よりもＡＧＣ制御信号１０７２により前処理手段１０２０のＡＧＣ回路を制御することによる露出制御を優先して行うようにしてもよい。
【００３８】
したがって、撮像開始直後から撮像素子１０１０のシャッター時間を制御することにより、高速で露出制御の安定した映像が得られるとともに被写体の輝度レベルの変化に追従した露出制御の安定した映像信号を得ることができる。
【００３９】
なお、ここでは撮像素子１０１０の１回目のシャッター時間を１／５０sec、２回目のシャッター時間を１／１０００secとしてシャッター時間を制御したが、逆に１回目のシャッター時間を１ ／１０００sec、２回目のシャッター時間を１／５０secとしても同様の効果を得ることができる。
【００４０】
また、被写体が明るく、撮像素子１０１０が飽和しているような場合であっても短時間露光と長時間露光を組み合わせているため、輝度平均値算出手段１０７０で輝度信号の飽和判定処理まで行うようにすれば被写体が明るすぎるような場合であっても適切に露出制御できる。
【００４１】
例えば図３（Ａ）のように輝度平均値算出手段１０７０で撮像素子１０１０の出力が飽和していると判断できる場合には、輝度平均値算出手段１０７０は短時間露光のシャッター時間１／１０００secを基に算出し、この輝度平均値を基準に撮像素子駆動手段１０６０で算出したシャッター時間を示すシャッター時間制御信号１０６１により撮像素子１０１０のシャッター時間を制御し露出制御すればよい。
【００４２】
なお、このときシャッター時間は（４）、（５）式から算出することができるため、撮像素子１０１０の３回目のシャッター時間からは適切な露出制御ができ良好な映像を得ることができる。
【００４３】
また、被写体が暗く適切な輝度平均値が得られないような場合には、撮像素子１０１０のシャッター時間を長時間になるように制御すれば適切な輝度平均値が輝度平均値算出手段１０７０で得られやすくなるため、この長時間シャッターによって得られた輝度平均値を基に（１）〜（５）式のように撮像素子１０１０のシャッター時間を算出すれば露出制御を適切に行うことができる。
【００４４】
また、撮像素子１０１０が飽和していない場合でかつ輝度平均値が適切に得られているような場合には、図３（Ｂ）のように１回目のシャッターだけ１／６０secでシャッターを切り、それを基準に得られた輝度平均値から目標輝度平均値になるように適切なシャッター時間を算出してもよい。例えば図３（Ｂ）の場合は（６）〜（８）式より、シャッター時間としては１／７２secが算出できる。
１secあたりの輝度平均値＝６０／（１／６０sec) …（６）
１secあたりの輝度平均値＝３６００ …（７）
シャッター時間(１／７２sec)＝５０／３６００ …（８）
よって、撮像素子１０１０の２回目のシャッターからシャッター時間を１／７２secとすれば安定した露出制御を行うことができるため、より短時間で露出制御を行うこともできる。
【００４５】
また、図２（Ｂ）と同じ被写体の場合に、例えばシャッター時間を１／６０secに固定にした場合には、（３）式より１secあたりの輝度平均値は５０００であるため、１／６０sec時の輝度平均値は（９）式で算出することにより８３と算出されるため、
５０００×（１／６０sec）＝５０００／６０≒８３ …（９）
この輝度平均値＝８３を基準に、図４（Ａ）に示すように前処理手段１０２０のＡＧＣ回路のみによる露出制御において、露出制御が安定するまでＶ（フィールド）ごとに（−３）ずつ輝度平均値が低くなるようにＡＧＣ処理のゲインを制御し、輝度平均値を露出制御が安定して収束した場合の目標とする目標輝度平均値である５０に収束させるように制御するような場合には、目標輝度平均値である５０に収束するまでに１１Ｖ（フィールド）分の時間を必要とするが、図２（Ｂ）に示すように長時間（１／５０sec）のシャッター時間と短時間（１／１０００sec）のシャッター時間を組み合わせて輝度平均値を輝度平均値算出手段１０７０で算出し、輝度平均値を基に撮像素子駆動手段１０６０でシャッター時間を制御する場合には、図４（Ｂ）のように３Ｖ（フィールド）で目標輝度平均値である５０に収束させることができるため、露出制御に要する時間を大幅に短縮させることができる。
【００４６】
したがって、撮像開始直後や被写体の輝度レベルが急激に変わるような場合であっても、被写体の輝度レベルの変化に追従し高速で露出制御を安定させることができるため、カメラプロセス部１０５０の出力の輝度信号（ＹＯＵＴ）１０５１と色差信号１０５２（ＣＯＵＴ）においても良好な映像信号を得ることができる。
【００４７】
なお、ここではＶ（フィールド）単位での処理として述べたがフレーム単位での処理で行ってもよい。また、シャッター時間制御信号１０６１による撮像素子１０１０のシャッター時間制御だけでなくシャッター時間制御信号１０６１を用いてレンズ１０００の絞り制御を行うことによる露出制御を行ってもよい。
【００４８】
＜第２の実施の形態＞
図５は、本発明の第２の実施の形態における映像信号処理装置を示すブロック図である。第２の実施の形態は、図１の第１の実施の形態と次の点で異なる。すなわち、電源検出手段１０８０からの電源ＯＮ／ＯＦＦを識別するための電源投入信号１０８１及び輝度平均値変動検出信号１０７３によって制御され、さらにＲＧＢ生成手段１０４０の出力を基にホワイトバランス調整をするため画面を測光して各色の平均値を算出し、算出した各平均値を基にホワイトバランスゲインを算出し、ホワイトバランスゲイン調整をするホワイトバランス調整手段１０９０を設けたものである。その他、同じ構成で同じ名称で同じ番号の構成手段は第１の実施の形態で述べたものと同等の機能を有するものとする。
【００４９】
例えば、まずホワイトバランス調整手段１０９０では、図６（Ａ）のように１画面を水平方向に８ブロック、垂直方向に６ブロックの計４８ブロックに分割し、垂直方向１段それぞれに対してＲ、Ｇ、Ｂの平均値を生成し、ホワイトバランスゲインを算出するようにする。ホワイトバランス調整手段１０９０では電源投入を示す電源ＯＮ／ＯＦＦを識別するための電源投入信号１０８１を基に電源投入直後は、１画面全体の平均値でなく垂直方向に分割された画像領域ごとの色情報を用いてホワイトバランス調整を高速で行うようにする。
【００５０】
図６（Ａ）の１段目の場合、Ｒ、Ｇ、Ｂごとの平均値はRave1〜Rave8、Gave1〜Gave8、Bave1〜Bave8として算出されるため、この各平均値を利用してホワイトバランスゲインを算出することができる。例えば、（１０）〜（１２）式より１段目の各色平均値の総和を算出し、これを基に（１３）〜（１５）式により２段目の映像信号のホワイトバランスを調整するためのホワイトバランスゲイン｛WBgainR(1)、WBgainG(1)、WBgainB(1)｝を算出する。
【００５１】
ΣRave18=Rave1+Rave2+Rave3+Rave4+Rave5+Rave6+Rave7+Rave8 …（１０）
ΣGave18=Gave1+Gave2+Gave3+Gave4+Gave5+Gave6+Gave7+Gave8 …（１１）
ΣBave18=Bave1+Bave2+Bave3+Bave4+Bave5+Bave6+Bave7+Bave8 …（１２）
WBgainR(1)=ΣGave18/ΣRave18 …（１３）
WBgainG(1)=ΣGave18/ΣGave18=1(基準) …（１４)
WBgainB(1)=ΣGave18/ΣBave18 …（１５）
【００５２】
この（１３）、（１４）、（１５）式で算出されたホワイトバランスゲイン｛WBgainR(1)、WGgainG(1)、WBgainB(1)｝を用いて１段目の次の２段目の映像信号に対するホワイトバランス調整を行うようにする。さらに、３段目のホワイトバランス調整については２段目のホワイトバランス調整と同様に２段目のＲ、Ｇ、Ｂごとの平均値（Rave9〜Rave16、Gave9〜Gave16、Bave9〜Bave16）を基準に（１０）〜（１５）式と同様にホワイトバランスゲインを算出する。以降、同様に６段目までのホワイトバランスゲインを算出し、ホワイトバランスの調整を行う。また、２Ｖ（フィールド）目の１段目については、１Ｖ（フィールド）目の１段目の各色の平均値を基に算出した１Ｖ（フィールド）目の２段目用に算出したホワイトバランスゲインを用いてホワイトバランス調整を行うようにホワイトバランス調整手段１０９０を制御すればよい。
【００５３】
したがって、１画面分のＲ、Ｇ、Ｂごと平均値（Rave1〜Rave48、Gave1〜Gave48、Bave1〜Bave48)の生成が完了することを待つことなくホワイトバランスゲインを算出できるため、１Ｖ（フィールド）目の途中（２段目）から高速でホワイトバランス制御ができる。
【００５４】
よって、従来は図６（Ｂ）のように１Ｖ（フィールド）ごとにＲ、Ｇ、Ｂごとの平均値（Rave1〜Rave48、Gave1〜Gave48、Bave1〜Bave48）を算出し、それらすべての平均値から１画面分の色ごとの平均値を算出し、（１０）〜（１５）式のようにホワイトバランスゲイン(WBgainRV1〜WBgainRV5、WBgainGV1〜WBgainGV5、WBgainBV1〜WBgainBV5)を生成する場合には、ホワイトバランスゲイン調整は２Ｖ（フィールド）目から制御を開始していたものが、本発明では１Ｖ（フィールド）目からホワイトバランス制御できるため、ホワイトバランス制御が安定するまでに要する時間をより短縮できる。また、被写体を細分化してホワイトバランス制御を行うことができるため、被写体の変化にも追従したホワイトバランス制御も容易にできる。
【００５５】
また、ホワイトバランスゲイン調整をするホワイトバランス調整手段１０９０に、画面を分割測光して分割領域ごとに算出する各色平均値を１Ｖ（フィールド）分保持し、現在の各色平均値との差分を生成し、この差分に対して、あらかじめ被写体が変化したか否かを判定する基準となる各色ごとのしきい値と比較できるように構成しておけば、差分がしきい値を超えない場合には被写体の変化が小さいものと判断できるため、ホワイトバランス調整手段１０９０のホワイトバランス制御を垂直方向に１段ごとのブロック制御から２段ずつのブロック制御や３段ずつのブロック制御などに切り換えるなどして１Ｖ（フィールド）あたりに行うホワイトバランス調整の領域や回数を変化させることにより、ホワイトバランス制御が過剰に行われ画像に違和感を与えることを軽減することもできる。
【００５６】
したがって、撮像開始直後や被写体が急激に変わるような場合であっても、被写体の変化に追従し高速でホワイトバランス及び露出制御を安定させることができるため、カメラプロセス部１０５０の出力の輝度信号（ＹＯＵＴ）１０５１と色差信号１０５２（ＣＯＵＴ）においても良好な映像信号を得ることができる。なお、ここではＶ（フィールド）単位での処理として述べたがフレーム単位での処理で行ってもよい。
【００５７】
＜第３の実施の形態＞
図７は、本発明の第３の実施の形態における信号処理装置を示すブロック図である。第３の実施の形態は、図５の第２の実施の形態と次の点で異なる。すなわち、輝度信号の飽和を検出する飽和検出手段１１００を設け、ＲＧＢ生成手段１０４０の出力を基にホワイトバランスゲイン調整をするホワイトバランス調整手段１０９０は、電源検出手段１０８０からの電源ＯＮ／ＯＦＦを識別するための電源投入信号１０８１及び輝度平均値変動検出信号１０７３、さらに飽和検出手段１１００によっても制御されるようにし、さらにホワイトバランス調整が収束したことを示すホワイトバランス収束信号１０９１をカメラプロセス部１０５０に出力するようにし、さらにカメラプロセス部１０５０はホワイトバランス収束信号１０９１と輝度平均値変動検出信号１０７３によっても制御されるようにしたものである。その他、同じ構成で同じ名称で同じ番号の構成手段は第２の実施の形態で述べたものと同等の機能を有するものとする。
【００５８】
この場合、ホワイトバランス調整手段１０９０は、飽和検出手段１１００からの飽和検出信号を基に輝度信号が飽和している場合には、飽和直前のＶ（フィールド）の画像から算出したホワイトバランスゲインを用いてホワイトバランス制御を行うようにホワイトバランス調整手段１０９０を制御し、さらに輝度平均値変動検出信号１０７３を基に輝度信号が急激に変動した場合、急激に輝度信号が変化する直前のＶ（フィールド）の画像から算出したホワイトバランスゲインを用いてホワイトバランス制御を行うようにホワイトバランス調整手段１０９０を制御し、さらに電源検出手段１０８０からの電源投入信号１０８１を基に急に電源がＯＦＦからＯＮになるような場合についても、電源ＯＦＦする直前のフィールドの画像のホワイトバランスゲインを用いてホワイトバランスゲイン調整を行うようにホワイトバランス調整手段１０９０を制御する。
【００５９】
したがって、撮像開始直後や撮像素子１０１０が飽和したり被写体が急激に変化するような場合であっても、被写体の輝度レベルの変化に追従し高速でホワイトバランス制御及び露出制御を安定させることができる。また、さらにカメラプロセス部１０５０では、ホワイトバランス調整手段１０９０が出力するホワイトバランス調整が収束したことを示すホワイトバランス収束信号１０９１からホワイトバランス制御の収束を識別でき、輝度変化の大小を示す輝度平均値変動検出信号１０７３から露出制御の収束を識別できるため、両方の制御が安定してからカメラプロセス部１０５０は映像を出力する、あるいはどちらか一方の制御が安定してからカメラプロセス部１０５０は映像を出力するなどの制御ができる。このため、撮像開始直後からホワイトバランス制御、露出制御の安定した映像を出力することができる。なお、ここではＶ（フィールド）単位での処理として述べたがフレーム単位での処理で行ってもよい。
【００６０】
＜第４の実施の形態＞
図８は本発明の第４の実施の形態における映像信号処理装置の構成を示すブロック図である。第４の実施の形態は、図７の第３の実施の形態と次の点で異なる。すなわち、表示装置１２００を設けたものであり、表示装置１２００は輝度平均値信号１０７１と輝度平均値変動検出信号１０７３とホワイトバランス収束信号１０９１によってカメラプロセス部１０５０の出力の表示を制御するように構成したものである。その他、同じ構成で同じ名称で同じ番号の構成手段は第３の実施の形態で述べたもの同等の機能を有するものとする。
【００６１】
この場合、輝度平均値信号１０７１で輝度平均値が判断でき、さらに輝度平均値変動検出信号１０７３によって被写体の変動が判断でき、さらにホワイトバランス収束信号１０９１によってホワイトバランス調整の状態も分かるため、これらの情報を基に表示装置１２００を制御する。例えば、暗い被写体が継続するような場合、輝度平均値が低く、輝度平均値の変動も少なく、ホワイトバランス調整も収束している状態であれば、表示装置１２００の階調を暗い被写体が見やすいように階調特性を変更したり、逆に被写体が明るい場合には表示装置１２００の階調を明るい被写体が見やすくなるようにするなど、表示装置１２００の階調特性を被写体に応じて可変制御することができる。
【００６２】
また、ホワイトバランス収束信号１０９１と、ホワイトバランスの収束、輝度平均値変動検出信号１０７３による露出制御の安定性を指標として表示装置１２００の表示開始を制御すれば、ホワイトバランス制御及び露出制御が安定した状態から画像を表示することもできる。さらに輝度平均値信号１０７１がある一定時間”０”であれば、撮像素子１０１０が撮像していないものとみなして、表示装置１２００の電源をＯＦＦとする制御もできる。
【００６３】
なお、表示装置１２００が液晶表示装置のようにバックライトによって制御される場合にも、輝度平均値信号１０７１、輝度平均値変動検出信号１０７３、ホワイトバランス収束信号１０９１を用いてバックライトの制御をすればよく、被写体が暗い場合にはバックライトを明るく、被写体が明るい場合にはバックライトの光量を低下させて暗くするなどの制御をすれば被写体を見やすくでき、適切なバックライトの光量制御を行うことで消費電力を抑えることもできる。したがって、表示装置１２００は良好な画像を表示することができる。
【００６４】
以上説明したように本発明によれば、撮像開始直後に撮像素子１０１０の露光時間を長時間シャッター画像と短時間シャッター画像を基に生成した輝度平均値から算出したシャッター時間で、露出制御を適切に行うことにより、撮像開始直後から短時間で露出制御を行うことができ、カメラプロセス部１０５０は良好な映像信号を得ることができる。
【００６５】
【発明の効果】
以上説明したように請求項１に記載の発明によれば、撮像開始直後から露出制御の安定した映像信号を得ることができる。
請求項２に記載の発明によれば、輝度レベル変化が大きい場合でも輝度レベル変化の直後から短時間で露出制御の安定した映像信号を得ることができる。
請求項３に記載の発明によれば、撮像開始直後から短時間で露出制御とホワイトバランス制御の安定した映像信号を得ることができる。
請求項４に記載の発明によれば、撮像開始直後から露出制御が安定し、かつ輝度レベル変化の大きい場合でも輝度レベル変化の直後から短時間でホワイトバランス制御の安定した映像信号を得ることができる。
請求項５に記載の発明によれば、撮像素子出力が飽和しているような場合や撮像開始直後、あるいは輝度変化の大きい場合でも輝度レベル変化の直後から短時間で露出制御とホワイトバランス制御の安定した映像信号を得ることができる。
請求項６に記載の発明によれば、被写体に応じて表示装置の階調特性を制御することにより、撮像開始直後や輝度変化の大きい場合や、撮像素子出力が飽和しているような場合でも短時間で露出制御が安定した映像信号を表示開始直後から得ることができる。
請求項７に記載の発明によれば、被写体に応じて表示装置の階調特性を制御することにより、撮像開始直後や輝度変化の大きい場合や、撮像素子出力が飽和しているような場合でも短時間で露出制御又はホワイトバランス制御の一方又は両方の制御が安定した映像信号を表示開始直後から得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における映像信号処理装置の構成を示すブロック図
【図２】（Ａ）本発明の第１の実施の形態における画面中の輝度平均値算出領域を示す図
（Ｂ）本発明の第１の実施の形態における撮像素子駆動手段による撮像素子のシャッター時間制御の様子を示す図
【図３】（Ａ）本発明の第１の実施の形態における飽和している撮像素子出力を含む場合の撮像素子のシャッター時間制御の様子を示す図
（Ｂ）本発明の第１の実施の形態における電源投入直後の撮像素子のシャッターを１/６０secとし、２回目以降のシャッター時間を1/７２secとした撮像素子のシャッター時間制御の様子を示す図
【図４】（Ａ）１Ｖ（フィールド）ごとに輝度平均値を（−３）ずつ目標輝度平均値に向けて収束させるように前処理手段のＡＧＣ回路のみで露出制御する様子を示すグラフ
（Ｂ）本発明の第１の実施の形態による露出制御を示すグラフ
【図５】本発明の第２の実施の形態における映像信号処理装置を示すブロック図
【図６】（Ａ）ホワイトバランス調整手段による各ブロックごとの色平均値データ生成及び本発明の第２の実施の形態のホワイトバランス制御を示す図
（Ｂ）１画面の色平均値を用いたホワイトバランス制御を示す図
【図７】本発明の第３の実施の形態の映像信号処理装置を示すブロック図
【図８】本発明の第４の実施の形態の映像信号処理装置を示すブロック図
【図９】従来の映像信号処理装置を示すブロック図
【図１０】図９における白検出の様子を示すグラフ
【符号の説明】
１ ＣＣＤ
２ ＣＤＳ回路
３ Ｙ／Ｃ分離回路
４ Ｙ信号処理回路
５ 加算器
６ Ｃ信号処理回路
７ ＲＧゲイン制御回路部
８ ＢＧゲイン制御回路部
９ 変調回路
１０ ブロック平均化回路
１１ 色温度曲線判定手段
１２ 全画面平均検出手段
１３ 色温度判定手段
１４ 白検出手段
１５ ホワイトバランスゲイン制御手段
１０００ レンズ
１０１０ 撮像素子
１０２０ 前処理手段
１０３０ Ａ／Ｄ変換器
１０４０ ＲＧＢ生成手段
１０５０ カメラプロセス部
１０５１ 輝度信号（ＹＯＵＴ）
１０５２ 色差信号（ＣＯＵＴ）
１０６０ 撮像素子駆動手段
１０６１ シャッター時間制御信号
１０７０ 輝度平均値算出手段
１０７１ 輝度平均値信号
１０７２ ＡＧＣ制御信号
１０７３ 輝度平均値変動検出信号
１０８０ 電源検出手段
１０８１ 電源投入信号
１０９０ ホワイトバランス調整手段
１０９１ ホワイトバランス収束信号
１１００ 飽和検出手段
１２００ 表示装置
【発明の属する技術分野】
本発明は、ＣＣＤなどの撮像素子を用いたビデオカメラなどに使用する映像信号処理装置に関し、特に撮像開始直後から良好な画像を出力するために露出制御やホワイトバランス制御を行う映像信号処理装置に関する。
【０００２】
【従来の技術】
従来、ビデオカメラなどに用いられる露出制御を行う映像信号処理装置としては、下記の特許文献１に記載されているものが知られており、ホワイトバランス制御に関する技術は下記の特許文献２に記載されているものが知られている。
【０００３】
【特許文献１】
特開２０００−１２５１８７号公報（第３頁、図１）
【特許文献２】
特開平５−８３７２７号公報（第３頁、図１）
【０００４】
特許文献１に記載の技術は、映像信号の１画面（１フィールド）あたりの平均映像信号レベル及びＡＧＣの制御の変動量を検出して、映像信号の基準としてあらかじめ設定した映像信号レベルと比較し、比較結果に応じてＣＣＤカメラのシャッター速度をフィードバック制御しようとするものである。また、特許文献２に記載の技術は、画面を複数のブロックに分割し、それぞれの領域を測光して、領域ごとの測光データを基準に画面のホワイトバランス制御をするものである。
特許文献２に記載の画面の測光データを用いた映像信号処理装置の例を図９に示す。
【０００５】
図９に示す装置は、光を電気信号に変換するＣＣＤ１と、ＣＣＤ１の出力であるアナログ映像信号のリセットノイズを除去するＣＤＳ回路２と、ＣＤＳ回路２の出力から輝度信号Ｙと色差信号Ｃとに分離するＹ／Ｃ分離回路３と、輝度信号Ｙのみを信号処理するＹ信号処理回路４と、色差信号ＣをＲ−Ｙ信号とＢ−Ｙ信号である色差信号に分離するＣ信号処理回路６と、ホワイトバランスゲイン制御手段１５の出力に基づきＲ−Ｙ信号のゲイン制御を行いホワイトバランスを制御するＲＧゲイン制御部７と、ホワイトバランスゲイン制御手段１５の出力に基づきＢ−Ｙ信号のゲイン制御を行いホワイトバランスを制御するＢＧゲイン制御部８と、Ｒ−Ｙ信号とＢ−Ｙ信号をサブキャリア周波数で変調し、変調後の信号をミックスさせて変調された色差信号Ｃを作り出す変調回路９と、Ｙ信号処理回路４が出力する輝度信号Ｙと変調回路９が出力する色差信号Ｃをミックスする加算器５とを含む。
【０００６】
図９に示す装置はさらに、Ｙ／Ｃ分離回路３より得られるＣ信号を複数ブロックに分割し、各ブロック単位にＣＣＤ１の各色フィルタに対応する出力信号を各色フィルタごとに独立して平均化するブロック平均化回路１０と、ブロック平均化回路１０で得られたデータを色差信号Ｃに分離した後、あらかじめ設定された色温度曲線と比較する色温度曲線判定手段１１と、色温度曲線判定手段１１によってブロックごとに比較判定された結果を全画面にわたって平均化する全画面平均検出手段１２と、あらかじめ設定された色温度判定用色差データと比較判定する色温度判定手段１３と、ブロック平均化回路１０及び色温度判定手段１３の各出力から白信号を検出する白検出手段１４と、白検出手段１４の出力に基づきホワイトバランスのゲインをＲＧゲイン制御部７及びＢＧゲイン制御部８に設定するホワイトバランスゲイン制御手段１５とから構成される。
【０００７】
図９において、ＣＣＤ１により出力された映像信号は、アナログ映像信号のリセットノイズをＣＤＳ回路２で除去後、Ｙ／Ｃ分離回路３で輝度信号Ｙ、色差信号Ｃを生成し、輝度信号ＹについてはＹ信号処理回路４でガンマ補正などの信号処理を施し、色差信号ＣについてはＣ信号処理回路６によって色差信号であるＲ−Ｙ信号、Ｂ−Ｙ信号に分離する。
【０００８】
ブロック平均化回路１０では、Ｙ／Ｃ分離回路３より得られる色差信号Ｃを複数ブロックに分割し、各ブロック単位にＣＣＤ１の各色フィルタに対応する出力信号を各色フィルタごとに独立して平均化処理し、色温度曲線判定手段１１に入力する。そして、色温度曲線判定手段１１で、ブロックごとに平均化されたデータを色差信号（Ｒ−Ｙ、Ｂ−Ｙ）に分離する。ブロックごとの色差信号はあらかじめ設定された許容色温度範囲比較用色差データテーブルと比較し、ブロックごとの色差信号（Ｒ−Ｙ、Ｂ−Ｙ）が許容範囲内であれば無彩色（白）に近い信頼性の高いデータと判断してそのデータを全画面平均検出手段１２に出力し、許容範囲外であればそのデータを排除するようにする。
【０００９】
色温度曲線判定手段１１では、図１０に示すようにデータ比較を行う。図１０において、ａは色差信号であるＲ−Ｙ信号、Ｂ−Ｙ信号に対する色温度曲線であり、一般的なホワイトバランス制御では、３０００Ｋ〜６０００Ｋであり、この範囲を図１０に領域ｂで示す。色温度曲線ａを上下から挟むようにｃ：（Ｒ−Ｂ）max とｄ：（Ｒ−Ｂ）minのような領域を設定すれば、この範囲（領域Ａ）に入らない色差データは無彩色（白）から遠い信頼性の低い無効データと判断できるため、この範囲（領域Ａ）に入らないデータについては、全画面平均検出手段１２に出力しない。
【００１０】
したがって、色温度曲線判定手段１１により、領域Ａからはずれたデータは排除されるので、全画面平均色差信号はそのまますべてのデータを使用して全画面平均色差を求めた場合より無彩色（白）に近い信頼性の高いデータになり、色温度判定手段１３で求める色温度も同様に信頼性の高いものにできるため、色温度の誤判定を防ぎ、以降の白検出手段１４、ホワイトバランスゲイン制御手段１５などの処理においても精度の高いホワイトバランス制御を実現することができるという効果が得られる。
【００１１】
【発明が解決しようとする課題】
しかしながら、露出制御において１Ｖ（フィールド）ごとの映像信号の信号レベルを算出してカメラのシャッター速度を算出して１Ｖ（フィールド）ごとにフィードバック制御を行う場合には、撮像開始直後から露出制御を安定させるまで１Ｖ（フィールド）ごと１画面分の信号レベルの平均値を算出し、算出した１画面分の信号レベルの平均値を基にレンズ絞りや撮像素子のシャッター時間制御、ＡＧＣ回路の制御により露出制御を行うため、露出制御が安定するまで被写体によっては時間がかかるという問題がある。
【００１２】
また、被写体が明るく撮像素子の出力が飽和するような場合には、さらに露出制御を安定させることが難しいという問題もある。
【００１３】
さらに、被写体の色温度が異なるような場合、例えば蛍光灯下の白や、白熱電球下の白などは同じ白であっても蛍光灯下の場合は色温度が高く、白熱電球下の場合は色温度が低い傾向にある。ホワイトバランス制御は、一般的な白の色温度(３０００Ｋ〜６０００Ｋ)をホワイトバランスの開始基準として、フィールド単位で映像信号の色ごとの平均値を算出し、この色ごとの平均値を基にホワイトバランス制御を行うため、色温度に応じてホワイトバランス制御が安定し収束するまでに時間がかかるという問題がある。また、ＣＣＤカメラなどの電源をＯＮ／ＯＦＦするような場合や明るさが急激に変動するような場合には、ホワイトバランス制御は、その都度、１画面中の各色平均値を算出し、算出した各色平均値を基準にホワイトバランス制御を行うため、各色平均値を算出してからホワイトバランス制御が収束し安定するまでに時間がかかるという問題がある。
【００１４】
本発明は上記従来例の問題点に鑑み、撮像開始直後から露出制御やホワイトバランス制御の安定した映像信号を得ることができる映像信号処理装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
請求項１に記載の発明は、被写体を撮像して映像信号を生成する撮像素子と、
前記撮像素子から出力される撮像された被写体の前記映像信号の画面の平均輝度を算出する輝度信号レベル算出手段と、撮像開始直後に前記撮像素子を比較的長い露光時間と比較的短い露光時間で交互に駆動して、前記比較的短い露光時間のとき算出された前記画面の平均輝度と目標輝度に基づいて算出された第１の露光時間と、前記比較的長い露光時間のとき算出された前記画面の平均輝度と前記目標輝度に基づいて算出された第２の露光時間とに基づいて第３の露光時間を判定し、当該第３の露光時間となるように前記撮像素子の露光時間を制御する撮像素子駆動手段とを備え、前記被写体が明るく前記撮像素子が飽和している場合は前記第１の露光時間を前記第３の露光時間とし、前記被写体が暗く適切な平均輝度が得られない場合は前記第２の露光時間を前記第３の露光時間とする構成とした。
上記構成により、撮像開始直後から露出制御の安定した映像信号を得ることができるという作用を有する。
【００１６】
請求項２に記載の発明は、請求項1に記載の映像信号処理装置において、前記輝度信号レベル算出手段により算出された前記画面の平均輝度の時間的変化量が所定量より大きい場合に、前記撮像素子を比較的長い露光時間と比較的短い露光時間で交互に駆動して、前記撮像素子の露光時間を制御する構成とした。
上記構成により、輝度レベル変化の大きい場合でも輝度レベル変化の直後から短時間で露出制御の安定した映像信号を得ることができるという作用を有する。
【００１７】
請求項３に記載の発明は、請求項１又は２に記載の映像信号処理装置において、
撮像開始直後に前記撮像素子により撮像された撮像領域中の特定領域部分の色情報に基づいて同じ撮像領域中の他の特定領域部分のホワイトバランス制御を行うホワイトバランス調整手段をさらに備えた構成とした。
上記構成により、撮像開始直後から短時間で露出制御とホワイトバランス制御の安定した映像信号を得ることができるという作用を有する。
【００１８】
請求項４に記載の発明は、請求項１から３のいずれか１つに記載の映像信号処理装置において、
前記輝度信号レベル算出手段により算出された前記画面の平均輝度の時間的変化量が所定量より大きい場合に、前記撮像素子により撮像された撮像領域中の特定領域部分の色情報に基づいて同じ撮像領域中の他の特定領域部分のホワイトバランス制御を行うホワイトバランス調整手段を備えた構成とした。
上記構成により、撮像開始直後から露出制御が安定し、かつ輝度レベル変化の大きい場合でも輝度レベル変化の直後から短時間でホワイトバランス制御の安定した映像信号を得ることができるという作用を有する。
【００２１】
請求項５に記載の発明は、請求項３又は４記載の映像信号処理装置において、
前記輝度信号レベル算出手段により算出された前記輝度信号レベルに基づいて前記撮像素子の出力が飽和しているか否かを検出する飽和検出手段を備え、前記ホワイトバランス調整手段はさらに、前記飽和検出手段により飽和が検出された場合に、前記撮像素子により撮像された撮像領域中の特定領域部分の色情報に基づいて同じ撮像領域中の他の特定領域部分のホワイトバランス制御を行う構成とした。
上記構成により、撮像素子出力が飽和しているような場合や撮像開始直後、あるいは輝度変化の大きい場合でも輝度レベル変化の直後から短時間で露出制御とホワイトバランス制御の安定した映像信号を得ることができるという作用を有する。
【００２２】
請求項６に記載の発明は、請求項１から５のいずれか１つに記載の映像信号処理装置において、
前記撮像素子駆動手段の露光制御が完了した後、表示装置に映像を出力する構成とした。
上記構成により、被写体に応じて表示装置の階調特性を制御することにより、撮像開始直後や輝度変化の大きい場合や、撮像素子出力が飽和しているような場合でも短時間で露出制御が安定した映像信号を表示開始直後から得ることができるという作用を有する。
【００２３】
請求項７に記載の発明は、請求項３から５のいずれか１つに記載の映像信号処理装置において、前記ホワイトバランス調整手段のホワイトバランス制御が完了した後、表示装置に映像を出力する構成とした。
上記構成により、被写体に応じて表示装置の階調特性を制御することにより、撮像開始直後や輝度変化の大きい場合や、撮像素子出力が飽和しているような場合でも短時間で露出制御又はホワイトバランス制御の一方又は両方の制御が安定した映像信号を表示開始直後から得ることができるという作用を有する。
【００２４】
【発明の実施の形態】
＜第１の実施の形態＞
本発明の第１の実施の形態について図１から図４を用いて説明する。図１は本発明の第１の実施の形態における映像信号処理装置の構成を示すブロック図である。
【００２５】
図１に示す装置は、光を電気信号に変換する撮像素子１０１０と、撮像素子１０１０に光を集積するためのレンズ１０００と、図９に示したように撮像素子１０１０の出力であるアナログ映像信号を処理する前処理手段１０２０と、前処理手段１０２０の出力をディジタル信号に変換するＡ／Ｄ変換器１０３０と、Ｒ、Ｇ、Ｂごとの色信号を生成するＲＧＢ生成手段１０４０と、ＲＧＢ生成手段１０４０の出力であるＲ、Ｇ、Ｂ信号に対してガンマ補正、輪郭補正などの信号処理を行い、最終的な輝度信号（ＹＯＵＴ）１０５１、色差信号（ＣＯＵＴ）１０５２を生成するカメラプロセス部１０５０を含む。また、前処理手段１０２０は、撮像素子１０１０の出力であるアナログ映像信号のリセットノイズを除去するＣＤＳ回路２、ノイズ成分が除去されたアナログ映像信号が一定の信号レベルを保持するように輝度平均値算出手段１０７０で生成する輝度平均値を基に映像信号のゲイン調整を行い、ＡＧＣ制御信号１０７２で制御されるＡＧＣ回路（図示せず）、及びゲイン調整されたアナログ映像信号に対してＡ／Ｄ変換するためにクランプする回路（図示せず）で構成される。
【００２６】
図１に示す装置はさらに、Ｒ、Ｇ、Ｂごとの色信号から例えば式（Ａ）より輝度信号を生成し、
Ｙ＝０．２９Ｒ＋０．５９Ｇ＋０．１１Ｂ …式（Ａ）
図２（Ａ）に示すように１画面中の輝度平均値を算出し、算出した輝度平均値を基準に前処理手段１０２０におけるＡＧＣ処理のゲインを制御するＡＣＧ制御信号１０７２を生成するとともに、１画面中の輝度平均値を算出して輝度平均値信号１０７１を撮像素子駆動手段１０６０に出力し、さらに１Ｖ（フィールド）前の画像の輝度平均値と現在の画像の輝度平均値の差分と輝度変化が大きいか否か判定するための基準とするしきい値を比較し、輝度変化の大小を識別するための輝度平均値変動検出信号１０７３を生成する輝度平均値算出手段１０７０を含む。
【００２７】
図１に示す装置はさらに、電源投入を検出し電源のＯＮ／ＯＦＦ状態を示す電源投入信号１０８１を生成する電源検出手段１０８０と、撮像素子１０１０を駆動し、電源投入時には電源検出手段１０８０からの電源のＯＮ／ＯＦＦ状態を示す電源投入信号１０８１、輝度平均値算出手段１０７０で算出する輝度平均値信号１０７１、及び輝度平均値変動検出信号１０７３に基づいて撮像素子１０１０のシャッター時間を制御するシャッター時間制御信号１０６１を生成する撮像素子駆動手段１０６０によって構成される。
【００２８】
撮像素子駆動手段１０６０は例えば図２（Ｂ）のように、電源投入時には電源検出手段１０８０からの電源投入信号１０８１によって電源投入直後の撮像素子１０１０の１回目のシャッター時間（請求項1でいう第１の露光時間）を１／５０sec、２回目のシャッター時間（請求項1でいう第２の露光時間）は１／１０００secとしてシャッターを切るように制御する。
【００２９】
そして、３回目以降のシャッター時間については、輝度平均値算出手段１０７０により得られた輝度平均値を基準に撮像素子駆動手段１０６０で生成するシャッター時間制御信号１０６１により撮像素子１０１０のシャッター時間を制御すれば、被写体が極端に明るく撮像素子１０１０の出力が飽和しているような場合や、被写体が極端に暗い場合であっても、撮像素子１０１０の出力が飽和しているような場合には、１／１０００secのように撮像素子のシャッター時間を短く、被写体が極端に暗い場合にはシャッター時間を１／５０secのように撮像素子１０１０のシャッター時間を長く制御することにより、撮像素子１０１０の飽和の影響のない適切な輝度平均値を得ることができる。
【００３０】
例えば図２（Ａ）のように、輝度平均値算出手段１０７０では１画面中のほぼ全体の画素データを用いて輝度平均値を算出し、この輝度平均値を基準に撮像素子１０１０のシャッター時間を算出する。図２（Ｂ）のように撮像素子１０１０のシャッター時間が１／５０secのときに、輝度平均値算出手段１０７０で算出された輝度平均値が１００である場合、輝度平均値１００を基準として、シャッター時間１secあたりの輝度平均値を（１）〜（３）式より算出する。
１secあたりの輝度平均値＝輝度平均値/シャッター時間 …（１）
１secあたりの輝度平均値＝１００/（１/５０sec) …（２）
１secあたりの輝度平均値＝５０００ …（３）
【００３１】
（３）式より、１secあたりの輝度平均値として５０００が算出される。次に、１secあたりの輝度平均値５０００を基準に露出制御が安定し収束した場合の目標となる輝度平均値である目標輝度平均値になるようなシャッター時間を（４）、（５）式より算出する。
シャッター時間＝目標平均／１secあたりの輝度平均値 …（４）
１／１００sec＝５０／５０００ …（５）
（４）、（５）式により、目標輝度平均値とするシャッター時間は１／１００secとして算出できる。
【００３２】
次に、２回目の撮像素子１０１０のシャッター時間が１/１０００secのときに、輝度平均値算出手段１０７０で算出された輝度平均値が５である場合を基に、撮像素子１０１０のシャッター時間１secあたりの輝度平均値を（１）式より算出する。この場合、（１）式より１secあたりの輝度平均値＝５０００が求められる。これから、（４）式より、目標輝度平均値を５０とする場合のシャッター時間は、１／１００secとして算出できる。
【００３３】
よって、１回目のシャッター(１／５０sec)で算出したシャッター時間１／１００secと２回目のシャッター（１／１０００sec）で算出したシャッター時間は共に１／１００secとなるため、確率的に３回目のシャッター時間（請求項１でいう第３の露光時間）は１／１００secとすればよいと判定できる。
【００３４】
したがって、撮像素子駆動手段１０６０は３回目のシャッターから撮像素子１０１０のシャッター時間を１／１００secとして制御すれば、３回目のシャッター以降は、輝度平均値算出手段１０７０で算出される輝度平均値は、目標輝度平均値である５０として算出できるため、撮像開始直後から短時間で露出制御を安定させることができ、良好な画像を得ることができる。
【００３５】
また、さらに輝度平均値算出手段１０７０では、１Ｖ（フィールド）ごとの輝度平均値の変動により、輝度平均値変動検出信号１０７３も制御する場合には、輝度平均値算出手段１０７０に１Ｖ（フィールド）前の画像と現在の画像の輝度平均値の差分から輝度変化が大きいか否かを判定するための基準となるしきい値を設けているため、このしきい値と１Ｖ（フィールド）前の画像と現在の画像の輝度平均値の差分の比較結果がしきい値より大きい場合には、例えば輝度平均値変動検出信号１０７３を”Ｈ”にする。
【００３６】
そして、輝度平均値の変化が大きい場合には、ＡＧＣ制御信号１０７２により前処理手段１０２０のＡＧＣ回路のゲインが固定になるよう制御して、前述の露出制御と同様の長時間シャッターと短時間シャッターを組み合わせた撮像素子駆動手段１０６０による撮像素子１０１０のシャッター時間制御による露出制御を優先する。他方、しきい値と１Ｖ（フィールド）前の画像の輝度平均値と現在の画像の輝度平均値の差分の比較結果がしきい値より小さい場合、つまり、輝度平均値の変化が小さい状態が継続するような場合には、輝度平均値変動検出信号１０７３を”Ｌ”にする。
【００３７】
このとき、撮像素子駆動手段１０６０による撮像素子１０１０のシャッター時間は、輝度平均値変動検出信号１０７３が”Ｌ”であればシャッター時間が固定となるように制御し、シャッターでの露出制御よりもＡＧＣ制御信号１０７２により前処理手段１０２０のＡＧＣ回路を制御することによる露出制御を優先して行うようにしてもよい。
【００３８】
したがって、撮像開始直後から撮像素子１０１０のシャッター時間を制御することにより、高速で露出制御の安定した映像が得られるとともに被写体の輝度レベルの変化に追従した露出制御の安定した映像信号を得ることができる。
【００３９】
なお、ここでは撮像素子１０１０の１回目のシャッター時間を１／５０sec、２回目のシャッター時間を１／１０００secとしてシャッター時間を制御したが、逆に１回目のシャッター時間を１ ／１０００sec、２回目のシャッター時間を１／５０secとしても同様の効果を得ることができる。
【００４０】
また、被写体が明るく、撮像素子１０１０が飽和しているような場合であっても短時間露光と長時間露光を組み合わせているため、輝度平均値算出手段１０７０で輝度信号の飽和判定処理まで行うようにすれば被写体が明るすぎるような場合であっても適切に露出制御できる。
【００４１】
例えば図３（Ａ）のように輝度平均値算出手段１０７０で撮像素子１０１０の出力が飽和していると判断できる場合には、輝度平均値算出手段１０７０は短時間露光のシャッター時間１／１０００secを基に算出し、この輝度平均値を基準に撮像素子駆動手段１０６０で算出したシャッター時間を示すシャッター時間制御信号１０６１により撮像素子１０１０のシャッター時間を制御し露出制御すればよい。
【００４２】
なお、このときシャッター時間は（４）、（５）式から算出することができるため、撮像素子１０１０の３回目のシャッター時間からは適切な露出制御ができ良好な映像を得ることができる。
【００４３】
また、被写体が暗く適切な輝度平均値が得られないような場合には、撮像素子１０１０のシャッター時間を長時間になるように制御すれば適切な輝度平均値が輝度平均値算出手段１０７０で得られやすくなるため、この長時間シャッターによって得られた輝度平均値を基に（１）〜（５）式のように撮像素子１０１０のシャッター時間を算出すれば露出制御を適切に行うことができる。
【００４４】
また、撮像素子１０１０が飽和していない場合でかつ輝度平均値が適切に得られているような場合には、図３（Ｂ）のように１回目のシャッターだけ１／６０secでシャッターを切り、それを基準に得られた輝度平均値から目標輝度平均値になるように適切なシャッター時間を算出してもよい。例えば図３（Ｂ）の場合は（６）〜（８）式より、シャッター時間としては１／７２secが算出できる。
１secあたりの輝度平均値＝６０／（１／６０sec) …（６）
１secあたりの輝度平均値＝３６００ …（７）
シャッター時間(１／７２sec)＝５０／３６００ …（８）
よって、撮像素子１０１０の２回目のシャッターからシャッター時間を１／７２secとすれば安定した露出制御を行うことができるため、より短時間で露出制御を行うこともできる。
【００４５】
また、図２（Ｂ）と同じ被写体の場合に、例えばシャッター時間を１／６０secに固定にした場合には、（３）式より１secあたりの輝度平均値は５０００であるため、１／６０sec時の輝度平均値は（９）式で算出することにより８３と算出されるため、
５０００×（１／６０sec）＝５０００／６０≒８３ …（９）
この輝度平均値＝８３を基準に、図４（Ａ）に示すように前処理手段１０２０のＡＧＣ回路のみによる露出制御において、露出制御が安定するまでＶ（フィールド）ごとに（−３）ずつ輝度平均値が低くなるようにＡＧＣ処理のゲインを制御し、輝度平均値を露出制御が安定して収束した場合の目標とする目標輝度平均値である５０に収束させるように制御するような場合には、目標輝度平均値である５０に収束するまでに１１Ｖ（フィールド）分の時間を必要とするが、図２（Ｂ）に示すように長時間（１／５０sec）のシャッター時間と短時間（１／１０００sec）のシャッター時間を組み合わせて輝度平均値を輝度平均値算出手段１０７０で算出し、輝度平均値を基に撮像素子駆動手段１０６０でシャッター時間を制御する場合には、図４（Ｂ）のように３Ｖ（フィールド）で目標輝度平均値である５０に収束させることができるため、露出制御に要する時間を大幅に短縮させることができる。
【００４６】
したがって、撮像開始直後や被写体の輝度レベルが急激に変わるような場合であっても、被写体の輝度レベルの変化に追従し高速で露出制御を安定させることができるため、カメラプロセス部１０５０の出力の輝度信号（ＹＯＵＴ）１０５１と色差信号１０５２（ＣＯＵＴ）においても良好な映像信号を得ることができる。
【００４７】
なお、ここではＶ（フィールド）単位での処理として述べたがフレーム単位での処理で行ってもよい。また、シャッター時間制御信号１０６１による撮像素子１０１０のシャッター時間制御だけでなくシャッター時間制御信号１０６１を用いてレンズ１０００の絞り制御を行うことによる露出制御を行ってもよい。
【００４８】
＜第２の実施の形態＞
図５は、本発明の第２の実施の形態における映像信号処理装置を示すブロック図である。第２の実施の形態は、図１の第１の実施の形態と次の点で異なる。すなわち、電源検出手段１０８０からの電源ＯＮ／ＯＦＦを識別するための電源投入信号１０８１及び輝度平均値変動検出信号１０７３によって制御され、さらにＲＧＢ生成手段１０４０の出力を基にホワイトバランス調整をするため画面を測光して各色の平均値を算出し、算出した各平均値を基にホワイトバランスゲインを算出し、ホワイトバランスゲイン調整をするホワイトバランス調整手段１０９０を設けたものである。その他、同じ構成で同じ名称で同じ番号の構成手段は第１の実施の形態で述べたものと同等の機能を有するものとする。
【００４９】
例えば、まずホワイトバランス調整手段１０９０では、図６（Ａ）のように１画面を水平方向に８ブロック、垂直方向に６ブロックの計４８ブロックに分割し、垂直方向１段それぞれに対してＲ、Ｇ、Ｂの平均値を生成し、ホワイトバランスゲインを算出するようにする。ホワイトバランス調整手段１０９０では電源投入を示す電源ＯＮ／ＯＦＦを識別するための電源投入信号１０８１を基に電源投入直後は、１画面全体の平均値でなく垂直方向に分割された画像領域ごとの色情報を用いてホワイトバランス調整を高速で行うようにする。
【００５０】
図６（Ａ）の１段目の場合、Ｒ、Ｇ、Ｂごとの平均値はRave1〜Rave8、Gave1〜Gave8、Bave1〜Bave8として算出されるため、この各平均値を利用してホワイトバランスゲインを算出することができる。例えば、（１０）〜（１２）式より１段目の各色平均値の総和を算出し、これを基に（１３）〜（１５）式により２段目の映像信号のホワイトバランスを調整するためのホワイトバランスゲイン｛WBgainR(1)、WBgainG(1)、WBgainB(1)｝を算出する。
【００５１】
ΣRave18=Rave1+Rave2+Rave3+Rave4+Rave5+Rave6+Rave7+Rave8 …（１０）
ΣGave18=Gave1+Gave2+Gave3+Gave4+Gave5+Gave6+Gave7+Gave8 …（１１）
ΣBave18=Bave1+Bave2+Bave3+Bave4+Bave5+Bave6+Bave7+Bave8 …（１２）
WBgainR(1)=ΣGave18/ΣRave18 …（１３）
WBgainG(1)=ΣGave18/ΣGave18=1(基準) …（１４)
WBgainB(1)=ΣGave18/ΣBave18 …（１５）
【００５２】
この（１３）、（１４）、（１５）式で算出されたホワイトバランスゲイン｛WBgainR(1)、WGgainG(1)、WBgainB(1)｝を用いて１段目の次の２段目の映像信号に対するホワイトバランス調整を行うようにする。さらに、３段目のホワイトバランス調整については２段目のホワイトバランス調整と同様に２段目のＲ、Ｇ、Ｂごとの平均値（Rave9〜Rave16、Gave9〜Gave16、Bave9〜Bave16）を基準に（１０）〜（１５）式と同様にホワイトバランスゲインを算出する。以降、同様に６段目までのホワイトバランスゲインを算出し、ホワイトバランスの調整を行う。また、２Ｖ（フィールド）目の１段目については、１Ｖ（フィールド）目の１段目の各色の平均値を基に算出した１Ｖ（フィールド）目の２段目用に算出したホワイトバランスゲインを用いてホワイトバランス調整を行うようにホワイトバランス調整手段１０９０を制御すればよい。
【００５３】
したがって、１画面分のＲ、Ｇ、Ｂごと平均値（Rave1〜Rave48、Gave1〜Gave48、Bave1〜Bave48)の生成が完了することを待つことなくホワイトバランスゲインを算出できるため、１Ｖ（フィールド）目の途中（２段目）から高速でホワイトバランス制御ができる。
【００５４】
よって、従来は図６（Ｂ）のように１Ｖ（フィールド）ごとにＲ、Ｇ、Ｂごとの平均値（Rave1〜Rave48、Gave1〜Gave48、Bave1〜Bave48）を算出し、それらすべての平均値から１画面分の色ごとの平均値を算出し、（１０）〜（１５）式のようにホワイトバランスゲイン(WBgainRV1〜WBgainRV5、WBgainGV1〜WBgainGV5、WBgainBV1〜WBgainBV5)を生成する場合には、ホワイトバランスゲイン調整は２Ｖ（フィールド）目から制御を開始していたものが、本発明では１Ｖ（フィールド）目からホワイトバランス制御できるため、ホワイトバランス制御が安定するまでに要する時間をより短縮できる。また、被写体を細分化してホワイトバランス制御を行うことができるため、被写体の変化にも追従したホワイトバランス制御も容易にできる。
【００５５】
また、ホワイトバランスゲイン調整をするホワイトバランス調整手段１０９０に、画面を分割測光して分割領域ごとに算出する各色平均値を１Ｖ（フィールド）分保持し、現在の各色平均値との差分を生成し、この差分に対して、あらかじめ被写体が変化したか否かを判定する基準となる各色ごとのしきい値と比較できるように構成しておけば、差分がしきい値を超えない場合には被写体の変化が小さいものと判断できるため、ホワイトバランス調整手段１０９０のホワイトバランス制御を垂直方向に１段ごとのブロック制御から２段ずつのブロック制御や３段ずつのブロック制御などに切り換えるなどして１Ｖ（フィールド）あたりに行うホワイトバランス調整の領域や回数を変化させることにより、ホワイトバランス制御が過剰に行われ画像に違和感を与えることを軽減することもできる。
【００５６】
したがって、撮像開始直後や被写体が急激に変わるような場合であっても、被写体の変化に追従し高速でホワイトバランス及び露出制御を安定させることができるため、カメラプロセス部１０５０の出力の輝度信号（ＹＯＵＴ）１０５１と色差信号１０５２（ＣＯＵＴ）においても良好な映像信号を得ることができる。なお、ここではＶ（フィールド）単位での処理として述べたがフレーム単位での処理で行ってもよい。
【００５７】
＜第３の実施の形態＞
図７は、本発明の第３の実施の形態における信号処理装置を示すブロック図である。第３の実施の形態は、図５の第２の実施の形態と次の点で異なる。すなわち、輝度信号の飽和を検出する飽和検出手段１１００を設け、ＲＧＢ生成手段１０４０の出力を基にホワイトバランスゲイン調整をするホワイトバランス調整手段１０９０は、電源検出手段１０８０からの電源ＯＮ／ＯＦＦを識別するための電源投入信号１０８１及び輝度平均値変動検出信号１０７３、さらに飽和検出手段１１００によっても制御されるようにし、さらにホワイトバランス調整が収束したことを示すホワイトバランス収束信号１０９１をカメラプロセス部１０５０に出力するようにし、さらにカメラプロセス部１０５０はホワイトバランス収束信号１０９１と輝度平均値変動検出信号１０７３によっても制御されるようにしたものである。その他、同じ構成で同じ名称で同じ番号の構成手段は第２の実施の形態で述べたものと同等の機能を有するものとする。
【００５８】
この場合、ホワイトバランス調整手段１０９０は、飽和検出手段１１００からの飽和検出信号を基に輝度信号が飽和している場合には、飽和直前のＶ（フィールド）の画像から算出したホワイトバランスゲインを用いてホワイトバランス制御を行うようにホワイトバランス調整手段１０９０を制御し、さらに輝度平均値変動検出信号１０７３を基に輝度信号が急激に変動した場合、急激に輝度信号が変化する直前のＶ（フィールド）の画像から算出したホワイトバランスゲインを用いてホワイトバランス制御を行うようにホワイトバランス調整手段１０９０を制御し、さらに電源検出手段１０８０からの電源投入信号１０８１を基に急に電源がＯＦＦからＯＮになるような場合についても、電源ＯＦＦする直前のフィールドの画像のホワイトバランスゲインを用いてホワイトバランスゲイン調整を行うようにホワイトバランス調整手段１０９０を制御する。
【００５９】
したがって、撮像開始直後や撮像素子１０１０が飽和したり被写体が急激に変化するような場合であっても、被写体の輝度レベルの変化に追従し高速でホワイトバランス制御及び露出制御を安定させることができる。また、さらにカメラプロセス部１０５０では、ホワイトバランス調整手段１０９０が出力するホワイトバランス調整が収束したことを示すホワイトバランス収束信号１０９１からホワイトバランス制御の収束を識別でき、輝度変化の大小を示す輝度平均値変動検出信号１０７３から露出制御の収束を識別できるため、両方の制御が安定してからカメラプロセス部１０５０は映像を出力する、あるいはどちらか一方の制御が安定してからカメラプロセス部１０５０は映像を出力するなどの制御ができる。このため、撮像開始直後からホワイトバランス制御、露出制御の安定した映像を出力することができる。なお、ここではＶ（フィールド）単位での処理として述べたがフレーム単位での処理で行ってもよい。
【００６０】
＜第４の実施の形態＞
図８は本発明の第４の実施の形態における映像信号処理装置の構成を示すブロック図である。第４の実施の形態は、図７の第３の実施の形態と次の点で異なる。すなわち、表示装置１２００を設けたものであり、表示装置１２００は輝度平均値信号１０７１と輝度平均値変動検出信号１０７３とホワイトバランス収束信号１０９１によってカメラプロセス部１０５０の出力の表示を制御するように構成したものである。その他、同じ構成で同じ名称で同じ番号の構成手段は第３の実施の形態で述べたもの同等の機能を有するものとする。
【００６１】
この場合、輝度平均値信号１０７１で輝度平均値が判断でき、さらに輝度平均値変動検出信号１０７３によって被写体の変動が判断でき、さらにホワイトバランス収束信号１０９１によってホワイトバランス調整の状態も分かるため、これらの情報を基に表示装置１２００を制御する。例えば、暗い被写体が継続するような場合、輝度平均値が低く、輝度平均値の変動も少なく、ホワイトバランス調整も収束している状態であれば、表示装置１２００の階調を暗い被写体が見やすいように階調特性を変更したり、逆に被写体が明るい場合には表示装置１２００の階調を明るい被写体が見やすくなるようにするなど、表示装置１２００の階調特性を被写体に応じて可変制御することができる。
【００６２】
また、ホワイトバランス収束信号１０９１と、ホワイトバランスの収束、輝度平均値変動検出信号１０７３による露出制御の安定性を指標として表示装置１２００の表示開始を制御すれば、ホワイトバランス制御及び露出制御が安定した状態から画像を表示することもできる。さらに輝度平均値信号１０７１がある一定時間”０”であれば、撮像素子１０１０が撮像していないものとみなして、表示装置１２００の電源をＯＦＦとする制御もできる。
【００６３】
なお、表示装置１２００が液晶表示装置のようにバックライトによって制御される場合にも、輝度平均値信号１０７１、輝度平均値変動検出信号１０７３、ホワイトバランス収束信号１０９１を用いてバックライトの制御をすればよく、被写体が暗い場合にはバックライトを明るく、被写体が明るい場合にはバックライトの光量を低下させて暗くするなどの制御をすれば被写体を見やすくでき、適切なバックライトの光量制御を行うことで消費電力を抑えることもできる。したがって、表示装置１２００は良好な画像を表示することができる。
【００６４】
以上説明したように本発明によれば、撮像開始直後に撮像素子１０１０の露光時間を長時間シャッター画像と短時間シャッター画像を基に生成した輝度平均値から算出したシャッター時間で、露出制御を適切に行うことにより、撮像開始直後から短時間で露出制御を行うことができ、カメラプロセス部１０５０は良好な映像信号を得ることができる。
【００６５】
【発明の効果】
以上説明したように請求項１に記載の発明によれば、撮像開始直後から露出制御の安定した映像信号を得ることができる。
請求項２に記載の発明によれば、輝度レベル変化が大きい場合でも輝度レベル変化の直後から短時間で露出制御の安定した映像信号を得ることができる。
請求項３に記載の発明によれば、撮像開始直後から短時間で露出制御とホワイトバランス制御の安定した映像信号を得ることができる。
請求項４に記載の発明によれば、撮像開始直後から露出制御が安定し、かつ輝度レベル変化の大きい場合でも輝度レベル変化の直後から短時間でホワイトバランス制御の安定した映像信号を得ることができる。
請求項５に記載の発明によれば、撮像素子出力が飽和しているような場合や撮像開始直後、あるいは輝度変化の大きい場合でも輝度レベル変化の直後から短時間で露出制御とホワイトバランス制御の安定した映像信号を得ることができる。
請求項６に記載の発明によれば、被写体に応じて表示装置の階調特性を制御することにより、撮像開始直後や輝度変化の大きい場合や、撮像素子出力が飽和しているような場合でも短時間で露出制御が安定した映像信号を表示開始直後から得ることができる。
請求項７に記載の発明によれば、被写体に応じて表示装置の階調特性を制御することにより、撮像開始直後や輝度変化の大きい場合や、撮像素子出力が飽和しているような場合でも短時間で露出制御又はホワイトバランス制御の一方又は両方の制御が安定した映像信号を表示開始直後から得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における映像信号処理装置の構成を示すブロック図
【図２】（Ａ）本発明の第１の実施の形態における画面中の輝度平均値算出領域を示す図
（Ｂ）本発明の第１の実施の形態における撮像素子駆動手段による撮像素子のシャッター時間制御の様子を示す図
【図３】（Ａ）本発明の第１の実施の形態における飽和している撮像素子出力を含む場合の撮像素子のシャッター時間制御の様子を示す図
（Ｂ）本発明の第１の実施の形態における電源投入直後の撮像素子のシャッターを１/６０secとし、２回目以降のシャッター時間を1/７２secとした撮像素子のシャッター時間制御の様子を示す図
【図４】（Ａ）１Ｖ（フィールド）ごとに輝度平均値を（−３）ずつ目標輝度平均値に向けて収束させるように前処理手段のＡＧＣ回路のみで露出制御する様子を示すグラフ
（Ｂ）本発明の第１の実施の形態による露出制御を示すグラフ
【図５】本発明の第２の実施の形態における映像信号処理装置を示すブロック図
【図６】（Ａ）ホワイトバランス調整手段による各ブロックごとの色平均値データ生成及び本発明の第２の実施の形態のホワイトバランス制御を示す図
（Ｂ）１画面の色平均値を用いたホワイトバランス制御を示す図
【図７】本発明の第３の実施の形態の映像信号処理装置を示すブロック図
【図８】本発明の第４の実施の形態の映像信号処理装置を示すブロック図
【図９】従来の映像信号処理装置を示すブロック図
【図１０】図９における白検出の様子を示すグラフ
【符号の説明】
１ ＣＣＤ
２ ＣＤＳ回路
３ Ｙ／Ｃ分離回路
４ Ｙ信号処理回路
５ 加算器
６ Ｃ信号処理回路
７ ＲＧゲイン制御回路部
８ ＢＧゲイン制御回路部
９ 変調回路
１０ ブロック平均化回路
１１ 色温度曲線判定手段
１２ 全画面平均検出手段
１３ 色温度判定手段
１４ 白検出手段
１５ ホワイトバランスゲイン制御手段
１０００ レンズ
１０１０ 撮像素子
１０２０ 前処理手段
１０３０ Ａ／Ｄ変換器
１０４０ ＲＧＢ生成手段
１０５０ カメラプロセス部
１０５１ 輝度信号（ＹＯＵＴ）
１０５２ 色差信号（ＣＯＵＴ）
１０６０ 撮像素子駆動手段
１０６１ シャッター時間制御信号
１０７０ 輝度平均値算出手段
１０７１ 輝度平均値信号
１０７２ ＡＧＣ制御信号
１０７３ 輝度平均値変動検出信号
１０８０ 電源検出手段
１０８１ 電源投入信号
１０９０ ホワイトバランス調整手段
１０９１ ホワイトバランス収束信号
１１００ 飽和検出手段
１２００ 表示装置
Claims (7)
- 被写体を撮像して映像信号を生成する撮像素子と、
前記撮像素子から出力される撮像された被写体の前記映像信号の画面の平均輝度を算出する輝度信号レベル算出手段と、
撮像開始直後に前記撮像素子を比較的長い露光時間と比較的短い露光時間で交互に駆動して、前記比較的短い露光時間のとき算出された前記画面の平均輝度と目標輝度に基づいて算出された第１の露光時間と、前記比較的長い露光時間のとき算出された前記画面の平均輝度と前記目標輝度に基づいて算出された第２の露光時間とに基づいて第３の露光時間を判定し、当該第３の露光時間となるように前記撮像素子の露光時間を制御する撮像素子駆動手段とを備え、
前記被写体が明るく前記撮像素子が飽和している場合は前記第１の露光時間を前記第３の露光時間とし、前記被写体が暗く適切な平均輝度が得られない場合は前記第２の露光時間を前記第３の露光時間とすることを特徴とする映像信号処理装置。 - 前記輝度信号レベル算出手段により算出された前記画面の平均輝度の時間的変化量が所定量より大きい場合に、前記撮像素子を比較的長い露光時間と比較的短い露光時間で交互に駆動して、前記撮像素子の露光時間を制御することを特徴とする請求項１に記載の映像信号処理装置。
- 撮像開始直後に前記撮像素子により撮像された撮像領域中の特定領域部分の色情報に基づいて同じ撮像領域中の他の特定領域部分のホワイトバランス制御を行うホワイトバランス調整手段を備えた請求項１又は２に記載の映像信号処理装置。
- 前記輝度信号レベル算出手段により算出された前記画面の平均輝度の時間的変化量が所定量より大きい場合に、前記撮像素子により撮像された撮像領域中の特定領域部分の色情報に基づいて同じ撮像領域中の他の特定領域部分のホワイトバランス制御を行うホワイトバランス調整手段を備えた請求項１から３のいずれか１つに記載の映像信号処理装置。
- 前記輝度信号レベル算出手段により算出された前記輝度信号レベルに基づいて前記撮像素子の出力が飽和しているか否かを検出する飽和検出手段を備え、
前記ホワイトバランス調整手段はさらに、前記飽和検出手段により飽和が検出された場合に、前記撮像素子により撮像された撮像領域中の特定領域部分の色情報に基づいて同じ撮像領域中の他の特定領域部分のホワイトバランス制御を行うことを特徴とする請求項３又は４記載の映像信号処理装置。 - 前記撮像素子駆動手段の露光制御が完了した後、表示装置に映像を出力するようにした請求項１から５のいずれか１つに記載の映像信号処理装置。
- 前記ホワイトバランス調整手段のホワイトバランス制御が完了した後、表示装置に映像を出力するようにした請求項３から５のいずれか１つに記載の映像信号処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003156098A JP4440562B2 (ja) | 2003-06-02 | 2003-06-02 | 映像信号処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003156098A JP4440562B2 (ja) | 2003-06-02 | 2003-06-02 | 映像信号処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004363658A JP2004363658A (ja) | 2004-12-24 |
| JP4440562B2 true JP4440562B2 (ja) | 2010-03-24 |
Family
ID=34050281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003156098A Expired - Fee Related JP4440562B2 (ja) | 2003-06-02 | 2003-06-02 | 映像信号処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4440562B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4726616B2 (ja) * | 2005-11-28 | 2011-07-20 | 三菱電機株式会社 | 赤外線撮像装置 |
| JP5428352B2 (ja) * | 2009-01-23 | 2014-02-26 | 株式会社ニコン | カメラ |
| JP2011097141A (ja) | 2009-10-27 | 2011-05-12 | Renesas Electronics Corp | 撮像装置、撮像装置の制御方法、及びプログラム |
| JP2011182304A (ja) * | 2010-03-03 | 2011-09-15 | Renesas Electronics Corp | 撮像装置及びその制御方法 |
| CN115967861B (zh) * | 2023-03-09 | 2023-06-16 | 杭州涂鸦信息技术有限公司 | 一种图像处理方法及装置 |
-
2003
- 2003-06-02 JP JP2003156098A patent/JP4440562B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004363658A (ja) | 2004-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2766067B2 (ja) | 撮像装置 | |
| US20060055823A1 (en) | Flicker reduction method, image pickup device, and flicker reduction circuit | |
| JP4042432B2 (ja) | 撮像装置 | |
| JP2002232906A (ja) | ホワイトバランス制御装置 | |
| US8810681B2 (en) | Image processing apparatus and image processing method | |
| JP2005223898A (ja) | 画像処理方法及び撮像装置 | |
| US9113117B2 (en) | Image-taking apparatus and method for controlling the same | |
| JP4440562B2 (ja) | 映像信号処理装置 | |
| JP2002290988A (ja) | 撮像装置 | |
| JP2002290987A (ja) | 映像信号処理装置及び映像信号処理方法 | |
| JP3142603B2 (ja) | 画像撮影装置のホワイトバランス装置 | |
| KR960008992B1 (ko) | 채도 조정방법 및 장치 | |
| JP4222130B2 (ja) | ホワイトバランス制御装置及び電子機器 | |
| JP2003116051A (ja) | 撮像装置および露出制御方法 | |
| JP2009260542A (ja) | 色補正装置及び色補正方法 | |
| JP4458114B2 (ja) | 撮像装置 | |
| JP2004032067A (ja) | 画像処理装置および電子カメラ | |
| JPH03106269A (ja) | ビデオカメラの映像信号処理装置 | |
| JP3995524B2 (ja) | ニー補正回路及び撮像装置 | |
| JP2004072371A (ja) | カメラ装置およびその露光制御方法 | |
| JP2012227744A (ja) | 撮像装置 | |
| JP4145704B2 (ja) | ホワイトバランス回路 | |
| JP2012010238A (ja) | 撮像装置 | |
| JP2017135521A (ja) | 撮影装置及びその制御方法 | |
| JP6649176B2 (ja) | 画像処理装置及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080318 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080515 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090417 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090611 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091211 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100107 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130115 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130115 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |