JP3995953B2 - 露出制御装置およびその方法 - Google Patents
露出制御装置およびその方法 Download PDFInfo
- Publication number
- JP3995953B2 JP3995953B2 JP2002042122A JP2002042122A JP3995953B2 JP 3995953 B2 JP3995953 B2 JP 3995953B2 JP 2002042122 A JP2002042122 A JP 2002042122A JP 2002042122 A JP2002042122 A JP 2002042122A JP 3995953 B2 JP3995953 B2 JP 3995953B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- value
- representative value
- image representative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 16
- 229920006395 saturated elastomer Polymers 0.000 claims description 44
- 238000004364 calculation method Methods 0.000 claims description 34
- 238000001514 detection method Methods 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 21
- 238000013075 data extraction Methods 0.000 claims description 19
- 238000000926 separation method Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 7
- 230000001629 suppression Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 235000019557 luminance Nutrition 0.000 description 51
- 238000010586 diagram Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000007257 malfunction Effects 0.000 description 3
- 235000002492 Rungia klossii Nutrition 0.000 description 2
- 244000117054 Rungia klossii Species 0.000 description 2
- APQHKWPGGHMYKJ-UHFFFAOYSA-N Tributyltin oxide Chemical compound CCCC[Sn](CCCC)(CCCC)O[Sn](CCCC)(CCCC)CCCC APQHKWPGGHMYKJ-UHFFFAOYSA-N 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、テレビカメラに用いられる露出制御装置およびその方法に関する。
【０００２】
【従来の技術】
テレビカメラでは、メカシャッターやレンズ絞り制御や電子シャッターなどによって、単位時間あたりに撮像素子に入射して画像信号を形成する光量（以下、露出とする）を任意に設定する機能が必須である。さらに、撮像素子から得られる画像信号値の、全画面平均値、最高値、最低値またはそれらの任意倍率で混合したもの（以下、画像代表値とする）と、目標とする画像の値とを比較し、画像代表値が目標レベルより高い場合、露出を絞り、目標レベルより低い場合、露出を増やす操作を繰り返し行うことによって、自動的な露出の制御を実現できる。
【０００３】
ここで、自動的な露出制御において、露出オーバーに起因する画像信号の飽和が発生した場合について考える。画像に飽和が発生する場合、飽和していない部分の信号の信号レベルから飽和部分の信号レベルを推定し、画像データを補正する。
【０００４】
したがって、全画面輝度平均値を面像代表値とする場合、飽和発生画素の輝度値は輝度領域の最大値を超えることはないため、結果として輝度平均値は本来の値より小さくなる。シャッター量は、画像代表値と目標値との比較結果から算出することになるが、画像に飽和が発生する場合には画像代表値は誤った値となるため露出の制限量が不足し、その結果として所望の露出が得られるまでの時間が長くなる。
【０００５】
従来、露出オーバーに起因する画像信号の飽和を考慮した自動的な露出の補正装置としては特開平１０−７０６８０号公報に記載されたものがある。この露出補正装置では、飽和レベルを大幅に上回る高輝度部分が画面内に存在する場合、撮像画面を複数のエリアに分割して、各エリアの輝度レベルをエリア別輝度レベルとして検出し、エリア別輝度レベルが飽和レベルを上回るエリア数をカウントして、画面全体の輝度レベルを画面輝度レベルとして検出し、画面輝度レベルと目標輝度レベルとの比を現行のシャッタースピードに乗じて次回のシャッタースピードを決定し、画面輝度レベルが目標輝度レベルより大きい場合に、飽和エリア数に比例して画面輝度レベルを実測値より上昇させる補正を行っている。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の露出制御装置では、露出オーバーに起因する画像信号の飽和が発生する場合の画面輝度レベルの補正量は、飽和したエリアカウントから算出されるのみで、飽和の程度や画像の特性は考慮されていなかった。このため、エリア数としては少ないが画像輝度レベルの高い物体が存在する被写体を対象とするとき、エリア数が少ないため画像輝度レベルの補正量が不足し結果として適切な露出制御が行われないため、所望の露出を得るまでの時間が補正量の不足する分だけ長くかかるといった問題があった。
【０００７】
本発明は、このような従来の問題を解決するためになされたもので、画像信号が飽和する場合でも高速の最適露出を得ることができる露出制御装置およびその方法を提供するものである。
【０００８】
【課題を解決するための手段】
本発明の露出制御装置は、画像の撮像手段により得られる画像データから露出制御に用いるデータを分離するデータ分離手段と、前記分離されたデータから画像代表値の修正に有効のデータを抽出する有効データ抽出手段と、前記画像が飽和しているときには前記有効のデータにより前記画像代表値の修正を行う画像代表値修正手段と、修正した前記画像代表値と目標値からシャッター量を算出するシャッター量算出手段と、前記シャッター量に従って露出を調整する露出調整手段とを備えることとした。
【０００９】
この構成により、画像信号が飽和する場合に未飽和部分の信号レベルから飽和画像信号の飽和量を推定し、画像信号レベルを適切な値に補正することによって、高速に最適露出を得ることができる。
【００１０】
また、前記データ分離手段は、画像を複数のエリアに分割し前記エリア別に画像データをサンプリングするエリア別サンプリング手段と、前記エリア別に重みを設定して前記画像データを算出するエリア別データ算出手段とを備えることとした。
【００１１】
この構成により、前記エリア毎に重みを設定して画像代表値を算出することで画像中任意の部分を露出制御対象に設定することができるため、画像中任意の部分に発生した飽和に対して高速に対処できる露出制御を行うことができる。
【００１２】
また、前記有効データ抽出手段は、前記画像データの最低値を抽出する最低値検出手段を備え、前記画像データの最低値により前記画像代表値の修正を行うこととした。
【００１３】
この構成により、撮像素子が飽和する場合に、画像の飽和部分の飽和量を、画像の飽和していない部分の最低値を用いて推定し、画像信号レベルを適切な値に補正することによって、比較的少ない処理量で高速に最適露出を得ることができる。
【００１４】
また、前記有効データ抽出手段は、前記画像データのヒストグラムを算出するヒストグラム算出手段と、予め定めた目標ヒストグラムを記憶する目標ヒストグラム記憶手段と、前記目標ヒストグラムと前記画像データのヒストグラムの差分を算出する差分算出手段と、前記ヒストグラムの差分から前記画像代表値の補正量を算出する補正量算出手段とを備えることとした。
【００１５】
この構成により、画像の飽和部分の飽和量を、画像の飽和していない部分のヒストグラムを用いてより高い精度で推定し、高い精度の推定結果をシャッター量算出に用いることができるため、推定誤差に起因する誤動作が少なく、かつ高速な露出制御を行うことができる。
【００１６】
また、前記有効データ抽出手段は、前記画像データの飽和を検出する飽和検出手段と、前記飽和検出の際に使用する飽和検出閾値を抑圧する飽和閾値抑圧手段と、前記画像代表値の修正に有効のデータを生成する有効データ生成手段とを備えることとした。
【００１７】
この構成により、色飽和に対応した画像代表値の補正を行うことによって、色彩を持った被写体が露出オーバーによって彩度を抑圧された結果白く見える白飛びの発生時間を短縮することができる。
【００１８】
また、前記画像代表値修正手段は、前記画像代表値の修正を行う修正手段と、前記画像代表値の修正のとき用いる修正用目標値の補正を行う修正用目標値補正手段とを備え、前記シャッター量算出手段は、前記画像代表値と前記目標値との比較を行うことによって前記画像代表値のオーバーシュートを検出するオーバーシュート検出手段と、前記画像代表値が前記目標値へ収束する速度を検出する収束速度検出手段とを備え、前記修正用目標値補正手段は前記オーバーシュート検出手段と前記収束速度検出手段よりの情報により前記修正用目標値の補正を行うこととした。
【００１９】
この構成により、画像の飽和部分の飽和量を、画像の飽和していない部分のデータを用いて高精度に推定することができ、また推定に用いるパラメータを動的に調整することによって、撮像条件の変化に対応した飽和量の推定を行うことかできる。このため、撮像条件の変化に対応しながら、推定誤差に起因する誤動作が少なく、かつ高速な露出制御を行うことができる。
【００２０】
さらに、本発明の露出制御方法は、画像の撮像手段により得られる画像データから露出制御に用いるデータを分離し、前記分離されたデータから画像代表値と画像代表値の修正に有効のデータを抽出し、前記画像が飽和している場合には前記有効のデータにより前記画像代表値の修正を行い、前記画像代表値と目標値との比較を行い前記撮像手段の露出を制御するシャッター量の算出をすることとした。
【００２１】
この方法により、画像の飽和部分の飽和量を、画像の飽和していない部分の値を用いて高精度に推定することができ、推定結果をシャッター量算出に用いるため、高速な露出制御を実現することができる。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２３】
図１は、本発明の第１の実施の形態の露出制御装置のブロック図を示す。
【００２４】
図１に示すように、この本発明の第１の実施の形態の露出制御装置は、画像信号を得る撮像手段１０と、画像信号利得調整機能を持つアナログ処理手段１１と、アナログ処理手段１１から出力される画像データをデジタルの画像データに変換するＡＤ変換手段１２と、変換されたデジタルの画像データを記憶する記憶手段１３と、記憶された画像データから露出制御に用いる輝度値のデータを分離するデータ分離手段１４と、分離されたデータから、画像代表値と、飽和していない輝度値データの平均値とその個数である画像代表値の修正に有効のデータ（即ち露出制御に必要なデータ）とを抽出する有効データ抽出手段１５と、画像が飽和している場合には、画像代表値の修正を行う画像代表値修正手段１６と、画像代表値と目標値との比較を行うことによって、シャッター量を算出するシャッター量算出手段１７と、シャッター量に従って露出を調整する露出調整手段１８とにより構成されている。
【００２５】
撮像手段１０は、ＣＣＤやＣＭＯＳなどによる白黒方式でもカラー方式（原色系、補色系）でも良いし、撮像素子が複数個存在しても良い。撮像手段１０がＣＣＤであり露出調整手段１８として電子シャッターを用いるならば、撮像手段１０の後段のアナログ処理手段１１によって、電子シャッターでは露出調整の分解能が低い場合の画像信号レベル補間が可能である。
【００２６】
撮像手段１０がＣＣＤであり露出調整手段１８として電子シャッターを用いる場合には、電荷蓄積時間が短くなるほどＳＮ比は悪くなるため、ＡＤ変換手段１２の後段にデジタルデータを保存する記憶手段１３を設けて巡回型のデジタルノイズリダクションを構成することは、電子シャッターによる露出調整に起因する画質劣化の軽減に有効のものとなる。
【００２７】
露出の設定は、撮像装置にＣＣＤを使った電子シャッターや、メカシャッターや絞り制御機能をもったレンズ系などを用いてもよい。
【００２８】
以上のように構成された本発明の第１の実施の形態の露出制御装置について、図１を用いて動作を説明する。
【００２９】
まず、撮像手段１０によって画像信号を得る。撮像手段１０から得られた画像信号はアナログ処理手段１１で利得を付与されるなどして、ＡＤ変換手段１２でデジタルの画像データに変換され記憶手段１３に保持される。次にデータ分離手段１４では、画像データから露出制御に用いる情報を抽出する。露出制御に用いる情報としては、輝度信号でも良いし、特定の色信号でも良いし、それら輝度信号や色信号の最大値や最小値などても良い。被写体や撮像条件によって、露出制御に用いる最適な情報は異なるが、一般的には輝度値を用いる。記憶手段１３において、画像データが赤青緑の３原色に別けた状態で保持されている場合（撮像手段１０がＣＣＤであり単板原色系のオンチップ色フィルタを用いる場合や、撮像手段１０が複数個存在しプリズムなどを用いて色毎に画像データを得る場合など）、良く知られた比率（例えば、赤：緑：青＝３：６：１）で色情報を混合することによって輝度情報を作成することができる。以降、露出制御に輝度値を用いるものとして説明する。
【００３０】
有効データ抽出手段１５では、データ分離手段１４で分離した輝度値から、露出制御に有効な情報を抽出する。有効な情報とは、画像代表値と、輝度値のデータのなかで飽和していないデータの平均値とその個数である。露出制御では、画像代表値を目標値に近づけるループを形成するが、画像代表値とは、全画像または任意の一部画像における輝度値（つまり露出制御対象情報）の平均値でも良いし、最高値でも良いし、最低値でも良いし、三者を任意比率で混合したものでも良い。画像代表値は、輝度値の全画面平均値を用いることが多いが、被写体や撮像条件によって最適な画像代表値は様々であり、例えば露出制御の対象被写体が比較的高い信号レベルの状態で撮像されることが好ましい場合には、画像代表値として画像信号の最高値を用い、画像代表値が目標値と等しくなるような露出制御を行うことによって、見たい物体をちょうど良い明るさで見ることができる。画像データの内、飽和していない輝度値のデータの平均値とその個数は、次の画像代表値修正手段１６で画像代表値の修正に使用する。
【００３１】
画像代表値修正手段１６では、画像内に飽和が発生している場合に、画像代表値の修正を行う。画像代表値を全画面輝度平均値であるとし、輝度値域を０〜１００とすると（すなわち黒レベルは０、輝度値＝１００のとき飽和している可能性がある）、画像代表値は全画素の輝度の平均値として算出することができる。ここで、画像に飽和が発生する場合、飽和発生画素の輝度値は最高値１００以上にはならないため、結果として輝度平均値は本来の値より小さくなる。シャッター量は、画像代表値と目標値との比較結果から算出することになるが、画像に飽和が発生する場合には画像代表値は誤った値になるため、算出されるシャッター量も不適切な値となる。画像に飽和が発生している場合、飽和している輝度値の飽和量の推定を行い、推定結果を用いて画像代表値を算出する必要がある。
【００３２】
ある被写体を２種類の露出Ｌ１、Ｌ２（Ｌ１＞Ｌ２）で撮像したとき、露出Ｌ１で撮像した画像の輝度最大値をＹＬ１ＭＡＸ、最低値をＹＬ１ＭＩＮ、同様に露出Ｌ２で撮像した画像の輝度最大値をＹＬ２ＭＡＸ、最低値をＹＬ２ＭＩＮとすると、このとき撮像系のダイナミックレンジが十分に広ければ、以下の関係が成り立つ。
【００３３】
ＹＬ１ＭＡＸ：ＹＬ１ＭＩＮ＝ＹＬ２ＭＡＸ：ＹＬ２ＭＩＮ
また、輝度のダイナミックレンジを最大限に利用できている理想的な画像の輝度ヒストグラムを考える。このとき輝度ヒストグラムは一定値を取る。今、総画素数が１００である撮像素子から得られた輝度値が１から１００まで存在したとする。このとき輝度ヒストグラムは全域で一定値である１である一様分布となる。
このとき全画面輝度平均値は（１＋２＋…＋１００）／１００＝５０．５
ここで、輝度値の低い方から５０画素の輝度平均値は
（１＋２＋…＋５０）／５０＝２５．５
同様に、２５画素の輝度平均値は
（１＋２＋…＋２５）／２５＝１３
すなわち、輝度ダイナミックレンジを最大限に利用できている理想的な画像において、輝度が低い方（または高い方でも良い）から順に任意個数の画素を選択したとき、それらの平均値は、平均値算出に用いた画素の個数に比例した値に黒レベル分を加算した値になる（輝度の高い方からであれば、白レベルから減算）。
【００３４】
以上より、適切な露出で得られる画像はダイナミックレンジを最大限に利用できているという仮定のもと、飽和量の推定は以下の（式１）に示すようにすれば良い。
飽和していない輝度値のデータの平均値：ＴＡＶＥ
飽和していない輝度値のデータの個数：ＴＣＮＴ
目標値：ＹＴＲＧ
画像代表値（修正後）：ＹＹ
標準的な画像における最低値：ＢＯＴＭ
係数：Ｋ
であるとき、
ＹＹ＝ＹＴＲＧ＊ＴＡＶＥ／（ＢＯＴＭ＋ＴＣＮＴ＊Ｋ） （式１）
Ｋは、飽和していないデータの個数が最大であるとき
ＴＡＶＥ＝ＢＯＴＭ＋ＴＣＮＴ＊Ｋ （式２）
であるように設定すればよい。
【００３５】
シャッター量算出手段１７では、画像代表値と目標値、現在のシャッター量などを用いて、次に行う露光の時間を決定するシャッター量を算出する。シャッター量は、画像代表値と目標値の比を用いて以下に示す（式３）により算出する方法が挙げられる。
画像代表値：ＹＹ
目標値：ＭＯＫＵ
現在のシャッター量：Ｓ（Ｔ）
次回のシャッター量：Ｓ（Ｔ＋１）
Ｓ（Ｔ＋１）＝Ｓ（Ｔ）＊ＹＹ／ＭＯＫＵ （式３）
シャッター量は、画像代表値と目標値の差、微分値、積分値などを用いて算出しても良いし、画像代表値と目標値との関係からルックアップテーブルにより参照を行う方法を用いても良い。このようにして算出されたシャッター量は、露出調整手段１８の設定形式に変換されて、露出調整手段１８へ出力される。すなわち、露出調整手段１８として電子シャッターを使用する場合には電荷掃出しパルス数として出力され、ＤＣサーボレンズの場合には電圧レベルとして出力される。露出調整手段１８では、シャッター量算出手段１７で算出されたシャッター量に従って露出を調整する。露出の調整を、電子シャッターとして実現するときには、シャッター量を電荷掃捨てパルスとしてＣＣＤに印加して露出の調整を行う。
【００３６】
このように画像データの取得から露出調整までのループを一定期間毎に繰り返すことにより、露出の調整を実現する。ＮＴＳＣ方式であれば数フィールドレート毎になるが、制御の応答性の観点から毎フィールド処理を行うことが望ましい。
【００３７】
以上、本発明の第１の実施の形態の露出制御装置は、画像信号が飽和する場合に、未飽和部分の画像信号レベルから、飽和画像信号の飽和量を推定し、画像信号レベルを適切な値に補正することによって、高速に最適露出を得ることができる。
【００３８】
図２は、本発明の第２の実施の形態の露出制御装置におけるデータ分離手段２４のブロック図を示す。
【００３９】
図２に示すように、データ分離手段２４は、記憶手段１３から得られる画像データを予め決められたエリア別にサンプリングするエリア別サンプリング手段２１と、エリア別にサンプリングされた画像データに重み付けの算出を行うエリア別データ算出手段２２とで構成されている。
【００４０】
次に、データ分離手段２４の動作について説明する。
【００４１】
データ分離手段２４では画面を複数のエリアに分割し、エリア毎に輝度値などを算出する。例えば画像代表値は全画面輝度平均値として得られ、画像輝度は画面をｎブロックに別けたブロック毎に得られるものとする。ｎブロックをそれぞれＢ１〜Ｂｎとし、Ｂ１〜Ｂｎには予め画像代表値を算出する際に使用する重みを与えておいても良い。重みが全エリアで等しければ、画像代表値はＢ１〜Ｂｎの平均値として算出することができる。
【００４２】
エリアの形状は自由であり、矩形でも円形でも任意形状でもよい。例えば露出制御の対象被写体の形状が既知であるならば、エリアを被写体と同形状とし、画像代表値の算出の際に被写体形状のエリアの重みを大きくする。もしくは被写体形状のエリアのみから画像代表値を算出すれば、被写体形状のエリアの飽和発生に高速対処しつつ見たい物体をちょうど良い明るさで見ることができる露出制御が実現できる。
【００４３】
以上、本発明の第２の実施の形態の露出制御装置は、エリア別に重みを設定して画像代表値を算出することで、画像中任意の部分を露出制御対象に設定することができるため、画像中任意の部分に発生した飽和に対して高速に対処できる露出制御を可能とする。
【００４４】
図３は、本発明の第３の実施の形態の露出制御装置における有効データ抽出手段３５のブロック図を示す。
【００４５】
図３に示すように、有効データ抽出手段３５は、データ分離手段１４より入力される輝度値のデータのうち、最低の値を検出する最低値検出手段３１を備えている。
【００４６】
次に、有効データ抽出手段３５の動作について説明する。
【００４７】
画像代表値修正手段１６で行う画像代表値の修正は以下に示す（式４）で行う。すなわち、飽和発生時の画像代表値の修正は、画像最低値と画像最低値目標値との比のみで行う。
飽和していないデータの最低値：ＴＢＯＴ
目標値：ＹＴＲＧ
画像代表値（修正後）：ＹＹ
標準的な画像における最低値：ＢＯＴＭ
であるとき、
ＹＹ＝ＹＴＲＧ＊ＴＢＯＴ／ＢＯＴＭ （式４）
適切な露出で撮像した場合、飽和も黒つぶれも発生しないような画像であるならば、（式４）に示す方法で良好な結果が得られる。また、処理が最低値の検出のみのなので、計算量の面で有利である。
【００４８】
以上、本発明の第３の実施の形態の露出制御装置は、撮像素子が飽和する場合に、画像の飽和部分の飽和量を、画像の飽和していない部分の最低値を用いて推定し、画像信号レベルを適切な値に補正することによって、比較的少ない処理量で高速に最適露出を得ることができる。
【００４９】
図４は、本発明の第４の実施の形態の露出制御装置における有効データ抽出手段４５のブロック図を示す。
【００５０】
図４に示すように、有効データ抽出手段４５は、データ分離手段１４から入力された画像データのヒストグラムを算出するヒストグラム算出手段４１と、ヒストグラムとしての目標値が記憶されている目標ヒストグラム記憶手段４２と、ヒストグラム形式の画像データとヒストグラム形式の目標値との差分を算出する差分算出手段４３と、差分算出手段４３から入力される差分に基づいて画像代表値の補正量を算出する補正量算出手段４４とを備えている。
【００５１】
次に、有効データ抽出手段４５の動作について説明する。
【００５２】
一般的な画像のヒストグラムは、正規分布に代表される凸形式になる。目標ヒストグラム記億手段４２には、ヒストグラム形式の目標値が記憶されている。ヒストグラム算出手段４１は、画像データからヒストグラムを算出し、差分算出手段４３は、ヒストグラム形式の画像データとヒストグラム形式の目標値との差分を算出する。ここで、画像データからのヒストグラムは、目標のヒストグラムを何倍かしたものとほぼ等しくなることが予想されるので、画像代表値の補正量としては、目標ヒストグラム値と入力画像ヒストグラム値の差が最小になる目標のヒストグラムの倍率を算出する。これは２つの関数を用い最適化を行うものであり、コンピュータプログラムによる数値計算によって処理が行われる。すなわち両者の差分を算出するものであり、この場合、画像代表値の補正量となる目標ヒストグラムの倍率の計算精度はＣＰＵなどの処理能力に応じて決定すればよい。
【００５３】
以上、本発明の第４の実施の形態４の露出制御装置は、画像の飽和部分の飽和量を画像の飽和していない部分の信号値ヒストグラムを用いて、より高い精度で推定することができ、高い精度の推定結果をシャッター量の算出に用いることができるため、推定誤差に起因する誤動作が少なく、かつ高速な露出制御を行うことができる。
【００５４】
図５は、本発明の第５の実施の形態の露出制御装置における有効データ抽出手段５５のブロック図を示す。
【００５５】
図５に示すように、有効データ抽出手段５５は、予め与えられた飽和閾値を押し下げる飽和閾値抑圧手段５１と、飽和閾値を用いて画像データの飽和検出を行う飽和検出手段５２と、画像代表値や、飽和閾値以下である画像データの平均値と個数の有効データを生成する有効データ生成手段５３とを備えている。
【００５６】
次に、有効データ抽出手段５５の動作について説明する。
【００５７】
一般に露出を増やしていくと、輝度信号飽和（以下輝度飽和）の前に色信号飽和（以下色飽和）が起こる。色飽和レベルは色ごとに異なる。このため色飽和レベル付近になると飽和を起こす色の順番に従って、画像の色が変化して見える場合がある。このような色の変化を見せないようにするため、最も早く色飽和が始まる色に合わせて、すべての色成分を抑圧し、彩度を落としていく。このとき、輝度飽和には至っていないが、色味のある被写体は白くなっていく。このような色の変化から、人間の視覚では、色飽和の開始がすなわち飽和の開始として認識される。そこで、画像代表値として輝度を用いる場合には、飽和閾値を色飽和にあわせて抑圧してやることが必要となり、飽和検出手段５２で画像データの飽和の検出に使用する飽和閾値を飽和閾値抑圧手段５１で抑圧する。色飽和発生時点で、画像代表値を多めに補正してやることによって、露出調整量の増大を促し、色味のある被写体が飽和して白く見える時間を短縮することができる。
【００５８】
以上、本発明の第５の実施の形態の露出制御装置は、色飽和に対応した画像代表値の補正を行うことによって、色彩を持った被写体が露出オーバーによって彩度を抑圧された結果白く見える白飛びの発生時間を短縮することができる。
【００５９】
図６は、本発明の第６の実施の形態の露出制御装置におけるシャッター量算出手段６７と画像代表値修正手段６６とのブロック図を示す。
【００６０】
図６に示すように、シャッター量算出手段６７は、画像代表値、目標値、現在のシャッター量などから次回シャッター量を計算するシャッター量計算手段６１と、露出調整開始から収束終了までの時間と露出変動から収束速度を検出する収束速度検出手段６２と、画像代表値と目標値の関係から露出を原因とする画像代表値の目標値に対するオーバーシュートを検出するオーバーシュート検出手段６３とを備え、さらに画像代表値修正手段６６は、飽和発生時に画像代表値を修正する修正手段６４と、収束速度検出手段６２やオーバーシュート検出手段６３からの情報を用いて画像代表値の修正量を補正する修正用目標値補正手段６５とを備えている。
【００６１】
次に、画像代表値修正手段６６とシャッター量算出手段６７の動作について説明する。
【００６２】
本発明の第６の実施の形態の露出制御装置では、その露出が適切である場合の画像が取るであろう画像データの最低値を画像代表値の修正に用いる。実際にはこの最低値は、被写体条件によって異なるが、ダイナミックレンジの狭い被写体である場合、最低値はある程度高くなり、ダイナミックレンジの広い被写体である場合は、最低値は黒レベルと同値近くまで低くなる。このため、画像代表値補正計算で使用する最低値用目標値は、被写体条件によって変動させるべきである。
【００６３】
ここで、最低値用目標値が実画像の最低値より高く設定され、画像代表値の修正を第３の実施の形態で述べた（式４）によって実施する場合には、補正し足りず収束速度が遅くなる。逆に最低値用目標値が実画像の最低値より低く設定され、画像代表値の修正を（式４）によって実施する場合には、過補正となりオーバーシュートし易くなる。これらの現象から、収束速度検出手段６２とオーバーシュート検出手段６３から得られる情報を用いて、修正用目標値補正手段６５で画像代表値の修正に用いる修正用目標値である最低値用目標値を補正する。
【００６４】
以上、本発明の第６の実施の形態の露出制御装置は、画像の飽和していない部分の値を用い、画像の飽和部分の飽和量を高精度に推定することができ、また推定に用いるパラメータを動的に調整することによって、撮像条件の変化に対応した飽和量の推定を行うことができる。このため、撮像条件の変化に対応しながら、推定誤差に起因する誤動作が少なく、かつ高速な露出制御を行うことができる。
【００６５】
図７は、本発明の第７の実施の形態の露出制御方法のフローチャートを示す。
【００６６】
図７に示すように、本発明の第７の実施の形態の露出制御方法では、全画面平均値、飽和閾値以下総和およびカウント数を算出するループの先頭の画像データを読み出し（ステップ７０）、露出制御に用いるデータ（以下対象データ）を抽出（ステップ７１）し、対象データと飽和閾値とを比較（ステップ７２）し、飽和閾値以下である対象データの総和とそのカウント数を算出する飽和閾値以下のデータ総和算出（ステップ７３）を行い、全画面の対象データを総和算出（ステップ７４）し、全画面の対象データを逐次比較していくことによって最高値検出（ステップ７５）し、全画面の処理終了（ステップ７６）のとき、画像代表値を全画面平均や全画面中最高値を用いて算出し、飽和閾値以下のデータ総和とそのカウント数から飽和閾値以下である対象データの平均値を算出する画像代表値および飽和閾値以下の平均値算出（ステップ７７）を行い、飽和閾値以下のデータカウント数から飽和部分の存在を判断（ステップ７８）し、飽和が存在する場合に（式１）や（式４）を用いて画像代表値の修正（ステップ７９）を行い、画像代表値と目標値と現在のシャッター量などから次回のシャッター量算出（ステップ８０）を行う。
【００６７】
以上、本発明の第７の実施の形態の露出制御方法は、画像の飽和部分の飽和量を、画像の飽和していない部分の値を用いて高精度に推定することができ、推定結果をシャッター量算出に用いるため、高速な露出制御を行うことができる。
【００６８】
なお、露出制御装置の機能は、磁気ディスク、光磁気ディスク、ＲＯＭなどの記録媒体にプログラムとして記録することができる。よって、この記録媒体をコンピュータで読み取ってＭＰＵ、ＤＳＰなどで実行することにより露出制御装置の機能を実現することができる。
【００６９】
【発明の効果】
本発明によれば、画像に飽和部分が存在するような条件がある場合でも、画像の飽和していない部分の値を画像の飽和部分の飽和量を用いて高精度に推定することができ、推定結果をシャッター量算出に用いるため、高速な露出制御を行うことができる露出制御装置。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の露出制御装置のブロック図
【図２】本発明の第２の実施の形態の露出制御装置におけるデータ分離手段のブロック図
【図３】本発明の第３の実施の形態の露出制御装置における有効データ抽出手段のブロック図
【図４】本発明の第４の実施の形態の露出制御装置における有効データ抽出手段のブロック図
【図５】本発明の第５の実施の形態の露出制御装置における有効データ抽出手段のブロック図
【図６】本発明の第６の実施の形態の露出制御装置におけるシャッター量算出手段と画像代表値修正手段とのブロック図
【図７】本発明の第７の実施の形態の露出制御方法のフローチャートを示す図
【符号の説明】
１０ 撮像手段
１１ アナログ処理手段
１２ ＡＤ変換手段
１３ 記憶手段
１４、２４ データ分離手段
１５、３５、４５、５５ 有効データ抽出手段
１６、６６ 画像代表値修正手段
１７、６７ シャッター量算出手段
１８ 露出調整手段
２１ エリア別サンプリング手段
２２ エリア別データ算出手段
３１ 最低値検出手段
４１ ヒストグラム算出手段
４２ 目標ヒストグラム記憶手段
４３ 差分算出手段
４４ 補正量算出手段
５１ 飽和閾値抑圧手段
５２ 飽和検出手段
５３ 有効データ生成手段
６１ シャッター量計算手段
６２ 収束速度検出手段
６３ オーバーシュート検出手段
６４ 修正手段
６５ 修正用目標値補正手段
【発明の属する技術分野】
本発明は、テレビカメラに用いられる露出制御装置およびその方法に関する。
【０００２】
【従来の技術】
テレビカメラでは、メカシャッターやレンズ絞り制御や電子シャッターなどによって、単位時間あたりに撮像素子に入射して画像信号を形成する光量（以下、露出とする）を任意に設定する機能が必須である。さらに、撮像素子から得られる画像信号値の、全画面平均値、最高値、最低値またはそれらの任意倍率で混合したもの（以下、画像代表値とする）と、目標とする画像の値とを比較し、画像代表値が目標レベルより高い場合、露出を絞り、目標レベルより低い場合、露出を増やす操作を繰り返し行うことによって、自動的な露出の制御を実現できる。
【０００３】
ここで、自動的な露出制御において、露出オーバーに起因する画像信号の飽和が発生した場合について考える。画像に飽和が発生する場合、飽和していない部分の信号の信号レベルから飽和部分の信号レベルを推定し、画像データを補正する。
【０００４】
したがって、全画面輝度平均値を面像代表値とする場合、飽和発生画素の輝度値は輝度領域の最大値を超えることはないため、結果として輝度平均値は本来の値より小さくなる。シャッター量は、画像代表値と目標値との比較結果から算出することになるが、画像に飽和が発生する場合には画像代表値は誤った値となるため露出の制限量が不足し、その結果として所望の露出が得られるまでの時間が長くなる。
【０００５】
従来、露出オーバーに起因する画像信号の飽和を考慮した自動的な露出の補正装置としては特開平１０−７０６８０号公報に記載されたものがある。この露出補正装置では、飽和レベルを大幅に上回る高輝度部分が画面内に存在する場合、撮像画面を複数のエリアに分割して、各エリアの輝度レベルをエリア別輝度レベルとして検出し、エリア別輝度レベルが飽和レベルを上回るエリア数をカウントして、画面全体の輝度レベルを画面輝度レベルとして検出し、画面輝度レベルと目標輝度レベルとの比を現行のシャッタースピードに乗じて次回のシャッタースピードを決定し、画面輝度レベルが目標輝度レベルより大きい場合に、飽和エリア数に比例して画面輝度レベルを実測値より上昇させる補正を行っている。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の露出制御装置では、露出オーバーに起因する画像信号の飽和が発生する場合の画面輝度レベルの補正量は、飽和したエリアカウントから算出されるのみで、飽和の程度や画像の特性は考慮されていなかった。このため、エリア数としては少ないが画像輝度レベルの高い物体が存在する被写体を対象とするとき、エリア数が少ないため画像輝度レベルの補正量が不足し結果として適切な露出制御が行われないため、所望の露出を得るまでの時間が補正量の不足する分だけ長くかかるといった問題があった。
【０００７】
本発明は、このような従来の問題を解決するためになされたもので、画像信号が飽和する場合でも高速の最適露出を得ることができる露出制御装置およびその方法を提供するものである。
【０００８】
【課題を解決するための手段】
本発明の露出制御装置は、画像の撮像手段により得られる画像データから露出制御に用いるデータを分離するデータ分離手段と、前記分離されたデータから画像代表値の修正に有効のデータを抽出する有効データ抽出手段と、前記画像が飽和しているときには前記有効のデータにより前記画像代表値の修正を行う画像代表値修正手段と、修正した前記画像代表値と目標値からシャッター量を算出するシャッター量算出手段と、前記シャッター量に従って露出を調整する露出調整手段とを備えることとした。
【０００９】
この構成により、画像信号が飽和する場合に未飽和部分の信号レベルから飽和画像信号の飽和量を推定し、画像信号レベルを適切な値に補正することによって、高速に最適露出を得ることができる。
【００１０】
また、前記データ分離手段は、画像を複数のエリアに分割し前記エリア別に画像データをサンプリングするエリア別サンプリング手段と、前記エリア別に重みを設定して前記画像データを算出するエリア別データ算出手段とを備えることとした。
【００１１】
この構成により、前記エリア毎に重みを設定して画像代表値を算出することで画像中任意の部分を露出制御対象に設定することができるため、画像中任意の部分に発生した飽和に対して高速に対処できる露出制御を行うことができる。
【００１２】
また、前記有効データ抽出手段は、前記画像データの最低値を抽出する最低値検出手段を備え、前記画像データの最低値により前記画像代表値の修正を行うこととした。
【００１３】
この構成により、撮像素子が飽和する場合に、画像の飽和部分の飽和量を、画像の飽和していない部分の最低値を用いて推定し、画像信号レベルを適切な値に補正することによって、比較的少ない処理量で高速に最適露出を得ることができる。
【００１４】
また、前記有効データ抽出手段は、前記画像データのヒストグラムを算出するヒストグラム算出手段と、予め定めた目標ヒストグラムを記憶する目標ヒストグラム記憶手段と、前記目標ヒストグラムと前記画像データのヒストグラムの差分を算出する差分算出手段と、前記ヒストグラムの差分から前記画像代表値の補正量を算出する補正量算出手段とを備えることとした。
【００１５】
この構成により、画像の飽和部分の飽和量を、画像の飽和していない部分のヒストグラムを用いてより高い精度で推定し、高い精度の推定結果をシャッター量算出に用いることができるため、推定誤差に起因する誤動作が少なく、かつ高速な露出制御を行うことができる。
【００１６】
また、前記有効データ抽出手段は、前記画像データの飽和を検出する飽和検出手段と、前記飽和検出の際に使用する飽和検出閾値を抑圧する飽和閾値抑圧手段と、前記画像代表値の修正に有効のデータを生成する有効データ生成手段とを備えることとした。
【００１７】
この構成により、色飽和に対応した画像代表値の補正を行うことによって、色彩を持った被写体が露出オーバーによって彩度を抑圧された結果白く見える白飛びの発生時間を短縮することができる。
【００１８】
また、前記画像代表値修正手段は、前記画像代表値の修正を行う修正手段と、前記画像代表値の修正のとき用いる修正用目標値の補正を行う修正用目標値補正手段とを備え、前記シャッター量算出手段は、前記画像代表値と前記目標値との比較を行うことによって前記画像代表値のオーバーシュートを検出するオーバーシュート検出手段と、前記画像代表値が前記目標値へ収束する速度を検出する収束速度検出手段とを備え、前記修正用目標値補正手段は前記オーバーシュート検出手段と前記収束速度検出手段よりの情報により前記修正用目標値の補正を行うこととした。
【００１９】
この構成により、画像の飽和部分の飽和量を、画像の飽和していない部分のデータを用いて高精度に推定することができ、また推定に用いるパラメータを動的に調整することによって、撮像条件の変化に対応した飽和量の推定を行うことかできる。このため、撮像条件の変化に対応しながら、推定誤差に起因する誤動作が少なく、かつ高速な露出制御を行うことができる。
【００２０】
さらに、本発明の露出制御方法は、画像の撮像手段により得られる画像データから露出制御に用いるデータを分離し、前記分離されたデータから画像代表値と画像代表値の修正に有効のデータを抽出し、前記画像が飽和している場合には前記有効のデータにより前記画像代表値の修正を行い、前記画像代表値と目標値との比較を行い前記撮像手段の露出を制御するシャッター量の算出をすることとした。
【００２１】
この方法により、画像の飽和部分の飽和量を、画像の飽和していない部分の値を用いて高精度に推定することができ、推定結果をシャッター量算出に用いるため、高速な露出制御を実現することができる。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２３】
図１は、本発明の第１の実施の形態の露出制御装置のブロック図を示す。
【００２４】
図１に示すように、この本発明の第１の実施の形態の露出制御装置は、画像信号を得る撮像手段１０と、画像信号利得調整機能を持つアナログ処理手段１１と、アナログ処理手段１１から出力される画像データをデジタルの画像データに変換するＡＤ変換手段１２と、変換されたデジタルの画像データを記憶する記憶手段１３と、記憶された画像データから露出制御に用いる輝度値のデータを分離するデータ分離手段１４と、分離されたデータから、画像代表値と、飽和していない輝度値データの平均値とその個数である画像代表値の修正に有効のデータ（即ち露出制御に必要なデータ）とを抽出する有効データ抽出手段１５と、画像が飽和している場合には、画像代表値の修正を行う画像代表値修正手段１６と、画像代表値と目標値との比較を行うことによって、シャッター量を算出するシャッター量算出手段１７と、シャッター量に従って露出を調整する露出調整手段１８とにより構成されている。
【００２５】
撮像手段１０は、ＣＣＤやＣＭＯＳなどによる白黒方式でもカラー方式（原色系、補色系）でも良いし、撮像素子が複数個存在しても良い。撮像手段１０がＣＣＤであり露出調整手段１８として電子シャッターを用いるならば、撮像手段１０の後段のアナログ処理手段１１によって、電子シャッターでは露出調整の分解能が低い場合の画像信号レベル補間が可能である。
【００２６】
撮像手段１０がＣＣＤであり露出調整手段１８として電子シャッターを用いる場合には、電荷蓄積時間が短くなるほどＳＮ比は悪くなるため、ＡＤ変換手段１２の後段にデジタルデータを保存する記憶手段１３を設けて巡回型のデジタルノイズリダクションを構成することは、電子シャッターによる露出調整に起因する画質劣化の軽減に有効のものとなる。
【００２７】
露出の設定は、撮像装置にＣＣＤを使った電子シャッターや、メカシャッターや絞り制御機能をもったレンズ系などを用いてもよい。
【００２８】
以上のように構成された本発明の第１の実施の形態の露出制御装置について、図１を用いて動作を説明する。
【００２９】
まず、撮像手段１０によって画像信号を得る。撮像手段１０から得られた画像信号はアナログ処理手段１１で利得を付与されるなどして、ＡＤ変換手段１２でデジタルの画像データに変換され記憶手段１３に保持される。次にデータ分離手段１４では、画像データから露出制御に用いる情報を抽出する。露出制御に用いる情報としては、輝度信号でも良いし、特定の色信号でも良いし、それら輝度信号や色信号の最大値や最小値などても良い。被写体や撮像条件によって、露出制御に用いる最適な情報は異なるが、一般的には輝度値を用いる。記憶手段１３において、画像データが赤青緑の３原色に別けた状態で保持されている場合（撮像手段１０がＣＣＤであり単板原色系のオンチップ色フィルタを用いる場合や、撮像手段１０が複数個存在しプリズムなどを用いて色毎に画像データを得る場合など）、良く知られた比率（例えば、赤：緑：青＝３：６：１）で色情報を混合することによって輝度情報を作成することができる。以降、露出制御に輝度値を用いるものとして説明する。
【００３０】
有効データ抽出手段１５では、データ分離手段１４で分離した輝度値から、露出制御に有効な情報を抽出する。有効な情報とは、画像代表値と、輝度値のデータのなかで飽和していないデータの平均値とその個数である。露出制御では、画像代表値を目標値に近づけるループを形成するが、画像代表値とは、全画像または任意の一部画像における輝度値（つまり露出制御対象情報）の平均値でも良いし、最高値でも良いし、最低値でも良いし、三者を任意比率で混合したものでも良い。画像代表値は、輝度値の全画面平均値を用いることが多いが、被写体や撮像条件によって最適な画像代表値は様々であり、例えば露出制御の対象被写体が比較的高い信号レベルの状態で撮像されることが好ましい場合には、画像代表値として画像信号の最高値を用い、画像代表値が目標値と等しくなるような露出制御を行うことによって、見たい物体をちょうど良い明るさで見ることができる。画像データの内、飽和していない輝度値のデータの平均値とその個数は、次の画像代表値修正手段１６で画像代表値の修正に使用する。
【００３１】
画像代表値修正手段１６では、画像内に飽和が発生している場合に、画像代表値の修正を行う。画像代表値を全画面輝度平均値であるとし、輝度値域を０〜１００とすると（すなわち黒レベルは０、輝度値＝１００のとき飽和している可能性がある）、画像代表値は全画素の輝度の平均値として算出することができる。ここで、画像に飽和が発生する場合、飽和発生画素の輝度値は最高値１００以上にはならないため、結果として輝度平均値は本来の値より小さくなる。シャッター量は、画像代表値と目標値との比較結果から算出することになるが、画像に飽和が発生する場合には画像代表値は誤った値になるため、算出されるシャッター量も不適切な値となる。画像に飽和が発生している場合、飽和している輝度値の飽和量の推定を行い、推定結果を用いて画像代表値を算出する必要がある。
【００３２】
ある被写体を２種類の露出Ｌ１、Ｌ２（Ｌ１＞Ｌ２）で撮像したとき、露出Ｌ１で撮像した画像の輝度最大値をＹＬ１ＭＡＸ、最低値をＹＬ１ＭＩＮ、同様に露出Ｌ２で撮像した画像の輝度最大値をＹＬ２ＭＡＸ、最低値をＹＬ２ＭＩＮとすると、このとき撮像系のダイナミックレンジが十分に広ければ、以下の関係が成り立つ。
【００３３】
ＹＬ１ＭＡＸ：ＹＬ１ＭＩＮ＝ＹＬ２ＭＡＸ：ＹＬ２ＭＩＮ
また、輝度のダイナミックレンジを最大限に利用できている理想的な画像の輝度ヒストグラムを考える。このとき輝度ヒストグラムは一定値を取る。今、総画素数が１００である撮像素子から得られた輝度値が１から１００まで存在したとする。このとき輝度ヒストグラムは全域で一定値である１である一様分布となる。
このとき全画面輝度平均値は（１＋２＋…＋１００）／１００＝５０．５
ここで、輝度値の低い方から５０画素の輝度平均値は
（１＋２＋…＋５０）／５０＝２５．５
同様に、２５画素の輝度平均値は
（１＋２＋…＋２５）／２５＝１３
すなわち、輝度ダイナミックレンジを最大限に利用できている理想的な画像において、輝度が低い方（または高い方でも良い）から順に任意個数の画素を選択したとき、それらの平均値は、平均値算出に用いた画素の個数に比例した値に黒レベル分を加算した値になる（輝度の高い方からであれば、白レベルから減算）。
【００３４】
以上より、適切な露出で得られる画像はダイナミックレンジを最大限に利用できているという仮定のもと、飽和量の推定は以下の（式１）に示すようにすれば良い。
飽和していない輝度値のデータの平均値：ＴＡＶＥ
飽和していない輝度値のデータの個数：ＴＣＮＴ
目標値：ＹＴＲＧ
画像代表値（修正後）：ＹＹ
標準的な画像における最低値：ＢＯＴＭ
係数：Ｋ
であるとき、
ＹＹ＝ＹＴＲＧ＊ＴＡＶＥ／（ＢＯＴＭ＋ＴＣＮＴ＊Ｋ） （式１）
Ｋは、飽和していないデータの個数が最大であるとき
ＴＡＶＥ＝ＢＯＴＭ＋ＴＣＮＴ＊Ｋ （式２）
であるように設定すればよい。
【００３５】
シャッター量算出手段１７では、画像代表値と目標値、現在のシャッター量などを用いて、次に行う露光の時間を決定するシャッター量を算出する。シャッター量は、画像代表値と目標値の比を用いて以下に示す（式３）により算出する方法が挙げられる。
画像代表値：ＹＹ
目標値：ＭＯＫＵ
現在のシャッター量：Ｓ（Ｔ）
次回のシャッター量：Ｓ（Ｔ＋１）
Ｓ（Ｔ＋１）＝Ｓ（Ｔ）＊ＹＹ／ＭＯＫＵ （式３）
シャッター量は、画像代表値と目標値の差、微分値、積分値などを用いて算出しても良いし、画像代表値と目標値との関係からルックアップテーブルにより参照を行う方法を用いても良い。このようにして算出されたシャッター量は、露出調整手段１８の設定形式に変換されて、露出調整手段１８へ出力される。すなわち、露出調整手段１８として電子シャッターを使用する場合には電荷掃出しパルス数として出力され、ＤＣサーボレンズの場合には電圧レベルとして出力される。露出調整手段１８では、シャッター量算出手段１７で算出されたシャッター量に従って露出を調整する。露出の調整を、電子シャッターとして実現するときには、シャッター量を電荷掃捨てパルスとしてＣＣＤに印加して露出の調整を行う。
【００３６】
このように画像データの取得から露出調整までのループを一定期間毎に繰り返すことにより、露出の調整を実現する。ＮＴＳＣ方式であれば数フィールドレート毎になるが、制御の応答性の観点から毎フィールド処理を行うことが望ましい。
【００３７】
以上、本発明の第１の実施の形態の露出制御装置は、画像信号が飽和する場合に、未飽和部分の画像信号レベルから、飽和画像信号の飽和量を推定し、画像信号レベルを適切な値に補正することによって、高速に最適露出を得ることができる。
【００３８】
図２は、本発明の第２の実施の形態の露出制御装置におけるデータ分離手段２４のブロック図を示す。
【００３９】
図２に示すように、データ分離手段２４は、記憶手段１３から得られる画像データを予め決められたエリア別にサンプリングするエリア別サンプリング手段２１と、エリア別にサンプリングされた画像データに重み付けの算出を行うエリア別データ算出手段２２とで構成されている。
【００４０】
次に、データ分離手段２４の動作について説明する。
【００４１】
データ分離手段２４では画面を複数のエリアに分割し、エリア毎に輝度値などを算出する。例えば画像代表値は全画面輝度平均値として得られ、画像輝度は画面をｎブロックに別けたブロック毎に得られるものとする。ｎブロックをそれぞれＢ１〜Ｂｎとし、Ｂ１〜Ｂｎには予め画像代表値を算出する際に使用する重みを与えておいても良い。重みが全エリアで等しければ、画像代表値はＢ１〜Ｂｎの平均値として算出することができる。
【００４２】
エリアの形状は自由であり、矩形でも円形でも任意形状でもよい。例えば露出制御の対象被写体の形状が既知であるならば、エリアを被写体と同形状とし、画像代表値の算出の際に被写体形状のエリアの重みを大きくする。もしくは被写体形状のエリアのみから画像代表値を算出すれば、被写体形状のエリアの飽和発生に高速対処しつつ見たい物体をちょうど良い明るさで見ることができる露出制御が実現できる。
【００４３】
以上、本発明の第２の実施の形態の露出制御装置は、エリア別に重みを設定して画像代表値を算出することで、画像中任意の部分を露出制御対象に設定することができるため、画像中任意の部分に発生した飽和に対して高速に対処できる露出制御を可能とする。
【００４４】
図３は、本発明の第３の実施の形態の露出制御装置における有効データ抽出手段３５のブロック図を示す。
【００４５】
図３に示すように、有効データ抽出手段３５は、データ分離手段１４より入力される輝度値のデータのうち、最低の値を検出する最低値検出手段３１を備えている。
【００４６】
次に、有効データ抽出手段３５の動作について説明する。
【００４７】
画像代表値修正手段１６で行う画像代表値の修正は以下に示す（式４）で行う。すなわち、飽和発生時の画像代表値の修正は、画像最低値と画像最低値目標値との比のみで行う。
飽和していないデータの最低値：ＴＢＯＴ
目標値：ＹＴＲＧ
画像代表値（修正後）：ＹＹ
標準的な画像における最低値：ＢＯＴＭ
であるとき、
ＹＹ＝ＹＴＲＧ＊ＴＢＯＴ／ＢＯＴＭ （式４）
適切な露出で撮像した場合、飽和も黒つぶれも発生しないような画像であるならば、（式４）に示す方法で良好な結果が得られる。また、処理が最低値の検出のみのなので、計算量の面で有利である。
【００４８】
以上、本発明の第３の実施の形態の露出制御装置は、撮像素子が飽和する場合に、画像の飽和部分の飽和量を、画像の飽和していない部分の最低値を用いて推定し、画像信号レベルを適切な値に補正することによって、比較的少ない処理量で高速に最適露出を得ることができる。
【００４９】
図４は、本発明の第４の実施の形態の露出制御装置における有効データ抽出手段４５のブロック図を示す。
【００５０】
図４に示すように、有効データ抽出手段４５は、データ分離手段１４から入力された画像データのヒストグラムを算出するヒストグラム算出手段４１と、ヒストグラムとしての目標値が記憶されている目標ヒストグラム記憶手段４２と、ヒストグラム形式の画像データとヒストグラム形式の目標値との差分を算出する差分算出手段４３と、差分算出手段４３から入力される差分に基づいて画像代表値の補正量を算出する補正量算出手段４４とを備えている。
【００５１】
次に、有効データ抽出手段４５の動作について説明する。
【００５２】
一般的な画像のヒストグラムは、正規分布に代表される凸形式になる。目標ヒストグラム記億手段４２には、ヒストグラム形式の目標値が記憶されている。ヒストグラム算出手段４１は、画像データからヒストグラムを算出し、差分算出手段４３は、ヒストグラム形式の画像データとヒストグラム形式の目標値との差分を算出する。ここで、画像データからのヒストグラムは、目標のヒストグラムを何倍かしたものとほぼ等しくなることが予想されるので、画像代表値の補正量としては、目標ヒストグラム値と入力画像ヒストグラム値の差が最小になる目標のヒストグラムの倍率を算出する。これは２つの関数を用い最適化を行うものであり、コンピュータプログラムによる数値計算によって処理が行われる。すなわち両者の差分を算出するものであり、この場合、画像代表値の補正量となる目標ヒストグラムの倍率の計算精度はＣＰＵなどの処理能力に応じて決定すればよい。
【００５３】
以上、本発明の第４の実施の形態４の露出制御装置は、画像の飽和部分の飽和量を画像の飽和していない部分の信号値ヒストグラムを用いて、より高い精度で推定することができ、高い精度の推定結果をシャッター量の算出に用いることができるため、推定誤差に起因する誤動作が少なく、かつ高速な露出制御を行うことができる。
【００５４】
図５は、本発明の第５の実施の形態の露出制御装置における有効データ抽出手段５５のブロック図を示す。
【００５５】
図５に示すように、有効データ抽出手段５５は、予め与えられた飽和閾値を押し下げる飽和閾値抑圧手段５１と、飽和閾値を用いて画像データの飽和検出を行う飽和検出手段５２と、画像代表値や、飽和閾値以下である画像データの平均値と個数の有効データを生成する有効データ生成手段５３とを備えている。
【００５６】
次に、有効データ抽出手段５５の動作について説明する。
【００５７】
一般に露出を増やしていくと、輝度信号飽和（以下輝度飽和）の前に色信号飽和（以下色飽和）が起こる。色飽和レベルは色ごとに異なる。このため色飽和レベル付近になると飽和を起こす色の順番に従って、画像の色が変化して見える場合がある。このような色の変化を見せないようにするため、最も早く色飽和が始まる色に合わせて、すべての色成分を抑圧し、彩度を落としていく。このとき、輝度飽和には至っていないが、色味のある被写体は白くなっていく。このような色の変化から、人間の視覚では、色飽和の開始がすなわち飽和の開始として認識される。そこで、画像代表値として輝度を用いる場合には、飽和閾値を色飽和にあわせて抑圧してやることが必要となり、飽和検出手段５２で画像データの飽和の検出に使用する飽和閾値を飽和閾値抑圧手段５１で抑圧する。色飽和発生時点で、画像代表値を多めに補正してやることによって、露出調整量の増大を促し、色味のある被写体が飽和して白く見える時間を短縮することができる。
【００５８】
以上、本発明の第５の実施の形態の露出制御装置は、色飽和に対応した画像代表値の補正を行うことによって、色彩を持った被写体が露出オーバーによって彩度を抑圧された結果白く見える白飛びの発生時間を短縮することができる。
【００５９】
図６は、本発明の第６の実施の形態の露出制御装置におけるシャッター量算出手段６７と画像代表値修正手段６６とのブロック図を示す。
【００６０】
図６に示すように、シャッター量算出手段６７は、画像代表値、目標値、現在のシャッター量などから次回シャッター量を計算するシャッター量計算手段６１と、露出調整開始から収束終了までの時間と露出変動から収束速度を検出する収束速度検出手段６２と、画像代表値と目標値の関係から露出を原因とする画像代表値の目標値に対するオーバーシュートを検出するオーバーシュート検出手段６３とを備え、さらに画像代表値修正手段６６は、飽和発生時に画像代表値を修正する修正手段６４と、収束速度検出手段６２やオーバーシュート検出手段６３からの情報を用いて画像代表値の修正量を補正する修正用目標値補正手段６５とを備えている。
【００６１】
次に、画像代表値修正手段６６とシャッター量算出手段６７の動作について説明する。
【００６２】
本発明の第６の実施の形態の露出制御装置では、その露出が適切である場合の画像が取るであろう画像データの最低値を画像代表値の修正に用いる。実際にはこの最低値は、被写体条件によって異なるが、ダイナミックレンジの狭い被写体である場合、最低値はある程度高くなり、ダイナミックレンジの広い被写体である場合は、最低値は黒レベルと同値近くまで低くなる。このため、画像代表値補正計算で使用する最低値用目標値は、被写体条件によって変動させるべきである。
【００６３】
ここで、最低値用目標値が実画像の最低値より高く設定され、画像代表値の修正を第３の実施の形態で述べた（式４）によって実施する場合には、補正し足りず収束速度が遅くなる。逆に最低値用目標値が実画像の最低値より低く設定され、画像代表値の修正を（式４）によって実施する場合には、過補正となりオーバーシュートし易くなる。これらの現象から、収束速度検出手段６２とオーバーシュート検出手段６３から得られる情報を用いて、修正用目標値補正手段６５で画像代表値の修正に用いる修正用目標値である最低値用目標値を補正する。
【００６４】
以上、本発明の第６の実施の形態の露出制御装置は、画像の飽和していない部分の値を用い、画像の飽和部分の飽和量を高精度に推定することができ、また推定に用いるパラメータを動的に調整することによって、撮像条件の変化に対応した飽和量の推定を行うことができる。このため、撮像条件の変化に対応しながら、推定誤差に起因する誤動作が少なく、かつ高速な露出制御を行うことができる。
【００６５】
図７は、本発明の第７の実施の形態の露出制御方法のフローチャートを示す。
【００６６】
図７に示すように、本発明の第７の実施の形態の露出制御方法では、全画面平均値、飽和閾値以下総和およびカウント数を算出するループの先頭の画像データを読み出し（ステップ７０）、露出制御に用いるデータ（以下対象データ）を抽出（ステップ７１）し、対象データと飽和閾値とを比較（ステップ７２）し、飽和閾値以下である対象データの総和とそのカウント数を算出する飽和閾値以下のデータ総和算出（ステップ７３）を行い、全画面の対象データを総和算出（ステップ７４）し、全画面の対象データを逐次比較していくことによって最高値検出（ステップ７５）し、全画面の処理終了（ステップ７６）のとき、画像代表値を全画面平均や全画面中最高値を用いて算出し、飽和閾値以下のデータ総和とそのカウント数から飽和閾値以下である対象データの平均値を算出する画像代表値および飽和閾値以下の平均値算出（ステップ７７）を行い、飽和閾値以下のデータカウント数から飽和部分の存在を判断（ステップ７８）し、飽和が存在する場合に（式１）や（式４）を用いて画像代表値の修正（ステップ７９）を行い、画像代表値と目標値と現在のシャッター量などから次回のシャッター量算出（ステップ８０）を行う。
【００６７】
以上、本発明の第７の実施の形態の露出制御方法は、画像の飽和部分の飽和量を、画像の飽和していない部分の値を用いて高精度に推定することができ、推定結果をシャッター量算出に用いるため、高速な露出制御を行うことができる。
【００６８】
なお、露出制御装置の機能は、磁気ディスク、光磁気ディスク、ＲＯＭなどの記録媒体にプログラムとして記録することができる。よって、この記録媒体をコンピュータで読み取ってＭＰＵ、ＤＳＰなどで実行することにより露出制御装置の機能を実現することができる。
【００６９】
【発明の効果】
本発明によれば、画像に飽和部分が存在するような条件がある場合でも、画像の飽和していない部分の値を画像の飽和部分の飽和量を用いて高精度に推定することができ、推定結果をシャッター量算出に用いるため、高速な露出制御を行うことができる露出制御装置。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の露出制御装置のブロック図
【図２】本発明の第２の実施の形態の露出制御装置におけるデータ分離手段のブロック図
【図３】本発明の第３の実施の形態の露出制御装置における有効データ抽出手段のブロック図
【図４】本発明の第４の実施の形態の露出制御装置における有効データ抽出手段のブロック図
【図５】本発明の第５の実施の形態の露出制御装置における有効データ抽出手段のブロック図
【図６】本発明の第６の実施の形態の露出制御装置におけるシャッター量算出手段と画像代表値修正手段とのブロック図
【図７】本発明の第７の実施の形態の露出制御方法のフローチャートを示す図
【符号の説明】
１０ 撮像手段
１１ アナログ処理手段
１２ ＡＤ変換手段
１３ 記憶手段
１４、２４ データ分離手段
１５、３５、４５、５５ 有効データ抽出手段
１６、６６ 画像代表値修正手段
１７、６７ シャッター量算出手段
１８ 露出調整手段
２１ エリア別サンプリング手段
２２ エリア別データ算出手段
３１ 最低値検出手段
４１ ヒストグラム算出手段
４２ 目標ヒストグラム記憶手段
４３ 差分算出手段
４４ 補正量算出手段
５１ 飽和閾値抑圧手段
５２ 飽和検出手段
５３ 有効データ生成手段
６１ シャッター量計算手段
６２ 収束速度検出手段
６３ オーバーシュート検出手段
６４ 修正手段
６５ 修正用目標値補正手段
Claims (7)
- 画像の撮像手段により得られる画像データから露出制御に用いるデータを分離するデータ分離手段と、前記分離されたデータから画像代表値の修正に有効のデータを抽出する有効データ抽出手段と、前記画像が飽和しているときには前記有効のデータにより前記画像代表値の修正を行う画像代表値修正手段と、修正した前記画像代表値と目標値からシャッター量を算出するシャッター量算出手段と、前記シャッター量に従って露出を調整する露出調整手段とを備えたことを特徴とする露出制御装置。
- 前記データ分離手段は、画像を複数のエリアに分割し前記エリア別に画像データをサンプリングするエリア別サンプリング手段と、前記エリア別に重みを設定して前記画像データを算出するエリア別データ算出手段とを備えたことを特徴とする請求項１に記載の露出制御装置。
- 前記有効データ抽出手段は、前記画像データの最低値を抽出する最低値検出手段を備え、前記画像データの最低値により前記画像代表値の修正を行うことを特徴とする請求項１または２に記載の露出制御装置。
- 前記有効データ抽出手段は、前記画像データのヒストグラムを算出するヒストグラム算出手段と、予め定めた目標ヒストグラムを記憶する目標ヒストグラム記憶手段と、前記目標ヒストグラムと前記画像データのヒストグラムの差分を算出する差分算出手段と、前記ヒストグラムの差分から前記画像代表値の補正量を算出する補正量算出手段とを備えたことを特徴とする請求項１または２に記載の露出制御装置。
- 前記有効データ抽出手段は、前記画像データの飽和を検出する飽和検出手段と、前記飽和検出の際に使用する飽和検出閾値を抑圧する飽和閾値抑圧手段と、前記画像代表値の修正に有効のデータを生成する有効データ生成手段とを備えたことを特徴とする請求項１から請求項４のいずれかに記載の露出制御装置。
- 前記画像代表値修正手段は、前記画像代表値の修正を行う修正手段と、前記画像代表値の修正のとき用いる修正用目標値の補正を行う修正用目標値補正手段とを備え、前記シャッター量算出手段は、前記画像代表値と前記目標値との比較を行うことによって前記画像代表値のオーバーシュートを検出するオーバーシュート検出手段と、前記画像代表値が前記目標値へ収束する速度を検出する収束速度検出手段とを備え、前記修正用目標値補正手段は前記オーバーシュート検出手段と前記収束速度検出手段よりの情報により前記修正用目標値の補正を行うことを特徴とする請求項１から請求項５のいずれかに記載の露出制御装置。
- 画像の撮像手段により得られる画像データから露出制御に用いるデータを分離し、前記分離されたデータから画像代表値と画像代表値の修正に有効のデータを抽出し、前記画像が飽和している場合には前記有効のデータにより前記画像代表値の修正を行い、前記画像代表値と目標値との比較を行い前記撮像手段の露出を制御するシャッター量の算出をすることを特徴とする露出制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002042122A JP3995953B2 (ja) | 2002-02-19 | 2002-02-19 | 露出制御装置およびその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002042122A JP3995953B2 (ja) | 2002-02-19 | 2002-02-19 | 露出制御装置およびその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003244532A JP2003244532A (ja) | 2003-08-29 |
| JP3995953B2 true JP3995953B2 (ja) | 2007-10-24 |
Family
ID=27782336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002042122A Expired - Fee Related JP3995953B2 (ja) | 2002-02-19 | 2002-02-19 | 露出制御装置およびその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3995953B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4539254B2 (ja) * | 2004-09-16 | 2010-09-08 | 株式会社ニコン | 電子カメラおよび画像処理プログラム |
| KR100844114B1 (ko) | 2004-10-25 | 2008-07-04 | 마츠시다 덴코 가부시키가이샤 | 공간 정보 결정 장치 |
| JP4980939B2 (ja) * | 2008-01-22 | 2012-07-18 | 富士重工業株式会社 | 撮像手段の調整装置および物体検出装置 |
| JP5355371B2 (ja) * | 2009-12-15 | 2013-11-27 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP6432642B2 (ja) * | 2017-05-30 | 2018-12-05 | 株式会社ニコン | 露出制御装置及び光学機器 |
-
2002
- 2002-02-19 JP JP2002042122A patent/JP3995953B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003244532A (ja) | 2003-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3762725B2 (ja) | 撮像システムおよび画像処理プログラム | |
| US8798395B2 (en) | Image processing apparatus, image processing method, and program | |
| US6947080B2 (en) | Device for image processing, method of adjusting white-balance, and computer products | |
| US7057653B1 (en) | Apparatus capable of image capturing | |
| US7030911B1 (en) | Digital camera and exposure control method of digital camera | |
| JP4325777B2 (ja) | 映像信号処理方法および映像信号処理装置 | |
| JP2007189544A (ja) | 撮像装置 | |
| EP2426927A2 (en) | Image processing apparatus, image processing method and recording medium | |
| US11838649B2 (en) | Image capturing device and control method thereof and medium | |
| US8155472B2 (en) | Image processing apparatus, camera, image processing program product and image processing method | |
| JP5782311B2 (ja) | 撮像装置及びその制御方法 | |
| KR101754425B1 (ko) | 이미지 촬영 장치의 밝기를 자동으로 조절하는 장치 및 방법 | |
| WO2005099356A2 (ja) | 撮像装置 | |
| KR20110016812A (ko) | 촬상장치 및 촬상방법 | |
| US8144218B2 (en) | Image signal processing apparatus, image signal processing program, and image signal processing method | |
| US20070211165A1 (en) | Imaging device, method for controlling imaging device, program of method for controlling imaging device, recording medium in which program of method for controlling imaging device is recorded | |
| JP3995953B2 (ja) | 露出制御装置およびその方法 | |
| TWI381723B (zh) | 攝像裝置，影像信號處理裝置及影像信號處理方法 | |
| US11678060B2 (en) | Apparatus, method for controlling apparatus, and storage medium | |
| US11457191B2 (en) | Computer implemented method for temporally stabilizing white point information in an auto white balance process, a data processing apparatus, a computer program product, and a computer-readable storage medium | |
| US8625008B2 (en) | Image processing apparatus having luminance-type gamma correction circuit capable of changing nonlinear characteristic, and image processing method therefor | |
| US11310446B2 (en) | Imaging device, image processing method, and program | |
| US8121473B2 (en) | Imaging apparatus | |
| EP4072119A1 (en) | Illumination control device, imaging device, and storage medium | |
| JP2004336242A (ja) | 補正装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050215 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070628 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070710 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070801 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |