JP4247547B2 - カメラ用露光量制御方法および装置 - Google Patents

Description

本発明は、少なくとも１つの画像センサによるカメラのための露光制御方法であって、画像輝度目標値が予め設定され、この画像輝度目標値に制御される方法に関する。本発明は、少なくとも１つの画像センサを持つカメラ用露光制御装置であって、画像輝度目標値が予め設定され、この画像輝度目標値に制御されるものに関する。

将来、ますます多くの自動車が、車両の近傍や遠方の周辺を監視するシステムを持つことが予想されている。これは、車両の動きを全体としてまた道路上の交通流における移動物体として検出するシステムを含んでいる。これらのシステムに基いて、運転者補助あるいはナビゲーションのため目標へ向けた車両の案内や操舵、及び衝突回避までの搭乗者保護システムの拡張が実現可能である。このようなシステムは、半自動、あるいは全自動走行の基礎をなしている。車両周辺監視システムとして、間隔およびシーケンス制御として公知のレーダーシステムの外に、可視光に基くかあるいは赤外線範囲にある撮像センサ（画像センサ等）を持つカメラシステム（車両周辺監視カメラ）が特に適している。

例えば画像処理などによる車線認識のためのカメラを持つ車両で連続的に撮像する場合、露光状態は一定ではない。例えばトンネルに入る場合あるいはトンネルから出る場合のように、露光状態は非常に速く変化し、明るい日光から夜の暗闇まで広い動的範囲を含んでいる。しかしカメラシステムは、全ての条件下で十分確実かつ正確に動作せねばならない。これはシステムの極めて幅広いダイナミックレンジを必要とする。このダイナミックレンジには、今日市場に普及している安価な固定露光設定のカメラでは対応できない。通常これに、絞りや露光時間が合わされる。一般に車両内には、ＬＣＤあるいはＣＭＯＳセンサを備えたカメラが使用される。これらのセンサでは、露光時間に、光を集める時間が対応している。以下この時間を「積分時間」と称する。これは、純電子的に制御可能である。通常、機械的な絞りは存在しない。その代わりに、ＬＣＤおよびＣＭＯＳカメラセンサでは、信号を更に処理するためアナログ／デジタル変換器へ送る前に、付加的に増幅率が調節される。ドイツ連邦共和国特許第１０２１５５２５号明細書あるいは米国特許出願第２００３／０９８９１４号明細書に記載されているように、今までの制御方法は、目標値からの制御偏差を連続的に測定し、この偏差を連続的な再制御によってできるだけ小さく保つようにしている。しかし画像処理システムによる画像の評価の際、連続する各画像の輝度を制御することは、必ずしも有利ではない。他方、制御せねばならない場合、目標値は可能な限り速く設定されねばならない。

本発明の課題は、光の状態が変化する場合にも、できるだけ高い画像コントラストを迅速かつ確実に設定できるセンサの露光量制御方法および装置を提示することである。

本発明によれば、この課題は、独立請求項の特徴によって解決される。その従属請求項の特徴によって、有利な展開が提供される。

本発明によれば、照度Ｂに関係する画像輝度Ｈの関数に基いて制御が行われることによって、課題が解決される。ここで照度は、実際に光学的に存在して画像センサの入力側に生じる輝度を意味し、この輝度から、画像センサの出力側に、適当な積分および／あるいは増幅によって、評価のために利用される輝度が得られる。

測定された輝度の制御は、照度Ｂに関係する画像輝度Ｈの（特性曲線Ｋ）の勾配αの調節によって行われる。その際制御ステップにおいて、最初の勾配α１、画像輝度目標値Ｈｓｏｌｌおよび現在の画像輝度Ｈｉｓｔから、次式
α２＝α１＊Ｈｓｏｌｌ／Ｈｉｓｔ
により新しい勾配が求められる。

勾配を合わせることによって、直ちに新しい動作点が予め設定され、こうして時間のかかる連続的な制御をやめることができる。勾配αの調節は、画像センサの積分時間および／あるいは増幅率の適当な前もっての設定によって行われる。

本発明によれば、画像輝度目標値Ｈｓｏｌｌとして、目標値Ｈｓｏｌｌ１，Ｈｓｏｌｌ２の範囲が予め設定されるようにするのが好ましい。この場合、各所定値の相互間隔は動作範囲従って適合の頻度を規定する。従って比較的まれに適合を行わねばならないため、最大の理論的動作範囲に対して大きい範囲が、能動動作範囲として規定される。それにより特に、適合の行われた後一般に所定の時間間隔において新たな適合は必要でない。しかし具体的な値は、検出すべき画像の動特性および輝度変動に強く関係している。

下限Ｈｓｏｌｌ１のための目標値５０〜９０％及び上限Ｈｓｏｌｌ２のための目標値の１１０〜１３０％の目標値のための範囲が、予め設定されるのがよい。

本発明の展開によれば、新しい勾配α２を求める際、特性曲線の所定の特性が考慮される。

本発明によれば、特性曲線が原点Ｕを通らず、新しい勾配α２が、少なくとも１つのオフセット値Ｏｆｆｓ１，Ｏｆｆｓ２を考慮して、次式
α２＝α１＊（Ｈｓｏｌｌ−Ｏｆｆｓ２）／（Ｈｉｓｔ−Ｏｆｆｓ１）
により求められる。

また本発明の課題は、次の装置によっても解決され、この装置において計算機により画像評価が行われ、計算機により実質的に、露光制御および画像輝度の調節または制御も行われる。

現在の画像輝度Ｈｉｓｔの目標画像輝度Ｈｓｏｌｌへの調節は、１つの制御ステップで行われるのがよい。

本発明によれば、画像輝度の測定のため特定の重要な絵素が選択され、実質的にこの範囲に画像輝度が制御される。

本発明によれば、計算機が、設定された感度を介して写像される場面の現在の画像輝度を逆算し、この値をシステムあるいは他のシステムに利用可能にするようにしている。画像センサとして画像検出のためすべての公知の及び考えられるセンサ、特に線状あるいはマトリクス状に配置されかつ光を本発明による光学系から得る感光要素（画素または絵素）から成るマルチセンサ構造が適している。Ｓｉ画像センサ（ＣＣＤ）も使用可能である。ＣＣＤ画像センサの場合、透明な電極を経て入射する光により、強度および露光時間に比例して、「ポテンシャルサンプ」（Ｓｉ−ＳｉＯ_２境界層）に集められる電荷が発生される。別の電極によって、これらの電荷は、光を通さない区域へ移され、「アナログ」シフトレジスタ（バケットチエン原理）において行毎に、高いクロック速度で逐次に読み出される出力レジスタへ送られる。しかし、ＣＭＯＳ技術に基く画像センサが好んで使用される。ＣＭＯＳセンサを使用する場合、絞り制御は必要ない。全輝度範囲における一定のコントラスト分解能が可能となる。これらのセンサは更に、同時に一層高い感度（一層高い読出し速度で）個々の絵素へ有利に選択的にアクセスできる。画像センサチップ上で信号の最初の前処理も可能である。

本発明の特に好ましい実施形態では、実質的にＶＧＡ分解能を持つセンサなるべくＣＭＯＳカメラセンサ用の公知のフォーマットが使用される。標準フォーマットの使用により、システムの費用は少ない。なぜならば、これらは既に大量生産されているからである。

しかし本発明は、これらの標準センサの使用に限定されないことは明らかである。例えば、本発明による光学システムにおいては、特殊な高度に動的なセンサを使用することもできる。特に、いわゆるＴＦＡ（Ｔｈｉｎ Ｆｉｌｍ ａｎ ＡＳＩＣ）チップを画像センサとして使用することも考えられる。これらのセンサの使用により、全体で２００ｄＢ以上の動的範囲を達成できる。これらのシステムは、特に夕暮れ時や夜における低い光度でも、例えば暗視装置として使用することができる。

本発明による方法および装置は、なるべく自動車用の車両周辺監視カメラに使用される。

本発明を添付図面（図１〜図４）を参照して詳しく説明する。

図１には、車両周辺を監視するカメラ用の画像処理システムが概略的に示されている。画像処理システムは、画像撮影手段１（センサ付きカメラ）、画像データ取得手段２（フレームグラッパ）および計算機ユニット３から構成されている。画像データ取得手段２は、カメラ１から画像データ４を得る。出力データとして、取得された画像データ５が、これを評価する計算機３へ送られる。また計算機は、カメラ１を構成するためカメラ１への接続部６も持っている。

図２は、照度Ｂ（特性曲線Ｋ）の関数として、センサの画像輝度Ｈの推移を概略的に示している。露光制御の出発点は、センサが、飽和閾値（理想的には最大画像輝度Ｈｍａｘの所にある）以下では、照度、積分時間および増幅率に関して実質的に直線的性質を示す、という事実である。

直線的推移の勾配αは、設定される積分時間および設定される増幅率によって規定される。
α＝η＊積分時間＊増幅率
比例定数ηは、センサの光感度を含んでいる。

平均画像輝度Ｈを調節するため、目標値Ｈｓｏｌｌが予め設定され、この値に制御される。センサへの新しい制御値の伝送は、画像データ伝送を妨げる可能性がある。従って制御過程は、可能な限り稀に行われるべきである。従って付加的にＨｓｏｌｌ１とＨｓｏｌｌ２との間の許容範囲が予め設定され、制御が介入する前に、この許容範囲内で画像輝度が変化してもよい。

図３は、目標値（目標画像輝度）Ｈｓｏｌｌへの現在の画像輝度Ｈｉｓｔの追跡を概略的に示している。現在の画像輝度Ｈｉｓｔが、Ｈｓｏｌｌ１とＨｓｏｌｌ２との間の許容範囲から逸脱すると、現在の画像輝度Ｈｉｓｔが目標画像輝度Ｈｓｏｌｌに一致するように、特性曲線Ｋ１の勾配が変化される。新しい勾配は新しい特性曲線Ｋ２を描く。

本発明の本質は、新しい勾配α１を計算し、それにより目標画像輝度Ｈｓｏｌｌへの現在の画像輝度Ｈｉｓｔの追跡を制御ステップで行うことである。

直線関係のため、以前の勾配α１に、目標画像輝度Ｈｓｏｌｌと現在の画像輝度Ｈｉｓｔの比を掛けることにより新しい勾配α２が得られる。
α２＝α１ Ｈｓｏｌｌ／Ｈｉｓｔ
新しい勾配α２が求められると、可能な限り正確に新しい特性曲線Ｋ２を設定するため積分時間あるいは増幅率あるいは両者が選択的に合わされる。

偏差の確認後、センサにおいて新しい積分時間および／あるいは増幅率が設定され、従って次の次の画像のために有効になる。２５Ｈｚの典型的な画像繰返し数において、既に４０ｍｓ後に新しい設定を行うことができるであろう。

新しい勾配α２を求める際に、照度Ｂと画像輝度Ｈとの関係の特性曲線Ｋの所定の特性が、実質的な直線範囲で勾配の適当な適合を行うことによって、考慮される。
更に直線範囲およびオフセットの限界を考慮することもできる。しかし原理的に、費用のかかる計算例えば高次の多項式により、一層複雑な計算を考慮することもできる。

図４は、特性曲線Ｋ３，Ｋ４が原点Ｕを通らない場合を概略的に示している。その場合、オフセット Ｏｆｆｓ１またはＯｆｆｓ２が適当な輝度において差し引かれる。

本発明は、直線特性曲線を持つセンサのみに限定されない。非直線特性曲線（例えば対数特性曲線）を持つセンサでは、特性曲線の下部の分岐が直線により十分に正確に近似される。従ってこの方法は、非直線特性曲線を持つセンサにも転用され、従って画像輝度が、非直線特性曲線を持つセンサにおいても十分よく目標値に調節される。典型的に非直線特性曲線を持つセンサは、直線特性曲線を持つセンサよりも著しく大きい動的範囲を覆う。従って非直線特性曲線を持つセンサでは、目標値への画像輝度の調節は、直線特性曲線を持つセンサにおけるより危険が少ない。従って非直線特性曲線における制御パラメータの計算の際、増大した不正確さが、画質の悪化にあまり影響を及ぼすことはない。

画像評価を扱う計算機またはマイクロコントローラあるいはディジタル信号プロセッサＤＳＰを介して画像輝度の監視が考慮されているので、現在の画像輝度が制御ステップで目標画像輝度に調節される。

画像輝度を測定するため重要な絵素の選択も考慮されている。例えば車線認識のような応用の際、測定に有利な範囲は画像の一部しか占めない。従って露光制御は、この範囲からの絵素に限定される。こうしてこの範囲を最適に表示することができる。

「輝度センサ」の機能の引受けも同様に有利に考えられる。計算機が増幅率および積分時間の絶対的調節についての監視を行う場合、計算機は、調節される感度を介して、写像される場面の現在の輝度に逆算し、この値を外部輝度として出力することができる。
この値は、例えば車両の前照灯を制御するために使用することができる。

画像処理システムを概略的に示す。 センサの画像輝度Ｈの推移を照度Ｂの関数として概略的に示す。 画像輝度目標値（目標画像輝度）Ｈｓｏｌｌへの現在の画像輝度Ｈｉｓｔの追跡を概略的に示す。 原点（零点）を通らない画像輝度の推移（特性曲線Ｋ）の第３の記入を概略的に示す。

Claims (9)

1. 少なくとも１つの画像センサによるカメラのための露光制御方法であって、画像輝度目標値（Ｈｓｏｌｌ）が予め設定され、この画像輝度目標値（Ｈｓｏｌｌ）に制御され、画像センサの積分時間および／あるいは増幅率の制御による勾配（α）の調節によって制御が行われるものにおいて、最初の勾配α１、画像輝度目標値Ｈｓｏｌｌおよび現在の画像輝度Ｈｉｓｔから、次式
   α２＝α１＊Ｈｓｏｌｌ／Ｈｉｓｔ
   により新しい勾配が求められることを特徴とする、カメラ用露光量制御方法。
2. ａ） 画像輝度Ｈｉｓｔが、画像輝度目標値Ｈｓｏｌｌの許容範囲（Ｈｓｏｌｌ１，Ｈｓｏｌｌ２）と比較され、
   ｂ） 画像輝度Ｈｉｓｔが画像輝度目標値Ｈｓｏｌｌの許容範囲（Ｈｓｏｌｌ１，Ｈｓｏｌｌ２）外にある場合にのみ、制御ステップにおいて新しい勾配α２が予め設定されることを特徴とする、請求項１記載の方法。
3. 新しい勾配α２を求める際、画像輝度（Ｈ）と照度（Ｂ）との関係を表わす所定の特性曲線（Ｋ）の特性が考慮されることを特徴とする、請求項１あるいは２記載の方法。
4. 特性曲線（Ｋ）が原点Ｕを通らず、新しい勾配α２が、少なくとも１つのオフセット値Ｏｆｆｓ１を考慮して、次式
   α２＝α１＊（Ｈｓｏｌｌ−Ｏｆｆｓ１）／（Ｈｉｓｔ−Ｏｆｆｓ１）
   により求められることを特徴とする、請求項３記載の方法。
5. 各勾配（α２，α１）に対して付属するオフセット値（Ｏｆｆｓ１，Ｏｆｆｓ２）が設定され、新しい勾配α２が、付属するオフセット値を考慮して、次式
   α２＝α１＊（Ｈｓｏｌｌ−Ｏｆｆｓ２）／（Ｈｉｓｔ−Ｏｆｆｓ１）
   により求められることを特徴とする、請求項４記載の方法。
6. 少なくとも１つの画像センサを持つカメラ用露光制御装置であって、先行する請求項の１つに記載の方法により、画像輝度目標値Ｈｓｏｌｌが予め設定され、この画像輝度目標値Ｈｓｏｌｌ制御されるものにおいて、計算機が設けられ、この計算機において画像評価が一緒に行われ、計算機により少なくとも実質的に、露光制御および画像輝度の調節または制御も行われることを特徴とする、カメラ用露光量制御装置。
7. 画像輝度の測定のため特定の重要な絵素が選択され、実質的にこの範囲に画像輝度が制御されることを特徴とする、請求項６記載の装置。
8. 計算機が、設定された感度を介して写像される場面の現在の画像輝度を逆算し、この値をシステムあるいは他のシステムに利用可能にするようにしていることを特徴とする、請求項６あるいは７記載の装置。
9. 自動車用の車両周辺監視カメラ用の先行する請求項の１つに記載の方法および装置の使用。

Images