JP4838261B2 - 車両機器制御用の画像収集及び処理システム - Google Patents

Description

発明の詳細な説明

（関連出願の相互参照）
本発明は、２００４年１１月１８日に出願された名称「車両機器制御のための画像処理システムの改善」の米国仮特許出願第６０／６２９，１０８号；２００５年８月２３日に出願された名称「車両機器制御用の画像収集及び処理システムの改善」の米国仮特許出願第６０／７１０，６０２号；２００５年９月８日に出願された名称「車両機器制御及び種々の車両機器制御システム用の画像処理システムの改善」の米国仮特許出願代理人ＤｏｃｋｅｔＡＵＴＯ４３３Ｖ３の米国特許法１１９条（ｅ）に基づく利益を主張し、これらの開示事項は引用により全体が本明細書に組み込まれる。

（背景技術）
様々な車両機器システムの自動制御及び監視のために車両内に視野システムを組み込むことは一般的になってきた。本発明は、車両視野システム構成要素、車両視野システム、並びに視野システム構成要素及び視野システムを用いた車両機器制御システムにおける改善をもたらす。

（発明を実施するための最良の形態）
イメージングシステム及び関連プロセッサを組み込む多くの車両機器制御システムが提案されている。本明細書で説明される少なくとも１つの実施形態では、複数の車両システムの機能を容易にするための単一のイメージングシステムが提供される。少なくとも１つの実施形態では、複数又は単一の用途を個々に提供する複数のイメージングシステムが提供される。

カメラ及び画像処理システムを用いた車両外部ライト制御システムは、同一譲受人に譲渡された米国特許第５，８３７，９９４号、第５，９９０，４６９号、第６，００８，４８６号、第６，１３０，４４８号、第６，１３０，４２１号、第６，０４９，１７１号、第６，４６５，９６３号、第６，４０３，９４２号、第６，５８７，５７３号、第６，６１１，６１０号、第６，６２１，６１６号、第６，６３１，３１６号、第６，７７４，９８８号、第６，６３１，３１６号、第６，８６１，８０９号、第６，５８７，５７３号、米国特許出願公開第２００４−０１４３３８０号、第２００４−０００８４１０号、第２００４−０１２０３５８号、第２００４−０２０１４８３号、及び第２００６−００１６９６５号において開発され開示されており、これらの開示事項は、引用により全体が本明細書に組み込まれる。これらのシステムでは、自動車前方のビューの画像が収集される。少なくとも１つの実施形態では、画像センサは、フロントガラスの室内表面からの反射及び／又は屈折が実質的に排除されるように、フロントガラスの室内表面に光学的に結合される。これらの画像は、接近車両又は先行車両の有無を判断するために処理され、他の車両の運転者に対する眩光を防ぐために、例えばハイビームを消すことによって被制御車両の外部ライトが調節される。

湿気感知、フロントガラスワイパー、及びＨＶＡＣ制御は、同一譲受人に譲渡された米国特許第５，９２３，０２７号、第６，６１７，５６６号、第６，６８１，１６３号、及び米国特許出願公開第２００４−０２３２７７３号で説明されており、これらの開示全体は引用により本明細書に組み込まれる。

図１を参照すると、被制御車両１０５は、ヘッドライト組立体１２０ａ、１２０ｂ、スモールライト１３０ａ、１３０ｂ、フロントターンシグナルインジケータ１３５ａ、１３５ｂ、テールライト組立体１２５ａ、１２５ｂ、リアターンシグナルインジケータ１２６ａ、１２６ｂ、リアハザードランプ１２７ａ、１２７ｂ、バックライト１４０ａ、１４０ｂ、及び中央ハイマウントストップランプ（ＣＨＭＳＬ）１４５などの種々の外部ライトを備えることができる。

本明細書で詳細に説明するように、被制御車両は、他の車両機器との共有機能を提供する様々な構成要素を組み込んだ少なくとも１つの制御システムを備えることができる。本明細書で説明される１つの制御システムの実施例は、少なくとも１つのリアビューミラー要素の反射率の自動制御及び少なくとも１つの外部ライトの自動制御に関連する様々な構成要素を一体化する。かかるシステム１１５は、リアビューミラー、Ａピラー１５０ａ、１５０ｂ、Ｂピラー１５５ａ、１５５ｂ、Ｃピラー１６０ａ、１６０ｂ、ＣＨＭＳＬ、又は被制御車両内又は被制御車両上の他の場所に少なくとも１つの画像センサを備えることができる。収集画像又はその一部は、自動車両機器制御に用いることができる。その代わりに又はこれに加えて、この画像又はその一部は、１つ又はそれ以上のディスプレイ上に表示することができる。少なくとも１つのディスプレイは、半透過性又は少なくとも部分的に透過性の電気光学素子の後部に隠して位置付けることができる。共通コントローラは、少なくとも１つのミラー要素駆動信号及び少なくとも１つの他の機器制御信号を発生させるように構成することができる。

ここで図２を参照すると、外部リアビューミラー組立体２１０の様々な構成要素が示されている。少なくとも１つの実施形態では、内方面上に少なくとも１つの導電性／反射性コーティングを有する第１の基板２２０を備え、該第１の基板が内方面上に少なくとも１つの導電性／反射性コーティングを有する第２の基板２２５と離間した関係で一次シール２３０を介して固定されて、これらの間にチャンバを形成する電気光学ミラー要素が提供される。少なくとも１つの実施形態では、一次シールの少なくとも一部は空隙を残し、少なくとも１つのチャンバ注入口２３５を形成する。電気光学媒体はチャンバ内に封入され、注入口はプラグ材料２４０を介してシール密封される。好ましくは、プラグ材料は、ＵＶ硬化エポキシ又はアクリル材料である。また、ミラー素子の外縁部近くに配置されたスペクトルフィルタ材料２４５も図示されている。電気クリップ２５０、２５５はそれぞれ、好ましくは第１の接着材料２５１，２５２を介して要素に固定される。要素は、第２の接着材料２６５を介してキャリアプレート２６０に固定される。外部リアビューミラーから被制御車両の他の構成要素への電気的接続は、コネクタ２７０を介して行われるのが好ましい。キャリアは、ポジショナ２８０を介して関連するハウジングマウント２７６に取り付けられる。ハウジングマウントは、ハウジング２７５と係合され、少なくとも１つの留め具２７６を介して固定されるのが好ましい。好ましくは、ハウジングマウントは、旋回マウント２７７に係合するように構成された旋回部分を含む。旋回マウントは、少なくとも１つの留め具２７９を介して車両マウント２７８を係合するように構成されるのが好ましい。これらの構成要素、追加の構成要素、これらの相互接続部、及び動作の追加の詳細事項が本明細書で提供される。

ここで図３を参照すると、第１の基板３２２に向いて見たときの内部リアビューミラー組立体３１０が示されており、見る人と一次シール材料（図示せず）との間にスペクトルフィルタ材料３４５が位置付けられている。ミラー要素は、可動ハウジング３７５内に位置付けられ、装着構造体３８１上の固定ハウジング３７７と組み合されるように示されている。第１のインジケータ３８６、第２のインジケータ３８７、オペレータインターフェース３９１、及び第１の光センサ３９６が可動ハウジングの顎部３９０に位置付けられる。第１の情報ディスプレイ３８８、第２の情報ディスプレイ３８９、及び第２の光センサ３９７は、見る人に対して要素の後部にあるように組立体内に組み込まれる。外部リアビューミラー組立体関して説明したように、装置３８８、３８９、３９７を少なくとも部分的に隠すことが好ましい。

かかるシステムの好ましい実施形態では、他の車両及び非車両物体からの光は、画像内の輝度のピーク点を位置特定することによって識別される。位置特定されると、輝度、色、位置、幅、高さ、動き等のこれらの輝点の様々な特性が求められる。これらのパラメータ値は、統計的手法を用いて分析され、この輝点が他の車両のヘッドランプ又はテールランプに相当するか、或いは標識、反射器、又は他の固定ライト等の非車両光源に相当するかどうかを判断する。車両照明制御用の画像処理アルゴリズムの開発における重要な課題は、画像内のピーク点を適正に分類することである。光源を正確に識別することができないことによって、他の車両に対する眩光又は不適切なタイミングのハイビームの遮断を生じる可能性があり、被制御車両の運転者の不満が生じることになる。

発明者らは、画像内の輝点の位置は物体の分類において極めて大きく変動することを確認した。画像の中央に位置するピーク点は、車両光源に相当する可能性が高く、一方、側方に離れてある光源は、標識又は反射器に相当する可能性が高い（色、輝度、及び動き等の他の因子が同時に考慮されるのが好ましい）。発明者らはまた、カメラの製造及び車両へのカメラの物理的装着は変動を受け易いことを経験から認識していている。従って、画像の実際の中心を高精度で認知することはできない。これらの問題を軽減するために、車両組み立て工場において画像の中心を確定するのに工場照準較正が利用されるのが好ましい。上記の従来技術において説明されたように、自動連続照準較正も同様に利用される。

これらの照準法は、適切な画像中心較正を構築する際に極めて有効ではあるが、制約があり、本発明はこれらの制約を克服する。ヘッドランプ照準設定用に利用されるものと同様の装置を組立体工場において利用するのが好ましい。照明源は、各車両の前面の予め設定された位置に配置され、少なくとも１つの画像が収集される。少なくとも１つの画像を分析して、画像センサの照準調整が許容可能であるかどうかを判断する。

少なくとも１つの実施形態において、本発明は、画像サイクル毎又は僅かなサイクルだけで行う画像照準較正を構築することによって照準調整法を改善する。すなわち、本発明は、道路状況の変化に極めて迅速に適応して画像内の道路の中心位置を確定し、従って道路に対する画像内の識別した輝度ピークの位置を求めることができる。この情報を用いて、識別されたピークを良好に分類し、性能の改善及び工場照準調整の必要性を潜在的に排除することがもたらされる。

本発明の少なくとも１つの実施形態では、道路の位置を特定するためにペイントされた道路車線マーカが識別される。画像内における左右の車線の交点が道路の中心を示す。車線マーカを識別して、ターンシグナルを出さずに車線変更をする運転者に警報する車線逸脱警報システムが車両で商業的に利用可能である。これらのシステムの一部は、これらの車線を識別するために画像センサ及び画像処理手段を利用する。これらのシステムで使用されるアルゴリズムは、外部ライト制御システムと共に用いて、車線逸脱警報機能以外、又はこれに付加して外部ライト制御システムの照準調整の目的で車線を識別することができる。別個の車線逸脱警報システムは、外部ライト制御システム用に道路位置を求める目的ために、外部ライト制御システムに車線位置を伝達する手段を備えた機器とすることができる。

ここで、本明細書で説明する目的のために、車線識別に有効と見なされる簡単な車線追跡アルゴリズムが提示される。この実施例においては、イメージングシステムは、図４又は図５で説明するように構成することができる。図４に示すように、イメージングシステム４０５は、回路基板４１５に搭載された画像センサ４１０を備える。画像センサは、材料４２５内に封入されて、レンズ組立体４３０マウントを形成する。レンズ組立体は、シーンからの光線４４０を画像センサ上に合焦するように構成された第１のレンズ４３１を備える。イメージングシステムは更に、第１のレンズの周囲にアパーチャを形成するように構成されたマスク４４５を備える。画像センサ全体の解像度は、１４４×１７６ピクセルである。図５に示すように、イメージングシステム５０５は、回路基板５１５に搭載された画像センサ５１０を備え、スペクトルフィルタ材料５２０が関連するピクセルのおよそ半分の上に配置される。画像センサは、材料５２５内に封入されて、レンズ組立体５２０マウントを形成する。レンズ組立体は、シーンからの光線５４０を画像センサの半分の上に合焦させて、該光線がスペクトルフィルタ材料を通過するように構成された第１のレンズ５３１を備える。レンズ組立体は、実質的に同じシーンからの光線を画像センサの残りの半分の上に合焦して、該光線がスペクトルフィルタ材料を通過しないようにするよう構成された第２のレンズ５３２を備える。イメージングシステムは更に、第１及び第２のレンズの周りにアパーチャを形成するように構成されたマスク５４５を備える。画像センサ全体の解像度は１７６×１４４ピクセルである。しかしながら、このアレイは２つの半部分に分割され、その各々は、実質的に同じシーンを撮像するが、半分はスペクトルフィルタを通して撮像する。各半部分は、例えば１４４ピクセル幅×５０ピクセル高さのピクセルのサブウィンドウを用いる。好ましくは、非フィルタリング半部分は車線検出に用いられる。視野は、好ましくはピクセル当たりおよそ０．２度である。車線検出アルゴリズムは、好ましくは、例えば下側１５行の画像の下側領域で動作し、必ずしも全ての列を利用しない。以下の後続の実施例は様々な解像度並びに様々な光学構成を有する種々の画像センサに適用することができる点を理解されたい。画像センサ及びプロセッサのコストが下がるにつれて、より高い解像度及び、例えば５０度又はそれ以上のより広い視野を有する画像センサを用いることが有利とすることができる。視野がより広くなるほど、より大きな照準補正、カーブ近辺のより良好な車両検出、及びより広い範囲のフロントガラス角度に対する許容範囲が可能になる。本発明は、いずれかの特定のタイプ又は構成の画像センサに限定されるものとして解釈すべきではない。

各行において、処理は水平中心ピクセルから始まる。行全体を右方向に移動するときに、各ピクセルを調査し、調査されるピクセルが左右の２つの場所のピクセルよりも有意に大きいかどうかを判断する。大きい場合には、そのピクセルは輝線の部分（すなわち車線マーカ）をイメージングしていると判断される。このピクセルの座標は、右車線座標のリスト内に記憶され、次いで、同じ処理は、中心ピクセルの左移動を生じる。高輝度のピクセルが見つからない場合には、座標は記憶されない。この処理は、下側１５行の各々について繰り返され、高輝度の車線マーカピクセルの座標が左右の車線ピクセルリストに記憶される。右又は左の車線において十分な数（例えば少なくとも４つ）のピクセルが見つけられた場合には、線形回帰を行い、車線ポイントに適合するラインの勾配及び切片を求める。好ましくは、Ｒ²適合度の値を用いて、これらの点がライン上にほぼ位置するかどうかを判断し、そうである場合、結果として得られる一次方程式は車線位置の指標として用いられる。

左右両方の車線が良好なＲ²値によって識別された場合には、車線及び道路の位置が既知となる。中心点はこれらのラインの交点として計算される。２つの線のうちの一方しか見つからなかった場合には、第２の線は左右の車線の勾配間に存在する関係を知ることによって近似することができる。この関係は、２つの車線が存在する場合に収集されたデータ例を用いて実験的に求められた。道路の幅は一般に不変であるので、１つの車線の勾配及び切片は一般に他方の車線と関連しているとみなすことができる。従って、道路位置の妥当性のある近似値を片方の車線から求めることができる。道路中心及び車線位置が求められると、道路中心に対する識別物体の位置は分類を改善するのに用いることができる。更に、車線ラインマーカに対する物体の位置も同様に用いることができる。例えば、右車線の右側の物体は標識である可能性が高い。

場合によっては道路のラインマーカは識別されないことがある。これは、地方道路上のペイントの欠如、雪、塩、或いは他のノイズ源によって引き起こされる可能性があり、これらは、車線を不明確にし、又は説明されたアルゴリズムが車線を正確に識別することを困難にする。車線識別が途切れる期間においては、直前の車線マーカ識別からの中心を用いることができる。車線が長い時間期間識別されていない他の場合には、時間平均された平均中心位置を利用することができる。本発明は、車線は可視であることが多いことに起因して、従来のシステムよりも平均中心を算出することをより迅速且つ動的に可能とすることによって従来のシステムと比べて改善をもたらす。左右の車線が明確に検出される場合には、結果として得られる中心は、他の直近の計算からの中心と平均化される。平均中心は、車両が直進している場合にのみ計算する必要があり、この車両の直進は、車両のヨーレートセンサ、操舵センサ、又はコンパスにより、或いは検出された車線勾配の大きさがほぼ等しく符号が反対であり、従って直進走行を示すことを検証することから判断することができる。車線が存在しない場合には、時間平均値が較正画像中心点として用いられる。図８は、車線マーカを有する道路のカメラからの画像を示している。図９は、上述の方法を用いて車線マーカ上で選択されたピクセルを示している。

本発明の別の実施形態では、道路位置を求めるために道路の照度勾配が用いられる。図８に見られるように、車線ラインは、画像の中心を向いている。図１０では、雪に覆われた道路の画像が描かれており、可視の車線マーカは存在しない。しかしながら、道路及び中心点に向かって狭くなる道路の透視図を視覚的に見ることができる。この中心点は、照明勾配で見ることによってソフトウェアで識別される。画像の下側半分におけるピクセルの多くでは、ピクセル輝度はその隣接ピクセルに対してほとんど変化せず、直角方向でより急激に変化する方向が存在する。方向依存勾配計算フィルタは、この変化の大きさ及び方向を求めるために用いられる。例えば、以下のＳｏｂｅｌ演算子である。

ここでｆ_x,yは地点ｘ，ｙにおける画像ピクセルのピクセルグレースケール値であり、ｉ，ｊは、勾配を計算している現在のピクセルの位置である。

これらのベクトルから最大勾配の方向が計算される。このベクトルに対し直角の方向は道路中心を指すことになる。強い勾配を示すあらゆるピクセルについて、勾配に対して直角ベクトルの交点を計算することができる。この平均交点が道路中心を示す。

勾配を求めるために、Ｓｏｂｅｌ演算子以外の式を用いてもよい。調査ピクセルの隣接ピクセルを超えるピクセルを考慮することは特に有用である。

少なくとも１つの実施形態では、画像中心を求めるために検出物体の動きを考慮することができる。上記で引用した同一譲受人に譲渡された特許及び特許出願の幾つかにおいて説明されているように、検出物体を経時的に追跡し、その運動ベクトルを求めることができる。一般的に物体は画像中心から出て来る傾向がある。経時的に調査された幾つかの物体の運動ベクトルの交点を用いて、画像の平均中心点を計算することができる。幾つかの物体が存在する場合には、この中心点を迅速に計算することができる。

上述の方法のいずれも最良の結果を求めて組み合せることができる。当該技術分野において公知の他の方法をこれらの方法と組み合せてもよい。例えば、明確な車線が検出される場合には、これらの車線を用いて道路の位置及び中心を求めることができる。明確な車線が存在しないが強い勾配がある場合には、これらの勾配を用いることができる。明確な道路が識別されない場合、最近の画像からの道路の位置を用いることができる。最終的に長い時間期間にわたって道路が識別されなかった場合には、以前のサイクルから時間平均された画像の平均中心を用いることができる。

物体の分類は、運転時に記録された物体からの収集された手動識別されたサンプルの統計分析を用いて実行することができる。調査された物体の種々のパラメータは、ｘの位置、ｙの位置、輝度、色、幅、高さ、経年、ｘの動き、及びｙの動きを含むことができる。本発明では、ｘの位置及びｙの位置は、現在識別されている画像中心からの差分として表すことができる。パラメータは、市販のソフトウェアプログラムＭｉｎｉｔａｂのもの等の統計分析手法を用いて調査される。例えば、物体が外部ライトである確率に対してこれらのパラメータを関連付ける式を作成するために二項ロジスティック回帰を用いることができ、更に、物体がテールランプである確率を求めるために別の式を生成することができる。

パラメータのいずれかと物体が車両のライトである確率との間の線形関係は通常はないので、例示的なデータは様々なサブセットに分割することができる。サブセット内では、この関係をより線形にすることができる。画像中心にある物体を分析して、これらの物体を特徴付ける式を作成することができる。画像の様々な区分について別個の式を作成することができる。種々の車両速度又は種々の旋回状態について別個の式を作成することができる。旋回状態は、ヨーレート率、操舵センサ、コンパスに基づくことができ、又は道路識別から得ることができる。道路を明確に識別することができない状況から道路中心が明確に識別される状況については、別個の回帰式を作成することができる。例えば、道路が識別される場合には、位置に関する強い依存性を分類用に用いることができる。道路が識別されない場合には、位置情報は不確実であるので、位置に関する依存性の少ない回帰式と共に時間平均の平均画像中心の場所が利用される。引用の従来技術で説明されたようなデータ分析の他の方法を本発明の方法と併せて用いることもできる。本明細書で説明される道路識別のための本発明は、例えば、車線逸脱警報システムなど、外部ライト制御以外の用途で用いてもよい。

画像センサ及び画像処理システムは、自動車において安全で好都合な様々な機能を実行するために益々用いられている。かかる機能の実施例は、視界支援、ヘッドランプ制御、雨滴感知、車線逸脱警報、衝突回避、標識認識、及び適応走行制御を含む。用途に必要とされる視野が同じか又は重なり合う場合においては、これら又は他の機能のうちの１つよりも多い機能を実行するために単一のカメラを用いることが望ましい。単一のカメラは物理空間をあまり必要とされないので、複数の専用カメラを使用するよりも安価なものとすることができる。

複数の機能を実行するために単一のカメラを使用することは、最初は魅力的であるが、この目的を複雑にする幾つかの技術上並びに商業上の障害がある。上記に挙げた用途の多くは車両の実質的に前方視野を必要とするが、カメラの各要件は実質的に異なる。接近車両のヘッドランプ及び先行車両のテールランプを識別するヘッドランプ制御システムでは、３０°から５０°の視野、およそ５〜１０ピクセル／度の解像度、極めて高いシーン間ダイナミックレンジ（すなわち、単一画像内で広範な光レベルを感知する能力）、点光源における極めて正確な色測定、及びおよそ５フレーム／秒のフレームレートを必要とする。車線逸脱警報システムは、およそ２５°〜３５°の視野、５度／ピクセルを上回る解像度、日中及び夜間の変化する光レベルに適応するための広いシーン間ダイナミックレンジ、及びおよそ１０フレーム／秒のフレームレートを必要とする。標識認識システムは、より狭い視野ではあるが、２０度／ピクセルを上回る極めて高い解像度を必要とする。

複数の機能を実行するためには、プロセッサは、極めて異なる手法で画像を処理することが必要となる可能性がある。例えば、標識の読み取りは、ヘッドランプ又はテールランプの検出とは方法及び複雑さにおいて実質的に異なる。幾つかの用途では、連続するビデオ画像ストリームを分析することによって機能することができる。これとは対照的にヘッドランプ制御は、露出時間と画像ウィンドウとが急激に変わるためにイメージャを必要とする。他の箇所に引用により本明細書に組み込まれる特許及び特許出願において説明されているように、街灯は、強度のＡＣリップルを検出することによって、ヘッドランプと区別することができる。この検出は、４８０フレーム／秒のフレームレートで小ウィンドウを収集するイメージャを必要とする。街灯を分析した後、次のサイクルで完全なフィールド画像が収集される。

技術的障害に加えて、１つのカメラからの複数機能の実装を複雑にする商業上の障害がある。自動車製造業者は、個々の供給業者の専門技術に基づく異なる機能を提供するために異なる供給業者を利用することを好む可能性がある。各供給業者によって開発された画像処理ソフトウェア及び方法は、各々が特定の機能に最適化された広範な計算ハードウェアを利用している可能性が高い。１つの処理プラットフォーム上に幾つかの機能を実装することは技術的には考えられるが、実施することは極めて困難であるか、或いは不可能である可能性が高い。従って、単一のカメラを用いて実行されことになる幾つかの異なる機能を可能にするには、用途の一部が適切に動作するのに必要とされる画像感知制御の柔軟性を維持しながら、各用途に提供される様々な処理プラットフォームに画像データを提供することが必要である。

本発明は、他の用途に対して連続した標準ビデオストリームを提供しながら、様々な画像収集パラメータを可能にする画像処理システムの１つ又はそれ以上によって制御することができるカメラを提供する。

本発明の実施形態例を図６に示す。この実施例では、画像センサ６０１はプロセッサ６０２によって制御される。画像センサ制御パラメータ並びに画像データの通信は、通信バス６０３上で行われ、この通信バス６０３は双方向シリアルバス、パラレルバス、この両方の組み合せ、又は他の適切な手段とすることができる。プロセッサ６０２は、カメラ６０１からの画像を分析し、これらの画像に基づいてヘッドランプ状態を判断し、更にＣＡＮバス又は他のあらゆる適切な通信リンクとすることができるバス６０４を通じてヘッドランプ制御モジュール６０５に対して判断されたヘッドライト状態を伝達することによって、ヘッドランプ制御機能を実行する役割を果たす。

本明細書で上述したように、ヘッドランプ制御機能は、画像センサが異なる露出時間及び異なる読み出しウィンドウを有する幾つかの異なるモードで起動することを必要とする。この複雑さにより、プロセッサ６０２はヘッドランプ制御機能の実行と画像センサ６０１のパラメータ制御の両方を行うように選択される。上記に挙げたような他の機能は、ヘッドランプ制御機能によって必要とされる直接画像センサ制御の必要なしに画像センサ６０１から画像データを受けとることができる。従って、画像センサ６０１からの画像データは、プロセッサ６０２から画像データリンク６０７を通じて１つ又はそれ以上の他のプロセッサ（６０８、６０９、及び６１０で示している）に通信することができる。画像データリンクは、ＭＯＳＴバス、高速ＣＡＮバス、又は他のあらゆる適切な電子データ通信スキームとすることができる。通信は、一方向又は双方向とすることができる。双方向の場合には、必要に応じて画像収集パラメータを修正するために追加のプロセッサがプロセッサ６０２と通信することができる。好ましい実施形態では、画像データリンク６０７は、同一譲受人に譲渡された米国特許出願公開第２００５０１３５４６５号に説明されているように実装され、その全開示事項は引用により本明細書に組み込まれる。

ヘッドランプ制御機能の実行中、プロセッサ１は、１つ又はそれ以上の露出時間での全視野の画像を要求することになる。次いで、これらの画像はヘッドランプ制御機能用に処理される。処理と同時に、これらの画像は画像データリンク６０７を介して他のプロセッサに送信されることになる。プロセッサ６０２は、伝送の前にフィルタリング、ダイナミックレンジ圧縮、又は色計算等の何らかの前処理を実行することができる。画像データに加えて、画像を取得するために用いられる収集パラメータが他の用途のうちの１つによって必要とされる場合には、この情報を送信することができる。画像データを受け取ると、他のプロセッサは、プロセッサ６０２から独立してこれらのデータを分析し、必要とされる機能を実行することができる。ヘッドランプ制御機能用だけに必要とされる追加画像は、他のプロセッサに画像を伝送する間に収集することができる。

日中又は無効時等、ヘッドランプ制御機能が作動していない状態の間でも、プロセッサ６０２は、画像の収集、画像の前処理、及びこれらの画像を他のプロセッサに伝送することを行うことが依然として可能である。プロセッサ６０２はまた、現在の照明条件における適切な画像パラメータを求める自動露出制御を実行することができる。或いは、プロセッサ６０２は、他のプロセッサのうちの１つから命令を受け取り、露出時間又は他のパラメータを調節することができる。場合によっては、１つの機能からの出力を用いて、別の機能の性能を補完することができる。例えば、ヘッドランプ制御機能は、車線逸脱警報システムによって検出された道路車線の位置を用いて道路位置に対する光源の位置を求めることを可能にすることができる。この場合、画像データ以外のデータもまた、画像データリンク６０７を介して機能間で計算することができる。

第１の実施形態では、プロセッサ６０２は「マスター」プロセッサとしての役割を果たし、他のプロセッサはマスターから情報を受け取る役割を果たす。図７に示す別の実施形態では、専用画像コントローラ７０４が備えられ、これは、画像センサ７０１を制御する役割を果たし、更に、自動露出、ダイナミックレンジ圧縮、フィルタリング、又は色計算等の前処理を実行する役割を果たすことができる。次に画像データは、データリンク７０７を介してプロセッサの各々に伝送される。プロセッサ７０２はこの場合も同様に、ヘッドランプ制御機能を実行する役割を果たすが、カメラを直接制御するのではなく、画像コントローラ７０４に画像を要求する。１つ又はそれ以上の追加プロセッサ７０８及び７０９はまた、画像コントローラ７０４に特定の画像データを要求することができ、又は単に一定の時間間隔で画像データを受け取ることができる。画像コントローラ７０４は、全てのプロセッサに画像データの規則的な出力を供給しながら、複数のプロセッサからの画像要求を管理する。画像コントローラ７０４は画像センサ７０１と一体化して備えることができ、場合によっては画像センサと同じシリコンチップ上にモノリシックに集積化することが想定される。

本明細書で説明している両方の実施形態では、画像センサ７０１は、車両のリアビューミラーのマウント上に配置することができる。ミラーマウント上にカメラを配置することには幾つかの利点がある。すなわち、ミラーマウントは剛直で据え置きであり、通常、車両のフロントガラスのワイパー経路内に配置され、ミラーが既に取り付けられているために工場組み込みが簡素化される。カメラは、ミラーとは独立して置くこともできるが、その結果、工場組み込み段階を追加することが必要となる。

画像センサ７０１の位置とは関係なく、プロセッサ７０２（或いは代替的に画像コントローラ７０４）は、同じ又は別個の回路基板上に画像センサ７０１と共に配置することができる。これらのプロセッサはまた、リアビューミラー本体内に配置することもでき、コンパスセンサ又は自動防眩リアビューミラー制御等の他の機能を実行する役割を果たすことができる。これらのプロセッサはまた、ヘッドライナー、オーバーヘッドコンソール、又は車両内の他の適切な位置に配置することもできる。

ここで図１１を参照すると、左車線ライン１１０５、中央車線ライン１１１０、及び右車線ライン１１１５を含む車道の画像が示されている。好ましい実施形態では、関連する画像センサの感度は、車線ラインが無い画像範囲内区分が所与のピクセルから得ることができるフルスケール値のおよそ２０パーセントの相関ピクセル値を生じるように設定されるが、感度は、３０パーセント、４０パーセント、５０パーセント、又は他のどのような望ましい値を生じるように設定してもよい点を理解されたい。最も好ましい感度設定は、フルスケールよりも少ない値を有する車線マークキングを実際に検出する（すなわち色落ちしない）ピクセルを生じることになる。

図１２は、図１１の画像の代表的な行のピクセル値のグラフを示している。左車線ライン１２０５、中央車線ライン１２１０、及び右車線ライン１２１５は、関連するピクセルにおいて高い値を誘起している。画像の各行における所与の車線ラインのエッジに対応するピクセルを識別することが望ましい。好ましい実施形態では、図１２に示す値から１次導関数が取られ、左車線ラインの結果を１次導関数１３０５として図１３に示す。図１２の値の１次導関数を取ることによって、未処理のピクセル値に付随するノイズの「閾値処理による除去」が得られる。更に好ましい実施形態では、２次導関数１４０５が算出され、図１４に示すグラフが得られる。２次導関数は、点１４０６と点１４０７との間で正から負への移行が車線ラインの第１のエッジを示し、更に点１４０９と１４０８との間で負から正への移行が車線ラインの第２のエッジを示していることを明らかにしている。２次導関数を取ることによって、分析中のピクセル値の所与の行に関連する変曲点が識別されることになる。図１５は、正から負への移行１５０５の分解図を示し、点１５０６は第１のピクセルに対応し、点１５０７は第２のピクセルに対応しており、これらの値の内挿により関連する車線ラインのエッジについて正確な位置１５０８が求められることになる。同様の分析を実行して、関連する画像内の各車線ラインの各エッジを正確に特定することができる点を理解されたい。

次に図１６を参照すると、第１の特徴部１６０５、第２の特徴部１６１０、及び第３の特徴部１６１５を含む変換画像が示されている。理想的な状況では、これらの３つの特徴部は、原画像の左、中央、及び右の車線ラインに相当することになり、原画像のピクセル値と比較して、付随するノイズが除去又は低減されている。

好ましい実施形態では、図１６の値は、対応する左ライン１７０５、中央ライン１７１０、及び右ライン１７１５の「平面図」を得るために転置される。図１８に示すように、被制御車両を示す矩形１８２０は、水平ライン１８２５と組み合せられ、被制御車両が適切な車線から逸脱していないかどうかを判断するのに用いられる。車両が右車線を走行していると仮定すると、判断は、ライン１８１０又は１８１５のいずれかと水平ライン１８２５及び／又は矩形１８２０との交差を検査することで行われる。車両が左車線を走行していると仮定すると、判断は、ライン１８０５又は１８１０のいずれかと水平ライン１８２５及び／又は矩形１８２０との交差を検査することで行われる。関連するラインのいずれかは、水平ライン１８２５及び／又は矩形１８２０と交差していることが判明した場合には、被制御車両の室内で可聴及び／又は可視警報を起動し、運転者に車線逸脱を警報することができる。少なくとも１つの対応する画像センサ及び／又は少なくとも１つのプロセッサと共に適切な可聴及び／又は可視警報装置をリアビュー組立体に組み込むことができる点を理解されたい。所与のプロセッサ及び／又は画像センサの出力は、当初の機器製品に供給され、運転者の見える範囲又は聞こえる範囲内の車両内のいずれかの場所で可聴及び／又は可視警報を起動するようにできる点も理解されたい。上述の車線検出アルゴリズムの結果として、自動操舵が作動するように構成することができる点も理解されたい。車両操舵において被制御車両をある方向に誘導するように「促す」ことができ、運転者は、車線逸脱検出が無い車両を操舵するのに必要な力よりも若干強い力でこれに打ち勝つことができる。

図１９を参照すると、連続して収集された３つの画像を参照して車線逸脱検出アルゴリズムを説明している。実線グラフで示した第１の画像は、左車線ライン１９０５ａ、中央車線ライン１９１０ａ、右車線ライン１９１５ａ、及び被制御車両１９２０ａを含む。点線グラフで示した第２の画像は、左車線ライン１９０５ｂ、中央車線ライン１９１０ｂ、右車線ライン１９１５ｂ、及び被制御車両１９２０ｂを含む。破線グラフで示した第３の画像は、左車線ライン１９０５ｃ、中央車線ライン１９１０ｃ、右車線ライン１９１５ｃ、及び被制御車両１９２０ｃを含む。好ましい実施形態では、被制御車両のヨーレートセンサ入力及び／又は被制御車両の速度入力が一連の連続的に収集された画像と組み合わされ、被制御車両が所与の車線ラインを横切った時点又は横切ろうとしている時点を判断する。上記の実施形態に関して説明したように、被制御車両が右車線又は左車線のいずれかを走行している仮定に応じて異なる車線ラインが分析される。好ましい実施形態では、被制御車両の速度、被制御車両のヨーレート、及び連続して収集された画像を組み合せて、車線逸脱を予測する。好ましい実施形態では、車線逸脱が差し迫ると、可聴及び／又は可視警報が起動される。少なくとも１つの実施形態では、被制御車両の操舵が上述のように行われる。

少なくとも１つの実施形態では、所与の「特徴部」が実際に関心のある車線ラインであるか又は非車線ラインノイズであるかを判断する際に、少なくとも１つの予測ライン幅を利用するものとする。例えば、被制御車両からの所与の距離において予測ライン幅は実際のライン幅と比較することができ、このアルゴリズムは、実際の幅と比較した予測幅の差分に基づいてサブルーチン内の特定のサブルーチンを実行することになる。少なくとも１つの実施形態では、画像センサ組立体は、被制御車両からおよそ１０メートルにおける予測ライン幅がおよそ４ピクセル幅であるように構成されるが、およそ１０メートルにおいては３から４ピクセル幅が好ましいことを理解されたい。少なくとも１つの実施形態では、予測車線ライン幅は、２５メートルにおいて１ピクセルよりも大きい。ライン幅は、本明細書の他の箇所で説明しているように求めることができる。少なくとも１つの実施形態では、予測車線ラインピクセル幅、予測車線ライン、これらの部分組み合せ又は組み合せは、被制御車両の位置に対する所与の特徴部の位置を固定するのに利用される。車線ラインである所与の特徴部の特徴付けは、地理依存予測データから推測することができる点を理解されたい。例えば、被制御車両に組み込まれた地理測位システム（ＧＰＳ）に基づいて自動的に選択された地理データに依存する車線ライン幅のルックアップテーブルを有する等である。第１の特徴部の結果に基づく第２の特徴部の推測における車線幅はまた、地理依存のルックアップテーブル内に記憶することができる点は明らかであろう。車道に沿って一定間隔で計画的に配置された磁石又は磁気材料等の道路依存システムは、これらがより利用可能になれば組み込むことができることは理解されたい。ＧＰＳデータがより正確で信頼できるものになると、これらの情報は、被制御車両が走行している環境に関する地理依存の経験データとの組み合せて用いることができる。地理依存で且つ視覚依存のシステムは、個々に用いられる技術の性能を高めるように構成することができる。

少なくとも１つの実施形態では、１つ又は複数の所与の画像において識別されない別の特徴部は、少なくとも１つの他の特徴部が所与の画像又は直近の画像において見出されていたことによって、予測特徴部により推測することができる。少なくとも１つの実施形態では、このシステムは、かかる車線ラインが互いに予め設定された距離にあることが予想され、従って第２の車線ラインの位置が第１の車線ラインの位置の検出から推測することができるように構成される。少なくとも部分的に雪で覆われた道路、少なくとも部分的に濡れた道路、少なくとも部分的に陰になった道路、車線ライン以外の道路マーキング、タール帯、他のタイヤのスリップ痕、道路にペイントされた矢印及び同様のもの、並びに工事マーキング等の多くの妨害状況を予想することができる。少なくとも１つの実施形態では、様々な予想される「特徴部の特性」は、妨害物から実際の車線ラインを区別するのに利用される。本明細書で教示される技術の多くは、この目的において有用である。

少なくとも１つの実施形態では、少なくとも１つの画像から抽出されたピクセル値は、原画像内で一連のサブウィンドウを定義する複数のセルに分割される。続いて、これらの個々のセルが分析され、各々の範囲内で車線マーカを識別する。次に、個々のセルから抽出された特徴部は、道路モデルに再構築される。セルを利用する１つの利点は、例えば、建築物、樹木、橋梁、及び同様のものから車道上に落ちる影に起因するシーン内の変動に対処することである。更に、所与の画像内の舗装及び／又は道路表面の変動に対処することができる。一例として、画像は一連の３×３のセルに分割することができる。或いは、画像は２列、２行、４列、４行、これらのあらゆる部分組み合せ又は組み合せに分割してもよいことを理解されたい。本発明の精神の範囲内でより多くのセルを用いることができる。

完全な画像又はセルが分析中であるかどうかによらず、少なくとも１つの実施形態においては、分析は、所与の行をわたる２、３、４、５、又はそれ以上のピクセル値の移動平均を計算することで始まる。分析のこの段階は、追跡中の分析において変曲の局所ポイントを排除することになる。少なくとも１つの実施形態では、全体の行平均を下回る所与の行のあらゆるピクセル値には、この行平均に等しい値が割り当てられる。この手順は、結果として得られるデータ内のコントラストを低減する。少なくとも１つの実施形態では、１次導関数がその行全体にわたって計算される。少なくとも１つの実施形態では、１次導関数の計算に続いて、１次導関数の値の群を利用して、平均及び／又は中間範囲を計算する。次に、少なくとも１つの実施形態では、平滑化された１次導関数データを用いて、２次導関数を計算する。少なくとも１つの実施形態では、２次導関数データを用いて、関連する立ち上がり及び立ち下がりエッジを識別することによって車線マーカを識別する。少なくとも１つの実施形態では、上記分析は、濡れた車道表面、他の自動車及び／又は車道照明から部分的に照明される車道表面上の車線マーカを正確に検出するのに用いられる。

少なくとも１つの実施形態では、所与の行又はデータ内のピクセルのグループが、例えば車線マーカに対して予想されるはずのもの以上に「広幅」の高輝度スポットを示すと判断する場合には、広幅の高輝度スポットによって定義される列に関連するデータは、分析において無視される。この分析は、夜間又は暗状態又は降雨状態の接近車両からの照明の処理に特に好適である。

少なくとも１つの実施形態では、車線マーカを検出するために一連の画像が分析される。車線マーカが１つの画像及び再度次の画像に存在すると判断される場合には、カウンタがインクリメントされる。車線マーカが後続の画像で検出されない場合には、カウンタはデクリメントされる。カウンタが予め設定された閾値数に達すると、車線マーカの存在が確認されたものと判断される。この分析は、車線マークの検出に関して高度の確実性を与える。

少なくとも１つの実施形態では、画像からの未処理データは、最初に平均化され、平均を下回るピクセル値には平均値が割り当てられる。続いて、１次導関数が算出される。このデータのヒストグラムを利用する閾値関数が導出され、次いで重み付けされる。次に、ヒストグラムのうちの０．３３を下回るヒストグラム値は無視され、これらの値にはゼロ値が割り当てられる。次いで、２次導関数が算出される。最終的に、２次導関数の変曲点を利用して、ゼロ交差値を内挿する。

上記の説明及び添付図は例示の目的のものであり、図示し説明された特定の実施形態に本発明を限定するものと解釈すべきではない点を理解されたい。添付の請求項は、均等論並びに適用可能な特許法及び規則の範囲内で全ての均等物を含むと解釈されるもものとする。

被制御車両の平面図である。 外部リアビューミラー組立体の分解斜視図である。 内部リアビューミラー組立体の斜視図である。 画像センサの断面外形図である。 画像センサの断面外形図である。 車両機器制御システムのブロック図である。 車両機器制御システムのブロック図である。 被制御車両のほぼ前方のシーンの実画像である。 図８に示す画像から特徴部を抽出した結果を示す図である。 被制御車両のほぼ前方のシーンの実画像である。 車線マーカを有する車道の図面である。 図１１の図面の画像から生じることになるある行のピクセルデータのグラフである。 図１２の車線マーカのうちの１つの１次導関数のグラフである。 図１３の２次導関数のグラフである。 図１４のグラフのあるセクションの分解図である。 図１３に示す図面において識別される特徴部の図である。 図１３に示す図面から作成された道路モデルの図である。 図１３に示す図面から作成した道路モデルに被制御車両を重ね合わせた図である。 各々が被制御車両を重ね合わせた図１３に示すのと同様の一連の図面から作成した一連の道路モデルの図である。

Claims (26)

1. 少なくとも１つの画像センサと、
   前記少なくとも１つの画像センサから少なくとも１つの画像の少なくとも一部分を受け取るように構成された少なくとも１つのプロセッサと、
   を備え、前記少なくとも１つの画像センサの照準は前記少なくとも１つの画像の関数であり、それによって、前記プロセッサが前記受け取った少なくとも１つの画像の少なくとも一部分のピクセルデータの１次導関数を取り、前記ピクセルデータを閾値処理し、前記閾値処理されたピクセルデータの２次導関数を取るように構成されており、
   前記プロセッサは更に、少なくとも１つの画像の少なくとも一部分から抽出される少なくとも１つの特徴部の関数として少なくとも１つの車両機器制御信号を発生させるように構成されている、
   ことを特徴とする装置。
2. 少なくとも１つの車線マーカを検出するように構成された請求項１に記載の装置。
3. 前記画像センサの照準が前記少なくとも１つの車線マーカの関数であることを特徴とする請求項２に記載の装置。
4. 固定ハウジングを備えるリアビューミラー組立体として構成された請求項１に記載の装置であって、前記固定ハウジングが、
   第２のイメージャセンサ、自動外部ライト制御モジュール、湿気センサモジュール、コンパスセンサ、コンパス、スピーカ、マイクロフォン、フロントガラスワイパー自動制御装置、デジタル信号プロセッサ、自動デフォッガ制御装置、衝突回避制御装置、車線逸脱警報モジュール、電気光学ミラー要素制御モジュール、補助照明器モジュール、光センサ、及び第２のプロセッサから構成されるグループから選択される少なくとも１つのデバイスを備える、
   ことを特徴とする請求項１に記載の装置。
5. リアビューミラー組立体として構成された請求項１に記載の装置であって、前記リアビューミラー組立体が、
   イメージャ、自動外部ライト制御モジュール、湿気センサモジュール、コンパスセンサ、コンパス、スピーカ、マイクロフォン、フロントガラスワイパー自動制御装置、デジタル信号プロセッサ、自動デフォッガ制御装置、衝突回避制御装置、車線逸脱警報モジュール、電気光学ミラー要素制御モジュール、補助照明器モジュール、光センサ、及び第２のプロセッサから構成されるグループから選択される少なくとも１つのデバイスを備える、ことを特徴とする請求項１に記載の装置。
6. 自動外部ライト制御システム、湿気感知システム、フロントガラスワイパー制御装置、デフロスター制御装置、デフォッガ制御装置、車線維持システム、車線逸脱警報システム、セキュリティシステム、視野システム、適応走行制御システム、駐車支援システム、死角警報システム、日射感知システム、晴天検出システム、トンネル検出システム、昼間走行ライト制御システム、エアバッグ作動化システム、後方視界システム、乗員検出システム、監視システム、衝突回避システム、事故再現システム、及び画像収集システムから選択されるグループの中の少なくとも１つとして機能するように構成された請求項１に記載の装置。
7. 少なくとも１つの画像センサと、
   前記少なくとも１つの画像センサから少なくとも１つの画像の少なくとも一部分を受け取るように構成された第１のプロセッサと、
   を備え、前記少なくとも１つの画像センサの照準が前記少なくとも１つの画像の少なくとも一部分の関数であり、それによって、前記第１のプロセッサが前記受け取った少なくとも１つの画像の少なくとも一部分のピクセルデータの１次導関数を取り、前記ピクセルデータを閾値処理し、前記閾値処理されたピクセルデータの２次導関数を取るように構成されており、
   更に、少なくとも１つの画像の少なくとも一部分の関数として少なくとも１つの車両機器制御信号を発生させるように構成された第２のプロセッサを備える、
   ことを特徴とする装置。
8. 少なくとも１つの車線マーカを検出するように構成された請求項７に記載の装置。
9. 前記画像センサの照準が、前記少なくとも１つの車線マーカの関数であることを特徴とする請求項８に記載の装置。
10. 固定ハウジングを備えるリアビューミラー組立体として構成された請求項１に記載の装置であって、前記固定ハウジングが、
    第２の画像センサ、自動外部ライト制御モジュール、湿気センサモジュール、コンパスセンサ、コンパス、スピーカ、マイクロフォン、フロントガラスワイパー自動制御装置、デジタル信号プロセッサ、自動デフォッガ制御装置、衝突回避制御装置、車線逸脱警報モジュール、電気光学ミラー要素制御モジュール、補助照明器モジュール、光センサ、及び第３のプロセッサから構成されるグループから選択される少なくとも１つのデバイスを備える、
    ことを特徴とする請求項７に記載の装置。
11. リアビューミラー組立体として構成された請求項１に記載の装置であって、前記リアビューミラー組立体が、
    イメージャ、自動外部ライト制御モジュール、湿気センサモジュール、コンパスセンサ、コンパス、スピーカ、マイクロフォン、フロントガラスワイパー自動制御装置、デジタル信号プロセッサ、自動デフォッガ制御装置、衝突回避制御装置、車線逸脱警報モジュール、電気光学ミラー要素制御モジュール、補助照明器モジュール、光センサ、及び第３のプロセッサから構成されるグループから選択される少なくとも１つのデバイスを備える、ことを特徴とする請求項７に記載の装置。
12. 自動外部ライト制御システム、湿気感知システム、フロントガラスワイパー制御装置、デフロスター制御装置、デフォッガ制御装置、車線維持システム、車線逸脱警報システム、セキュリティシステム、視野システム、適応走行制御システム、駐車支援システム、死角警報システム、日射感知システム、晴天検出システム、トンネル検出システム、昼間走行ライト制御システム、エアバッグ作動化システム、後方視界システム、乗員検出システム、監視システム、衝突回避システム、事故再現システム、及び画像収集システムから選択されるグループの中の少なくとも１つとして機能するように構成された請求項７に記載の装置。
13. 少なくとも１つの画像センサと、
    前記少なくとも１つの画像センサから少なくとも１つの画像の少なくとも一部分を受け取るように構成された少なくとも１つのプロセッサと、
    を備え、前記少なくとも１つの画像センサの照準は前記少なくとも１つの画像の関数であり、それによって、前記第１のプロセッサが前記受け取った少なくとも１つの画像の少なくとも一部分のピクセルデータの１次導関数を取り、前記ピクセルデータを閾値処理し、前記閾値処理されたピクセルデータの２次導関数を取るように構成されており、
    前記プロセッサは更に、少なくとも１つの画像の少なくとも一部分の関数として少なくとも１つの車線マーカを検出するように構成されている、
    ことを特徴とする装置。
14. 前記画像センサの照準が前記少なくとも１つ車線マーカの関数であることを特徴とする請求項１３に記載の装置。
15. 固定ハウジングを備えるリアビューミラー組立体として構成された請求項１に記載の装置であって、前記固定ハウジングが、
    イメージャ、自動外部ライト制御モジュール、湿気センサモジュール、コンパスセンサ、コンパス、スピーカ、マイクロフォン、フロントガラスワイパー自動制御装置、デジタル信号プロセッサ、自動デフォッガ制御装置、衝突回避制御装置、車線逸脱警報モジュール、電気光学ミラー要素制御モジュール、補助照明器モジュール、光センサ、及びプロセッサから構成されるグループから選択される少なくとも１つのデバイスを備える、
    ことを特徴とする請求項１３に記載の装置。
16. リアビューミラー組立体として構成された請求項１に記載の装置であって、前記リアビューミラー組立体が、
    イメージャ、自動外部ライト制御モジュール、湿気センサモジュール、コンパスセンサ、コンパス、スピーカ、マイクロフォン、フロントガラスワイパー自動制御装置、デジタル信号プロセッサ、自動デフォッガ制御装置、衝突回避制御装置、車線逸脱警報モジュール、電気光学ミラー要素制御モジュール、補助照明器モジュール、光センサ、及びプロセッサから構成されるグループから選択される少なくとも１つのデバイスを備える、
    ことを特徴とする請求項１３に記載の装置。
17. 自動外部ライト制御システム、湿気感知システム、フロントガラスワイパー制御装置、デフロスター制御装置、デフォッガ制御装置、車線維持システム、車線逸脱警報システム、セキュリティシステム、視野システム、適応走行制御システム、駐車支援システム、死角警報システム、日射感知システム、晴天検出システム、トンネル検出システム、昼間走行ライト制御システム、エアバッグ作動化システム、後方視界システム、乗員検出システム、監視システム、衝突回避システム、事故再現システム、及び画像収集システムから選択されるグループの中の少なくとも１つとして機能するように構成された請求項１３に記載の装置。
18. 少なくとも１つの画像センサと、
    前記少なくとも１つの画像センサの少なくとも一部分から少なくとも１つの画像の少なくとも一部分を受け取るように構成された少なくとも１つのプロセッサと、
    を備え、
    前記少なくとも１つの画像センサの照準が前記少なくとも１つの画像の少なくとも一部分の関数であり、
    前記プロセッサが、
    前記少なくとも１つの画像の少なくとも一部分の少なくとも１つの行の平均を計算し、 前記平均を下回るあらゆるピクセル値に前記平均値を割り当て、
    前記ピクセル値の１次導関数を取り、
    ヒストグラム分析を介して前記ピクセル値を閾値処理し、
    更に閾値処理されたピクセル値の２次導関数を取る、
    ように構成されていることを特徴とする装置。
19. 固定ハウジングを備えるリアビューミラー組立体として構成された請求項１に記載の装置であって、前記固定ハウジングが、
    イメージャ、自動外部ライト制御モジュール、湿気センサモジュール、コンパスセンサ、コンパス、スピーカ、マイクロフォン、フロントガラスワイパー自動制御装置、デジタル信号プロセッサ、自動デフォッガ制御装置、衝突回避制御装置、車線逸脱警報モジュール、電気光学ミラー要素制御モジュール、補助照明器モジュール、光センサ、及びプロセッサから構成されるグループから選択される少なくとも１つのデバイスを備える、
    ことを特徴とする請求項１８に記載の装置。
20. リアビューミラー組立体として構成された請求項１に記載の装置であって、前記リアビューミラー組立体が、
    イメージャ、自動外部ライト制御モジュール、湿気センサモジュール、コンパスセンサ、コンパス、スピーカ、マイクロフォン、フロントガラスワイパー自動制御装置、デジタル信号プロセッサ、自動デフォッガ制御装置、衝突回避制御装置、車線逸脱警報モジュール、電気光学ミラー要素制御モジュール、補助照明器モジュール、光センサ、及びプロセッサから構成されるグループから選択される少なくとも１つのデバイスを備える、
    ことを特徴とする請求項１８に記載の装置。
21. 自動外部ライト制御システム、湿気感知システム、フロントガラスワイパー制御装置、デフロスター制御装置、デフォッガ制御装置、車線維持システム、車線逸脱警報システム、セキュリティシステム、視野システム、適応走行制御システム、駐車支援システム、死角警報システム、日射感知システム、晴天検出システム、トンネル検出システム、昼間走行ライト制御システム、エアバッグ作動化システム、後方視界システム、乗員検出システム、監視システム、衝突回避システム、事故再現システム、及び画像収集システムから選択されるグループの中の少なくとも１つとして機能するように構成された請求項１８に記載の装置。
22. 少なくとも１つの画像センサと、
    前記少なくとも１つの画像センサから少なくとも１つの画像の少なくとも一部分を受け取るように構成された第１のプロセッサと、
    を備え、前記画像センサの照準が前記少なくとも１つの画像の関数であり、それによって、前記第１のプロセッサが前記受け取った少なくとも１つの画像の少なくとも一部分のピクセルデータの１次導関数を取り、前記ピクセルデータを閾値処理し、前記閾値処理されたピクセルデータの２次導関数を取るように構成されており、
    更に、少なくとも１つの画像の少なくとも一部分の関数として少なくとも１つの車線マーカを検出するように構成された第２のプロセッサを備える、
    ことを特徴とする装置。
23. 前記画像センサの照準が前記少なくとも１つの車線マーカの関数であることを特徴とする請求項２２に記載の装置。
24. 固定ハウジングを備えるリアビューミラー組立体として構成された請求項１に記載の装置であって、前記固定ハウジングが、
    イメージャ、自動外部ライト制御モジュール、湿気センサモジュール、コンパスセンサ、コンパス、スピーカ、マイクロフォン、フロントガラスワイパー自動制御装置、デジタル信号プロセッサ、自動デフォッガ制御装置、衝突回避制御装置、車線逸脱警報モジュール、電気光学ミラー要素制御モジュール、補助照明器モジュール、光センサ、及びプロセッサから構成されるグループから選択される少なくとも１つのデバイスを備える、
    ことを特徴とする請求項２２に記載の装置。
25. リアビューミラー組立体として構成された請求項１に記載の装置であって、前記リアビューミラー組立体が、
    イメージャ、自動外部ライト制御モジュール、湿気センサモジュール、コンパスセンサ、コンパス、スピーカ、マイクロフォン、フロントガラスワイパー自動制御装置、デジタル信号プロセッサ、自動デフォッガ制御装置、衝突回避制御装置、車線逸脱警報モジュール、電気光学ミラー要素制御モジュール、補助照明器モジュール、光センサ、及びプロセッサから構成されるグループから選択される少なくとも１つのデバイスを備える、
    ことを特徴とする請求項２２に記載の装置。
26. 自動外部ライト制御システム、湿気感知システム、フロントガラスワイパー制御装置、デフロスター制御装置、デフォッガ制御装置、車線維持システム、車線逸脱警報システム、セキュリティシステム、視野システム、適応走行制御システム、駐車支援システム、死角警報システム、日射感知システム、晴天検出システム、トンネル検出システム、昼間走行ライト制御システム、エアバッグ作動化システム、後方視界システム、乗員検出システム、監視システム、衝突回避システム、事故再現システム、及び画像収集システムから選択されるグループの中の少なくとも１つとして機能するように構成された請求項２２に記載の装置。

Images