JP4993322B2 - 車両周辺にある光点のカメラによる識別及び分類 - Google Patents

Description

本発明は、例えば車道を際立たせるため道路の縁に埋込まれる反射体及び車両周辺においてカメラセンサシステムによる車両発光体を識別する方法に関する。このような方法は、例えば自動車前照灯の自動的な遠距離灯制御のために使用可能である。

光センサに基く自動的な電灯制御は、ドイツ連邦共和国特許第１９８２０３４８号明細書に記載されている。そのため自動車に高感度光センサが設けられて、走行方向前方へ向けられている。向かってくる車両の前照灯の光は、自動車が近づく時光センサに当たり、遠距離灯が消灯される。向かって来る車両が自己の車両を通過して、光センサの検出範囲外にあると、光の十分小さい強度が再び検出され、遠距離灯が再び点灯される。

この非常に簡単な方法では、光の強度が測定されるだけで、光源即ち周囲光、反射体、交通標識、車両の前照灯、街路灯などの種類は測定されない。これは照明制御の誤動作の原因となる。

従って本発明の課題は、反射体特に道路の縁において車道を際立たせるために使用されるような反射体、及びカメラセンサシステムにより車両発光体を識別するための確実な方法を提示することである。

本発明によればこの課題は、独立請求項に記載の方法によって解決される。有利な展開は従属請求項からわかる。

車両周辺にある光点をカメラセンサにより識別する方法が提示される。照射される静止反射体特に静止反射体、交通標識等用の少なくとも１つの第１の区分と、車両発光体用の少なくとも１つの第２の区分が設けられる。カメラセンサにより車両周辺の画像例が撮影される。１つ又は複数の光点が存在すると、画像列にある少なくとも１つの光点が追跡される。追跡される光点の強度が少なくとも２つの画像において求められ、かつ強度の変動が分析される。比較して高い方の時間的強度変動を持つ光点が車両発光体として分類され、比較して低い方の時間的強度変動を持つ光点が反射体として分類される。

ここでは任意の形状の光る物体が光点と称される。本発明の好ましい構成では、反射体または車両発光体の形状（円形、四角形等）に相当する形状が考慮される。

本発明の有利な構成では、追跡される光点の時間的強度変動を分析するため、分散又は標準偏差または偏移が計算される。本発明による方法の特別な構成では、浮動平均値に関して強度の分散または標準偏差が計算される。この処置は有利である。なぜならば、光点の強度は、カメラセンサを持つ可動車両では大抵の場合連続的に変化する距離に関係しているからである。

その代りに本発明の特別な構成において、平均値のモデル化された推移に関して分散または平均値が計算される。モデル化された推移は、例えば今までの測定値の直線又は多角形補間である。

本発明の有利な構成では、画像における光点の強度の推移が分析される。例えば間隔に関係する強度がそのために利用される。反射体では、強度は１／ｘ^４に比例する。ここでｘは反射体と車両との間隔である。これに反し能動光源では、間隔に関係する強度は１／ｘ^２に比例する。光点の距離評価はカメラで行われる。

方法の別の構成は、第１の閾値より上の強度を持つ光点を車両電灯と認識し、第２の閾値より下の強度を持つ光点を反射体として認識する。この構成の背後には、向って来る車両の前照灯は、自己の車両の前照灯の光を反射する反射体より明るく画像に写される、という基本思想が隠されている。従って上の閾値より上の強度を持つ光点は、明らかに前照灯によって生じる。下の閾値についても同様に論ずることができる。

本発明による方法の有利な構成では、少なくとも１つの光点の運動が画像において分析される。静止している物体の予想される運動は、例えば速度測定器又はヨーレイト測定器により求められる車両の自己運動から求めることができる。追跡される光点の運動が静止している光点に対して予想される運動とは相違していると、光点は動いているものとして分類される。本発明の別の構成では、光点の属する間隔が求められる。そのためセンサが車両に設けられて、カメラを備えた車両に対する少なくとも１つの光点の距離を求める。

本発明の別の構成では、車両の縦揺れ角が求められる。光点の運動分析の際、自己車両の縦揺れ運動により生じる障害が抽出される。光源の運動方向を評価する際、縦揺れ運動は前述したように一般には考慮されない。なぜならば、それはセンサにより直ちには測定されないからである。本発明の有利な構成では、縦揺れ運動は、車両周辺からの画像データの分析を介して間接に求められる。

実施例及び図面により本発明がいかに説明される。

所定の強度範囲内で向って来る前照灯（上）及び反射体（下）の強度１に関して記入される強度変動Ｓを示す。 反射体及び車両発光体の強度の概略的な頻度分布を示す。 縦揺れ運動を示す。 方法の流れ図を示す。

ここで説明するすべての特徴は、個々にまたは任意の組合わせで本発明に寄与する。方法段階の時間的推移は、ここで選ばれている順序によっては必ずしも規定されない。

適当な画像部分の選択
本発明の実施例において、探索される車両における画像部分（窓）が決定される。窓処理により、画像処理費用が著しく減少される。なぜならば、車両のためにもはや全画像を探索する必要がないからである。更に車線を識別する際、道路縁の誤検出が少なくなるように、窓を予想される車線に位置ぎめすることができる。窓の大きさは、求められる車両物体がきちんと入るように選ばれる。大きくなるほど予想される車両位置についての識別が不正確になる縁範囲が付け加えられる。探索窓の垂直位置、幅および高さは、カメラ写像方程式の知識からの距離仮定に従って位置ぎめされる（画像における光点の運動の部分分析を参照）。窓の水平な位置ぎめは、車両の前の車線の推移についての知識に基いて、画像処理による前の車線算定から行われる。これらのデータは、例えば車両に統合されている（車線離脱警告システム、運転者援助システム（ＡＣＣ）、ディジタルカード及び（例えばナビゲーションシステムから）衛星により援助される位置算定により、又は慣性センサ装置により得られる進路評価から、利用可能にされる。

光点の強度の分析
Ｉ）光点の時間的強度変動の分析
光点が識別されると、画像において追跡される。追跡される光点の強度は、多数の画 像において分析される。特に関心のあるのは、平均値の周りの強度である。光点の強 度は、カメラを持つ動く車両において一般に連続的に変化する距離に関係しているの で、浮動平均値が強度変動を求めるのに利用される。強度変動を示す別の方法は、順 次に続く測定値の偏移を求めることである。図１の上部には、向かって来る光源に対 して、また図１の下部には、反射体に対して、所定の強度範囲において強度変動が記 入されている。向かって来る車両の前照灯の所定の強度範囲内で求められた強度変動 が平均して反射体の強度変動より大きいことが、直ちにわかる。図１の上部及び下部 において、明らかにするため同じ白い線が記入されている。図１の上部（向かって来 る車両の前照灯）では、著しく多数の強度変動が線より上にあるのに反し、図１の下 部（車道区画用反射体）では、著しく多数の分散値が線より下にある。分散の異なる 特性の原因は、光が来た方向へこの光を反射する反射体の特別な反射特性である。自 動車にある前照灯及びカメラセンサは、自己の自動車と同じ自己運動を行うので、カ メラチップへの反射光の入射角従って光点の強度は比較的一定である。光源が問題で ある場合、少なくともカメラの担体である自己の車両が自己運動例えば縦揺れ運動を 示す。カメラチップへの光の入射角従って画像にある光点の強度はあまり一定ではな い。この特性が、反射体を発光する光源から区別するために利用される。強度変動値 が主として限界線より下にある光点は、反射体として分類される。強度変動値が主と して限界線より上にある光点は、発光する光点であると判定される。このような限界 線の推移は、データ処理のためプログラムに固定的に規定することができる。１つの 代案は、限界線の推移を前に記録された測定値に合わせることである。そのため光点 の分散値及びその分類（反射体、発光する光源）が、回顧的にただし述語的に考察さ れる。分類は分散基準及び／又は他の方法により行うことができる。限界線は、反射 体のできるだけ僅かな分散値が限界線より上にあり、発光する光源のできるだけ僅か な分散値が限界線より下にあるように、計算される。

ＩＩ）光点の絶対強度の分析
反射体により反射される自己の前照灯の光の強度は、１／ｘ^４に比例している。こ こでｘは反射体と自動車との間隔を示す。これに反し発光する光源一般に車両前照 灯の強度は１／ｘ^２に比例している。即ち同じ距離では、向かって来る車両の前照 灯の光を反射する反射体より明るく画像に描かれる。強度について典型的な頻度分 布が図２に示されている。発光する光源の頻度分布が破線で示され、反射体の頻度 分布が実線で示されている。明らかにわかるように、頻度分布は互いにずれている 。
図において３つの強度範囲が確認される。Ｉで示す低い強度範囲では反射体のみが 示され、ＩＩで示す中間の強度範囲では反射体及び発光する光源が示され、ＩＩＩ で示す高い強度範囲では発光する光源のみが示される。従って上の閾値Ｓ１より上 の強度を持つ光点は、前照灯により生じる。下の限界地Ｓ２より下の強度を持つ光 点は、反射体により高い確率で生じる。光点が両方の閾値Ｓ１とＳ２の間にある強 度を持っていると、この方法では、反射体であるかまたは発光体であるかを表わす ことができない。

ＩＩＩ）強度勾配の分析
更に少なくとも１つの光点の強度推移が記録される。
反射体により反射される自己の前照灯の光の強度は、１／ｘ^４に比例している。 ここでｘは反射体と自動車との間隔である。即ち強度の時間的推移により、光点 を受動光源（反射体）として、又は発光する能動光源として分類することができ る。この対応関係は、本発明の好ましい構成では、求められる光点の距離及び自 己の前照灯の光度についての知識及び道路縁にある普通の反射体の反射特性によ り立証される。本発明の構成では、受動光源及び能動光源の予想される強度推移 を求めて、反射体であるか能動光源であるかの証明に利用するため、距離算定が 利用される。同様に本発明の好ましい構成では、測定される光点の強度が、前灯 又は特定の距離にある普通の光度の反射光の予想される強度と比較される。
同じ予想が、自己の前照灯による照射を仮定して、特定の距離にある普通の反射 体についてなされる。計算される値は、反射体であるか又は能動光源（車両発光 体）であるかを立証するために利用される。

ここに示す方法では、光点の運動の時間的または場所的推移が、車道に対して静止している物体の反応にとってほぼ充分であり、強度の時間的推移が受動光源に対して予想される推移にほぼ一致していると、光点が反射体であることを確認される。更に光点の運動の時間的推移が、車道に対して動かされる物体の反応にとってほぼ充分であり、強度の時間的推移が能動光源に対して予想される推移にほぼ一致していると、光点が車両発光体であることを確認される。

画像における光点の運動の分析
Ｉ）画像流れ
車両発光体を識別するため、公知の画像処理方法（相関、形態素濾波、領域区分）に より抽出される明るい点状画像対象の光流れが求められる。この画像対象の画像流れ が自己運動（速度、片揺れ運動）と一致すると、静止している光点から出発すること ができる。そのため動かない画素のための仮定画像流れが種々の距離において求めら れ、現在の画像から抽出される光点の実際の画像流れと比較される。これらの光点の 画像流れが大体において既知の自己運動（速度、片揺れ運動）により形成されている と、静止している光点である。どの仮定も光点の測定される画像流れに当てはまらな いと、それは動かない光でなければならない。区別の際、示される光点と車両との距 離をほぼ知ることが有益である。なぜならば、画像流れは、カメラ車両の自己運動及 び光点の起こり得る運動のほかに、光点の距離にも関係するからである。近くにある 物体は、離れている物体より強い画像流れをもっている。

単眼カメラによる点または物体の間隔ｄを求める方法が示される。単眼カメラに対する間隔はカメラ取付け高さｈ、カメラ縦揺れ角α、点の画像列ｙ、画素の大きさη及びカメラ焦点距離ｆから求められる。

前期のパラメータがカメラの視方向の調節により既知であると、距離ｄを求めることができる。

ＩＩ）自己の車両の縦揺れ運動により生じる障害
光源の運動方向の評価の際しばしば生じる問題は、自己の車両の車体従ってカメラ の揺れである。それにより物体の画像流れがカメラ車両の速度および片揺れ運動の 影響を受けるだけでなく、車道面に対する車体の回転運動、車両の縦揺れ運動の影 響を受ける。速度及び片揺れ運動とは異なり、縦揺れ運動はセンサにより直ちには 測定されない。この障害は、車道の凹凸及び（正及び負の方向における）縦加速度 において増大されて起こる。カメラ車両のシャシが生じる力をどれ位よく減衰でき るかに関係なく、縦揺れ運動により障害が常に存在する。

続く補償を可能にするため、縦揺れ運動を求める可能性が以下に示される。そのためカメラ画像自体が分析される。シャシが前で沈むと、カメラは下方へ傾き、ビデオ画像にあるすべての点がそれに応じて上方へ移動し、カメラが再びはね戻ると、点は逆に下方へ動く。さてビデオ画像におけるこの運動がすべての点に対して同じであり、垂直方向にのみ起こり即ち画素の水平な運動成分は、カメラの縦揺れ運動の影響を受けないままである。考察されている画素が静止している物体であると仮定して、画像におけるその位置、カメラ車両の既知の速度及び片揺れ運動から、またその水平移動のみから、カメラに対するこの点の距離を計算することができる。静止している物体であるか又は動く物体であるかは、例えば画像列の強度の分析により突き止めることができる。水平移動から点の距離を知ると、それにより再び対応する垂直移動を突き止めることができる。上述したように点の水平移動は縦揺れ運動とは無関係なので、このことは突き止められた垂直運動にも当てはまる。ビデオ画像において測定される移動が今やカメラの縦揺れ運動によって乱されている場合、測定される垂直運動と計算される垂直運動との差によって、そのことを知る。突き止められる縦揺れ運動により、今や適当な画像データを修正することができる。図３には縦揺れ運動の検出が概略的にベクトル図として示されている。Ｖｇは画像において測定される物体の全移動を表している。このベクトルは、測定されるＸ方向の全移動ＸｇとＹ方向の全移動Ｙｇとに分解される。ＹｂはＹ方向の計算される移動を示し、前述したように静止している物体に対して計算されたものである。Ｙｄは、Ｙ方向における計算された移動と測定される移動との差、従って縦揺れ運動の影響を示す。

光点の分析方法
図４には、光点を分析して分類する有利な方法を示す流れ図が示されている。ここでは区分Ｉ反射体と区分ＩＩ可動発光体（車両発光体）が設けられている。まずカメラ画像において光点が追跡される。それから光点の強度の時間的推移が強度分析を受ける。これは強度推移及び／又は絶対強度の分析を含むことができる。ここで区分Ｉまたは区分ＩＩへの光点の一義的な対応が可能であると、分類が終了する。対応が不可能であると、別の段階において光点の強度変動が検査される。ここで区分ＩＩへの光点の一義的な対応が不可能であると、別の段階で運動分析が行われる。運動分析により、場合によっては先に行われた分析段階に基いて、検査される光点が区分Ｉに対応すべきか区分ＩＩに対応すべきかの決定が行われる。

Claims (10)

1. 車両周辺へ向けられるカメラセンサにより、車両のため光点を識別して分類する方法であって、照射される静止反射体用の少なくとも１つの第１の区分と、可動発光体特に車両発光体用の少なくとも１つの第２の区分が設けられ、
   車両周辺の画像列が記録され、
   画像列にある少なくとも１つの光点が追跡され、
   追跡される光点の強度が少なくとも２つの画像において求められ、かつ
   強度の時間的推移が分析され、
   比較して高い方の強度変動を持つ光点が車両発光体として分類され、
   比較して低い方の強度変動を持つ光点が反射体として分類される、
   光点を識別して分類する方法。
2. 追跡される光点の強度変動を分析するため、分散又は標準偏差が計算される、請求項１に記載の光点を検出して分類する方法。
3. 追跡される光点の強度変動を分析するため、浮動平均値に関して分散又は標準偏差が計算される、請求項２に記載の光点を検出して分類する方法。
4. 追跡される光点の強度変動を分析するため、順次に続く測定値の偏移が計算される、請求項１〜３の１つに記載の光点を検出して分類する方法。
5. 画像にある光点の強度が分析される、請求項１〜４の１つに記載の光点を検出して分類する方法。
6. 第１の閾値より上の強度を持つ光点が車両発光体と認識され、第２の閾値より下の強度を持つ光点が反射体として認識される、請求項５に記載の光点を検出して分類する方法。
7. 画像列にある光点の運動が分析され、車両の自己運動及び／又は距離評価を考慮して、光点が静止しているか動いているものとして分類される、請求項１〜６の１つに記載の光点を検出して分類する方法。
8. 車両の縦揺れ運動が車両周辺の画像列の分析を介して間接的に求められ、光点の運動分析の際、車両の縦揺れ運動により生じる障害が抽出される、請求項７に記載の光点を検出して分類する方法。
9. カメラセンサ及び請求項１〜８の１つに記載の方法を実施する画像データ処理プログラムを持つ自動車。
10. 車線検出用カメラセンサ及び請求項１〜８の１つに記載の方法を実施する画像データ処理プログラムを持つ自動車。

Images