JPWO2019174682A5 - - Google Patents

Description

本発明は、車載カメラシステムの画像データを基にした路面状態を分級する方法、並びに、それに対応した車載カメラシステムに関する。

光学的画像認識の分野における技術的進歩により、車両の様々な場所に配置され、ドライバーの認識に相当する車両周辺領域を捕捉するカメラベースのドライバーアシストシステムの使用が可能となった。このシステムの機能的範囲は、ハイビームの自動切り替えから制限速度の認識や表示のみならず、レーンからの逸脱や迫っている衝突に対する警告までをも網羅している。

今日、単なる前方捕捉から、全方位３６０°パノラマビュー、所謂、サラウンドビューシステムに至るまで、近代的車両では、様々なアプリケーションやドライバーアシストシステムの色々な機能において、カメラが採用されている。スタンドアローン機能又はレーダーやライダーセンサとの組み合わせとしてのデジタル画像処理の主要な役割は、オブジェクトを認識し、分級し、画像部分内においてトレースすることである。一般的なオブジェクトとは、通常、乗用車、貨物自動車、二輪車など様々な車両や歩行者である。更に、カメラは、標識、走行レーンマーク、ガードレール、フリー空間又はその他一般的なオブジェクトを認識する役割も果たしている。

オブジェクト・カテゴリーとインスタンスの自動学習と認識は、デジタル画像処理の重要な役割である。これには、様々な方法が、既知である。この様な課題を人間並みに果たせる非常に進歩した方法も近年できてきており、課題は、オブジェクトの大まかな認識ではなく、正確なローカリゼーションへと移行してきている。

現代的ドライバーアシストの分野では、ビデオカメラをはじめとする様々なセンサ類が、車両周辺全体を、可能な限り正確、且つ、確実（堅牢）に捕捉するために用いられている。このような周辺情報と、慣性センサ手段等により得られる車両の走行ダイナミクス情報とを組み合わせることにより、車両のその時点における車両状態や総合的な走行状況に関する優れた印象を得ることができる。これに基づき走行状況の危険度を割り出し、対応する走行情報／警告を出力するのみならず、ブレーキやハンドルを介して走行ダイナミクスに介入することも可能である。

しかしながら、今日に至るまで、摩擦係数や路面状況に関する情報は、ドライバーアシストシステムに提供されていない、又はそれらの情報を得ることができていないため、警告や介入の実施は、基本的に、タイヤと路面間のトラクション・ポテンシャルが高い乾燥した路面に基づいた仕様となっている。フリクション係数、摩擦トルク係数、付着力、摩擦率などとも呼ばれる摩擦係数は、道路表面と車両のタイヤの間の負荷に対して（例えば接線方向に）どれほどの力を最大伝達することができるかを示す数値であり、走行安全に大きく関与するものである。但し、摩擦係数を正確に割り出すには、路面状態に加え、タイヤの特性値も必要ではある。

ここから、ドライバーアシストシステムに対する本質的なチャレンジのみならず、自動化された走行も導き出されている。そして、ドライバーへの警告又は事故を回避する又はその程度を軽減するシステムによる介入は、本当に乾燥した路面においてぎりぎり事故が回避できる、又は事故の程度を許容できるものに軽減できる遅い時点にようやく実施される。濡れていたり、雪が積もっていたり、ましてや凍結している場合には、路面のグリップは低く、事故を回避することはできず、事故の結果の低減においても、望まれる効果を得ることができない。

仮に、システムによって、路面状態を、それどころか、摩擦係数を割り出すことができれば、ドライバーへの警告やシステム介入を、より目的にかなった形で実施できる。そうすれば、事故を回避するドライバーアシストシステムの有効性を、有意に高めることができるであろう。そして、この様な路面状態の識別や摩擦係数の推定は、自動化された走行を実施するシステムにとって、根本的な前提条件である。

車載カメラを用いた画像に基づいた路面状態の割り出しは、例えば、ＷＯ ２０１４／１２７７７７ Ａ２に開示されている。方法では、道路表面の写像を包含する画像領域に、分級手段が施される。

ＷＯ ２０１６／１７７３７１ Ａ１ ＷＯ ２０１５／０７０８６１ Ａ１

本発明の課題は、改善された、カメラを基にした路面状態、場合によっては、発生している天候に依存する環境の影響の分級を提供することである。

この解決策の出発点は、カメラ画像データ内の道路表面の散乱的反射と鏡面的反射を区別することは特定の路面状態に対して特徴的であると言う知見である。この様な方法は、ＷＯ ２０１６／１７７３７１ Ａ１に記載されている。

特に、異なる視線方向及び／又は視角を有する数台の車載カメラやカメラシステムの組み合わせの場合、デジタル画像処理と機械的学習により、先ずは、道路表面上の散乱的反射と鏡面的反射を、画像乃至画像の部分領域、乃至画像シーケンスにおいて、区別することができる。一台のカメラであっても、例えば、車両が動くことにより、空間内の一点に対して異なる視角をもつため、異なる時点において、異なる視角を提供できる。更に、例えば、部分的に重なる捕捉領域を有する二台のカメラであれば、ある一時点において既に、重複領域内の空間内の一点に対して異なる視角を提供できる。

道路表面の状態に対する第二の本質的な特性は、自車両が、通過する時やそのタイヤがそれを踏んだこと、又は他の車両のタイヤがその上を転がったことによる路面被覆物（例えば、水や雪）の巻き上げに起因する画像内乃至画像の部分領域内、乃至画像シーケンス内の障害の割り出しによっても、供給される。路面被覆物は、その画像内における影響に関して評価されることができる。車両のタイヤによって、巻き上げられた路面被覆物の粒子は、画像内乃至画像の部分領域内、乃至画像シーケンス内の異なるレベルの障害の原因となる。この様な方法は、ＷＯ ２０１５／０７０８６１ Ａ１に記載されている。

双方の特徴は、互いに組み合わせることができ、組み合わせとして正確に定義された路面状態に帰属させることができる。これにより、カメラ画像のみを基にして、以下の五つの重要な路面状態の分類が、可能になる：
－乾燥した路面
－少量の水が残る湿った路面
－大量の水が溜まっている濡れた路面（ハイドロプレーニング・リスク）
－雪が積もった路面
－凍った路面
この分類は、以下の簡単な判断基準に基づいて実施される：
乾燥した路面：散乱的反射、タイヤによって障害は生じない
少量の水が残る湿った路面：多少障害のある鏡面的反射；
大量の水がたまっている濡れた路面（ハイドロプレーニング・リスク）：多大な障害のある鏡面的反射；
雪が積もった路面：障害のある散乱的反射；並びに、
凍った路面：障害のない鏡面的反射
湿った路面上の、水飛沫による障害は、好ましくは、明度及び／又はコントラスト及び／又は色彩の差異のみならず、障害のない画像乃至画像の障害のない部分領域、乃至障害のない画像シーケンスと比較した場合のストラクチャの差異から認識可能である。

一方、雪では、好ましくは、明度及び／又はコントラスト及び／又は色彩の差異が生じない。巻き上げられた雪は、ストラクチャの差異のみを発生させる。乾燥した路面では、障害のない散乱的反射が特徴的である。
凍った路面（アイスバーン／「Ｂｌａｃｋ Ｉｃｅ」＝路面と区別がつかない氷）は、障害のない鏡面的反射が、特徴的である。

基本的に本方法は、それが、自車両や他の車両のタイヤによる巻き上げを捕捉するのに適している限り、一台のカメラに対しても採用できる。要するに、カメラシステムは、それが、そこにおいて（それが発生した際に）障害を発見できる適切な捕捉領域を有し、且つ、反射の種類を割り出すことができるのであれば、一台のカメラから構成されていてもよい。

これは、例えば、好ましくは、前方の道路の少なくとも一部を捕捉し、路面被覆物を、前を走っている車両又は道路を横切っている車両又は対向車が、路面被覆物の上をそのタイヤで走った際に、水飛沫や雪埃として巻き上げた時に、認識できる（単眼の）車載フロントカメラに当てはまる。

特に好ましくは、側方に配置されたカメラ、要するに例えば、自車両の車輪又は自車両の車体側方又は少なくとも車輪を取り巻く領域に向けられたカメラが、画像データを作成する。言い換えれば、少なくとも一つの車輪又は車輪を取り巻くホイールハウス又は車両の側方が、側方カメラの視野（英語：ｆｉｅｌｄ ｏｆ ｖｉｅｗ－ＦＯＶ）内にある。これは、全景カメラシステム（サラウンドビューシステム）の第一側方カメラに当てはまる。評価される画像領域（英語：Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ，ＲＯＩ）は、発生する水飛沫、又は巻き上げられた雪の効果が最も大きい前輪の周りの空間であることが好ましい。代案的乃至付加的には、（第二）ＲＯＩとしては、後輪の周りの空間を用いることができる。

言い換えれば、近くから観察されている車両の車輪が、その上を転がることによって巻き上げられた、少なくとも一つの特別な興味のある領域（ＲＯＩ）内の障害の原因となる、路面被覆物によって起こる少なくとも一つの特別な興味のある領域（ＲＯＩ）内の画像障害が割り出される。

好ましい発展形態によれば、車両の反対側の第二の側方に配置されたカメラも、同様に第二の画像データを生成する。そうすることにより、例えば、双方の前輪及び／又は後輪を「監視」することができる。

好ましくは、車載カメラシステムは、車両の後方を捕捉するリアカメラも包含している。

好ましくは、異なる視線方向及び／又は視角を有する車載カメラシステムの異なる個別のカメラからの画像データが提供される。これにより、路面の反射タイプを、堅牢に分類することができる。

また、障害レベルも、堅牢に割り出すことが可能である。

少なくとも乃至ちょうど四台の車両の前方、左、右、並びに後方及びその周辺部を捕捉する（最大１８０°の画角の）広角レンズを有するカメラを備えたサラウンドビューカメラシステムは、反射タイプと障害の堅牢な検出に、好ましく、理想的な可能性を提供する。

尚、カメラ画像は、内容に応じて狙いを定めて様々に、反射タイプや障害を評価するために用いることができる複数の異なる特別な興味のある領域（ＲＯＩｓ）に分類されることが好ましい。

各々のカメラは、反射タイプや障害を評価するために、狙いを定めて様々に使用されることが好ましい。例えば、一台の側方カメラは、車輪の領域の障害を評価するために用いられ、フロント乃至リアカメラは、反射タイプを割り出すために用いられることができる。

異なるカメラや画像領域の好ましい組み合わせの特に優れた長所としては、異なる画像及び／又は領域において、車両の車輪に起因する路面被覆物の巻き上げによる障害を重点的に探せることが、挙げられる。

この様な組み合わせは、結果全体を、有意に堅牢なものとし、情報の可用性を高める。

更なる好ましい形態は、一台乃至複数台のフロントカメラを、サラウンドビューシステムのカメラと組み合わせることである。フロントカメラは、前方の（離れた）周辺領域に対して、サラウンドビューカメラシステムの前方に向けられたサテライトカメラよりも改善された解像度（並びに、少ないひずみ）を提供できる。

走行ダイナミクス及び／又は他のセンサデータ及び／又は車両のカメラベースではない他の周辺部センサの周辺情報及び／又は天候情報は、路面状態の分級と天気に依存した環境影響を評価するための付加的な判断基準として用いることができる。

路面状態を分類するために、第一の機械的学習方法は、第一のトレーニング用抜き取りサンプルに基づいて訓練されることが好ましい。第一機械的学習方法は、以下のステップを包含している：
－反射タイプの検出及び／又はそれを分級するステップ；並びに、
－障害レベルの検出及び／又はその回帰。

ある好ましい実施形態によれば、反射タイプと障害レベルの路面状態クラスへの写像は、第二のトレーニング用抜き取りサンプルによる第二の機械的学習方法によって学習される。

好ましくは、少なくとも一枚のカメラ画像の少なくとも一つの領域から画像特徴を抽出し、オプションとして、それを中間的表象に移行させ、回帰手段を用いて障害レベルを、又は分級手段を用いて反射タイプ及び／又は路面状態を描写する。

代案的に好ましくは、第三のトレーニング用抜き取りサンプルによって、一枚乃至複数枚のカメラ画像の一つの又は複数の画像部分から路面状態への写像を学習するニューラルネットワークをトレーニングする。このＥ２Ｅ分級は、特に好ましくは、ディープラーニング法によって実施され、ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ、Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）であることができる。

尚、走行ダイナミクスデータ及び／又はセンサデータは、ニューラルネットワークの機械的学習法乃至トレーニング用の付加的なインプットとして用いられることが好ましい。

加えて本発明は、少なくとも一台のカメラと画像データ評価ユニットを包含する車載カメラシステムにも関する。
カメラは、車両外部の少なくとも一つの領域を描写できるように構成（特に、配置され、制御）されているが、領域は、車両が走行している道路を、少なくともその一部を包含し、その画像データを画像データ評価ユニットに提供する。画像データ評価ユニットは、道路の少なくとも一点の見た目の違いを、カメラシステムの異なった撮影視点から撮影された少なくとも二枚の画像において評価することにより路面の散乱的反射と鏡面的反射を区別できるように構成されている。
画像データ評価ユニットは更に、カメラシステムの少なくとも一枚の画像に、車両の一本のタイヤが、その上を転がる際に路面被覆物を巻き上げたことにより生じた障害があるか否かを割り出すように構成されている。画像データ評価ユニットは、更に、反射タイプと障害レベルの結果を考慮して路面状態を、以下の五つの路面状態クラスに分級することができるように構成されている：
ａ）乾燥した路面：反射タイプ：散乱的、障害無し
ｂ）普通に湿った路面：反射タイプ：鏡面的、障害有り
ｃ）非常に濡れた路面、ハイドロプレーニングリスク有り：反射タイプ：鏡面的、障害大いに有り
ｄ）雪が積もった路面：反射タイプ：散乱的、障害有り
ｅ）凍結した路面（アイスバーン）：反射タイプ：鏡面的、障害無し
特に、車載カメラシステムは、デジタル画像処理と機械的学習のアルゴリズムを用いて、乾燥した、濡れた、雪が積もった、凍った等と言った路面状態だけでなく、危険な状況、例えば、ハイドロプレーニングなどを堅牢に検知し、且つ、路面の反射タイプと障害レベルのクロス比較によって、堅牢に区別できるように設計されている。

画像データ評価ユニットは、特に好ましくは、マイクロコントローラ乃至プロセッサ、デジタル・シグナル・プロセッサ（ＤＳＰ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ／特定用途向け集積回路）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ／フィールド・プログラマブル・ゲート・アレイ）、並びに、これらに類するもの、及び、関連する方法ステップを実施するためのソフトウェアを包含している。
よって、本発明は、デジタル・エレクトロニクス回路、コンピュータ・ハードウェア、ファームウェア乃至ソフトウェアとして実施されることができる。

車載カメラシステムは、更に、ドライバーの情報のための、又は（部分的に乃至完全に）自動的に走行している車両の制御のための出力ユニットも包含している。
摩擦係数を評価するための計算ユニットは、車載カメラシステム乃至画像データ評価ユニット内に組み込まれていることができる。

本発明の更なる対象は、本発明に係る車載カメラシステムを装備した車両に関する。車両は、好ましくは、車両の走行ダイナミクスに介入するための、車載カメラシステムによって割り出された路面状態に応じて制御されるアクチュエータを包含している。

以下、実施例と図を詳しく説明する。図の説明：

複数のカメラを備えた車載カメラシステムの様々な捕捉領域である。 魚眼レンズを備えた四台のカメラから構成されたサラウンドビューカメラシステムの四枚の画像である。 非常に濡れた路面におけるタイヤの模式的描写である。 雨によって濡れている路面を通過する際の車両タイヤのバイナリ化された画像を模式的に示している。 右側側方の車載カメラの画像部分の三つの例であるが、それぞれ、異なる度合いに濡れている路面における障害レベルの等級毎の例である。 車載カメラ手段の模式的な描写を示している。 路面状態を認識し評価する方法のステップの概略的なダイアグラムである。

図１は、第一車両（Ｅ）の中や外に配置されているカメラシステムの捕捉領域（１ａ－１ｄ，２，３）を示している。走行方向で、第一車両（Ｅ）の手前に、側方にずれて、第二車両（Ｆ）が、走行している。第一車両（Ｅ）のカメラシステムは、三つの異なるカメラシステム（１，２，３）、即ち合わせることにより車の周り３６０°の捕捉を可能にする四つの個別の広角な捕捉領域（１ａ－１ｄ）を有するカメラセンサを包含するサラウンドビューシステム（１）、前方に向けられた捕捉領域（２）を有するフロントカメラ並びに後方に向けられた捕捉領域（３）を有するリアカメラを包含している。

走行方向前方に向けられた捕捉領域（１ａ，２）を有するカメラ・センサにより、前方を走行中の車両（Ｆ）又は対向して走ってくる車両（図示せず）が、路面を通過する時に、画像内乃至画像の一領域内に、路面被覆物が存在している際に発生する障害を検出することができる。

路面被覆物の割り出しのための画像処理は、路面とタイヤの接触ゾーンがあるカメラ画像の一つの乃至複数の領域に制限されることが好ましい。

側方に向けられた捕捉領域（１ｂ，１ｃ）を有するカメラ・センサによれば、自車両（Ｅ）のタイヤが路面を通過する時に路面被覆物による画像内の障害を割り出すことが可能である。

この方法の長所は、前方又は並行するレーンを走行している他車両（Ｆ）に頼ることなく、自車両（Ｅ）が原因の影響を、側方に向けられたセンサによって検知し、認識し、他車両（Ｆ）に依存することなく、リアルタイムに関連する路面被覆物を割り出せることである。既に現在、車両には、ドライバーに例えば鳥瞰的な「トップ・ビュー」として表示することのできるサラウンドビューを捕捉できる３６０°カメラ・センサが、ますます搭載されるため、信頼性の高い路面被覆物の割り出しは、好ましく実施できる。

図２は、魚眼レンズを備えた四台のカメラから構成されたサラウンドビューカメラシステムの四枚の画像を例示している。これら上（２０ａ）、左（２０ｂ）、右（２０ｃ）と下（２０ｄ）の画像は、図１に示されている前（１ａ）、左（１ｂ）、右（１ｃ）と後（１ｄ）方向の捕捉領域に対応している。特に、左（２０ｂ）と右（２０ｃ）の側方カメラの画像は、それぞれ、前輪と後輪を包含している。対応する画像領域乃至ＲＯＩｓが、選択され、この領域内の路面被覆物に起因する画像障害のレベルを割り出す分級手段に送る。

図３は、ハイドロプレーニングリスクのある状況の模式的な描写を示している。ここでは、タイヤ３０と路面３５の接触が決定要素である。路面３５上の、水３７、即ち路面被覆物は、斜線で示されている。タイヤ３０と路面３５との接触面は、三つの領域３１－３３に分割できる。車両が、即ちタイヤ３０が、矢印で示した走行方向に動くと、タイヤには、先ず、タイヤ３０と路面３５の間の水が楔状になってある接近ゾーン３１が形成される。この接近ゾーン３１は、移行ゾーン３２につながっている。移行ゾーン３２につながっている接触ゾーン３３の領域では、タイヤ３０は、路面３５と直接的に接触しており、これにより、相応のグリップ効果が達成されている。水嵩の増加及び／又は速度の増加に伴い、接触ゾーン３３、即ちタイヤ３０と路面３５との間の接触面積が、減少する。接触ゾーン３３の面積がゼロに近づくと、ハイドロプレーニングのリスクが迫っていることを意味する。よって、この状態が、ミクロ・ハイドロプレーニングと呼ばれている。接触ゾーン３３が、無くなる、即ちタイヤ３０と路面３５の領域全体に水がある場合、ハイドロプレーニングが発生し、この状態にある間は、車両を、コントロール下に運転したり、制動したりすることはできない。

図４には、雨によって濡れている路面を通過する際の車両タイヤ３０を写したカメラ画像の白黒（倒立）画像が、示されている。車両タイヤ３０は、ホイール（白、円形）上にあり、車両は、向かって左側に移動している。また、水に覆われたと面を通過する際に、タイヤによって押しのけられ、加速された水滴および水の軌跡４０（白い点と線）が、認識できる。濡れた道路を通過する時には、車両タイヤから水が飛び散っている。タイヤは、路面にある水を、高い面圧力によって全方向に押しのける。特に、そのタイヤに相当するより高い面圧力を有する、乗用車よりもより多くの水を押しのけるトラックにおいて、この現象は顕著である。水の大半は、車両タイヤの走行方向に対して後ろと横に飛び散る。そしてこの現象が、上記の場所において車載カメラによって検出され、画像処理によって、飛び散っている水として認識されることにより、雨水層が、路面被覆物であると推定される。

雪のぬかるみが路面上に存在する場合も同様に、雪のぬかるみの飛散が形成され、検出、認識されることができる。

路面被覆物によっては、例えば、路面が濡れているのではなく湿っているだけの場合、且つ、道路表面が特定のストラクチャの場合には、通過時に水の飛散は見られず、代わりに、噴霧や飛沫又はこれらの双方が形成される。新雪や粉雪に覆われた道路を通過する場合、車両の側方には、雪の巻き上げが形成され、車両後方には、雪のたなびきが広がる。

巻き上げられた路面被覆物は、どんなものであっても、車輪に近い画像領域に障害を引き起こすため、その障害のレベルを基に識別することができる。

図５は、濡れ方が異なった路面における一台の（右側）車載カメラの三つの画像部分例を示している。

図５ａは、車両側（下）に接する領域５１内の道路表面が写っており、そのストラクチャが、画像内において邪魔されることなく認識可能な乾燥した路面を示している。

図５ｂは、道路表面の写像が、認識できる数個の水飛沫５２によって邪魔されている普通に湿った路面を示している。

図５ｃは、ハイドロプレーニングリスクが焦眉に迫っている非常に濡れた路面（図３参照）を示している。ここでは、水飛沫５３が激しく、この画像領域を深刻に邪魔しているために、道路表面は、ほとんど認識できない。

図６は、少なくとも一台のカメラ１０と画像データ評価ユニット６０を包含する車載カメラ手段の模式的な描写を示している。画像データ評価ユニット６０は、反射タイプと障害レベルを割り出すことで、路面状態を分級することができる。路面状態クラスは、車両アクチュエータ類６６、ドライバー警告手段又はドライバーアシスト機能制御ユニットに対して出力されることができる。

図７は、路面状態を認識し評価する方法のステップの概略的なダイアグラムを示している。

ステップＳ１２では、画像データが、車載カメラシステムによって提供される。ステップＳ１４では、画像データに基づいて、道路表面乃至路面被覆物による反射が散乱的又は鏡面的のいずれであるかが区別される。

ステップＳ１６では、画像領域内の障害のレベルが割り出される。ステップＳ１８では、ステップＳ１４とＳ１６の結果に基づいて路面状態が分級される。

オプションであるステップＳ２０では、路面状態クラスが出力される。

デジタル画像処理と機械的学習の方法：
有利な実施形態では、路面反射と水や雪と言った路面被覆物の起こり得る巻き上げとの関連から、乾燥した、濡れた、雪が積もった、凍った等と言った路面状態だけでなく、ハイドロプレーニングなど危険な状況を堅牢に検出することを目的として、デジタル画像処理と機械的学習のアルゴリズムが採用されている。この方法は、モノ、ステレオだけで無くサラウンドビューカメラ、並びにこれらの組み合わせのいずれにも適応させることができる。

一枚乃至複数枚のカメラ画像の予め定められた、又は例えば機械的学習によって自動的に割り出される一つ乃至複数の領域を基にしている。この際、画像領域が、反射タイプに関する情報のみならず、路面被覆物の巻き上げが有るか否かに関する情報も提供できること、又は複数の画像領域、及び／又は複数の画像領域を有する複数のカメラの組み合わせが、反射タイプに関する情報のみならず、画像領域内での障害の原因となる路面被覆物の巻き上げが有るか否かに関する情報も提供できることが重要である。

路面反射を検出するために、一枚乃至複数枚のカメラ画像の一つ乃至複数の道路表面を描写する領域が用いられる。これは、ランタイムや精度の要求に応じて、セグメント化された部分領域や、特に好ましい実施形態では、推定された同形異義性を用いて、長方形の上視図（「Ｂｉｒｄ’ｓ－ｅｙｅ ｖｉｅｗ」鳥瞰図）に転換された台形であることもできる。ＷＯ ２０１６／１７７３７１ Ａ１にも記載されている如く、様々な路面反射タイプ（散乱的反射や鏡面的反射）を、例えば、経時的なコンテクストから割り出すことが可能である。

路面被覆物の巻き上げを検出するためには、一枚乃至複数枚のカメラ画像に、車両のタイヤ及び／又は車体の側方の領域が、特に好ましい実施形態では、サラウンドビューカメラシステムの画像部分が、定められる。これにより、巻き上げを、限定された領域内において集中的に、車両周辺部からの妨害を受けることなく割り出すことが可能である。更には、機械的学習を用いて、（自車両だけでなく他の車両の）車両タイヤ及び／又はタイヤ領域をシーン内から割り出すことも可能である。ここでは、求められている画像部分を提供する検出手段をトレーニングすることができる。

ここでは、与えられている路面状態クラス内における分級は、中心的なアスペクトである。その基礎として、起こり得る路面被覆物の巻き上げについて検出された画像部分と路面のその時点における反射タイプについての情報が用いられる。続いて、これらのデータは、トレーニング用抜き取りサンプルに基づいて、画像部分、反射タイプ及び付加的情報から、定義された路面状態への写像を学習する機械的学習システムに提供される。要するに、路面被覆物の巻き上げを記述する構造に基づいた特徴を抽出／学習する一方、これと反射タイプ及び／又は付加的情報との適した組み合わせを推定するモデルが作られる。

表１：反射タイプと障害レベルとの縦横の比較による路面状態の分級

更に、分級は、コンテクスト知識／付加的情報によってサポートされることができる。ここでは、車両の走行ダイナミクスデータの統合や提供されるセンサデータ（温度、湿度、雨センサ、ワイパーの作動など）の使用が非常に適している。

フロントとサラウンドビューカメラシステムを用いたフィッシャー・ベクトル・エンコーディング
提案されたメソッドは、インプットとして、判断に重要な領域を含み、且つ、不必要なバックグラウンドを排除した一枚乃至複数枚のカメラ画像を要求する。これは、周囲のインフラストラクチャや他の交通参加者による障害によって方法に影響が及ぼされ得るので、重要である。

画像部分を大きく選択しすぎると、特に非常に小さなデータベースでは、決断が、望まれている路面被覆物巻き上げストラクチャによってではなく、偶然、個別の状況において発生するバックグラウンド現象を基に実施されてしまうこともあり得る。

ここでは、全トレーニング用画像のインプット画像領域から、密なグリッド上の、画像の一部が、エッジ・ヒストグラム（例えば、ＨＯＧ 「Ｈｉｓｔｏｇｒａｍ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔｓ」やＬＢＰ 「Ｌｏｃａｌ ｂｉｎａｒｙ ｐａｔｔｅｒｎｓ」など）によって記述されるローカルな特徴が、抽出される。続いて、特徴全てから混合ガウス分布モデルが推定される。そして、一枚の個別画像が、高次の統計に基づいて、特徴ベクトルと混合分布モデルによって記述されるが、これが、所謂、「フィッシャー・ベクトル・エンコーディング」である。最後に、トレーニング全体の得られた画像表現を用いて、実行時、与えられた画像用の確率的クラス帰属性を与える線形分級手段を学習する。

尚、フロントカメラの二つの画像部分と、サラウンドビューカメラの複数の画像部分を用いる実施形態は、特に有利である。フロントカメラの第一画像領域は、道路上にある反射をタイプ分けするために用いられる。更なる大きな画像部分は、加えて、天候条件に関するものだけでなく、インフラストラクチャに起因する路面状態に関わる効果（例えば、雪に覆われた歩道や芝生が生えた路肩など）などグローバルな画像コンテクストも提供する。一方、サラウンドビューカメラの画像部分は、路面被覆物の巻き上げに関する情報を提供する。異なるカメラのこれらの画像部分の組み合わせは、フィッシャー・ベクトル・エンコーディング用のインプットとして用いられることができる。

このエンコーディングにより、巻き上げにおいて特徴的なストラクチャだけでなく、それと反射情報や付加的情報との関係も示されることができる。付加的に、これも路面状態の区別に役立つであろう、車両の前と側方の構造的特徴も捕捉することができる（雪で覆われた道路の走行レーン）。

分級結果は、必要に応じて、個別画像からの推定を経時的に平滑化する後処理によって安定化させることもできる。代案的には、ヒステリシス性閾値メソッドにより、不確実な判断にフィルターをかけることもできる。

フロントとサラウンドビューカメラシステムを用いたディープラーニング：
フィッシャー・ベクトル・エンコーディング（上述参照）を用いた路面状態推定用の方法も含む典型的な機械的学習は、互いに独立して実施される複数のステップから構成されている。第一段階として、直接的に用いられる又は中間的表象に移行される特徴が画像から抽出される。続いて、特徴乃至中間的表象に基づいて、クラス判断を下す分級手段に学習させる。

一方、ディープラーニングでは、個々のステップは、明示的に実施されるのではなく、どちらかと言えば、徐々に深くしながら内潜的にニューラルネットワーク内で実施される。これは、俗にＥ２Ｅラーニングと呼ばれ、ここでは、一つのシステム内にある全パラメータが、互いに最適化される。これは、本件発明においては、フロントカメラとサラウンドビューカメラの画像部分乃至画像全体が、ニューラルネットワーク用のインプットとして用いられることを意味している。付加的に、反射タイプやセンサや走行ダイナミクスデータと言った付加的情報もインプットとして統合されることができる。そして、ネットワークは、トレーニング用抜き取りサンプルにより、特徴抽出や中間的表象を明示的にモデル化することなく、トレーニングされる。要するに、インプットデータの帰属する路面状態への写像のみが学習される。

Claims (16)

1. 以下のステップを包含することを特徴とする路面状態と天候に基づく環境影響を認識し評価する方法：
   －車両外部の少なくとも一つの領域を描写できるように構成されている車載カメラシステムによって、画像データを提供するステップ（Ｓ１２）
   但し、前記領域は、少なくとも部分的に、車両が走行している車線を包含している；
   －道路の少なくとも一点の見た目の違いを、カメラシステムの少なくとも二枚の画像において評価することにより路面の散乱的反射と鏡面的反射を区別するステップ（Ｓ１４）；但し、画像は、異なった撮影視点から撮影されたものである；
   －カメラシステムの少なくとも一枚の画像に、車両の少なくとも一本のタイヤが、その上を転がる際に路面被覆物を巻き上げたことにより生じた障害があるか否かを割り出すステップ（Ｓ１６）；
   －反射タイプと障害レベルの結果を考慮して以下の五つの路面状態クラスに路面状態を分級するステップ（Ｓ１８）；
   ａ）乾燥した路面：反射タイプ：散乱的、障害無し
   ｂ）普通に湿った路面：反射タイプ：鏡面的、障害有り
   ｃ）非常に濡れた路面、ハイドロプレーニングリスク有り：反射タイプ：鏡面的、障害大いに有り
   ｄ）雪が積もった路面：反射タイプ：散乱的、障害有り
   ｅ）凍結した路面（アイスバーン）：反射タイプ：鏡面的、障害無し
2. 車載カメラシステムは、車両の車輪の周りの空間の少なくとも一部を捕捉するとともに、少なくとも一枚の画像の少なくとも一領域に、車両の一本のタイヤが、その上を転がる際に路面被覆物を巻き上げたことにより生じた障害があるか否かを割り出すように構成されていることを特徴とする請求項１に記載の方法。
3. 車載カメラシステムが、第一側方カメラを包含していることを特徴とする請求項２に記載の方法。
4. 車載カメラシステムが、第一側方カメラから見て車両の反対側に配置された第二側方カメラを包含していることを特徴とする請求項３に記載の方法。
5. 車載カメラシステムが、車載リアカメラを包含していることを特徴とする先行請求項のうち何れか一項に記載の方法。
6. 車載カメラシステムが、車載フロントカメラを包含していることを特徴とする先行請求項のうち何れか一項に記載の方法。
7. 異なる視線方向及び／又は視角を有する車載カメラシステムの異なる個別のカメラからの画像データが提供されることを特徴とする先行請求項のうち何れか一項に記載の方法。
8. カメラ画像が、内容に応じて狙いを定めて様々に、反射タイプや障害を評価するために用いることができる複数の異なる特別な興味のある領域に分類されることを特徴とする先行請求項のうち何れか一項に記載の方法。
9. 反射タイプや障害を評価するために、各々のカメラが、狙いを定めて様々に使用されることを特徴とする先行請求項のうち何れか一項に記載の方法。
10. 車載カメラシステムが、自車両（Ｅ）前方への捕捉領域（２，１ａ）を有しており、且つ、前方を走行している、前方を横切っている、又は前方から向かってくる車両が道路上を走る際に路面被覆物が巻き上げられたことにより生じた画像障害が、割り出されることを特徴とする先行請求項のうち何れか一項に記載の方法。
11. 走行ダイナミクス及び／又は他のセンサデータ及び／又は車両のカメラベースではない他の周辺部センサの周辺情報及び／又は天候情報が、路面状態と天気に依存した環境影響を評価するための付加的な判断基準として用いられることを特徴とする請求項１から１０の何れか一項に記載の方法。
12. 路面状態を分類するために、以下のステップを包含するトレーニング用抜き取りサンプルに基づいた機械的学習システムに基づいてトレーニングされることを特徴とする先行請求項のうち何れか一項に記載の方法：
    －反射タイプの検出及び／又はそれを分級するステップ；
    －障害レベルの検出及び／又はその回帰。
13. 反射タイプと障害レベルの路面状態クラスへの写像が、トレーニング用抜き取りサンプルによる機械的学習方法を用いて学習されることを特徴とする請求項１２に記載の方法。
14. 少なくとも一枚のカメラ画像の少なくとも一つの領域から画像特徴を抽出し、回帰手段を用いて障害レベルを、又は分級手段を用いて反射タイプ及び／又は路面状態を描写することを特徴とする請求項１０又は１１に記載の方法。
15. トレーニング用抜き取りサンプルによって、一枚乃至複数枚のカメラ画像の一つの又は複数の画像部分から路面状態への写像を学習するニューラルネットワークがトレーニングされることを特徴とする請求項１から１１の何れか一項に記載の方法。
16. 少なくとも一台のカメラ、及び、一つの画像データ評価ユニットを包含する車載カメラシステムであって、以下を特徴とするシステム：
    カメラが、車両外部の少なくとも一つの領域を描写できるように構成されており、前記領域が、車両が走行している道路を、少なくともその一部を包含し、その画像データを画像データ評価ユニットに提供する；そして、
    画像データ評価ユニットが、以下のように構成されている：
    路面の散乱的反射と鏡面的反射を、カメラシステムの少なくとも二枚の画像からなるシーケンスにおいて、道路の少なくとも一点の見た目の違いを評価することによって区別できる；
    カメラシステムの少なくとも一枚の画像に、車両の一本のタイヤが、その上を転がる際に路面被覆物を巻き上げたことにより生じた障害があるか否かを割り出す；そして、
    反射タイプと障害レベルの結果を考慮して路面状態を、以下の五つの路面状態クラスに分級することができる：
    ａ）乾燥した路面：反射タイプ：散乱的、障害無し
    ｂ）普通に湿った路面：反射タイプ：鏡面的、障害有り
    ｃ）非常に濡れた路面、ハイドロプレーニングリスク有り：反射タイプ：鏡面的、障害大いに有り
    ｄ）雪が積もった路面：反射タイプ：散乱的、障害有り
    ｅ）凍結した路面（アイスバーン）：反射タイプ：鏡面的、障害無し