JP7069425B2 - 第1の超音波センサの路面濡れ情報を使って移動手段のカメラベースの周辺環境認識を補助するための方法 - Google Patents

第1の超音波センサの路面濡れ情報を使って移動手段のカメラベースの周辺環境認識を補助するための方法 Download PDF

Info

Publication number
JP7069425B2
JP7069425B2 JP2021547885A JP2021547885A JP7069425B2 JP 7069425 B2 JP7069425 B2 JP 7069425B2 JP 2021547885 A JP2021547885 A JP 2021547885A JP 2021547885 A JP2021547885 A JP 2021547885A JP 7069425 B2 JP7069425 B2 JP 7069425B2
Authority
JP
Japan
Prior art keywords
road surface
moving means
signal
ultrasonic sensor
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021547885A
Other languages
English (en)
Other versions
JP2022509379A (ja
Inventor
ルーナウ,パウル
バイセンマイヤー,ジーモン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2022509379A publication Critical patent/JP2022509379A/ja
Application granted granted Critical
Publication of JP7069425B2 publication Critical patent/JP7069425B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/182Network patterns, e.g. roads or rivers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1306Sensors therefor non-optical, e.g. ultrasonic or capacitive sensing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60SSERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00Cleaning of vehicles
    • B60S1/02Cleaning windscreens, windows or optical devices
    • B60S1/04Wipers or the like, e.g. scrapers
    • B60S1/06Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0855Ultrasonic rain sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、第1の超音波センサの路面濡れ情報を使って移動手段のカメラベースの周辺環境認識を補助するための方法に関する。
現況技術からは、移動手段の周辺環境内のオブジェクトについての情報を得るために、カメラベースの周辺環境認識を実施する移動手段が知られている。この情報は、例えば移動手段の運転者支援システムおよび/または自律制御システムによって受信および使用される。このような周辺環境認識の基盤は、画像解析およびオブジェクト分類のための、現況技術から知られたアルゴリズムであり、これらのアルゴリズムは一般的に、特定のオブジェクトのための1つまたは複数の分類器を用いる。
現況技術からはさらに、降水の存在を認識するための移動手段用の雨センサが知られている。これらの雨センサはたいてい、移動手段のフロントガラスの上側領域に配置されており、かつフロントガラス上に存在している降水を認識するよう適応されている。このような雨センサによって確定された濡れ情報は、周辺環境認識の適切な分類器を選択するために使用され得る。
現況技術からはさらに、移動手段との関連で、しばしば駐車支援システムまたは類似の運転者支援システムのために用いられる超音波センサが知られている。このために、このような超音波センサはたいてい、移動手段の周辺環境内のオブジェクトの移動手段に対する間隔を超音波信号の信号伝播時間に基づいて確定し得るため、超音波センサの放射方向および捕捉方向が移動手段に対して実質的に水平であるように、移動手段に配置されている。
本発明の第1の態様によれば、第1の超音波センサの路面濡れ情報を使って移動手段のカメラベースの周辺環境認識を補助するための方法が提案される。移動手段は、例えば路上走行車(例えばオートバイ、乗用車、輸送トラック、トラック)または鉄道車両または航空機/飛行機または船舶であり得る。さらに、以下に説明するプロセスステップは、移動手段の本発明による装置によって完全にまたは部分的に実行され得る。この装置は、好ましくはデータ入力部を備えた評価ユニットを含み得る。評価ユニットは、例えばASIC、FPGA、プロセッサ、デジタル信号プロセッサ、マイクロコントローラなどとして構成することができ、かつ内部および/または外部のメモリユニットに情報通信技術により接続され得る。評価ユニットはそれだけでなく、本発明による方法を、評価ユニットによって実行されるコンピュータプログラムと関連させて実行するよう適応され得る。
本発明による方法の第1のステップでは、移動手段の第1の超音波センサを使って、移動手段の周辺環境を表す第1の信号が捕捉される。この超音波センサは、そのほかの目的にも使用される/使用可能な、移動手段の超音波センサであり得る。代替的にまたはそれに加えて、本発明による方法のための、専用の超音波センサを用いてもよい。移動手段の超音波センサは、例えば移動手段の駐車支援システムまたは別の運転者支援システムの超音波センサであり得る。超音波センサは、例えば移動手段のフロントエプロン内もしくはリア領域内に、または移動手段のさらなる位置にも配置でき、したがってタイヤ騒音も、前方または後方にある車道およびその周辺環境も捕捉され得る。超音波センサはそれだけでなく、本発明による評価ユニットのデータ入力部と直接的にまたは間接的に(つまり、例えば移動手段の別の制御機器を介して)、情報通信技術により接続され得る。この接続は、例えば移動手段のオンボードネットワークのバスシステム(例えばCAN、LIN、MOST、イーサネットなど)を使って確立され得る。評価ユニットによって受信された第1の超音波センサの第1の信号は、評価ユニットによるその後の処理のために先ずは、評価ユニットに接続されたメモリユニットに格納され得る。
本発明による方法の第2のステップでは、移動手段のカメラを使って、移動手段の周辺環境を表す第2の信号が捕捉される。第2の信号は、第1の信号と実質的に同じ時点で捕捉され得ることが好ましく、したがって両方の信号のそれぞれが、時間的に相互に対応する周辺環境情報を内包していることが保証され得る。異なるセンサタイプならびに異なる信号処理チェーンおよび信号伝送チェーンに基づいて、両方の信号間の時間ずれが生じ得る。より好ましいが、本発明による方法にとって必ずしも保証されなくてもよい両方の信号間の時間ずれの範囲は、例えば数ミリ秒~数百ミリ秒の間であり、または秒範囲であってもよい。カメラは、例えば標準、HD、もしくはUltra-HDの画像解像度を有する2Dもしくは3Dカメラまたは赤外線カメラであり得る。カメラは、移動手段の前方にある周辺環境を捕捉するように、移動手段に配置および方向づけされることが好ましい。ただしカメラのそのような配置および/または方向づけは、この例には制限されていない。第1の超音波センサに倣って、カメラは移動手段のオンボードネットワークを介し、本発明による評価ユニットと直接的にまたは間接的に、情報通信技術により接続され得る。本発明の好ましい一実施形態では、カメラを移動手段の画像処理ユニットと情報通信技術により接続することができ、この画像処理ユニットは、カメラの画像信号を受信および処理するよう適応されている。このような画像処理ユニットは、なかでも、移動手段の運転者支援システムまたは自律走行動作システムの構成要素であり得る。画像処理ユニットはさらに、この好ましい実施形態では本発明による評価ユニットと情報通信技術により接続することができ、したがって評価ユニットは、以下でより詳しく説明する路面濡れ情報を画像処理ユニットに伝送し得る。この実施形態の代わりにまたはそれに加えて、画像処理ユニットは評価ユニット自体の構成要素とすることができ(またはその逆もある)、したがってこの両方のコンポーネント間の通信は直接的に、かつ移動手段のオンボードネットワークを介さずに行われ得る。これは、例えば本発明による評価ユニットによって実行されるべきである、コンピュータプログラムの形態での本発明によるプロセスステップの実行論理が画像処理ユニットによって実行されるように実現され得る。
本発明による方法の第3のステップでは、第1の信号に基づいて路面濡れ情報が確定される。このために評価ユニットは、第1の信号のノイズレベルを、ノイズレベルに関する所定の閾値と比較することができ、この閾値は、評価ユニットに接続されたメモリユニットに格納され得る。ノイズレベルに関する所定の閾値は、ノイズレベルがこの所定の閾値を上回る場合に、その時々の路面濡れの存在が推測され得るように選択されるのが好ましい。逆に、ノイズレベルがこの所定の閾値を下回る場合には、乾いた車道表面が推測され得る。路面濡れ情報の確定結果もまたメモリユニットに格納され得る。評価ユニットは、濡れた車道表面かまたは乾いた車道表面かの単なる区別の代わりにまたはそれに加えて、第1の信号のノイズレベルが所定の閾値を上回る場合には、第1の信号のノイズレベルが所定の閾値を上回る程度を考慮することにより、濡れ度の推定も行い得る。それだけでなく、ノイズレベルに関する複数の所定の閾値を使用することも考えられ、この場合、それぞれの所定の閾値は、移動手段の異なる速度および/または速度範囲と対応し得る。言い換えれば、より高い速度は一般的に、第1の信号におけるより高いノイズレベルを伴うので、移動手段のオンボードネットワークを介して提供される、移動手段のその時々の速度についての情報を評価ユニットによって受信し、これにより評価ユニットが、その時々の速度の値に依存して、複数の所定の閾値からそれぞれ対応する所定の閾値を選択し得ることが有利であり得る。こうすることで、移動手段の比較的高い速度の場合に、車道表面が実際には乾いた状態にあるにもかかわらず、評価ユニットによって誤って路面濡れが認識されるのを防ぐことができる。
本発明による方法の第4のステップでは、路面濡れ情報に依存して、複数の所定のパラメータセットから1つの所定のパラメータセットが選択される。複数の所定のパラメータセットは、例えば分類器に関する異なる設定を表すことができ、この分類器は、第2の信号に基づいて移動手段の周辺環境を分析し、かつこの周辺環境内のオブジェクトを認識するよう適応されている。このような分類器は、画像処理ユニットおよび/または評価ユニットによって実行されるコンピュータプログラムの一部であり得ることが好ましい。本発明による評価ユニットと画像処理ユニットが別々のコンポーネントとして実装されている場合には、所定のパラメータセットの選択は画像処理ユニットにより、路面濡れ情報および場合によってはさらなる情報(例えば移動手段の速度についての)に依存して行うことができ、これらの情報は、移動手段のオンボードネットワークを介して評価ユニットから提供され得る。異なる所定のパラメータセットを使用する目的は、周辺環境認識のために、その時々の周辺環境(つまり濡れているまたは乾いている)に適合した所定のパラメータセットを使用することである。その背景には、乾いた周辺環境のためにトレーニングされた分類器は、濡れた周辺環境では周辺環境認識の過程で、例えば前方を走行する移動手段の巻き上げた水(しぶき)に基づき、一般的に不十分なまたは信頼できない結果しか保証できないということがある。逆に、濡れた周辺環境のためにトレーニングされた分類器もまた、乾いた周辺環境ではしばしば最適な認識結果を供給できない。評価ユニットによって提供される濡れ情報が、単なる濡れ/乾燥の区別だけでなく、濡れ度についての情報を内包する場合には、追加的に濡れ度に依存して、それぞれの測定度に合った所定のパラメータセットが選択され得る。
本発明による方法の第5のステップでは、この所定のパラメータセットと関連させて、第2の信号に基づいて周辺環境認識が実行される。周辺環境認識のための濡れ情報に基づいてそれぞれ適合された所定のパラメータセットが使用され得るので、周辺環境認識の認識性能が相応に最適化され得る。その結果として生じる周辺環境認識の信頼性の向上は他方ではまた、移動手段を使用する際のより高い安全性をもたらし得る。 従属請求項は本発明の好ましい変形形態を示している。
本発明の有利な一形態では、路面濡れ情報の確定が、追加的に移動手段の速度および/または加速度および/またはエンジン回転数に依存して行われ得る。その時々の路面濡れ情報を確定する際の、その時々の速度の有利な考慮は上記で既に詳細に説明した。それに倣って、移動手段のオンボードネットワークを介して受信された、移動手段のその時々の加速度および/またはその時々のエンジン回転数についての値が、類似のやり方で有利に考慮され得る。
本発明のさらなる有利な一形態では、所定のパラメータセットが、トレーニングされた自己学習システムの設定を表し得る。つまり上述の分類器は、例えばニューラルネットワーク(例えばディープラーニング構造を有する)のような自己学習システムに基づいて実現され得る。それだけでなく、さらなる種類の自己学習システムも用いられ得る。こうすることで、そのような自己学習システムを使って、異なる濡れ状況での移動手段のトレーニング走行が実施でき、かつ自己学習システムのそれぞれのトレーニングされた設定が、異なる所定のパラメータセットの形態で保存され得る。
本発明のさらなる有利な一形態では、所定のパラメータセットの選択が、代替的にまたは追加的にノイズレベルの変化および/またはその時々の温度および/または移動手段の周辺環境内に存在する水分量に依存して行われ得る。ノイズレベルの変化は、上述のように車道表面の水分量の違いに基づいて引き起こされ得る。しかしそれだけでなくノイズレベルの変化は、前方を走行する車両に対する間隔の変化によっても引き起こされ得る。両方の場合には、それに伴って変化する視覚条件に基づいて、周辺環境認識のための相応の適合されたパラメータセットを使用することが有意義であり得る。ノイズレベルの変化が、変化した水分量によって引き起こされているのかまたは前方を走行する車両の間隔変化によって引き起こされているのかの区別は、第2の信号の追加的な分析により、例えば直前を走行している車両のサイズ変化が確定されることによって行われ得る。その代わりにまたはそれに加えて移動手段のさらなる周辺環境センサの信号も、その時々の状況を評価するために参照され得る。ここでは、移動手段のLIDARシステムおよび/またはレーダシステムによる、前方を走行する車両に対する間隔情報を考慮することがとりわけ有利であり得る。上で挙げた場合のために生成および使用される所定のパラメータセットは、水けむりによって部分的に覆い隠された移動手段を、たとえ前方を走行する移動手段の輪郭がカメラによって曖昧にしか捕捉されないとしても、より良好におよび/またはより速く認識することをもたらす。
さらに、4℃未満、とりわけ0℃未満の外気温度は、車道端でおよび/または車道上にすら雪が存在する可能性を逆推論させることができるので、その時々の外気温度を、所定のパラメータセットを選択する際に考慮することが有意義である。少なくとも車道端に雪が存在している確率は、とりわけ0℃以下の外気温度と同時に路面濡れの認識が存在している場合に高い可能性がある。これらの情報に基づいて、さらなる適切な所定のパラメータセットが選択でき、かつ周辺環境認識の過程で使用でき、したがって例えば雪が存在している際にも車道境界線が高い信頼性をもって認識される。
本発明のさらなる有利な一形態では、路面濡れ情報の確定が、第1の信号への干渉がないことに依存して行われ得る。干渉がないとは、ここでは、非常に様々な干渉の影響の不在ということであり、これらの干渉の影響は、例えば道路端での建設および/または移動手段のすぐ近くのさらなる移動手段のように、信頼できる路面濡れ認識を困難にし、またはそれどころか不可能にする。このような干渉の影響は、例えば第2の信号に基づいて、またはLIDARセンサおよび/もしくはレーダセンサのようなさらなる周辺環境センサの信号に基づいて確定され得る。干渉の影響が存在する場合には、評価ユニットが、干渉の影響の発生前の、路面の濡れ状態を表す路面濡れ情報を画像処理ユニットに伝送し得る。この値は、1つまたは複数の干渉の影響が移動手段の周辺環境から消滅するまでの間、システム全体における路面濡れ情報として継続して使用され得ることが好ましい。こうすることで、干渉の影響の短期的な出現および消滅が、路面濡れ情報の望ましくなく頻繁な変更を生じさせないので、とりわけ時間的に限定された干渉の影響が回避され、有利である。これにより、所定のパラメータセットの望まれない頻繁な取り替えもまた回避される。
既に上で述べたように第1の超音波センサは、第1の超音波センサの捕捉領域が移動手段の走行方向にまたは移動手段の走行方向とは逆に存在しているように、移動手段に配置され得る。それだけでなく、移動手段の周辺環境をこれに加えて第2の超音波センサに基づいて捕捉することができ、とりわけ、第2の超音波センサの捕捉領域が移動手段の走行方向にまたは移動手段の走行方向とは逆に存在しているように移動手段に配置された第2の超音波センサによって捕捉することができる。好ましい一形態では、例えば第1の超音波センサが移動手段の走行方向に、および第2の超音波センサが移動手段の走行方向とは逆に方向づけられる。こうすることで両方の超音波センサに基づいて路面濡れ情報が確定でき、これにより、それぞれの第1の信号から得られた路面濡れ情報の追加的な尤度確認が可能である。その代わりに、その時々の時点で干渉の影響の割合が最小の超音波センサの第1の信号がそれぞれ、路面濡れに関して評価されることにより、交代で第1の超音波センサまたは第2の超音波センサに基づいて路面濡れ情報が確定される。これに関連して、第1および第2の超音波センサだけでなく、さらなる超音波センサが本発明による方法のために用いられ得ることを指摘しておく。つまり、例えば第3、第4、およびそれ以上の超音波センサを用いることができ、これらの超音波センサは、上述の形態に倣って組み合わされおよび使用され得る。第1、第2、第3、第4、および場合によっては、さらなる超音波センサの配置は、移動手段のフロント領域および/またはリア領域には明示的に制限されていない。
本発明のさらなる有利な一形態では、第1の信号から確定された路面濡れ情報が、第2の信号から確定された路面濡れ情報によって尤度確認され得る。これは、カメラ画像内での光源の反射の分析に基づいて、例えばこれらの光源が車道面の上にあるのかまたは見た目には下にあるのかがチェックされることによって行われ得る。それだけでなく、路面濡れ情報は移動手段のさらなるセンサおよび/または制御機器によっても尤度確認され得る。ここでは、例えば移動手段のフロントガラスに配置された雨センサが、または移動手段のさらなるセンサも考慮される。
周辺環境認識によって確定された、移動手段の周辺環境内のオブジェクトについての情報は、続いてなかでも移動手段の運転者支援システムおよび/または自律制御システムに送られて、そこで使用され得る。
本発明の第2の態様によれば、第1の超音波センサの路面濡れ情報を使って移動手段のカメラベースの周辺環境認識を補助するための装置が提案される。この装置は、評価ユニットおよびデータ入力部を含んでいる。評価ユニットは、例えばASIC、FPGA、プロセッサ、デジタル信号プロセッサ、マイクロコントローラなどとして形成することができ、かつ内部および/または外部のメモリユニットに情報通信技術により接続され得る。評価ユニットはそれだけでなく、本発明による方法を、評価ユニットによって実行されるコンピュータプログラムと関連させて実施するよう適応され得る。評価ユニットはさらに、データ入力部と関連して、移動手段の第1の超音波センサを使って確定された、移動手段の周辺環境を表す第1の信号を捕捉するよう、および移動手段のカメラを使って確定された、移動手段の周辺環境を表す第2の信号を捕捉するよう適応されている。超音波センサは、移動手段の既存の超音波センサであり得ることが好ましい。超音波センサはさらに、例えば移動手段のフロントエプロン内もしくはリア領域内に、または移動手段のさらなる位置にも配置でき、したがって前方または後方にある車道およびその周辺環境が捕捉され得る。カメラは、例えば標準、HD、もしくはUltra-HDの画像解像度を有する2Dもしくは3Dカメラまたは赤外線カメラである。カメラは、カメラが移動手段の前方にある周辺環境を捕捉し得るように、移動手段に配置および方向づけされることが好ましい。評価ユニットは、移動手段のオンボードネットワークにより、超音波センサおよびカメラと直接的におよび/または間接的に、情報通信技術により接続され得る。それだけでなく評価ユニットは、第1の信号に基づいて路面濡れ情報を確定し、この路面濡れ情報に依存して、複数の所定のパラメータセットから1つの所定のパラメータセットを選択し、かつこの所定のパラメータセットと関連させて、第2の信号に基づいて周辺環境認識を実施するよう適応されている。
以下に本発明の例示的実施形態を、添付の図面を参照しながら詳細に説明する。
本発明による方法の1つの例示的な実施形態のステップを示すフロー図である。 移動手段と関連した本発明による装置のブロック図である。 第1の超音波センサの速度依存のノイズレベルに係るグラフである。
図1は、第1の超音波センサ30の路面濡れ情報を使って移動手段80のカメラベースの周辺環境認識を補助するための本発明による方法の1つの例示的実施形態のステップを図解するフロー図を示している。第1のステップ100では、マイクロコントローラである本発明による評価ユニット10により、移動手段80の第1の超音波センサ30を使って、移動手段80の周辺環境60を表す第1の信号が捕捉される。第1の超音波センサ30は、移動手段80のフロントエプロン内に配置されており、かつ移動手段80の走行方向に方向づけられている。評価ユニット10は、評価ユニット10のデータ入力部12を使って第1の信号を受信し、かつ第1の信号によって表された周辺環境情報を、マイクロコントローラの内部のメモリユニット20に保存する。ステップ200では、移動手段80のカメラ40を使って、移動手段80の周辺環境60を表す第2の信号が捕捉される。カメラ40は、移動手段80の室内で、移動手段80のフロントガラスの上側領域に配置されており、かつカメラ40が移動手段80の前方にある周辺環境60を捕捉し得るように方向づけられている。カメラ40の第2の信号は、移動手段80の画像処理ユニットによって受信され、この画像処理ユニットはカメラ40と情報通信技術により接続されている。超音波センサ30の第1の信号およびカメラ40の第2の信号は、実質的に同一の時点で捕捉される。ステップ300では、評価ユニット10によって実行されるコンピュータプログラムを使って、第1の信号に基づいて路面濡れ情報が確定される。このために評価ユニット10は、第1の信号のノイズレベル70を、ノイズレベル70に関する所定の閾値75と比較する。ノイズレベル70による所定の閾値75の上回りは、移動手段80の周辺環境60内の路面濡れの存在を類推させる。この場合には所定の閾値75に基づいて路面濡れの存在が認識されるので、評価ユニット10は、その時々の路面濡れ情報を含む相応の信号を、移動手段80のオンボードネットワークの車両用バスを使って画像処理ユニットに送信する。画像処理ユニットは本発明による方法のステップ400で、受信された路面濡れ情報に依存して、複数の所定のパラメータセットから1つの所定のパラメータセットを選択する。この場合に画像処理ユニットによって選択されたパラメータセットは、ニューラルネットワークをベースとする分類器の設定を表しており、この分類器は、事前に(例えば移動手段80の開発段階で)、類似の路面濡れ条件下でトレーニングされている。続いてステップ500では画像処理ユニットにより、所定のパラメータセットと関連させて、第2の信号に基づいて周辺環境認識が実施される。その後、周辺環境認識によって確定された、移動手段80の周辺環境60内のオブジェクトについての情報が、オンボードネットワークにより移動手段80の自律制御システムに伝送され、かつ自律制御システムにより移動手段80の自律制御の過程で使用される。
図2は、移動手段80と関連した本発明による装置のブロック図を示している。この装置は評価ユニット10を含んでおり、評価ユニット10は、ここではマイクロコントローラであり、かつデータ入力部12を備えている。評価ユニット10はデータ入力部12により、移動手段80のオンボードネットワークを介し、移動手段80の走行方向に方向づけられた第1の超音波センサ30および走行方向とは逆に方向づけられた第2の超音波センサ35と情報通信技術により接続されている。同様にデータ入力部12を介して評価ユニット10は移動手段80の走行方向に方向づけられたカメラ40と、移動手段80のオンボードネットワークを介して情報通信技術により接続されている。評価ユニット10はさらに、外部のメモリユニット20と情報通信技術により接続されており、外部のメモリユニット20は、評価ユニット10によって受信された、評価ユニット10によるその後の処理のための情報を保存するよう適応されている。評価ユニット10は、第1の超音波センサ30、第2の超音波センサ35、およびカメラ40を使って実質的に同一の時点で移動手段80の周辺環境60を捕捉することができる。この例では、本発明による方法のすべてのステップが評価ユニット10自体で実行され、つまり評価ユニット10は、第1の超音波センサ30および第2の超音波センサ35の第1の信号に基づいて路面濡れ情報を確定するよう適応されているだけでなく、さらに、路面濡れ情報と対応する所定のパラメータセットを選択するよう、およびその所定のパラメータセットを使い、カメラ40の第2の信号に基づいて周辺環境認識を実行するよう適応されている。
図3は、第1の超音波センサ30の速度依存のノイズレベル70のグラフを示している。グラフの第1の段階P1では、第1の超音波センサ30を本発明に係る方法の意味において用いる移動手段80が、第1の段階P1の所定の閾値75と対応する速度vで走行している。言い換えれば、移動手段80の最初は相対的に低い速度vに基づいて、第1の段階P1では、第1の信号のノイズレベル70と比較するための複数の所定の閾値75のうち、この速度範囲のために事前に定められた所定の閾値75が使用されている。ノイズレベル70が第1の段階P1では全体的に、第1の段階P1の所定の閾値75より上にあるので、本発明による評価ユニット10により、路面濡れの存在が確認される。速度vの推移に関しては、移動手段80の速度vがここでは時間の経過と共にさらに増大することが認識され得る。速度値v1に達すると評価ユニット10により、このときの比較的高い速度vに基づいて、第1の段階P1の所定の閾値75とは相違する第2の段階P2のための所定の閾値75が選択される。これにより第2の段階P2の所定の閾値75の、比較的高い速度vによって生成されるノイズレベル70への適合が行われる。ノイズレベル70は、第2の段階P2の始めは第2の段階P2の所定の閾値75より上にあるので、既に第1の段階P1でそうであったように、最初はここでもまた路面濡れの存在が認識される。第2の段階P2内の時点t1では、ノイズレベル70の曲線が第2の段階P2の所定の閾値75を下回るほど下がっている。それに反応して評価ユニット10により、乾いた車道表面が確認される。

Claims (11)

  1. 第1の超音波センサ(30)の路面濡れ情報を使って移動手段(80)のカメラベースの周辺環境認識を補助するための方法であって、
    前記移動手段(80)の前記第1の超音波センサ(30)を使って、前記移動手段(80)の周辺環境(60)を表す第1の信号を捕捉するステップ(100)と、
    前記移動手段(80)のカメラ(40)を使って、前記移動手段(80)の前記周辺環境(60)を表す第2の信号を捕捉するステップ(200)と、
    前記第1の信号に基づいて前記路面濡れ情報を確定するステップ(300)と、
    前記路面濡れ情報に依存して、複数の所定のパラメータセットから1つの所定のパラメータセットを選択するステップ(400)と、
    前記所定のパラメータセットと関連して、前記第2の信号に基づき周辺環境認識を実行するステップ(500)と
    を含む方法。
  2. 前記第1の信号と前記第2の信号が実質的に同じ時点で捕捉される、請求項1に記載の方法。
  3. 前記路面濡れ情報が、前記第1の信号のノイズレベル(70)とノイズレベル(70)に関する所定の閾値(75)との比較によって、とりわけ前記ノイズレベル(70)と速度依存の所定の閾値(75)との比較によって確定される、請求項1または2に記載の方法。
  4. 前記路面濡れ情報の前記確定(300)が、追加的に前記移動手段(80)の
    速度および/または
    加速度および/または
    エンジン回転数
    に依存して行われる、請求項1から3のいずれか一項に記載の方法。
  5. 前記所定のパラメータセットが、トレーニングされた自己学習システムの設定を表す、請求項1から4のいずれか一項に記載の方法。
  6. 前記所定のパラメータセットの選択(400)が、代替的にまたは追加的に
    前記ノイズレベル(70)の変化および/または
    その時々の外気温度および/または
    前記移動手段(80)の前記周辺環境(60)内に存在する水分量
    に依存して行われる、請求項1から5のいずれか一項に記載の方法。
  7. 前記路面濡れ情報の確定(300)が、前記第1の信号への干渉がないことに依存して行われる、請求項1から6のいずれか一項に記載の方法。
  8. 前記第1の超音波センサ(30)は、前記第1の超音波センサ(30)の捕捉領域が前記移動手段(80)の走行方向にまたは前記走行方向とは逆方向に存在するように、前記移動手段(80)に配置される、請求項1から7のいずれか一項に記載の方法。
  9. 前記周辺環境(60)がこれに加えて第2の超音波センサ(35)に基づいて捕捉され、前記第2の超音波センサ(35)は、前記第2の超音波センサ(35)の捕捉領域が前記移動手段(80)の走行方向にまたは前記走行方向とは逆方向に存在するように前記移動手段(80)に配置されている、請求項1から8のいずれか一項に記載の方法。
  10. 前記第1の信号から確定された前記路面濡れ情報が、前記第2の信号から確定された路面濡れ情報によって尤度確認される、請求項1から9のいずれか一項に記載の方法。
  11. 第1の超音波センサ(30)の路面濡れ情報を使って移動手段(80)のカメラベースの周辺環境認識を補助するための装置であって、
    評価ユニット(10)および
    データ入力部(12)を含んでおり、
    前記評価ユニット(10)が、
    前記データ入力部(12)と関連して、
    前記移動手段(80)の前記第1の超音波センサ(30)を使って確定された、前記移動手段(80)の周辺環境(60)を表す第1の信号を捕捉するよう、
    前記移動手段(80)のカメラ(40)を使って確定された、前記移動手段(80)の前記周辺環境(60)を表す第2の信号を捕捉するよう、
    前記第1の信号に基づいて路面濡れ情報を確定するよう、
    前記路面濡れ情報に依存して、複数の所定のパラメータセットから1つの所定のパラメータセットを選択するよう、および
    前記所定のパラメータセットと関連して、前記第2の信号に基づき周辺環境認識を実行するように構成されている装置。
JP2021547885A 2018-10-31 2019-09-16 第1の超音波センサの路面濡れ情報を使って移動手段のカメラベースの周辺環境認識を補助するための方法 Active JP7069425B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018218733.9 2018-10-31
DE102018218733.9A DE102018218733A1 (de) 2018-10-31 2018-10-31 Verfahren zur Unterstützung einer kamerabasierten Umfelderkennung eines Fortbewegungsmittels mittels einer Strassennässeinformation eines ersten Ultraschallsensors
PCT/EP2019/074653 WO2020088829A1 (de) 2018-10-31 2019-09-16 Verfahren zur unterstützung einer kamerabasierten umfelderkennung eines fortbewegungsmittels mittels einer strassennässeinformation eines ersten ultraschallsensors

Publications (2)

Publication Number Publication Date
JP2022509379A JP2022509379A (ja) 2022-01-20
JP7069425B2 true JP7069425B2 (ja) 2022-05-17

Family

ID=67999619

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021547885A Active JP7069425B2 (ja) 2018-10-31 2019-09-16 第1の超音波センサの路面濡れ情報を使って移動手段のカメラベースの周辺環境認識を補助するための方法

Country Status (7)

Country Link
US (1) US11580752B2 (ja)
EP (1) EP3874402A1 (ja)
JP (1) JP7069425B2 (ja)
KR (1) KR20210083303A (ja)
CN (1) CN112997189A (ja)
DE (1) DE102018218733A1 (ja)
WO (1) WO2020088829A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022202036A1 (de) 2022-02-28 2023-08-31 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Bereitstellen eines Klassifikationsergebnisses zur Objektidentifikation mithilfe ultraschallbasierter Sensorsysteme in mobilen Einrichtungen

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007322231A (ja) 2006-05-31 2007-12-13 Fujifilm Corp 路面状況検出装置
US20160001780A1 (en) 2014-07-02 2016-01-07 Lg Electronics Inc. Driver assistance apparatus capable of recognizing a road surface state and vehicle including the same
US20160357187A1 (en) 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
DE102016009022A1 (de) 2016-07-23 2017-02-02 Daimler Ag Verfahren zur Erkennung von Nässe auf einer Fahrbahn
JP2017078912A (ja) 2015-10-19 2017-04-27 株式会社デンソー 障害物報知装置
JP2018066726A (ja) 2016-09-22 2018-04-26 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 濡れた車道または湿った車道を認識するため、および物体検知をするための方法および計算ユニット
JP2018072236A (ja) 2016-11-01 2018-05-10 株式会社デンソー 異常検出装置

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2945230B2 (ja) 1993-02-25 1999-09-06 三菱電機株式会社 路面状態検知装置
JP2000304860A (ja) * 1999-04-23 2000-11-02 Matsushita Electric Works Ltd 車載用超音波検知器
US7920102B2 (en) * 1999-12-15 2011-04-05 Automotive Technologies International, Inc. Vehicular heads-up display system
US9873442B2 (en) * 2002-06-04 2018-01-23 General Electric Company Aerial camera system and method for identifying route-related hazards
JP4183542B2 (ja) * 2003-03-28 2008-11-19 名古屋電機工業株式会社 車両用路面状態検出装置、車両用路面状態検出方法および車両用路面状態検出装置の制御プログラム
DE102004020282A1 (de) * 2003-04-24 2006-07-20 Roman Koller Verlustmessung mit Sensor
JP4296940B2 (ja) * 2004-01-13 2009-07-15 トヨタ自動車株式会社 車両運転支援装置および車両運転支援方法
JP3934119B2 (ja) 2004-06-14 2007-06-20 本田技研工業株式会社 車両周辺監視装置
DE102005023696A1 (de) 2005-05-23 2006-11-30 Robert Bosch Gmbh Überwachungseinrichtung für ein Fahrzeug
US20140172727A1 (en) * 2005-12-23 2014-06-19 Raj V. Abhyanker Short-term automobile rentals in a geo-spatial environment
DE102006037591A1 (de) * 2006-08-11 2008-02-14 Robert Bosch Gmbh Vorrichtung zur Erfassung eines bewegten Objektes
CN101016053A (zh) * 2007-01-25 2007-08-15 吉林大学 高等级公路上车辆防追尾碰撞预警方法和系统
JP4952444B2 (ja) * 2007-08-29 2012-06-13 横浜ゴム株式会社 車両走行路面状態推定システム
JP5034809B2 (ja) * 2007-09-18 2012-09-26 マツダ株式会社 車両用路面状態推定装置
DE102010044219A1 (de) * 2010-11-22 2012-05-24 Robert Bosch Gmbh Verfahren zur Erfassung der Umgebung eines Fahrzeugs
EP2686647A1 (en) 2011-03-15 2014-01-22 Jaguar Land Rover Limited Vehicle under-body mounted sensor and control system
CN105593875B (zh) * 2011-06-17 2020-02-07 罗伯特·博世有限公司 用于识别车辆的周围环境中的天气状况的方法和控制设备
DE102011056051A1 (de) 2011-12-05 2013-06-06 Conti Temic Microelectronic Gmbh Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera unter Berücksichtigung von Informationen über Regen
DE102012221518A1 (de) 2012-11-26 2014-05-28 Robert Bosch Gmbh Verfahren zur Ermittlung der Straßenglätte in einem Fahrzeug
JPWO2015045501A1 (ja) * 2013-09-27 2017-03-09 日立オートモティブシステムズ株式会社 外界認識装置
DE102013226631A1 (de) * 2013-12-19 2015-06-25 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Ermittlung von lokalen Wetterverhältnissen und eines lokalen Fahrbahnzustands
US20150202770A1 (en) * 2014-01-17 2015-07-23 Anthony Patron Sidewalk messaging of an autonomous robot
US9335178B2 (en) * 2014-01-28 2016-05-10 GM Global Technology Operations LLC Method for using street level images to enhance automated driving mode for vehicle
US9550418B1 (en) * 2014-06-03 2017-01-24 Twin Harbor Labs, LLC Travel safety control
DE102014213536A1 (de) * 2014-07-11 2016-01-14 Bayerische Motoren Werke Aktiengesellschaft Zusammenfügen von Teilbildern zu einem Abbild einer Umgebung eines Fortbewegungsmittels
US9428183B2 (en) * 2014-07-31 2016-08-30 Toyota Motor Engineering & Manufacturing North America, Inc. Self-explaining autonomous vehicle
DE102015202782A1 (de) * 2015-02-17 2016-08-18 Robert Bosch Gmbh Verfahren zum Betreiben einer Sensorvorrichtung und Sensorvorrichtung
DE102015106408A1 (de) * 2015-04-27 2016-10-27 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Sensoranordnung zum Erkennen eines Zustands einer Fahrbahn mit einem Ultraschallsensor, Fahrerassistenzsystem, Kraftfahrzeug sowie dazugehöriges Verfahren
DE102015106401A1 (de) * 2015-04-27 2016-10-27 Valeo Schalter Und Sensoren Gmbh Sensoranordnung zum Erkennen eines Zustands einer Fahrbahn mit zumindest zwei beabstandeten Ultraschallsensoren, Fahrerassistenzsystem, Kraftfahrzeug sowie dazuhöriges Verfahren
DE102015208429A1 (de) * 2015-05-06 2016-11-10 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnreflexionen
DE102015015022A1 (de) 2015-11-20 2016-05-25 Daimler Ag Vorrichtung und Verfahren zur Ermittlung von Nässe auf einer Fahrbahn
US9928427B2 (en) * 2015-12-03 2018-03-27 GM Global Technology Operations LLC Vision-based wet road surface condition detection using tire rearward splash
DE102016103251A1 (de) * 2016-02-24 2017-08-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben von mindestens einem Sensor zur Umfelderfassung eines Fahrzeugs
DE102016122987A1 (de) * 2016-11-29 2018-05-30 Valeo Schalter Und Sensoren Gmbh Verfahren zum vorrausschauenden Bestimmen einer Aquaplaninggefahr für ein Kraftfahrzeug, Fahrerassistenzsystem, Kraftfahrzeug sowie Aquaplaning-Bestimmungssystem
CN106600987A (zh) * 2016-12-28 2017-04-26 北京博研智通科技有限公司 一种具有多维检测功能的路口交通信号控制方法及系统
DE102017206244A1 (de) * 2017-04-11 2018-10-11 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zur ermittlung eines fahrbahnzustands

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007322231A (ja) 2006-05-31 2007-12-13 Fujifilm Corp 路面状況検出装置
US20160001780A1 (en) 2014-07-02 2016-01-07 Lg Electronics Inc. Driver assistance apparatus capable of recognizing a road surface state and vehicle including the same
US20160357187A1 (en) 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
JP2017078912A (ja) 2015-10-19 2017-04-27 株式会社デンソー 障害物報知装置
DE102016009022A1 (de) 2016-07-23 2017-02-02 Daimler Ag Verfahren zur Erkennung von Nässe auf einer Fahrbahn
JP2018066726A (ja) 2016-09-22 2018-04-26 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 濡れた車道または湿った車道を認識するため、および物体検知をするための方法および計算ユニット
JP2018072236A (ja) 2016-11-01 2018-05-10 株式会社デンソー 異常検出装置

Also Published As

Publication number Publication date
EP3874402A1 (de) 2021-09-08
US20210124957A1 (en) 2021-04-29
WO2020088829A1 (de) 2020-05-07
KR20210083303A (ko) 2021-07-06
DE102018218733A1 (de) 2020-04-30
CN112997189A (zh) 2021-06-18
US11580752B2 (en) 2023-02-14
JP2022509379A (ja) 2022-01-20

Similar Documents

Publication Publication Date Title
US11126195B2 (en) System and method for detecting occluded objects based on image processing
CN107782727B (zh) 基于融合的湿路面检测
US9272676B2 (en) Method for detecting a wet road
US10155520B2 (en) Driver assistance apparatus and control method thereof
JP6888950B2 (ja) 画像処理装置、外界認識装置
CN106537180B (zh) 用于用针对行人的主动制动的摄影机输入缓解雷达传感器限制的方法
CN105593700B (zh) 带有入口匝道检测的自适应巡航控制
US20200406897A1 (en) Method and Device for Recognizing and Evaluating Roadway Conditions and Weather-Related Environmental Influences
US9643617B2 (en) Friction coefficient estimation from camera and wheel speed data
EP3189993A1 (en) Air circulation control device for vehicle
US9574538B2 (en) Idling stop control system for vehicle
US10699136B2 (en) System and method for camera-based detection of object heights proximate to a vehicle
CN108337476A (zh) 摄像机和清洗器喷射诊断
US20170136962A1 (en) In-vehicle camera control device
WO2016157698A1 (ja) 車両検出システム、車両検出装置、車両検出方法、及び車両検出プログラム
JP7069425B2 (ja) 第1の超音波センサの路面濡れ情報を使って移動手段のカメラベースの周辺環境認識を補助するための方法
WO2018024585A1 (en) Method for at least semi-autonomously maneuvring a motor vehicle into a garage based on ultrasonic signals and camera images, driver assistance system as well as motor vehicle
JP2008529183A (ja) 自動車の前方にある障害物を検知するシステム
US11052822B2 (en) Vehicle control apparatus, control method, and storage medium for storing program
CN106926770B (zh) 一种灯光控制方法及装置
JP7606894B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20230117967A1 (en) Vehicle, automated valet parking system, and automated valet parking method
US20220332328A1 (en) Device for determining a length of a vehicle combination
US20230186644A1 (en) A vision system and method for a motor vehicle
US11195029B2 (en) Driver assistance system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220502

R150 Certificate of patent or registration of utility model

Ref document number: 7069425

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150