JP5921720B2 - 運転支援方法および運転支援システム - Google Patents

運転支援方法および運転支援システム Download PDF

Info

Publication number
JP5921720B2
JP5921720B2 JP2014553663A JP2014553663A JP5921720B2 JP 5921720 B2 JP5921720 B2 JP 5921720B2 JP 2014553663 A JP2014553663 A JP 2014553663A JP 2014553663 A JP2014553663 A JP 2014553663A JP 5921720 B2 JP5921720 B2 JP 5921720B2
Authority
JP
Japan
Prior art keywords
vehicle
driving support
distance
stereo base
stereo
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014553663A
Other languages
English (en)
Other versions
JP2015512817A (ja
Inventor
フォン ツィツェヴィツ ヘニンク
フォン ツィツェヴィツ ヘニンク
ミュールマン カーステン
ミュールマン カーステン
エーゲルハーフ ヤン
エーゲルハーフ ヤン
カノ ラファエル
カノ ラファエル
ヴェパ レオ
ヴェパ レオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2015512817A publication Critical patent/JP2015512817A/ja
Application granted granted Critical
Publication of JP5921720B2 publication Critical patent/JP5921720B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Description

従来技術
本発明は、車両の運転支援方法と、運転支援システムとに関する。
交通密度が増大すると、特に、人口密度が高い中心街において、運転者が車両を駐車できる空きの駐車場を見つけるのが困難になる。その場合、運転者は、車両を駐車するのに比較的狭い駐車スペースを利用しなければならないと判断するが、狭い駐車スペース内へ運転することは容易ではない。このような作業はパーキングアシストにより、すなわち、駐車プロセスを支援する運転支援システムにより容易になる。
運転支援システムは、駐車位置への車両の運転のアシスト、半自動化または完全自動化を実現することができる。こうするためには、車両の運転をアシストまたは実施するために、車両の現在位置と既知の目標位置とに依存して操舵コマンドを、車両の運転者または車両の制御システムへ伝達する。この操舵コマンドは、表示ユニット上にて運転者に対して出力することができ、このような操舵コマンドの出力により、運転者は車両の操縦、加速および制動により、提案された経路を辿ることができる。他に、車両の長手方向制御および/または横方向制御を自律的に行うために運転支援システム自体が車両のコントローラおよび/またはドライブトレインに介入できる運転支援システムも存在する。このような運転支援システムでは、運転者はアクセルペダルまたはブレーキペダルを作動させることにより駐車プロセスを制御したり、または、自動車から降車して外部コントローラを介してこの駐車プロセスを開始および停止させたりすることもでき、これにより、完全自動の駐車が実現される。
自動的に駐車スペースを計測して、車両がこの駐車スペースに入るか否かを判定する運転支援システムが公知である。DE 10 2005 027 642 A1 に、駐車すべき車両の側方に位置する駐車スペースに当該車両を駐車するプロセスを支援する手法が記載されており、この手法では、車両の側部に設置された第1のセンサ装置を用いてこの駐車スペースを検出する。このセンサ装置にはとりわけ、超音波センサ、レーダセンサまたはライダーセンサが含まれる。駐車スペースの計測に超音波システム、レーダセンサおよびライダーセンサを用いることの欠点は、これらのセンサが如何なる状況においても有利である訳ではなく、特に、周辺に吸収性の媒質が存在する場合、または、一般的に円錐形である、これらのセンサの検出領域の外部に対象物が存在する場合、上述のセンサはどのような状況においても有利であるとは限らなくなることである。
DE 10 2008 062 708 A1 に記載された駐車スペース計測手法は、スキャンレーザシステムの他にビデオカメラも併用することにより、駐車スペースの寸法を検出することができる。
他に、ビデオカメラが側方の周辺を監視するシステムも公知となっている。DE 10 2006 024 609 A1 に、自動車の車両ドアの旋回スペースに危険物が存在するか否かを監視する手法が記載されており、この手法では、車両の側方周辺領域の方を向くように車両に設置されたカメラの画像データを取り込む。この手法では、少なくとも2つの異なる撮像時点においてカメラの画像データを取り込み、両撮像時点間の自動車の動き情報を検出し、撮像画像データと動き情報とに基づいて3次元の周辺モデルを作成し、これを解析して、車両ドアの旋回スペースにおける危険物の有無を判定する。
本発明の基礎となる課題は、サイドカメラを用いるための他の機能を可能にする運転支援方法および運転支援システムを実現することである。
発明の開示
前記課題は、請求項1に記載の特徴を有する運転支援方法と、請求項10に記載の構成を有する運転支援システムとによって解決される。従属請求項に、本発明の有利な実施形態が記載されている。
本発明では、車両のサイドカメラが当該車両の周辺を検出し、第1のステレオベースに当該サイドカメラの複数の第1の画像を選択し、当該第1の画像から第1の3D情報を求めて、当該車両から当該車両の周辺にあるオブジェクトまでの第1の距離を計算し、第2のステレオベースに当該サイドカメラの複数の第2の画像を選択し、当該第2の画像から第2の3D情報を求めて、当該車両から当該車両の周辺にある前記オブジェクトまでの第2の距離を計算し、前記第1の距離と前記第2の距離との比に関する情報を、当該車両の横方向制御に用いる。
前記ステレオベースに選択される画像は、一般的に、相互に時間間隔を置いて撮像された、サイドカメラの2つの画像である。ステレオベースに選択された、サイドカメラの2つの画像から、公知のように、検出した周辺の3D点群を抽出することができる。2つのステレオベースの計算に用いられる画像から、車両の横方向制御に用いることが可能な、時間パラメータ化された3D点群を得ることができる。ステレオベースは有利には、複数のステレオベースを含むシーケンスを取り込み、このシーケンスから、周辺の、時間軸に即しひいては時間依存性の3Dモデルを得るという閉ループ制御で求められる。
有利には、車両から周辺のオブジェクトまでの第1の距離と第2の距離との比を車両の横方向制御に用いることにより、提案された経路を車両の操縦、加速および制動により運転者が辿れるように、表示ユニット上にて運転者に対して操舵コマンドを出力することができる。また、車両から周辺のオブジェクトまでの第1の距離と第2の距離との比を用いて、車両の横方向制御を自律的に行う、当該車両のステアリングシステムに対して操舵コマンドを伝達することも可能である。
発明の利点
特に有利なのは、運転支援システムの枠内において乗員が、特に運転者自身が起動できる駐車支援機能にて、または、所定の速度を下回ったときに自動的に起動する駐車支援機能にて、前記方法を使用できることである。その際にはたとえば、車両から境界要素までの距離を規定距離に維持するために前記方法を用いることができる。前記境界要素はたとえば縁石であるか、もしくは、車道と、芝生面等である他の特性の面との境界である。前記方法は特に、一列に並んだ駐車中の車両間にある駐車スペースに車両を駐車するときに用いることができる。駐車支援の場合には、検出された境界要素までの距離を運転者が手動または音声コマンドにより規定することが可能である。通常は、車両製造業者がこの距離を設定する。すなわち、車両モデルに応じて決定する。その際には、運転者はたとえば少数の選択肢から、たとえば、当該運転者が快適に降車できるようにすること、および/または、同乗者ないしは他の人が快適に降車できるようにすることを選択することができる。また、着座の有無の解析により、助手席側のスペースを増減して決定することも可能である。
他の適用例として、一列に並んで駐車中である車両の間に、たとえば、道路に対して垂直または90°と異なる角度で駐車中である一列の車の間に車両を前方駐車または後方駐車するときに、横方向制御を行う適用例がある。この横方向制御は、運転席側および/または助手席側に位置するオブジェクトに対して行うことができる。たとえば、一列に並んで駐車中の車両に対応する駐車支援時に、運転者は手動または音声コマンドにより、運転席側から隣に駐車中の車両までの距離を車両長さにわたって一定にするように、および/または、助手席側の距離を車両長さにわたって一定にするように、および/または、距離の平均値が適切な値になるように、横方向制御を行うべきことを設定することができ、特に、運転席側の隣に位置する車両の車両外側部分の右側と助手席側の隣に位置する車両の車両外側部分の左側との間の角度により規定することができる角二等分線に基づいて、横方向制御を行うべきことを設定することができる。駐車支援の場合には、運転者は、並んで駐車中である車両の列において、当該運転者が快適に降車できるように、および/または、同乗者ないしは他の人が快適に降車できるように、境界要素までの距離を手動または音声コマンドによって設定することができる。また、着座の有無の解析により、助手席側のスペースを増減して決定することも可能である。
本発明の方法の他の用途として、たとえば、比較的多くの大型駐車スペースに存在する狭いスペースを通過する運転中、または裏道等での走行中等の徐行運転中がある。前記横方向制御は、運転席側および/または助手席側に位置するオブジェクトを基準として行うことができる。有利には、運転席側に存在するオブジェクトに基づいて、および/または助手席側に存在するオブジェクトに基づいて横方向制御を行うべきことを、運転者が手動または音声コマンドにより設定することができ、また、どの程度の距離を遵守すべきかを設定することができる。とりわけ、渋滞時に前記方法を使用して、車両の前進時に左側走行中および/または右側走行中の車両の方を向くように方向を調整するように横方向制御を行うことができる。本発明のさらに他の適用例としては、たとえば車両が立体駐車場内において急傾斜の上りまたは下り螺旋スロープを走行しなければならない場合がある。その際に操縦を容易にするためには、たとえば、縁石または中央ピラーまでの距離を一定に維持することができる。その際には、能動的な操舵トルクをハンドルに与え、運転者がアクセルペダルによりコントロールを維持できるようにすることができる。
前記ステレオベースは、サイドカメラの2つの異なる画像の撮像位置間の空間的距離として定義される。車両が移動している場合、車両速度の推移が分かれば、前記2つの撮像画像の時間的間隔を、撮像位置間の空間的距離に換算することができ、またその逆に、空間的距離を時間的間隔に換算することができる。撮像位置間の空間的距離は、走行距離測定によって求めることもできる。車両の速度が異なると、時点tおよびt+Δtでサイドカメラにより撮像される2つの画像間の空間的距離も異なってくる。というのも、数式Δt=Δs/vにおけるΔtは車速に依存するからである。
最も簡単なケースでは、ステレオベースに用いられる画像の時間的間隔を一定にすることができる。しかし、ステレオベースの計算および周辺の時間依存性の3次元モデルの構築に使用される画像の撮像位置間の空間的距離の値が規定されていることも有利である。両画像において異なる視点で見えるオブジェクトを対応付けられるようにするためには、ステレオベースに用いられる画像の空間的距離を過度に大きくしてはならない。有利な実施形態では、第1のステレオベースの空間的サイズは2cm乃至50cmであり、特に有利には5cm乃至10cmである。前記方法がたとえば運転支援システムにおいて駐車プロセスの支援のために用いられる場合、非常に正確な操縦を行えるようにするためには、第1のステレオベースの空間的サイズを2cm乃至10cmの範囲内とし、特に約5cmに規定することができる。前記方法を、たとえば約5km/hの徐行運転中に用いる場合、第1のステレオベースの空間的サイズを異なるサイズに選択することができ、たとえば5cm乃至10cmまたは10cm乃至20cmとすることができる。
特に有利には、前記第2のステレオベースの空間的サイズが第1のステレオベースの空間的サイズと実質的に等しくなるように、前記第2のステレオベースに割り当てられる第2の画像を選択することができる。実質的に等しいとは、サイドカメラのフレームレートが15Hz乃至35Hzの間であるかまたはこれを超えることを考慮しなければならないことを意味する。リアルタイムシステムを保証するためには、通常は少なくとも25Hzのフレームレートを選択する。フレームレートは有限であるから、空間的距離を時間的間隔に換算する際にはこれに応じて、距離を一貫して切り上げまたは切り捨てする。ステレオベースの空間的サイズが実質的に一定である場合には、3D点群において動いているオブジェクトが存在する場合、このオブジェクトを特に良好に検出することができる。また、第2のステレオベースの空間的サイズが第1の空間的サイズより大きいかまたは小さくなるように、第2のステレオベースに割り当てられる第2の画像を選択することもできる。このように選択することによりズームをシミュレートすることができ、これにより、第1のステレオベースに対して異なる距離を置いて複数の同様の構造の解像を可能にする視点から検出された3D点群が検査される。
第1のステレオベースの第1の基準位置は、当該第1のステレオベースを計算するのに用いられる第1の画像を撮像することにより特定することができる。第2のステレオベースの第2の基準位置も同様に、第2のステレオベースを計算するのに用いられる第1の画像を撮像した時点とすることができる。第1のステレオベースと第2のステレオベースとの間における基準位置の時間的間隔は、閉ループ制御において一定とすることができる。また、周辺の時間依存性の3次元モデルを構築するために用いられるステレオベース間の空間的距離の値を規定値とすることも有利である。ステレオベース相互間の空間的距離は、適用事例に応じて適宜調整することができる。1つの有利な実施形態では、第1のステレオベースの基準位置と第2のステレオベースの基準位置との間には2cm乃至50cmの空間的距離が存在し、特に有利には5cm乃至10cmの空間的距離が存在する。前記システムがたとえば運転支援システムにおいて駐車プロセスの支援のために用いられる場合、非常に正確な操縦を行えるようにするためには、両ステレオベース間の空間的距離を2cm乃至10cmの範囲内とし、特に約5cmに規定することができる。前記システムを徐行運転中に用いる場合、両ステレオベース間の空間的距離を異なる距離に選択することができ、たとえば5cm乃至10cmまたは10cm乃至20cmとすることができる。
有利には、前記ステレオベースの空間的サイズおよび/または両ステレオベースの基準位置間の空間的距離は、車両の速度に依存して選択される。たとえば、車速が6km/h乃至15km/hである場合、ステレオベースの空間的サイズおよび/または両ステレオベースの基準位置間の空間的距離をたとえば5cm乃至10cmまたは10cm乃至20cmの間とする第1のモードを設定し、車速が10km/hを下回る場合、特に6km/hを下回る場合には、前記ステレオベースの空間的サイズおよび/または両ステレオベースの基準位置間の空間的距離を2cm乃至10cmとし、特に約5cmとする別のモードを設定することができる。特に有利なのは、適用例に応じて、重要な3D情報のみを計算することである。速度が高くなるほど、必要とされる計算量を少なくすることができる。たとえば他車等の障害物の傍を車両が前進するように慎重に操縦している場合等の低速の場合には、周辺の3Dモデルを特に正確に計算できるようにするため、ステレオベースの計算速度を高くしなければならないことがある。また、速度の段階付けを、2つのモード数より細かくすることも可能であり、たとえばモード数を3または4とすることができる。
1つの実施形態では、速度30kmゾーンにおいて、または、道路上の駐車スペースが狭い住宅地において、または、狭い工事現場において前記方法を使用するか、または前記方法が使用可能であるように構成されている。このような実施形態により、貨物自動車またはコンクリート壁との側方衝突を回避することができる。というのも場合によっては、このような障害物をフロントカメラ画像から常に予測できるとは限らないからである。この実施形態に代えて択一的に、車速が15km/hを下回る場合に、特に10km/hを下回る場合に、有利には6km/hを下回る場合に、前記方法を使用するか、または前記方法を使用できるように構成する。換言すると、本発明の幾つかの実施形態では、たとえば6km/h、10km/hまたは15km/h等の規定の限界速度を上回る場合、前記方法を使用しないように構成することができる。このことにより、計算に不必要な手間がかかるのを回避することができ、本発明の方法の適用を、技術的に、車両周辺側方部分の時間依存性の3Dモデルから高信頼性の情報を得ることができる場合にのみ限定することができる。
本発明の有利な実施形態では、フロントカメラおよび/またはリヤカメラの検出領域外にある領域において、車両周辺側方部分の時間依存性の3Dモデルを求め、フロントカメラおよび/またはリヤカメラにより、サイドカメラの検出領域と一部重なり得る領域が検出される。これらのカメラの検出領域が相互に重なる場合、サイドカメラにおいて対象領域(ROI)、すなわち、時間依存性の3Dモデルを計算する範囲内である評価対象領域を規定することができ、この評価対象領域外では、他のカメラによって十分な精度で周辺を検出および判定することができる。つまり、この側方の3Dモデルは有利には、フロントカメラおよび/またはリヤカメラが何も撮像しない領域においてのみ計算される。このことにより、計算量を著しく低減させることができる。
本発明ではさらに、プログラミング可能なコンピュータ装置上で実行されるときに上記の方法のうちいずれかを実行するためのコンピュータプログラムを提案する。このコンピュータプログラムはたとえば、車両において運転支援システムまたは運転支援システムのサブシステムを具現化するモジュールとするか、または、スマートフォン上にて実行可能な運転支援機能のためのアプリケーションとすることができる。前記コンピュータプログラムは、機械読取り可能な記憶媒体に記憶することができ、たとえば、永続的記憶媒体または再書き込み可能記憶媒体上に記憶するか、もしくは、コンピュータ装置に配属させるか、もしくは、リムーバブルCD‐ROM、DVDまたはUSBメモリ上に記憶することができる。これと併用して、またはこれに代えて択一的に、たとえばダウンロード用サーバ等のコンピュータ装置上に前記コンピュータプログラムを実装することも可能であり、前記ダウンロード用サーバはたとえば、インターネット等のデータネットワークを介して、または、たとえば電話回線または無線リンク等の通信リンクを介してダウンロード可能なサーバである。
本発明ではさらに運転支援システムも提供する。この運転支援システムはとりわけ、上述の方法のうちいずれかを実施するためのものであり、
・車両周辺を検出するためのサイドカメラと、
・場合によっては車両情報に基づいて、ステレオベースを求めるモジュールと、
・前記サイドカメラの画像をステレオベースに選択するモジュールと、
・前記車両から当該車両の周辺にあるオブジェクトまでの複数の距離を、前記サイドカメラの、ステレオベースに選択された画像から計算するモジュールと、
・前記車両から当該車両の周辺にあるオブジェクトまでの2つの距離の比を計算するモジュールと
を有する。
前記運転支援システムは、前記サイドカメラのデータを他のセンサ系のデータと組み合わせて処理するフュージョン部品を有することができ、これによってたとえば、側方周辺にあるオブジェクトの妥当性検査を行うこと、および/または、周辺の時間依存性の3Dモデルを計算するために他の情報を考慮することができる。前記他のセンサ系はたとえば、超音波センサ系、レーダ系および/またはライダ系である。
車両の横方向制御部品は、表示ユニット上にて運転者に対して操舵コマンドを出力する部品を有することができ、これにより運転者は、車両の操縦、加速および制動により、提案された経路を辿ることができ、および/または、前記横方向制御部品は、車両の半自動操縦または完全自動操縦を実現するため、車両のステアリングシステムを駆動制御する部品を有することができる。
前記サイドカメラは、車両側方周辺を撮像するために構成されたカメラであれば、どのようなカメラとすることもでき、とりわけ、車両のサイドミラーに組み付けられたサラウンドビューカメラ(SVSカメラ)とするか、または、車両ノーズから側方に外側に向けられたサイドビューアシスタントカメラ(SVAカメラ)とするか、または、死角検出カメラ(BSDカメラ)とすることができる。
以下、図面を参照して本発明の他の実施例および利点を説明する。
運転支援システムの機能的構成要素の概略図である。 車両と車両側方周辺とを含む状況を上から見た図である。 ステレオベースを求める時点を示す時間軸半直線を示す図である。
本発明の実施形態
図1は、本発明の運転支援システムの機能的構成要素を示す概略図である。この運転支援システムは、車両側方周辺の時間依存性の3Dモデルを構築して車両の横方向制御に用いるように構成されている。
この運転支援システムはサイドカメラ1を有し、このサイドカメラ1は単眼カメラとすることができる。サイドカメラ1は有利には、車両のサイドミラーに組み付けられたサラウンドビューカメラ(SVSカメラ)であるか、または、車両ノーズから側方に外側に向けられたサイドビューアシスタントカメラ(SVAカメラ)である。また、サイドカメラ1を死角検出カメラ(BSDカメラ)とすることも可能である。
運転支援システムは場合によっては更に別のセンサ2を有することもあり、この別のセンサ2はとりわけ、更に別のサイドカメラおよび/またはフロントカメラおよび/またはバック走行カメラおよび/または超音波センサおよび/またはレーダセンサおよび/またはライダーセンサである。
運転支援システムはさらに、車両情報を検出する部品3も含み、この部品3は、車両の現在の速度および/または走行距離測定結果および/または車両の舵角に関するデータを出力する。以下、この部品3を車両データセンサ3とも称する。前記運転支援システムはさらにGPS受信器4も有することができる。これにより、車両の現在位置に関する情報が運転支援システムへ供給される。
運転支援システムはまた、目標状態を検出するための部品5も含み、この部品5には、運転者が手動入力または音声入力したデータならびに/もしくは予め設定されたデータが、たとえば目標間隔および/または参照サイドが供給される。
サイドカメラ1、前記別のセンサ2、車両データセンサ3、GPS受信器4、および目標状態検出部品5のデータは、入力回路6において受信される。この入力回路6は、データ処理装置8とデータ交換を行うためのバスシステム7に接続されている。データ処理装置8は、別のバスシステム9または同じバスシステム7により出力回路10に接続されている。出力回路10を介して、車両の横方向制御を行うための手段である操舵装置11と表示器12とが制御されるように構成することができる。
データ処理装置8は、ステレオベースを計算するためのモジュール15を含み、このモジュール15は車両データセンサ3のデータを処理する。このモジュールは走行距離測定および/または現在の速度を用いて、空間的距離を時間間隔に換算し、また時間間隔から空間的距離に換算することができる。ステレオベースを計算するためのモジュール15は、サイドカメラの画像を選択すべき時点を出力する。幾つかの実施形態では、ステレオベースを時間的に一定とすることも可能である。
データ処理装置8は、サイドカメラの画像を選択するためのモジュール16を有し、このモジュール16は、サイドカメラ1のデータと、ステレオベース計算モジュール15のデータとを処理する。場合によっては先行のステレオベースまでの距離を考慮してステレオベース計算モジュール15により設定され撮像画像列に依存して丸め処理された時点に基づき、サイドカメラ画像選択モジュール16は、ステレオベースに割り当てられる画像を選択する。
データ処理装置7はさらに、ステレオベースに選択された前記サイドカメラの画像から、車両から当該車両周辺のオブジェクトまでの距離を計算するためのモジュール17も有する。車両からオブジェクトまでの距離を計算するための前記モジュール17は、前記サイドカメラ画像選択モジュール16により選択された画像を処理し、自明の手法を用いて、当該画像から各ステレオベースごとに3次元点群を求める。この3次元点群から、車両から車両周辺のオブジェクトまでの距離を求める。検出された周辺全体を上述のオブジェクトと捉えて、求められた周辺から車両までの距離を求めることも可能である。
車両からオブジェクトまでの距離計算モジュール17は、車両の時間依存性の3次元周辺を作成するために構成することができる。時間依存性の3Dモデルを計算するためには、サイドカメラの画像の選択モジュール16により供給される少なくとも2つのステレオベースの画像が必要である。車両からオブジェクトまでの距離計算モジュール17は、これらの画像上にて複数の連結領域を求め、場合によっては他の周辺センサ系のデータと融合して、たとえば車両、縁石または道路利用者等のオブジェクトを分類し、当該オブジェクトから車両までの距離を個別に正確に求めることができる。
データ処理装置7はさらに、時間推移における車両から当該車両周辺のオブジェクトまでの複数の距離の比を計算するための別のモジュール18も含む。車両からオブジェクトまでの距離の比を計算するこのモジュール18は、車両からオブジェクトまでの距離計算モジュール17のデータを処理する。オブジェクトまたは周辺までの距離が増大すると、時間的に連続して求められた2つの距離の比は1を上回る。前記距離が縮小すると、前記比は1を下回る。
データ処理装置はさらに、側方距離を制御するためのモジュール19も含む。この側方距離制御モジュール19は、車両からオブジェクトまでの複数の距離の比を計算するモジュール18からの、車両から当該車両周辺のオブジェクトまでの時間的に連続して求められた2つの距離の比を処理する。前記モジュール19はさらに、車両からオブジェクトまでの距離計算モジュール17により求められた、当該車両からオブジェクトまで距離も受け取って処理する。前記側方距離制御モジュール19はさらに、目標状態を検出するための部品5からのデータも処理する。目標値に達したか、または目標値を上回るか、または目標値を下回るかに応じて、前記側方距離制御モジュール19は、側方距離が縮小、増大または維持するように制御する。こうするためには、側方距離制御モジュール19は出力回路10を介してステアリング装置11および/または表示器12を駆動制御することができる。
図2は、車両20と、運転者側に位置する障害物21とを含む状況を上から見た図である。車両20には、図1を参照して説明した、本発明の運転支援システムが装備されている。車両20には、運転者側にサイドカメラ22が設置されている。助手席側のサイドカメラも設置できるが、より概観しやすくするため、ここでは図示していない。
車両20は障害物21の傍を低速で通過し、たとえば15km/hの速度を下回ると、または、10km/hの速度を下回ると、または、6km/hの速度を下回ると、運転支援システムは自動的にスイッチオンする。また、運転者は運転支援システムを、たとえば駐車支援の枠内で、自らスイッチオンするように構成することも可能である。走行中、サイドカメラ22は車両20の側方周辺を撮像する。
第1の時点tでは、車両20は第1の位置25に位置する。この第1の位置25は、たとえば車両中心点の位置またはたとえば重心等により、適切に規定することができる。第2の時点tでは、車両20は第2の位置26に位置する。第3の時点tでは、車両20は第3の位置27に位置する。第4の時点tでは、車両20は第4の位置28に位置する。第1の位置25と第2の位置26とは、第1の空間的距離を置いて離隔している。この第1の空間的距離は第1のステレオベース29と称され、第1のステレオベースは2つの第1の基準位置25,26を含む。
第3の位置27と第4の位置28とは、第2の空間的距離を置いて離隔している。この第2の空間的距離は第2のステレオベース30と称され、2つの第2の基準位置27,28を含む。前記2つのステレオベース間の空間的距離31は、第1の位置25から第3の位置27までの距離によって決められる。両ステレオベース間のこの空間的距離31は有利には、規定された値を有し、車両の速度に依存して決定することができる。また、各ステレオベースを規定する両空間的距離も有利には、規定された値を有し、車両の速度に依存して決定することができる。
この実施例では、運転支援システムは2つの異なる時点において、車両20からオブジェクト21までの距離を計算し、第1の距離32は第1のステレオベース29に割り当てられ、第2の距離33は第2のステレオベース30に割り当てられる。車両20からオブジェクト21までの距離32,33はそれぞれ、1点から直線までの距離として定義すること、すなわち、オブジェクト21から、車軸に対して垂直でありかつ車両中心を通る車両の主軸34までの距離として定義することができる。距離32,33は、車両から第1の第1基準位置25または第2の第1基準位置26までの軸を基準とすることができる。また、車両20からオブジェクト21までの距離はとりわけ、オブジェクトから車両の外側輪郭までの距離として、特に、たとえばミラー等の付属部品も含めた輪郭までの距離として定義することができる。
オブジェクト21の傍を車両20が通過している間に距離32,33が大きくなると、時間的に連続して求められた2つの距離の比は1を上回る。前記距離が縮小すると、前記比は1を下回る。所定の目標値に達したか、または目標値を上回るか、または目標値を下回るかに応じて、側方距離が縮小、増大または維持するように制御する。
図3は、一例としてステレオベースを計算する複数の択一的な時点を示す時間軸33である。最初の時点tにおいて、ステレオベースのための第1の画像を選択することができる。時点tにおいて、第2のステレオベースのための第1の画像を選択することができる。時点tにおいて、第1のステレオベースのための第2の画像を選択することができる。時点tにおいて、第2のステレオベースのための第2の画像を選択することができる。択一的に、前記第2の時点tにおいて第1のステレオベースのための第2の画像を選択することも可能である。その際には、第3の時点tにおいて第2のステレオベースのための第1の画像を選択し、第4の時点tにおいて第2のステレオベースのための第2の画像を選択することができる。後者の択一的な態様は、図2に示されている。車両の速度が変化すると、ステレオベースを決める時間的間隔は一般的に、相互に線形結合されなくなる。したがって、可能な限り正確な3D情報を抽出するためには、ステレオベースを空間的に定義する。
本発明は、上述の実施例に限定されたり、上述の実施例にて強調して説明した側面に限定されることはない。むしろ、特許請求の範囲にて記載した範囲内で、当業者の通常の能力の範囲で行える変更は数多く存在する。

Claims (13)

  1. 車両(20)のサイドカメラ(1,22)が当該車両(20)の周辺を検出し、
    第1のステレオベース(29)に、前記サイドカメラ(1,22)の複数の第1の画像を選択し、当該第1の画像から第1の3D情報を求めて、前記車両(20)から当該車両(20)の周辺にあるオブジェクト(21)までの第1の距離(32)を計算する、
    運転支援方法において、
    第2のステレオベース(30)に、前記サイドカメラ(1,22)の複数の第2の画像を選択し、前記両ステレオベース(29,30)の空間的サイズ、および/または、前記両ステレオベース(29,30)の基準位置(25,26,27,28)間の空間的距離を、前記車両(20)の速度に依存して設定し、前記第2の画像から第2の3D情報を求めて、前記車両(20)から当該車両(20)の周辺にある前記オブジェクト(21)までの第2の距離(33)を計算し、
    前記第1の距離(32)と前記第2の距離(33)との比に関する情報を、前記車両(20)の横方向制御に用いる
    ことを特徴とする運転支援方法。
  2. 前記第1のステレオベース(29)の空間的サイズは2cm乃至50cmである、
    請求項1記載の運転支援方法。
  3. 前記第1のステレオベース(29)の空間的サイズは5cm乃至10cmである、
    請求項2記載の運転支援方法。
  4. 前記第2のステレオベース(30)の空間的サイズは、前記第1のステレオベース(29)の空間的サイズに等しい、
    請求項1から3までのいずれか1項記載の運転支援方法。
  5. 前記第1のステレオベース(29)の基準位置(25,26)と前記第2のステレオベース(30)の基準位置(27,28)との間に、2cm乃至50cmの空間的距離が存在する、
    請求項1から4までのいずれか1項記載の運転支援方法。
  6. 前記空間的距離は5cm乃至10cmである、
    請求項5記載の運転支援方法。
  7. 前記両ステレオベース(29,30)の空間的サイズ、および/または、前記両ステレオベースの基準位置(25,26,27,28)間の空間的距離を、走行距離測定および/またはGPS信号により求める、
    請求項1からまでのいずれか1項記載の運転支援方法。
  8. 前記車両の速度が15km/hを下回る場合、前記運転支援方法を使用するか、または使用可能である、
    請求項1からまでのいずれか1項記載の運転支援方法。
  9. 前記車両の速度が10km/hを下回る場合、前記運転支援方法を使用するか、または使用可能である、
    請求項記載の運転支援方法。
  10. 前記車両の速度が6km/hを下回る場合、前記運転支援方法を使用するか、または使用可能である、
    請求項記載の運転支援方法。
  11. フロントカメラおよび/またはリヤカメラの検出領域外にある領域における、前記車両の側方周辺の時間依存性の3Dモデルを求める、
    請求項1から10までのいずれか1項記載の運転支援方法。
  12. プログラミング可能なコンピュータ装置上で実行されるときに請求項1から11までのいずれか1項記載の運転支援方法を実施するためのコンピュータプログラム。
  13. 請求項1から11までのいずれか1項記載の運転支援方法を実施するための、運転支援システムであって、
    ・車両の周辺を検出するためのサイドカメラ(1,22)
    ・車両情報に基づいて、ステレオベース(29,30)を求めるためのモジュール(15)
    ・前記サイドカメラ(1,22)の複数の画像を前記ステレオベース(29,30)に選択するためのモジュール(16)
    ・前記サイドカメラ(1,22)の、前記ステレオベース(29,30)に選択された前記画像から、前記車両(20)と、当該車両(20)の周辺にあるオブジェクト(21)との間の複数の距離(32,33)を計算するためのモジュール(17)と、
    ・前記車両(20)から、当該車両(20)の周辺にあるオブジェクト(21)までの2つの距離(32,33)の比を計算するためのモジュール(18)と、
    を有し、
    前記ステレオベース(29,30)の空間的サイズ、および/または、前記ステレオベース(29,30)の基準位置(25,26,27,28)間の空間的距離は、前記車両(20)の速度に依存して設定される
    ことを特徴とする運転支援システム。
JP2014553663A 2012-01-25 2013-01-03 運転支援方法および運転支援システム Active JP5921720B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102012201051.3 2012-01-25
DE102012201051A DE102012201051A1 (de) 2012-01-25 2012-01-25 Verfahren zur Fahrassistenz und Fahrassistenzsystem
PCT/EP2013/050036 WO2013110479A1 (de) 2012-01-25 2013-01-03 Verfahren zur fahrassistenz und fahrassistenzsystem

Publications (2)

Publication Number Publication Date
JP2015512817A JP2015512817A (ja) 2015-04-30
JP5921720B2 true JP5921720B2 (ja) 2016-05-24

Family

ID=47563419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014553663A Active JP5921720B2 (ja) 2012-01-25 2013-01-03 運転支援方法および運転支援システム

Country Status (4)

Country Link
EP (1) EP2807065B1 (ja)
JP (1) JP5921720B2 (ja)
DE (1) DE102012201051A1 (ja)
WO (1) WO2013110479A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10366541B2 (en) 2017-07-21 2019-07-30 Ford Global Technologies, Llc Vehicle backup safety mapping
DE102018219308A1 (de) 2018-11-13 2020-05-14 Hyundai Motor Company Verfahren zum Assistieren von Parkbucht-Einparkmanövern eines Fahrzeugs und Einparkassistent für ein Fahrzeug

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000161915A (ja) * 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
DE20105340U1 (de) * 2001-03-26 2001-07-26 Daimler Chrysler Ag Dimensionale Umfelderfassung
DE10148062A1 (de) * 2001-09-28 2003-04-10 Ibeo Automobile Sensor Gmbh Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes
JP4321357B2 (ja) * 2004-05-27 2009-08-26 株式会社デンソー 駐車支援装置
JP4449701B2 (ja) * 2004-10-28 2010-04-14 株式会社デンソー 駐車支援システム
DE102005027642A1 (de) 2005-06-15 2006-12-21 Robert Bosch Gmbh Verfahren und Vorrichtung zur Unterstützung eines Einparkvorgangs eines Fahrzeugs
DE102006007150A1 (de) * 2005-08-05 2007-02-08 Volkswagen Ag Verfahren und Vorrichtung zur Parklückenvermessung
DE102006021177A1 (de) * 2006-05-06 2007-11-08 Bayerische Motoren Werke Ag Verfahren zur Folgeregelung für ein Kraftfahrzeug
DE102006024609A1 (de) 2006-05-26 2007-11-29 Bayerische Motoren Werke Ag Verfahren zur Überwachung des Schwenkraums einer Fahrzeugtür
JP2008143430A (ja) * 2006-12-12 2008-06-26 Toyota Motor Corp 駐車支援装置
JP2008201178A (ja) * 2007-02-16 2008-09-04 Toyota Motor Corp 駐車支援装置
DE102008004632A1 (de) * 2008-01-16 2009-07-23 Robert Bosch Gmbh Vorrichtung und Verfahren zur Vermessung einer Parklücke
DE102008060684B4 (de) 2008-03-28 2019-05-23 Volkswagen Ag Verfahren und Vorrichtung zum automatischen Einparken eines Kraftfahrzeugs
US8044781B2 (en) * 2008-11-10 2011-10-25 Volkswagen Ag System and method for displaying a 3D vehicle surrounding with adjustable point of view including a distance sensor
DE102009032541B4 (de) * 2009-07-10 2013-04-18 Audi Ag Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs
DE102010001258A1 (de) * 2010-01-27 2011-07-28 Robert Bosch GmbH, 70469 Fahrerassistenzverfahren

Also Published As

Publication number Publication date
WO2013110479A1 (de) 2013-08-01
EP2807065B1 (de) 2016-07-20
EP2807065A1 (de) 2014-12-03
JP2015512817A (ja) 2015-04-30
DE102012201051A1 (de) 2013-07-25

Similar Documents

Publication Publication Date Title
US10650680B2 (en) Parking lot mapping system
CN110103967B (zh) 一种车辆自动变道方法及车辆控制系统、车辆
JP6795036B2 (ja) 出庫支援方法及び装置
CN106043281A (zh) 自动联结辅助系统
CA3071604C (en) Parking control method and parking control device
US20170197615A1 (en) System and method for reverse perpendicular parking a vehicle
JP6713541B2 (ja) 駐車制御方法及び駐車制御装置
JP4946631B2 (ja) 発進支援装置、表示装置
JP7505927B2 (ja) 車載装置、及び制御方法
US11305756B2 (en) Parking control method and parking control apparatus
US10421394B2 (en) Driving assistance device, and storage medium
RU2740661C1 (ru) Способ управления парковкой и устройство управления парковкой
KR102464484B1 (ko) 차량의 후진주행보조시스템 및 후진주행보조방법
JP2020003934A (ja) 車両用通信装置、車両用通信方法、及び制御プログラム
JP2021000952A (ja) 駐車支援システム
JP2012123606A (ja) 車線変更制御装置および車線変更ストレス評価方法
JP7163077B2 (ja) 駐車支援装置、及び駐車支援方法
US10955849B2 (en) Automatic driving system
JP5921720B2 (ja) 運転支援方法および運転支援システム
JP7412234B2 (ja) 駐車情報管理サーバ、駐車支援装置及び駐車支援システム
JP6996228B2 (ja) 駐車制御方法及び駐車制御装置
WO2019188209A1 (ja) 車両、表示制御装置、および記録媒体
JP2020164065A (ja) 車両制御装置、車両、車両制御方法、及び車両制御プログラム
JP2019018796A (ja) 駐車制御方法及び駐車制御装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160412

R150 Certificate of patent or registration of utility model

Ref document number: 5921720

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250