JP7244546B2 - 運転支援方法、制御ユニット、運転支援システム、および操作装置 - Google Patents

運転支援方法、制御ユニット、運転支援システム、および操作装置 Download PDF

Info

Publication number
JP7244546B2
JP7244546B2 JP2020565882A JP2020565882A JP7244546B2 JP 7244546 B2 JP7244546 B2 JP 7244546B2 JP 2020565882 A JP2020565882 A JP 2020565882A JP 2020565882 A JP2020565882 A JP 2020565882A JP 7244546 B2 JP7244546 B2 JP 7244546B2
Authority
JP
Japan
Prior art keywords
box
new
old
driving assistance
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020565882A
Other languages
English (en)
Other versions
JP2021525423A (ja
Inventor
レーダー,イェンス
ケスラー,ミヒャエル
ケーゲル,パトリック
ブリューゲルト,シュテッフェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2021525423A publication Critical patent/JP2021525423A/ja
Application granted granted Critical
Publication of JP7244546B2 publication Critical patent/JP7244546B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Mechanical Engineering (AREA)

Description

本発明は、操作装置または車両のための運転支援システム、操作装置の運転支援システムのための制御ユニット、運転支援システムそのもの、ならびに操作装置、特に車両に関する。
操作装置の場合、特に車両分野において、オブジェクトとの起こり得る衝突に関してそれぞれの装置の周囲を検査し、対応する警告メッセージを発し、および/または装置の動作に介入する動作支援システムおよび方法がますます使用されている。公知のシステムおよび方法では、例えば3次元データの評価を行う比較的複雑なシステムおよびデータ構造が使用され、および/または、周囲の対応した評価の有効性は、例えば制動を決定するために装置の作動に介入するために十分ではない。
これに対して、請求項1の特徴を有する本発明による運転支援方法は、比較的簡単な手段によって操作装置を運転するために特に信頼性の高い衝突予想を行うことができるという利点を有する。これは、本発明によれば、請求項1の特徴によって、操作装置のための、特に車両のための運転支援方法であって、
(S1)連続した時点における操作装置の視野内のオブジェクトに対するオブジェクトボックスまたはそのようなオブジェクトボックスを特徴づけるデータが取得され、
(S2)連続して、または直接に連続して記録した画像に対する所与のオブジェクトのオブジェクトボックスから、それぞれのオブジェクトに対するオブジェクトボックスの目下のスケーリング変化またはスケーリング変化と、それぞれのオブジェクトに対するオブジェクトボックスの目下の横方向の位置変化とが決定され、
(S3)それぞれのオブジェクトに対するオブジェクトボックスの目下のスケーリング変化またはスケーリング変化から導かれる大きさ、および目下の横方向位置変化から、将来に予想されるオブジェクトボックスが決定され、
(S4)予想したオブジェクトボックスの位置および/または予想したオブジェクトボックスの横方向範囲と検出した視野および/または記録した画像の横方向範囲に対するの比が決定および評価され、
(S5)評価の結果に依存して、(i)予想したオブジェクトボックスの基礎となるオブジェクトが、起こり得る衝突に対して危険であるか否かが決定され、および/または(ii)操作装置の運転状態が制御または調整されることによって達成される。
したがって、本発明によれば、操作装置の周囲の評価は、いわゆる「オブジェクトボックス」と、対応して予想されるオブジェクトボックスと、検出された視野に対するこれらオブジェクトボックスの大きさの変化とに基づいている。これらのデータは、実質的に純粋に2次元的に検出され、高精度で決定することができる。
従属請求項は、本発明の好ましいさらなる構成を示す。
原則として、オブジェクトボックスに関連するデータは、外部から、例えば、従来の運転者支援システムの光学検出ユニットによって供給することができる。
しかしながら、本発明による運転支援方法の好ましい実施形態では、オブジェクトボックスおよび/またはオブジェクトボックスを特徴づけるデータを取得するステップ(S1)で、またはステップ(S1)のために
(S1a)時間的に連続した画像を記録しながら、基礎となる操作装置の視野が2次元および/または単眼で光学的に検出され、
(S1b)連続して記録した画像または画像のカットにおいて、少なくとも1つのオブジェクトおよびオブジェクトに割り当てられたオブジェクトボックスが決定される。
既に上述したように、本発明の重要な態様は、オブジェクトに対して検出されたオブジェクトボックスの将来の視野における予想である。このような予想は様々な方法で実施することができる。
本発明による運転支援方法の一実施形態では、将来に予想されるオブジェクトボックスは、少なくとも、現在最後に検出された画像または画像のカットについて決定される。
これは、特に、予想期間まで複数の時間増分にわたって、それぞれのオブジェクトボックスのスケーリングまたはそこから導かれた大きさ、それぞれのオブジェクトボックスの座標、それぞれのオブジェクトボックスの平行移動、および/またはそれぞれのオブジェクトボックスの横幅についての値を反復的に決定および更新することによって行う。
予想期間および/または時間増分はあらかじめ決定され、固定されていてもよい。しかしながら、予想期間および/または時間増分を、さらなる運転パラメータ、例えば、装置、特に車両自体の自己速度および/または位置、または装置、特に車両の周囲の1つ以上のオブジェクトのあらかじめ予想された速度および/または位置に依存させることも望ましい。このようにして、周囲のオブジェクトの数に基づいて、および/または装置および/またはオブジェクトの比較的高い自己速度に基づいて必要な場合には、時間的に近接して監視を行うことができることが有利である。これに対して、交通量が比較的少ない場合、または同様の状況では、監視労力を低減することができる。
これに関連して、本発明による運転支援方法の別の実施形態によれば、それぞれの時間増分に対して、特に指定された順序で、以下のステップを実施することができる:
(I1)割当て規則にしたがって、計算すべき値をリセットまたは事前設定する。
スケーリング古い:=スケーリング新しい
ボックス平行移動X古い:=ボックス平行移動X新しい
ボックス幅古い≒ボックス幅新しい
ボックス位置左古い:=ボックス位置左新しい
ボックス位置右古い:=ボックス位置右新しい
(I2)次の割当て規則にしたがってスケーリングを更新する。
スケーリング新しい:=1/(2-スケーリング古い
(I3)次の割当て規則にしたがって、水平方向または横方向のオブジェクトボックスの平行移動を更新する。
ボックス平行移動X新しい:=ボックス平行移動X古い×スケーリング古い
(I4)次の割当て規則にしたがって、水平方向または横方向のオブジェクトボックス幅を更新する。
ボックス幅新しい:=ボックス位置右古い-ボックス位置左古い
(I5)次の割当て規則にしたがって、水平方向または横方向のボックス位置を予測する。
ボックス位置左新しい:=ボックス位置左古い+ボックス平行移動X古い-0.5×ボックス幅新しい×(スケーリング新しい-1)/スケーリング新しい
ボックス位置右新しい:=ボックス位置右新しい+ボックス平行移動X新しい+0.5×ボックス幅新しい×(スケーリング新しい-1)/スケーリング新しい
この場合、スケーリング古いもしくはスケーリング新しいはオブジェクトボックスの古い、もしくは新しいスケーリングを示し、ボックス平行移動X古いもしくはボックス平行移動X新しいはオブジェクトボックスの古い、もしくは新しい変位を示し、ボックス幅古いもしくボックス幅新しいはオブジェクトボックスの古い、もしくは新しい幅を示し、ボックス位置左古いもしくはボックス位置左新しいはそれぞれのオブジェクトボックスの第1のX座標としてのオブジェクトボックスの左下角隅の古い、もしくは新しい位置を示し、ボックス位置右古いもしくはボックス位置右新しいはそれぞれのオブジェクトボックスの第2のX座標もしくはその値としてオブジェクトボックスの右下角隅の古いもしくは新しい位置を示す。
代替的または付加的には、上記の方程式は、以下の計算規則によって置き換えるか、または補足することができる。
ボックス位置左新しい:=(ボックス位置左現在+ボックス速度左現在 予測)/(1+標準速度現在 予測
ボックス位置右新しい:=(ボックス位置現在+ボックス速度右現在 予測/(1+標準速度現在 予測
この場合、ボックス位置左新しいおよびボックス位置左現在もしくはボックス位置右新しいおよびボックス位置右現在は、左もしくは右のボックスエッジの新しい、もしくは現在の位置であり、ボックス速度左現在およびボックス速度右現在は、左もしくは右のボックスエッジの現在測定された角速度であり、標準速度現在は現在測定されたいわゆる「標準化または規格化された」ボックス速度であり、T予測は、予測時間段階に関連する予測時間である。標準速度現在は、特に、オブジェクトボックスの計算されたスケーリング変化から導かれる。
本発明による運転支援方法の特定の実施形態では、オブジェクトに対して予想されるオブジェクトボックスの幅の割合が、基礎となる画像または画像の所定のカットの幅について所定の第1のしきい値を超える場合には、予想されるオブジェクトボックスの基礎となるオブジェクトが、起こり得る衝突に関して、特に100%の危険性の値によって、危険であると決定されるように設定されている。しきい値は、それぞれの車両モデルおよび/またはそれぞれの新しい車両モデルに新たに適用される必要がある。
これに関連して、オブジェクトについて予想されたオブジェクトボックスの幅が、基礎となる画像または画像の所定のカットの外側に位置決めされた割合だけ、オブジェクトについて決定された危険性の値が低減される場合、特に有利である。
代替的にまたは付加的に、予想したオブジェクトボックスが、基礎となる画像または画像の所定のカットの完全に外側にある場合には、予想したオブジェクトボックスの基礎となるオブジェクトは、起こり得る衝突に関して、特に、0%の危険性の値によって、危険ではないと決定されるように有利に設定されている。
将来のオブジェクトボックスを予想する場合にできるだけ現実的な場面を考慮するために、本発明による運転支援方法の別の有利な実施形態によれば、オブジェクトとして歩行者を決定し、歩行者モデルに基づいてオブジェクトとしての歩行者の位置および動きを検査および評価し、歩行者について決定された速度に基づいてオブジェクトとしての歩行者の加速能力を決定し、速度および加速能力に基づいてオブジェクトとしての歩行者の危険性を決定するように設定されている。
加速能力に基づいて、予想され、拡張されたオブジェクトボックスを包囲するか、または少なくとも横方向または水平方向に含む予想されたオブジェクトボックスが生成され、危険性の評価時に基礎として使用される場合、特に有利である。
本発明のさらなる態様によれば、操作装置、特に車両の運転支援システムのための制御ユニットも生成される。
本発明による制御ユニットは、本発明による運転支援方法を制御および実行するように、および/または本発明による運転支援方法にしたがって、基礎となる運転支援システムを作動するように設定されている。
さらに本発明は、操作装置のための、特に車両のための運転支援システムに関する。この運転支援システムは、本発明による運転支援方法を実行するように設定されている。このために、運転支援システムは、特に、本発明にしたがって構成された制御ユニットを有する。
さらに、本発明は、本発明による運転支援システムを有する操作装置も提供する。
操作装置は、特に、車両、自動車、または乗用車として構成されている。
本発明のさらなる態様によれば、歩行者保護、サイクリスト保護、ACC、および/または回避システムまたは方法のための、本発明による運転支援方法、本発明による制御ユニット、本発明による運転支援システム、および/または本発明による操作装置の使用が提案される。
添付の図面を参照して本発明の実施形態を詳述する。
本発明による運転支援方法の一実施形態を使用することができる車両の形式の本発明による作業装置を示す概略的な平面図である。 本発明による運転支援方法によって評価することができる視野内の様々な場面を示す概略的な側面図である。 本発明による運転支援方法によって評価することができる視野内の様々な場面を示す概略的な側面図である。 本発明による運転支援方法によって評価することができる視野内の様々な場面を示す概略的な側面図である。 本発明による運転支援方法もしくは予想したオブジェクトボックスの反復決定の一実施形態を示すフロー図である。 本発明による操作支援方法または予想したオブジェクトボックスの反復決定の一実施形態を示すフロー図である。
以下に図1~図6を参照して、本発明の実施形態および技術的背景を詳細に説明する。同じ、および同等の、ならびに同じように、または同等に作用する要素および構成要素は同じ参照符号によって示される。示された要素および構成要素の詳細な説明はその都度繰り返さない。
示される特徴およびさらなる特性は、本発明の核心から逸脱することなしに任意の形式で互いに分離し、任意に互いに組み合わせることができる。
図1は、本発明による運転支援方法Sの一実施形態を使用することができる車両1′の形式の本発明による操作装置1の概略的な平面図を示している。
本発明による車両1′は、本質的に、車輪4を取り付けた車体2によって形成され、車輪はドライブトレイン12によって駆動ユニット20を介して駆動可能であり、ステアリングおよびブレーキユニット30と、対応するブレーキおよび/またはステアリングワイヤ13とを介して制動および/または操舵可能である。
さらに、本発明による運転支援システム100の実施形態は、本発明の意味で操作装置1としての本発明による車両1′の構成要素である。運転支援システム100は、車両1′の周囲から視野50を単眼で結像するためのカメラユニット40からなる。視野50は、オブジェクト52として歩行者52′を有する場面53を含む。
制御ユニット10は、制御および検出ライン11を介して、一方ではカメラユニット40に接続され、他方では制御のために駆動ユニット20ならびにブレーキおよび/またはステアリングユニット30に接続されている。
図1に示す実施形態では、カメラユニット40によって視野50から検出された場面53の画像51は制御および検出ライン11を介して制御ユニット10に送信され、そこで本発明による運転支援方法Sに関連して評価される。
このように、本発明によれば、それぞれの画像またはフレーム51内のオブジェクト52としての歩行者52′に関連して、オブジェクトボックス54、およびオブジェクトボックスから時間的に直接に連続する画像51に対して、ボックスエッジの位置変化およびスケーリング変化、角速度のパラメータおよび/またはこれにより導かれたオブジェクトボックス43の大きさが決定され、反復方法Iに基づいて、オブジェクト52に対して予想されるボックス55を表示するための予想の基礎をなす。
図2~図4は、本発明による運転支援方法Sによって評価することができる視野50内の様々な場面53の概略的な側面図を示す。
図2に示す状況では、場面53ではオブジェクト52として歩行者52′が、図1に示すカメラユニット40を用いて画像またはフレーム51に結像される視野50に位置している。必要に応じて、画像またはフレーム51は、対応するカットまたは部分51′によって制限される。
まず、歩行者52′に対してオブジェクトボックス54が導かれる。時間的に先行する画像またはフレーム51からのオブジェクトボックス54と比較して、オブジェクトボックス54のスケーリング変化およびシフトまたは平行移動の量、ボックスエッジの角度位置、角速度および/またはそこから導かれる大きさが決定される。これらの大きさから、上述の反復方法Iにおいて、ステップI1~I5を用いて、多数の時間増分にわたって、経過した予測期間に対して見込まれる予想されるオブジェクトボックス55に関して予想を行うことができる。このようにして、予想されるオブジェクトボックス55に対する右下角隅および左下角隅および幅55bを有する位置に関して所与のオブジェクトボックス54を将来の予想期間にわたって推定する。
評価のために、予想期間に将来予想されるオブジェクトボックス55の幅55bが、画像51のカット51′の幅51bと比較される。この比率が所定の第1のしきい値を超える場合、オブジェクト52は100%の危険性をもって危険であると見なされる。
この危険値は、本発明によれば操作装置1のユーザに、特に車両1′の運転者に警告を送信するために、または操作装置1の運転方法に直接に介入するために使用することができる。しかしながら、オブジェクト52が歩行者52′である場合、オブジェクト52のさらなる態様、例えば予想される加速挙動などを現実的な行動を組み込むことも可能である。
このために、オブジェクト52としての歩行者52′の現在の速度および歩行者の大きさを導き、歩行者モデルの入力パラメータとして用いることができる。次に、歩行者モデルは、見込まれる加速度または見込まれる加速挙動についての対応する値を出力する。これらの値は、図3および図4に示す包括的または包絡的なオブジェクトボックス56を構成するために使用することができ、その右および左部分56rおよび56lは、最初に予想されたオブジェクトボックス55を超えており、オブジェクト52としての歩行者52′の正または負の加速挙動に関する不確実領域を示す。
図5および図6は、本発明の一般的な説明に関連して既に上述したように、本発明による運転支援方法Sもしくは予想されるオブジェクトボックス55の反復決定Iの一実施形態のフロー図を示す。
これに関して、反復方法Iは、実質的に、本発明による運転支援方法Sの実施形態のステップS3を形成しており、ステップI6では、予想期間が時間増分の終了によって既に到達されたかどうか、および/または反復のための別の中断条件が存在するかどうかがチェックされることにも言及しておく。
例えば、画像51またはカット51′の幅と比較して予測されるオブジェクトボックス55の幅が第2のしきい値を超えることに関連して、代替的またはさらなる中断条件を見ることができ、この場合、第2のしきい値は第1のしきい値よりも大きい。
本発明のこれらの、および他の特徴および特性を、以下の記述に基づいてさらに説明する。
本発明は、単眼ビデオシステムの測定データのみに基づいて、例えば操作装置、特に車両の運転支援システムの一部として、衝突警告システムのための危険値をどのように決定することができるかに関する手段を記載する。
このために頻繁に使用される衝突インジケータは、「衝突までの時間」(TTC)および「ブレーキまでの時間」(TBB)である。これらは、衝突がいつ起こるか、または衝突を防止するためにいつ制動プロセスを開始する必要があるかについての情報を提供する。パラメータTTBおよびTTCは、距離、相対速度、および相対加速度を決定する必要なしに、モノラルビデオカメラからのデータに基づいて、および主にオブジェクトボックスのスケーリング変化から確実に計算することができる。
別の衝突インジケータは、「コンスタントベアリング」(CB)値であり、これは、本来、海運に由来し、自己または自身の動きが同じままであり、オブジェクト52のオブジェクト移動が同じままである場合に衝突コースにいることを示す。CBは、単純にモノラルビデオデータに基づいて、すなわち2次元データベースで計算することもできる。
危険性計算のための最新技術は、3Dベースの世界座標系を使用する。
このような手順の基礎は、例えば、モノラルカメラまたは単眼カメラを用いて、制限された品質でのみ推定によって決定することができる距離、相対速度、および相対加速度に関しての3次元データまたは3Dデータを使用することである。
CB概念は、理解するのが困難であり、パラメータ化するのが困難であり、将来の予測および歩行者運動モデルの使用を可能にしない。
TTC/TTBの概念だけでは、オブジェクトが衝突コース上にあるかどうかではなく、時間的側面だけが考慮されるので、制動の決定には十分ではない。例えば、概念TTCおよびTTBは、オブジェクトの傍を走行するかどうかについて表現することができない。
危険性計算に対する本発明による新しい2次元または2Dベースのアプローチは、測定された2次元または2Dデータまたは信号に、特に、オブジェクトボックスのいわゆる「ボックス座標」、ならびに、スケーリング変更、ボックス平行移動、角度位置、および/または角速度のパラメータの決定に純粋に、または実質的に基づいており、これらは、画像またはフレーム内の、または画像またはフレームのそれぞれのカット内のそれぞれのオブジェクトボックスのスケール変化または大きさ変化もしくは移動または変位を記述し、ボックス座標とともに、高い信号品質で存在するか、または決定することができる。
本発明によるアプローチは、特にそれぞれのオブジェクトボックス54の位置および大きさ/幅、または大きさ変化/幅変化に関して、将来の予見、予想、または予測を含み、これにより、本発明によれば歩行者移動モデルの使用を可能にする。
したがって、歩行者52′の滞在領域を予測するために歩行者移動モデルを使用することができる。「立っている、歩いている、走っている、疾走している」など、様々な運動状態における歩行者52の加速能力についてのモデルを使用して、歩行者52が将来どこにいる可能性があるかを表現する。危険性の値は、予測または予想される自身の滞在領域と歩行者52′の予測または予想される可能な滞在領域56との重なりから計算される。
本発明によるアプローチは、純粋なCB概念よりも理解およびパラメータ化することが容易であり、実験的評価は、本発明によるアプローチが、CB実装、およびモノカメラを用いて推定された3Dデータに基づく従来の3Dベースの方法によってよりも良好な結果をもたらすことを示す。
予想または予測は、記録されたそれぞれの画像またはフレームについても一般に実行することができ、実行される。この場合、記録されたそれぞれの画像またはフレームについて、目標期間、例えば2秒が設定される。したがって、将来の目標期間にわたって予測が行われる。目標期間は、複数の、例えば、等しい時間増分に分割される。しかしながら、目標期間および/または時間増分は、変数として構成することもでき、他の運転パラメータに依存して選択され、決定されるようにすることもできる。
記録されたそれぞれの画像51またはフレームについて以下の処理が行われる:
視野50内の所与のオブジェクト52のそれぞれのオブジェクトボックス54の横方向ボックス座標を検出する。
1つ以上の以前の画像またはフレームに対するオブジェクト52のオブジェクトボックス54のスケーリング変化を検出する。
以前の画像またはフレームまたはそれらの一部またはカットに対する横方向における視野50内の所与のオブジェクト52のオブジェクトボックス54のボックス移動、ボックス変位またはボックス平行移動(単位ピクセル)、ボックスエッジの角度位置および/または角速度を検出する。
具体的な予測や予想については、予想期間としての目標期間までのn回の時間増分についての方法SおよびIを用いて既に説明した手順に基づいて行う。
n回のサイクルのそれぞれにおいて、すなわち、所定の目標時間に到達するまでのそれぞれの時間増分について、予測したボックス幅が、カメラ画像51の画像幅、またはカメラ画像の所定の、または設定された部分もしくはカット51′の幅と比較される。
画像中のボックス幅と画像幅またはカットの幅との比率は、危険性の程度を決定するための基礎として使用することができる。ボックス幅55bが画像51またはカット51′の所定の幅51bをとり、したがって、例えば35%のしきい値を超えるとすぐに、100%の危険性が仮定され、設定される。
予測または予想したボックス55が、例えば、部分的または完全に画像51またはカット51′の外側にある場合には、状況は危険ではなく、危険性の値は0%に設定される。
歩行者52′の位置および/または速度に応じて、歩行者モデルによって加速能力を決定することができる。歩行者52′の加速能力を考慮に入れて、画像51または画像51のカット51′内の歩行者52′の可能な横方向の滞在領域を第2のより幅の広いオブジェクトボックス56をオブジェクト52としての歩行者52′のために設定することができる。
オブジェクト52としての歩行者52′の速度を決定し、加速能力を画素または角度座標に変換するために、オブジェクト52としての歩行者52′の大きさについての仮定を行うことができる。例えば、1.75mの通常の大きさを基礎として使用することができる。
あらかじめ計算した危険性の値は、画像51またはフレームおよびこれらのそれぞれのカット51′または部分の外側にある最後に予測または予想したボックス55の割合だけさらに低減または最小化することができる。例えば、ボックス幅55bの50%が画像51またはフレーム、または所与の部分またはカット51′の外側に位置する場合、すなわち、オブジェクトボックス55が、歩行者モデルを考慮に入れた可能な滞在領域を表す場合には、危険性が対応して低減される。予測がより遠い将来に存在するほど危険性がより強度に低減される。なぜならば、より大きい滞在領域が画像51またはカット51′の外側に位置する可能性があるからである。将来への時間予測が大きければ大きいほど、歩行者52′の挙動についての不確実性が大きくなるので、この挙動は望ましいといえる。
オブジェクト52としての歩行者の予測されるオブジェクトボックス55が危険な大きさ、例えばフレーム幅または画像幅の35%のしきい値に達した場合、予測はこの反復サイクルIで中断される。なぜならば、場合によっては衝突がこの時点で既に起こっているからである。

Claims (10)

  1. 操作装置(1)によって実行される運転支援方法(S)であって、前記操作装置(1)は制御ユニット(10)を備え、
    前記制御ユニット(10)が、連続した時点における操作装置(1)の視野内のオブジェクト(52)に対するオブジェクトボックス(54)またはそのようなオブジェクトボックス(54)を特徴づけるデータを取得するステップ(S1)と、
    前記制御ユニット(10)が、連続して、または直接に連続して記録された画像に対する前記オブジェクト(52)の前記オブジェクトボックス(54)から、それぞれの前記オブジェクト(52)に対するオブジェクトボックス(54)の前記画像に対する、目下のスケーリング変化またはスケーリング変化から導かれる大きさと、それぞれの前記オブジェクト(52)に対する前記画像内のオブジェクトボックス(54)の目下の横方向の位置変化とを決定するステップ(S2)と、
    前記制御ユニット(10)が、それぞれの前記オブジェクト(52)に対するオブジェクトボックス(54)の、前記画像内の目下のスケーリング変化またはスケーリング変化から導かれる大きさ、および目下の横方向位置変化から、将来に予想されるオブジェクトボックス(55)を決定するステップ(S3)と、
    前記制御ユニット(10)が、前記予想されるオブジェクトボックス(55)の位置および/または前記予想されるオブジェクトボックス(55)の横方向範囲と検出した視野(50)および/または前記記録された画像または当該画像のカットの横方向範囲との比を決定および評価するステップ(S4)と、
    前記制御ユニット(10)が、前記評価の結果に依存して、(i)前記予想されるオブジェクトボックス(55)の基礎となるオブジェクト(52)が、起こり得る衝突に関して危険であるか否かを決定し、および/または(ii)操作装置(1)の運転状態を制御または調整するステップ(S5)と、
    を含み、
    前記オブジェクト(52)として歩行者(52′)を決定し、前記歩行者(52′)の現在の速度および大きさを入力パラメータとして歩行者モデルから前記歩行者(52′)の見込まれる加速度または見込まれる加速挙動についての値を取得し、当該値に基づいて前記予想されるオブジェクトボックス(55)を包囲するか、または少なくとも横方向または水平方向に含むオブジェクトボックス(56)を生成し、危険性の評価時に使用
    前記制御ユニット(10)が、予想期間まで複数の時間増分にわたって、それぞれのオブジェクトボックス(54)のスケーリング、それぞれのオブジェクトボックス(54)の座標、それぞれのオブジェクトボックス(54)の平行移動、およびそれぞれのオブジェクトボックス(54)の横幅についての値を反復的に決定および更新することによって、少なくとも、現在最後に検出された画像に対して将来に予想されるオブジェクトボックス(55)を決定する、運転支援方法(S)。
  2. 請求項1に記載の運転支援方法(S)において、
    前記オブジェクトボックス(54)および/または前記オブジェクトボックス(54)を特徴づけるデータを取得する前記ステップ(S1)で、または前記ステップ(S1)のために、
    時間的に連続した画像を記録しながら、基礎となる操作装置(1)の視野(50)を2次元および/または単眼で光学的に検出し(S1a)、
    連続して記録した画像において、少なくとも1つのオブジェクト(52)および当該オブジェクト(52)に割り当てられたオブジェクトボックス(54)を決定する(S1b)、運転支援方法(S)。
  3. 請求項に記載の運転支援方法(S)において、
    それぞれの時間増分について、指定された順序で、以下のステップ:
    割当て規則:
    スケーリング新しい:=スケーリング古い
    ボックス平行移動X新しい:=ボックス平行移動X古い
    ボックス幅新しい:=ボックス幅古い
    ボックス位置左新しい:=ボックス位置左古い
    ボックス位置右新しい:=ボックス位置右古い
    にしたがって、計算すべき値をリセットまたは事前設定するステップ(I1)と、
    次の割当て規則:
    スケーリング新しい:=1/(2-スケーリング古い
    にしたがってスケーリングを更新するステップ(I2)と、
    次の割当て規則:
    ボックス平行移動X新しい:=ボックス平行移動X古い*スケーリング古い
    にしたがって、水平方向のオブジェクトボックス平行移動を更新するステップ(I3)と、
    次の割当て規則:
    ボックス幅新しい:=ボックス位置右古い-ボックス位置左古い
    にしたがって、水平方向のオブジェクトボックス幅を更新するステップ(I4)と、
    次の割当て規則:
    ボックス位置左新しい:=ボックス位置左古い+ボックス平行移動X新しい
    0.5*ボックス幅新しい*(スケーリング新しい-1)/スケーリング新しい
    ボックス位置右新しい:=ボックス位置右古い+ボックス平行移動X新しい
    0.5*ボックス幅新しい*(スケーリング新しい-1)/スケーリング新しい
    にしたがって、水平方向のボックス位置を予測するステップ(I5)と、
    を前記制御ユニット(10)が実施し、
    スケーリング古いもしくはスケーリング新しいはオブジェクトボックス(54)の古い、もしくは新しいスケーリングを示し、ボックス平行移動X古いもしくはボックス平行移動X新しいはオブジェクトボックス(54)の古い、もしくは新しい第1のX座標または第2のX座標を有する座標軸に沿った変位を示し、ボックス幅古いもしくボックス幅新しいはオブジェクトボックス(54)の古い、もしくは新しい幅を示し、ボックス位置左古いもしくはボックス位置左新しいは、それぞれのオブジェクトボックス(54)の前記第1のX座標としてオブジェクトボックス(54)の左下角隅の古い、もしくは新しい位置を示し、ボックス位置右古いもしくはボックス位置右新しいは、それぞれのオブジェクトボックス(54)の前記第2のX座標もしくはその値としてオブジェクトボックス(54)の右下角隅の古いもしくは新しい位置を示す、運転支援方法(S)。
  4. 請求項3に記載の運転支援方法(S)において、
    新しいボックス位置を決定するために以下の計算規則:
    ボックス位置左新しい:=(ボックス位置左現在+ボックス速度左現在*T予測)/(1+標準速度現在*T予測
    ボックス位置右新しい:=(ボックス位置現在+ボックス速度右現在*T予測)/(1+標準速度現在*T予測)を前記制御ユニット(10)が実施し、
    ボックス位置左新しいおよびボックス位置左現在もしくはボックス位置右新しいおよびボックス位置右現在は、左もしくは右のボックスエッジの新しい、もしくは現在の位置であり、ボックス速度左現在およびボックス速度右現在は、左もしくは右のボックスエッジの現在測定された角速度であり、標準速度現在は現在測定されたいわゆる「標準化された」ボックス速度であってオブジェクトボックス(54)の前記第1のX座標または前記第2のX座標を有する座標軸に沿ったボックス速度であり、T予測は、予測時間段階に関連する予測時間であり、オブジェクトボックスの計算されたスケーリング変化から標準速度現在を導く、運転支援方法(S)。
  5. 請求項1からまでのいずれか1項に記載の運転支援方法(S)において、
    前記制御ユニット(10)が、予想されるオブジェクトボックス(55)の幅の割合が、基礎となる画像または画像の所定のカットの幅について所定の第1のしきい値を超える場合には、前記予想されるオブジェクトボックス(55)の基礎となるオブジェクトが、起こり得る衝突に関して、100%の危険性の値によって、危険であると決定する、運転支援方法(S)。
  6. 請求項に記載の運転支援方法(S)において、
    前記制御ユニット(10)が、オブジェクト(52)について予想されるオブジェクトボックス(54)の幅が、基礎となる画像または所定のカットの外側に位置決めされた割合だけ、オブジェクト(52)について決定した危険性の値を低減する、運転支援方法(S)。
  7. 請求項1からまでのいずれか1項に記載の運転支援方法(S)において、
    前記制御ユニット(10)が、予想されるオブジェクトボックス(55)が、基礎となる画像または画像の所定のカットの完全に外側にある場合には、予想されるオブジェクトボックス(55)の基礎となるオブジェクトが、起こり得る衝突に関して、0%の危険性の値によって、危険ではないと決定する、運転支援方法(S)。
  8. 操作装置(1)の運転支援システム(100)のための制御ユニット(10)において、
    制御ユニット(10)が、請求項1からまでのいずれか1項に記載の運転支援方法(S)を制御し、実行するように、および/または請求項1からまでのいずれか1項に記載の運転支援方法(S)にしたがって、基礎となる運転支援システム(100)を作動するように設定されている、制御ユニット(10)。
  9. 操作装置(1)の運転支援システム(100)であって、
    請求項1からまでのいずれか1項に記載の運転支援方法(S)を実施するように設定されており、このために請求項に記載の制御ユニット(10)を備える、運転支援システム(100)。
  10. 操作装置(1)であって、
    請求項に記載の運転支援システム(100)を有し、車両、自動車、または乗用車として構成されている、操作装置(1)。
JP2020565882A 2018-05-25 2019-04-11 運転支援方法、制御ユニット、運転支援システム、および操作装置 Active JP7244546B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018208278.2A DE102018208278A1 (de) 2018-05-25 2018-05-25 Betriebsassistenzverfahren, Steuereinheit, Betriebsassistenzsystem und Arbeitsvorrichtung
DE102018208278.2 2018-05-25
PCT/EP2019/059280 WO2019223933A1 (de) 2018-05-25 2019-04-11 Betriebsassistenzverfahren, steuereinheit, betriebsassistenzsystem und arbeitsvorrichtung

Publications (2)

Publication Number Publication Date
JP2021525423A JP2021525423A (ja) 2021-09-24
JP7244546B2 true JP7244546B2 (ja) 2023-03-22

Family

ID=66182567

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020565882A Active JP7244546B2 (ja) 2018-05-25 2019-04-11 運転支援方法、制御ユニット、運転支援システム、および操作装置

Country Status (6)

Country Link
US (1) US11403854B2 (ja)
EP (1) EP3803679A1 (ja)
JP (1) JP7244546B2 (ja)
CN (1) CN112166434A (ja)
DE (1) DE102018208278A1 (ja)
WO (1) WO2019223933A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PE20211279A1 (es) 2018-10-23 2021-07-19 Dragonfly Therapeutics Inc Proteinas heterodimericas fusionadas con fc
US10885775B2 (en) * 2019-06-06 2021-01-05 Verizon Patent And Licensing Inc. Monitoring a scene to analyze an event using a plurality of image streams
JP7308089B2 (ja) * 2019-07-18 2023-07-13 株式会社小松製作所 作業車両の表示システムおよび作業車両の表示方法
KR20220094416A (ko) * 2020-12-29 2022-07-06 (주)에이아이매틱스 근미래 객체 위치 예측 시스템

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001028050A (ja) 1999-05-10 2001-01-30 Honda Motor Co Ltd 歩行者検知装置
JP2008113296A (ja) 2006-10-31 2008-05-15 Honda Motor Co Ltd 車両周辺監視装置
JP2008186170A (ja) 2007-01-29 2008-08-14 Fujitsu Ten Ltd 運転支援装置および運転支援方法
JP2010152873A (ja) 2008-11-19 2010-07-08 Clarion Co Ltd 接近物体検知システム
US20120140076A1 (en) 2010-12-07 2012-06-07 Rosenbaum Dan Forward collision warning trap and pedestrian advanced warning system
WO2013064571A1 (en) 2011-11-03 2013-05-10 Thales Nederland B.V. System for characterizing motion of an individual, notably a human individual, and associated method
JP2013097480A (ja) 2011-10-31 2013-05-20 Hitachi Consumer Electronics Co Ltd 車両用衝突危険予測装置及び車両用衝突危険予測システム
JP2013210942A (ja) 2012-03-30 2013-10-10 Fujitsu Ten Ltd 検知装置、及び検知方法
WO2015152304A1 (ja) 2014-03-31 2015-10-08 エイディシーテクノロジー株式会社 運転支援装置、及び運転支援システム
JP2017138660A (ja) 2016-02-01 2017-08-10 トヨタ自動車株式会社 物体検出方法、物体検出装置、およびプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005060640A2 (en) * 2003-12-15 2005-07-07 Sarnoff Corporation Method and apparatus for object tracking prior to imminent collision detection
US8498444B2 (en) * 2010-12-13 2013-07-30 Texas Instruments Incorporated Blob representation in video processing
CN106537180B (zh) * 2014-07-25 2020-01-21 罗伯特·博世有限公司 用于用针对行人的主动制动的摄影机输入缓解雷达传感器限制的方法
CN106156725A (zh) * 2016-06-16 2016-11-23 江苏大学 一种基于车辆前方的行人及骑车人的识别预警系统的工作方法
US10248872B2 (en) * 2016-10-19 2019-04-02 Texas Instruments Incorporated Estimation of time to collision in a computer vision system
US10725472B2 (en) * 2017-08-10 2020-07-28 Beijing Airlango Technology Co., Ltd. Object tracking using depth information

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001028050A (ja) 1999-05-10 2001-01-30 Honda Motor Co Ltd 歩行者検知装置
JP2008113296A (ja) 2006-10-31 2008-05-15 Honda Motor Co Ltd 車両周辺監視装置
JP2008186170A (ja) 2007-01-29 2008-08-14 Fujitsu Ten Ltd 運転支援装置および運転支援方法
JP2010152873A (ja) 2008-11-19 2010-07-08 Clarion Co Ltd 接近物体検知システム
US20120140076A1 (en) 2010-12-07 2012-06-07 Rosenbaum Dan Forward collision warning trap and pedestrian advanced warning system
JP2013097480A (ja) 2011-10-31 2013-05-20 Hitachi Consumer Electronics Co Ltd 車両用衝突危険予測装置及び車両用衝突危険予測システム
WO2013064571A1 (en) 2011-11-03 2013-05-10 Thales Nederland B.V. System for characterizing motion of an individual, notably a human individual, and associated method
JP2013210942A (ja) 2012-03-30 2013-10-10 Fujitsu Ten Ltd 検知装置、及び検知方法
WO2015152304A1 (ja) 2014-03-31 2015-10-08 エイディシーテクノロジー株式会社 運転支援装置、及び運転支援システム
JP2017138660A (ja) 2016-02-01 2017-08-10 トヨタ自動車株式会社 物体検出方法、物体検出装置、およびプログラム

Also Published As

Publication number Publication date
JP2021525423A (ja) 2021-09-24
WO2019223933A1 (de) 2019-11-28
US20200401821A1 (en) 2020-12-24
US11403854B2 (en) 2022-08-02
DE102018208278A1 (de) 2019-11-28
EP3803679A1 (de) 2021-04-14
CN112166434A (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
JP7244546B2 (ja) 運転支援方法、制御ユニット、運転支援システム、および操作装置
JP6800899B2 (ja) 視界に制限のある交差点への接近のためのリスクベースの運転者支援
JP6905397B2 (ja) ステレオカメラに基づく自律走行方法、自律走行装置及びコンピュータプログラム
JP7029910B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN108227703B (zh) 信息处理装置和方法、被操作车辆及记录程序的记录介质
JP6313646B2 (ja) 外界認識装置
US9196163B2 (en) Driving support apparatus and driving support method
CN111369831A (zh) 一种道路驾驶危险预警方法、装置和设备
JP6990175B2 (ja) 車両の車両周辺部における覆い隠された領域を割り出すための方法と装置
US20150274161A1 (en) Method for operating a driver assistance system of a vehicle
US11003925B2 (en) Event prediction system, event prediction method, program, and recording medium having same recorded therein
US20200051435A1 (en) Information processing apparatus, information processing method, program, and movable object
JP2016199262A (ja) 後退走行中の前輪軌道逸脱に基づく衝突の回避
JP2010198552A (ja) 運転状況監視装置
JP2001199260A (ja) 車間距離制御装置、車両走行状況表示装置、車速制御解除装置、及び車両急制動警告装置
US20220153266A1 (en) Vehicle adaptive cruise control system, method and computer readable medium for implementing the method
WO2019044625A1 (ja) 衝突予測装置、衝突予測方法及びプログラム
JP2018097515A (ja) 運転支援装置、運転支援方法、およびプログラム
US11458936B2 (en) Drive assist apparatus
CN113661533A (zh) 坠落物判别装置、驾驶辅助系统以及坠落物判别方法
JP2008003880A (ja) 車両周辺監視システム、車両周辺監視プログラム、車両周辺監視システムの構築方法およびサーバ
JP6827202B2 (ja) 情報表示装置、情報表示方法及びプログラム
JP7004534B2 (ja) 車両の制御装置及び車両の制御方法
JP7385502B2 (ja) センシングシステム
JP6295868B2 (ja) 車両用表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210402

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230309

R150 Certificate of patent or registration of utility model

Ref document number: 7244546

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150