JP6375221B2 - 対象とする交通物体の移動挙動を予測するための方法及びシステム - Google Patents

対象とする交通物体の移動挙動を予測するための方法及びシステム Download PDF

Info

Publication number
JP6375221B2
JP6375221B2 JP2014252916A JP2014252916A JP6375221B2 JP 6375221 B2 JP6375221 B2 JP 6375221B2 JP 2014252916 A JP2014252916 A JP 2014252916A JP 2014252916 A JP2014252916 A JP 2014252916A JP 6375221 B2 JP6375221 B2 JP 6375221B2
Authority
JP
Japan
Prior art keywords
vehicle
index
lane
time
indirect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014252916A
Other languages
English (en)
Other versions
JP2015182764A (ja
Inventor
シュムドリッヒ イェンス
シュムドリッヒ イェンス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Research Institute Europe GmbH
Original Assignee
Honda Research Institute Europe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Research Institute Europe GmbH filed Critical Honda Research Institute Europe GmbH
Publication of JP2015182764A publication Critical patent/JP2015182764A/ja
Application granted granted Critical
Publication of JP6375221B2 publication Critical patent/JP6375221B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09Taking automatic action to avoid collision, e.g. braking and steering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0027Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/20Data confidence level
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2754/00Output or target parameters relating to objects
    • B60W2754/10Spatial relation or speed relative to objects

Description

本発明は、空、陸、又は海の乗り物における自動化されコンピュータ化された運転者支援に関する。本運転者支援においては、ホスト車両のセンサが当該ホスト車両の環境を物理的に検知し、当該センサの出力信号の供給を受けたコンピュータ・ユニットが信号を算出し、当該信号は、視覚的又は聴覚的な表示手段(indication means)に供給されることにより、及び又はその車両のアクチュエータや当該アクチュエータを制御する制御ユニットに供給されることにより、当該ホスト車両のガイダンスを支援する。上記車両のアクチュエータとしては、安全装置(エアバッグ等)や、当該車両の動きに影響を与えるアクチュエータ(フラップ、ブレーキ、アクセル、ハンドル等)がある。
“適応的走行制御(アダプティブ・クルーズ・コントロール)”(Adaptive Cruise Control、ACC)システム(例えば、ISO規格15622:2010に記載されている)などの運転者支援システムは、運転者の快適さや安全性を向上させる。これらのシステムは、特に、ホスト車両の長さ方向における制御、例えば、運転者が指定した速度に関する制御や、他の交通物体(陸、海、又は空の乗り物(乗用車、自動二輪車、自転車、トラック等)など)、歩行者、...など)までの位置範囲にまで及ぶ制御を行う際に用いられる。ホスト車両は、当該ホスト車両の環境を物理的に検知するセンサと、当該少なくとも一つのセンサの出力信号を処理するコンピュータ・ユニットを備えている(ホストする)。
一般に知られている運転者システムの一つの問題は、そのシステムが通常は、他の交通車両の挙動のみを、既にその挙動が認識できるようになったときに考慮することである(物理的予測)。例えば、対象物体の一つ(ホスト車両の環境内にあって、そのホスト車両の一つ又は複数のセンサにより物理的に検知された車両)がレーンを変更してホスト車両のレーンに割り込む場合や他のレーンへ抜け出す場合、当該他の交通車両を観察しているホスト車両は、そのようなレーン変更が確実となった後に反応するだけである。その結果、ホスト車両の反応は遅くなり、交通流と、特にそのホスト車両の運転者の快適性とに、良くない影響を与える。
特許文献1には、いわゆる物理的予測に加えて、更にコンテキストベース予測を用いることが提案されている。このようなコンテキストベース予測では、対象物体の将来挙動の確率を計算する。この将来挙動は、次に、物理的予測によって確認され又は棄却される。対象物体の可能性のある将来挙動の確率を計算するため、間接指標を用いる。間接指標は、対象物体の将来挙動の観察を、単にそれが既に開始されたときにのみ可能にするものではない。算出された確率から、対象物体に特定の挙動を起こさせそうな状況を認識することができる。
このようなアプローチの一つの問題は、コンテキストベース予測の際に、ホスト車両に関する現在の交通状況のみが考慮されるという点である。したがって、コンテキストベース予測は、特定の時点において、例えば、隣のレーン上にある対象車両が先行車両に素早く接近していることから、当該対象車両はホスト車両のレーンに割り込んでくるだろうという結果を出力し得る。特許文献1によれば、この予測によりホスト車両の減速を行うこととなる。そのような状況においては、おそらくその対象車両はより速度の遅い先行車を追い越すべく割り込んでくるためである。しかし、そのような予測の基礎となる状況は、いずれの場合も履歴というものを持っている。第1に、対象車両は、隣のレーン上で長時間存在していたので、先行車両を追い越そうとするだろう、ということが、もちろん十分にあり得る。しかし、第2には、コンテキストベース予測の基礎となる状況に先行する状況において、その対象車両はホスト車両の先行車両であり、ホスト車両に追い越させるために隣のレーンへレーンを変更していた、ということもあり得る。この先行する挙動の結果として、現在において対象車両が先行車両に素早く接近しているとしても、当該対象車両がホスト車両に追い越される前に再び割り込んでくる確率は、かなり低いということになる。したがって、既知のコンテキストベース予測は、誤った結果を出力することとなり得る。
以前の提案によれば、対象車両の将来挙動についての予測を行う際に、履歴は考慮されない。したがって、そのようなシステムの予測の質は、極めて限られたものである。
欧州特許出願公開第2 562 060(A1)号明細書
従って、本発明の目的は、上述した問題を軽減することのできる方法及びシステムを提供することである。
従って、本発明は、独立請求項に係るシステム及び方法により、上述した問題を解決する。有利な実施の形態及び態様が、従属請求項により定義される。
ここに示す発明を理解するためには、コンテキストベースの予測又は移動挙動についての認識、即ち“何が”起ころうとしているのかの判断(コンテキストベース予測)と、物理的予測、即ちそれが“どのように”起ころうとしているかの判断とを区別することが重要である。後述するように、コンテキストベース予測は少なくとも間接指標を用いるのに対し、物理的予測は直接指標を用いる。
以前における交通状況の展開に関する知識を含む、コンピュータによるコンテキストベース予測は、従って、人間が交通挙動を予測する際にも用いている原理を採用する。特に、本発明のアプローチでは、挙動を予測するためのキー指標(key indicator)を取得すべく交通参加者間の関係が評価されるという事実を受け入れるが、対象物体のそれまでの挙動、又はそれによるシーン全体の変化が、例えば対象物体の挙動の境界(限界、boundary)を突然変化させる、ということも考慮される。上記関係は、例えば、物理的なものでも抽象的なものでもよい。
物理的関係は、複数の交通参加者間の相対的な位置や動きを表わす。物理的関係に基づく指標は、したがって、例えば相対的な位置と速度を評価して、特定の移動挙動に特徴的な値を算出する。
例えば、対象車両が、目標とするレーンへ進路変更しようとする場合、この対象車両と、当該目標とするレーン上に存在するかも知れない他車両との間には、物理的関係が存在する。この関係を評価する指標は、例えば、その対象車両と他車両とが現在の挙動を継続すれば当該対象車両がその他車両にぶつかってしまうであろう場合には、現在のレーンに留まるという移動挙動に特徴的な値を出力することができる。一方、レーン変更に十分なギャップが存在する場合には、この指標は、レーン変更という移動挙動に特徴的な値を出力し得る。
抽象的関係は、一つ又は複数の交通参加者と、例えば交通信号や、道路標識、道路/レーン・マーキングなどの、道路基盤要素(road infrastructure element)の一つとの間の規則を表現する。抽象的関係に基づく指標は、例えば、道路基盤要素の状態と、対象物体にその道路基盤要素を適用できるか否かの可能性と、を評価して、特定の移動挙動に特徴的な値を算出する。
例えば、車両が追い越し車線を走行し、追い越し禁止標識に近付いている場合には、当該標識と当該車両との間には抽象的関係が存在する。この関係を評価する指標は、当該標識が当該車両に適用可能なものであれば、“右レーンへの変更(lane-change-right)”という移動挙動に特徴的な値を出力することができる。
本発明は、道路交通に限られるものではないが、後述する実施例および説明は、道路交通に関連して記載する。しかしながら、説明された実施例を航空又は海洋における支援を行うためのシステムに簡単に転用できることは明らかである。
〔定義〕
ホスト車両: ホスト車両とは、交通状況の中に存在する車両であって、本発明に従う予測システムを備え、且つ、センサと、他の交通車両の可能性のある将来挙動の計算を可能とするコンピューティングシステムと、を備えた車両である。
センサ: センサは、或る時点における交通シーンを表現するための適切な情報を出力することのできる何らかの手段であり得る。そのようなセンサは、カメラ、レーダ、ライダ(lidar)等であり得る。
対象物体(対象車両):対象物体又は対象車両とは、少なくとも一つのセンサが情報を生成することにより観察される、将来挙動の推測対象である物体又は車両である。
xi t: 時刻tにおける対象物体iであり、
Figure 0006375221
で表わされる。ここで、
Figure 0006375221
は、それぞれ、時刻tにおける物体iの横方向位置と縦方向(長さ方向)位置、
Figure 0006375221
は、それぞれ、時刻tにおける物体iの横方向速度と縦方向(長さ方向)速度、
Figure 0006375221
は、それぞれ、時刻tにおける物体iの横方向加速度と縦方向(長さ方向)加速度、である。
St: 時刻tにおけるシーン(「状況」又は「場面」ともいう)を表し、当該シーンには、時刻tにおいて認知されている全ての交通物体(traffic object)と道路環境(レーン、レーンマーキング、交通標識、交通信号灯、など)が含まれる。
B={b}: 交通物体(“参加者(participant)”)が行う挙動の集合(セット)である。以下では、交通参加者xi tが時刻tで行う挙動を、bi t∈Bを用いて表わす。
〔指標〕
次の指標I
Figure 0006375221
を、次式に示す関数の集合として定義する。
Figure 0006375221
ここで、vj t は、時刻tにおける対象車両の将来又は実行中の挙動についての情報を運ぶ測定可能な変数であり、cj t は、変数vj tの正しさについての信頼度である。信頼度cj tは、Stの全ての要素のセンサ信頼度(sensor confidence)を結合して得られ、vj t の計算に際して評価される。ここで、センサ信頼度とは、検出された情報の信頼性を表わす数値である。一般性を失うことなく、指標は、vj t∈[0,1]となるように定義することができる。すなわち、vj t の値は、例えばフェルミ関数を用いることにより、0と1の間に正規化される。そのような正規化は、後述するように、指標を組み合わせる際に有用となる。
直接指標と間接指標とを区別して説明する。
〔直接指標 ID⊂I〕
直接指標は、検出対象とすべき挙動が開始されたときに、かつ、その時にのみ、観測することのできる変数を提供する。例えば、レーン変更を予測する場合の直接指標は、横方向速度、レーンに対する横方向相対位置、レーンに対する相対的な方向変化、又は、他の交通参加者に対する相対的な方向変化である。
このような方向は常に観測が可能であるが、方向変化は車両がレーンを変更しつつあるときに観測される。レーン変更を行う場合、車両はヨー軸の周りで回転するためである。横方向速度は、時間と共に変化する横方向の位置の変化であるので、位置の変化が検出される。
〔間接指標 II⊂I〕
間接指標は、予測された挙動が開始される前に観測が可能となっている変数を提供する。間接指標は、次式に示すように、直接指標の集合以外の、他の全ての可能な指標の集合として定義される。
Figure 0006375221
間接指標には、以下に示す2つのタイプがある。
第1のタイプは、少なくとも一つの交通参加者と一つ又は複数の他の交通参加者又は
静的なシーン要素(static scene elements)との間の関係についての情報に関するもの
である。
1.例えば、以下に示す指標の少なくとも一つを用いることができる:
≪左ギャップ適合(fitting-left-gap)≫
Figure 0006375221
は、xi tの位置、速度、及び長さに適合するギャップ空間が、左レーンで利用可能となっているか又は間もなく利用可能となるときに、値
Figure 0006375221
を出力する。
ここで、xi tの左隣のレーンにおけるxi tの先行物体をxlp tで表わし、xi tの左隣のレーンにおけるxi tの後続物体をxls tで表わすものとする。ギャップは、前方位置、後方位置、前方速度、及び後方速度により定まる。前方位置と前方速度は、xlp tの位置及び速度に等しく、後方速度はxls tの速度に等しい。後方位置は、xls tの位置に、xls tの長さと、速度に応じた安全マージンと、を加算した位置である。
Figure 0006375221
である場合、すなわち、xi tの左側に先行物体がない場合、前方位置と前方速度は、無限大に設定される。また、
Figure 0006375221
の場合、すなわち、xi tの左側に後続物体がない場合、後方位置と後方速度は、ゼロに設定される。
車両xi tに対するギャップgの適合性は、以下の複数の要因により定まる:
・xi tの長さと、そのギャップの大きさとの比
・そのギャップの前方境界に対するxi tの縦方向TTC(接触余裕時間、Time To Contact)。このTTCは、xi tとxlp tとの間の縦方向TTCとして定義され、次式で与えられる。
Figure 0006375221
・そのギャップの後方境界との、xi tの縦方向TTC
・そのギャップが利用可能となる時刻(いわゆる“ギャップ実現時刻”(Time To Gap、TTG)。xi tがギャップgより後ろに位置する場合、TTGは、そのギャップの後方境界までの縦方向TTCに等しい。xi tがギャップgより前に位置する場合、TTGは、そのギャップの前方境界までの縦方向TTCに等しい。そのギャップが現在存在している場合、TTGはゼロである。
≪右ギャップ適合(fitting-right-gap)≫
上記と同様に、
Figure 0006375221
は、xi tの右隣のレーンにおいて調整用ギャップ(fitting gap)が利用可能であるときに、値
Figure 0006375221
を出力する。
このギャップは、右側レーンにおける先行物体xrp tと後続物体xrs tとにより定まる。
≪先行物体接近(approaching-predecessor)≫
この指標
Figure 0006375221
は、xi tが自身の走行するレーン上において近くの先行物体に近づくと、値
Figure 0006375221
を出力する。
これは、xi tと先行物体との間の縦方向TTCから導出される。
≪左レーン適合(fitting-left-lane)≫
Figure 0006375221
は、xi tの左レーンがxi tの走行に適しているときに、値
Figure 0006375221
を出力する。これは、xi tと左レーン上の先行物体との間のTTCにより、及び又はxi tの現在の速度を、左レーン上の平均速度と比較することにより、算出される。
≪現在レーン適合(fitting-current-lane)≫
Figure 0006375221
は、xi tの現在のレーンがxi tの走行に適しているときに、値
Figure 0006375221
を出力する。これは、xi tとその先行物体との間のTTCにより、及び又はxi tの現在の速度を、xi tのレーン上での平均速度と比較することにより、算出される。
≪右レーン適合(fitting-right-lane)≫
Figure 0006375221
は、xi tの右側のレーンがxi tの走行に適しているときに、値
Figure 0006375221
を出力する。これは、xi tと右側レーン上の先行物体との間のTTCにより、及び又はxi tの現在の速度を、右側レーン上の平均速度と比較することにより、算出される。
≪テールゲーティング(tailgating)≫
この指標
Figure 0006375221
は、xi tが自身の走行するレーン上の先行物体にテールゲートしている(ぴったり付いて走っている)ときに、値
Figure 0006375221
を出力する。
この値は、xi tと先行物体との間の縦方向距離を、速度に応じた安全距離で除算して得られる比により算出される。
≪ギャップへの退避(evade-to-gap)≫
この指標
Figure 0006375221
は、xi tが自身の走行するレーン上の先行物体に接近しつつあり、かつ、調整用ギャップが現在使用可能であるか又は先行物体との衝突前に使用可能となる場合に、値
Figure 0006375221
を出力する。
この値は、指標
Figure 0006375221
と、指標
Figure 0006375221
と、を組み合わせて、縦方向TTCとTTGとの差により算出される。ここで、(・)は、任意の引数用のプレースホルダーである。
≪ギャップ調整加速(accelerate-to-gap)≫
この指標
Figure 0006375221
は、xi tが加速(又は減速)しており、かつ、ギャップの位置又は速度(すなわち、左隣又は右隣のレーン上にいる先行物体及び後続物体がそれら物体の速度で移動することにより、ギャップが移動している場合)に対しより良好に適合するようにするためその加速が必要である場合に、値
Figure 0006375221
を生成する。
この値は、ギャップの加速とxi tの加速とを考慮しつつ、かつ上述の指標により与えられる結果を統合してTTCを計算することにより求められる。
≪TTC無配慮加速(accelerate-despite-ttc)≫
この指標
Figure 0006375221
は、xi tが先行物体より速く加速しており、かつ、この2者間のTTCが少ないときに、値
Figure 0006375221
を生成する。
≪後続物体接近(successor-approaching)≫
この指標
Figure 0006375221
は、xi tの走行するレーン上にいる近くの後続物体がxi tに接近しているときに、値
Figure 0006375221
を生成する。これは、xi tの後続物体とxi tとの間の縦方向TTCから導出される。
≪空レーン(free-lane)≫
この指標
Figure 0006375221
は、xi tの前方のレーンが空である場合、すなわち、センサの検知可能範囲内に先行物体が存在しない場合に、値
Figure 0006375221
を出力する。
≪レーン退避による追越容認(free-lane-and-let-overtake)≫
この指標
Figure 0006375221
は、以下の場合に、値
Figure 0006375221
を出力する。
・xi tの先行物体が存在しないとき。当該先行物体が存在するか否かは、
Figure 0006375221
により示される。
・隣接するレーン上にギャップが存在するとき。当該ギャップが存在するか否かは、
Figure 0006375221
により示される。
・xi tの走行レーン上に非常に高速の後続物体xs tが存在し、xi tはgへ抜け出すことができ、xs tは追い越すことができる状況であって、xi tは速度をgに合わせることなく元のレーンへ戻ることができるとき。この状況は、xi tとgとの間の縦方向TTCと、xs t及びxs tの後続物体で形成されるギャップとxi tとの間のTTGと、を比較することにより判断される。
≪交通標識(traffic-signs)≫
この指標グループは、交通標識を守るためにxi tが自身の挙動を適応させなければならないときに、値
Figure 0006375221
を与える。
たとえば、「速度標識」指標や「速度制限」指標は、xi tがその速度標識が示す速度より高速で走行しているときに、大きな値(high value)を出力する。「追い越し禁止」指標は、xi tが左レーン(高速レーン)上を走行し、かつ、追い越し禁止標識の適用対象であるときに、大きな値を出力する。
≪レーンマーク(lane markings)≫
この指標グループは、レーンマークを守るためにxi tが自身の挙動を適応させなければならない場合に、値
Figure 0006375221
を出力する。
例えば、「道路終端」指標は、xi tが、まもなく終端するレーンを走行しているときに、大きな値を出力するものとすることができる。あるいは、「破線」指標は、xi tがレーン変更が許されていないレーンを走行しているときに、小さな値を出力するものとすることができる。
≪上記指標の組み合わせ≫
上述した指標を組み合わせて新しい指標を構成することができる。
例えば、指標
Figure 0006375221
と、指標
Figure 0006375221
とを組み合わせて、ギャップが使用可能であり、かつ、xi tがxp tに近付きつつあるときに、大きな値を出力する指標を作成することができる。組み合わせは、一方の指標の大きな値が他方の指標の中間値を補うような方法で行う。このような組み合わせは、次のような2つの値の重み付け加算により実現することができる。
Figure 0006375221
であって
Figure 0006375221
2.間接指標の第2のタイプは、その挙動を予測すべき交通参加者により能動的に伝えられる運転者の意思に関する情報を伝えるものである。
このタイプの指標として、例えば以下の指標がある。
≪方向指示灯(turning-signal)≫
この指標は、対象車両の方向指示灯が動作しているときに大きな値を出力する。
≪ブレーキ灯(breaking-light)≫
この指標は、対象車両のブレーキ灯が動作しているときに大きな値を出力する。
≪車車間通信(car-to-car-communication)≫
この指標グループは、通信により取得される送信車両の速度又は方向の変化に反応することができる。
上述した指標の代わりに、[0,1]の範囲に正規化されていない指標を用いることもできる。特に、指標が存在するか否かを示すための閾値を定義することもできる。すなわち、閾値を超えていれば、その指標は存在するとみなされる。
本発明の運転者支援システムの概観を示す図である。 最新のコンテキストベース予測が適切な結果を出力しない場合の例を示す図である。 最新のシステムが満足な予測結果を出力しない場合の更なる例を示す図である。 図2aに示す状況においてコンテキストベース予測の不満足な結果を避けるための解決策を例示する図である。 図4に従う履歴指標の生成を例示する図である。 図2bに示すコンテキストベース予測の不満足な結果を避けるための解決策を例示する図である。 図6に示す状況における履歴指標の生成を例示する図である。 図3についての解決策を例示する図である。 図8に示す状況における履歴指標の生成を例示する図である。
本発明に係るシステム及び方法を、図面を参照して説明する。
本発明に係る方法は、ホスト車両上で又はホスト車両により実行され、若しくは、一つ又は複数のセンサを備える各ホスト車両に搭載されたそれぞれのコンピュータシステム上で又は当該それぞれのコンピュータシステムにより実行されるものとする。
上記コンピュータシステムは、必要な演算処理又は計算処理を実行するシステムに関連するものである。このシステムは、本目的のため専用に構成することもできるし、少なくとも一つの汎用コンピュータで構成され当該コンピュータに保存されたコンピュータプログラムにより選択的に起動され又は再構成(reconfigure)されるものとすることもできる。本コンピュータシステムは、(異なる)複数のプロセッサ(処理装置)のネットワークで構成されるものとすることもできる。
コンピュータの実行に必要となるコンピュータプログラムやデータは、コンピュータ読み取り可能な記憶媒体に記憶させておくことができる。そのような記憶媒体として、フロッピー(登録商標)ディスク、光ディスク、CD−ROM、磁気光学ディスクなどの任意の種類のディスクや、リード・オンリー・メモリ(ROM)、ランダム・アクセス・メモリ(RAM)、EPROM、EEPROM、磁気カード又は光学式カード、特定用途向け集積回路(ASIC、Application Specific Integrated Circuits)、又は電気的命令(electronic instruction)の保存に適した任意の種類の媒体、及び、コンピュータのシステムバスに接続された上記各記憶媒体を用いることができるが、これらに限られるものではない。さらに、コンピュータは、単一のプロセッサを含むか、又は計算能力を向上させるためマルチプロセッサ構成を採用するアーキテクチャを有するものであり得る。
本コンピュータシステムは、特に、少なくとも一つのセンサと動作可能に接続されている。本発明に係る方法は、コンピュータプログラムの形態で実施することができる。当該コンピュータプログラムは、コンピュータ読み取り可能な媒体に記憶させておくことができ、当該プログラムは、コンピュータシステム上でラン(run)させることにより実行することができる。
上記少なくとも一つのセンサは、例えば、視覚センサ(例えば、カメラ、レーザスキャナ、赤外線カメラなど)及び又は音響センサ(例えば、マイクロホン、レーダ、超音波センサなど)とすることができる。
本発明に係る上記少なくとも一つのセンサは、特に、他の交通参加者、特に車両を検知して、それらの位置や速度を測定するように構成されている。
また、本センサは、交通信号灯、標識、道路/レーンマークなどの道路基盤要素(road infrastructure element)を検出できるものとする。上記少なくとも一つのセンサは、また、これらの道路基盤要素の位置及び状態を判断することができるように構成されている。ここで、道路基盤要素の状態の定義は、その要素の種類に依存するものとする。(カメラ画像及び又は航行データ(navigation-data)に基づいて交通標識等を検出することについては、当業者にとって公知のアプローチが存在する。)
例えば、交通信号灯は、一の信号(緑、黄色、赤など)を表示している状態か、又は使用不能状態の、いずれかとなることができる。交通標識には、追い越し禁止や制限速度などの、一の交通標識の種類に割り当てることができる。道路マーキングの状態は、レーンの曲がりや種類を表わすことができ、例えば、破線、実線、片側破線等の形態をとることができる。
上記少なくとも一つのセンサは、また、車両間の通信からメッセージを受信し、及び又は、対象車両の位置、速度、加速度、その他の状態を評価するように構成されるものとすることができる(車車間通信)。また、このセンサは、インフラストラクチャ通信(infrastructure-communication)からメッセージを受信して、道路環境の位置及び状態を評価するものとすることができる(路車間通信)。
上記少なくとも一つのセンサは、特に、ホスト車両の位置、速度、及び加速度を評価するように構成されている。
もちろん、上述した動作の一部又は全部について、異なる種類の特種なセンサを用いることもできる。例えば、位置特定のための情報を得るためにGPSを使用したり、加速度についての情報を得るために加速度計を使用することもできる。また、複数の視覚センサ及び又は音響センサを用いて、ホスト車両の環境に関する情報を取得して、例えば、他の交通参加者の位置及び又は道路基盤要素の状態を判断するものとすることができる。
対象物体の将来挙動を推定するため、その対象車両が一組の可能性のある将来の移動挙動の一つを実行する確率が、後述のいわゆるコンテキストベース予測により算出される。勿論、そのような推定は、少なくとも一つのセンサにより十分なデータベースが取得され得る任意の交通物体を対象物体として、任意の対象物体について実行することができる。
図1には、対象物体の将来の移動挙動を予測するために用いられる先進運転者支援システム全体の概観が例示されている。この先進運転者支援システム1は、少なくとも一つのセンサ2を備える。本図に示されているように、更なるセンサ3又はそれ以上のセンサを備えていてもよい。センサ2、3、...は、異なる種類のものでも同じ種類のものでもよく、特に、ホスト車両の走行方向が監視できるように、当該ホスト車両に設けることができる。センサ2、3、...は、相対的な速度、位置、又は、交通参加者間の関係の特定を可能とするその他の変数を測定するように構成される。また、これらのセンサは、道路基盤要素を検出するよう構成されるものとすることもできる。測定された変数は、予測システム4に出力される。予測システム4は、センサ2,3から受信された信号に基づいて直接指標を算出するための、直接指標算出ユニット5を備える。センサ2,3により検知された位置、速度等に関する情報を含むこの信号は、さらに、コンテキストベース予測のための指標を算出するためのユニット6に出力される。これらの指標は、間接指標算出ユニット7において上記センサ2,3の信号から従来のように算出される間接指標で構成され得るが、さらに、履歴指標算出ユニット8において算出される履歴指標も含んでいる。
直接指標は、物理的予測ユニット9に与えられ、間接指標と履歴指標とは、コンテキストベース予測算出ユニット10に与えられる。なお、図示の実施形態では、履歴指標は、従来のように算出された間接指標に加わる更なる間接指標として算出される。このため、コンテキストベース予測算出ユニット10には、履歴指標と、従来のように算出された間接指標とが、与えられる。履歴指標は、コンテキストベース予測において、入力指標として考慮される。これに代えて、従来のように算出された間接指標にのみ基づいてコンテキストベース予測を算出し、その後、算出された履歴指標に基づいて、コンテキストベース予測算出ユニット10の算出結果を抑制し又は強調するものとすることもできる。
次に、コンテキストベース予測の算出結果は、例えば検証や妥当性チェックのために、物理的予測算出ユニット9に出力される。これらの検証や妥当性チェックについては、特許文献1に詳細に記載されており、したがって、特許文献1は明示的に参照される。最後に、予測システム4により信号が出力され、当該信号により警告ユニット11において、通知としての運転者警告が実行される。この運転者警告は、例えば最も単純な例として、信号灯であり得る。さらに、これに加えて又はこれに代えて、上記信号が、車両作動ユニットに与えられる。車両作動ユニットは、当該信号に基づいて直接的に作動されるか、又は予測システム4により出力される信号を入力として受信する制御ユニットにより作動される。通常、出力される上記信号は、スロットル制御、及び又はブレーキ制御に用いられる。
本発明の詳細を説明する前に、本発明の理解に必要なコンテキストベース予測について、以下に説明する。
〔コンテキストベース予測〕
コンテキストベース予測は、分類器(classifier)の集合
Figure 0006375221
で構成されている。ここで、各分類器γj bは、対象車両xi tが、時刻t+Δtにおいて、挙動b∈Bを実行する確率
Figure 0006375221
を評価する。
各挙動bに対しては、異なる分類器の集合を用いることができる。
ここで、
B = {lane-change-left, lane-change-right, follow-lane}
である。
間接指標に基づいて、各xi tと各分類器γj bについての特徴ベクトルfji btを算出する。ここで、
Figure 0006375221
である。
xi tが時刻t+Δtにおいて挙動bを行う確率は、次式により得られる。
Figure 0006375221
すなわち、各挙動に対し、上記確率は、それぞれが異なる指標集合を用いる複数の分類器の集合の、重み付け組み合わせ(重み付け結合)により算出される。
挙動の開始前に早期に予測を行うことができるように、直接指標の使用は必要とされない。
その結果、コンテキストベース予測は、将来の挙動の種類(クラス)を決定することはできるが、xi tの動きについての、時刻と空間に関する具体的な実行態様については
予測することができない。換言すれば、コンテキストベース予測は、各挙動b∈Bが、およそ時刻t+Δtにおいて実行される確率を算出することはできるが、正確なΔtや、時刻t+Δtにおけるxi tの正確な位置
Figure 0006375221
は、知ることはできない
上述のような直接指標を用いないコンテキストベース予測に加えて、又はその代わりに、予測時間ΔTに基づいて直接指標と間接指標とを動的に含む分類器を使用することもできる。例えば、当該分類器は、ΔT>2秒では間接指標を用い、T<1秒では直接指標を用いるように、徐々に変化するものとすることができる。
本発明に従って履歴情報をコンテキストベース予測に統合することについての詳細を説明する前に、既知のコンテキストベース予測がその限界を迎える状況の例を説明する。
図2には、第1の例が図2aに示されている。この例では、まず、対象物体である車両Aがホスト車両Eの前方を走行している。車両Eが背後から接近していることを車両Aの運転者が認識した場合、多くの運転者は、レーンr上のギャップを利用してホスト車両Eに追い越しをさせる。図2aには、車両Aが、まさにレーンcを離れて、予測システムによりレーンrに割り付けられた状況を示している。この時刻ポイントが、tインデックスtcut-outで表されている。
車両Aと車両Bの細い矢印の長さであらわされているように、車両Aは、車両Bよりも速い速度で走行している。車両Aがレーンrに割り付けられている状況であるため、従来のコンテキストベース予測システムであれば、車両Aがレーンcに割り込んで来ると予測するであろう。以前に実行された車両Aの離脱(cut-out)を示す太い矢印で示された履歴を考慮すれば、車両Aは、車両Bが追い越しをするまでレーンrに留まるであろうとする方が尤もらしい。したがって、従来のコンテキストベース予測は誤りの元となり、例えばホスト車両を減速させることとなり得る。
同様の状況が、図2bに示されている。ここでは、3つのレーンと、時刻
Figure 0006375221
においてレーンrからホスト車両のレーンcに隣接するレーンcへレーン変更を実行した車両Aが存在している。さらに、車両Aは、車両Bとほぼ同じ速度である。レーンrは車両Aの状況に良く適合するが、車両Aの運転者は、レーンrからレーンcへのレーン変更によって、以前よりも車両Aの状況には適合しないレーンへ行くことになることを受け入れた。従来のコンテキストベース予測システムは、このような以前のレーン変更は考慮せず、車両Aが車両Bに続いて同様の速度で走行しているという隣のレーンcにおける現在の状況を考慮するのみである。したがって、従来のシステムは、車両Aの運転者の意図がレーンlへ向かってさらにレーン変更を行うことであるので、レーンcでのあまり適正でないフィッティングも容認される、ということを認識することはできない。すなわち、従来のコンテキストベース予測システムは、車両Aの速度と車両Bの速度がほぼ同じであるということのみを認識し、従ってレーンcからレーンlへのレーン変更は発生しないだろうという結論に至ることとなる。
図3は、既知のコンテキストベース予測の限界が明らかとなる第3の例を示す図である。図3aには、最初の時刻t−Tでの状況が示されている。ここで、ホスト車両Eは、対象車両Aの速度が対象車両Bよりも速く、対象車両Aが対象車両Bに接近していることを観測する。車両Eの前方を走行する車両Cがいなければ、システムは車両Aがホスト車両Eのレーンlに割り込んで来ると予測するであろう。しかし、時刻t−Tでは、車両Cは、車両Aの側方を走行しており、従ってAがレーン変更を行うことを効果的に防止している。このことは、ホスト車両Eにより認識される。すなわち、
Figure 0006375221
となる。
t−Tで表されるこの時点では、車両Aは、レーン変更を行えないので、速度を落とさなければならない。
図3bは、現在時刻tでの(図3aに対しTの時差がある)状況を示している。この時刻tでは、車両Aは、衝突を回避すべく、既に減速して車両Bと同様の速度となっている。従って、車両Cが既に車両Aを追い抜いていて(車両Cは車両Aより速い)レーンlに利用可能なギャップが存在する時刻tでは、従来のコンテキストベース予測システムは、当該ギャップが利用可能な時刻
Figure 0006375221
において車両Aは車両Bに接近しつつある状態ではないので、車両Aがレーンlへ割り込むという結論には未だ至らない。
図3では、従来の予測システムが車両Aは割り込みを行うという正しい算出を得る時点は存在しない。車両Aが車両Bより速く走行する限り、すなわち、
Figure 0006375221
の間は、ギャップを利用することができず、
Figure 0006375221
では、車両Aの速度は車両Bの速度とほぼ同じである。従って、
Figure 0006375221
となる。
誤った予測を防止するため、本発明に係る予測システムは、現在時刻tでの指標値のみを用いるのではなく、交通状況の履歴についての知識を用いる。これは、対象物体の以前の挙動についての知識、又は、一つ若しくは複数の、例えば以下のような指標の変化であり得る。
Figure 0006375221
Figure 0006375221
車両Cが車両Aのためのギャップをブロックしているのは、ある時間期間だけだからである。
図2a)に示す状況では、車両Aの離脱(ホスト車両Eのレーンcからレーンrへのレーン変更)が考慮される。現在の状況の履歴についての知識に基づいて履歴指標がどのように生成されるかを理解するため、図4に3つの状況が示されている。図4a)は、離脱時刻tcut-outでの状況が示されている。すなわち、車両Aは、離脱時刻tcut-outにおいて、レーンrに割り付けられる。図4b)は、時刻
Figure 0006375221
の時点を示している。すなわち、車両Aが割り込みを行うとの予測が行われる程度に、上記離脱がかなり前に(過去に)行われている。離脱時刻tcut-outと現在時刻tとの時間差が非常に長ければ、それらの状況は互いに関係を持たない。従って、従来のコンテキストベース予測は正しい結果を出力し、予測結果の破棄や、誤った予測の抑制を行う必要はない。すなわち、車両Aが過去においてレーンcからレーンrへ離脱していても、現在時刻
Figure 0006375221
において車両Aの速度が車両Bの速度より大きく、車両Aが車両Bに接近しつつある場合には、そのことが
Figure 0006375221
によって示され、割り込みが予測されることとなる。
図4cに示す状況は、これとは異なっている。ここでは、離脱時刻tcut-outから少しだけ時間が経過した現在時刻
Figure 0006375221
での状況が図示されている。図4a)の状況とは異なり、車両Aは意図的にレーンcを離れていると考えられるため、割り込みは予測されない。ここでは、車両Bが車両Aのレーンに割り込んだため、突然にレーンrは車両Aにとって適したレーンではなくなっている。これにより車両Aと車両Bとの距離は突然に減少することとなり、これが予測に用いられて、最近において車両Aが離脱を行っていても、割り込みが予測されることとなり得る。時刻tcut-outにおける
Figure 0006375221
と、現在時刻tにおける
Figure 0006375221
との間で、不連続性が検出され得る。
図5は、車両Aがレーンlへ割り込みで戻るとする可能性の程度を示す履歴指標
Figure 0006375221
の履歴指標値
Figure 0006375221
を算出するために考慮される上述の条件を概観した図である。図5では、図1に示す履歴指標算出ユニット8の詳細が示されている。履歴指標算出ユニット8では、第1の指標値
Figure 0006375221
と、第2の指標値
Figure 0006375221
とが算出される。次に、これらの2つの
Figure 0006375221

Figure 0006375221
の指標値の変化が結合されて、履歴指標値
Figure 0006375221
が生成される。
第1の指標値
Figure 0006375221
を算出するため、現在時刻tと時刻tcut-out(レーンcに割り付けられていた車両Aが初めてレーンrに割り付けられる時刻)が、入力として用いられる。時刻tcut-outは、センサ2、3、...による対象車両Aの観察に基づいて決定される。車両Aの以前の挙動“離脱”は、時刻tcut-outと関連付けられてメモリに保存されている。離脱時刻tcut-outと現在時刻tとに基づいて、時間差Δtが算出される。時間差Δtが小さい場合には、第1の指標値
Figure 0006375221
は0である。時間差Δtが比較的大きく予め定められた閾値を超えている場合には、第1の指標値
Figure 0006375221
は1である。閾値を2つ用いて、Δtが第1の閾値になるまでは第1の指標値
Figure 0006375221
を0とし、Δtがより大きな第2の閾値を超えると第1の指標値
Figure 0006375221
を1とすることが望ましい。第1の閾値と第2の閾値との間の傾斜は、例えばフェルミ関数や、線形関数、又はその他の任意の関数に従うものとすることができる。
この第1の指標値
Figure 0006375221
に加えて、第2の指標値
Figure 0006375221
が、車両Aの新しいレーンr上の先行物体に接近していることを示す指標
Figure 0006375221
に基づいて算出される。履歴指標算出ユニット8への入力として、2つの異なる時刻tcut-outとtとにおける、先行物体への接近を示す上記の指標値が用いられる。時刻tcut-outについて算出された指標値
Figure 0006375221
と、現在時刻tについて算出された指標値
Figure 0006375221
とを用いて、第2の指標値
Figure 0006375221
を算出する。離脱時刻tcut-outでの指標値
Figure 0006375221
が、現在における指標値
Figure 0006375221
とほぼ同じである場合には、第2の指標値
Figure 0006375221
は0に設定される。これは、車両Aについての状況が、最初にレーンrに割り付けられた時刻と現在時刻tとの間で変化していないことを意味する。一方、離脱時刻tcut-outでの指標値
Figure 0006375221
が時刻tでの値よりも十分小さい場合には、第2の指標値は1に設定される。これにより、図4c)において車両Bで示された第3の車両のレーンrへの割り込みにより状況が変化したことが考慮されることとなる。この割り込みは、先行物体への接近に関する上記指標値を突然に増加させる結果となる。
次に、第1の指標値
Figure 0006375221
と、第2の指標値
Figure 0006375221
とが結合されて、履歴指標
Figure 0006375221
の履歴指標値
Figure 0006375221
が算出される。その後、この履歴指標を用いて、車両Aの割り込み挙動についての予測が算出される。上記第1および第2の指標値の算出を必要とするこれらの指標値は、間接指標算出ユニット7により出力される。過去からの指標値が必要となるので、間接指標算出ユニット7で生成されるこれらの指標は、メモリ(不図示)に保存される。
上述したコンテキストベース予測の計算を参照すると、履歴指標は直接的に入力として用いることができる。すなわち、履歴指標は、更なる間接指標として用いることができる。これに代えて、履歴指標を用いて、分類器(classifier)の出力を抑制するものとすることができる。
図6a)及び図6b)には、2つの状況が示されている。これらの状況においては、車両Aは時刻tlane-changeにおいて車両Eの隣のレーンにレーン変更を行うが、現在時刻tにおいては異なる予測を必要とする。図6a)では、レーンcよりもレーンrの方が車両Aの走行状況に良く適合するが、車両Aはレーンrからレーンcへレーン変更を行う。従って、車両Aは、レーンlへ更にレーン変更を行ってホスト車両Eのレーンlへ割り込むと予測される。このような状況は、例えば、車両Aが高速道路を走行し、速度を上げようとして加速途中である場合に発生し得る。
図6b)では、状況が異なっている。ここでは、時刻tlane-changeにおいて、既にレーンrよりもレーンcの方がより良く適合するためである。したがって、車両Aの運転者は、レーンcを走行することに満足すると考えることができ、レーンlへの割り込みは行わないであろう。
また、図7には、隣レーンへの進行というこの状況に関する履歴指標をどのように生成するかについての、履歴指標算出ユニット8の処理を示した図である。
再び、第1の指標値
Figure 0006375221
が、対象物体である車両Aの以前のレーン変更が観測された時刻tlane-changeに基づいて算出される。更なる入力として、再び現在時刻tが用いられ、以前の挙動(レーンrからレーンcへのレーン変更)が観測された時刻tlane-changeと現在時刻tとの間の時間差Δtが用いられる。Δtがほぼ0である場合、第1の指標値
Figure 0006375221
は、1に設定される。一方、Δtが増加するにつれて、第1の指標
Figure 0006375221
は、0に収束する。
履歴指標
Figure 0006375221
の値
Figure 0006375221
を算出するため、再び、第1の指標値
Figure 0006375221
が、第2の指標値
Figure 0006375221
と結合される。この第2の指標値
Figure 0006375221
は、車両Aのレーン変更時刻tlane-changeにおける指標値
Figure 0006375221
Figure 0006375221
、および
Figure 0006375221
を比較することにより算出される。第2の指標値
Figure 0006375221
は、車両Aにとって中央のレーンcが最も不適合であって且つホスト車両のレーン(レーンl)が最も良く適合する場合に、1に設定される。これは、車両Aの運転者が、最も良く適合するレーンlへ向かってレーン変更を行うべく、レーンrからレーンcへのレーン変更による一時的な状況悪化を受け入れる、という状況を表している。履歴指標
Figure 0006375221
は、第1の指標値
Figure 0006375221
が、車両Aにより行われたレーンcへの第1のレーン変更からほんの短い時間しか経過していないことを表している場合に、増加する。この場合、レーンlへの更なるレーン変更が行われる可能性が、より高いためである。一方、レーンcへの第1のレーン変更が、かなり以前に行われて大きなΔtで表される場合や、ホスト車両のレーン(ここでは、レーンl)が最も良く適合するものでないか、若しくは車両Bが向かおうとしている新たなレーン(ここでは、レーンc)が、もといたレーン(ここでは、レーンr)よりも良く適合するものである場合には、レーン変更は予測されるべきではない。従って第1の指標値
Figure 0006375221
、及び又は第2の指標値
Figure 0006375221
は、0に設定される。その結果、これらが結合された指標値、すなわち履歴指標
Figure 0006375221
の指標値
Figure 0006375221
は、0となる。
図3の状況において、図8aに例示するように車両Aの割り込みがそれ以前にブロックされていた場合には、車両Aの割り込みが予測されるべきである。車両Aと車両Cとが横に並んで走行していた過去の時刻t-Tにおいては、車両Aは、車両Bに接近していてもレーン変更を行うことはできない。その後の時刻tでは適合するギャップが存在し、時刻tfitting-gapにおいて初めてそのギャップが特定される。これにより、車両Aは、レーン変更を行うことができることとなり、従って、割り込みを行えることとなる。
ただし、それまでの間は(即ち、時刻t-Tと現在時刻tとの間は)、車両Aは速度を下げ、従って、指標値
Figure 0006375221
は値0となるので、車両Aの割り込みは予測されないこととなり得る。従って、正確な予測を行うには、車両Aにとって割り込み可能なギャップが存在する前における車両Aの運転者の意図がおそらくはレーンlへレーン変更を行うことであった、ということを考慮する必要がある。
図8bに示す状況は、異なっている。再び、時刻t-Tと現在時刻tとの間においては車両Aは減速しているので、現在時刻tにおいて割り込みは予測されない。ここで、時刻t-Tに、レーンl上において車両Aのためのギャップが利用可能であるものの、車両Aの運転者は、減速を行い、割り込みを行わないという判断をしたとする。このような状況は、例えば利用しようとする出口までの距離が短いことを運転者が既に知っており、当該運転者は追い越しをしないことを決定した、というような場合に起こり得る。どちらの場合も、現在時刻における指標値
Figure 0006375221
は、運転者がレーン変更をしたいと考えているという示唆を与えるものとはならない。したがって、車両Aの挙動を正しく予測するためには、状況全体の展開と、従って過去からの指標値と、を考慮する必要がある。
図9は、履歴指標
Figure 0006375221
の指標値
Figure 0006375221
を算出するために用いられる、関連する指標値を示す図である。
tfitting-gapは、車両Aが割り込みに利用することのできるフィッティング・ギャップがあることが、最初に認識された時刻である。従って、入力tfitting-gapと現在時刻とに基づいて、tとtfitting-gapとの間の時間差が算出される。第1の指標値
Figure 0006375221
は、時間差Δtが特定の閾値を超えている場合には0に設定され、時間差Δtがほぼ0であるときは1に設定される。これに代えて、第1の指標値
Figure 0006375221
は、Δtが増加するにつれて1から0まで連続的に減少するものとしても良い。履歴指標算出ユニット8の他の入力として、過去の時刻t-Tにおける先行物体への接近についての指標値
Figure 0006375221
、現在時刻tにおけるホスト車両のレーン上での車両Aが利用可能なフィッティング・ギャップに関する指標値
Figure 0006375221
、及び、過去の時刻t-Tにおけるホスト車両のレーン上での車両Aが利用可能なフィッティング・ギャップに関する指標値
Figure 0006375221
を1から減算したもの、が用いられている。上記のこれら指標値と第1の指標値
Figure 0006375221
との結合を用いることにより、車両cによるブロックが最近終了し、且つ、フィッティング・ギャップの無かった過去の時刻t-Tにおいて車両Aが車両Bに接近していたという場合にのみ、割り込みが予測される、ということが保証される。これと異なる他の場合には、第1の指標値
Figure 0006375221
は0に設定され、時刻t-Tでの先行物体への接近に関する指標値は既に0であり、且つ、現在時刻tでのフィッティング・ギャップについての指標値は0であるか、又は過去の時刻t-Tでのフィッティング・ギャップについての指標値が既に1であって値
Figure 0006375221
は0になるので、割り込みは予測されない。ここに、Tは、履歴又は交通状況の展開を考慮するために観測される時間間隔を定義するパラメータである。
上述の例において示したような指標値は、指標の値をそれに関連する時刻と共に保存したメモリから取り出すものとすることができる。
上記では、履歴指標算出ユニット8についての3つの例を個別に示した。ただし、これらの例の全て又は少なくとも2つを、共通の履歴指標ユニットにおいて結合することができることは自明である。
本発明において重要な点は、対象車両Aについての観測された以前の挙動、及び又は過去における特定の状況の発生を用いて過去の時刻を定義する(特徴づける、define)ことである。上述の例では、このような挙動は、例えば、車両Aの離脱(cut out)、車両Aのレーン変更、又は車両Aのためのフィッティング・ギャップの存在である。この時刻における間接指標についての少なくとも一つの指標値、及び過去におけるこの特定の時刻と現在時刻との時間差、を用いて、履歴指標値が算出される。
上述の例は、追い越しが左レーンで行われることが通常である交通システムについて示している。勿論、本システムを、両レーン又は右レーンでのみ追い越しを行うことのできる交通システム用にセットアップすることは容易である。履歴指標は、コンテキストベース予測における識別器の算出についての抑制され若しくはペナルティが課された信頼度であり、又はその算出結果を抑制するものである。

Claims (14)

  1. 対象物体の将来の移動挙動を計算的に予測する方法であって、
    −ホスト車両の環境を物理的に検知する少なくとも一つのセンサによりセンサデータを生成するステップと、
    コンテキストベース予測ステップにより、センサデータから導出された少なくとも一つの現在時刻における間接指標及び又は間接指標の結合を用いて前記センサにより検知された前記対象物体の、将来の移動挙動の複数の候補がそれぞれ或る時刻において実行される確率を算出するステップと、
    −前記対象物体の将来位置を推定するステップと、
    −前記推定された将来位置を表す信号を出力するステップと、
    を備え、
    前記コンテキストベース予測ステップでは、過去の時刻における間接指標の少なくとも一つの指標値を用いて現在時刻についての少なくとも一つの履歴指標が算出され、前記現在時刻における間接指標及び又は間接指標の前記結合に加えて、前記算出された前記履歴指標にも基づいて前記確率が算出され、
    前記履歴指標は、前記対象物体が所定の挙動を実行した過去の時刻及び又は前記対象物体に関する所定の状況が発生した過去の時刻と、現在の時刻と、の差に依存する第1の指標値と、前記対象物体が所定の挙動を実行した前記過去の時刻及び又は前記対象物体に関する所定の状況が発生した前記過去の時刻における前記間接指標についての一つの指標値である第2の指標値と、に基づいて算出され、前記第1の指標値及び前記第2の指標値は、前記対象物体が前記或る時刻において特定の移動挙動を実行するであろう確率を抑制し又は強調するものである、
    ことを特徴とする、
    方法。
  2. 前記履歴指標は、前記第1の指標値と、前記少なくとも一つの間接指標値の前記過去の時刻から現在時刻までの変化から算出される前記第2の指標値と、を用いて算出される、ことを特徴とする請求項1に記載の方法。
  3. 前記コンテキストベース予測ステップでは、間接指標に基づいて移動挙動の前記候補について確率値が算出され、前記履歴指標は間接指標として用いられる、ことを特徴とする請求項1又は2に記載の方法。
  4. 前記コンテキストベース予測ステップでは、間接指標に基づいて移動挙動の前記候補について確率値が算出され、前記履歴指標が前記算出された確率値に適用される、ことを特徴とする請求項1又は2に記載の方法。
  5. ホスト車両に搭載されて請求項1ないし4のいずれか一項に記載の方法を実行するよう設計された、運転者支援システム。
  6. 間接指標及び又は指標値を時刻に関連付けて保存するメモリを備えることを特徴とする、請求項5に記載の運転者支援システム。
  7. 少なくとも間接指標及び又は履歴指標を算出する処理ユニットを備えることを特徴とする、請求項5又は6に記載の運転者支援システム。
  8. 前記運転者支援システムはアダプティブクルーズコントロールであることを特徴とする、請求項5ないし7のいずれか一項に記載の運転者支援システム。
  9. コンピュータ上で実行されたとき又はコンピュータにロードされたときに、当該コンピュータに、データの記録及び再生を行う方法を実行させるコンピュータ読み取り可能なプログラムを記憶するプログラム記憶媒体であって、当該プログラムは、請求項1ないし5のいずれか一項に記載のデータの記録及び再生を行う方法のステップを構成するものである、プログラム記憶媒体。
  10. コンピュータ上で実行されたとき又はコンピュータにロードされたときに、当該コンピュータにデータの記録及び再生を行なう方法を実行させるプログラムであって、請求項1ないし5のいずれか一項に記載のデータの記録及び再生を行う方法のステップを構成するプログラム。
  11. 請求項6ないし8のいずれか一項に記載の運転者支援システムを備えた乗り物であって、前記運転者支援システムは、出力される前記信号に基づいて前記乗り物の制御に影響を与えるものである、乗り物。
  12. 前記運転者支援システムは衝突警告システム(Collision Warning system)であることを特徴とする、請求項5ないし7のいずれか一項に記載の運転者支援システム。
  13. 前記運転者支援システムは自律運転システム(Autonomous Driving System)であることを特徴とする、請求項5ないし7のいずれか一項に記載の運転者支援システム。
  14. 前記運転者支援システムは衝突緩和システム(Collision Mitigation System)であることを特徴とする、請求項5ないし7のいずれか一項に記載の運転者支援システム。
JP2014252916A 2014-03-24 2014-12-15 対象とする交通物体の移動挙動を予測するための方法及びシステム Active JP6375221B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14161248.1A EP2923911B1 (en) 2014-03-24 2014-03-24 A method and system for predicting movement behavior of a target traffic object
EP14161248.1 2014-03-24

Publications (2)

Publication Number Publication Date
JP2015182764A JP2015182764A (ja) 2015-10-22
JP6375221B2 true JP6375221B2 (ja) 2018-08-15

Family

ID=50382265

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014252916A Active JP6375221B2 (ja) 2014-03-24 2014-12-15 対象とする交通物体の移動挙動を予測するための方法及びシステム

Country Status (3)

Country Link
US (1) US9969388B2 (ja)
EP (1) EP2923911B1 (ja)
JP (1) JP6375221B2 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2913239B1 (en) * 2014-02-28 2019-06-19 Volvo Car Corporation Method and unit for managing following space
EP2990991A1 (en) * 2014-08-29 2016-03-02 Honda Research Institute Europe GmbH Method and system for using global scene context for adaptive prediction and corresponding program, and vehicle equipped with such system
US9892296B2 (en) 2014-11-12 2018-02-13 Joseph E. Kovarik Method and system for autonomous vehicles
JP2016168985A (ja) * 2015-03-16 2016-09-23 トヨタ自動車株式会社 走行制御装置
DE102015209467A1 (de) * 2015-05-22 2016-11-24 Continental Teves Ag & Co. Ohg Verfahren zur Schätzung von Fahrstreifen
US10031522B2 (en) 2015-05-27 2018-07-24 Dov Moran Alerting predicted accidents between driverless cars
WO2016189495A1 (en) 2015-05-27 2016-12-01 Van Dyke, Marc Alerting predicted accidents between driverless cars
US9836056B2 (en) * 2015-06-05 2017-12-05 Bao Tran Smart vehicle
JP6078116B2 (ja) * 2015-07-09 2017-02-08 富士重工業株式会社 車両の運転支援装置
US9682707B1 (en) * 2015-08-27 2017-06-20 Waymo Llc Detecting and responding to parking behaviors in autonomous vehicles
DE102015216881A1 (de) * 2015-09-03 2017-03-09 Robert Bosch Gmbh Verfahren und Vorrichtung zum fahrerlosen Führen eines Kraftfahrzeugs innerhalb eines Parkplatzes
EP3150465B1 (en) * 2015-10-01 2018-12-12 Volvo Car Corporation Method and system for indicating a potential lane shift of a vehicle
CN105469599B (zh) * 2015-12-01 2017-12-15 上海交通大学 车辆轨迹跟踪和车辆行为预测方法
WO2017120336A2 (en) * 2016-01-05 2017-07-13 Mobileye Vision Technologies Ltd. Trained navigational system with imposed constraints
US10268200B2 (en) * 2016-12-21 2019-04-23 Baidu Usa Llc Method and system to predict one or more trajectories of a vehicle based on context surrounding the vehicle
JP2018103925A (ja) * 2016-12-28 2018-07-05 日立オートモティブシステムズ株式会社 車両制御装置
JP6494121B2 (ja) * 2017-03-01 2019-04-03 本田技研工業株式会社 車線変更推定装置、車線変更推定方法、およびプログラム
KR20190113918A (ko) * 2017-03-02 2019-10-08 닛산 지도우샤 가부시키가이샤 운전 지원 방법 및 운전 지원 장치
US10814913B2 (en) 2017-04-12 2020-10-27 Toyota Jidosha Kabushiki Kaisha Lane change assist apparatus for vehicle
JP6627822B2 (ja) 2017-06-06 2020-01-08 トヨタ自動車株式会社 車線変更支援装置
JP6642522B2 (ja) * 2017-06-06 2020-02-05 トヨタ自動車株式会社 車線変更支援装置
JP6627821B2 (ja) 2017-06-06 2020-01-08 トヨタ自動車株式会社 車線変更支援装置
JP6897349B2 (ja) * 2017-06-09 2021-06-30 トヨタ自動車株式会社 運転支援装置
JP6946861B2 (ja) * 2017-08-29 2021-10-13 トヨタ自動車株式会社 自動運転評価装置及び自動運転評価方法
US10611371B2 (en) 2017-09-14 2020-04-07 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for vehicle lane change prediction using structural recurrent neural networks
US10562538B2 (en) * 2017-11-22 2020-02-18 Uatc, Llc Object interaction prediction systems and methods for autonomous vehicles
US10252721B1 (en) * 2017-11-27 2019-04-09 Honda Motor Co., Ltd. System and method for providing a vehicle convoy status indication
US10156850B1 (en) * 2017-12-08 2018-12-18 Uber Technologies, Inc. Object motion prediction and vehicle control systems and methods for autonomous vehicles
JP2019156180A (ja) * 2018-03-13 2019-09-19 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US10860025B2 (en) * 2018-05-15 2020-12-08 Toyota Research Institute, Inc. Modeling graph of interactions between agents
US10745007B2 (en) * 2018-06-08 2020-08-18 Denso International America, Inc. Collision avoidance systems and methods
DE102018212916A1 (de) * 2018-08-02 2020-02-06 Bayerische Motoren Werke Aktiengesellschaft Bestimmung eines Verlaufs einer Fahrspur
US10766487B2 (en) 2018-08-13 2020-09-08 Denso International America, Inc. Vehicle driving system
US10926777B2 (en) * 2018-10-18 2021-02-23 Toyota Research Institute, Inc. Vehicles and methods of controlling a vehicle to accommodate vehicle cut-in
EP3893217B1 (en) * 2018-12-06 2022-11-30 NISSAN MOTOR Co., Ltd. Travel assistance method and travel assistance device
FR3089926B1 (fr) * 2018-12-13 2021-05-28 Psa Automobiles Sa Consolidation d’un indicateur de présence d’un objet cible pour une conduite autonome
US11537127B2 (en) * 2019-09-12 2022-12-27 Uatc, Llc Systems and methods for vehicle motion planning based on uncertainty
DE102019129904A1 (de) * 2019-11-06 2021-05-06 Valeo Schalter Und Sensoren Gmbh Automatische Fahrkompetenzanalyse
US11008018B1 (en) * 2020-03-25 2021-05-18 Toyota Research Institute, Inc. Risk prediction on a peer-to-peer network
US11407415B2 (en) * 2020-09-01 2022-08-09 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for adjusting a yielding space of a platoon
GB202102789D0 (en) * 2021-02-26 2021-04-14 Five Ai Ltd Prediction and planning for mobile robots
CN117897749A (zh) * 2021-12-31 2024-04-16 深圳市大疆创新科技有限公司 一种车辆位置的预测方法、装置、车辆及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1297445A4 (en) * 2000-06-09 2005-11-23 Automotive Systems Lab SITUATION AWARENESS PROCESSOR
DE102005002504A1 (de) * 2005-01-19 2006-07-27 Robert Bosch Gmbh Fahrerassistenzsystem mit Fahrschlauchprädiktion
JP4254844B2 (ja) * 2006-11-01 2009-04-15 トヨタ自動車株式会社 走行制御計画評価装置
JP4207088B2 (ja) * 2007-06-20 2009-01-14 トヨタ自動車株式会社 車両走行推定装置
JP5312217B2 (ja) * 2009-06-16 2013-10-09 本田技研工業株式会社 車両用衝突可能性判定装置
JP5533157B2 (ja) * 2010-04-07 2014-06-25 トヨタ自動車株式会社 将来挙動予測装置
DE102010020047A1 (de) * 2010-05-11 2011-01-05 Daimler Ag Verfahren zur Anpassung eines für ein Abstandsregelsystem eines Fahrzeugs vorgegebenen Soll-Abstandes an eine momentane Verkehrssituation
US9159023B2 (en) * 2010-06-18 2015-10-13 Honda Motor Co., Ltd. System for predicting a driver's intention to change lanes
EP2562060B1 (en) 2011-08-22 2014-10-01 Honda Research Institute Europe GmbH A method and system for predicting movement behavior of a target traffic object

Also Published As

Publication number Publication date
US20150266477A1 (en) 2015-09-24
EP2923911B1 (en) 2019-03-13
EP2923911A1 (en) 2015-09-30
JP2015182764A (ja) 2015-10-22
US9969388B2 (en) 2018-05-15

Similar Documents

Publication Publication Date Title
JP6375221B2 (ja) 対象とする交通物体の移動挙動を予測するための方法及びシステム
JP6742802B2 (ja) 対象物体の将来状態を計算により予測する方法の性能を向上するための方法、運転者支援システム、そのような運転者支援システムを備える車両、並びに対応するプログラムの記憶媒体及びプログラム
US9669872B2 (en) Method and system for predictive lane change assistance, program software product and vehicle
US8903588B2 (en) Method and system for predicting movement behavior of a target traffic object
US11623644B2 (en) Apparatus and method for controlling vehicle based on cut-in prediction in junction section
CN106985780B (zh) 车辆安全辅助系统
US9889858B2 (en) Confidence estimation for predictive driver assistance systems based on plausibility rules
US10343686B2 (en) Autonomous driving system
CN109844843B (zh) 用于检查超车可能性条件的方法
JP6654923B2 (ja) 地図情報出力装置
JP2016051467A (ja) 適合化予測のために広域的シーンコンテクストを使用する方法およびシステム並びに対応するプログラム、該システムを備えた乗り物
JP7145815B2 (ja) 電子制御装置
US10967867B2 (en) Method and apparatus for efficiently providing occupancy information on the surroundings of a vehicle
US11295609B1 (en) Travel assistance method and travel assistance device
JP7356892B2 (ja) 車両の走行環境推定方法、及び、走行環境推定システム
Tomar et al. Collision avoidance warning for safe lane change
EP4194297A1 (en) Collision indication based on yaw rate and lateral velocity thresholds
US20230124490A1 (en) Course prediction device
JP2018028743A (ja) 車両制御装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160421

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20161114

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20161206

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20161228

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170802

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180723

R150 Certificate of patent or registration of utility model

Ref document number: 6375221

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250