JP7005978B2 - 軌跡推定方法及び軌跡推定装置 - Google Patents
軌跡推定方法及び軌跡推定装置 Download PDFInfo
- Publication number
- JP7005978B2 JP7005978B2 JP2017139888A JP2017139888A JP7005978B2 JP 7005978 B2 JP7005978 B2 JP 7005978B2 JP 2017139888 A JP2017139888 A JP 2017139888A JP 2017139888 A JP2017139888 A JP 2017139888A JP 7005978 B2 JP7005978 B2 JP 7005978B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- dimensional
- time
- locus
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Steering Control In Accordance With Driving Conditions (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、対象物の上下動を含んだ軌跡を推定することを目的とする。
(第1実施形態)
(構成)
図1を参照する。運転支援装置1は、運転支援装置1を搭載する車両(以下、「自車両」と表記する)の周囲の走行環境に基づいて、自車両を自動的に操舵したり停止させる走行支援制御と、運転者が関与せずに自車両を自動で運転する自動運転制御を行う。
運転支援装置1は、軌跡推定装置10と、車両挙動センサ群20と、車両走行コントローラ30と、車両制御アクチュエータ群31を備える。
周囲環境センサ群11は、自車両の周囲環境、例えば自車両の周囲の物体を検出するセンサ群である。
ステレオカメラ50は、自車両周囲のステレオ画像を自車両の周囲環境の情報として生成する。ステレオカメラ50は、ステレオカメラ50の撮影方向と直交する方向に沿って互いの視野が重なるように配置された第1画像センサ52と、第2画像センサ53を備える。例えば、第1画像センサ52はステレオカメラ50の撮影方向を向いたときに左側に配置され、第2画像センサ53は右側に配置されてよい。このステレオカメラ50によって、自車両周囲に存在する物体の有無、自車両と物体との相対位置及び相対距離を、自車両の周囲環境として検出する。また、このステレオカメラ50では、物体の相対位置や相対距離を連続的に検出し、加えて、自車両の挙動(移動距離、移動速度等)を用いることで、物体が移動物体であるか否かを検出することができる。
周囲環境センサ群11は、検出した周囲環境の情報である周囲環境情報をコントローラ12と車両走行コントローラ30へ出力する。
なお、汎用の半導体集積回路中に設定される機能的な論理回路でコントローラ12を実現してもよい。例えば、コントローラ12はフィールド・プログラマブル・ゲート・アレイ(FPGA:Field-Programmable Gate Array)等のプログラマブル・ロジック・デバイス(PLD:Programmable Logic Device)等を有していてもよい。
記憶装置56には、プロセッサ55上で実行されて、移動物体の3次元軌跡を推定する処理をコントローラ12に実行させるためのコンピュータプログラムが記憶される。
図2を参照する。コントローラ12は、現時点t0のステレオ画像から自車両2の周囲の物体3の特徴点4a0、4b0、4c0及び4d0を抽出する。
また、点4a1、4b1、4c1及び4d1は、現時点t0より1サイクル前の時刻t-1に撮像されたステレオ画像から抽出した物体3の特徴点である。1サイクルは、所定の長さの期間であり、例えばコントローラ12による移動物体の軌跡推定処理の処理周期であってよい。
点4a3、4b3、4c3及び4d3は、現時点t0より3サイクル前の時刻t-3に撮像されたステレオ画像から抽出した物体3の特徴点である。
点4a4、4b4、4c4及び4d4は、現時点t0より4サイクル前の時刻t-4に撮像されたステレオ画像から抽出した物体3の特徴点である。
点4a6、4b6、4c6及び4d6は、現時点t0より6サイクル前の時刻t-6に撮像されたステレオ画像から抽出した物体3の特徴点である。
例えばコントローラ12は、点4a0~点4a6を接続して特徴点4a0の3次元軌跡5aを推定する。
また、コントローラ12は、点4c0~点4c6を接続して特徴点4c0の3次元軌跡5cを推定する。
また、コントローラ12は、点4d0~点4d6を接続して特徴点4d0の3次元軌跡5dを推定する。
コントローラ12は、先行車や対向車などの自車両周囲の移動物体のヨー軸回転を検出することにより、移動物体の旋回などの3次元運動を推定してよい。
また例えば、コントローラ12は、先行車などの自車両周囲の移動物体のピッチ軸回転を検出することにより、移動物体の登坂又は降坂などの3次元運動として推定してもよい。
またコントローラ12は、先行車などの自車両周囲の移動物体の運動(例えば移動物体の上下動)を検出することにより、路面凹凸やスピードバンプなどの段差に起因する先行車の上下動などの3次元運動を推定してもよい。
例えば、コントローラ12は、先行車や対向車などの自車両周囲の移動物体の旋回運動に基づいて自車両前方にカーブ路などの道路形状を推定してよい。
また例えば、コントローラ12は、先行車などの自車両周囲の移動物体の運動(例えば移動物体の上下動)に基づいて自車両前方の路面凹凸やスピードバンプなどの路面状況を推定してよい。
また例えば、コントローラ12は、先行車などの自車両周囲の移動物体の制動動作に基づいて自車両前方の交通状況を推定してもよい。
ユーザインタフェース装置13は、コントローラ12から受信した3次元軌跡情報、移動物体運動情報、周囲状況情報を視覚的に運転者に呈示する視覚信号出力装置や、聴覚的に呈示する発音装置を備えてよい。
また、例えばユーザインタフェース装置13は、周囲状況情報に基づいて「前方にカーブがあります」、「前方に路面凹凸があります」などの周囲状況を知らせる音声信号や視覚的なメッセージを運転者に呈示してもよい。
また、例えばユーザインタフェース装置13は、運転席のシートを振動させるバイブレータを備えていてもよい。ユーザインタフェース装置13は、周囲状況情報に基づいて、運転席のシートを振動させて周囲状況を運転者に知らせ、運転者の注意を促してもよい。例えば、例えば前方に路面凹凸やスピードバンプがある場合に運転席のシートを振動させてよい。
車速センサ21は、自車両の車輪速を検出し、車輪速に基づいて自車両の速度を算出する。加速度センサ22は、自車両の前後方向の加速度、車幅方向の加速度、上下方向の加速度を検出する。すなわち加速度センサ22は、自車両の3軸並進運動方向(すなわちステレオカメラ50の3軸並進運動方向)の加速度を検出する。
操舵角センサ24は、操舵操作子であるステアリングホイールの現在の回転角度(操舵操作量)である現在操舵角を検出する。
これら車速、加速度、回転角速度、及び操舵角の情報を、総称して「車両挙動情報」と表記することがある。車両挙動センサ群20は、車両挙動情報を車両走行コントローラ30へ出力する。
なお、汎用の半導体集積回路中に設定される機能的な論理回路で車両走行コントローラ30を実現してもよい。例えば、車両走行コントローラ30は、フィールド・プログラマブル・ゲート・アレイ等のプログラマブル・ロジック・デバイス等を有していてもよい。
車両走行コントローラ30の記憶装置は、記憶媒体として半導体記憶装置、磁気記憶装置及び光学記憶装置のいずれかを備えてよい。車両走行コントローラ30の記憶装置は、レジスタ、キャッシュメモリ、主記憶装置として使用されるROM及びRAM等のメモリを含んでよい。
尚、本実施形態においては、ステアリングアクチュエータ41、アクセル開度アクチュエータ42は、ブレーキ制御アクチュエータ43、のうち少なくとも一つが自動で制御されている状態を自動運転とし、これらすべてのアクチュエータが手動で制御されている状態を手動運転とする。また、本実施形態においては、自動運転及び手動運転の両方にも適用することが可能である。
車両制御アクチュエータ群31は、車両走行コントローラ30からの制御信号に応じて、自車両のステアリングホイール、アクセル開度、ブレーキ装置、トランスミッションのギアを操作して、自車両の走行を制御する。車両制御アクチュエータ群31は、ステアリングアクチュエータ32と、アクセル開度アクチュエータ33と、ブレーキ制御アクチュエータ34と、シフトアクチュエータ35を備える。
車両走行コントローラ30は、3次元軌跡情報、移動物体運動情報、及び周囲状況情報に基づいて、自車両の走行支援制御と自動運転制御を行う。
例えば、車両走行コントローラ30は、移動物体運動情報に含まれる先行車の加減速やヨーレートに基づいて、自車の目標加減速度及び目標操舵角を決定し、車両制御アクチュエータ群31を制御して、先行車の軌跡を追従する追従走行を行ってもよい。
また車両走行コントローラ30は、3次元軌跡情報に基づいて対向車が自車両の方向に向かう兆候が推定されたとき、対向車を回避する自動操舵や対向車との衝突を回避するために自動ブレーキをかけてもよい。
例えば、上り勾配が増加すると推定された場合、車両走行コントローラ30は、アクセル開度を増加させギアのシフトポジションを低速側に変更させてよい。上り勾配が減少すると推定された場合、車両走行コントローラ30は、アクセル開度を減少させギアのシフトポジションを高速側に変更させてよい
また車両走行コントローラ30は、周囲状況情報に基づいて自車両前方の路面凹凸が推定されたときに、車両制御アクチュエータ群31を制御してアクセル開度制御、ブレーキ制御を行うことにより、自車両の速度を下げ凹凸による乗員の上下動を抑制してもよい。
シートコントローラ40は、乗員席シートの位置又は姿勢を変更する電子制御ユニットである。シートコントローラ40は、シートアクチュエータ41を駆動することにより乗員席シートの位置又は姿勢を変更する。シートコントローラ40は、例えば乗員によるシートスイッチの操作に応じて乗員席シートの位置又は姿勢を変更する。
例えばコントローラ12は、自動運転制御実行時に前方に路面凹凸やスピードバンプがあると推定された場合に、手動運転への切り替えに備えて運転席シートの背もたれの後方へのリクライニング量を減らしたり、座席位置の後退量を低減させてよい。
例えばコントローラ12は、自車両前方の路面状況、例えば路面凹凸やスピードバンプの存在、路面凹凸の大きさ又は多さに基づいて操舵反力を制御してよい。例えば、路面凹凸やスピードバンプがあったり、路面凹凸が大きかったり、多い場合に、これらの凹凸やバンプによりハンドルが取られないように操舵反力を大きくしてもよい。
例えばコントローラ12は、周囲状況情報に基づいて自車両前方の路面凹凸が推定されたときに、ショックアブソーバの減衰力を低減させることにより凹凸による乗員の上下動を抑制してもよい。
画像補正部60及び61と、特徴点抽出部62及び63と、3次元座標算出部65と、オプティカルフロー算出部66と、センサ運動検出部67と、3次元軌跡算出部68と、軌跡変換部69と、軌跡接続部70と、運動推定部71の機能は、コントローラ12のプロセッサ55が、記憶装置56に格納されたコンピュータプログラムを実行することによって実現されてよい。
画像補正部60には第1画像が連続して入力され、画像補正部61には第2画像が連続して入力される。
3次元軌跡5a及び5bが3次元軌跡記憶部64に記憶されている場合を想定する。
3次元軌跡5aは、時刻t-1以前の複数の時刻t-1~時刻t-6のステレオ画像からそれぞれ抽出された特徴点4a1~4a6の軌跡であり、3次元軌跡5bは、時刻t-1~時刻t-6のステレオ画像からそれぞれ抽出された特徴点4b1~4b6の軌跡である。
なお、一点鎖線2は、3次元軌跡5a及び5bに対する自車両の相対位置を示す。時刻t-1の後から現時点t0より前の期間に3次元軌跡記憶部64に記憶されている3次元軌跡5a及び5bの位置は、時刻t-1における自車両2の位置に対する相対位置である。
図5を参照する。現時点t0において特徴点4a0及び4b0の3次元座標が算出された場合を想定する。以下、特徴点が表す空間中の点を単に「特徴点」と表記することがある。
図6を参照する。例えばオプティカルフロー算出部66は、互いに対応する現時点t0の特徴点4a0と時刻t-1の特徴点4a1とのオプティカルフロー80aを抽出することにより特徴点4a0と3次元軌跡5aとを対応付ける。
オプティカルフロー算出部66は、過去の特徴点(例えば時刻t-1の特徴点4a1)と現時点t0の特徴点(例えば特徴点4a0)とが空間中の同一の点を表す場合(すなわち過去の特徴点と現時点t0の特徴点とが空間中の同一の点の像である場合)に、これらの特徴点の組み合わせを対応する特徴点の組み合わせとして検出する。
オプティカルフローの抽出には、例えば非特許文献「Bruce D. Lucas and Takeo Kanade. An Iterative Image Registration Technique with an Application to Stereo Vision. International Joint Conference on Artificial Intelligence, pages 674-679, 1981」に記載の手法を用いてよい。
例えばセンサ運動検出部67は、第1画像及び第2画像に基づいて自車両の3軸並進運動及び3軸回転運動を検出してよい。
図7を参照する。ここでは、1サイクル前の時刻t-1の位置81から現時点t0の位置82へ移動したときの自車両2の運動を検出する。
具体的には、センサ運動検出部67は、オプティカルフローにより1サイクル前の時刻t-1の複数の特徴点にそれぞれ対応付けられた現時点t0の第1画像中の特徴点を特定することにより、1サイクル前の時刻t-1の複数の特徴点の3次元座標にそれぞれ対応する現時点t0の画像上の位置を求める。
また、車速やヨーレートなどの車両センサから得られる情報だけでなく、ロール、ピッチ、横滑りを含む6軸運動の情報が得られる。
また、遠方の移動物体の移動を検出しやすくなる。自車両が回転運動すると遠方の特徴点が大きく動く。このため、従来、遠方の移動物体自体の移動と自車両の回転運動に伴う遠方の特徴点の移動との区別が難しかった。画像からセンサ運動を求めると、自車両の回転時に遠方の特徴点が大きく動くので、自車両の回転運動の検出精度が高くなる。このため、自車両の回転運動に伴う遠方の特徴点の移動を精度良く取り除くことができるので、遠方の移動物体の移動を検出しやすくなる。例えば右折時や左折時において検出しやすくなる。
具体的には、軌跡変換部69は、センサ運動検出部67が検出した自車両の運動(ステレオカメラ50の運動)に基づいて、3次元軌跡記憶部64に記憶されている3次元軌跡5a及び5bの3次元座標を、現時点t0の第1画像センサ52の位置を基準とするセンサ座標系上の座標へ変換する。すなわち、3次元軌跡記憶部64に記憶されている3次元軌跡5a及び5bを、現時点t0のセンサ座標系上の3次元軌跡へ変換する。
これにより、1サイクル前の時刻t-1の特徴点4a1と特徴点4b1が、現時点t0のセンサ座標系上のどの座標にあるのかが求まるので、1サイクル前の時刻t-1の特徴点4a1と現時点t0の特徴点4a0との間の3次元軌跡5x、1サイクル前の時刻t-1の特徴点4b1と現時点t0の特徴点4b0との間の3次元軌跡5yを算出できる。
図9を参照する。軌跡接続部70は、軌跡変換部69によりセンサ座標系上の軌跡に変換された3次元軌跡5aへ、オプティカルフローにより3次元軌跡5aに対応付けられている現時点t0の特徴点4a0の3次元座標を接続する。具体的には、3次元軌跡5aの1サイクル前の時刻t-1の特徴点4a1に特徴点4a0を接続する。同様に、軌跡接続部70は、センサ座標系上の軌跡に変換された3次元軌跡5bへ、オプティカルフローにより3次元軌跡5bに対応付けられている現時点t0の特徴点4b0の3次元座標を接続する。
このように軌跡接続部70は、異なるサイクルで算出された複数の3次元軌跡を接続する。
このように同一の移動物体3に属する複数の3次元軌跡5a~5dをグループ化することで、この移動物体3の姿勢や微小な運動変化を精度よく且つ迅速に検知することが可能となる。
運動推定部71は、移動物体の3次元軌跡情報、移動物体運動情報及び周囲状況情報を、ユーザインタフェース装置13及び車両走行コントローラ30へ出力する。
このとき、例えばコントローラ12は、異なるサイクルで算出された特徴点間の複数の3次元軌跡が連続的に接続されることにより生成された3次元軌跡5a~5dのそれぞれの座標を、第1画像センサ52の画角、取り付け位置、光軸方向等のパラメータに基づいて第1画像センサ52の撮像画像上の座標へ変換することにより、これら3次元軌跡5a~5dを第1画像センサ52の撮像画像上の2次元座標系に投影してよい。コントローラ12は、2次元座標系に投影した3次元軌跡5a~5dを第1画像センサ52の撮像画像に重畳する。
次に、軌跡推定装置10の動作を説明する。図11は、軌跡推定処理の1処理周期(すなわち1サイクル)における処理のフローを示す。軌跡推定装置10は、図11のフローを所定の処理周期で反復する。
ステップS1においてステレオカメラ50は、自車両周囲のステレオ画像を所定の周期で取得する。
ステップS2において画像補正部60及び61は、ステレオ画像に含まれる第1画像及び第2画像の補正処理をそれぞれ行う。
ステップS4において3次元座標算出部65は、互いに対応する第1画像の特徴点と第2画像の特徴点を探索するステレオ視差算出処理により特徴点の3次元座標を算出する。
なお、ステップS4の3次元座標の算出より先にステップS5のオプティカルフローの算出を行ってもよく、ステップS4の3次元座標の算出と並列に(同時に)ステップS5のオプティカルフローの算出を行ってもよい。
ステップS7において軌跡変換部69は、3次元軌跡記憶部64に記憶されている3次元軌跡のそれぞれを、現時点t0の第1画像センサ52の位置を基準とするセンサ座標系上の軌跡へ変換する。
ステップS10において軌跡接続部70は、オプティカルフローにより現時点t0の特徴点に対応付けできない3次元軌跡について、所定サイクル以上にわたって現時点t0の特徴点に対応付けられないか否かを判定する。
ステップS11において軌跡接続部70は、所定サイクル以上にわたって現時点t0の特徴点に対応付けられない3次元軌跡を3次元軌跡記憶部64から削除する。その後に処理は終了する。
(1)自車両に搭載されたステレオカメラ50は、自車両周囲の第1画像と第2画像を取得する。特徴点抽出部62及び63は、第1画像中の特徴点と第2画像中の特徴点とを抽出する。
3次元座標算出部65は、特徴点の3次元座標を取得する。オプティカルフロー算出部66は、第1時刻の画像から抽出した特徴点と、第2時刻より前の第1時刻以前の画像から抽出した特徴点の3次元軌跡とを対応付ける。
センサ運動検出部67は、ステレオカメラ50の3軸並進運動及び3軸回転運動を検出する。軌跡変換部69は、3軸並進運動及び前記3軸回転運動に基づき、3次元軌跡を、第1時刻の第1画像センサ52の位置を基準とするセンサ座標系上の軌跡へ変換する。
軌跡接続部70は、センサ座標系上の軌跡に変換された3次元軌跡へ、この軌跡に対応付けられた第2時刻の画像から抽出した特徴点の3次元座標を接続することにより、3次元軌跡を更新する。
これにより、移動物体の3次元軌跡を生成することができるようになる。すなわち移動動物体の上下動を含んだ軌跡を推定できる。このため、移動物体の挙動を正確に検出できるようになる。移動物体の詳細な挙動を検出し、移動物体の詳細な挙動に基づいて路面状況を検出できるようになるため、それに合わせて正確な運転支援を実行できる。
これにより、類似した軌跡を持つ特徴点を統合することで、これらの特徴点が属する車両などの移動物体を抽出することができる。対象の大きさなどにより対象の種別を判断することで、種別に応じた3次元運動モデルを仮定して複数の特徴点を追跡することで、移動物体の運動をより正確に推定することができる。
このとき、運動推定部71は、3次元軌跡に基づいて先行車の運動を推定してもよい。車両走行コントローラ30は、先行車の運動に基づいて車両制御アクチュエータ群31を制御して自車両の自動運転又は走行支援を行う。
これにより、先行車の詳細な3次元軌跡を利用して自動運転又は走行支援を実行できるので、乗員の違和感を抑制する走行支援を実行できる。
これにより、2次元平面上で動く車両だけでなく、3次元的な運動を行うプラットフォームに搭載した場合でも、本発明を適用することができる。
車速やヨーレートなどの車両センサから得られる情報だけでなく、ロール、ピッチ、横滑りを含む6軸運動の情報が得られる。
また、外部の車両センサを用いずに自車両の運動を検出できるので、画像センサと外部の車両センサとの間の同期が不要になる。
さらに、従来、遠方の移動物体自体の移動と、自車両の回転運動に伴う遠方の特徴点の移動との区別が難しかったところ、画像からセンサ運動を求めると自車両の回転時に遠方の特徴点が大きく動くので、自車両の回転運動の検出精度がよい。このため、自車両の回転運動に伴う遠方の特徴点の移動を精度良く取り除くことができるので、遠方の移動物体の移動を検出しやすくなる。例えば右折時や左折時において移動物体の移動を検出しやすくなる。
(6)運動推定部71は、3次元軌跡から自車両の周囲の移動物体の運動を推定し、移動物体の運動に基づいて自車両の周囲状況を推定する。ユーザインタフェース装置13は、周囲状況を乗員に報知する。
これにより、自車両周囲を視認するだけでは知覚が難しい自車両の周囲状況の変化を乗員に知らせることが可能となる。
例えば、3次元軌跡として得られる先行車の走行軌跡の上下動から自車両の前方の走行路の勾配変化を推定する。車両走行コントローラ30は、推定した勾配変化に基づいて車両制御アクチュエータ群31を制御して自車両の加減速度変化を抑制する。これにより、周囲の移動物体の詳細な3次元軌跡を利用して自車両の加減速度変化を抑制できるので、乗員の違和感を抑制する運転支援を実行できる。
(1)自車両の車速信号と、自車両に搭載された加速度センサ22及びジャイロセンサ23の出力信号とに基づいて、ステレオカメラ50の3軸並進運動及び3軸回転運動を算出してもよい。
これにより、特徴点が検出しにくい場面でも自車両の運動(すなわちステレオカメラ50の運動)を検出できるため、軌跡推定装置10の利用シーンを拡大できる。
(2)また、特徴点までの距離をレーダ51で検出して特徴点の3次元座標を取得してもよい。この場合、ステレオカメラ50に代えて単眼カメラで自車両周囲の画像を取得してもよい。
次に第2実施形態について説明する。第2実施形態では、特徴点の位置と自車両の速度を状態量とする時系列フィルタを用いて3次元軌跡を生成する。
図12を参照する。図3に示す構成要素と同一の構成要素には同じ参照符号を付して、説明を省略する。
拡張カルマンフィルタは時系列フィルタの一例であり、本発明はこれに限定されるものではない。軌跡推定装置10は、拡張カルマンフィルタの代わりにカルマンフィルタやパーティクルフィルタなどの他の時系列フィルタを用いて3次元軌跡を推定してもよい。
拡張カルマンフィルタ90は、予測部92と、計測部93とを備える。
予測部92は、センサ運動検出部67が推定したステレオカメラ50の運動に基づいて、1サイクル前の時刻t-1までの3次元軌跡を現時点t0のセンサ座標系上の3次元軌跡へ変換する。
計測部93は、推定した現時点t0の特徴点の3次元座標と、誤差共分散行列と、3次元座標算出部65が算出した現時点t0の特徴点の3次元座標の観測量とに基づき、現時点t0の特徴点の3次元座標を算出する。
フィルタ生成部91は、以前に生成済の3次元軌跡に対応付けられない現時点t0の特徴点を検出すると、その現時点t0を含んだ新規の3次元軌跡を記録し、新規の3次元軌跡のための新たな拡張カルマンフィルタ90を生成する。
軌跡推定装置10は、時系列フィルタを用いて3次元軌跡を生成する。これにより、特徴点の位置や自車両の速度の誤差を推定することができるので、観測された運動が誤差によるものか移動物体の運動によるものかを統計的に判断できる。
Claims (12)
- 自車両に搭載された画像センサにより第1時刻及び前記第1時刻より後の第2時刻において自車両周囲の画像を取得し、
前記第1時刻の画像中の特徴点と、前記第1時刻の特徴点に対応する前記第2時刻の画像中の特徴点とを抽出し、
前記第1時刻の画像中の特徴点が表す3次元空間中の3次元座標と、前記第2時刻の画像中の特徴点が表す3次元空間中の3次元座標とを算出し、
前記画像センサの3軸並進運動及び3軸回転運動を検出し、
検出した前記3軸並進運動及び前記3軸回転運動に基づき、前記第1時刻の画像中の特徴点が表す3次元座標と、前記第1時刻の特徴点に対応する前記第2時刻の画像中の特徴点が表す3次元座標と、を接続する3次元軌跡を算出し、
複数の前記3次元軌跡を接続する、ことを特徴とする軌跡推定方法。 - 時系列フィルタを用いて前記3次元軌跡を生成することを特徴とする請求項1に記載の軌跡推定方法。
- 前記3次元軌跡が類似する特徴点をグループ化することで移動物体を検出し、
前記移動物体の3次元モデルに前記特徴点を当てはめ、グループ化された前記特徴点の3次元軌跡に基づいて前記移動物体の運動を推定する、
ことを特徴とする請求項1又は2に記載の軌跡推定方法。 - 前記自車両周囲の画像の先行車の位置より、前記特徴点を抽出し、
前記先行車の運動として、前記3次元軌跡を算出し、
前記3次元軌跡に基づいてアクチュエータを制御して前記自車両の自動運転又は走行支援を行う、
ことを特徴とする請求項1~3のいずれか一項に記載の軌跡推定方法。 - 前記第1時刻の画像から抽出した特徴点の3次元座標と、前記第1時刻の画像から抽出した特徴点に対応する前記第2時刻の画像から抽出した特徴点の座標と、に基づいて、前記3軸並進運動及び前記3軸回転運動を算出することを特徴とする請求項1~4のいずれか一項に記載の軌跡推定方法。
- 接続した前記複数の3次元軌跡をカメラで撮影した画像の前記特徴点の位置に重畳して表示することを特徴とする請求項1~5のいずれか一項に記載の軌跡推定方法。
- 前記3次元軌跡から前記自車両の周囲の移動物体の運動を推定し、
前記移動物体の運動に基づいて前記自車両の周囲状況を推定し、前記周囲状況を乗員に報知することを特徴とする請求項1~6のいずれか一項に記載の軌跡推定方法。 - 前記3次元軌跡から前記自車両の周囲の移動物体の運動を推定し、
前記移動物体の運動に基づいて前記自車両の周囲状況を推定し、前記周囲状況に応じて運転席シートの位置又は姿勢を変化させることを特徴とする請求項1~7のいずれか一項に記載の軌跡推定方法。 - 前記3次元軌跡として得られる前記自車両の周囲の移動物体の運動より前記自車両の前方の走行路の勾配変化を推定し、
推定した前記勾配変化に基づいてアクチュエータを制御して前記自車両の加減速度変化を抑制することを特徴とする請求項1~8のいずれか一項に記載の軌跡推定方法。 - 自車両に搭載された画像センサにより第1時刻及び前記第1時刻より後の第2時刻において自車両周囲の画像を取得し、
前記第1時刻の画像中の特徴点と、前記第1時刻の特徴点に対応する前記第2時刻の画像中の特徴点とを抽出し、
前記画像センサの3軸並進運動及び3軸回転運動を検出し、
検出した前記3軸並進運動及び前記3軸回転運動に基づき、前記第1時刻の画像中の特徴点と、前記第1時刻の特徴点に対応する前記第2時刻の画像中の特徴点と、の3次元軌跡を算出し、
複数の前記3次元軌跡を接続し、
前記3次元軌跡として得られる前記自車両の周囲の移動物体の運動より前記自車両の前方の走行路の凹凸を推定し、
検出した前記凹凸に基づいてアクチュエータを制御して前記凹凸による乗員の上下動を抑制することを特徴とする軌跡推定方法。 - 前記3次元軌跡として得られる前記自車両の周囲の移動物体の運動より、前記自車両の周囲の路面状況を検出し、検出した前記路面状況に基づいてステアリングホイールに付与する操舵反力を変更することを特徴とする請求項1~10のいずれか一項に記載の軌跡推定方法。
- 第1時刻及び前記第1時刻より後の第2時刻において自車両周囲の画像を取得する画像センサと、
前記第1時刻の画像中の特徴点と、前記第1時刻の特徴点に対応する前記第2時刻の画像中の特徴点とを抽出する特徴点抽出部と、
前記第1時刻の画像中の特徴点が表す3次元空間中の3次元座標と、前記第2時刻の画像中の特徴点が表す3次元空間中の3次元座標とを算出する3次元座標算出部と、
前記画像センサの3軸並進運動及び3軸回転運動を検出するセンサ運動検出部と、
検出した前記3軸並進運動及び前記3軸回転運動に基づき、前記第1時刻の画像中の特徴点が表す3次元座標と、前記第1時刻の特徴点に対応する前記第2時刻の画像中の特徴点が表す3次元座標と、を接続する3次元軌跡を算出する3次元軌跡算出部と、
複数の前記3次元軌跡を接続する軌跡接続部と、
を備えることを特徴とする軌跡推定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017139888A JP7005978B2 (ja) | 2017-07-19 | 2017-07-19 | 軌跡推定方法及び軌跡推定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017139888A JP7005978B2 (ja) | 2017-07-19 | 2017-07-19 | 軌跡推定方法及び軌跡推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019018743A JP2019018743A (ja) | 2019-02-07 |
JP7005978B2 true JP7005978B2 (ja) | 2022-02-10 |
Family
ID=65353612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017139888A Active JP7005978B2 (ja) | 2017-07-19 | 2017-07-19 | 軌跡推定方法及び軌跡推定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7005978B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11468698B1 (en) | 2018-06-28 | 2022-10-11 | Amazon Technologies, Inc. | Associating events with actors using digital imagery and machine learning |
US11482045B1 (en) | 2018-06-28 | 2022-10-25 | Amazon Technologies, Inc. | Associating events with actors using digital imagery and machine learning |
US11468681B1 (en) | 2018-06-28 | 2022-10-11 | Amazon Technologies, Inc. | Associating events with actors using digital imagery and machine learning |
KR102175947B1 (ko) * | 2019-04-19 | 2020-11-11 | 주식회사 아이유플러스 | 레이더 및 영상을 결합하여 차량용 3차원 장애물을 표시하는 방법 및 장치 |
EP3977054A1 (en) * | 2019-05-28 | 2022-04-06 | Mobileye Vision Technologies Ltd. | Systems and methods for vehicle navigation |
KR102178585B1 (ko) * | 2019-07-02 | 2020-11-13 | 한국교통대학교산학협력단 | 주변 차량 자세 추정 시스템 |
CN111402293B (zh) * | 2020-03-10 | 2023-11-14 | 北京邮电大学 | 面向智能交通的一种车辆跟踪方法及装置 |
US11443516B1 (en) * | 2020-04-06 | 2022-09-13 | Amazon Technologies, Inc. | Locally and globally locating actors by digital cameras and machine learning |
US11398094B1 (en) | 2020-04-06 | 2022-07-26 | Amazon Technologies, Inc. | Locally and globally locating actors by digital cameras and machine learning |
JPWO2023062400A1 (ja) * | 2021-10-12 | 2023-04-20 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001266160A (ja) | 2000-03-22 | 2001-09-28 | Toyota Motor Corp | 周辺認識方法および周辺認識装置 |
JP2005061376A (ja) | 2003-08-20 | 2005-03-10 | Keihin Corp | 二輪自動車の出力制御装置 |
JP2011070593A (ja) | 2009-09-28 | 2011-04-07 | Mitsubishi Motors Corp | 車両周辺監視装置 |
JP2013093865A (ja) | 2012-12-07 | 2013-05-16 | Mitsubishi Motors Corp | 車両周辺監視装置 |
JP2014026555A (ja) | 2012-07-30 | 2014-02-06 | Denso It Laboratory Inc | 移動体認識システム、移動体認識プログラム、及び移動体認識方法 |
JP2017034623A (ja) | 2015-08-06 | 2017-02-09 | 株式会社日本自動車部品総合研究所 | ピッチ角推定装置 |
JP2017052411A (ja) | 2015-09-09 | 2017-03-16 | 株式会社デンソー | 運転支援装置、及び運転支援方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6192938A (ja) * | 1984-10-11 | 1986-05-10 | Mazda Motor Corp | 自動車の定速走行装置 |
-
2017
- 2017-07-19 JP JP2017139888A patent/JP7005978B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001266160A (ja) | 2000-03-22 | 2001-09-28 | Toyota Motor Corp | 周辺認識方法および周辺認識装置 |
JP2005061376A (ja) | 2003-08-20 | 2005-03-10 | Keihin Corp | 二輪自動車の出力制御装置 |
JP2011070593A (ja) | 2009-09-28 | 2011-04-07 | Mitsubishi Motors Corp | 車両周辺監視装置 |
JP2014026555A (ja) | 2012-07-30 | 2014-02-06 | Denso It Laboratory Inc | 移動体認識システム、移動体認識プログラム、及び移動体認識方法 |
JP2013093865A (ja) | 2012-12-07 | 2013-05-16 | Mitsubishi Motors Corp | 車両周辺監視装置 |
JP2017034623A (ja) | 2015-08-06 | 2017-02-09 | 株式会社日本自動車部品総合研究所 | ピッチ角推定装置 |
JP2017052411A (ja) | 2015-09-09 | 2017-03-16 | 株式会社デンソー | 運転支援装置、及び運転支援方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2019018743A (ja) | 2019-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7005978B2 (ja) | 軌跡推定方法及び軌跡推定装置 | |
KR102275310B1 (ko) | 자동차 주변의 장애물 검출 방법 | |
CN108496178B (zh) | 用于估计未来路径的系统和方法 | |
JP5016022B2 (ja) | 多重3次元ワーピングに基づく物体運動検出システムおよび方法とこのようなシステムを備えた車両 | |
JP6397934B2 (ja) | 走行制御装置 | |
JP5023186B2 (ja) | 3dワーピング手法と固有対象物運動(pom)の検出の組み合わせに基づく対象物の動き検出システム | |
US20160063865A1 (en) | method and apparatus for guiding a vehicle in the surroundings of an object | |
CN110920609A (zh) | 用于模仿前车的系统和方法 | |
CN111164652B (zh) | 移动体图像生成记录显示装置和程序产品 | |
JPWO2018131090A1 (ja) | 車両制御装置、車両制御方法、および車両制御プログラム | |
JP2007300181A (ja) | 周辺認識装置、周辺認識方法、プログラム | |
JP6984624B2 (ja) | 表示制御装置および表示制御プログラム | |
JP7075833B2 (ja) | 物体検出方法及び物体検出装置 | |
JP6939198B2 (ja) | 物体検出方法及び物体検出装置 | |
JP7375576B2 (ja) | 車両制御装置 | |
JP6595647B2 (ja) | 走行制御装置、車両および走行制御方法 | |
WO2020079927A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP7357284B2 (ja) | 描画システム、表示システム、移動体、描画方法及びプログラム | |
JP2024038527A (ja) | 信号処理装置、信号処理方法及び信号処理システム | |
JP2019064301A (ja) | 車両の制御装置及び車両の制御方法 | |
JP7363118B2 (ja) | 外部環境認識装置 | |
JP7320184B2 (ja) | 電動車両 | |
WO2020090320A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
JP7537450B2 (ja) | 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム | |
JP2020064603A (ja) | 情報処理装置、プログラム及び情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190401 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200512 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210511 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210623 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211220 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7005978 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |