JP7200820B2

JP7200820B2 - 物標識別装置および運転支援装置

Info

Publication number: JP7200820B2
Application number: JP2019090364A
Authority: JP
Inventors: 宏祐北浦
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2019-05-13
Filing date: 2019-05-13
Publication date: 2023-01-10
Anticipated expiration: 2039-05-13
Also published as: JP2020187455A; US20200361491A1; US11643113B2

Description

本開示は、物標識別装置および運転支援装置に関する。

物標識別装置として、レーダー等のセンサで検出された情報を用いて、移動体の種類を識別するものが知られている。

特開２０１８－５９８８４号公報

例えば、特許文献１では、レーダーによって測定した移動体の速度と、速度の変化量とを用いて、移動体の種別を識別している。しかし、これに限らず、移動体の種類を識別できる他の技術が望まれていた。

本開示は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。

本開示の一形態によれば、物標識別装置（１１０）が提供される。物標識別装置は、車両の周辺の移動体の移動軌跡に関する情報を含む軌跡情報を取得する取得部（１１１）と前記移動体の種類毎に予め定められた複数のモデルを用いて、前記軌跡情報から前記移動体の種類毎に尤度を算出する算出部（１１２）と、前記尤度に応じて前記移動体の種類を識別する物標識別部（１１３）と、を備える。

この形態の物標識別装置によれば、物標識別部は、算出部が軌跡情報から算出した移動体の種類毎の尤度に応じて、移動体の種類を識別できる。

自動運転システムの構成を示す概要図である。運転支援処理を表わすフローチャートである。軌跡情報から尤度を求める一例を示す説明図である。第２実施形態における自動運転システムの構成を示す概要図である。

Ａ．第１実施形態：
図１に示すように、車両１０は、自動運転制御システム１００を備える。本実施形態において、自動運転制御システム１００は、物標識別装置１１０と運転支援部２１０とを備える運転支援装置２００と、周辺センサ１２２と、駆動力制御ＥＣＵ（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）２２０と、制動力制御ＥＣＵ２３０と、操舵制御ＥＣＵ２４０と、を備える。運転支援装置２００と、駆動力制御ＥＣＵ２２０と、制動力制御ＥＣＵ２３０と、操舵制御ＥＣＵ２４０とは、車載ネットワーク２５０を介して接続される。

周辺センサ１２２は、車両１０の周囲の状況を検出する。周辺センサ１２２として、例えば、レーザーレーダー、ミリ波レーダー、超音波センサといった反射波を利用する周辺センサが挙げられる。本実施形態において、周辺センサ１２２は、ミリ波レーダーである。

物標識別装置１１０は、取得部１１１と、算出部１１２と、物標識別部１１３と、記憶部１１４と、を備える。物標識別装置１１０は、中央処理装置（ＣＰＵ）や、ＲＡＭ、ＲＯＭにより構成されたマイクロコンピュータ等からなり、予めインストールされたプログラムをマイクロコンピュータが実行することによって、これらの各部の機能を実現する。ただし、これらの各部の機能の一部又は全部をハードウェア回路で実現してもよい。

取得部１１１は、周辺センサ１２２によって検出された車両１０の周辺の移動体の移動軌跡に関する情報を含む軌跡情報を取得する。「軌跡情報」とは、時系列的に得られる移動体の位置を含む情報である。取得部１１１は、他車両との車車間通信によってこれらの情報の一部または全部を取得してもよい。

算出部１１２は、移動体の種類毎に予め定められた複数のモデルを用いて、軌跡情報から移動体の種類毎に尤度を算出する。「尤度」とは、各モデルにおける推定値の尤もらしさを示す値であり、尤度が大きいほど尤もらしさが高い。本実施形態において推定値は、例えば、将来における軌跡情報であり、具体的には将来の移動体の予測位置を含む移動軌跡である。尤度の算出の詳細については後述する。

物標識別部１１３は、算出部１１２が算出した尤度に応じて移動体の種類を識別する。

記憶部１１４は、算出部１１２が用いるモデルを記憶する。なお、記憶部１１４は、物標識別装置１１０に備えられていなくてもよく、代わりに、モデルは、車両１０の有する記憶部等で記憶されていてもよい。モデルは、例えば、歩行者が直進する場合の運動モデルや、歩行者が旋回する場合の運動モデル、車両が直進する場合の運動モデル、車両が旋回する場合の運動モデル等であり、機械学習としてニューラルネットワークを用いて過去の観測データから生成することができる。また、予めシミュレーションや実験を行うことによりモデルを生成してもよい。

運転支援部２１０は、中央処理装置（ＣＰＵ）や、ＲＡＭ、ＲＯＭにより構成されたマイクロコンピュータ等からなり、予めインストールされたプログラムをマイクロコンピュータが実行することによって、運転支援機能を実現する。運転支援部２１０は、例えば、算出部１１２が推定した将来の移動体の移動軌跡や、物標識別部１１３が求めた物標の種類に応じて、駆動力制御ＥＣＵ２２０および制動力制御ＥＣＵ２３０、操舵制御ＥＣＵ２４０を制御し、運転支援を行う。

駆動力制御ＥＣＵ２２０は、エンジンなど車両の駆動力を発生するアクチュエータを制御する電子制御装置である。運転者が手動で運転を行う場合、駆動力制御ＥＣＵ２２０は、アクセルペダルの操作量に応じてエンジンや電気モータである動力源を制御する。一方、自動運転を行う場合、駆動力制御ＥＣＵ２２０は、運転支援部２１０で演算された要求駆動力に応じて動力源を制御する。

制動力制御ＥＣＵ２３０は、車両の制動力を発生するブレーキアクチュエータを制御する電子制御装置である。運転者が手動で運転を行う場合、制動力制御ＥＣＵ２３０は、ブレーキペダルの操作量に応じてブレーキアクチュエータを制御する。一方、自動運転を行う場合、制動力制御ＥＣＵ２３０は、運転支援部２１０で演算された要求制動力に応じてブレーキアクチュエータを制御する。

操舵制御ＥＣＵ２４０は、車両の操舵トルクを発生するモータを制御する電子制御装置である。運転者が手動で運転を行う場合、操舵制御ＥＣＵ２４０は、ステアリングハンドルの操作に応じてモータを制御して、ステアリング操作に対するアシストトルクを発生させる。これにより、運転者が少量の力でステアリングを操作でき、車両の操舵を実現する。一方、自動運転を行う場合、操舵制御ＥＣＵ２４０は、運転支援部２１０で演算された要求操舵角に応じてモータを制御することで操舵を行う。

図２に示す運転支援処理は、物標識別装置１１０が車両１０の周囲の移動体の種類を識別し、その結果に応じて運転支援部２１０が運転支援を行う一連の処理である。この処理は車両１０の走行中、物標識別装置１１０が周辺センサ１２２の検出情報から移動体を検知した場合に、運転支援装置２００により繰り返し実行される処理である。

まず、取得部１１１は、ステップＳ１００で、軌跡情報を取得する。より具体的には、周辺センサ１２２が検出した情報を用いて移動体の時系列的な移動軌跡を示す軌跡情報を取得する。取得部１１１は、周辺センサ１２２が検出したデータの集団を個々の移動体毎に分類する既知のクラスタリング技術を用いて個々の移動体を特定し、移動体毎の軌跡情報を取得してもよい。

次に、算出部１１２は、ステップＳ１１０において、ステップＳ１００により取得した軌跡情報と記憶部１１４に記録された複数のモデルとを用いて尤度を算出する。尤度は、例えば、既知の状態推定手法であるＩｎｔｅｒａｃｔｉｎｇＭｕｌｔｉｐｌｅＭｏｄｅｌ（ＩＭＭ）法を用いて、移動体の移動軌跡の推定と共に求めることができる。より具体的には、図３に示すように、物標識別部１１３は、記憶部１１４に記録された、移動体の種類毎に予め定められた複数のモデルを用いて、ステップＳ１００より取得した軌跡情報から移動体の種類毎に将来の移動体の状態を推定すると共に、推定した移動軌跡の尤度を算出する。本実施形態において「移動体の状態」とは、例えば、速度や位置、大きさ等の情報である。尤度の算出は、例えば、次の式（１）で尤度Ｌを求めることができる。

ここで、Ｓは観測残差の共分散であり、Ｚは軌跡情報の値である観測値と各モデルによって推定された軌跡情報の値、具体的には移動体の状態を表す値である推定値との観測残差であり、ｅｘｐは指数関数を表す。

続いて、物標識別部１１３は、ステップＳ１２０において、ステップＳ１１０で算出した尤度を用いて移動体の種類を識別する。例えば、物標識別部１１３は、尤度が最も大きいモデルが示す物標を、移動体の種類として採用できる。また、全てのモデルの尤度が予め定めた閾値以下の場合に、モデルが示す物標のどれにも該当しない、と識別してもよい。

最後に、運転支援部２１０は、ステップＳ１３０において、ステップＳ１１０で推定した将来の移動体の移動軌跡やステップＳ１２０で識別した移動体の種類に応じて、運転支援を行う。運転支援部２１０は、例えば、車両１０の前方の移動体が二輪車であり左折する場合に、車両１０が車線の右側に寄って走行するよう制御を行うことができる。また、運転支援部２１０は、車両１０の移動方向と同じ方向に移動する前方の移動体が自動車の場合には追従走行するよう制御を行い、自転車の場合には追い越しをするよう制御を行うことができる。

以上で説明した本実施形態の運転支援装置２００によれば、物標識別装置１１０の物標識別部１１３は、算出部１１２が軌跡情報から算出した移動体の種類毎の尤度に応じて、移動体の種類を識別できる。また、周辺センサ１２２から取得した軌跡情報のみを用いて移動体の種類を識別できるため、カメラを用いることなく移動体の種類を識別できる。また、運転支援部２１０は、物標識別装置１１０の推定した移動軌跡や移動体の種類に応じて運転支援を行うことができるため、より適切な運転支援を行うことができる。

また、取得部１１１が、移動体をクラスタリングせずに軌跡情報を取得した場合、複数の移動体が重なっている場合にも、精度良く移動体の種類を識別することができる。例えば、群衆歩行者を対象とした場合に、群衆歩行者を一つの移動体としてクラスタリングすると、ある歩行者が他の歩行者と反対方向に移動した場合には、移動体が歩行者であると識別することが困難であるが、クラスタリングを行わない場合、それぞれの移動軌跡に関する情報を含む軌跡情報を取得できるため、各軌跡情報がノイズとならずに精度良く尤度が算出される。

Ｂ．第２実施形態：
図４に示す第２実施形態の自動運転制御システム１００Ａの構成は、カメラ１２４を備える点が第１実施形態と異なり、他の構成は同一である。カメラ１２４は、車両１０の周囲を撮像して画像を取得する。カメラ１２４として、例えば、ステレオカメラや単眼カメラが挙げられる。

取得部１１１は、カメラ１２４によって撮像された車両１０の周辺画像を取得できる。本実施形態において、物標識別部１１３は、尤度に加えて、カメラ１２４が撮影した車両１０の周辺画像を用いて、移動体の種類を識別する。例えば、周辺画像より、移動体が歩行者なのか自転車なのかが識別できない場合、歩行者のモデルと自転車のモデルの各尤度を比べて、尤度が大きい方を移動体の種類として識別することができる。

以上で説明した本実施形態の運転支援装置２００によれば、物標識別装置１１０の物標識別部１１３は、算出部１１２が軌跡情報から算出した移動体の種類毎の尤度に加えて、カメラ１２４によって撮像された周辺画像を用いて、移動体の種類を識別するため、より精度よく移動体の種類が識別できる。

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述した課題を解決するために、あるいは上述の効果の一部又は全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜削除することが可能である。

１０車両、１００、１００Ａ自動運転制御システム、１１０物標識別装置、１１１取得部、１１２算出部、１１３物標識別部、１１４記憶部、１２２周辺センサ、１２４カメラ、２００運転支援装置、２１０運転支援部

Claims

物標識別装置（１１０）であって、
車両の周辺の移動体の移動軌跡に関する情報を含む軌跡情報を取得する取得部（１１１）と
前記移動体の種類毎に予め定められた複数のモデルを用いて、前記軌跡情報から前記移動体の種類毎に尤度を算出する算出部（１１２）と、
前記尤度に応じて前記移動体の種類を識別する物標識別部（１１３）と、を備える、物標識別装置。
請求項１に記載の物標識別装置であって、更に、
前記物標識別部は、前記尤度と前記車両の周辺画像とを用いて、前記移動体の種類を識別する、物標識別装置。
請求項１または請求項２に記載の物標識別装置を備える運転支援装置であって、
前記算出部は、前記移動体の将来の状態を含む移動軌跡を推定し、
前記算出部が推定した前記移動体の移動軌跡を用いて運転支援を行う運転支援部を備える、運転支援装置。
請求項３に記載の運転支援装置であって、
前記運転支援部は、前記移動体の種類に応じて運転支援を行う、運転支援装置。
物標識別装置により実行される物標識別方法であって、
車両の周辺の移動体の移動軌跡に関する情報を含む軌跡情報を取得し、
前記移動体の種類毎に予め定められた複数のモデルを用いて、前記軌跡情報から前記移動体の種類毎に尤度を算出し、
前記尤度に応じて前記移動体の種類を識別する、物標識別方法。