JP7095391B2 - 異常検出装置 - Google Patents

異常検出装置 Download PDF

Info

Publication number
JP7095391B2
JP7095391B2 JP2018092996A JP2018092996A JP7095391B2 JP 7095391 B2 JP7095391 B2 JP 7095391B2 JP 2018092996 A JP2018092996 A JP 2018092996A JP 2018092996 A JP2018092996 A JP 2018092996A JP 7095391 B2 JP7095391 B2 JP 7095391B2
Authority
JP
Japan
Prior art keywords
vehicle
information
environment
abnormality detection
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018092996A
Other languages
English (en)
Other versions
JP2019200459A (ja
Inventor
駿 山▲崎▼
映 酒井
健二 武藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2018092996A priority Critical patent/JP7095391B2/ja
Publication of JP2019200459A publication Critical patent/JP2019200459A/ja
Application granted granted Critical
Publication of JP7095391B2 publication Critical patent/JP7095391B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、異常検出装置に関する。
車両の自動走行制御には、車両の故障等により発生する車両の異常走行を検出する技術が利用されている。例えば、特許文献1には、あらかじめ車両の異常走行の内容を想定しておき、想定された内容の事象が発生した際に車両の異常走行を検出する技術が開示されている。具体的には、特許文献1に開示の技術では、例えば車両の急加速を異常走行と想定した場合、車両が急加速したとされる速度や急加速が発生しやすい場所などの異常走行の内容を定義しておく。そして、実際に急加速が発生しやすい場所において定義された速度で車両が走行した場合に車両が異常走行していると判定される。
特開2017-146933号公報
しかしながら、発明者の詳細な検討の結果、上述した特許文献1に記載の構成では、以下の課題が見いだされた。すなわち、上述した特許文献1に記載の構成では、人の手によってあらかじめ異常走行の内容を定義しておく必要がある。そうすると、例えば車両における急加速や急操舵などのあらかじめ想定されやすい異常は定義しておくことで検出できるが、例えば低速度で車両が走行中に道路から走路が外れるような動きなど、あらかじめ想定されづらい異常は定義されず、異常走行の検出が困難である。
本開示の一局面は、ロバスト性の高い異常走行の検出が可能な異常検出装置を提供することを目的としている。
本開示の一態様は、自動走行を行う車両の異常走行を検出する異常検出装置(10)であって、格納部(S1,S2)と、異常検出部(S31~S34)と、を備える。格納部は、車両の周辺環境の特徴を表す情報である環境情報をクラスタリングすることにより、環境情報を、複数のクラスタのうち環境情報の傾向を表すクラスタに分類する。そして、格納部は、分類されたクラスタと周辺環境における車両の運転行動の特徴を表す情報である特徴情報とを紐付けてデータベースに格納する。異常検出部は、車両の現在の周辺環境の特徴を表す情報である現在環境情報に基づいて、複数のクラスタのうち現在環境情報の傾向を表す現在環境クラスタを決定する。そして、異常検出部は、データベースに格納された特徴情報のうち現在環境クラスタと同じクラスタと紐付けられている特徴情報と、現在の周辺環境における特徴情報と、を比較することにより車両の異常走行を検出する。
このような構成によれば、データベースに格納された特徴情報を車両の異常走行の判定の基準とするため、あらかじめ異常走行の内容の定義をしておく構成と比較して、ロバスト性の高い異常走行の検出を実現することができる。
本実施形態の格納処理時における異常検出装置のブロック図である。 本実施形態の軌跡俯瞰図の説明図である。 本実施形態の車両間の最近相対距離値を示す例図である。 本実施形態の環境記号列の説明図である。 本実施形態の環境トピック特徴量の説明図である。 本実施形態の環境トピック特徴量及び環境トピック特徴空間の説明図である。 本実施形態のクラスタリングの説明図である。 本実施形態の環境トピック特徴量及び環境クラスタの説明図である。 本実施形態の軌跡俯瞰図を用いたクラスタリングの説明図である。 本実施形態の運転トピック特徴量の説明図である。 本実施形態のデータベースの説明図である。 本実施形態の異常検出処理時における異常検出装置のブロック図である。 本実施形態のデータベースから取得される情報の説明図である。 本実施形態の現在環境クラスタの説明図である。 本実施形態の異常検出の説明図である。 本実施形態の逸脱度の説明図である。 本実施形態の格納処理のフローチャートである。 本実施形態の異常検出処理のフローチャートである。 本実施形態のクラスタ決定処理のフローチャートである。 本実施形態の判定処理のフローチャートである。 第1変形例の説明図である。 第2変形例の説明図である。 第3変形例の説明図である。
以下、本発明の例示的な実施形態について図面を参照しながら説明する。また、下記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、これは本開示の理解を容易にする目的で使用しており、特許請求の範囲の解釈を限定する意図ではない。
[1.構成]
図1に示す異常検出装置10は、自動走行を行う車両100に搭載され、車両100の異常走行を検出する装置である。本実施形態における自動走行は、車両の完全自動走行制御を指すものとするが、自動走行は、車両の運転者による運転操作の一部を支援する走行支援制御において利用されるものであってもよい。
異常検出装置10は、車両情報部1と、ECU2と、データベース3と、を備える。なお、上記各構成要素は、CAN等の周知の通信プロトコルが用いられた車載ネットワーク等を介して互いに接続されている。CANは商標登録である。
車両情報部1は、車両100の走行情報及び周辺環境の情報を取得する種々のセンサの集合である。車両情報部1は、車載センサ11、GPS受信機12、カメラ部13及び測距センサ14を有する。
車載センサ11は、車速センサ、加速度センサ、アクセル開度センサ、ステアリングセンサ及びブレーキセンサなど、車両100の走行状態に関する情報である走行情報を連続して検出するセンサの集合である。
GPS受信機12は、GPS(Global Positioning System)用の人工衛星からの送信信号を受信することにより、車両100の位置情報を検出する装置である。
カメラ部13は、車両100の前方、後方及び左右側方、すなわち車両100の周辺全体、を撮像する車両100に搭載されたカメラの集合である。当該カメラは、ステレオカメラであってもよく、また、単眼カメラであってもよい。
測距センサ14は、車両100と車両100の周辺に存在する物体である周辺物体との相対位置を検出するセンサの集合である。具体的には、測距センサ14は、LIDER(Light/Laser-Imaging Detection and Ranging)及びレンジセンサなどの種々のセンサの集合である。なお、本実施形態における周辺物体は、車両100の周辺に存在する他の車両(以下、「他車両」。)のことを指すものとする。
ECU2は、車両情報部1によって得られた情報を用いて、車両100の異常走行を検出する。ECU2は、CPU、RAM、ROM、及びフラッシュメモリ等の半導体メモリを備えた周知のマイクロコンピュータを中心に構成されている。ECU2の機能は、CPUが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、半導体メモリが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、ECU2によってプログラムが実行されることで、後述する格納処理及び異常検出処理が実行される。なお、ECU2を構成するマイクロコンピュータの数は1つでも複数でもよい。
後述する格納処理の実行時におけるECU2は、CPUがプログラムを実行することで実現される複数の機能のそれぞれに対応する仮想的な構成要素として、画像・位置取得部21、生成算出部22、記号化部23、生成部24、クラスタリング部25、情報取得部26、記号化部27、生成部28を備える。ただし、これらの機能を実現する手法はソフトウェアに限るものではなく、これらの機能の一部又は全部を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。
画像・位置取得部21は、GPS受信機12から車両100の位置情報を取得することにより、車両100が走行している場所である走行場所を特定する。車両100の位置情報は、緯度及び経度等で表される絶対位置の情報である。走行場所は、当該情報に基づいて地図上で区分された所定の領域である区分領域単位で特定される。また、画像・位置取得部21は、カメラ部13から車両100の周辺が撮像された撮像画像を取得する。
生成算出部22は、カメラ部13から撮像画像を取得し、測距センサ14から車両100と他車両との相対位置の情報を取得する。生成算出部22は、相対位置の情報に基づいて、周知の方法により車両100と他車両との相対速度を算出する。
また、生成算出部22は、撮像画像及び相対位置の情報に基づいて、軌跡俯瞰図を生成する。軌跡俯瞰図とは、車両100と、車両100の周辺に存在する物体、この例では他車両、との相対位置の軌跡を表した図、換言すれば相対座標上の他車両の動きの変化を表した図である。軌跡俯瞰図は、後述する記号化の処理に用いることができる。ここで、軌跡俯瞰図について、図2を用いて説明する。図2に示される複数の走行パターン(a)ないし(d)は、道路Rにおいて、車両100の周辺を車両200が走行するパターンの例である。生成算出部22は、それぞれのパターンにおいて、図2に示すように、中心Pを中心に車両200の動きの軌跡Kが相対座標上に線状に描かれる軌跡俯瞰図BEを生成する。
記号化部23は、車両100の周辺環境の記号化を行う。記号化部23が行う記号化とは、車両100が走行する際の車両100の周辺環境の遷移を、環境シーンごとに分割する一連の処理である。本実施形態における車両100の周辺環境の遷移は、車両100と他車両との相対位置の遷移のことを指す。記号化は、連続して検出される車両100の周辺環境に関する情報である周辺情報に基づいて行われる。なお、本実施形態における周辺情報は、画像・位置取得部21から得られた撮像画像並びに生成算出部22から得られた軌跡俯瞰図、他車両の相対位置及び相対速度等のことを指す。
具体的には、まず、記号化部23は、車両100の周辺の領域を所定の領域に分割する。次に、記号化部23は、車両100と、分割した各領域において最も車両100に近い動的物体、この例では最も近い他車両、との相対距離である最近相対距離値を算出する。次に、記号化部23は、各領域での最近相対距離値を入力値として、記号化技術によって、環境記号列を生成し、当該環境記号列を環境シーンごとに分割する。
記号化技術は、例えば、特開2013-250663号公報等に記載されている手法を用いることができる。当該手法では、他車両の状態の遷移、換言すれば他車両の動き、に他車両の状態を表すあらかじめ定められた所定の記号である環境符号が付与されることで、他車両の動きが複数の記号列によって表現された環境記号列が生成される。そして、環境記号列は、当該手法によって環境シーンごとに分割される。環境シーンは、例えば他車両が車線変更を開始してから終了するまでの動きなど、他車両の一連の動きのシーンのことである。ただし、記号化は、上述した手法に限定されるものではなく、他の手法を用いて行われてもよい。
図3に示す例では、まず、記号化部23は、車両100が走行している道路Rにおいて、車両100の周辺の領域を、第1領域ないし第6領域の6つの領域に分割する。道路Rは、車両100が走行している車線を中央車線として、3つの車線を有する道路である。
次に、記号化部23は、6つの領域それぞれにおいて車両100と最も近い動的物体である他車両、この例では第1領域を走行している車両200及び第4領域を走行している車両300それぞれと車両100との相対位置等に基づいて最近相対距離値を算出する。なお、車両400については、第4領域において車両100と最も近い他車両ではないため、最近相対距離値の算出には用いられない。
なお、記号化の入力値である最近相対距離値は、例えば、画像・位置取得部21から得た撮像画像に基づいて算出するようにしてもよい。また例えば、記号化の入力値は、他車両との相対速度や他車両の速度及びTHW(Time HeadWay)などであってもよい。THWとは、前方を走行する他車両の現在位置に車両100が到達するまでの時間である。なお、THWなどを用いる際は、逆数を用いることが好ましい。
次に記号化部23は、記号化技術によって、環境記号列を生成する。図4に示すグラフは、経過時間tを横軸とし、車両100と各領域における他車両との最近相対距離値を縦軸としたものである。具体的には、図3に示すように、車両200は、時刻0の時点で第1領域における最近相対距離値d_1,0が示す場所に位置し、時刻τの時点で最近相対距離値d_1,τが示す場所に移動し、その遷移は図4において線A1によって表される。そして、車両200は、時刻Tの時点で第2領域における最近相対距離値d_2,Tが示す場所へ移動し、その遷移は図4において線A2によって表される。同様に、図3に示すように、車両300は、第4領域内において、時刻0の時点における最近相対距離値d_4,0が示す場所から時刻Tの時点で最近相対距離値d_4,Tが示す場所へ移動し、その遷移は図4において線A4によって表される。記号化部23は、最近相対距離値の変化の記録を繰り返す。
このように最近相対距離値の変化を繰り返し記録して得られた線A1,A2,A4の態様に基づいて、記号化部23は、車両200,300の動きの遷移に対して上述した記号化技術を用いて環境記号を割り当てることにより環境記号列を生成する。次に、記号化部23は、当該環境記号列を環境シーンごとに分割する。以下、分割された環境記号列を「分割環境記号列」と呼ぶこととする。
図4に示す例では、記号化部23は、車両200,300の動きの遷移を、それぞれ異なる環境シーンを意味する分割環境記号列ES1とES2とに分割する。分割環境記号列ES1は、時刻0から時刻Tまでの間の車両200,300の動き、具体的には、車両100に対して、車両200が右前方から正面前方に移動し車両300が右後方から直進する第1環境シーン、を表す分割環境記号列である。分割環境記号列ES2は、時刻Tから所定の時刻までの間の車両200,300の動き、具体的には、車両100に対して、車両200が正面前方のまま直進し車両300が右後方から直進する第2環境シーン、を表す分割環境記号列である。
生成部24は、環境トピック特徴量を生成する。環境トピック特徴量は、車両の周辺環境の特徴を表す情報である。具体的には、環境トピック特徴量とは、分割環境記号列ごとに表れる、当該分割環境記号列に対応する所定の環境シーンを表す情報である複数のトピックの分布である。図5に示す例における環境トピック特徴量ETは帯グラフで表されている。環境トピック特徴量の生成は、例えば、特開2014-235605号公報等に記載されている手法を用いることができる。当該手法では、分割環境記号列それぞれについて、当該分割環境記号列が含有する所定のトピックが複数生成され、その複数のトピックの混合比、換言すれば当該分割環境記号列が含有する各トピックの割合、が算出されることで、環境トピック特徴量が生成される。なお、当該手法の詳細な説明は割愛する。
ここで、図6を用いて環境トピック特徴量について説明する。図6の(e)に示すET1ないしET4の4つの環境トピック特徴量は、4つの分割環境記号列それぞれから生成されたものである。環境トピック特徴量ET1ないしET4が含有するトピックはそれぞれ、第1トピックないし第3トピックの3つである。各環境トピック特徴量は、トピックの割合で表現され、環境トピック特徴量ET1ないしET4それぞれが有する各トピックの割合の総和は1である。なお、各トピックの割合については、後述する環境トピック特徴空間の説明で詳細に説明する。
クラスタリング部25は、生成部24によって生成された環境トピック特徴量に対してクラスタリングを行うことにより、車両100の周辺環境のクラスタである環境クラスタを割り当てる。具体的には、まず、クラスタリング部25は、図7に示す地図(g)上の道路Rを車両100が走行する場合、画像・位置取得部21によって特定された走行場所DAごとに、走行場所DAごとに得られた環境トピック特徴量の分布を環境トピック特徴空間(h)に表す。環境トピック特徴空間は、環境トピック特徴量をトピックの数に応じて多次元で表された空間である。具体的には、例えば環境トピック特徴量が含有するトピックの数をn個とすると、環境トピック特徴空間はn次元で表される。換言すれば、環境トピック特徴空間には、1つのトピックに対し1つの軸が存在する。環境トピック特徴空間には、各環境トピック特徴量が含有するトピックの割合に応じた点が表される。
図6に示す環境トピック特徴空間(f)の例では、トピックの数が3つであるため、3次元の空間であって、3つの軸を有する。環境トピック特徴空間(f)には、環境トピック特徴量ET1ないしET4が、それぞれが含有するトピックの割合に応じた点で表されている。具体的には、例えば環境トピック特徴量ET1が有する各トピックの割合は、第1トピックは0.25、第2トピックは0.35及び第3トピックは0.4である。この3つの値に基づいて、環境トピック特徴量ET1が3次元の環境トピック特徴空間(f)に表されている。環境トピック特徴量ET2ないしET4についても同様の方法により環境トピック特徴空間(f)に表されている。なお、環境トピック特徴空間(f)では、環境トピック特徴量ET3及びET4におけるトピックの割合を示す値と各軸との対応関係を表す点線は省略されている。
次に、クラスタリング部25は、環境トピック特徴空間上で、教師なし学習アルゴリズムによるクラスタリングを行う。つまり、クラスタリング部25は、上述したトピックの混合比の値で表された環境トピック特徴量を、データドリブンで環境トピック特徴量の傾向を表す環境クラスタに分類する。クラスタリングは、K-means法やガウス混合モデルなど、代表的な手法を用いて行う。ただし、クラスタリングは、上述した手法に限定されるものではなく、他の手法を用いて行われてもよい。例えば、K-means法やガウス混合モデルなどと異なりクラス数を定義しない場合、中華料理店過程や棒折り過程などを用いたディリクレ過程混合モデルなど、ノンパラメトリック手法の代表的な手法を用いてもよい。また例えば、環境シーンを人の手によって定義し、ラベルを付して教師あり・半教師あり学習によって分類を行ってもよい。
図7に示す例では、クラスタリング前の環境トピック特徴空間(h)においてクラスタリングが行われることによって、クラスタリング後の環境トピック特徴空間(i)に示すように、環境クラスタA、環境クラスタB及び環境クラスタCの3つの環境クラスタに環境トピック特徴量が分類される。
上述した一連の処理によって得られた環境トピック特徴量、及び分類された環境クラスタを示すインデックスであるクラスタインデックスは、紐付けられてデータベース3に格納される。具体的には、例えば、図8に示すように、走行場所DAごとに、その走行場所DAにて生成された環境トピック特徴量ETと、当該環境トピック特徴量ETに対応するクラスタインデックスCIとが紐付けられてデータベース3に格納される。また、図1及び図8に示すように、データベース3には、記号化部23、生成部24、記号化部27及び生成部28がそれぞれ生成した、記号化、環境トピック特徴量及び後述する運転トピック特徴量などの種々の情報のモデルMのパラメーターが格納される。これらのパラメーターは、後述する異常検出処理の実行時に用いられる。
なお、上述したクラスタリング部25が行うクラスタリングは、環境記号列に基づいて生成された環境トピック特徴量に対して行われたが、クラスタリングは、例えば周辺情報である軌跡俯瞰図に基づいた低次元場面特徴量に対して行われるようにしてもよい。以下、軌跡俯瞰図に基づいた低次元場面特徴量のクラスタリングについて説明する。まず、走行場所ごとに、生成算出部22によって軌跡俯瞰図が生成される。次に、生成部24によって、軌跡俯瞰図ごとに、図9(j)に示す次元圧縮手法によって低次元場面特徴量zが生成される。次元圧縮手法は、AutoEncoderによる深層学習などを用いて実現される手法である。図9に示す低次元場面特徴空間(k)は、低次元場面特徴量zの分布が表されたものである。より詳細には、低次元場面特徴量zは、この例では2次元の情報であって、低次元場面特徴空間(k)は、低次元場面特徴量zが2次元座標上にマッピングされたものである。低次元場面特徴空間(k)の各点が表す低次元場面特徴量zは、1枚の軌跡俯瞰図に対応する。すなわち、複数の軌跡俯瞰図に基づいて複数の低次元場面特徴量zが上述した次元圧縮手法によって生成され、低次元場面特徴空間(k)に各低次元場面特徴量zがマッピングされることにより、低次元場面特徴量zの空間集合が得られる。なお、上記複数の軌跡俯瞰図はすべて、同一の走行場所におけるものとする。クラスタリング部25は、周辺トピック特徴空間に対するクラスタリングと同様の手法によって、低次元場面特徴空間における低次元場面特徴量zをクラスタリングする。以上のように、軌跡俯瞰図に基づいてクラスタリングが行われる。
次に、図1に戻り、情報取得部26、記号化部27、生成部28について説明する。情報取得部26は、車載センサ11から車両100の走行情報を取得する。記号化部27は、走行情報に基づいて、車両100が自動走行する際に連続して起こす行動である運転行動の記号化を行う。記号化部27が行う記号化とは、車両100の複数の運転行動を、運転シーンごとに分割する一連の処理である。
記号化技術は、上述した特開2013-250663号公報等に記載されている手法を用いることができる。当該手法では、車両100の運転行動に車両100の状態を表すあらかじめ定められた所定の記号である運転符号が付与されることで、車両100の動きが複数の記号列によって表現された運転記号列が生成される。そして、運転記号列は、当該手法によって運転シーンごとに分割される。運転シーンは、例えば車両100が車線変更を開始してから終了するまでの動きなど、車両100の一連の動きのシーンのことである。
記号化部27は、図10に示すグラフに例示するように、走行情報に基づいた車両100の状態の変化の記録を時間の経過に伴い繰り返し、運転記号を割り当てることにより運転記号列DSを生成する。車両100の状態としては、例えば車両100の速度、ブレーキ踏力、操舵角、加速度及び各値の差分値などが挙げられる。次に、記号化部27は、当該運転記号列DSを運転シーンごとに分割する。以下、分割された運転記号列を「分割運転記号列」と呼ぶこととする。
生成部28は、運転トピック特徴量を生成する。運転トピック特徴量は、車両100の運転行動の特徴を表す情報である。具体的には、運転トピック特徴量とは、分割運転記号列ごとに表れる、当該分割運転記号列に対応する所定の運転シーンを表す情報である複数のトピックの分布である。図10に示す例における運転トピック特徴量DTは帯グラフで表されている。運転トピック特徴量の生成は、環境トピック特徴量と同様、例えば、特開2014-235605号公報等に記載されている手法を用いることができる。
データベース3は、情報の読出し及び書込が可能な記録媒体である。データベース3は、車両100の走行に伴い蓄積される、車両100に関する種々の情報を格納している。具体的には、データベース3は、走行場所ごとに、クラスタインデックス、環境トピック特徴量及び運転トピック特徴量を紐付けて格納している。より詳細には、分割環境記号列ごとに、当該分割環境記号列に対応するクラスタインデックス及び環境トピック特徴量と、当該分割環境記号列が示す他車両の状態と同じタイミングに取得された運転行動を示す分割運転記号列から生成された運転トピック特徴量とが紐付けられている。
図11に示す例では、環境トピック特徴量が環境クラスタAに分類された分割環境記号列ES11が示す他車両の状態は、分割運転記号列DS11,DS12が示す運転行動と同じタイミングに取得されたものである。データベース3は、環境クラスタAを示すクラスタインデックスCI1と、分割環境記号列ES11から生成された環境トピック特徴量ET11と、分割運転記号列DS11から生成された運転トピック特徴量DT11及び分割運転記号列DS12から生成された運転トピック特徴量DT12と、を紐付けて格納している。
次に、後述する異常検出処理の実行時におけるECU2について図12を用いて説明する。ECU2は、CPUがプログラムを実行することで実現される複数の機能のそれぞれに対応する仮想的な構成要素として、上述した画像・位置取得部21、生成算出部22、記号化部23、生成部24、クラスタリング部25、情報取得部26、記号化部27及び生成部28に加え、異常検出部29を備える。以下、ここでは格納処理の実行時と異なる内容のみ説明し、格納処理の実行時と同様の内容については説明を省略する。なお、記号化部23、生成部24、記号化部27及び生成部28は、データベース3に格納されたモデルのパラメーターも適宜適用して処理を行う。
クラスタリング部25は、データベース3に格納されている情報のうち、車両100における現在の走行場所と同じ場所で過去に生成された環境トピック特徴量の情報を取得する。
次に、クラスタリング部25は、取得された環境トピック特徴量を用いて、現在環境クラスタの割り当てを行う。現在環境クラスタとは、現在環境トピック特徴量の環境クラスタである。現在環境トピック特徴量とは、生成部24が生成する車両100の現在の環境トピック特徴量である。具体的には、クラスタリング部25は、現在環境トピック特徴量を、取得された環境トピック特徴量の環境クラスタのうち最も近い環境クラスタと同じものに割り当てることで、現在環境クラスタを決定する。最も近い環境クラスタと同じものに割り当てる手法は、例えばk-近傍法などの方法を用いる。
図13及び図14に示す例では、道路Rを走行する車両100の現在の走行場所DAにて、現在環境トピック特徴量ET3が生成されたとする。まず、クラスタリング部25は、データベース3に格納されている情報のうち、走行場所DAと同じ場所で過去に生成された環境トピック特徴量ET2の情報を取得する。次に、クラスタリング部25は、環境トピック特徴量ET2及び環境トピック特徴量ET2に対応するクラスタインデックスCIを用いて、現在環境クラスタを決定する。
図14に示す環境トピック特徴空間(l)は、取得された環境トピック特徴量ET2及び現在環境トピック特徴量ET3の分布が上述した手法により表されたものである。現在環境トピック特徴量ET3は、環境クラスタAないしCのうち、環境クラスタCに一番近い。このため、クラスタリング部25は、現在環境クラスタを環境クラスタCに決定する。
次に、異常検出部29について説明する。異常検出部29は、車両100の異常走行を検出する。異常検出部29は、データベース3から取得した運転トピック特徴量の情報のうち、現在環境クラスタと同じ環境クラスタを示すクラスタインデックスと紐付けられている運転トピック特徴量である紐付トピック特徴量を用いて異常を検出する。紐付トピック特徴量とは、現在環境クラスタの示す車両100の運転環境における正常な運転行動の基準となる運転トピック特徴量のことである。
まず、異常検出部29は、運転トピック特徴空間に表された紐付トピック特徴量と現在運転トピック特徴量とを比較する。運転トピック特徴空間は、運転トピック特徴量がトピックの数に応じて多次元で表された空間である。具体的には、異常検出部29は、運転トピック特徴空間において、選択された複数の紐付トピック特徴量それぞれと現在運転トピック特徴量との距離であるかい離距離を算出する。現在運転トピック特徴量は、生成部28が生成する車両100の現在の運転トピック特徴量である。複数の紐付トピック特徴量の選択方法は、運転トピック特徴空間における紐付トピック特徴量のうち、例えば5つなど所定の数だけ運転トピック特徴空間において現在運転トピック特徴量と最も近いものを選択する。なお、かい離距離の計算は、例えばユークリッド距離やマハラノビス距離などを用いる。
次に、異常検出部29は、それぞれのかい離距離の平均値である、現在運転トピック特徴量の逸脱度を算出する。そして、異常検出部29は、算出した逸脱度が所定のしきい値を超えた場合、車両100が異常走行していると判定することにより、車両100の異常走行を検出する。
図15に示す例では、紐付トピック特徴量DT2及び現在運転トピック特徴量DT3が、運転トピック特徴空間(m)に表されている。異常検出部29は、図15の(n)に示すように、選択された複数の紐付トピック特徴量DT2それぞれと現在運転トピック特徴量DT3とのかい離距離を算出する。選択された複数の紐付トピック特徴量DT2は、運転トピック特徴空間(m)における紐付トピック特徴量DT2のうち、現在運転トピック特徴量DT3と最も近いもの5つである。次に、異常検出部29は、現在運転トピック特徴量DT3の逸脱度を算出する。そして、異常検出部29は、逸脱度がしきい値を超えているか否かを判定する。図16に示すように、現在運転トピック特徴量DT3の逸脱度ABは、しきい値dを超えている。したがって、異常検出部29は、図15に示す例の異常検出処理時に車両100が異常走行していると判定する。以上の処理により、異常検出装置10は、車両100の異常走行を検出する。
[2.効果]
以上詳述した実施形態によれば、以下の効果が得られる。
(1a)異常検出装置10は、ECU2が実行する格納処理及び異常検出処理によって、車両100の異常走行を検出する。格納処理は、図17のように表すことができる。本処理は、車両100のイグニッションスイッチがオンされた後、周期的に実行される。
まず、S1で、ECU2は、GPS受信機12から得られる車両100の位置情報1Bに基づいた走行場所ごとに、車両100の環境トピック特徴量ETの生成及びクラスタリングを行う。環境トピック特徴量ETの生成は、生成算出部22から得られる他車両の相対位置等の情報1Aに基づいて生成された分割環境記号列に基づいて行われる。クラスタリングは、生成された環境トピック特徴量ETに対して行われる。当該クラスタリングによって、ECU2は、環境トピック特徴量ETに対して環境クラスタECを割り当てる。なお、S1の処理が、上述した記号化部23、生成部24及びクラスタリング部25としての処理に相当する。また、当該生成及びクラスタリングは、上述した方法によって、カメラ部13から得られる撮像画像1Cに基づいて行うようにしてもよく、また生成算出部22から得られる軌跡俯瞰図1Dから低次元場面特徴量を生成してクラスタリングを行うようにしてもよい。
S1の処理と並行して、S2で、ECU2は、走行場所ごとに、車両100の運転トピック特徴量DTの生成を行う。当該生成は、情報取得部26から得られる車両100の走行情報2Aに基づいて行われる。なお、S2の処理が、上述した記号化部27及び生成部28としての処理に相当する。
ECU2は、環境トピック特徴量ET、環境クラスタECを示すクラスタインデックス及び運転トピック特徴量DTを、上述したように走行場所ごとに紐付けてデータベース3に格納する。以上の格納処理が繰り返されることにより、データベース3に上述した環境トピック特徴量ET、環境クラスタECを示すクラスタインデックス及び運転トピック特徴量DTが走行場所ごとに蓄積される。その後、ECU2は、図17の格納処理を終了する。
一方、異常検出処理は、図18のように表すことができる。本処理は、車両100のイグニッションスイッチがオンされた後、周期的に実行される。
まず、S31で、ECU2は、上述した方法により車両100の現在環境トピック特徴量ET3の生成を行う。当該生成は、生成算出部22より得られる他車両の相対位置等の情報3Aに基づいて行われる。なお、S31の処理が、上述した記号化部23及び生成部24としての処理に相当する。また、当該生成は、上述した方法によって、撮像画像3Cに基づいて行うようにしてもよく、また軌跡俯瞰図3Dから低次元場面特徴量を生成するようにしてもよい。
次に、S32で、ECU2は、クラスタ決定処理を実行することにより、現在環境クラスタEC3を決定する。なお、S32の処理が、上述したクラスタリング部25としての処理に相当する。
次に、S33で、ECU2は、走行情報3Eに基づいて、上述した方法により現在運転トピック特徴量DT3を生成する。なお、S33の処理が、上述した記号化部27及び生成部28としての処理に相当する。
次に、S34で、ECU2は、判定処理を実行することにより、車両100の異常走行を検出する。なお、S34の処理が、上述した異常検出部29としての処理に相当する。その後、ECU2は、図18の異常検出処理を終了する。
S32のクラスタ決定処理は、図19のように表される。まず、S321で、ECU2は、位置情報3Bを用いて、データベース3に格納されている情報のうち、車両100における現在の走行場所と同じ場所で過去に生成された環境トピック特徴量の情報を取得する。次に、S322で、ECU2は、上述した方法により、現在環境トピック特徴量ET3の現在環境クラスタEC3を決定する。
また、S34の判定処理は、図20のように表される。まず、S341で、ECU2は、上述したように、データベース3に格納されている現在環境クラスタEC3に対応する紐付トピック特徴量と、現在運転トピック特徴量DT3とを比較し、逸脱度を算出する。次に、S342で、ECU2は、上述した方法により、逸脱度が所定のしきい値を超えている場合、車両100が異常走行していると判定する。
このような構成によれば、データベース3に格納された運転トピック特徴量を異常走行の判定の基準として逸脱度を算出するため、あらかじめ異常走行の内容の定義をしておく構成と比較して、ロバスト性の高い異常走行の検出を実現することができる。
(1b)本実施形態の構成によれば、データベース3に格納されている運転トピック特徴量のうち、同じ場所で車両100の運転行動を表す運転トピック特徴量が比較の基準となるため、走行場所を考慮しない場合と比較して、より精度が高い車両100の異常検出が可能となる。
なお、本実施形態では、環境トピック特徴量ETが環境情報に相当し、運転トピック特徴量DTが特徴情報に相当し、現在環境トピック特徴量ET3が現在環境情報に相当する。また、GPS受信機12が特定部に相当し、S1,S2が格納部としての処理に相当し、S31~S34が異常検出部としての処理に相当する。
[3.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
(2a)上記実施形態では、最近相対距離値を入力値として記号化部23が環境記号列を生成する方法を例示したが、環境記号列の生成は他の方法を用いて行ってもよい。
例えば、図21に示す第1変形例では、記号化部は、走行場所の中央を原点OCとして座標空間SCを定義し、第1領域において車両100と最も近い車両200及び第4領域において車両100と最も近い車両300それぞれと原点OCとの座標空間SC内における距離を算出する。すなわち、上記実施形態では相対座標を用いていたのに対し、第1変形例では走行場所ごとに原点を定義する。そして、記号化部は、当該距離を入力値として、上述した記号化技術により走行場所ごとに環境記号列を生成する。このような構成によっても、上記実施形態と同様の効果を得ることができる。なお、入力値は、座標空間SC内における他車両の位置やTHWなどであってもよい。
(2b)上記実施形態では、記号化技術等を用いて生成された環境トピック特徴量に対してクラスタリングが行われる構成を例示したが、クラスタリングが行われる対象はこれに限定されるものではない。
例えば、図22に示す第2変形例では、記号化部は、まず車両100の周辺の領域を所定の領域、この例では9つの領域、に分割する。そして、記号化部は、各領域における他車両の位置及び遷移状態を基にパターンを決定し、当該パターンを1つの環境クラスタとすることで、環境クラスタを決定する。
ここで、上述したパターンの例について説明する。図22に示すパターン(o)は、道路Rにおいて、車両200が車両100の右前方の領域から車両100の正面前方の領域に移動し、車両300が車両100の真後ろの領域を直進するパターンである。また、パターン(p)は、車両200が車両100の右前方の領域を直進し、車両300が車両100の真後ろの領域から車両100の右横の領域に移動するパターンである。このような構成によっても、上記実施形態と同様の効果を得ることができる。
(2c)上記実施形態では、走行場所ごとにクラスタリングが行われる構成を例示したが、走行場所を限定せずクラスタリングを行うようにしてもよい。
例えば、図23に示す第3変形例では、クラスタリング部は、走行場所の区別なく環境トピック特徴量のクラスタリングを行い、環境クラスタを決定する。同様に、データベース3には、走行場所の区別なく環境トピック特徴量、クラスタインデックス及び運転トピック特徴量が紐付けられて格納される。異常判定部は、各環境クラスタが示す運転トピック特徴量と、当該環境クラスタが示す車両100の運転行動のパターンの確率密度との関係を用いて車両100の異常走行を検出する。
例えば、図23に示すパターン(q)及び(r)はそれぞれ、車両100の右前方を車両200が走行し、右後方を車両300が走行している場合の環境クラスタにおける、正常走行時の車両100の運転行動のパターンである。パターン(q)においては、道路が直線状であるため、車両100はハンドルを切らずアクセルも踏まずに直進する。パターン(r)においては、道路が左カーブ状であるため、車両100は左にハンドルを切りつつブレーキを踏んで減速しながら直進する。このようなパターン(q)及び(r)の確率密度と運転トピック特徴量との関係が示されたグラフ(s)において、例えば車両100が右へ車線変更するトピックを含有する現在運転トピック特徴量が生成された場合、異常検出部は車両100が異常走行していると判定する。具体的には、異常検出部は、上述した方法などを用いて、各パターンの中の選択された運転トピック特徴量と現在運転トピック特徴量とのかい離距離を計算し車両の異常走行を判定する。なお、各パターンはあらかじめ定められたルールに基づいて定義してもよく、また例えば各環境クラスタが示す運転トピック特徴量空間にてクラスタリングを行うことにより定義するようにしてもよい。このような構成によっても、車両100の異常走行を検出することができる。
(2d)上記実施形態では、格納処理及び異常検出処理に車両100の走行場所の情報が用いられた。しかし、格納処理及び異常検出処理に用いられる情報は走行場所に限定されるものではない。例えば、走行場所に加えて又は代えて、車両100が走行した日付、時間帯、天候、車両の種類、及び市街地や高速道路など走行場所の種類等の情報を用いて格納処理及び異常検出処理を行うようにしてもよい。
(2e)上記実施形態では、車両100の周辺環境の遷移として他車両の動きの遷移を例示した。しかしながら、周辺環境の遷移は、他車両だけに限らず、例えば歩行者など他の周辺物体の動きの遷移であってもよい。
(2f)上記実施形態における走行場所は、地図上で区分された所定の領域である区分領域単位で特定された。しかしながら、走行場所の区分はこれに限定されるものではなく、例えば交差点や直線道路などの所定の条件に基づいて区分されてもよい。
(2g)上記実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
(2h)本開示は、上述したECUの他、当該ECUを構成要素とするシステム、当該ECUとしてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、異常検出方法など、種々の形態で実現することができる。
1…車両情報部、2…ECU、3…データベース、10…異常検出装置、21…画像・位置取得部、22…生成算出部、23,27…記号化部、24,28…生成部、25…クラスタリング部、26…情報取得部、29…異常検出部、100,200,300,400…車両、A,B,C,EC…環境クラスタ、EC3…現在環境クラスタ、DT,DT11,DT12…運転トピック特徴量、DT2…紐付トピック特徴量、DT3…現在運転トピック特徴量、ET…環境トピック特徴量、ET3…現在環境トピック特徴量。

Claims (5)

  1. 自動走行を行う車両の異常走行を検出する異常検出装置(10)であって、
    前記車両の周辺環境の特徴を表す情報である環境情報をクラスタリングすることにより、前記環境情報を、複数のクラスタのうち前記環境情報の傾向を表すクラスタに分類し、分類されたクラスタと前記周辺環境における前記車両の運転行動の特徴を表す情報である特徴情報とを紐付けてデータベースに格納する格納部(S1,S2)と、
    前記車両の現在の周辺環境の特徴を表す情報である現在環境情報に基づいて、前記複数のクラスタのうち前記現在環境情報の傾向を表す現在環境クラスタを決定し、前記データベースに格納された前記特徴情報のうち前記現在環境クラスタと同じクラスタと紐付けられている前記特徴情報と、前記現在の周辺環境における前記特徴情報と、を比較することにより前記車両の異常走行を検出する異常検出部(S31~S34)と、
    を備える、異常検出装置。
  2. 請求項1に記載の異常検出装置であって、
    前記車両が走行している場所である走行場所を特定する特定部(21)を更に備え、
    前記格納部は、前記走行場所ごとに、前記分類されたクラスタと前記特徴情報とを紐付けて前記データベースに格納し、
    前記異常検出部は、前記データベースに格納された前記特徴情報のうち前記車両の現在の前記走行場所における前記現在環境クラスタと同じクラスタと紐付けられている前記特徴情報と、前記現在の周辺環境における前記特徴情報と、を比較することにより前記車両の異常走行を検出する、異常検出装置。
  3. 請求項1又は請求項2に記載の異常検出装置であって、
    前記格納部及び前記異常検出部はそれぞれ、前記車両が走行する際に連続して起こす複数の運転行動を、所定の一連の運転行動のシーンである運転シーンごとに分割し、前記運転シーンごとに前記特徴情報を生成する、異常検出装置。
  4. 請求項1から請求項までのいずれか1項に記載の異常検出装置であって、
    前記格納部及び前記異常検出部はそれぞれ、前記車両が走行する際の前記車両の周辺環境の遷移を、所定の一連の周辺環境のシーンである環境シーンごとに分割し、前記環境シーンごとに前記環境情報を生成する、異常検出装置。
  5. 請求項に記載の異常検出装置であって、
    前記車両の周辺環境の遷移とは、前記車両と前記車両の周辺に存在する他の車両との相対位置の遷移である、異常検出装置。
JP2018092996A 2018-05-14 2018-05-14 異常検出装置 Active JP7095391B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018092996A JP7095391B2 (ja) 2018-05-14 2018-05-14 異常検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018092996A JP7095391B2 (ja) 2018-05-14 2018-05-14 異常検出装置

Publications (2)

Publication Number Publication Date
JP2019200459A JP2019200459A (ja) 2019-11-21
JP7095391B2 true JP7095391B2 (ja) 2022-07-05

Family

ID=68613116

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018092996A Active JP7095391B2 (ja) 2018-05-14 2018-05-14 異常検出装置

Country Status (1)

Country Link
JP (1) JP7095391B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128190A (ja) 2005-11-02 2007-05-24 Mitsubishi Electric Corp 分類基準生成装置および異常判定装置および分類基準生成方法および分類基準生成プログラム
JP2009154675A (ja) 2007-12-26 2009-07-16 Toyota Central R&D Labs Inc ドライバ状態推定装置及びプログラム
JP2016118906A (ja) 2014-12-19 2016-06-30 株式会社デンソー 異常検出装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007128190A (ja) 2005-11-02 2007-05-24 Mitsubishi Electric Corp 分類基準生成装置および異常判定装置および分類基準生成方法および分類基準生成プログラム
JP2009154675A (ja) 2007-12-26 2009-07-16 Toyota Central R&D Labs Inc ドライバ状態推定装置及びプログラム
JP2016118906A (ja) 2014-12-19 2016-06-30 株式会社デンソー 異常検出装置

Also Published As

Publication number Publication date
JP2019200459A (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
US11769052B2 (en) Distance estimation to objects and free-space boundaries in autonomous machine applications
US11312372B2 (en) Vehicle path prediction
US11941873B2 (en) Determining drivable free-space for autonomous vehicles
US11897471B2 (en) Intersection detection and classification in autonomous machine applications
US11604967B2 (en) Stereo depth estimation using deep neural networks
US11704890B2 (en) Distance to obstacle detection in autonomous machine applications
US20230418299A1 (en) Controlling autonomous vehicles using safe arrival times
US20200082248A1 (en) Future object trajectory predictions for autonomous machine applications
CN1915725B (zh) 驾驶员辅助系统
JP6307356B2 (ja) 運転コンテキスト情報生成装置
JP6330651B2 (ja) 異常検出装置
WO2020219303A1 (en) Intersection pose detection in autonomous machine applications
JP2023507695A (ja) 自律運転アプリケーションのための3次元交差点構造予測
CN113044059A (zh) 用于车辆的安全系统
CN111771207A (zh) 增强的车辆跟踪
JP5278419B2 (ja) 運転シーンの遷移予測装置及び車両用推奨運転操作提示装置
US20210389133A1 (en) Systems and methods for deriving path-prior data using collected trajectories
CN116685874A (zh) 摄像机-激光雷达融合对象检测系统和方法
JP2013242615A (ja) 運転シーン遷移予測装置および車両用推奨運転操作提示装置
JP7095391B2 (ja) 異常検出装置
Englund Action intention recognition of cars and bicycles in intersections
JP7001795B1 (ja) シミュレーション用のデータ生成装置、方法及びコンピュータプログラム
Panero Drivers' comfort zone boundaries when overtaking pedestrians-Analysis of naturalistic driving and field test data
Rodemerk Potential of Driving Style Adaptation for a Maneuver Prediction System at Urban Intersections
Weber Performance Validation of Artificial Intelligence-based Vehicle Vision Systems and the Role of Vehicle Vertical Dynamics

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220606

R151 Written notification of patent or utility model registration

Ref document number: 7095391

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151