JP7078458B2 - 操舵角決定装置、および、自動運転車 - Google Patents

Description

本開示は、自動操舵の技術に関する。

従来、車両走行に伴い検出され複数種類の特徴量の時系列データを学習データとして、運転者の運転特徴により近い運転行動を推定する技術が知られている（特許文献１）。

特開２００７－１７６３９６号公報

従来の技術では、運転行動を推定するために、運転者が実際に車両を走行させたときの複数種類の特徴量からなる学習データを用いている。しかしながら、運転者が運転操作を行わない自動運転の場合には、運転者が運転操作を行ったことによって生成された学習データを用いることができない。これにより、車両を自動運転する場合においては、運転者による軌跡と、自動運転による軌跡との乖離が大きくなる可能性が生じ得る。

本開示は、上述の課題を解決するためになされたものであり、以下の形態として実現することが可能である。

本開示の一形態によれば、車両（１）の周囲を撮像する撮像部（２１）と、前記車両の位置および向きを取得する位置取得部（３０）とを備える前記車両に搭載される操舵角決定装置（４０）が提供される。この操舵角決定装置は、前記位置取得部が取得した情報を用いて、進行方向における前記車両が走行する道路種別を含む走行シーンを決定するシーン決定部（４１）と、前記撮像部の撮像画像を用いて、走行車線に沿って走行する通常操舵パターンと、障害物を回避するための回避操舵パターンとを含む操舵パターン群の中から前記車両が採るべき操舵パターンを識別する操舵識別部（４２）と、前記撮像画像と、前記走行シーンと、前記操舵パターンとを用いて操舵角を決定する操舵角決定部（４９）と、を備える。

上記形態の操舵角決定装置によれば、操舵角を決定するために、撮像画像に加え、走行シーンと操舵パターンとを用いることで、運転者が行う操舵と、操舵角決定部が決定する操舵角による操舵との乖離が大きくなる可能性を低減できる。

自動運転車の概略を示すブロック図。 操舵角決定装置としてのＥＣＵを説明するための図。 操舵識別部を説明するための図。 第１操舵角算出部を説明するための図。 第２操舵角算出部を説明するための図。 第２操舵角算出部の学習手順を説明するための図。 操舵による自動運転車の軌跡について説明するための図。

Ａ．実施形態：
図１に示す自動運転車１は、少なくとも自動操舵が可能なレベル以上の自動運転車である。自動運転車１は、操舵角決定装置としてのＥＣＵ４０と、撮像部としてのカメラ２１と、位置取得部３０と、地図データ３１と、操舵角センサ３４と、ステアリング装置１５と、ステアリングホイール１７と、を備える。

ＥＣＵ４０は、自動操舵を行うために、操舵角（操舵量）としての最終操舵角を決定し、決定した最終操舵角となるようにステアリング装置１５に指令を出す。ＥＣＵ４０の詳細は後述する。

カメラ２１は、自動運転車１の周囲を撮像する。例えば、カメラ２１は、自動運転車１の前方を撮像する。カメラ２１によって予め定めた時間間隔ごとに撮像された撮像画像は、ＥＣＵ４０に送信される。なお、カメラ２１は単眼カメラであってもよいし、ステレオカメラであってもよい。また、カメラ２１は、自動運転車１の前方、側方、後方を撮像するために複数設けられていてもよい。

位置取得部３０は、自動運転車１の位置（緯度および経度）と進行方向である向きを取得して、取得結果をＥＣＵ４０に送信する。位置取得部３０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）を構成する人工衛星からアンテナを介して航法信号を受信する受信機である。

地図データ３１は、道路情報を格納したデータであり、例えば、道路情報（リンクデータやノードデータ）と、その道路の種別（一般道路や高速道路やパーキングエリア）などを格納している。操舵角センサ３４は、例えば、ステアリングシャフトに取り付けられ、操舵角を検出する。

ステアリング装置１５は、図示しないモータ等を備える。ステアリング装置１５は、ＥＣＵ４０から入力された最終操舵角を実現するための動作をすると共に、最終操舵角に応じてステアリングホイール１７を回転させる。

ＥＣＵ４０は、自動操舵機能がオンに設定されている間、繰り返し、操舵角決定処理を実行する。ステアリング装置１５は、自動操舵機能がオフに設定されている間、電動パワーステアリング装置として機能する。

図２に示すように、ＥＣＵ４０は、シーン決定部４１と、操舵識別部４２と、操舵角決定部４９と、を備える。

シーン決定部４１は、位置取得部３０が取得した情報ＰＩを用いて、自動運転車１の進行方向における走行シーンを決定する。具体的には、シーン決定部４１は、情報ＰＩに含まれる緯度情報、経度情報、および、向き情報から、地図データ３１上における自動運転車１の現在位置と進行方向とを特定し、特定した現在位置および進行方向における道路種別と、自動運転車１の走行車線の曲がりの程度（例えば、曲率）とを走行シーンとして決定する。上記のごとく、シーン決定部４１は、緯度情報と経度情報に加え、向き情報を用いることでより精度良く走行シーンを決定できる。

操舵識別部４２は、カメラ２１の撮像画像ＩＭを用いて、自動運転車１が採るべき操舵パターンを識別する。操舵パターンとしては、走行車線に沿って走行する通常操舵パターンと、進行方向側（例えば、前方側）に停車する他車両などの障害物が位置するために障害物を回避するための回避操舵パターンとがある。

図３に示すように、操舵識別部４２は、識別ネットワーク構造４２２と、ラベルデータ群４２３とを有する。識別ネットワーク構造４２２は、ＬＲＣＮ（Long Recurrent Conventional Network）を用いて構成されている。ラベルデータ群４２３は、過去に収集した進行方向ごとの複数の撮像画像ＩＭと、撮像画像ＩＭごとに操舵パターンを区分したデータである。つまりラベルデータ群４２３は、撮像画像ＩＭを解析し、自動運転車１の進行方向に障害物があるか否かの状況に応じて操舵パターンを区分したデータである。例えば、自動運転車１の進行方向側に停車中の他車両が位置する撮像画像ＩＭには、操舵パターンとして回避操舵パターンが紐付けられている。また例えば、自動運転車１の進行方向側に停車中の他車両が位置しない撮像画像ＩＭには、操舵パターンとして通常操舵パターンが紐付けられている。

識別ネットワーク構造４２２は、このラベルデータ群４２３のデータを教師データ（真値）として用いて、識別ネットワーク構造４２２に入力された３枚の撮像画像ＩＭ_ｋ，ＩＭ_ｋ＋１，ＩＭ_ｋ＋２のそれぞれについて、操舵パターンを識別する。

３枚の撮像画像ＩＭ_ｋ，ＩＭ_ｋ＋１，ＩＭ_ｋ＋２は、同じ走行シーン（例えば、高速道路を走行するシーンや、一般道路を走行するシーン）において時系列に並んだ画像であり、時点ｋ＋２が最終決定部４８によって最終操舵角を決定する対象となる時点であり、時点ｋ＋１は時点ｋ＋２よりも一つ前の時点であり、時点ｋは時点ｋ＋１よりも一つ前の時点である。

以上のように、操舵識別部４２は、同じ走行シーンにおいて時系列に並んだ複数の撮像画像ＩＭ_ｋ，ＩＭ_ｋ＋１，ＩＭ_ｋ＋２のそれぞれについて、自動運転車１の進行方向における状況と前記操舵パターンとが紐付けられた識別ネットワーク構造４２２を用いて操舵パターンを識別する。これにより、操舵パターンを容易に識別できる。なお、識別ネットワーク構造４２２は、撮像画像ＩＭに対する実際の走行シーンを真値として与えて学習した後に、ＥＣＵ４０の一部として組み込まれる。

操舵角決定部４９（図２）は、撮像画像ＩＭ_ｋ，ＩＭ_ｋ＋１，ＩＭ_ｋ＋２と、走行シーンと、操舵パターンとを用いて操舵角を決定する。操舵角決定部４９は、第１操舵角算出部４４と、第２操舵角算出部４６と、最終決定部４８とを備える。

第１操舵角算出部４４（図４）は、撮像画像ＩＭ_ｋ＋２を用いて、時点ｋ＋２において自動運転車１が採るべき第１操舵角Ｚ_ｋ＋２を算出する。図４に示すように、第１操舵角算出部４４は、操舵角ネットワーク構造４４２と、操舵角データ群４４３とを有する。操舵角ネットワーク構造４４２は、畳み込みニューラルネットワークであるＶＧＧ１６を用いて構成されている。本実施形態において用いる操舵角ネットワーク構造４４２は、ＶＧＧ１６におけるニューロンの数やレイヤー数を適宜変更して用いてもよい。操舵角データ群４４３は、操舵パターンと様々な走行シーンごとに第１操舵角Ｚを紐付けたデータである。

第１操舵角算出部４４には、撮像画像ＩＭ_ｋ＋２と、シーン決定部４１によって決定された時点ｋ＋２における走行シーンと、操舵識別部４２によって識別された時点ｋ＋２における操舵パターンとが入力され、操舵角ネットワーク構造４４２は操舵角データ群４４３を参照することで時点ｋ＋２における第１操舵角Ｚ_ｋ＋２を算出する。

第１操舵角算出部４４の操舵角ネットワーク構造４４２は、走行シーンと操縦パターンと算出する第１操舵角Ｚとの関係を学習によって構築したネットワーク構造である。

第２操舵角算出部４６（図２）は、第１操舵角Ｚ_ｋ＋２と、時点ｋ＋１および時点ｋにおいて撮像された撮像画像ＩＭ_ｋ＋１，ＩＭ_ｋにおける、最終決定部４８によって決定された最終操舵角Ｘ_ｋ＋１，Ｘ_ｋとを用いて第２操舵角Ｙ_ｋ＋２を算出する。

図５に示すように、第２操舵角算出部４６は、第１ネットワーク構造３１０と、第２ネットワーク構造３３０とを備える。第２操舵角算出部４６において、入力は第１操舵角Ｚ_ｋ＋２と、過去（一つ前の時点と、二つ前の時点）の最終操舵角である過去操舵角Ｘ_ｋ＋１，Ｘ_ｋである。入力値としての３つの値を入力値セットと呼ぶ。第１ネットワーク構造３１０は第１操舵角Ｚ_Ｋ＋２を過去操舵角Ｘ_ｋ＋１，Ｘ_ｋで修正し、第２ネットワーク構造３３０は、第１ネットワーク構造によって修正された値を調整して第２操舵角Ｙ_ｋ＋２を算出する。

入力値セットは、第１ネットワーク構造３１０に入力される。具体的には、入力値セットは、ゲーティングネットワーク３１１と、エキスパートネットワーク群３２０とのそれぞれに入力される。エキスパートネットワーク群３２０は、第１エキスパートネットワーク３２１と、第２エキスパートネットワーク３２２と、第３エキスパートネットワーク３２３とを備える。入力値セットは、第１～第３エキスパートネットワーク３２１～３２３のそれぞれに入力される。

ゲーティングネットワーク３１１は、入力値セットが入力されると、重みｇ_k ¹，重みｇ_k ²，及び重みｇ_k ³を出力する。ｇ_k ¹＋ｇ_k ²＋ｇ_k ³＝１である。

重みｇ_k ¹は，直進するための操舵角を、第２操舵角Ｙ_ｋ＋２として出力すべき尤もらしさを意味する。重みｇ_k ²は，右に操舵するための操舵角を、第２操舵角Ｙ_ｋ＋２として出力すべき尤もらしさを意味する。重みｇ_k ³は，左に操舵するための操舵角を、第２操舵角Ｙ_ｋ＋２として出力すべき尤もらしさを意味する。

本実施形態におけるゲーティングネットワーク３１１は、重みｇ_k ¹，重みｇ_k ²，及び重みｇ_k ³の何れか１つの値を１に決定する。このため、残りの２つの値はゼロになる。つまり、本実施形態におけるゲーティングネットワーク３１１は、直進すべきか、右に操舵すべきか、左に操舵すべきかを、一意に決定していることになる。

第１エキスパートネットワーク３２１は、入力値セットが入力されると、操舵角θ_k ¹を出力する。操舵角θ_k ¹は、直進すべきであると仮定した場合に、入力値セットから導かれる操舵角である。

第２エキスパートネットワーク３２２は、入力値セットが入力されると、操舵角θ_k ²を出力する。操舵角θ_k ²は、右に操舵すべきであると仮定した場合に、入力値セットから導かれる操舵角である。

第３エキスパートネットワーク３２３は、入力値セットが入力されると、操舵角θ_k ³を出力する。操舵角θ_k ³は、左に操舵すべきであると仮定した場合に、入力値セットから導かれる操舵角である。

ゲーティングネットワーク３１１及びエキスパートネットワーク群３２０からの出力は、第２ネットワーク構造３３０に入力される。第２ネットワーク構造３３０に入力されるのは、３つの値である。具体的にはθ_k ¹×ｇ_k ¹、θ_k ²×ｇ_k ²、θ_k ³×ｇ_k ³が入力される。ｇ_k ¹、ｇ_k ²、ｇ_k ³のうちの２つはゼロであるので、実質的にはエキスパートネットワーク群３２０から出力された３つの値のうち、値が１である重みに対応する値のみが入力されることになる。

第２ネットワーク構造３３０は、リファインメントネットワークである。第２ネットワーク構造３３０は、２層の隠れ層から構成される。２層のそれぞれは、３２のユニットから構成される。１層目と２層目とのユニットは、全結合されている。入力層と第１層目とのユニットも全結合されており、第２層目のユニットと出力層とも全結合されている。第２ネットワーク構造３３０による微調整を経て、第２操舵角Ｙ_ｋ＋２が出力される。

第１ネットワーク構造３１０を構成するゲーティングネットワーク３１１およびエキスパートネットワーク群３２０は、ＬＳＴＭによって構成されている。ＬＳＴＭは、Long Short-Term Memoryの頭字語である。ＬＳＴＭは、リカレントニューラルネットワークの一種である。ＬＳＴＭは、選択的な忘却や、長期的な依存関係の学習ができるという特徴を有する。このため、入力値Ｘ_ｋ，Ｘ_Ｋ＋１，Ｚ_Ｋ＋２に基づき修正する処理に適している。

以上のように、第２操舵角算出部４６は、第１操舵角Ｚ_ｋ＋２と、時点Ｋ＋２にける撮像画像ＩＭ_Ｋ＋２と走行シーンが同じであり、過去に撮像された撮像画像である過去撮像画像ＩＭ_Ｋ＋１，ＩＭ_Ｋを一の撮像画像として算出された最終操舵角である過去操舵角Ｘ_ｋ＋１，Ｘ_Ｋとを用いて、第２操舵角Ｙ_ｋ＋２を算出する。

最終決定部４８は、第１操舵角Ｚ_ｋ＋２と第２操舵角Ｙ_ｋ＋２とを用いて、時点Ｋ＋２における最終操舵角Ｘ_ｋ＋２を決定する。決定方法としては、第１操舵角Ｚ_ｋ＋２に対する尤度と、第２操舵角Ｙ_ｋ＋２から作成される提案分布（正規分布）とを用いて、粒子フィルタ処理を適用することで時点Ｋ＋２における最終操舵角Ｘ_ｋ＋２を決定する方法が採用される。第１操舵角Ｚ_ｋ＋２に対する尤度は、真の操舵角（例えば、最終操舵角Ｘ_Ｋ＋２）との近似の程度である。

以上のように、本実施形態の最終操舵角Ｘ_Ｋ＋２の決定処理は、上記のごとく粒子フィルタ処理を適用している。つまり、この決定処理は物体の検出と追跡を同時に行う逐次追跡アルゴリズムを実現している。具体的には、現状態から起こり得る多数の次状態を、多数のパーティクルに見立て、全パーティクルの尤度に基づいた重み付け平均を次状態として予測しながら追跡を実行する処理と同種の処理であるといえる。

決定された最終操舵角Ｘ_ｋ＋２は、ステアリング装置１５（図１）に出力されることで、ステアリング装置１５は最終操舵角Ｘ_ｋ＋２の自動操舵を実行する。

図６を用いて、第２操舵角算出部４６の教師あり学習について説明する。教師あり学習後の第２操舵角算出部４６が、自動運転車１にＥＣＵ４０の構成要素として搭載される。自動運転車に搭載前の第２操舵角算出部４６は、運転者による操舵情報を用いて教師あり学習を実施する。具体的には、撮像画像ＩＭ_ｋ＋２を第１操舵角算出部４４に入力することで算出された第１操舵角Ｚ_ｋ＋２と、撮像画像ＩＭ_ｋ＋１，ＩＭ_ｋが取得されたそれぞれの時点ｋ＋１，ｋにおける操舵角センサ３４（図１）の検出操舵角Ｄ_ｋ＋１，Ｄ_ｋとが第２操舵角算出部４６の入力要素ＣＩとされる。検出操舵角Ｄ_ｋ＋１，Ｄ_ｋは真値である。入力要素である第１操舵角Ｚ_ｋ＋２には撮像画像ＩＭ_ｋ＋２が紐付けられ、同様に入力要素である検出操舵角Ｄ_ｋ＋１，Ｄ_ｋには対応する撮像画像ＩＭ_ｋ＋１，ＩＭ_ｋが紐付けられている。また、撮像画像ＩＭ_ｋ＋２が取得された時点ｋ＋２における操舵角センサ３４の検出操舵角Ｄ_ｋ＋２を第２操舵角算出部４６の出力要素とする。検出操舵角Ｄ_ｋ＋２は真値である。第２操舵角算出部４６は、入力要素を入力したときに、出力要素である検出操舵角Ｄ_ｋ＋２の値が出力されるように教師あり学習を実施する。

図７を用いて、自動運転車１の自動操舵による軌跡について説明する。軌跡ＤＴ１は、走行車線Ｌｎ１において自動運転車１の進行方向前方に停車している他車両などの障害物９９がない場合の、自動運転車１の軌跡である。軌跡ＤＴ２は、障害物９９があり、回避操舵パターンを採る場合において、最終決定部４８が決定した最終操舵角Ｘによって自動操舵を行った軌跡である。軌跡ＤＴ３は、ＥＣＵ４０において操舵識別部４２を省略することで、操舵パターンを最終操舵角Ｘの算出のための要素として用いなかった場合の軌跡である。軌跡ＤＴ４は、障害物９９がある場合に、運転者が行った操舵による軌跡である。本実施形態の自動操舵による軌跡ＤＴ３は、実際に運転者が操舵による軌跡ＤＴ４に類似した軌跡である。つまり、本実施形態によれば、最終操舵角Ｘを決定するために、撮像画像ＩＭに加え、走行シーンと操舵パターンとを用いることで、軌跡ＤＴ４と軌跡ＤＴ３との乖離が大きくなる可能性を低減できる。

Ｂ．他の実施形態：
本開示は、操舵角決定装置や自動運転車の他に種々の形態で実現することも可能であり、例えば、操舵角決定装置の制御方法、制御方法を実行させるためのプログラム、等の形態で実現することができる。また本開示は、上述の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１ 車両、２１ 撮像部、３０ 位置取得部、４０ 操舵角決定装置、４１ シーン決定部、４２ 操舵識別部、４９ 操舵角決定部

Claims (9)

1. 車両（１）の周囲を撮像する撮像部（２１）と、前記車両の位置および向きを取得する位置取得部（３０）とを備える前記車両に搭載される操舵角決定装置（４０）であって、
   前記位置取得部が取得した情報を用いて、進行方向における前記車両が走行する道路種別を含む走行シーンを決定するシーン決定部（４１）と、
   前記撮像部の撮像画像を用いて、走行車線に沿って走行する通常操舵パターンと、障害物を回避するための回避操舵パターンとを含む操舵パターン群の中から前記車両が採るべき操舵パターンを識別する操舵識別部（４２）と、
   前記撮像画像と、前記走行シーンと、前記操舵パターンとを用いて操舵角を決定する操舵角決定部（４９）と、を備える、操舵角決定装置。
2. 請求項１に記載の操舵角決定装置であって、
   前記シーン決定部は、前記位置取得部が取得した情報である前記車両の緯度情報、経度情報、および、向き情報を用いて、前記走行シーンを決定する、操舵角決定装置。
3. 請求項１または請求項２に記載の操舵角決定装置であって、
   前記操舵識別部は、同じ前記走行シーンにおいて時系列に並んだ複数の前記撮像画像のそれぞれについて、前記車両の進行方向における状況と前記操舵パターンとが紐付けられたネットワーク構造（４２２）を用いて、前記操舵パターンを識別する、操舵角決定装置。
4. 請求項１から請求項３までのいずれか一項に記載の操舵角決定装置であって、
   前記操舵角決定部は、
   一の前記撮像画像と、前記シーン決定部で決定した前記走行シーンと、前記操舵識別部が識別した前記操舵パターンとを用いて、第１操舵角を算出する第１操舵角算出部（４４）と、
   前記車両に実行させる前記操舵角としての最終操舵角を決定する最終決定部（４８）と、
   前記第１操舵角と、前記一の撮像画像と前記走行シーンが同じであり、過去に撮像された前記撮像画像である過去撮像画像を前記一の撮像画像として決定された前記最終操舵角である過去操舵角とを用いて、第２操舵角を算出する第２操舵角算出部（４６）と、を備え、
   前記最終決定部は、
   前記第１操舵角に対する尤度と、前記第２操舵角から作成される提案分布とを用いて、前記最終操舵角を決定する、操舵角決定装置。
5. 請求項４に記載の操舵角決定装置であって、
   前記第１操舵角算出部は、前記走行シーンと前記操舵パターンと算出する前記第１操舵角との関係を学習によって構築したネットワーク構造（４４２）を有する、操舵角決定装置。
6. 請求項４または請求項５に記載の操舵角決定装置であって、
   前記第２操舵角算出部は、第１ネットワーク構造（３１０）と、第２ネットワーク構造（３３０）とを備え、
   前記第１ネットワーク構造は、前記過去操舵角を用いて前記第１操舵角の修正を行い、
   前記第２ネットワーク構造は、前記第１ネットワーク構造によって修正された値を調整して、前記第２操舵角を算出する、操舵角決定装置。
7. 請求項６に記載の操舵角決定装置であって、
   前記第１ネットワーク構造は、ゲーティングネットワーク（３１１）と、エキスパートネットワーク（３２０）とを有し、
   前記ゲーティングネットワークおよび前記エキスパートネットワークは、ＬＳＴＭによって構成されることで、前記修正を実現する、操舵角決定装置。
8. 請求項４から請求項７までのいずれか一項に記載の操舵角決定装置であって、
   前記最終決定部は、粒子フィルタ処理によって前記最終操舵角を決定する、操舵角決定装置。
9. 請求項１から請求項８までのいずれか一項に記載の操舵角決定装置と、
   前記操舵角決定部によって決定された前記操舵角を用いて、操舵を実現するステアリング装置（１５）と、を備える自動運転車。

Images