JP7429143B2 - 移動体制御装置、移動体制御方法、およびプログラム - Google Patents

Description

本発明は、移動体制御装置、移動体制御方法、およびプログラムに関する。

近年、運転者による運転操作に依らず車両を自動的に走行させる自動運転技術に関して、研究および実用化が進められている（例えば、特許文献１）。

特開２０１９－１４４６６８号公報

自動運転、或いは高度な運転支援を行う上で、情報処理の複雑化によって、迅速な制御を行うのが困難になってしまうという課題があった。この点は車両に限らず自律的に移動する移動体の移動制御においても同様である。

本発明は、このような事情を考慮してなされたものであり、場面に応じた必要な制御を迅速に行うことが可能な移動体制御装置、移動体制御方法、およびプログラムを提供することを目的の一つとする。

この発明に係る移動体制御装置、移動体制御方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る移動体制御装置は、移動体の周辺の空間を検出範囲とする検出デバイスの出力に基づいて前記移動体の周辺状況を認識し、前記認識した前記移動体の周辺状況に基づいて、第１周期で前記移動体の第１移動プランを生成する第１制御部と、前記第１周期よりも短い第２周期で前記移動体の第２移動プランを生成する第２制御部と、を備え、前記第２制御部は、前記移動体の周辺の空間を有限数に分割した分割要素のそれぞれについて、少なくとも移動物標の有無に応じて異なる値を示すラベル情報を付与したラベルデータを生成し、前記ラベルデータに基づいて前記第２移動プランを生成するものである。

（２）：上記（１）の態様において、前記第２制御部は、前記ラベルデータにおいて、前記移動物標、走行不可能領域、および走行可能領域のそれぞれについて、互いに異なる値の前記ラベル情報を付与するものである。

（３）：上記（１）または（２）に態様において、前記第２制御部は、前記ラベルデータを前記第２周期で生成するものである、

（４）：上記（１）から（３）のいずれかの態様において、少なくとも所定の場面において、前記第２移動プランが、前記第１移動プランよりも優先的に前記移動体の移動制御に用いられるものである。

（５）：上記（１）から（４）のいずれかの態様において、前記第２処理部は、ラベルデータを含む入力データを入力すると、前記移動物標との接触を回避するための移動プランを出力するように学習されたモデルに対して、前記生成したラベルデータを入力することで、前記第２移動プランを取得するものである。

（６）：上記（５）の態様において、前記入力データは、直近に生成した直近ラベルデータと、過去に生成した過去ラベルデータと、将来の状態を表すと予想される将来ラベルデータとを含むものである。

（７）：上記（６）の態様において、前記入力データには、前記将来ラベルデータに比して、時間的に長い期間に相当する前記過去ラベルデータが含まれるものである。

（８）：上記（６）または（７）の態様において、前記入力データには、前記第１周期よりも時間的に長い期間に相当する前記過去ラベルデータが含まれるものである。

（９）：上記（６）から（８）のいずれかの態様において、前記入力データには、前記第１周期よりも時間的に短い期間に相当する前記将来ラベルデータが含まれるものである。

（１０）：上記（５）から（９）のいずれかの態様において、前記第２制御部は、前記入力データが、既知シーンを表したものであるか否かを判定し、既知シーンを表したものであると判定した場合、前記モデルの出力した第２移動プランに基づいて前記移動体の移動制御を行い、既知シーンを表したものでないと判定した場合、前記移動体の操舵制御を行わず、専ら制動力を出力する移動制御、或いは、前記操舵制御の度合いを、既知シーンを表したものであると判定した場合に比して制限した移動制御を行うものである。

（１１）：上記（５）から（１１）のいずれかの態様において、前記モデルは、前記モデルの出力を評価する報酬関数によって計算される報酬に基づく強化学習によって、パラメータが学習されたモデルであるものである。

（１２）：本発明の他の態様は、コンピュータが、移動体の周辺の空間を検出範囲とする検出デバイスの出力に基づいて前記移動体の周辺状況を認識し、前記認識した前記移動体の周辺状況に基づいて、第１周期で前記移動体の第１移動プランを生成する第１処理と、前記第１周期よりも短い第２周期で前記移動体の第２移動プランを生成する第２処理と、を実行し、前記第２処理は、前記移動体の周辺の空間を有限数に分割した分割要素のそれぞれについて、少なくとも移動物標の有無に応じて異なる値を示すラベル情報を付与したラベルデータを前記第２周期で生成し、前記ラベルデータに基づいて前記第２移動プランを生成する処理である、移動体制御方法である。

（１３）：本発明の他の態様は、コンピュータに、移動体の周辺の空間を検出範囲とする検出デバイスの出力に基づいて前記移動体の周辺状況を認識し、前記認識した前記移動体の周辺状況に基づいて、第１周期で前記移動体の第１移動プランを生成する第１処理と、前記第１周期よりも短い第２周期で前記移動体の第２移動プランを生成する第２処理と、を実行させるプログラムであって、前記第２処理は、前記移動体の周辺の空間を有限数に分割した分割要素のそれぞれについて、少なくとも移動物標の有無に応じて異なる値を示すラベル情報を付与したラベルデータを前記第２周期で生成し、前記ラベルデータに基づいて前記第２移動プランを生成する処理である、プログラムである。

（１４）：本発明の他の態様は、移動体の周辺の空間を検出範囲とする検出デバイスの出力に基づいて前記移動体の移動制御を行う制御部を備え、前記制御部は、入力データを入力すると、移動物標との接触を抑制するための移動プランを出力するように学習されたモデルに対して、前記検出デバイスの出力に基づく入力データを入力することで、前記移動プランを取得するものであり、前記モデルに入力する入力データが、既知シーンを表したものであるか否かを判定し、既知シーンを表したものであると判定した場合、前記モデルの出力した移動プランに基づいて前記移動体の移動制御を行い、既知シーンを表したものでないと判定した場合、前記移動体の操舵制御を行わず、専ら制動力を出力する移動制御、或いは、前記操舵制御の度合いを、既知シーンを表したものであると判定した場合に比して制限した移動制御を行う、移動体制御装置である。

（１５）：上記（１４）の態様において、前記モデルは、前記モデルの出力を評価する報酬関数によって計算される報酬に基づく強化学習によって、パラメータが学習されたモデルであるものである。

上記（１）～（１３）の態様によれば、場面に応じた必要な制御を迅速に行うことができる。
上記（１４）、（１５）の態様によれば、従来の技術では、モデルを用いて制御を行う場合に既知シーンでなければ結果を予測するのが困難な面もあったところ、モデルによる予期せぬ挙動が生じるのを抑制することができる。

実施形態に係る移動体制御装置を利用した車両システム１の構成図である。 自動運転制御装置１００の機能構成図である。 リスク分布予測部１３５により設定されるリスクの概要を示す図である。 ラベルデータの一例を示す図である。 ラベルデータ生成部１６５の補完処理について説明するための図である。 入力データの推移の一例を示す図である。 行動決定モデルが学習される仕組みを模式的に示す図である。 挙動決定部１７０の処理内容を模式的に示す図である。 実施形態の自動運転制御装置１００のハードウェア構成の一例を示す図である。

以下、図面を参照し、本発明の移動体制御装置、移動体制御方法、およびプログラムの実施形態について説明する。移動体とは、車両、自律歩行ロボット、ドローンなど、自身が備える駆動機構によって自律的に移動可能な構造体をいう。以下の説明では、移動体は地上を移動する車両であることを前提とし、専ら車両に地上を移動させるための構成および機能について説明するが、移動体がドローンなどの飛翔体である場合は、飛翔体に三次元空間を移動させるための構成および機能を備えるものとしてよい。

［全体構成］
図１は、実施形態に係る移動体制御装置を利用した車両システム１の構成図である。車両システム１が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ＬＩＤＡＲ（Light Detection and Ranging）１４と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、運転操作子８０と、自動運転制御装置１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される車両（以下、自車両Ｍ）の任意の箇所に取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、自車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ－ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ＬＩＤＡＲ１４は、自車両Ｍの周辺に光（或いは光に近い波長の電磁波）を照射し、散乱光を測定する。ＬＩＤＡＲ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ＬＩＤＡＲ１４は、自車両Ｍの任意の箇所に取り付けられる。

物体認識装置１６は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を自動運転制御装置１００に出力する。物体認識装置１６は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４の検出結果をそのまま自動運転制御装置１００に出力してよい。車両システム１から物体認識装置１６が省略されてもよい。

通信装置２０は、例えば、セルラー網やＷｉ－Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。

ＨＭＩ３０は、自車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。

車両センサ４０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備える。ナビゲーション装置５０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。地図上経路は、ＭＰＵ６０に出力される。ナビゲーション装置５０は、地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１を含み、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された地図上経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、地図上経路に分岐箇所が存在する場合、自車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。第２地図情報６２は、通信装置２０が他装置と通信することにより、随時、アップデートされてよい。

運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。

自動運転制御装置１００は、例えば、第１制御部１２０と、第２制御部１６０と、第３制御部１９０とを備える。第１制御部１２０、第２制御部１６０、および第３制御部１９０のそれぞれは、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置１００のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装置に装着されることで自動運転制御装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。自動運転制御装置１００は「移動体制御装置」の一例である。

図２は、自動運転制御装置１００の機能構成図である。第１制御部１２０は、例えば、認識部１３０と、リスク分布予測部１３５と、行動計画生成部１４０とを備える。

第１制御部１２０は、例えば、他の交通参加者（車両、歩行者、自転車など、移動物標となり得る、あらゆるものをいう）の将来行動を予測し、交通参加者の現在位置に基づいて将来位置をリスク（後述）として表現し、更に、走行不可能領域もリスクで表現し、リスクが最小となるように、自車両Ｍの将来行動を逐次最適化アルゴリズムにより決定するものである。第１制御部１２０は、以下に説明する処理を、第１周期で実行する。第１周期は、例えば百［ｍｓｅｃ］～数百［ｍｓｅｃ］程度の周期である。「第１周期で実行する」とは、少なくとも最終的な処理結果である目標軌道の出力を第１周期で行うことをいう。

認識部１３０は、カメラ１０、レーダ装置１２、およびＬＩＤＡＲ１４から物体認識装置１６を介して入力された情報に基づいて、自車両Ｍの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、自車両Ｍの代表点（重心や駆動軸中心など）を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。

また、認識部１３０は、例えば、自車両Ｍが走行している車線（走行車線）を認識する。例えば、認識部１３０は、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。なお、認識部１３０は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界を認識することで、走行車線を認識してもよい。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。また、認識部１３０は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。

認識部１３０は、走行車線を認識する際に、走行車線に対する自車両Ｍの位置や姿勢を認識する。認識部１３０は、例えば、自車両Ｍの基準点の車線中央からの乖離、および自車両Ｍの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する自車両Ｍの相対位置および姿勢として認識してもよい。これに代えて、認識部１３０は、走行車線のいずれかの側端部（道路区画線または道路境界）に対する自車両Ｍの基準点の位置などを、走行車線に対する自車両Ｍの相対位置として認識してもよい。

リスク分布予測部１３５は、自車両Ｍの周辺の空間を上空から見た二次元平面で表した想定平面Ｓにおいて、自車両Ｍが進入ないし接近すべきでない度合いを示す指標値であるリスクを設定する。換言すると。リスクは、物標（路肩やガードレール、白線外領域などの走行不可能領域も含むものとする）の存在確率を示すものである（厳密な意味での「確率」でなくてもよい）。リスクは、値が大きいほど自車両Ｍが進入ないし接近すべきでないことを示し、値がゼロに近いほど自車両Ｍが走行するのに好ましいことを示すものとする。但し、この関係は逆でもよい。移動体が車両ではなくドローンなどの飛翔体である場合、リスク分布予測部１３５は、想定平面Ｓではなく三次元空間において同様の処理を行ってよい。ラベルデータ生成部１６５に関しても同様である。

リスク分布予測部１３５は、想定平面Ｓにおけるリスクを、現在時刻ｔ、Δｔ後（時刻ｔ＋Δｔ）、２Δｔ後（時刻ｔ＋２Δｔ）、…というように現時点だけでなく一定の時間間隔で規定される将来の各時点についても設定する。リスク分布予測部１３５は、将来の各時点におけるリスクを、認識部１３０により継続的に認識されている移動物標の位置の変化に基づいて予測する。

図３は、リスク分布予測部１３５により設定されるリスクの概要を示す図である。リスク分布予測部１３５は、車両、歩行者、自転車などの交通参加者（移動物標）について、想定平面Ｓ上で、進行方向および速度に基づく楕円ないし円を等高線とするリスクを設定し、走行不可能領域について一定値のリスクを設定する。図中、ＤＭは自車両Ｍの進行方向である。Ｒ（Ｍ１）は停止車両Ｍ１のリスクであり、Ｒ（Ｐ）は歩行者Ｐのリスクである。歩行者Ｐは道路を横断する方向に移動しているので、将来の各時点について現在時刻とは異なる位置にリスクが設定される。移動している車両や自転車などについても同様である。Ｒ（ＢＤ）は走行不可能領域ＢＤのリスクである。図中、ハッチングの濃さがリスクの値を示しており、ハッチングが濃いほどリスクが大きいことを示している。リスク分布予測部１３５は、車線の中央から離れる程、値が大きくなるようにリスクを設定してもよい。

行動計画生成部１４０は、原則的に推奨車線決定部６１により決定された推奨車線を走行し、リスク分布予測部１３５により設定されたリスクの小さい部分を通過するように、自車両Ｍが自動的に（運転者の操作に依らずに）将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの自車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。行動計画生成部１４０は、複数の目標軌道の候補を生成し、それぞれ効率性や安全性の観点に基づくスコアを計算して、スコアが良好な目標軌道の候補を目標軌道として選択する。第２制御部１６０も同様の目標軌道を生成するため、第１制御部１２０が生成する目標軌道を目標軌道（１）、第２制御部１６０が生成する目標軌道を目標軌道（２）と区別する場合がある。目標軌道（１）は第１移動プランの一例であり、目標軌道（２）は第２移動プランの一例である。第１制御部１２０は、目標軌道（１）を第３制御部１９０に出力する。

第２制御部１６０は、例えば、ラベルデータ生成部１６５と、挙動決定部１７０とを備える。挙動決定部１７０は、既知シーン判定部１７５を備える。第２制御部１６０は、以下に説明する処理を、第２周期で実行する。第２周期は、例えば十［ｍｓｅｃ］～数十［ｍｓｅｃ］程度の周期である。「第２周期で実行する」とは、少なくとも最終的な処理結果である目標軌道の出力を第２周期で行うことをいう。

ラベルデータ生成部１６５は、カメラ１０、レーダ装置１２、ＬＩＤＡＲ１４、物体認識装置１６から入力されるデータ、および認識部１３０の認識結果に基づいて、以下の処理を行う。ラベルデータ生成部１６５は、リスク分布予測部１３５と同様の想定平面Ｓ（車両の周辺の空間を表すもの）を、有限数に分割したブロック（分割要素の一例）のそれぞれについて、少なくとも移動物標の有無に応じて異なる値を示すラベル情報を付与したラベルデータを生成する。

図４は、ラベルデータの一例を示す図である。ラベルデータ生成部１６５は、想定平面Ｓにおける少なくとも自車両Ｍの進行側の領域を、例えば数十［ｃｍ］平方のブロックＢＲに分割したものを想定する。ラベルデータ生成部１６５は、例えば、移動物標に対して「２」、走行不可能領域に対して「１」、走行可能領域に対して「０」というように互いに異なる値のラベル情報を付与する。図では停止車両について移動物標として扱いラベル情報「２」を付与しているが、駐車中（しばらく動かない）であることが認識された場合は移動物標でなく走行不可能領域として扱い、ラベル情報「１」を付与するようにしてもよい。ガードレールなどの静止物（走行不可能領域）と、歩行者などの移動物標とでは、接近を回避する必要性や現実的に異なるため、このように移動物標と走行不可能領域とでラベル情報を異ならせることで、挙動決定部１７０がシーンに応じた挙動決定を正確に行うことができる。

ラベルデータ生成部１６５は、例えば、ラベルデータを生成する処理を、第２周期で行う。ここで、移動物標および走行不可能領域を認識するためには、カメラ１０、レーダ装置１２、ＬＩＤＡＲ１４、物体認識装置１６から入力されるデータ、および認識部１３０の認識結果が用いられる。これらのうち、認識部１３０の認識結果が最も信頼度の高いものと考えられる。しかしながら、認識部１３０は第１周期で認識結果を出力する。このため、ラベルデータ生成部１６５は、認識部１３０の認識結果が取得されるタイミングとタイミングの間について、オドメトリ情報やカメラ１０の撮像画像などに基づいてデータを補完する。

図５は、ラベルデータ生成部１６５の補完処理について説明するための図である。認識部１３０の認識結果は第１周期Ｔ１で入力される。第２周期Ｔ２は、第１周期の１／１０程度の長さであるため、ラベルデータ生成部１６５は、例えば、自車両Ｍの進行方向に関してはオドメトリ情報で補完し、横方向に関してはカメラ１０の撮像画像で補完することで、認識部１３０の認識結果をアップコンバートしてラベルデータを第２周期で生成する。オドメトリ情報とは、車輪速センサなどの出力により得られる自車両Ｍの速度を積分することで得られる、自車両Ｍの単位時間あたりの走行距離の情報である。オドメトリ情報は、更に、ヨーレートセンサなどの出力により得られる旋回角の情報が加味された情報であってもよい。カメラ１０の撮像画像について、ラベルデータ生成部１６５は、認識部１３０の認識結果を撮像画像に当てはめることで得られる移動物標の画像における位置を起点として、移動物標を追跡する処理を行うことで、横方向の情報を取得する。

挙動決定部１７０は、ラベルデータを含む入力データを入力すると、少なくとも移動物標への接近を抑制するための自車両の走行制御のパターンである、目標軌道を出力するように学習されたモデル（以下、行動決定モデル）に対して、入力データを入力することで、目標軌道を取得し、第３制御部１９０に出力することで、自車両Ｍの走行制御（移動制御）を行う。

入力データは、例えば、直近に生成したラベルデータ（以下、直近ラベルデータ）と、過去に生成したラベルデータ（以下、過去ラベルデータ）と、将来の状態を表すと予想されるラベルデータ（将来ラベルデータ）とを結合し、ベクトルや行列等の形式にしたデータである。図６は、入力データの推移の一例を示す図である。図中、制御時刻とは、制御のサイクルを時刻の形式で表したものである。制御のサイクルは、第２周期で繰り返し到来する。制御時刻ｋ－３、ｋ－２、ｋ－１、ｋのそれぞれに対応する部分が１回分の入力データとなる。入力データは、例えば、数十サイクル分の過去ラベルデータと、直近ラベルデータと、数サイクル分の将来ラベルデータとを含む。例えば、入力データには、第１周期よりも時間的に長い期間に相当する過去ラベルデータが含まれ、第１周期よりも時間的に短い期間に相当する将来ラベルデータが含まれる。すなわち、過去ラベルデータの方が将来ラベルデータよりも多く入力データに含まれる。これは、将来の周辺環境には不確定要素が多いことに基づいている。将来ラベルデータに関して、ラベルデータ生成部１６５は、過去ラベルデータから直近ラベルデータへの「１」または「２」が付与されたブロックの位置変化がそのまま継続すると仮定して将来ラベルデータを生成してもよいし、前述した「補完処理」と同様に、オドメトリ情報やカメラ１０の撮像画像から得られる情報に基づいて将来ラベルデータを生成してもよい。

挙動決定部１７０が用いる行動決定モデルは、例えば、シミュレータを用いた強化学習によって学習されたＤＮＮ（Deep Neural Network）である。図７は、行動決定モデルが学習される仕組みを模式的に示す図である。図示する構成は、行動決定モデルを学習するための学習装置により実現される仮想的なソフトウェア構成である。

行動決定モデル３００には、上記説明した形式の入力データが入力される。行動決定モデル３００は、目標軌道を出力する。目標軌道は、車両モデル３１０に入力される、車両モデル３１０は、実際の車両挙動を計算する。車両モデル３１０は、目標軌道を自車両Ｍの走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０に与えた場合にどのような車両挙動を示すかを計算するモデルであり、これらの装置のハードウェア諸元、コントローラのスペック、自車両Ｍのサスペンションやホイールベースなどの情報、仮想的な路面状況等を再現できるようになっている。

車両モデル３１０によって計算された車両挙動は、シミュレータ３２０に入力される。シミュレータ３２０は、予め与えられたシナリオ（走行場面）に対して車両挙動を入力することで、例えば仮想的な三次元空間情報を生成する。このシナリオは、特に、制動や旋回による移動物標への接近回避が必要な場面を集めたものである。三次元空間情報は、仮想認識機能３３０に入力される。仮想認識機能３３０は、自車両Ｍの認識部１３０およびリスク分布予測部１３５の機能を再現したものである。認識部１３０およびリスク分布予測部１３５によって行動決定モデル３００に入力される入力データが生成される。こうして、行動決定モデル３００の動作がシミュレートされる。

報酬関数３４０には、行動決定モデル３００に与えられる入力データと、行動決定モデル３００が出力した目標軌道とが入力される。報酬関数３４０は、入力データの推移を参照しながら、目標軌道が望ましいものであるほど、肯定的な値の報酬を出力する。例えば、報酬関数３４０は、入力データに含まれるラベル情報が「１」または「２」のブロックへの接触がなければ肯定的な値の報酬を出力し、更に、ラベル情報が「１」または「２」のブロックへの接近度合い（距離、距離変化速度などをいう）が過度でなければより肯定的な値の報酬を出力し、目標軌道から得られる加減速度や旋回度合い（角速度）が大きいほど否定的な値の報酬を出力するように設定されている。このとき、ラベル情報が「２」のブロックへの接触の有無および接近度合いは、ラベル情報「１」のブロックへの接触の有無および接近度合いよりも大きい重みで評価されると好適である。強化学習部３５０は、報酬関数３４０によって出力される報酬がより肯定的な値になるように、行動決定モデル３００のパラメータを調整する。これによって、行動決定モデル３００が学習される。

既知シーン判定モデル３６０は、自車両Ｍにおける既知シーン判定部１７５の機能を学習するためのモデルである。既知シーン判定モデル３６０は、ＤＮＮ、低層ニューラルネットワーク（例えばラジアルベイシス関数ニューラルネットワーク、メンバーシップ関数、多次元応答曲面などにより実現される。既知シーン判定モデル３６０は、入力データが、既に行動決定モデル３００が学習した走行場面に類する走行場面（既知シーン）を表したものであるか否かを判定する。「類する」とは、完全に同一でなくても、ほぼ同じような走行場面であること（例えば、「Ｔ字路において自車両Ｍの進行方向に直交する方向から自転車が進入してきており、自車両Ｍの走行する道路の幅が３［ｍ］程度、自転車が進入してきた道路の幅が２［ｍ］程度である」というレベル（粒度）で一致していること）を意味する。既知シーン判定モデル３６０は、例えば、入力データが既知シーンを表したものであると判定した場合に１を、入力データが既知シーンを表したものでないと判定した場合に０を出力するように学習される。上記に代えて、既知シーン判定モデル３６０は、行動決定モデル３００の入力データおよび／または中間層の出力から特徴量を抽出し、特徴量が学習済条件を表す超平面に対していずれの側にあるかに基づいて、上記の判定をするようにしてもよい。

既知シーン判定部１７５は、既知シーン判定モデル３６０を用いて、挙動決定部１７０に入力される入力データが、既知シーンを表したものであるか否かを判定する。

図８は、挙動決定部１７０の処理内容を模式的に示す図である。挙動決定部１７０は、行動決定モデルの出力である目標軌道と、操舵なしで最大制動力（例えば０．３［Ｇ］程度）を出力する目標軌道、あるいは行動決定モデルの出力である目標軌道に比して操舵制御の度合いを制限した目標軌道と、のうちいずれか一方を出力する。挙動決定部１７０は、既知シーン判定部１７５によって入力データが既知シーンを表したものであると判定された場合は行動決定モデルの出力である目標軌道を出力し、既知シーン判定部１７５によって入力データが既知シーンを表したものでないと判定された場合は操舵なしで最大制動力を出力する目標軌道を出力するように、出力の内容を切り替える。これによって、全く学習したことの無い走行場面に自車両Ｍが遭遇した際に、行動決定モデルが予期せぬ目標軌道を出力してしまい、自車両Ｍに不適切な挙動が発生するのを抑制することができる。

図２に示されるように、第３制御部１９０は、第１制御部１２０によって生成された目標軌道（１）と、第２制御部１６０によって生成された目標軌道（２）とのうちいずれか一方、或いはこれらを統合した目標軌道に基づいて、目標軌道に規定された予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。また、第３制御部１９０は、運転操作子８０に対して基準よりも大きい操作量で操作がなされた場合に、第１制御部１２０および第２制御部１６０による自動運転を中止して手動運転に切り替える処理などを行う。

第３制御部１９０は、少なくとも所定の場面において、第２制御部１６０によって生成された目標軌道（２）を、第１制御部１２０によって生成された目標軌道（１）よりも優先して走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。第２制御部１６０は、例えば、比較的高速で接近する移動物標が存在し、回避行動が必要な場合に緊急行動フラグを出力するように行動決定モデルが学習されており、第３制御部１９０は、緊急行動フラグが入力されると目標軌道（２）のみに基づいて走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御し、緊急行動フラグが入力されていない場合は目標軌道（１）のみに基づいて走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。これに代えて、第２制御部１６０は、例えば、比較的高速で接近する移動物標が存在し、回避行動が必要な場合に目標軌道（２）を生成し、そうでない場合に目標軌道（２）を生成しない行動決定モデルが学習されており、第３制御部１９０は、目標軌道（２）が入力されると目標軌道（２）のみに基づいて走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御し、目標軌道（２）が入力されない場合は目標軌道（１）のみに基づいて走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御するようにしてもよい。

走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、第３制御部１９０から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、第３制御部１９０から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、第２制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、第３制御部１９０から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

［総括］
第１制御部１２０は、リスクの小さい部分を通過するように目標軌道を決定し、更に、複数の目標軌道の候補から目標軌道を選択する処理を行うため、演算負荷が高く、出願時点の現実的に搭載可能なプロセッサの性能では、緊急回避に必要な数十［ｍｓ］程度の制御周期で行動更新をするのが困難な場合がある。これに対し、第２制御部１６０は、高速に結果を出力することができる行動決定モデル（学習済のＤＮＮ）を用いて目標軌道を生成するため、緊急回避に必要な数十［ｍｓ］程度の制御周期で行動更新をすることができる。このため、上記説明した実施形態によれば、場面に応じた必要な制御を迅速に行うことができる。

反面、行動決定モデルによる制御は、過去に学習した走行場面から得られた経験、すなわち、移動物標に対して行った行動のうち最も肯定的な報酬が得られた行動に基づいて、フィードフォワード制御的に行動を決定するものである。このため、移動物標の行動パターンが未知のものであったり、走行場面自体が未知のものである場合には、予期せぬ車両挙動が発生する可能性があり得る。これに対し、実施形態の第２制御部１６０では、入力データが既知シーンを表したものでないと判定された場合は、操舵なしで最大制動力を出力することにより、操舵回避によって自車両Ｍが縁石や歩道に乗り上げてしまう、といった事態が生じるのを予防することができる。

また、実施形態において、入力データは過去ラベルデータと将来ラベルデータを含むように生成される。これによって、瞬間的な状態に基づいて制御を行うものに比して、より長期的な観点で行動を決定することができる。また、仮に直近、過去、将来のいずれかのラベルデータに異常値があったとしても他の部分で打ち消すことができ、ロバスト安定性を実現することができる。

［ハードウェア構成］
図９は、実施形態の自動運転制御装置１００のハードウェア構成の一例を示す図である。図示するように、自動運転制御装置１００は、通信コントローラ１００－１、ＣＰＵ１００－２、ワーキングメモリとして使用されるＲＡＭ（Random Access Memory）１００－３、ブートプログラムなどを格納するＲＯＭ（Read Only Memory）１００－４、フラッシュメモリやＨＤＤ（Hard Disk Drive）などの記憶装置１００－５、ドライブ装置１００－６などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ１００－１は、自動運転制御装置１００以外の構成要素との通信を行う。記憶装置１００－５には、ＣＰＵ１００－２が実行するプログラム１００－５ａが格納されている。このプログラムは、ＤＭＡ（Direct Memory Access）コントローラ（不図示）などによってＲＡＭ１００－３に展開されて、ＣＰＵ１００－２によって実行される。これによって、第１制御部１２０、第２制御部１６０、第３制御部１９０のうち一部または全部が実現される。

上記説明した実施形態では、移動体制御装置が移動体（車両）に搭載されることを前提として説明した。これに限らず、移動体制御装置は、移動体に搭載された通信装置と無線および／または有線で通信可能なサーバ装置であり、通信によって第１移動プランや第２移動プランを移動体の通信装置に送信するものであってよい。その場合、移動体には第３制御部１９０に相当する機能が搭載され、通信装置から取得した第１移動プランや第２移動プランに基づいて、走行駆動力出力装置２００、ブレーキ装置２１０、ステアリング装置２２０などの装置を具体的に制御する。或いは、第３制御部１９０に相当する機能もサーバ装置に実装され、サーバ装置が、走行駆動力出力装置２００、ブレーキ装置２１０、ステアリング装置２２０などの装置に与える制御指示を通信によって移動体の通信装置に送信してもよい。

上記説明した実施形態では、移動体制御装置が自動運転制御装置１００に適用され、第１制御部１２０が自動運転のための目標軌道を生成するものとした。これに代えて、移動体制御装置は、少なくとも一部に手動運転の要素を含む運転支援制御を行う運転支援制御装置に適用され、第１制御部は、ＡＣＣ（Adaptive Cruise Control）やＬＫＡＳ（Lane Keeping Assist System）に代表される運転支援を行うものであってもよい。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
移動体の周辺の空間を検出範囲とする検出デバイスの出力に基づいて前記移動体の周辺状況を認識し、前記認識した前記移動体の周辺状況に基づいて、第１周期で前記移動体の第１移動プランを生成する第１処理と、
前記第１周期よりも短い第２周期で前記移動体の第２移動プランを生成する第２処理と、を実行し、
前記第２処理は、前記移動体の周辺の空間を有限数に分割した分割要素のそれぞれについて、少なくとも移動物標の有無に応じて異なる値を示すラベル情報を付与したラベルデータを前記第２周期で生成し、前記ラベルデータに基づいて前記第２移動プランを生成する処理である、
ように構成されている、移動体制御装置。

上記説明した実施形態は、以下のようにも表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
移動体の周辺の空間を検出範囲とする検出デバイスの出力に基づいて前記移動体の移動制御を行うように構成され、
前記移動体の移動制御は、
入力データを入力すると、移動物標との接触を抑制するための移動プランを出力するように学習されたモデルに対して、前記検出デバイスの出力に基づく入力データを入力することで、前記移動プランを取得するものであり、
前記モデルに入力する入力データが、既知シーンを表したものであるか否かを判定し、既知シーンを表したものであると判定した場合、前記モデルの出力した移動プランに基づいて前記移動体の移動制御を行い、既知シーンを表したものでないと判定した場合、前記移動体の操舵制御を行わず、専ら制動力を出力する移動制御、或いは、前記操舵制御の度合いを、既知シーンを表したものであると判定した場合に比して制限した移動制御を行うものである、
移動体制御装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１０ カメラ
１２ レーダ装置
１４ ＬＩＤＡＲ
１６ 物体認識装置
１００ 自動運転制御装置
１２０ 第１制御部
１３０ 認識部
１３５ リスク分布予測部
１４０ 行動計画生成部
１６０ 第２制御部
１６５ ラベルデータ生成部
１７０ 挙動決定部
１７５ 既知シーン判定部
１９０ 第３制御部
Ｍ 自車両

Claims (15)

1. 移動体の周辺の空間を検出範囲とする検出デバイスの出力に基づいて前記移動体の周辺状況を認識し、前記認識した前記移動体の周辺状況に基づいて、第１周期で前記移動体の第１移動プランを生成する第１制御部と、
   前記第１周期よりも短い第２周期で前記移動体の第２移動プランを生成する第２制御部と、を備え、
   前記第２制御部は、前記移動体の周辺の空間を有限数に分割した分割要素のそれぞれについて、少なくとも移動物標の有無に応じて異なる値を示すラベル情報を付与したラベルデータを生成し、前記ラベルデータに基づいて前記第２移動プランを生成し、
   前記第１移動プランまたは前記第２移動プランが前記移動体の移動制御に用いられる、
   移動体制御装置。
2. 前記第２制御部は、前記ラベルデータにおいて、前記移動物標、走行不可能領域、および走行可能領域のそれぞれについて、互いに異なる値の前記ラベル情報を付与する、
   請求項１記載の移動体制御装置。
3. 前記第２制御部は、前記ラベルデータを前記第２周期で生成する、
   請求項１または２記載の移動体制御装置。
4. 少なくとも所定の場面において、前記第２移動プランが、前記第１移動プランよりも優先的に前記移動体の移動制御に用いられる、
   請求項１から３のうちいずれか１項記載の移動体制御装置。
5. 前記第２制御部は、ラベルデータを含む入力データを入力すると、前記移動物標との接触を回避するための移動プランを出力するように学習されたモデルに対して、前記生成したラベルデータを入力することで、前記第２移動プランを取得する、
   請求項１から４のうちいずれか１項記載の移動体制御装置。
6. 前記入力データは、直近に生成した直近ラベルデータと、過去に生成した過去ラベルデータと、将来の状態を表すと予想される将来ラベルデータとを含む、
   請求項５記載の移動体制御装置。
7. 前記入力データには、前記将来ラベルデータに比して、時間的に長い期間に相当する前記過去ラベルデータが含まれる、
   請求項６記載の移動体制御装置。
8. 前記入力データには、前記第１周期よりも時間的に長い期間に相当する前記過去ラベルデータが含まれる、
   請求項６または７記載の移動体制御装置。
9. 前記入力データには、前記第１周期よりも時間的に短い期間に相当する前記将来ラベルデータが含まれる、
   請求項６から８のうちいずれか１項記載の移動体制御装置。
10. 前記第２制御部は、前記入力データが、既知シーンを表したものであるか否かを判定し、既知シーンを表したものであると判定した場合、前記モデルの出力した第２移動プランに基づいて前記移動体の移動制御を行い、既知シーンを表したものでないと判定した場合、前記移動体の操舵制御を行わず、専ら制動力を出力する移動制御、或いは、前記操舵制御の度合いを、既知シーンを表したものであると判定した場合に比して制限した移動制御を行う、
    請求項５から９のうちいずれか１項記載の移動体制御装置。
11. 前記モデルは、前記モデルの出力を評価する報酬関数によって計算される報酬に基づく強化学習によって、パラメータが学習されたモデルである、
    請求項５から１０のうちいずれか１項記載の移動体制御装置。
12. コンピュータが、
    移動体の周辺の空間を検出範囲とする検出デバイスの出力に基づいて前記移動体の周辺状況を認識し、前記認識した前記移動体の周辺状況に基づいて、第１周期で前記移動体の第１移動プランを生成する第１処理と、
    前記第１周期よりも短い第２周期で前記移動体の第２移動プランを生成する第２処理と、を実行し、
    前記第２処理は、前記移動体の周辺の空間を有限数に分割した分割要素のそれぞれについて、少なくとも移動物標の有無に応じて異なる値を示すラベル情報を付与したラベルデータを前記第２周期で生成し、前記ラベルデータに基づいて前記第２移動プランを生成する処理であり、
    前記第１移動プランまたは前記第２移動プランが前記移動体の移動制御に用いられる、
    移動体制御方法。
13. コンピュータに、
    移動体の周辺の空間を検出範囲とする検出デバイスの出力に基づいて前記移動体の周辺状況を認識し、前記認識した前記移動体の周辺状況に基づいて、第１周期で前記移動体の第１移動プランを生成する第１処理と、
    前記第１周期よりも短い第２周期で前記移動体の第２移動プランを生成する第２処理と、を実行させるプログラムであって、
    前記第２処理は、前記移動体の周辺の空間を有限数に分割した分割要素のそれぞれについて、少なくとも移動物標の有無に応じて異なる値を示すラベル情報を付与したラベルデータを前記第２周期で生成し、前記ラベルデータに基づいて前記第２移動プランを生成する処理であり、
    前記第１移動プランまたは前記第２移動プランが前記移動体の移動制御に用いられる、
    プログラム。
14. 移動体の周辺の空間を検出範囲とする検出デバイスの出力に基づいて前記移動体の移動制御を行う制御部を備え、
    前記制御部は、
    入力データを入力すると、移動物標との接触を抑制するための移動プランを出力するように学習されたモデルに対して、前記検出デバイスの出力に基づく入力データを入力することで、前記移動プランを取得するものであり、
    前記モデルに入力する入力データが、既知シーンを表したものであるか否かを判定し、既知シーンを表したものであると判定した場合、前記モデルの出力した移動プランに基づいて前記移動体の移動制御を行い、既知シーンを表したものでないと判定した場合、前記移動体の操舵制御を行わず、専ら制動力を出力する移動制御、或いは、前記操舵制御の度合いを、既知シーンを表したものであると判定した場合に比して制限した移動制御を行う、
    移動体制御装置。
15. 前記モデルは、前記モデルの出力を評価する報酬関数によって計算される報酬に基づく強化学習によって、パラメータが学習されたモデルである、
    請求項１４記載の移動体制御装置。

Images