JP6867257B2 - 車両制御装置、車両、車両制御方法およびプログラム - Google Patents

Description

本発明は、車両制御装置、車両、車両制御方法およびプログラムに関するものであり、具体的には、自動運転車の制御のための車両制御技術に関する。

車両の自動運転は、車両の周囲の環境を認知し、その認知結果に基づいて車両の進む移動軌跡を決定し、その移動軌跡に従って車両を走行させる操舵制御によって実現される。ここで、移動軌跡の決定時には、路上又は車両周辺の移動物体および静止物体の位置を特定すると共に、移動物体の将来の位置を予測し、それらの特定及び予測の結果に応じて、車両が将来の各時点で存在すべき位置を決定する。例えば、各時点において、物体が存在しない領域に車両が存在するように、車両の移動軌跡が決定される。

特許文献１には、合流地点において車線変更を行う際の運転者の運転負荷を低減することができる車線変更を制御する技術が開示されている。

特開２０１２−１２３６０６号公報

しかしながら、特許文献１の構成では、例えば、制御対象となる車両と車両の周囲に存在する移動物体（オブジェクト）とが、相互に影響することについては考慮されていない。このため、時系列に予測したオブジェクトの移動軌跡に対応して、制御対象となる車両をどの位置に移動させればよいか、時系列に計算することができなくなる場合が生じ得る。

本発明は、少なくとも上記の課題を解決するものであり、時系列に予測したオブジェクトの移動軌跡に対応して、制御対象となる車両をどの位置に移動させればよいか、時系列に計算することが可能な車両制御技術を提供することを目的とする。

本発明の一態様に係る車両制御装置は、生成した移動軌跡に基づいて、車両の自動運転の制御を行う車両制御装置であって、
前記車両の周囲の状況を示すシーン画像から前記車両の周囲に存在するオブジェクトを抽出する抽出手段と、
前記シーン画像を取得した時点から所定時間における前記オブジェクトの移動軌跡を時系列で計算し、前記オブジェクトの移動軌跡の時間毎の位置に基づいて、前記車両の移動軌跡を時系列に生成し、前記車両の移動軌跡に基づいて、前記オブジェクトの移動軌跡を補正した移動軌跡を生成する制御手段と、
を備え、
前記制御手段は、前記シーン画像において、複数のオブジェクトが抽出された場合、各オブジェクトに対応する移動軌跡を計算し、各オブジェクトの移動軌跡に基づいて走行可能な領域を特定し、熟練運転者による走行パターンの分布から選択した前記領域内の走行位置に基づいて前記車両の移動軌跡を生成し、
前記補正した前記オブジェクトの移動軌跡に基づいて前記走行可能な領域を補正し、当該補正した前記領域内の前記走行位置に基づいて、前記車両の移動軌跡を補正することを特徴とする。

本発明によれば、時系列に予測したオブジェクトの移動軌跡に対応して、制御対象となる車両をどの位置に移動させればよいか、時系列に計算することが可能になる。

本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

車両制御装置の基本構成を示すブロック図。 車両を制御するための制御ブロック図の構成例を示す図。 自動運転制御における処理の概要を示す図。 自車両が走行するときの時間軸（縦軸）と、移動軌跡を求める際の計算に用いる時間軸（横軸）との関係を模式的に示す図。 第１の自動運転モードにおける処理の流れを説明する図。 ある時点において取得されたシーン画像を例示する図。 自車両の移動軌跡の決定を例示的に説明する図。 自車両が走行するときの時間軸（縦軸）と、移動軌跡を求める際の計算に用いる時間軸（横軸）との関係を模式的に示す図。 第２の自動運転モードにおける処理の流れを説明する図。 自車両が走行するときの時間軸（縦軸）と、移動軌跡を求める際の計算に用いる時間軸（横軸）との関係を模式的に示す図。 第３の自動運転モードにおける処理の流れを説明する図。 ある時点において取得されたシーン画像を例示する図。

以下、図面を参照しながら本発明の実施形態について説明する。この実施形態に記載されている構成要素はあくまで例示であり、以下の実施形態によって限定されるわけではない。

（車両制御装置の構成）
図１Ａは、車両の自動運転制御を行う車両制御装置１００の基本構成を示す図であり、車両制御装置１００は、センサＳ、カメラＣＡＭ、コンピュータＣＯＭを有する。センサＳは、例えば、レーダＳ１、ライダＳ２等を含む。また、コンピュータＣＯＭは、処理の実行を司るＣＰＵ（Ｃ１）、メモリＣ２、外部デバイスとのインタフェース（Ｉ／Ｆ）Ｃ３等を含む。センサＳおよびカメラＣＡＭは、車両の外界情報を取得し、コンピュータＣＯＭに入力する。ここで、コンピュータＣＯＭが搭載されている車両を以下の説明では自車両ともいい、自車両の周囲に存在する二輪または四輪の車両を他車両ともいう。

コンピュータＣＯＭは、センサＳおよびカメラＣＡＭから入力された情報に画像処理を行い、外界情報が取得された、ある時点における画像（シーン画像）に含まれるオブジェクトを抽出する。オブジェクトには、例えば、時間の経過に従い移動しない静的なオブジェクト（例えば、車線、信号機、縁石、標識やガードレールなどの道路構造物等の静止物体）と、時間の経過に従い移動する動的なオブジェクト（例えば、他車両や歩行者等の移動物体）とが含まれる。

コンピュータＣＯＭは、例えば、ある時点Ｔ０において、センサＳおよびカメラＣＡＭにより取得された画像（シーン画像）から、シーン画像に含まれるオブジェクトを抽出し、自車両の周囲にどのようなオブジェクトが配置されているかを解析する（シーン理解）。

コンピュータＣＯＭは、シーン画像内で抽出されたオブジェクトをそれぞれラベリングして特定し、それぞれのオブジェクトに対して、ある時点から将来に向けた所定時間ＴＳにおけるオブジェクトの動き（移動軌跡）を予測計算する（予測処理）。

コンピュータＣＯＭは、予測したオブジェクトの移動軌跡に基づいて、自車両を、どの位置に、どの時点までに移動させるかという自車両の移動軌跡を計算する（行動計画）。自車両の移動軌跡を生成する際に、コンピュータＣＯＭは、取得されたシーン画像において、例えば、熟練の運転者による走行と、その際に検知された自車両の周囲状況との組み合わせのデータを考慮して、自車両の移動軌跡を決定することが可能である。この具体的な処理内容については、後に詳細に説明する。

本実施形態において、コンピュータＣＯＭは、複数の自動運転モードを切り替えて自動運転制御を行うことが可能である。ここで、複数の自動運転モードには、シーン理解、予測および行動計画を一つの処理フロー（ワンフロー）で行うことにより、短時間に自車両の行動計画を計算する、計算時間優先の自動運転モード（第１の自動運転モード）と、予測および行動計画を所定の演算周期で繰り返すループ演算を行い高精度に自車両の行動計画を計算する、精度優先の自動運転モード（第２の自動運転モード）と、ある時点Ｔ１におけるシーン画像内で求める行動計画を、時点Ｔ１よりも前の時点である時点Ｔ０におけるシーン画像から求めた行動計画を用いて計算する、処理負荷を低減しつつ行動計画の精度を確保した自動運転モード（第３の自動運転モード）と、が含まれる。

自動運転モードの切り替えは、例えば、運転者の設定に応じて切り替え可能である。あるいは、走行する道路の種類（高速道、一般道など）、シーン画像から抽出されたオブジェクトの情報（例えば、歩行者が少なく他車両が多い、あるいは、歩行者および他車両の双方が多いなど）、昼間や夜間など走行する時間帯や、天候など、自車両を取り巻く外界の状況に応じて、コンピュータＣＯＭは、自動的に自動運転モードを切り替えて自動運転制御を行うことが可能である。

図１Ａに示す車両制御装置１００を車両に搭載する場合、コンピュータＣＯＭを、例えば、センサＳやカメラＣＡＭの情報を処理する認識処理系のＥＣＵや画像処理系のＥＣＵ内に配置してもよいし、車両の駆動制御を行う制御ユニット内のＥＣＵや、自動運転用のＥＣＵ内に配置してもよい。あるいは、以下に説明する図１Ｂのように、センサＳ用のＥＣＵ、カメラ用のＥＣＵ、および自動運転用のＥＣＵ等、車両制御装置１００を構成する複数のＥＣＵに機能を分散させてもよい。

図１Ｂは、車両１を制御するための車両制御装置１００の制御ブロック図の構成例を示す図である。図１Ｂにおいて、車両１はその概略が平面図と側面図とで示されている。車両１は一例としてセダンタイプの四輪の乗用車である。

図１Ｂの制御ユニット２は、車両１の各部を制御する。制御ユニット２は車内ネットワークにより通信可能に接続された複数のＥＣＵ２０〜２９を含む。各ＥＣＵ（Ｅｎｇｉｎｅ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ＥＣＵはプロセッサ、記憶デバイスおよびインタフェース等を複数備えていてもよい。

以下、各ＥＣＵ２０〜２９が担当する機能等について説明する。なお、ＥＣＵの数や、担当する機能については、車両１の適宜設計可能であり、本実施形態よりも細分化したり、あるいは、統合することが可能である。

ＥＣＵ２０は、車両１の自動運転に関わる制御を実行する。自動運転においては、車両１の操舵と、加減速の少なくともいずれか一方を自動制御する。自動運転に関わる具体的な制御に関する処理については後に詳細に説明する。

ＥＣＵ２１は、電動パワーステアリング装置３を制御する。電動パワーステアリング装置３は、ステアリングホイール３１に対する運転者の運転操作（操舵操作）に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置３は操舵操作をアシストしたり、あるいは、前輪を自動操舵するための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両１の運転状態が自動運転の場合、ＥＣＵ２１は、ＥＣＵ２０からの指示に対応して電動パワーステアリング装置３を自動制御し、車両１の進行方向を制御する。

ＥＣＵ２２および２３は、車両の周囲状況を検知する検知ユニット４１〜４３の制御および検知結果の情報処理を行う。検知ユニット４１は、例えば、車両１の前方を撮影するカメラであり（以下、カメラ４１と表記する場合がある。）、本実施形態の場合、車両１のルーフ前部に２つ設けられている。カメラ４１が撮影した画像の解析（画像処理）により、物標の輪郭抽出や、道路上の車線の区分線（白線等）を抽出可能である。

検知ユニット４２は、例えば、ライダ（レーザレーダ）であり（以下、ライダ４２と表記する場合がある）、車両１の周囲の物標を検知したり、物標との距離を測距する。本実施形態の場合、ライダ４２は車両の周囲に複数設けられている。図１Ｂに示す例では、ライダ４２は、例えば、５つ設けられており、車両１の前部の各隅部に１つずつ、後部中央に１つ、後部各側方に１つずつ設けられている。検知ユニット４３は、例えば、ミリ波レーダであり（以下、レーダ４３と表記する場合がある）、車両１の周囲の物標を検知したり、物標との距離を測距する。本実施形態の場合、レーダ４３は車両の周囲に複数設けられている。図１Ｂに示す例では、レーダ４３は、例えば、５つ設けられており、車両１の前部中央に１つ、前部各隅部に１つずつ、後部各隅部に一つずつ設けられている。

ＥＣＵ２２は、一方のカメラ４１と、各ライダ４２の制御および検知結果の情報処理を行う。ＥＣＵ２３は、他方のカメラ４１と、各レーダ４３の制御および検知結果の情報処理を行う。車両の周囲状況を検知する装置を二組備えたことで、検知結果の信頼性を向上でき、また、カメラ、ライダ、レーダといった種類の異なる検知ユニットを備えたことで、車両の周辺環境の解析を多面的に行うことができる。尚、ＥＣＵ２２およびＥＣＵ２３を一つのＥＣＵにまとめてもよい。

ＥＣＵ２４は、ジャイロセンサ５、ＧＰＳセンサ２４ｂ、通信装置２４ｃの制御および検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ５は車両１の回転運動を検知する。ジャイロセンサ５の検知結果や、車輪速等により車両１の進路を判定することができる。ＧＰＳセンサ２４ｂは、車両１の現在位置を検知する。通信装置２４ｃは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。ＥＣＵ２４は、記憶デバイスに構築された地図情報のデータベース２４ａにアクセス可能であり、ＥＣＵ２４は現在地から目的地へのルート探索等を行う。データベース２４ａはネットワーク上に配置可能であり、通信装置２４ｃがネットワーク上のデータベース２４ａにアクセスして、情報を取得することが可能である。

ＥＣＵ２５は、車車間通信用の通信装置２５ａを備える。通信装置２５ａは、周辺の他車両と無線通信を行い、車両間での情報交換を行う。

ＥＣＵ２６は、パワープラント６を制御する。パワープラント６は車両１の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。ＥＣＵ２６は、例えば、アクセルペダル７Ａに設けた操作検知センサ７ａにより検知した運転者の運転操作（アクセル操作あるいは加速操作）に対応してエンジンの出力を制御したり、車速センサ７ｃが検知した車速等の情報に基づいて変速機の変速段を切り替える。車両１の運転状態が自動運転の場合、ＥＣＵ２６は、ＥＣＵ２０からの指示に対応してパワープラント６を自動制御し、車両１の加減速を制御する。

ＥＣＵ２７は、方向指示器８を含む灯火器（ヘッドライト、テールライト等）を制御する。図１Ｂの例の場合、方向指示器８は車両１の前部、ドアミラーおよび後部に設けられている。

ＥＣＵ２８は、入出力装置９の制御を行う。入出力装置９は運転者に対する情報の出力と、運転者からの情報の入力の受け付けを行う。音声出力装置９１は運転者に対して音声により情報を報知する。表示装置９２は運転者に対して画像の表示により情報を報知する。表示装置９２は例えば運転席表面に配置され、インストルメントパネル等を構成する。なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。また、音声、表示、振動または光のうちの複数を組み合わせて情報を報知してもよい。更に、報知すべき情報のレベル（例えば緊急度）に応じて、組み合わせを異ならせたり、報知態様を異ならせてもよい。

入力装置９３は運転者が操作可能な位置に配置され、車両１に対する指示を行うスイッチ群であるが、音声入力装置も含まれてもよい。

ＥＣＵ２９は、ブレーキ装置１０やパーキングブレーキ（不図示）を制御する。ブレーキ装置１０は例えばディスクブレーキ装置であり、車両１の各車輪に設けられ、車輪の回転に抵抗を加えることで車両１を減速あるいは停止させる。ＥＣＵ２９は、例えば、ブレーキペダル７Ｂに設けた操作検知センサ７ｂにより検知した運転者の運転操作（ブレーキ操作）に対応してブレーキ装置１０の作動を制御する。車両１の運転状態が自動運転の場合、ＥＣＵ２９は、ＥＣＵ２０からの指示に対応してブレーキ装置１０を自動制御し、車両１の減速および停止を制御する。ブレーキ装置１０やパーキングブレーキは車両１の停止状態を維持するために作動することもできる。また、パワープラント６の変速機がパーキングロック機構を備える場合、これを車両１の停止状態を維持するために作動することもできる。

（自動運転制御における処理の概要）
自動運転制御は、図２に示すように、概略的に３つのステップを有する。すなわち、自動運転制御は、第１ステップとして、車両１（自車両）の周辺の外界情報を認識するシーン理解と、第２ステップとして、シーン理解により、シーン画像から抽出されたオブジェクト（物体）が、どのような移動軌跡で移動するかを予測する予測処理と、第３ステップとして、予測処理の結果に基づいて、車両１（自車両）がどのような移動軌跡をとるべきかを決める行動計画と、を有する。

以下の説明では、シーン理解、予測、および行動計画の処理をワンフローで行う計算時間優先の第１の自動運転モード（図２（ａ））、シーン理解、予測、および行動計画の処理のうち、予測および行動計画を所定の演算周期で繰り返すループ演算を行い高精度に車両１（自車両）の行動計画を計算する精度優先の第２の自動運転モード（図２（ｂ））、ある時点ｔ１におけるシーン画像内で求める行動計画を、時点Ｔ１よりも前の時点である時点Ｔ０におけるシーン画像で求めた行動計画を用いて計算する第３の自動運転モード（図２（ｃ））について、以下具体的に説明する。各自動運転モードでは、シーン理解の処理は基本的に同様の処理であるが、予測および行動計画の処理において、それぞれ異なる特徴を有する。

＜第１実施形態：第１の自動運転モード＞
本実施形態では、ＥＣＵ２０が車両１の自動運転に関わる制御を実行する。ＥＣＵ２０は、計算した自車両の移動軌跡に基づいて、制御対象となる車両１の自動運転制御を行う。図２（ａ）は、第１の自動運転モードに対応する処理フローの概要を示す図であり、第１の自動運転モードにおいて、ＥＣＵ２０は、シーン理解、予測、および行動計画の処理をワンフローで行う。第１の自動運転モードでは、後に説明する第２の自動運転モードのように、シーン理解、予測、および行動計画の処理のうち、予測および行動計画を繰り返すループ演算を行わないため、第２の自動運転モードに比べて計算量を低減することができ、より短時間で、シーン理解から行動計画までの処理を行うことができる。

図３は、車両１（自車両）が走行するときの実際の時間を示す時間軸（縦軸）と、動的なオブジェクト（例えば、図５の他車両２０５）および車両１（自車両）の移動軌跡を求める際の計算に用いる計算上の時間軸（横軸）との関係を模式的に示す図である。例えば、時点Ｔ０において、検知ユニット（カメラ４１、ライダ４２、レーダ４３）により取得された情報（外界情報）により、車両１（自車両）の周囲に存在する、静的なオブジェクトおよび動的なオブジェクトの情報が、例えば、図５のように、車両の周囲の状況を示す画像（一つのシーンを示すシーン画像）として得られる。

第１の自動運転モードでは、ＥＣＵ２０は、シーン画像を取得した時点（例えば、時点Ｔ０）から所定時間（ＴＳ：例えば数秒間）におけるオブジェクトの移動軌跡を時系列で計算し、オブジェクトの移動軌跡の時間毎の位置に基づいて、車両１（自車両）の移動軌跡を時系列に計算する。

ＥＣＵ２０は、シーン画像を取得した時点Ｔ０から所定時間ＴＳにおいて、例えば、歩行者や他車両等、時間の経過に従い移動する動的なオブジェクトが移動する移動軌跡を予測する。この移動軌跡の予測は、所定時間ＴＳを分割した時点ｔ１、ｔ２、ｔ３・・・ごとに、所定時間ＴＳまで、オブジェクトの位置を時系列に予測することによって行われる。そして、ＥＣＵ２０は、オブジェクトの所定時間分の移動軌跡に基づいて、時点ｔ１、ｔ２、ｔ３・・・ごとに、所定時間ＴＳまで、車両１（自車両）の移動軌跡を時系列に計算する。

シーン理解、予測、および行動計画における一連の処理（ワンフローの処理）により、オブジェクトの移動軌跡の計算結果（予測結果）と、オブジェクトの移動軌跡の予測結果に基づいた車両１（自車両）の移動軌跡の計算結果（行動計画）とが求められる。ここで、所定時間ＴＳは任意に設定可能な時間であり、より短い所定時間ＴＳを設定することも可能である。

図４は、第１の自動運転モードにおける処理の流れを説明するフローチャートである。ＥＣＵ２０は、例えば、運転者により目的地の設定と自動運転が指示されると、ＥＣＵ２４により探索された案内ルートにしたがって、目的地へ向けて車両１の走行を自動制御する。

自動運転制御の際、ＥＣＵ２０は、ＥＣＵ２２および２３から車両１の周囲状況に関する情報（外界情報）を取得する（Ｓ１０）。ステップＳ１０の処理により、時点Ｔ０の外界情報に基づいて、例えば、図５のような、車両の周囲の状況を示す画像（シーン画像）が取得される。

そして、ＥＣＵ２０は、外界情報が取得された時点（例えば、時点Ｔ０）におけるシーン画像に含まれるオブジェクト（歩行者２０４、他車両２０５、障害物２１７）を抽出する（Ｓ１１）。ＥＣＵ２０は、シーン画像から、時間の経過に従い移動しない静的なオブジェクト（静止物体）および時間の経過に従い移動する動的なオブジェクト（移動物体）を抽出し、抽出したオブジェクトが、シーン画像内で、どのように配置されているかを特定する。ＥＣＵ２０は、シーン画像における車両１（自車両）の位置を、座標系の原点として固定して、オブジェクトの位置を特定する。

ＥＣＵ２０は、抽出したオブジェクトのうち、動的なオブジェクト（移動物体）に対して、外界情報が取得された時点Ｔ０から将来に向けた所定時間ＴＳにおけるオブジェクトの動き（移動軌跡）を時系列で計算し予測する（Ｓ１２）。ＥＣＵ２０は、所定時間ＴＳを分割した時点ｔ１、ｔ２、ｔ３・・・ごとに、所定時間ＴＳまで、オブジェクトの位置を時系列に予測する。

次に、ＥＣＵ２０は、時系列で計算した、動的なオブジェクトの所定時間分の移動軌跡に基づいて、車両１（自車両）の所定時間分の移動軌跡を時系列で計算する（Ｓ１３）。ＥＣＵ２０は、時点Ｔ０で取得されたシーン画像における動的なオブジェクトの時系列の移動軌跡の計算結果に基づいて、例えば、熟練の運転者（熟練運転者）による走行データと、車両１（自車両）の周囲に存在するシーン画像内のオブジェクトの位置とを考慮して、車両１（自車両）の時系列の移動軌跡を計算する。ＥＣＵ２０は、所定時間ＴＳを分割した時点ｔ１、ｔ２、ｔ３・・・ごとに、所定時間ＴＳまで、車両１（自車両）の位置を時系列に計算する。

そして、ＥＣＵ２０は、時点ｔ１、ｔ２、ｔ３・・・の各時点におけるオブジェクトの移動軌跡の計算結果に基づいて、各時点において車両１（自車両）が移動すべき移動軌跡を決定する（Ｓ１４）。ステップＳ１３の演算結果に基づいて、ＥＣＵ２０は車両１（自車両）の移動軌跡を決定する。以上の処理よれば、オブジェクトの時系列の移動軌跡に対応する車両１（自車両）の移動軌跡を時系列で求めることができる。

次に、図５および図６を用いて、第１の自動運転モードにおける処理の具体的な内容を説明する。図５は、ある時点（例えば、時点ｔ０）において、検知ユニット（カメラ４１、ライダ４２、レーダ４３）により取得された外界情報に基づくシーン画像を例示する図である。シーン画像内には車両１（自車両）の周囲に存在するオブジェクトとして、歩行者２０４と、他車両２０５が例示されている。

（シーン理解の具体例）
図４に示す処理が開始されると、ＥＣＵ２２および２３は、検知ユニット（カメラ４１、ライダ４２、レーダ４３）により取得された情報に基づいて、車両１（自車両）の周囲状況に関する情報の処理を行う。ＥＣＵ２０は、ＥＣＵ２２および２３から車両１（自車両）の周囲状況に関する情報（外界情報）を取得する。ＥＣＵ２０は、取得した外界情報に基づいて、例えば図５に示すように、車両１とその周囲の状況を上から見たような画像であって、車両１の周囲の物体がマッピングされたような、車両の周囲の状況を示す画像（一つのシーンを示すシーン画像）を取得する。以上の処理は、図４のステップＳ１０に対応する。ＥＣＵ２０は、シーン画像における車両１（自車両）の位置を、座標系の原点として固定して、以下の演算処理を実行する。

ＥＣＵ２０は、ある時点ｔ０におけるシーン画像に含まれる、静的なオブジェクトおよび動的なオブジェクトを抽出する。図５において、車両１（自車両）は、区分線２０１及び２０２（例えば、車道外側線、路側帯に対応する線）によって示される、車両が走行可能な範囲のうち、中央線２０３で区切られた左側の車線を（図５の紙面下側から上側へ向かって）走行している。静的なオブジェクトとして、例えば、不図示のガードレール、縁石等が抽出される。

車両１（自車両）の進行方向には、動的なオブジェクトとして、区分線２０２よりも左に位置する歩道側に歩行者２０４の存在と、対向車線側に他車両２０５の存在とが抽出されている。また、対向車線側の区分線２０１上には、静的なオブジェクトとして、障害物２１７の存在が抽出されている。

尚、図５では、ある時点Ｔ０におけるシーン画像内に、動的なオブジェクトとして、他車両２０５と歩行者２０４の例を示しているが、この例に限定されず、例えば、自転車や二輪車等の他の交通参加者が、路上又は車両１（自車両）の周囲に存在しうる。また、複数の他車両や、複数の歩行者が存在することも想定されうる。以上の処理は、図４のステップＳ１１に対応する。

（予測処理の具体例）
ＥＣＵ２０は、ＥＣＵ２２および２３から車両１の周囲状況に関する情報（外界情報）を取得すると、外界情報に基づいて、オブジェクト（歩行者２０４、他車両２０５等の移動物体）のそれぞれについて移動軌跡を予測する。図５には、各オブジェクトの動きを予測した移動軌跡が例示されている（２１１〜２１３、５０５〜５０７）。

図５において、歩行者２０４が将来存在すると予測される範囲を、歩行者２０４を囲む一点鎖線２１１、点線２１２、及び二点鎖線２１３によって表している。例えば、一点鎖線２１１は、時点ｔ１における歩行者２０４の予測範囲であり、点線２１２の範囲は、時点ｔ１よりも後の時間ｔ２において歩行者２０４が存在すると予測される範囲である。同様に、二点鎖線２１３の範囲は、時間ｔ２よりも後の時間ｔ３において歩行者２０４が存在すると予測される範囲である。

ここで、歩行者の移動予測については、歩行者２０４の目、鼻、腕、足等の各パーツの組み合せにより顔の向きや、体の向きが、判断される。歩行者２０４の顔の向きに応じて、その顔の方向に歩行者２０４が進むことが予測されるため、歩行者２０４が移動すると予測される方向は、顔の向いている方向（例えば、矢印２１４の方向）となりうる。ＥＣＵ２０は、歩行者２０４の顔の向きや、体の向き等を考慮して、所定時間ＴＳを分割した時点ｔ１、ｔ２、ｔ３・・・の時点ごとに、所定時間ＴＳまで、歩行者２０４の移動軌跡の予測を行う。

図５において、他車両２０５は障害物２１７を回避するため、中央線２０３側にオフセットした状態で走行している。ＥＣＵ２０は、他車両２０５が走行する車線の状況や障害物の有無などを考慮して、所定時間ＴＳを分割した時点ｔ１、ｔ２、ｔ３・・・の時点ごとに、所定時間ＴＳまで、他車両２０５の移動軌跡の予測を行う。以上の処理は、図４のステップＳ１２の処理に対応するものであり、二点鎖線で示す移動軌跡５０５は、本ステップに処理により求めた他車両２０５の移動軌跡を示すものである。

（行動計画の具体例）
図４のステップＳ１３に対応する処理として、ＥＣＵ２０は、オブジェクトの移動軌跡５０５に基づいて、時点ｔ１、ｔ２、ｔ３・・・の各時点における車両１（自車両）の各位置を車両１（自車両）の移動軌跡として計算する。そして、ＥＣＵ２０は、ステップＳ１３で計算した移動軌跡を車両１（自車両）の移動軌跡を決定する（Ｓ１４）。図５において、二点鎖線で示す移動軌跡５０１は、図４のＳ１３およびＳ１４の処理により計算された車両１（自車両）の移動軌跡を例示するものである。ＥＣＵ２０は、決定された移動軌跡５０１に従って、ＥＣＵ２１、ＥＣＵ２６および２９に指示して、車両１の操舵、駆動、制動を制御する。

図６は、車両１（自車両）の移動軌跡の計算、決定を例示的に説明する図である。図６（ａ）において、曲線６０１、６０２は、シーン画像内における所定の位置（図５のＰ〜Ｐ’の位置）において、オブジェクト（歩行者２０４、他車両２０５）が存在すると予測される予測値の分布を示している。曲線６０１は、図５で示した歩行者２０４に関する予測値の分布を示し、曲線６０２は、図５で示した他車両２０５に関する予測値の分布を示している。

矩形６０４は、静的なオブジェクト（静止物体）である障害物２１７や不図示の縁石等の、静止物体に関する予測値の分布を示している。静的なオブジェクト（静止物体）については、物体が動かずにその位置にとどまるため、予測値の分布は、その位置において高く、その他の位置においてはゼロ又は十分に小さい値を有するような、矩形状の分布となる。

曲線６０１と曲線６０２との間の領域は、車両１（自車両）が走行している車線内において、オブジェクト（物体）が存在しない領域であり、車両１（自車両）が走行可能な領域である。曲線６０３は、走行可能な領域における熟練の運転者（熟練運転者）による走行パターンの分布を示しており、曲線６０３のピークＭ１は、走行可能な領域内において、熟練運転者が最も高い確率で選択する走行位置を示している。

ＥＣＵ２０は、図３に示す各時点（例えば、ｔ１、ｔ２、ｔ３・・・ＴＳ）においてオブジェクト（物体）が存在しない領域（走行可能な領域）を特定し、熟練運転者による走行パターンの分布に基づいて、車両１を曲線６０３のピークＭ１の位置に進めるように移動軌跡を計算する。このように計算された移動軌跡が、図４のＳ１３、Ｓ１４で求めた車両１（自車両）の移動軌跡５０１となる。

ここで「熟練運転者」は、例えば、プロのドライバーや無事故・無違反の優良運転者等である。また、多数の運転者による車両の走行データを収集し、その中から、急激な車線変更、急発進、急制動、急ハンドルが行われない、または、走行速度が安定している等の所定の基準を満たした走行データを、収集した走行データの中から抽出して、熟練運転者の走行データとして、ＥＣＵ２０における自動運転制御に反映してもよい。

第１の自動運転モードでは、オブジェクトの時系列の移動軌跡に対応して、車両１（自車両）の移動軌跡を時系列に計算する。これによれば、車両１が、シーン画像に含まれるオブジェクト（歩行者２０４や他車両２０５）に干渉しないように、車両１（自車両）の移動軌跡を時系列に決定することが可能となる。

＜第２実施形態：第２の自動運転モード＞
本実施形態においても、ＥＣＵ２０が車両１の自動運転に関わる制御を実行する。ＥＣＵ２０は、計算した移動軌跡に基づいて、制御対象となる車両１の自動運転の制御を行う。図２（ｂ）は、第２の自動運転モードに対応する処理フローの概要を示す図であり、第２の自動運転モードにおいて、ＥＣＵ２０は、シーン理解、予測、および行動計画の処理のうち、予測および行動計画を所定の演算周期で繰り返すループ演算を行い、より高精度に車両１（自車両）の行動計画を計算する。

図７は、車両１（自車両）が走行するときの実際の時間を示す時間軸（縦軸）と、動的なオブジェクト（例えば、図５の他車両２０５）および車両１（自車両）の移動軌跡を求める際の計算に用いる計算上の時間軸（横軸）との関係を模式的に示す図である。例えば、時点Ｔ０において、検知ユニット（カメラ４１、ライダ４２、レーダ４３）により取得された情報（外界情報）により、車両１（自車両）の周囲に存在する、静的なオブジェクトおよび動的なオブジェクトの情報が、例えば、第１実施形態で説明した図５のように、車両の周囲の状況を示す画像（一つのシーンを示すシーン画像）として得られる。

第２の自動運転モードでは、ＥＣＵ２０は、シーン画像を取得した時点（例えば、時点Ｔ０）から所定時間ＴＳにおけるオブジェクトの移動軌跡を時系列に予測する。この移動軌跡の予測は、所定時間ＴＳを分割した時点ｔ１、ｔ２、ｔ３・・・ごとに、所定時間ＴＳまで、オブジェクトの位置を予測することによって行われる。

そして、ＥＣＵ２０は、オブジェクトの所定時間分の移動軌跡に基づいて、時点ｔ１、ｔ２、ｔ３・・・ごとに、所定時間ＴＳまで、車両１（自車両）の移動軌跡を時系列に計算する。シーン理解、予測、および行動計画における一連の処理により、オブジェクトの移動軌跡の計算結果と、オブジェクトの移動軌跡の予測結果に基づいた車両１（自車両）の移動軌跡の計算結果とが求められる。ここで、所定時間ＴＳは任意に設定可能な時間であり、より短い所定時間ＴＳを設定することも可能である。

次に、ループ演算により、ＥＣＵ２０は、計算した移動軌跡に従って車両１（自車両）が移動した場合、オブジェクトがどのような動きをするかを予測する。オブジェクトの移動軌跡の予測は、同様に所定時間ＴＳを分割した時点ｔ１、ｔ２、ｔ３・・・ごとに、所定時間ＴＳまで、オブジェクトの位置を予測することによって行われる。

ＥＣＵ２０は、予測したオブジェクトの移動軌跡と、前回の予測処理で求めたオブジェクトの移動軌跡とを比較して、比較の結果により、オブジェクトの移動軌跡に変化が生じている場合、ＥＣＵ２０は、変化したオブジェクトの移動軌跡に基づいて、車両１（自車両）の移動軌跡を、時点ｔ１、ｔ２、ｔ３・・・ごとに、所定時間ＴＳまで再度計算（補正）する。

ループ演算により同様の処理を所定回数行い、オブジェクトの移動軌跡に変化が生じていない場合、すなわち、オブジェクトの移動軌跡の変化が収束した場合、収束したオブジェクトの移動軌跡に基づいて、ＥＣＵ２０は、車両１（自車両）の移動軌跡を決定する。

また、所定回数のループ演算を行っても収束しない場合、ＥＣＵ２０は、直近に補正したオブジェクトの移動軌跡に基づいて、車両１（自車両）の移動軌跡を、時点ｔ１、ｔ２、ｔ３・・・ごとに、所定時間ＴＳまで再度計算（補正）して、ＥＣＵ２０は、車両１（自車両）の移動軌跡を決定する。尚、以上の処理は、時点Ｔ０のシーン画像におけるシーン理解、予測と行動計画に関する演算の説明であるが、時点Ｔ０よりも後の時点Ｔ１や、時点Ｔ１よりも後の時点Ｔ２においても同様である。

図８は、第２の自動運転モードにおける処理の流れを説明するフローチャートである。ＥＣＵ２０は、例えば、運転者により目的地の設定と自動運転が指示されると、ＥＣＵ２４により探索された案内ルートにしたがって、目的地へ向けて車両１の走行を自動制御する。

自動運転制御の際、ＥＣＵ２０は、ＥＣＵ２２および２３から車両１の周囲状況に関する情報（外界情報）を取得する（Ｓ２０）。ステップＳ２０の処理により、時点Ｔ０の外界情報に基づいて、第１実施形態で説明した図５のような、車両の周囲の状況を示す画像（シーン画像）が取得される。

そして、ＥＣＵ２０は、外界情報が取得された時点（例えば、時点Ｔ０）におけるシーン画像に含まれるオブジェクト（歩行者２０４、他車両２０５、障害物２１７）を抽出する（Ｓ２１）。ＥＣＵ２０は、シーン画像から、静的なオブジェクト（静止物体）および動的なオブジェクト（移動物体）を抽出し、抽出したオブジェクトが、シーン画像内で、どのように配置されているかを特定する。ＥＣＵ２０は、シーン画像における車両１（自車両）の位置を、座標系の原点として固定して、オブジェクトの位置を特定する。

そして、ＥＣＵ２０は、抽出したオブジェクトのうち、動的なオブジェクト（移動物体）に対して、外界情報が取得された時点ｔ０から将来に向けた所定時間ＴＳにおけるオブジェクトの動き（移動軌跡）を予測する（Ｓ２２）。ＥＣＵ２０は、所定時間ＴＳを分割した時点ｔ１、ｔ２、ｔ３・・・ごとに、所定時間ＴＳまで、オブジェクトの位置を時系列に予測する。

次に、ＥＣＵ２０は、時系列で計算した、オブジェクトの所定時間分の移動軌跡に基づいて、車両１（自車両）の所定時間分の移動軌跡を計算する（Ｓ２３）。ＥＣＵ２０は、時点Ｔ０で取得されたシーン画像におけるオブジェクトの移動軌跡の予測結果に基づいて、例えば、熟練の運転者（熟練運転者）による走行データと、車両１（自車両）の周囲に存在するシーン画像内のオブジェクトの位置とを考慮して、車両１（自車両）の時系列の移動軌跡を計算する。ＥＣＵ２０は、時点ｔ１、ｔ２、ｔ３・・・ごとに、所定時間ＴＳまで、車両１（自車両）の位置を時系列に計算する。

ステップＳ２４では、車両１（自車両）が、ステップＳ２３で計算した移動軌跡に従って移動した場合、ＥＣＵ２０は、オブジェクトがどのような動きをするか予測する。そして、ＥＣＵ２０は、本ステップで予測したオブジェクトの移動軌跡と、ステップＳ２２で予測したオブジェクトの移動軌跡（前回の予測処理で求めたオブジェクトの移動軌跡）と、を比較する。車両１（自車両）の動きは、オブジェクトの動きに影響を与える場合があり、ＥＣＵ２０は、車両１（自車両）の所定時間分の動き（自車両の移動軌跡）の影響を受けてオブジェクトの動き（オブジェクトの移動軌跡）が変化するか否かを判定する（Ｓ２４）。ＥＣＵ２０は、所定の演算周期における繰り返し演算により、補正したオブジェクトの移動軌跡の変化が収束したか否かを閾値との比較に基づいて判定する。ここで、所定の閾値は、任意に設定可能な値である。

ステップＳ２４の判定で、オブジェクトの移動軌跡の差分が所定の閾値を超える場合、ＥＣＵ２０は、オブジェクトの移動軌跡に変化が生じていると判定し（Ｓ２４−Ｙｅｓ）、処理をステップＳ２３に戻す。

ステップＳ２３では、ＥＣＵ２０は、変化したオブジェクトの移動軌跡に基づいて、車両１（自車両）の移動軌跡を再度計算（補正）する。すなわち、オブジェクトの移動軌跡に変化が生じている場合、ＥＣＵ２０は、変化したオブジェクトの移動軌跡に基づいて、車両１（自車両）の移動軌跡を、時点ｔ１、ｔ２、ｔ３・・・ごとに、所定時間ＴＳまで再度計算（補正）し、処理をステップＳ２４に進める。

ステップＳ２４では、車両１（自車両）が、ステップＳ２３で補正した移動軌跡に従って移動した場合、ＥＣＵ２０は、オブジェクトがどのような動きをするか再度予測する。そして、ＥＣＵ２０は、再度予測したオブジェクトの移動軌跡と、前回の予測処理で求めたオブジェクトの移動軌跡と、を比較して、比較の結果により、オブジェクトの移動軌跡の差分が所定の閾値を超える場合、ＥＣＵ２０は、オブジェクトの移動軌跡に変化が生じていると判定し（Ｓ２４−Ｙｅｓ）、処理をステップＳ２３に戻す。ステップＳ２３において、車両１（自車両）の移動軌跡を、時点ｔ１、ｔ２、ｔ３・・・ごとに、所定時間ＴＳまで時系列に再度計算（補正）する。ＥＣＵ２０は、同様のループ演算を予め設定された回数繰り返す。

一方、ステップＳ２４における比較の結果によりオブジェクトの移動軌跡に差分が生じない場合（同一の移動軌跡の場合）、あるいは、オブジェクトの移動軌跡の差分が所定の閾値以下の場合、ＥＣＵ２０は、オブジェクトの移動軌跡に変化が生じていないと判定し（Ｓ２４−Ｎｏ）、処理をステップＳ２５に進める。

ステップＳ２５において、ＥＣＵ２０は、所定時間において、車両１（自車両）が移動する移動軌跡を決定する。ＥＣＵ２０は、先のステップＳ２４の判定に基づいて、補正したオブジェクトの移動軌跡の変化が収束した場合（Ｓ２４−Ｎｏ）、収束したオブジェクトの移動軌跡に基づいて、車両１（自車両）の移動軌跡を決定する（Ｓ２５）。

尚、ＥＣＵ２０は、ステップＳ２３およびＳ２４の間のループ演算の回数をカウントアップし、予め設定された所定回数のループ演算を行っても収束しない場合（Ｓ２４−Ｙｅｓ）、すなわち、所定の閾値を超えてオブジェクトの移動軌跡に変化が生じる場合、ＥＣＵ２０は、ステップＳ２３に処理を戻さず、処理をステップＳ２５に進める。

ＥＣＵ２０は、ステップＳ２４の比較の結果に基づいて、所定回数のループ演算を行っても補正したオブジェクトの移動軌跡の変化が収束しない場合（Ｓ２４−Ｙｅｓ）、直近に補正したオブジェクトの移動軌跡に基づいて、車両１（自車両）の移動軌跡を決定する（Ｓ２５）。

次に、図５および図６を用いて、第２の自動運転モードにおける処理の具体的な内容を説明する。第２の自動運転モードにおいても、第１実施形態で説明した図５のような、車両の周囲の状況を示す画像（シーン画像）が取得される。例えば、時点Ｔ０において、検知ユニット（カメラ４１、ライダ４２、レーダ４３）により取得された、走行中の車両１（自車両）の周囲に存在するオブジェクトのシーン画像が取得される。そして、ＥＣＵ２０は、シーン理解により、シーン画像に含まれるオブジェクト（歩行者２０４、他車両２０５、障害物２１７）を抽出して、シーン画像における車両１（自車両）の位置を、座標系の原点として固定して、オブジェクトの位置を特定する。シーン理解、予測、および行動計画の一連の処理を第１実施形態で説明した処理と同様にワンフローで行うことにより、図５に示すような、他車両２０５の移動軌跡５０５と、車両１（自車両）の移動軌跡５０１とが求められる。

次に、第２の自動運転モードでは、ループ演算により、ＥＣＵ２０は、計算した移動軌跡５０１に従って車両１（自車両）が移動した場合、オブジェクトがどのような動きをするかを予測する。オブジェクトの移動軌跡の予測は、所定時間ＴＳを分割した時点ｔ１、ｔ２、ｔ３・・・ごとに、所定時間ＴＳまで、オブジェクトの位置を予測することによって行われる。

車両１（自車両）が、歩行者２０４を避けて、中央線２０３寄りの移動軌跡５０１を選択した場合、他車両２０５は、車両１（自車両）との干渉を避けるため、移動軌跡を区分線２０１側（間隔に余裕のある障害物２１７側）にシフト（補正）する。

例えば、車両１（自車両）が移動軌跡５０１により移動したときに、他車両２０５の移動軌跡５０５が、ループ演算により一点鎖線で示す移動軌跡５０６に変化した場合、ＥＣＵ２０は、変化した他車両２０５の移動軌跡５０６に基づいて、車両１（自車両）の移動軌跡を、時点ｔ１、ｔ２、ｔ３・・・ごとに、所定時間ＴＳまで再度計算（補正）する。例えば、ＥＣＵ２０は、再度の計算処理により、移動軌跡５０１を、一点鎖線で示す移動軌跡５０２に補正する。

同様にループ演算により、車両１（自車両）が移動軌跡５０２により移動したときに、他車両２０５の移動軌跡５０６が、実線で示す移動軌跡５０７に変化した場合、ＥＣＵ２０は、変化した他車両２０５の移動軌跡５０７に基づいて、車両１（自車両）の移動軌跡を、時点ｔ１、ｔ２、ｔ３・・・ごとに、所定時間ＴＳまで再度計算（補正）する。例えば、ＥＣＵ２０は、再度の計算処理により、移動軌跡５０２を、実線で示す移動軌跡５０３に補正する。この処理は、図８のＳ２４−Ｙｅｓ、Ｓ２３の処理に対応する処理である。

また、ループ演算によりオブジェクト（他車両２０５）の移動軌跡５０７に変化が生じていない場合、ＥＣＵ２０は、他車両２０５の移動軌跡の変化が収束したと判定し、収束した他車両２０５の移動軌跡５０７に基づいて、ＥＣＵ２０は、車両１（自車両）の移動軌跡として、図５の移動軌跡５０３を決定する。これらの処理は、図８のＳ２４−Ｎｏ、Ｓ２５の処理に対応する処理である。

また、ループ演算により同様の処理を所定回数行い、所定回数のループ演算を行っても収束しない場合、ＥＣＵ２０は、直近に補正したオブジェクトの移動軌跡に基づいて、車両１（自車両）の移動軌跡を決定する。これらの処理は、所定回数のループ演算を行っても収束しない場合の処理（図７のＳ２４−Ｙｅｓ、Ｓ２５）に対応する。

図６は、自車両の移動軌跡の決定を例示的に示す図である。図６（ｂ）において、曲線６０１、６０２は、図６（ａ）と同様に、シーン画像内における所定の位置（図５のＰ〜Ｐ’の位置）において、オブジェクトが存在すると予測される予測値の分布を示している。曲線６０１は、図５で示した歩行者２０４に関する予測値の分布を示し、曲線６０２は、図５で示した他車両２０５に関する予測値の分布を示している。

図６（ｂ）では、車両１（自車両）の移動軌跡５０１〜５０３（図５）の影響を受けて他車両２０５の動きが変化した場合の予測値の分布の変化を破線曲線６０２Ｂで示している。破線曲線６０２Ｂの分布は、曲線６０２の分布に比べて、矩形６０４側（紙面の右側）にシフトしている。破線曲線６０２Ｂのシフトは、図５における他車両２０５の移動軌跡５０５から移動軌跡５０７への変化に対応するものである。

曲線６０１と破線曲線６０２Ｂとの間の領域は、車両１（自車両）が走行している車線内において、オブジェクト（物体）が存在しない領域であり、車両１（自車両）が走行可能な領域である。図６（ｂ）における走行可能な領域は、破線曲線６０２Ｂのシフトにより、図６（ａ）における走行可能な領域よりも広くなっている。また、曲線６０３Ｂは、走行可能な領域における熟練の運転者（熟練運転者）による走行パターンの分布を示しており、曲線６０３ＢのピークＭ２は、走行可能な領域内において、熟練運転者が最も高い確率で選択する走行位置を示している。

ＥＣＵ２０は、図７に示す各時点（例えば、ｔ１、ｔ２、ｔ３・・・ＴＳ）においてオブジェクト（物体）が存在しない領域（走行可能な領域）を特定し、熟練運転者による走行パターンの分布に基づいて、車両１を曲線６０３ＢのピークＭ２の位置に進めるように移動軌跡を計算する。このように計算された移動軌跡が、図４のＳ１３、Ｓ１４で求めた車両１（自車両）の移動軌跡５０３となる。

第２の自動運転モードによれば、オブジェクトの動きを予測して車両１（自車両）の移動軌跡を計算する。車両１（自車両）の移動軌跡に応じた、オブジェクトの動きを予測してオブジェクトの移動軌跡を補正する。補正したオブジェクトの移動軌跡に基づいて、車両１（自車両）の移動軌跡を補正する。ループ演算により、オブジェクトの移動軌跡の変化に基づいて、車両１（自車両）の移動軌跡を補正することにより、行動計画において、より高精度に車両１（自車両）の移動軌跡を計算することができる。

これによれば、熟練運転者による走行データの蓄積を考慮しつつ、オブジェクトの移動軌跡の変化を考慮して自車両の移動軌跡を決定することができるため、より高精度に所定時間における自車両の移動軌跡を決定することができる。また、熟練運転者が実際にとった行動に基づいて移動軌跡が決定されるため、自車両が、周囲の環境に照らして、熟練運転者であれば選択したであろう行動又はそれに近い行動をとるようになる。この結果、市街地など、移動するオブジェクトが多い環境においても、歩行者や他車両等の交通参加者の動きに応じて、車両１（自車両）の移動軌跡を決定することが可能になる。

＜第３実施形態：第３の自動運転モード＞
本実施形態においても、ＥＣＵ２０が車両１の自動運転に関わる制御を実行する。ＥＣＵ２０は、計算した移動軌跡に基づいて、制御対象となる車両１の自動運転の制御を行う。第３の自動運転モードでは、ある時点Ｔ１におけるシーン画像内で求めたオブジェクトの移動軌跡を、時点Ｔ１よりも前の時点である時点Ｔ０におけるシーン画像内で求めた行動計画（車両１（自車両）の移動軌跡）に基づいて補正し、補正したオブジェクトの移動軌跡に基づいて、車両１（自車両）の移動軌跡を計算する。時点Ｔ０のシーン画像に基づいて計算された行動計画は時点Ｔ１のシーン画像に基づいて計算された行動計画により補正される。すなわち、時点Ｔ０で計算された車両１（自車両）の移動軌跡は時点Ｔ１で計算された車両１（自車両）の移動軌跡により持ち替えられる。

図２（ｃ）は、第３の自動運転モードに対応する処理フローの概要を示す図である。時点Ｔ０での処理は、図２（ａ）と同様の処理であり、ＥＣＵ２０は、シーン理解、予測、および行動計画の処理をワンフローで行う。時点Ｔ０で計算された行動計画（車両１（自車両）の移動軌跡）の計算結果が、時点Ｔ１の処理に反映される。

時点Ｔ１での処理は、シーン理解、予測、および行動計画の処理をワンフローで行うものであるが、予測処理において、時点Ｔ１よりも前の時点である時点Ｔ０における行動計画の計算結果が入力される。

ＥＣＵ２０は、時点Ｔ１で取得されたシーン画像に基づいて計算されるオブジェクトの移動軌跡を、時点Ｔ０で計算された行動計画を用いて補正し、補正したオブジェクトの移動軌跡に対応する車両１（自車両）の移動軌跡を時系列で計算する。時点Ｔ１で計算された行動計画（車両１（自車両）の移動軌跡）の計算結果が、同様に時点Ｔ２の処理に反映される。

図９は、車両１（自車両）が走行するときの実際の時間を示す時間軸（縦軸）と、動的なオブジェクト（移動物体）および車両１（自車両）の移動軌跡を求める際の計算に用いる計算上の時間軸（横軸）との関係を模式的に示す図である。例えば、時点Ｔ１において、検知ユニット（カメラ４１、ライダ４２、レーダ４３）により取得された情報（外界情報）により、車両１（自車両）の周囲に存在する、静的なオブジェクトおよび動的なオブジェクトの情報が、例えば、図１１のように、車両の周囲の状況を示す画像（一つのシーンを示すシーン画像）として得られる。

第３の自動運転モードでは、ＥＣＵ２０は、シーン画像を取得した時点（例えば、時点Ｔ１）から所定時間ＴＳにおけるオブジェクトの移動軌跡を時系列で計算し、オブジェクトの移動軌跡の時間毎の位置に基づいて、車両１（自車両）の移動軌跡を時系列に計算する。

ＥＣＵ２０は、シーン画像を取得した時点Ｔ１から所定時間ＴＳにおいて、例えば、歩行者や他車両等、時間の経過に従い移動する動的なオブジェクトが移動する移動軌跡を予測する。予測処理には、時点Ｔ１よりも前の時点である時点Ｔ０におけるシーン画像内で求めた行動計画（車両１（自車両）の移動軌跡）の計算結果が入力される。

オブジェクトの移動軌跡の予測は、所定時間ＴＳを分割した時点ｔ１、ｔ２、ｔ３・・・ごとに、所定時間ＴＳまで、オブジェクトの位置を時系列に予測することによって行われる。

ＥＣＵ２０は、オブジェクトの移動軌跡の予測結果を、時点Ｔ０におけるシーン画像内で求めた行動計画（車両１（自車両）の移動軌跡）の計算結果に基づいて補正する。そして、ＥＣＵ２０は、補正したオブジェクトの移動軌跡に基づいて、時点ｔ１、ｔ２、ｔ３・・・ごとに、所定時間ＴＳまで、車両１（自車両）の移動軌跡を時系列に計算する。

ＥＣＵ２０は、時点Ｔ１で計算した車両１（自車両）の移動軌跡の計算結果に基づいて、時点Ｔ０で計算した車両１（自車両）の移動軌跡を補正（更新）する。ＥＣＵ２０は、時点Ｔ１で計算した行動計画（車両１（自車両）の移動軌跡）の計算結果を、時点Ｔ２の処理に同様に反映する。

図１０は、第３の自動運転モードにおける処理の流れを説明するフローチャートである。例えば、運転者により目的地の設定と自動運転が指示されると、ＥＣＵ２４により探索された案内ルートにしたがって、目的地へ向けて車両１の走行を自動制御する。

自動運転制御の際、ＥＣＵ２０は、ＥＣＵ２２および２３から車両１の周囲状況に関する情報（外界情報）を取得する（Ｓ３０）。ステップＳ３０の処理により、時点Ｔ１の外界情報に基づいて、例えば、図１１のようなシーン画像が取得される。

そして、ＥＣＵ２０は、外界情報が取得された時点（例えば、時点Ｔ１）におけるシーン画像に含まれるオブジェクトを抽出する（Ｓ３１）。ＥＣＵ２０は、シーン画像から、時間の経過に従い移動しない静的なオブジェクト（静止物体）および時間の経過に従い移動する動的なオブジェクト（移動物体）を抽出し、抽出したオブジェクトが、シーン画像内で、どのように配置されているかを特定する。ＥＣＵ２０は、シーン画像における車両１（自車両）の位置を、座標系の原点として固定して、オブジェクトの位置を特定する。

また、ＥＣＵ２０は、計算済みである、前の時点Ｔ０における行動計画（自車両の移動軌跡の計算結果）を入力する（Ｓ３２）。すなわち、ＥＣＵ２０は、シーン画像を取得した時点Ｔ１よりも前の時点Ｔ０における前シーン画像内で求めた行動計画（自車両の移動軌跡）を取得する。

ＥＣＵ２０は、抽出したオブジェクトのうち、動的なオブジェクト（移動物体）に対して、外界情報が取得された時点Ｔ１から将来に向けた所定時間ＴＳにおけるオブジェクトの動き（移動軌跡）を時系列に計算する（Ｓ３３）。

そして、ＥＣＵ２０は、ステップＳ３２で取得した、時点Ｔ０における前シーン画像内で求めた行動計画（自車両の移動軌跡）に基づいて、ステップＳ３３で計算したオブジェクトの移動軌跡を補正する。ＥＣＵ２０は、シーン画像を取得した時点（例えば、Ｔ１）よりも前の時点（例えば、Ｔ０）において取得した前シーン画像で算出された車両１の移動軌跡に基づいて、シーン画像におけるオブジェクトの移動軌跡を補正した移動軌跡を計算する。車両１（自車両）の動きは、オブジェクトの動きに影響を与える場合があり、ＥＣＵ２０は、車両１（自車両）の移動軌跡の影響を受けてオブジェクトの動き（オブジェクトの移動軌跡）の変化を計算し、移動軌跡の変化の計算結果に基づいて、オブジェクトの移動軌跡を補正する。ＥＣＵ２０は、所定時間ＴＳを分割した時点ｔ１、ｔ２、ｔ３・・・ごとに、所定時間ＴＳまで時系列に、オブジェクトの移動軌跡を補正する。

ステップＳ３４において、ＥＣＵ２０は、補正したオブジェクトの移動軌跡に基づいて、車両１（自車両）の所定時間分の移動軌跡を時系列で計算する。ＥＣＵ２０は、補正したオブジェクトの移動軌跡に基づいて、例えば、熟練の運転者（熟練運転者）による走行データと、車両１（自車両）の周囲に存在するシーン画像内のオブジェクトの位置とを考慮して、ＥＣＵ２０は、所定時間ＴＳを分割した時点ｔ１、ｔ２、ｔ３・・・ごとに、所定時間ＴＳまで、車両１（自車両）の移動軌跡を時系列に計算する。

ステップＳ３５において、ＥＣＵ２０は、ステップＳ３４の計算結果に基づいて、時点Ｔ０で計算した行動計画（車両１（自車両）の移動軌跡）を補正（更新）する。

次に、図１１を用いて、第３の自動運転モードにおける処理の具体的な内容を説明する。時点Ｔ１において、検知ユニット（カメラ４１、ライダ４２、レーダ４３）により取得された、走行中の車両１（自車両）の周囲に存在するオブジェクトのシーン画像が取得される（図１１）。図１１におけるオブジェクト（歩行者２０４、他車両２０５、障害物２１７）は図５と同様である。

そして、ＥＣＵ２０は、シーン理解により、図１１に示すシーン画像に含まれるオブジェクト（歩行者２０４、他車両２０５、障害物２１７）を抽出して、シーン画像における車両１（自車両）の位置を、座標系の原点として固定して、オブジェクトの位置を特定する。以上の処理は、図１０のステップＳ３０、Ｓ３１に対応する。

図１１において、二点鎖線で示す移動軌跡１１０１は、時点Ｔ１よりも前の時点Ｔ０のシーン画像に基づいて計算された行動計画（車両１（自車両）の移動軌跡）である。シーン理解、予測、および行動計画の一連の処理を第１実施形態で説明した処理と同様にワンフローで行うことにより、車両１（自車両）の移動軌跡１１０１が求められる。この処理は図１０のステップＳ３２に対応する処理であり、ＥＣＵ２０は、計算済みである、前の時点Ｔ０における行動計画（自車両の移動軌跡の計算結果）を取得する。この処理は、図１０のステップＳ３２に対応する。

二点鎖線で示す移動軌跡１１０５は、時点Ｔ１のシーン画像において、計算された他車両２０５の移動軌跡の予測結果である。ＥＣＵ２０は、車両１（自車両）が移動軌跡１１０１により移動したときの、他車両２０５の移動軌跡の変化を計算する。そして、ＥＣＵ２０は、移動軌跡の変化の計算結果に基づいて、他車両２０５の移動軌跡を補正する。図１１において、実線で示す移動軌跡１１０６は、補正した他車両２０５の移動軌跡を示す。ＥＣＵ２０は、シーン画像を取得した時点（例えば、Ｔ１）よりも前の時点（例えば、Ｔ０）において取得した前シーン画像で算出された車両の移動軌跡（例えば、１１０１）に基づいて、シーン画像におけるオブジェクトの移動軌跡（例えば、１１０５）を補正した移動軌跡（例えば、１１０６）を計算する。他車両２０５の移動軌跡１１０５および１１０６を求める処理は、図１０のステップＳ３３に対応する。

次に、ＥＣＵ２０は、補正した他車両２０５の移動軌跡１１０６に基づいて、車両１（自車両）の所定時間分の移動軌跡を時系列で計算する。図１１において、実線で示す移動軌跡１１０２は、補正した他車両２０５の移動軌跡１１０６に基づいて計算した車両１（自車両）の移動軌跡を示す。移動軌跡１１０２を求める処理は、図１０のステップＳ３４に対応する。

そして、ＥＣＵ２０は、計算した車両１（自車両）の移動軌跡１１０２に基づいて、時点Ｔ０で計算した行動計画（車両１（自車両）の移動軌跡１１０１）を補正する。移動軌跡１１０１を移動軌跡１１０２で補正する処理は、図１０のステップＳ３５に対応する。

図６は、自車両の移動軌跡の決定を例示的に示す図である。図６（ｃ）において、曲線６０１、６０２は、シーン画像内における所定の位置（図１１のＰ〜Ｐ’の位置）において、オブジェクトが存在すると予測される予測値の分布を示している。曲線６０１は、図１１で示した歩行者２０４に関する予測値の分布を示し、曲線６０２は、図１１で示した他車両２０５に関する予測値の分布を示している。

図６（ｃ）では、車両１（自車両）の移動軌跡１１０１（図１１）の影響を受けて他車両２０５の動きが変化した場合の予測値の分布の変化を破線曲線６０２Ｃで示している。破線曲線６０２Ｃの分布は、曲線６０２の分布に比べて、矩形６０４側（紙面の右側）にシフトしている。破線曲線６０２Ｃのシフトは、図１１における他車両２０５の移動軌跡１１０５から移動軌跡１１０６への変化に対応するものである。

曲線６０１と破線曲線６０２Ｃとの間の領域は、車両１（自車両）が走行している車線内において、オブジェクト（物体）が存在しない領域であり、車両１（自車両）が走行可能な領域である。図６（ｃ）における走行可能な領域は、破線曲線６０２Ｃのシフトにより、例えば、図６（ａ）における走行可能な領域よりも広くなっている。また、曲線６０３Ｃは、走行可能な領域における熟練の運転者（熟練運転者）による走行パターンの分布を示しており、曲線６０３ＣのピークＭ３は、走行可能な領域内において、熟練運転者が最も高い確率で選択する走行位置を示している。曲線６０３は、時点Ｔ０のシーン画像における熟練の運転者（熟練運転者）による走行パターンの分布を示しており、この曲線は図６（ａ）の曲線６０３に対応するものである。

ＥＣＵ２０は、図９に示す各時点（例えば、ｔ１、ｔ２、ｔ３・・・ＴＳ）においてオブジェクト（物体）が存在しない領域（走行可能な領域）を特定し、熟練運転者による走行パターンの分布に基づいて、車両１を曲線６０３ＣのピークＭ３の位置に進めるように移動軌跡を計算する。このように計算された移動軌跡が、図１０のＳ３４で求めた車両１（自車両）の移動軌跡１１０２となる。図６（ｃ）において、Ｍ１は、時点Ｔ０のシーン画像に基づいて計算した車両１の移動軌跡上の位置であり、車両１（自車両）の移動軌跡の補正により、移動軌跡上の位置Ｍ１がＭ３に補正される。

第３の自動運転モードによれば、時点Ｔ１において取得したシーン画像において、車両１の周囲に存在するオブジェクトの移動軌跡を、前の時点Ｔ０で計算した行動計画（車両１（自車両）の移動軌跡）の計算結果に基づいて補正する。シーン画像を取得した時点よりも前の時点において取得した前シーン画像で計算された車両の移動軌跡に基づいて、オブジェクトの移動軌跡を補正することで、演算処理の負荷を低減することが可能になる。これにより、予測と行動計画を繰り返すループ演算に比べて計算負荷を低減しつつ、オブジェクトの移動軌跡を補正し、補正したオブジェクトの移動軌跡に基づいて、車両１（自車両）の移動軌跡を時系列に計算することが可能になる。

（その他の実施形態）
以上、いくつかの好適な態様を例示したが、本発明はこれらの例に限られるものではなく、本発明の趣旨を逸脱しない範囲で、その一部が変更されてもよい。例えば、各実施形態の内容に、目的、用途等に応じて他の要素を組み合わせることも可能であるし、或る実施形態の内容に他の実施形態の内容の一部を組み合わせることも可能である。また、本明細書に記載された個々の用語は、本発明を説明する目的で用いられたものに過ぎず、本発明は、その用語の厳密な意味に限定されるものでないことは言うまでもなく、その均等物をも含みうる。

また、各実施形態で説明された１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給され、該システム又は装置のコンピュータにおける１以上のプロセッサは、このプログラムを読み出して実行することができる。このような態様によっても本発明は実現可能である。

＜実施形態のまとめ＞
構成１．上記実施形態の車両制御装置は、生成した移動軌跡に基づいて、車両（例えば、１）の自動運転の制御を行う車両制御装置（例えば、１００）であって、
前記車両（１）の周囲の状況を示すシーン画像（例えば、図５）から前記車両の周囲に存在するオブジェクト（例えば、２０４、２０５）を抽出する抽出手段（例えば、２０、２２、２３）と、
前記シーン画像を取得した時点（例えば、Ｔ０）から所定時間（例えば、ＴＳ）における前記オブジェクトの移動軌跡（例えば、５０５）を時系列で計算し、前記オブジェクトの移動軌跡（５０５）の時間毎の位置に基づいて、前記車両の移動軌跡（例えば、５０１）を時系列に生成する制御手段（例えば、２０）と、を備えることを特徴とする。

構成１によれば、時系列に予測したオブジェクトの移動軌跡に対応して、制御対象となる車両をどの位置に移動させればよいか、時系列に計算することが可能になる。

構成２．上記実施形態の車両制御装置（１００）であって、前記制御手段（２０）は、前記シーン画像を取得した時点から所定時間（ＴＳ）内の第１の時点（例えば、図３のｔ１）における前記オブジェクトの位置に基づいて前記第１の時点（図３のｔ１）における前記車両の位置を計算し、前記所定時間（ＴＳ）内の第２の時点（例えば、図３のｔ２）における前記オブジェクトの位置に基づいて前記第２の時点（図３のｔ２）における前記車両の位置を計算することを特徴とする。

構成２によれば、オブジェクトの時系列の位置から、制御対象の車両の位置を時系列に対応づけて計算することが可能になる。

構成３．上記実施形態の車両制御装置（１００）であって、前記抽出手段（２０、２２、２３）は、前記シーン画像に対する画像処理により、時間の経過に従い移動しない静的なオブジェクト（例えば、図５の２１７）と、時間の経過に従い移動する動的なオブジェクト（例えば、図５の２０５）と、を前記シーン画像から抽出することを特徴とする。

構成３によれば、シーン画像に含まれるオブジェクトの中から、移動軌跡を求めるオブジェクトと特定することができる。

構成４．上記実施形態の車両制御装置（１００）であって、前記制御手段（２０）は、前記抽出手段により抽出された前記動的なオブジェクトについて、前記移動軌跡を時系列に計算することを特徴とする。

構成４によれば、シーン画像に含まれるオブジェクトの中から、移動軌跡を求めるオブジェクトと特定し、特定したオブジェクトに対して移動軌跡を求めることが可能になる。

構成５．上記実施形態の車両制御装置（１００）であって、前記制御手段（２０）は、前記シーン画像における前記車両の位置を、座標系の原点として固定して、演算処理を実行することを特徴とする。

構成５によれば、ある時点で取得された画像において制御対象の車両の位置を座標系の原点として固定することにより、移動軌跡の計算における演算処理の負荷を低減することができる。

構成６．上記実施形態の車両（例えば、１）は、上記の構成１乃至５のいずれか１つの構成に記載の車両制御装置（例えば、１００）を有することを特徴とする。

構成６によれば、車両内部で上述の処理を迅速に実行することで、より精度よく生成した移動軌跡に基づいて、車両の自動運転の制御を行うことが可能になる。

構成７．上記実施形態の車両制御方法は、生成した移動軌跡に基づいて、車両の自動運転の制御を行う車両制御装置の車両制御方法であって、
前記車両の周囲の状況を示すシーン画像（例えば、図５）から前記車両の周囲に存在するオブジェクト（例えば、２０４、２０５）を抽出する抽出工程（例えば、Ｓ１０、Ｓ１１）と、
前記シーン画像を取得した時点から所定時間における前記オブジェクトの移動軌跡を時系列で計算し、前記オブジェクトの移動軌跡の時間毎の位置に基づいて、前記車両の移動軌跡を時系列に生成する制御工程（例えば、Ｓ１２〜Ｓ１４）と、を有することを特徴とする。

構成７によれば、時系列に予測したオブジェクトの移動軌跡に対応して、制御対象となる車両をどの位置に移動させればよいか、時系列に計算することが可能になる。

構成８．上記実施形態の車両制御方法であって、前記制御工程（例えば、Ｓ１２〜Ｓ１４）では、前記シーン画像を取得した時点から所定時間（ＴＳ）内の第１の時点（例えば、図３のｔ１）における前記オブジェクトの位置に基づいて前記第１の時点（図３のｔ１）における前記車両の位置を計算し、前記所定時間（ＴＳ）内の第２の時点（例えば、図３のｔ２）における前記オブジェクトの位置に基づいて前記第２の時点（図３のｔ２）における前記車両の位置を計算することを特徴とする。

構成８によれば、オブジェクトの時系列の位置から、制御対象の車両の位置を時系列に対応づけて計算することが可能になる。

構成９．上記実施形態のプログラムであって、プログラムは、コンピュータに、上記の構成７または８に記載の車両制御方法の各工程を実行させる。構成９によれば、車両制御方法の各工程をコンピュータにより実現することが可能となる。

１：車両（自車両）、２０：ＥＣＵ、１００：車両制御装置、２０５：他車両

Claims (9)

1. 生成した移動軌跡に基づいて、車両の自動運転の制御を行う車両制御装置であって、
   前記車両の周囲の状況を示すシーン画像から前記車両の周囲に存在するオブジェクトを抽出する抽出手段と、
   前記シーン画像を取得した時点から所定時間における前記オブジェクトの移動軌跡を時系列で計算し、前記オブジェクトの移動軌跡の時間毎の位置に基づいて、前記車両の移動軌跡を時系列に生成し、前記車両の移動軌跡に基づいて、前記オブジェクトの移動軌跡を補正した移動軌跡を生成する制御手段と、
   を備え、
   前記制御手段は、前記シーン画像において、複数のオブジェクトが抽出された場合、各オブジェクトに対応する移動軌跡を計算し、各オブジェクトの移動軌跡に基づいて走行可能な領域を特定し、熟練運転者による走行パターンの分布から選択した前記領域内の走行位置に基づいて前記車両の移動軌跡を生成し、
   前記補正した前記オブジェクトの移動軌跡に基づいて前記走行可能な領域を補正し、当該補正した前記領域内の前記走行位置に基づいて、前記車両の移動軌跡を補正することを特徴とする車両制御装置。
2. 前記制御手段は、前記シーン画像を取得した時点から所定時間内の第１の時点における前記オブジェクトの位置に基づいて前記第１の時点における前記車両の位置を計算し、前記所定時間内の第２の時点における前記オブジェクトの位置に基づいて前記第２の時点における前記車両の位置を計算する
   ことを特徴とする請求項１に記載の車両制御装置。
3. 前記抽出手段は、前記シーン画像に対する画像処理により、時間の経過に従い移動しない静的なオブジェクトと、時間の経過に従い移動する動的なオブジェクトと、を前記シーン画像から抽出することを特徴とする請求項１に記載の車両制御装置。
4. 前記制御手段は、前記抽出手段により抽出された前記動的なオブジェクトについて、前記移動軌跡を時系列に計算することを特徴とする請求項３に記載の車両制御装置。
5. 前記制御手段は、前記シーン画像における前記車両の位置を、座標系の原点として固定して、演算処理を実行することを特徴とする請求項１乃至４のいずれか１項に記載の車両制御装置。
6. 請求項１乃至５のいずれか１項に記載の車両制御装置を有する車両。
7. 生成した移動軌跡に基づいて、車両の自動運転の制御を行う車両制御装置の車両制御方法であって、
   前記車両の周囲の状況を示すシーン画像から前記車両の周囲に存在するオブジェクトを抽出する抽出工程と、
   前記シーン画像を取得した時点から所定時間における前記オブジェクトの移動軌跡を時系列で計算し、前記オブジェクトの移動軌跡の時間毎の位置に基づいて、前記車両の移動軌跡を時系列に生成し、前記車両の移動軌跡に基づいて、前記オブジェクトの移動軌跡を補正した移動軌跡を生成する制御工程と、
   を有し、
   前記制御工程では、前記シーン画像において、複数のオブジェクトが抽出された場合、各オブジェクトに対応する移動軌跡を計算し、各オブジェクトの移動軌跡に基づいて走行可能な領域を特定し、熟練運転者による走行パターンの分布から選択した前記領域内の走行位置に基づいて前記車両の移動軌跡を生成し、
   前記補正した前記オブジェクトの移動軌跡に基づいて前記走行可能な領域を補正し、当該補正した前記領域内の前記走行位置に基づいて、前記車両の移動軌跡を補正することを特徴とする車両制御方法。
8. 前記制御工程では、前記シーン画像を取得した時点から所定時間内の第１の時点における前記オブジェクトの位置に基づいて前記第１の時点における前記車両の位置を計算し、前記所定時間内の第２の時点における前記オブジェクトの位置に基づいて前記第２の時点における前記車両の位置を計算する
   ことを特徴とする請求項７に記載の車両制御方法。
9. コンピュータに、請求項７または８に記載の車両制御方法の各工程を実行させるプログラム。

Images