JP7160730B2 - 車両システム、車両システムの制御方法、およびプログラム - Google Patents

Description

本発明は、車両システム、車両システムの制御方法、およびプログラムに関する。

近年、車両を自動的に制御して走行させる技術の研究が進み、その一部が実用化に向けて開発されている。そして、実用化に向けて開発が進んでいる技術の中には、車両が目的地に到達するための走行経路を生成する技術がある。現在のこの技術では、車両に設置されたカメラによって撮影した画像に基づいて走行経路を生成している。このため、車両は、画像の奥行き方向に向かって走行することになる。ところで、３次元空間をカメラで撮影して得られた２次元の画像では、手前方向の１画素が表す実空間の距離よりも奥行き方向の１画素が表す実空間の距離の方が長くなるため、奥行き方向に向かうほど距離の分解能は低下する。

また、単眼のカメラで撮影した画像に基づいて俯瞰図を作成し、この俯瞰図を車両の周囲を監視するために用いる画像変換方法および車両周囲監視装置に関する技術が開示されている（例えば、特許文献１参照）。

特開２００２－０３４０３５号公報

しかしながら、特許文献１に開示され技術では、車両が停止している状態で撮影した画像に基づいて俯瞰図を作成している。このため、特許文献１に開示され技術では、走行している車両が引き続き走行を続けるための走行経路を生成する際に俯瞰図を用いることについて十分な検討がされていない。

本発明は、上記の課題認識に基づいてなされたものであり、より高い精度で車両が走行するための走行経路を生成することができる車両システム、車両システムの制御方法、およびプログラムを提供することを目的としている。

この発明に係る車両システム、車両システムの制御方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る車両システムは、車両の進行方向の画像を取得する画像取得装置と、前記車両の周辺環境を認識する認識部と、前記認識部の認識結果に基づいて、前記車両の速度制御および操舵制御による運転制御を行う運転制御部と、を備え、前記認識部は、前記画像に基づいて俯瞰図データを生成する画像処理部、を備え、前記運転制御部は、前記俯瞰図データに基づいて前記車両を将来走行させる軌道を生成し、生成した前記軌道で前記車両を走行させる、車両システムである。

（２）：上記（１）の態様において、前記画像処理部は、前記俯瞰図データに含まれるそれぞれのデータの周辺データとの差異に基づいてエッジ点を抽出し、前記認識部は、前記画像処理部が抽出した前記エッジ点に基づいて前記俯瞰図データに含まれる車線を認識するものである。

（３）：上記（１）の態様において、前記画像処理部は、前記画像に含まれるデータの周辺データとの差異に基づいてエッジ点を抽出し、抽出した前記エッジ点を用いて前記俯瞰図データにおける車線を規定するものである。

（４）：上記（１）から（３）のうちいずれか一態様において、前記画像取得装置は、時系列で複数の前記画像を取得し、前記画像処理部は、前記画像取得装置が時系列で取得した複数の前記画像を用いて、一つの前記俯瞰図データを生成するものである。

（５）：上記（４）の態様において、前記画像処理部は、前記画像取得装置が時系列に取得した複数の前記画像における遠方領域のデータを用いて、一つの前記俯瞰図データにおける遠方領域のデータを生成するものである。

（６）：上記（１）から（５）のうちいずれか一態様において、前記画像処理部は、前記俯瞰図データに含まれる路面が物体で遮蔽された遮蔽領域を特定し、特定した前記遮蔽領域を、前記俯瞰図データにおける前記遮蔽領域周辺の画素データにより補完し、前記補完した俯瞰図を用い前記車両を将来走行させる軌道を生成し、生成した前記軌道で前記車両を走行させるものである。

（７）：上記（６）の態様において、前記画像処理部は、前記遮蔽領域の補完に別途保存される地図情報を用いて、前記俯瞰図データの路面領域を表すデータを補完するものである。

（８）：また、本発明の一態様に係る車両システムの制御方法は、車両システムのコンピュータが、画像取得装置から車両の進行方向の画像を取得し、前記車両の周辺環境を認識し、認識結果に基づいて、前記車両の速度制御および操舵制御による運転制御を行い、前記画像に基づいて俯瞰図データを生成し、前記俯瞰図データに基づいて前記車両を将来走行させる軌道を生成し、生成した前記軌道で前記車両を走行させる、車両システムの制御方法である。

（９）：また、本発明の一態様に係るプログラムは、車両システムのコンピュータに、画像取得装置から車両の進行方向の画像を取得させ、前記車両の周辺環境を認識させ、認識結果に基づいて、前記車両の速度制御および操舵制御による運転制御を行わせ、前記画像に基づいて俯瞰図データを生成させ、前記俯瞰図データに基づいて前記車両を将来走行させる軌道を生成し、生成した前記軌道で前記車両を走行させることを行わせる、プログラムである。

上述した（１）～（８）の態様によれば、より高い精度で車両が走行するための走行経路を生成することができる。

第１実施形態に係る車両システム１の構成図である。 第１制御部１２０および第２制御部１６０の機能構成図である。 第１実施形態に係る画像処理部１３２および行動計画生成部１４０により実行される一連の処理の流れの一例を示すフローチャートである。 第１実施形態に係る画像処理部１３２および行動計画生成部１４０による一連の処理の一例を模式的に示す図である。 第１実施形態に係る画像処理部１３２が俯瞰図データに含まれる遮蔽領域に対応する路面領域を補完する処理の一例を模式的に示す図である。 第２実施形態に係る画像処理部１３２および行動計画生成部１４０により実行される一連の処理の流れの一例を示すフローチャートである。 第２実施形態に係る画像処理部１３２および行動計画生成部１４０による一連の処理の一例を模式的に示す図である。 実施形態の自動運転制御装置１００のハードウェア構成の一例を示す図である。

以下、図面を参照し、本発明の車両システム、車両システムの制御方法、およびプログラムの実施形態について説明する。なお、以下では、左側通行の法規が適用される場合について説明するが、右側通行の法規が適用される場合には、左右を逆に読み替えればよい。

＜第１実施形態＞
［全体構成］
図１は、第１実施形態に係る車両システム１の構成図である。車両システム１が搭載される車両は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

車両システム１は、例えば、カメラ１０と、レーダ装置１２と、ファインダ１４と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、車両センサ４０と、ナビゲーション装置５０と、ＭＰＵ（Map Positioning Unit）６０と、運転操作子８０と、自動運転制御装置（automated driving control device）１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両システム１が搭載される車両（以下、自車両Ｍ）の任意の箇所に取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し自車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。カメラ１０は、「画像取得装置」の一例である。

レーダ装置１２は、自車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、自車両Ｍの任意の箇所に取り付けられる。レーダ装置１２は、ＦＭ－ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ファインダ１４は、ＬＩＤＡＲ（Light Detection and Ranging）である。ファインダ１４は、自車両Ｍの周辺に光を照射し、散乱光を測定する。ファインダ１４は、発光から受光までの時間に基づいて、対象までの距離を検出する。照射される光は、例えば、パルス状のレーザー光である。ファインダ１４は、自車両Ｍの任意の箇所に取り付けられる。

物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を自動運転制御装置１００に出力する。物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４の検出結果をそのまま自動運転制御装置１００に出力してよい。車両システム１から物体認識装置１６が省略されてもよい。

通信装置２０は、例えば、セルラー網やＷｉ－Ｆｉ網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、自車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置と通信する。

ＨＭＩ３０は、自車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。

車両センサ４０は、自車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Ｍの向きを検出する方位センサ等を含む。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備える。ナビゲーション装置５０は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機５１は、ＧＮＳＳ衛星から受信した信号に基づいて、自車両Ｍの位置を特定する。自車両Ｍの位置は、車両センサ４０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された自車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路（以下、地図上経路）を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。地図上経路は、ＭＰＵ６０に出力される。ナビゲーション装置５０は、地図上経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。ナビゲーション装置５０は、例えば、乗員の保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから地図上経路と同等の経路を取得してもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１を含み、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６２を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された地図上経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６２を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、地図上経路に分岐箇所が存在する場合、自車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。

第２地図情報６２は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６２は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６２には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。第２地図情報６２は、通信装置２０が他装置と通信することにより、随時、アップデートされてよい。

運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイール、異形ステア、ジョイスティックその他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御装置１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一部または全部に出力される。

自動運転制御装置１００は、例えば、第１制御部１２０と、第２制御部１６０とを備える。第１制御部１２０と第２制御部１６０は、それぞれ、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め自動運転制御装置１００のＨＤＤやフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）がドライブ装置に装着されることで自動運転制御装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。

図２は、第１制御部１２０および第２制御部１６０の機能構成図である。第１制御部１２０は、例えば、認識部１３０と、行動計画生成部１４０とを備える。第１制御部１２０は、例えば、ＡＩ（Artificial Intelligence；人工知能）による機能と、予め与えられたモデルによる機能とを並行して実現する。例えば、「交差点を認識する」機能は、ディープラーニング等による交差点の認識と、予め与えられた条件（パターンマッチング可能な信号、道路標示などがある）に基づく認識とが並行して実行され、双方に対してスコア付けして総合的に評価することで実現されてよい。これによって、自動運転の信頼性が担保される。行動計画生成部１４０と第２制御部１６０とを合わせたものが「運転制御部」の一例である。

認識部１３０は、カメラ１０、レーダ装置１２、およびファインダ１４から物体認識装置１６を介して入力された情報に基づいて、自車両Ｍの周辺にある物体の位置、および速度、加速度等の状態を認識する。物体の位置は、例えば、自車両Ｍの代表点（重心や駆動軸中心など）を原点とした絶対座標上の位置として認識され、制御に使用される。物体の位置は、その物体の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物体の「状態」とは、物体の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。

また、認識部１３０は、例えば、自車両Ｍが走行している車線（走行車線）を認識する。例えば、認識部１３０は、第２地図情報６２から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される自車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。なお、認識部１３０は、道路区画線に限らず、道路区画線や路肩、縁石、中央分離帯、ガードレールなどを含む走路境界（道路境界）を認識することで、走行車線を認識してもよい。この認識において、ナビゲーション装置５０から取得される自車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。また、認識部１３０は、一時停止線、障害物、赤信号、料金所、その他の道路事象を認識する。

認識部１３０は、走行車線を認識する際に、走行車線に対する自車両Ｍの位置や姿勢を認識する。認識部１３０は、例えば、自車両Ｍの基準点の車線中央からの乖離、および自車両Ｍの進行方向の車線中央を連ねた線に対してなす角度を、走行車線に対する自車両Ｍの相対位置および姿勢として認識してもよい。これに代えて、認識部１３０は、走行車線のいずれかの側端部（道路区画線または道路境界）に対する自車両Ｍの基準点の位置などを、走行車線に対する自車両Ｍの相対位置として認識してもよい。

認識部１３０は、画像処理部１３２を備える。画像処理部１３２は、カメラ１０によって撮像された画像を取得し、取得した画像に基づいて、この画像に撮像されている路面領域を仮想的に真上から見たように表した俯瞰図データを生成する。俯瞰図データには、路面領域の境界を表す第１エッジ点や、例えば、道路区画線や一時停止線など、路面に描画されている白線の位置を表す第２エッジ点が含まれている。第２エッジ点の方が第１エッジ点よりもデータの値の相違（例えば、輝度差）が大きいものである。以下、第１エッジ点および第２エッジ点をエッジ点という。画像処理部１３２は、生成した俯瞰図データを行動計画生成部１４０に出力する。

なお、画像処理部１３２は、カメラ１０によって所定時間ごとに連続して撮像された時系列の複数の画像を取得し、取得した複数の画像を用いて、一つの俯瞰図データを生成する。画像処理部１３２は、時系列のそれぞれの画像に撮像されている、自車両Ｍの前方に離れた遠方領域のデータを用いて、一つの俯瞰図データにおける遠方領域のデータを生成する。このとき、画像処理部１３２は、それぞれの画像における自車両Ｍの前方の近傍領域のデータを、遠方領域のデータを生成する際の位置合わせに使用する。これにより、位置合わせをした後のそれぞれの画像は、撮像されている遠方領域が微妙にずれることになり、画像処理部１３２は、１枚の画像からは生成することができなかった遠方領域のそれぞれの位置のデータを複数の画像によって補って（補完して）、一つの俯瞰図データを生成する。

また、画像処理部１３２は、生成した俯瞰図データに含まれる路面領域が、例えば、建物などの物体によって遮蔽された遮蔽領域（いわゆる、オクルージョン領域）を特定し、このオクルージョン領域を含む地図情報を用いて、俯瞰図データにおいてオクルージョン領域によって遮蔽されている路面領域のデータを補完する。画像処理部１３２は、地図情報として、第２地図情報６２を用いる。画像処理部１３２において俯瞰図データを生成する処理の一例については後述する。

行動計画生成部１４０は、原則的には推奨車線決定部６１により決定された推奨車線を走行し、更に、自車両Ｍの周辺状況に対応できるように、自車両Ｍが自動的に（Automatedly）将来走行する目標軌道を生成する。行動計画生成部１４０は、画像処理部１３２が生成した俯瞰図データに基づいて目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、自車両Ｍの到達すべき地点（軌道点）を順に並べたものとして表現される。軌道点は、道なり距離で所定の走行距離（例えば数［ｍ］程度）ごとの自車両Ｍの到達すべき地点であり、それとは別に、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとの目標速度および目標加速度が、目標軌道の一部として生成される。また、軌道点は、所定のサンプリング時間ごとの、そのサンプリング時刻における自車両Ｍの到達すべき位置であってもよい。この場合、目標速度や目標加速度の情報は軌道点の間隔で表現される。

行動計画生成部１４０は、目標軌道を生成するにあたり、自動運転のイベントを設定してよい。自動運転のイベントには、定速走行イベント、低速追従走行イベント、車線変更イベント、分岐イベント、合流イベント、テイクオーバーイベントなどがある。行動計画生成部１４０は、起動させたイベントに応じた目標軌道を生成する。

第２制御部１６０は、行動計画生成部１４０によって生成された目標軌道を、予定の時刻通りに自車両Ｍが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。

図２に戻り、第２制御部１６０は、例えば、取得部１６２と、速度制御部１６４と、操舵制御部１６６とを備える。取得部１６２は、行動計画生成部１４０により生成された目標軌道（軌道点）の情報を取得し、メモリ（不図示）に記憶させる。速度制御部１６４は、メモリに記憶された目標軌道に付随する速度要素に基づいて、走行駆動力出力装置２００またはブレーキ装置２１０を制御する。操舵制御部１６６は、メモリに記憶された目標軌道の曲がり具合に応じて、ステアリング装置２２０を制御する。速度制御部１６４および操舵制御部１６６の処理は、例えば、フィードフォワード制御とフィードバック制御との組み合わせにより実現される。一例として、操舵制御部１６６は、自車両Ｍの前方の道路の曲率に応じたフィードフォワード制御と、目標軌道からの乖離に基づくフィードバック制御とを組み合わせて実行する。

走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵ（Electronic Control Unit）とを備える。ＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、第２制御部１６０から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、第２制御部１６０から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

［俯瞰図データおよび目標軌道の生成処理］
以下、画像処理部１３２と行動計画生成部１４０とによって実現される、自車両Ｍが将来走行する目標軌道を生成する処理について説明する。以下の説明においては、画像処理部１３２が、カメラ１０によって撮像された１枚の画像に基づいて俯瞰図データを生成し、行動計画生成部１４０が、俯瞰図データに基づいて目標軌道を生成するものとする。図３は、第１実施形態に係る画像処理部１３２および行動計画生成部１４０により実行される一連の処理の流れの一例を示すフローチャートである。

画像処理部１３２は、カメラ１０によって撮像された画像を取得する（ステップＳ１００）。次に、画像処理部１３２は、取得した画像を仮想的な俯瞰図に変換する（ステップＳ１１０）。

その後、画像処理部１３２は、変換した俯瞰図にオクルージョン領域が存在するか否かを判定する（ステップＳ１２０）。ステップＳ１２０において、俯瞰図にオクルージョン領域が存在しないと判定した場合、画像処理部１３２は、処理をステップＳ１５０に進める。

一方、ステップＳ１２０において、俯瞰図にオクルージョン領域が存在すると判定した場合、画像処理部１３２は、俯瞰図に含まれる路面領域を遮蔽しているオクルージョン領域を特定する（ステップＳ１３０）。その後、画像処理部１３２は、特定したオクルージョン領域を含む第２地図情報６２を用いて、オクルージョン領域に対応する路面領域のデータを補完する（ステップＳ１４０）。

次に、画像処理部１３２は、俯瞰図に含まれるエッジ点を抽出する（ステップＳ１５０）。その後、画像処理部１３２は、抽出したエッジ点に基づいて俯瞰図データに含まれる路面領域および路面領域内の車線を認識する（ステップＳ１６０）。

次に、画像処理部１３２は、認識した路面領域および路面領域内の車線を含む俯瞰図データを生成する（ステップＳ１７０）。そして、画像処理部１３２は、生成した俯瞰図データを、行動計画生成部１４０に出力する。

その後、行動計画生成部１４０は、画像処理部１３２から出力された俯瞰図データに基づいて、目標軌道を生成する（ステップＳ１８０）。これにより、第２制御部１６０は、行動計画生成部１４０が生成した目標軌道を順次通過するように、自車両Ｍの走行を制御する。

［俯瞰図データおよび目標軌道の生成例］
図４は、第１実施形態に係る画像処理部１３２および行動計画生成部１４０による一連の処理の一例を模式的に示す図である。図４には、画像処理部１３２が俯瞰図データを生成する際のそれぞれの処理の一例と、行動計画生成部１４０が生成する目標軌道の一例とを示している。以下の説明においては、画像処理部１３２によるオクルージョン領域の補完はしないものとする。

画像処理部１３２は、図４の（ａ）に示したような画像をカメラ１０から取得すると、取得した画像を、図４の（ｂ）に示したような仮想的な一つの俯瞰図に変換する。このとき、画像処理部１３２は、取得した画像を構成するそれぞれの画素のデータを、仮想的な俯瞰図の対応する位置に配置することによって、カメラ１０から取得した画像を一つの俯瞰図に変換する。

なお、変換した俯瞰図における遠方の領域（例えば、図４の（ｂ）における上方の領域）には、画素が配置されない、すなわち、データが空白（ＮＵＬＬ）であるデータ空白位置Ｎが存在することになる。そこで、画像処理部１３２は、カメラ１０から時系列に取得した複数の画像に含まれる遠方の領域（例えば、図４の（ａ）における上方の領域）の画素のデータを用いて、一つの俯瞰図に変換する。このようにして、画像処理部１３２は、カメラ１０から取得した時系列の複数の画像から、図４の（ｃ）に示したような仮想的な一つの俯瞰図に変換する。

ところで、カメラ１０から時系列に取得した複数の画像を用いても、俯瞰図を構成する全ての画素の位置にデータが配置されるとは限らず、依然としてデータ空白位置Ｎが残ってしまうことも考えられる。この場合、画像処理部１３２は、図４の（ｂ）に示したように、データ空白位置Ｎのデータを、このデータ空白位置Ｎの周辺データ、つまり、データ空白位置Ｎの周辺に位置する他画素のデータに基づいて補完してもよい。例えば、画像処理部１３２は、データ空白位置Ｎの周辺に位置する（例えば、上下左右に位置する）４つの画素の値を加算平均し、この値をデータ空白位置Ｎにおける画素の値としてもよい。このとき、画像処理部１３２は、自車両Ｍの進行方向に直交する、例えば、一時停止線の幅を表すと考えられるデータ空白位置Ｎの画素の値を、左右に位置する他画素の値の割合を多くして加算平均した値にしてもよい。また、画像処理部１３２は、自車両Ｍの進行方向に平行な、例えば、路面領域の境界や、道路区画線の幅を表すと考えられるデータ空白位置Ｎの画素の値を、上下に位置する他画素の値の割合を多くて加算平均した値にしてもよい。これにより、画像処理部１３２は、より適切にデータ空白位置Ｎにおける画素の値を補完することができる。

このようにして、画像処理部１３２は、図４の（ａ）に示したようなカメラ１０から取得した画像を、図４の（ｃ）に示したようなデータ空白位置Ｎのデータが補完された一つの俯瞰図に変換する。なお、図４の（ｂ）においては、データ空白位置Ｎの範囲を１画素の範囲に相当する範囲として示していないが、画像処理部１３２は、それぞれの画素ごとに俯瞰図に変換する処理を行うため、１つのデータ空白位置Ｎの範囲も１画素の範囲に相当する範囲である。

その後、画像処理部１３２は、図４の（ｃ）に示した俯瞰図に含まれるエッジ点を抽出し、図４の（ｄ）に示したような俯瞰図データを生成する。このとき、画像処理部１３２は、俯瞰図に含まれるそれぞれの画素のデータと、その画素の周辺に位置する他画素のデータとの差異に基づいて、エッジ点の画素を抽出する。より具体的には、ある１つの画素について考えると、この１つの画素の輝度値と、その画素の周辺に位置する他画素の輝度値とを比較し、輝度値の差異が予め定めた閾値よりも大きい場合に、その画素がエッジ点の画素であると判定し、輝度値の差異が予め定めた閾値以下である場合に、その画素がエッジ点の画素ではないと判定することによって、エッジ点の画素を抽出する。つまり、画像処理部１３２は、俯瞰図に含まれるそれぞれの画素のデータにおける高周波成分を、エッジ点として抽出する。そして、画像処理部１３２は、図４の（ｄ）に示したような、エッジ点Ｅが含まれている俯瞰図データを生成する。

画像処理部１３２は、生成した俯瞰図データを行動計画生成部１４０に出力する。これにより、行動計画生成部１４０は、画像処理部１３２から出力された俯瞰図データに基づいて、図４の（ｅ）に示したような目標軌道を生成する。図４の（ｅ）には、自車両Ｍが次の交差点を右折するために、自車両Ｍが順次到達すべきそれぞれの軌道点Ｋを順に並べた目標軌道を生成した場合の一例を示している。

［オクルージョン領域の補完例］
図５は、第１実施形態に係る画像処理部１３２が俯瞰図データに含まれる遮蔽領域（オクルージョン領域）に対応する路面領域を補完する処理の一例を模式的に示す図である。図５には、自車両Ｍがこれから進入する交差点のそれぞれの角の部分にオクルージョン領域が存在する場合の一例を示している。以下の説明においては、画像処理部１３２によって変換した俯瞰図におけるデータ空白位置Ｎの画素の値は、すでに補完が完了しているものとする。

カメラ１０から取得した図５の（ａ）に示したような画像に基づいて図５の（ｂ）に示したようなオクルージョン領域Ｏ１～Ｏ４が存在する俯瞰図に変換した場合、画像処理部１３２は、俯瞰図に含まれる路面領域を遮蔽しているオクルージョン領域を特定する。そして、画像処理部１３２は、特定したオクルージョン領域Ｏ１～Ｏ４のそれぞれに対応する情報を含む第２地図情報６２を用いて、オクルージョン領域Ｏ１～Ｏ４によって遮蔽されているそれぞれの路面領域のデータを補完する。より具体的には、画像処理部１３２は、第２地図情報６２に含まれる車線の中央の情報や、車線の境界の情報、一時停止線の情報などを、オクルージョン領域以外の対応する路面領域に当てはめることによって、オクルージョン領域内の車線や、車線の境界、一時停止線の位置を求め、求めた位置の情報を路面領域のデータとして補完する。図５の（ｃ）には、第２地図情報６２を用いて補完領域Ｃ１～Ｃ４のデータを補完する場合の一例を示している。

なお、画像処理部１３２は、補完するオクルージョン領域を選択するようにしてもよい。例えば、画像処理部１３２は、自車両Ｍが将来走行する走行経路ではない路面領域を遮蔽しているオクルージョン領域を補完しないようにしてもよい。

このようにして、画像処理部１３２は、図５の（ａ）に示したようなカメラ１０から取得した画像を、図５の（ｄ）に示したようなオクルージョン領域が存在しない一つの俯瞰図に変換する。なお、図５の（ｂ）および図５の（ｃ）においては、オクルージョン領域Ｏ１～Ｏ４および補完領域Ｃ１～Ｃ４の範囲を１画素の範囲に相当する範囲として示していないが、画像処理部１３２は、それぞれの画素ごとにオクルージョン領域に対する処理を行うため、それぞれのオクルージョン領域および補完領域の範囲も１画素ごとに判定した範囲である。

上記に述べたとおり、第１実施形態の車両システム１によれば、画像処理部１３２が、カメラ１０から取得した時系列の複数の画像および第２地図情報６２を用いることによって、画像を変換した俯瞰図に含まれる奥行き方向やオクルージョン領域における路面領域の境界、道路区画線、一時停止線などをより明確に表した俯瞰図データを生成して行動計画生成部１４０に出力する。これにより、行動計画生成部１４０は、カメラ１０が撮像した画像に対して目標軌道を生成するよりも、特に、奥行き方向に遠方の領域の精度を高めた目標軌道を生成することができる。つまり、第１実施形態の車両システム１によれば、より高い精度で自車両Ｍが走行するための走行経路を生成することができる。

＜第２実施形態＞
以下、第２実施形態について説明する。第２実施形態では、俯瞰図データを生成する処理の順番が、第１実施形態と異なる。より具体的には、第１実施形態では、変換した俯瞰図から認識していた路面領域および路面領域内の車線を、第２実施形態では、カメラ１０から取得した画像から認識する。

図６は、第２実施形態に係る画像処理部１３２および行動計画生成部１４０により実行される一連の処理の流れの一例を示すフローチャートである。以下の説明においても、画像処理部１３２が、カメラ１０によって撮像された１枚の画像に基づいて俯瞰図データを生成し、行動計画生成部１４０が、俯瞰図データに基づいて目標軌道を生成するものとする。

画像処理部１３２は、カメラ１０によって撮像された画像を取得する（ステップＳ２００）。次に、画像処理部１３２は、取得した画像に含まれるエッジ点を抽出する（ステップＳ２１０）。その後、画像処理部１３２は、抽出したエッジ点に基づいて俯瞰図データに含まれる路面領域および路面領域内の車線を認識する（ステップＳ２２０）。

次に、画像処理部１３２は、認識した路面領域および路面領域内の車線を俯瞰図として表した俯瞰図データを生成する（ステップＳ２３０）。その後、画像処理部１３２は、生成した俯瞰図データが表す路面領域にオクルージョン領域が存在するか否かを判定する（ステップＳ２４０）。ステップＳ２４０において、俯瞰図データが表す路面領域にオクルージョン領域が存在しないと判定した場合、画像処理部１３２は、処理をステップＳ２７０に進める。つまり、画像処理部１３２は、生成した俯瞰図データを、行動計画生成部１４０に出力する。

一方、ステップＳ２４０において、俯瞰図データが表す路面領域にオクルージョン領域が存在すると判定した場合、画像処理部１３２は、俯瞰図データにおいて路面領域を遮蔽しているオクルージョン領域を特定する（ステップＳ２５０）。その後、画像処理部１３２は、特定したオクルージョン領域を含む第２地図情報６２を用いて、遮蔽されている路面領域のデータを補完する（ステップＳ２６０）。そして、画像処理部１３２は、路面領域のデータを補完した俯瞰図データを、行動計画生成部１４０に出力する。

その後、行動計画生成部１４０は、画像処理部１３２から出力された俯瞰図データに基づいて、目標軌道を生成する（ステップＳ２７０）。これにより、第２制御部１６０は、行動計画生成部１４０が生成した目標軌道を順次通過するように、自車両Ｍの走行を制御する。

［俯瞰図データおよび目標軌道の生成例］
図７は、第２実施形態に係る画像処理部１３２および行動計画生成部１４０による一連の処理の一例を模式的に示す図である。図７には、画像処理部１３２が俯瞰図データを生成する際のそれぞれの処理の一例と、行動計画生成部１４０が生成する目標軌道の一例とを示している。なお、第２実施形態の画像処理部１３２におけるオクルージョン領域の補完処理は、第１実施形態の画像処理部１３２におけるオクルージョン領域の補完処理と同様に考えることによって容易に理解することができる。従って、以下の説明においては、第２実施形態の画像処理部１３２によるオクルージョン領域の補完に関する説明は省略する。

画像処理部１３２は、図７の（ａ）に示したような画像をカメラ１０から取得すると、取得した画像に含まれるそれぞれの画素のデータと、その画素の周辺データ、つまり、その画素の周辺に位置する他画素のデータとの差異に基づいて、図７の（ｂ）に示したような、エッジ点ＥＰの画素を抽出する。

なお、第２実施形態でも、画像処理部１３２は、カメラ１０から時系列に複数の画像を取得する。このため、画像処理部１３２は、取得した複数の画像のそれぞれから、エッジ点ＥＰの画素を抽出する。ここでのエッジ点ＥＰの画素を抽出する処理は、第１実施形態の画像処理部１３２におけるエッジ点Ｅの画素を抽出する処理における俯瞰図をカメラ１０から取得した画像に読み替えればよい。

そして、画像処理部１３２は、図７の（ｃ）に示したような、抽出したそれぞれのエッジ点ＥＰの位置を仮想的な一つの俯瞰図に表した俯瞰図データを生成する。このとき、画像処理部１３２は、それぞれの画像から抽出したエッジ点ＥＰの位置を、仮想的な俯瞰図の対応する位置に配置することによって、俯瞰図に表した俯瞰図データを生成する。これにより、俯瞰図データには、遠方の領域（例えば、図７の（ｃ）における上方の領域）にもエッジ点ＥＰが配置されることになる。このようにして、画像処理部１３２は、カメラ１０から取得した時系列の複数の画像から抽出したエッジ点ＥＰが配置された、図７の（ｄ）に示したような俯瞰図データを生成する。

ところで、カメラ１０から時系列に取得した複数の画像から先にエッジ点ＥＰを抽出して俯瞰図データを生成した場合でも、俯瞰図データには、路面領域および路面領域内の車線を表す全てのエッジ点ＥＰが配置されずとは限らず、エッジ点ＥＰが配置されていない位置が残ってしまう、つまり、第１実施形態におけるデータ空白位置Ｎと同様の状態になることも考えられる。この場合、画像処理部１３２は、図７の（ｃ）に示したように、データ空白位置Ｎのエッジ点ＥＰを、このデータ空白位置Ｎの周辺データ、つまり、データ空白位置Ｎの周辺に位置する他のエッジ点ＥＰに基づいて補完してもよい。ただし、第２実施形態においてエッジ点ＥＰは、例えば、路面領域や、道路区画線、一時停止線の境界を表す位置であるか否かを表しているのみである。このため、第２実施形態では、第１実施形態のように周辺に位置する４つの画素の値を加算平均するような処理を行わずとも、データ空白位置Ｎの上下左右のいずれかがエッジ点ＥＰであれば、データ空白位置Ｎもエッジ点ＥＰであるとして、データ空白位置Ｎにおけるエッジ点ＥＰを補完してもよい。

このようにして、画像処理部１３２は、図７の（ａ）に示したようなカメラ１０から取得した画像からエッジ点ＥＰを抽出し、データ空白位置Ｎのエッジ点ＥＰを補完することによって、図７の（ｄ）に示したような一つの俯瞰図に表した俯瞰図データを生成する。なお、図７の（ｃ）においては、データ空白位置Ｎの範囲を１画素の範囲、つまり、１つのエッジ点ＥＰの範囲に相当する範囲として示していないが、画像処理部１３２は、それぞれのエッジ点ＥＰごとに俯瞰図に表した俯瞰図データを生成するため、１つのデータ空白位置Ｎの範囲も１つのエッジ点ＥＰの範囲、つまり、１画素の範囲に相当する範囲である。

画像処理部１３２は、生成した俯瞰図データを行動計画生成部１４０に出力する。これにより、行動計画生成部１４０は、画像処理部１３２から出力された俯瞰図データに基づいて、図７の（ｅ）に示したような目標軌道を生成する。図７の（ｅ）にも、自車両Ｍが次の交差点を右折するために、自車両Ｍが順次到達すべきそれぞれの軌道点Ｋを順に並べた目標軌道を生成した場合の一例を示している。

上記に述べたとおり、第２実施形態の車両システム１によれば、画像処理部１３２が、カメラ１０から取得した時系列の複数の画像および第２地図情報６２を用いることによって、画像を変換した俯瞰図に含まれる奥行き方向やオクルージョン領域における路面領域の境界、道路区画線、一時停止線などをより明確に表した俯瞰図データを生成して行動計画生成部１４０に出力する。これにより、行動計画生成部１４０は、カメラ１０が撮像した画像に対して目標軌道を生成するよりも、特に、奥行き方向に遠方の領域の精度を高めた目標軌道を生成することができる。つまり、第２実施形態の車両システム１によれば、より高い精度で自車両Ｍが走行するための走行経路を生成することができる。

［ハードウェア構成］
図８は、実施形態の自動運転制御装置１００のハードウェア構成の一例を示す図である。図示するように、自動運転制御装置１００は、通信コントローラ１００－１、ＣＰＵ１００－２、ワーキングメモリとして使用されるＲＡＭ（Random Access Memory）１００－３、ブートプログラムなどを格納するＲＯＭ（Read Only Memory）１００－４、フラッシュメモリやＨＤＤ（Hard Disk Drive）などの記憶装置１００－５、ドライブ装置１００－６などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ１００－１は、自動運転制御装置１００以外の構成要素との通信を行う。記憶装置１００－５には、ＣＰＵ１００－２が実行するプログラム１００－５ａが格納されている。このプログラムは、ＤＭＡ（Direct Memory Access）コントローラ（不図示）などによってＲＡＭ１００－３に展開されて、ＣＰＵ１００－２によって実行される。これによって、第１制御部１２０および第２制御部１６０、より具体的には、画像処理部１３２や、行動計画生成部１４０のうち一部または全部が実現される。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
画像取得装置から車両の進行方向の画像を取得し、
前記車両の周辺環境を認識し、
認識結果に基づいて、前記車両の速度制御および操舵制御による運転制御を行い、
前記画像に基づいて俯瞰図データを生成し、
前記俯瞰図データに基づいて前記車両を将来走行させる軌道を生成し、生成した前記軌道で前記車両を走行させる、
ように構成されている、車両システム。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何ら限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

１・・・車両システム
１０・・・カメラ
１２・・・レーダ装置
１４・・・ファインダ
１６・・・物体認識装置
２０・・・通信装置
３０・・・ＨＭＩ
４０・・・車両センサ
５０・・・ナビゲーション装置
５１・・・ＧＮＳＳ受信機
５２・・・ナビＨＭＩ
５３・・・経路決定部
５４・・・第１地図情報
６０・・・ＭＰＵ
６１・・・推奨車線決定部
６２・・・第２地図情報
８０・・・運転操作子
１００・・・自動運転制御装置
１２０・・・第１制御部
１３０・・・認識部
１３２・・・画像処理部
１４０・・・行動計画生成部
１６０・・・第２制御部
１６２・・・取得部
１６４・・・速度制御部
１６６・・・操舵制御部
２００・・・走行駆動力出力装置
２１０・・・ブレーキ装置
２２０・・・ステアリング装置
Ｍ・・・自車両
Ｎ・・・空白位置
Ｅ，ＥＰ・・・エッジ点
Ｋ・・・軌道点
Ｏ１，Ｏ２，Ｏ３，Ｏ４・・・オクルージョン領域
Ｃ１，Ｃ２，Ｃ３，Ｃ４・・・補完領域

Claims (7)

1. 車両の進行方向の複数の画像を時系列で取得する画像取得装置と、
   前記車両の周辺環境を認識する認識部と、
   前記認識部の認識結果に基づいて、前記車両の速度制御および操舵制御による運転制御を行う運転制御部と、を備え、
   前記認識部は、前記複数の画像を用いて、画像に撮像されている路面領域を仮想的に真上から見たように表した一つの俯瞰図データを生成する画像処理部、を備え、
   前記運転制御部は、前記俯瞰図データに基づいて前記車両を将来走行させる軌道を生成し、生成した前記軌道で前記車両を走行させ、
   前記画像処理部は、前記複数の画像における前記車両の前方の近傍領域のデータを位置合わせに用いて、前記複数の画像における遠方領域のデータに基づいて一つの前記俯瞰図データにおける遠方領域のデータを生成する、
   車両システム。
2. 前記画像処理部は、前記俯瞰図データに含まれるそれぞれのデータの周辺データとの差異に基づいてエッジ点を抽出し、
   前記認識部は、前記画像処理部が抽出した前記エッジ点に基づいて前記俯瞰図データに含まれる車線を認識する、
   請求項１に記載の車両システム。
3. 前記画像処理部は、前記画像に含まれるデータの周辺データとの差異に基づいてエッジ点を抽出し、抽出した前記エッジ点を用いて前記俯瞰図データにおける車線を規定する、 請求項１に記載の車両システム。
4. 前記画像処理部は、前記俯瞰図データに含まれる路面が物体で遮蔽された遮蔽領域を特定し、
   特定した前記遮蔽領域を、前記俯瞰図データにおける前記遮蔽領域周辺の画素データにより補完し、
   前記補完した俯瞰図を用い前記車両を将来走行させる軌道を生成し、生成した前記軌道で前記車両を走行させる、
   請求項１から３のうちいずれか１項に記載の車両システム。
5. 前記画像処理部は、前記遮蔽領域の補完に別途保存される地図情報を用いて、前記俯瞰図データの路面領域を表すデータを補完する、
   請求項４に記載の車両システム。
6. 車両システムのコンピュータが、
   画像取得装置から車両の進行方向の複数の画像を時系列で取得し、
   前記車両の周辺環境を認識し、
   認識結果に基づいて、前記車両の速度制御および操舵制御による運転制御を行い、
   前記複数の画像を用いて、画像に撮像されている路面領域を仮想的に真上から見たように表した一つの俯瞰図データを生成し、
   前記俯瞰図データに基づいて前記車両を将来走行させる軌道を生成し、生成した前記軌道で前記車両を走行させ、
   前記俯瞰図データを生成する際に、前記複数の画像における前記車両の前方の近傍領域のデータを位置合わせに用いて、前記画像取得装置が時系列に取得した複数の前記画像における遠方領域のデータに基づいて一つの前記俯瞰図データにおける遠方領域のデータを生成する、
   車両システムの制御方法。
7. 車両システムのコンピュータに、
   画像取得装置から車両の進行方向の複数の画像を時系列で取得させ、
   前記車両の周辺環境を認識させ、
   認識結果に基づいて、前記車両の速度制御および操舵制御による運転制御を行わせ、
   前記複数の画像を用いて、画像に撮像されている路面領域を仮想的に真上から見たように表した一つの俯瞰図データを生成させ、
   前記俯瞰図データに基づいて前記車両を将来走行させる軌道を生成し、生成した前記軌道で前記車両を走行させることを行わせ、
   前記俯瞰図データを生成させる際に、前記複数の画像における前記車両の前方の近傍領域のデータを位置合わせに用いて、前記画像取得装置が時系列に取得した複数の前記画像における遠方領域のデータに基づいて一つの前記俯瞰図データにおける遠方領域のデータを生成させる、
   プログラム。

Images