JP6349640B2 - 情報提供装置及び方法 - Google Patents

Description

本発明は、車両が緊急回避動作を行ったとき、緊急回避動作を行ったときの状況に関する情報を乗員に提供することができる情報提供装置及び方法に関する。

近年、車両の運転の一部または全てを運転者に代わって車両自体が行う自動運転の研究が進められている。一例として特許文献１には、雨や霧等で視界が悪い場合でも運転者が自動操舵の意図を理解できるよう、道路の輪郭等の仮想画像を生成して運転者に提示することが記載されている。

特開平１０−９７７００号公報

特許文献１に記載の技術では、将来の状況を示唆することはできるが過去に発生した状況を乗員に提供することはできない。具体的には、車両が緊急回避動作を行ったとき、乗員はどのような事態が発生して緊急回避動作が行われたかを知ることができない。

本発明は、自動運転車両が緊急回避動作を行ったときの状況を知ることができる情報提供装置及び方法を提供することを目的とする。

上記目的を達成するため、本発明は、自車両前方の画像を取得して記憶し、自車両が障害物を回避する要否を判定し、回避要と判定されたら、確認画像表示の指示が入力された際に、記憶した画像を読み出し、読み出された画像に基づいて、自車両が自動的に回避動作を開始した時点から、回避動作を終了した時点までの動画を確認画像として表示部に表示する。

本発明の情報提供装置及び方法によれば、自動運転車両が緊急回避動作を行ったときの状況を知ることができる。

一実施形態の情報提供装置を示すブロック図である。 一実施形態の情報提供装置を搭載した車両の一例を示す斜視図である。 図１中の制御部１０の機能的な内部構成を示すブロック図である。 車両が緊急回避動作を行ったときモニタに表示させる確認画像の第１の例を示す図である。 車両が緊急回避動作を行ったときモニタに表示させる確認画像の第２の例を示す図である。 一実施形態の情報提供装置の変形例を示す部分ブロック図である。 一実施形態の情報提供装置における動作及び一実施形態の情報提供方法による手順を示すフローチャートである。

以下、一実施形態の情報提供装置及び方法について、添付図面を参照して説明する。

図１に示す一実施形態の情報提供装置は、例えば図２に示す車両１００に搭載されている。図１において、測位部１１は、車両１００の現在位置を測位する。測位部１１は、例えば、ＧＰＳ衛星からのＧＰＳ電波を図２に示すＧＰＳアンテナ１１ａで受信して、車両１００の現在位置を測位する。

測位部１１が車両１００の現在位置を測位した測位データＤ１１は、制御部１０に入力される。測位部１１は、ジャイロ等のＧＰＳ以外の測位方法で車両１００の現在位置を測位してもよい。測位部１１は、ＧＰＳとジャイロとを組み合わせて現在位置を測位してもよい。測位部１１の機能を制御部１０の内部に設けてもよい。

地図情報保持部１２は、地図情報を保持する。地図情報は、３次元（３Ｄ）表示が可能な情報であることが好ましい。地図情報保持部１２は、ハードディスク・ドライブ，半導体メモリ，光ディスク等の任意の記録媒体でよい。地図情報保持部１２より出力された地図データＤ１２は、制御部１０に入力される。

図２に示すように、車両１００内には、車両１００から車両１００の外部前方を撮影するカメラ１３が取り付けられている。カメラ１３の取り付け位置は、図２に示す位置に限定されない。図２に示す例では、２つのカメラ１３によるいわゆるステレオカメラとしているが、カメラ１３は１つであってもよい。カメラ１３で車両１００の前方を撮影した撮影データＤ１３は、制御部１０に入力される。

車両１００の例えばフロントグリルの内側には、測距センサ１４が取り付けられている。測距センサ１４は、レーザレーダやミリ波レーダで構成することができる。測距センサ１４は、車両１００の前方に存在する物体との距離を測定する。測距センサ１４による測距データＤ１４は、制御部１０に入力される。

車両１００は、車両１００の速度を検出する車速センサ２１と、ステアリングの舵角を検出する舵角センサ２２とを備える。車速センサ２１による車速データＤ２１と、舵角センサ２２による舵角データＤ２２は、制御部１０に入力される。

車両１００は、自動運転の制御を実行する図示していない自動運転制御部を備える。即ち、車両１００は、運転者が存在しない状態で自動的に走行が制御される自動運転車両である。

制御部１０には、後述する各種の情報を記憶する記憶部１５が接続されている。記憶部１５は、例えば半導体メモリである。記憶部１５は、車両１００の外観形状や大きさ、色等の自車両データＤ151を記憶する自車両データ記憶部１５１を有する。自車両データＤ151は、制御部１０に入力される。

記憶部１５は、障害物のパターンデータＤ152を記憶する障害物パターンデータ記憶部１５２を有する。障害物のパターンデータＤ152とは、例えば自動車の外観形状を示すパターンデータや、自転車の外観形状を示すパターンデータである。パターンデータＤ152は、制御部１０に入力される。

自車両情報記憶部１５１を設けることは必須ではない。自車両情報記憶部１５１を設ければ、自車両の画像を用いて後述するシミュレーション画像を生成することが可能となる。よって、自車両情報記憶部１５１を設けることが好ましい。

障害物パターンデータ記憶部１５２を設けることも必須ではない。障害物パターンデータ記憶部１５２を設ければ、障害物を検出したときに、その障害物が自動車であるのか自転車であるのか等、障害物が何であるかを特定することが容易となる。よって、障害物パターンデータ記憶部１５２を設けることが好ましい。

記憶部１５は、車両１００が緊急回避動作を開始した時点から緊急回避動作を終了するまでの回避動作情報を記憶する回避動作情報記憶部１５３を有する。記憶部１５は、制御部１０が作成したシミュレーションデータＤ104を記憶するシミュレーションデータ記憶部１５４を有する。

制御部１０には、車両１００の乗員が操作する操作部１６が接続されている。操作部１６は、リモートコントローラであってもよい。制御部１０には、後述する確認画像を表示するモニタ（表示部）１７と、後述する確認音声を発生させるスピーカ１８とが接続されている。

乗員は、車両１００が緊急回避動作を行っている最中、または、緊急回避動作を行った後、どのような事態が発生して緊急回避動作が行われたか（自動運転車両が緊急回避動作を行ったときの状況）を知りたいときは、操作部１６を操作する。操作部１６は、モニタ１７に確認画像を表示させ、スピーカ１８によって確認音声を発生させるよう、制御部１０に指示信号Ｓ１６を供給する。

図３を用いて、制御部１０の具体的な動作について説明する。図３は、制御部１０の機能的な内部構成を示している。制御部１０をマイクロコンピュータで構成してもよい。以下に説明する制御部１０の動作は、コンピュータプログラムで実現することも可能である。

図３において、障害物検出部１０１には、撮影データＤ１３と測距データＤ１４とが入力される。障害物検出部１０１には、障害物パターンデータ記憶部１５２から読み出されたパターンデータＤ152が入力される。障害物検出部１０１は、撮影データＤ１３と測距データＤ１４との少なくとも一方、好ましくは双方を用いて、車両１００の前方に存在する障害物を検出する。

障害物とは、車両１００の安全な走行に対する妨げとなる物体（人を含む）である。例えば、走行中の車両１００の前方に飛び出してくる人物，自転車，自動車等が障害物に当たる。

障害物検出部１０１は、障害物の位置及び移動速度を含む障害物検出データＤ101を生成する。

障害物検出部１０１は、障害物とパターンデータＤ152とをパターンマッチングさせれば、障害物が何であるかを特定することができる。障害物検出部１０１は、例えば、障害物が自転車であるとか、自動車であると特定する。障害物検出部１０２は、パターンデータＤ152を用いて障害物を検出することが好ましい。障害物検出データＤ101は、障害物が何であるかを示す情報を含むことが好ましい。

緊急回避判定部１０２には、障害物検出部１０１が障害物を検出したことを示す情報が入力される。緊急回避判定部１０２に障害物検出データＤ101を入力してもよい。緊急回避判定部１０２には、車速データＤ２１及び舵角データＤ２２も入力される。緊急回避判定部１０２は、少なくとも障害物検出部１０１による障害物の検出結果に基づいて、自車両が障害物を緊急回避する要否を判定する。緊急回避判定部１０２は、緊急回避判定部として動作する。

緊急回避判定部１０２は、障害物の検出結果と、車速データＤ２１及び舵角データＤ２２とに基づいて緊急回避の要否を判定してもよい。車速データＤ２１及び舵角データＤ２２を参照して緊急回避の要否を判定した方が、要否判定の正確性が増す。

緊急回避判定部１０２は、緊急回避要と判定したとき、緊急回避要を示す判定データＤ102を書き込み制御部１０５，確認画像データ生成部１０７，確認音声データ生成部１０８に供給する。

また、緊急回避判定部１０２は、車速データＤ２１と舵角データＤ２２とに基づいて、車両１００が実際に緊急回避動作を開始した否かを判定する。具体的には、車速が所定の速度以上で、単位時間当たりの車速の変化量が基準値以上であったり、単位時間当たりのステアリングの舵角の変化量が基準値以上であったりした場合に、緊急回避動作を開始したと判定することができる。

緊急回避動作とは、障害物と衝突する可能性があるときに、障害物との衝突を回避する衝突回避動作であるとも言える。

緊急回避判定部１０２は、車両１００の走行状態に基づいて、車両１００が障害物の緊急回避動作を開始したか否かを判定すればよい。車速データＤ２１と舵角データＤ２２との少なくとも一方（好ましくは双方）は、車両１００の走行状態を知るための情報の例である。

緊急回避判定部１０２は、車両１００が緊急回避動作を開始したと判定した時点で回避動作開始データＤ102sを生成し、緊急回避動作を終了したと判定した時点で回避動作終了データＤ102eを生成する。

回避動作開始データＤ102sは、回避動作開始時情報一時記憶部１０３，シミュレーション部１０４，書き込み制御部１０５，確認画像データ生成部１０７，確認音声データ生成部１０８に入力される。回避動作終了データＤ102eは、シミュレーション部１０４及び書き込み制御部１０５に入力される。

回避動作開始時情報一時記憶部１０３は、回避動作開始データＤ102sが入力されたら、回避動作開始データＤ102sが入力された時点の、測位データＤ１１と、車速データＤ２１と、舵角データＤ２２と、障害物検出データＤ101を一時的に記憶する。回避動作開始時情報一時記憶部１０３に一時記憶された各データは、シミュレーション部１０４に入力される。

シミュレーション部１０４は、緊急回避動作を開始した時点の車両１００の位置から、仮に緊急回避動作を行わず、緊急回避動作を開始した時点の車速と舵角そのままの状態で走行したときの車両１００の挙動をシミュレーションする。シミュレーション部１０４は、少なくとも緊急回避動作を開始した時点の車両１００の位置と車速とを用いて車両１００の挙動をシミュレーションする。

シミュレーション部１０４は、緊急回避動作の開始から終了までの期間、緊急回避動作を行わなかったと仮定したときの車両１００の挙動を示すシミュレーションデータＤ104を生成する。シミュレーションデータＤ104は、記憶部１５に入力される。シミュレーションデータ記憶部１５４は、シミュレーションデータＤ104を記憶する。

書き込み制御部１０５は、緊急回避動作の開始から終了までの期間、回避動作情報記憶部１５３に、測位データＤ１１と、撮影データＤ１３と、車速データＤ２１と、舵角データＤ２２と、障害物検出データＤ101を書き込むよう、回避動作情報記憶部１５３を制御する。

書き込み制御部１０５は、判定データＤ102が入力されたら回避動作情報記憶部１５３に上記の各データを書き込むよう、回避動作情報記憶部１５３を制御してもよい。この場合、書き込み制御部１０５は、判定データＤ102が入力された時点から回避動作終了データＤ102eが入力される時点まで、上記の各データを回避動作情報記憶部１５３に書き込むよう制御すればよい。

確認画像データ生成部１０７には、地図データＤ１２が入力される。車両１００が緊急回避動作を行った後に、乗員がどのような事態が発生して緊急回避動作が行われたかを知るために操作部１６を操作したとする。操作部１６は、指示信号Ｓ１６を確認画像データ生成部１０７及び確認音声データ生成部１０８に供給する。

緊急回避判定部１０２によって緊急回避要と判定されたら、確認画像データ生成部１０７及び確認音声データ生成部１０８には判定データＤ102が入力される。また、車両１００が緊急回避動作を行った場合には、確認画像データ生成部１０７及び確認音声データ生成部１０８には回避動作開始データＤ102sが入力される。

よって、確認画像データ生成部１０７及び確認音声データ生成部１０８は、緊急回避要と判定されて緊急回避動作を行ったであろう状態で、操作部１６によって指示されたときに、確認画像データ及び確認音声データを生成することができる。または、確認画像データ生成部１０７及び確認音声データ生成部１０８は、車両１００が実際に緊急回避動作を行って、操作部１６によって指示されたときに、確認画像データ及び確認音声データを生成することができる。

確認画像データ生成部１０７には、回避動作情報記憶部１５３に記憶されている少なくとも緊急回避動作の開始から終了までの期間の、測位データＤ１１，撮影データＤ１３，車速データＤ２１，舵角データＤ２２，障害物検出データＤ101が入力される。また、確認画像データ生成部１０７には、シミュレーションデータ記憶部１５４に記憶されているシミュレーションデータＤ104が入力される。

さらに、確認画像データ生成部１０７には、自車両データ記憶部１５１に記憶されている自車両データＤ151と、障害物パターンデータ記憶部１５２に記憶されているパターンデータＤ152とが入力される。

確認画像データ生成部１０７は、第１の例として、撮影データＤ１３を用いて確認画像データを生成する。図４の（ａ），（ｂ）は、モニタ１７に、撮影データＤ１３を用いて生成した確認画像データによる確認画像の例を示している。図４の（ａ），（ｂ）に示す確認画像は、車両１００から車両１００の前方を見た視点の確認画像である。

図４の（ａ），（ｂ）に示すように、ここでは自転車である障害物Obsが車両１００前方の右方向から左方向へと移動していることが分かる。図４の（ａ），（ｂ）では車両１００自体は映っていないが、車両１００と障害物Obsとの相対的な位置関係を確認することができる。

図４の（ａ），（ｂ）に示す確認画像の第１の例は、緊急回避動作を行った車両１００の挙動（第１の挙動）を、車両１００から車両１００の外部を見た画像によって実質的に可視化させている。

確認画像データ生成部１０７は、障害物検出データＤ101に基づいて、障害物Obsを強調表示する確認画像データを生成してもよい。障害物Obsの強調の仕方は任意であり、例えば円や楕円で障害物Obsを囲んでもよい。

図４では（ａ）と（ｂ）の２つの画像しか示していないが、確認画像データによる確認画像は動画であることが好ましい。確認画像データを複数の静止画データで形成し、確認画像を複数枚の静止画とするのも好適である。但し、この場合は、静止画の枚数はできるだけ多いことが好ましい。

図４の（ａ），（ｂ）に示す第１の例では、車両１００は表示されない。確認画像データ生成部１０７は、測位データＤ１１と自車両データＤ151とを用いて、緊急回避動作の開始から終了までの期間の、自車両の挙動を示す仮想的な挙動画像を示す画像データを生成してもよい。確認画像データ生成部１０７は、仮想的な挙動画像を示す画像データを含む確認画像データを生成してもよい。

確認画像データ生成部１０７は、第２の例として、シミュレーションデータＤ104を用いて確認画像データを生成する。図５の（ａ），（ｂ）は、モニタ１７に、地図データＤ１２に基づく３Ｄの背景画像を表示し、この背景画像上に、シミュレーションデータＤ104を用いて生成した確認画像データによる確認画像を表示した例を示している。

図５の（ａ），（ｂ）に示す確認画像は、視点を車両１００の外に置き、車両１００の外側より車両１００及び障害物Obsが見える方向を見た仮想画像による確認画像である。図５の（ａ），（ｂ）に示す車両１００は、自車両データＤ151に基づいて生成した仮想画像である。自車両データＤ151を用いて車両１００の仮想画像を生成することにより、自車両そのものを示すことができるので、違和感を覚えにくい。

図５の（ｂ）において、実線で示す車両１００は、緊急回避動作を行った実際の位置上の車両１００を示している。二点差線で示す車両１００は、緊急回避動作を行わなかったと仮定した場合の仮想的な位置上の車両１００を示している。車両１００が緊急回避動作を行わなかったとすれば、車両１００は障害物Obsと接触していたことが分かる。

図５の（ａ），（ｂ）に示す確認画像の第２の例によれば、緊急回避動作を行わなかったと仮定してシミュレーションした場合の車両１００の仮想的な挙動（第２の挙動）を可視化させることができる。

実際の位置上の車両１００と仮想的な位置上の車両１００との色を異ならせてもよい。例えば、実際の位置上の車両１００を濃く、仮想的な位置上の車両１００を薄くして、濃度（透過率）を異ならせてもよい。

図５の（ｂ）では、実線で示す実際の位置上の車両１００と、二点差線で示す仮想的な位置上の車両１００とを同時にモニタ１７に表示しているが、別々のタイミングで表示してもよい。実際の位置上の車両１００と仮想的な位置上の車両１００とをモニタ１７に交互に表示するような確認画像データとしてもよい。モニタ１７の同一画面上に、同一または異なるタイミングで両者が比較できるように表示すればよい。

モニタ１７の画面を２分割し、一方に実際の位置上の車両１００を、他方に仮想的な位置上の車両１００を表示してもよい。

図５においても、仮想画像による確認画像は動画であることが好ましく、複数枚の静止画としてもよい。

ところで、近年、道路を撮影した実画像データを提供するサーバがある。道路を撮影した実画像データは容易に取得可能である。そこで、地図データＤ１２に基づいて生成した仮想画像による背景画像の代わりに、実画像を背景画像としてもよい。

図６に示す変形例は、図１と異なる部分を図示し、共通部分の図示を省略している。図６において、通信部１９は、制御部１０による制御に基づいて、画像提供サーバ３０と通信する。通信部１９は、画像提供サーバ３０より提供される道路を撮影した実画像データを取得して制御部１０に供給する。

実画像データは、図３に示す制御部１０内の確認画像データ生成部１０７に入力される。確認画像データ生成部１０７は、実画像データによる背景画像上に、仮想的な車両１００と障害物Obsとを表示する確認画像データを生成する。

図６に示す変形例によれば、視点を車両１００の外に置き、車両１００の外側より車両１００及び障害物Obsが見える方向を見た背景画像を実画像とすることができる。よって、乗員があたかも実際に車両１００の外に出て、車両が緊急回避動作を行ったときの状況を見るような確認画像とすることができる。

図３に戻り、確認音声データ生成部１０８は、確認指示信号Ｓ１６が入力されたら、例えば、「障害物を緊急回避しました。」、「障害物を回避するために急ブレーキをかけました。」のような音声をスピーカ１８より発生させる。これにより、乗員は、車両１００が緊急回避動作を行ったときの状況（理由等）を知ることができる。

確認音声データ生成部１０８に障害物が何であるかを示す情報を含む障害物検出データＤ101を入力すれば、「自転車を緊急回避しました。」、「自転車を回避するために急ブレーキをかけました。」のような音声をスピーカ１８より発生させることも可能である。

確認音声データ生成部１０８を設けることは必須ではないが、確認音声データ生成部１０８を設けることが好ましい。

図７に示すフローチャートを用いて、一実施形態の情報提供装置における動作及び一実施形態の情報提供方法による手順について、改めて説明する。

制御部１０は、ステップＳ１にて、自車両及び車外情報を取得する。自車両情報とは、測位データＤ１１と車速データＤ２１と舵角データＤ２２である。車外情報とは、撮影データＤ１３と測距データＤ１４である。制御部１０は、ステップＳ２にて、緊急回避動作を開始したか否かを自車両情報に基づいて判定する。

制御部１０は、ステップＳ２にて、緊急回避動作を開始したか否かを判定する代わりに、緊急回避の要否を判定してもよい。以下のステップでは、緊急回避動作を開始したとの判定は、緊急回避要との判定に置き換えればよい。

緊急回避動作を開始したと判定されれば（YES）、制御部１０は、処理をステップＳ３に移行させ、緊急回避動作を開始したと判定されなければ（NO）、処理をステップＳ１に戻してステップＳ１，Ｓ２を繰り返す。

制御部１０は、ステップＳ３にて、回避動作開始時の情報を回避動作開始時情報一時記憶部１０３に一時記憶させる。制御部１０は、ステップＳ４にて、回避動作中の情報を記憶部１５に記憶させる。制御部１０は、ステップＳ５にて、緊急回避動作を終了したか否かを判定する。

緊急回避動作を終了したと判定されれば（YES）、制御部１０は、処理をステップＳ６に移行させ、緊急回避動作を終了したと判定されなければ（NO）、処理をステップＳ４に戻してステップＳ４，Ｓ５を繰り返す。

制御部１０は、ステップＳ６にて、緊急回避動作をしなかったと仮定した場合のシミュレーションデータを生成する。制御部１０は、ステップＳ７にて、操作部１６より確認画像表示の指示がなされたか否かを判定する。確認画像表示の指示がなされれば（YES）、制御部１０は、処理をステップＳ８に移行させ、確認画像表示の指示がなされなければ（NO）、処理を終了させる。

制御部１０は、ステップＳ８にて、確認画像データを生成してモニタ１７に供給し、ステップＳ９にて、確認音声データを生成してスピーカ１８に供給して、処理を終了させる。

以上のように、一実施形態の情報提供装置は、回避動作情報記憶部１５３と確認画像データ生成部１０７とを備えることにより、車両１００が緊急回避動作を行ったときの状況を知ることができる。

一実施形態の情報提供装置にシミュレーション部を設ければ、車両１００が緊急回避動作を行わなかったと仮定したときの挙動を可視化させることができる。

確認画像データ生成部１０７が、緊急回避動作を行ったときの車両１００の挙動と車両１００が緊急回避動作を行わなかったと仮定したときの挙動とを、同一または異なるタイミングで同一画面上に可視化させれば、両者を比較することができる。

一実施形態の情報提供装置に外部を撮影するカメラ１３を設ければ、確認画像データ生成部１０７はカメラ１３で撮影した撮影画像を用いて確認画像データを生成することができる。カメラ１３に限定されず、車両１００の外部前方の画像を取得する画像取得部を設ければよい。一実施形態の情報提供装置では、カメラ１３及び記憶部１５を画像取得部とする。

一実施形態の情報提供装置が地図情報保持部１２を備えれば、確認画像データ生成部１０７は、地図情報に基づいて生成した仮想画像データを用いて確認画像データを生成することができる。カメラ１３で撮影した撮影画像では表すことができない確認画像データを生成することが可能となる。

一実施形態の情報提供装置が画像提供サーバ３０より実画像データを取得する通信部１９を備えれば、画像データを用いて確認画像データを生成することができる。カメラ１３で撮影した撮影画像では表すことができない確認画像データを生成することができ、実際に見ているような確認画像とすることができる。

一実施形態の情報提供装置が確認画像を表示部に表示させるよう指示するための操作部１６を備えれば、乗員は必要なタイミングで確認画像を表示させることができる。一実施形態の情報提供装置が確認音声データをスピーカより出力させる確認音声データ生成部を備えれば、さらに確実に緊急回避動作を行ったときの状況を知ることができる。

別の観点では、一実施形態の情報提供装置は、次のように構成される。例えばカメラ１３及び記憶部１５である画像取得部は、運転者が存在しない状態で走行が自動的に制御される自車両の外部前方の画像を取得して、記憶する。障害物検出部１０１は、自車両の走行に対する障害物を検出する。緊急回避判定部１０２は、少なくとも障害物検出部１０１による障害物の検出結果に基づいて、自車両が障害物を緊急回避する要否を判定する。

確認画像データ生成部１０７（確認画像生成部）は、緊急回避判定部１０２によって緊急回避要と判定されたら、画像取得部（記憶部１５）より読み出された画像に基づいて、自車両が緊急回避動作を行った時点を含む画像を確認画像として生成する。自車両内に配置されている表示部としてのモニタ１７は、確認画像を表示する。

一実施形態の情報提供方法は、次の各ステップを含む。画像取得ステップは、運転者が存在しない状態で走行が自動的に制御される自車両の外部前方の画像を取得して、記憶する。障害物検出ステップは、自車両の走行に対する障害物を検出する。要否判定ステップは、少なくとも障害物検出ステップによる障害物の検出結果に基づいて、自車両が障害物を緊急回避する要否を判定する。

読み出しステップは、要否判定ステップにて緊急回避要と判定されたら、画像取得ステップにて取得した画像を読み出す。確認画像生成ステップは、読み出しステップにて読み出した画像に基づいて、自車両が緊急回避動作を行った時点を含む画像を確認画像として生成する。表示ステップは、確認画像を自車両内で表示部としてのモニタ１７に表示する。

よって、一実施形態の情報提供装置及び方法によれば、車両１００が緊急回避動作を行ったときの状況を知ることができる。

確認画像データ生成部１０７（確認画像生成部）は、自車両が緊急回避動作を行った時点の自車両の挙動を示す仮想的な挙動画像を含む確認画像を生成してもよい。

以上のように、一実施形態の情報提供装置及び方法による確認画像は、次のいずれかである。図４に示すように、カメラ１３で車両１００の前方を撮影した実画像を確認画像とすることができる。特に図示していないが、カメラ１３で車両１００の前方を撮影した実画像に、自車両の挙動を示す仮想的な挙動画像を付加した画像を確認画像とすることができる。

画像提供サーバ３０より取得した道路を撮影した実画像データに基づいて視点を変換した実画像の背景画像に対して、図５に示すように、自車両の挙動を示す仮想的な挙動画像を付加した画像を確認画像とすることができる。例えば地図データＤ１２に基づいて生成した視点を変換した仮想画像による背景画像に対して、図５に示すように、自車両の挙動を示す仮想的な挙動画像を付加した画像を確認画像とすることができる。

ところで、図１に示す一実施形態の情報提供装置においては、制御部１０において緊急回避動作の開始及び終了を検出している。自動運転の制御を実行する自動運転制御部が緊急回避動作を開始させ、終了させたとき、開始及び終了それぞれを示すデータを制御部１０に供給する構成とすることも可能である。

この場合には、一実施形態の情報提供装置は、図７のステップＳ３以降を実行させればよい。一実施形態の情報提供方法は、図７のステップＳ３以降の手順を実行すればよい。

図１におけるカメラ１３及び測距センサ１４を自動運転制御部に接続して、制御部１０にカメラ１３からの撮影データＤ１３を入力する構成であってもよい。制御部１０に自動運転制御部の機能を持たせることも可能である。

以上説明した一実施形態の情報提供装置及び方法においては、書き込み制御部１０５は、緊急回避要と判定した時点以降または緊急回避動作の開始を検出した時点以降の撮影データＤ１３を回避動作情報記憶部１５３に書き込むよう制御している。書き込み制御部１０５は、緊急回避動作の開始の検出とは無関係に常時撮影データＤ１３を回避動作情報記憶部１５３に書き込むよう制御してもよい。

この場合、回避動作情報記憶部１５３の容量は限られているため、所定時間以上過去の撮影データＤ１３に対して新たな撮影データＤ１３を上書きするようにするとよい。

緊急回避動作の開始の検出とは無関係に撮影データＤ１３を回避動作情報記憶部１５３に記憶させておけば、回避動作情報記憶部１５３は、緊急回避動作の開始から終了までの期間全ての撮影データＤ１３を確実に記憶させることができる。確認画像データ生成部１０７は、回避動作情報記憶部１５３に書き込まれた撮影データＤ１３のうち、緊急回避動作の開始から終了までの期間の撮影データＤ１３を読み出せばよい。

このように、書き込み制御部１０５は、緊急回避要と判定した時点以降で緊急回避動作の終了までの期間、または、緊急回避動作の開始から終了までの期間のみの撮影データＤ１３を回避動作情報記憶部１５３に書き込むことに限定されるものではない。

本発明は以上説明した一実施形態の情報提供装置及び方法に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

１２ 地図情報保持部
１３ カメラ（画像取得部）
１５ 記憶部（画像取得部）
１６ 操作部
１７ モニタ（表示部）
１８ スピーカ
１９ 通信部
１００ 車両
１０１ 障害物検出部
１０２ 緊急回避判定部
１０４ シミュレーション部
１０７ 確認画像データ生成部（確認画像生成部）
１０８ 確認音声データ生成部（確認音声生成部）

Claims (6)

1. 自動運転機能を備える車両に適用される情報提供装置であって、
   自車両前方の画像を取得し、記憶する画像取得部と、
   前記自車両の走行に対する障害物を検出する障害物検出部と、
   少なくとも前記障害物検出部による障害物の検出結果に基づいて、前記自車両が障害物を回避する要否を判定する回避判定部と、
   前記回避判定部によって回避要と判定されたら、前記画像取得部より読み出された前記画像に基づいて、前記自車両が自動的に回避動作を開始した時点から、回避動作を終了した時点までの動画を確認画像として生成する確認画像生成部と、
   確認画像表示の指示が入力された際に前記確認画像を前記自車両内で表示する表示部と、
   を備えることを特徴とする情報提供装置。
   
2. 自車両前方の画像を取得し、記憶する画像取得部と、
   前記自車両の走行に対する障害物を検出する障害物検出部と、
   少なくとも前記障害物検出部による障害物の検出結果に基づいて、前記自車両が障害物を回避する要否を判定する回避判定部と、を備え、
   前記画像取得部は、回避動作を開始した時点の前記自車両の位置及び移動速度を含む走行状態データと、前記障害物検出部で検出された回避動作中の障害物の位置及び移動速度を含む障害物検出データとをさらに記憶し、
   更に、
   前記走行状態データと前記障害物検出データとに基づいて、前記自車両が回避動作を行わなかったと仮定したときの前記自車両の挙動をシミュレーションしてシミュレーションデータを生成するシミュレーション部と、
   前記回避判定部によって回避要と判定されたら、前記画像取得部より読み出された前記画像に基づいて、前記自車両が回避動作を行った時点を含む確認画像、及び、前記シミュレーションデータを用いて生成した、前記自車両が回避動作を行わなかったと仮定したときの仮想確認画像、を生成する確認画像生成部と、
   前記確認画像、及び仮想確認画像を前記自車両内で表示する表示部と、
   を備えたことを特徴とする情報提供装置。
3. 地図情報を保持する地図情報保持部をさらに備え、
   前記確認画像生成部は、前記地図情報に基づいて前記自車両外部の視点から前記自車両が見える方向を見た仮想画像を生成し、前記仮想画像を用いて前記仮想確認画像を生成する
   ことを特徴とする請求項２記載の情報提供装置。
   
4. 画像提供サーバより、前記自車両外部の視点から前記自車両が見える方向を見た実画像を取得する通信部をさらに備え、
   前記確認画像生成部は、前記実画像を用いて前記仮想確認画像を生成する
   ことを特徴とする請求項２記載の情報提供装置。
5. 前記自車両の回避動作に関する確認音声を生成して、スピーカより出力させる確認音声生成部をさらに備えることを特徴とする請求項１〜４のいずれか１項に記載の情報提供装置。
6. 画像取得部が、自車両前方の画像を取得し、記憶する画像取得ステップと、
   障害物検出部が、前記自車両の走行に対する障害物を検出する障害物検出ステップと、
   回避判定部が、少なくとも前記障害物検出ステップによる障害物の検出結果に基づいて、前記自車両が障害物を回避する要否を判定する回避判定ステップと、を備え、
   前記画像取得ステップは、回避動作を開始した時点の前記自車両の位置及び移動速度を含む走行状態データと、前記障害物検出ステップで検出された回避動作中の障害物の位置及び移動速度を含む障害物検出データとをさらに記憶し、
   更に、
   シミュレーション部が、前記走行状態データと前記障害物検出データとに基づいて、前記自車両が回避動作を行わなかったと仮定したときの前記自車両の挙動をシミュレーションしてシミュレーションデータを生成するシミュレーションステップと、
   確認画像生成部が、前記回避判定部によって回避要と判定されたら、前記画像取得部より読み出された前記画像に基づいて、前記自車両が回避動作を行った時点を含む確認画像、及び、前記シミュレーションデータを用いて生成した、前記自車両が回避動作を行わなかったと仮定したときの仮想確認画像、を生成する確認画像生成ステップと、
   表示部が、前記確認画像、及び仮想確認画像を前記自車両内で表示する表示ステップと、
   を備えたことを特徴とする情報提供方法。
   

Images