JP7302311B2 - 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム - Google Patents

Description

本開示は、車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラムに関する。

近年、自動運転機能を備える車両の開発が進められている。自車両を自動で運転させる場合、自車両の周辺に存在する物標、例えば、他車両との衝突を回避するように走行を制御する必要がある。そのため、車両の周辺に存在する物標の挙動を考慮しながら自動運転を実現するための技術の開発が求められている。この種の技術の一例として、例えば特許文献１には、自車両の周辺を走行する車両の行動の予測結果と、他車両の周辺を走行する車両の行動の予測結果とを利用して、自車両を自動で運転させる走行制御計画を生成する技術が開示されている。

特許第４３７１１３７号公報

例えば特許文献１に開示されている技術によれば、自車両の周辺を走行する車両の行動の予測結果だけでなく、他車両の周辺を走行する車両の行動の予測結果も考慮して、自車両の走行制御計画を生成することができ、より高精度な自動運転を実現できる可能性がある。しかしながら、従来の技術では、物標の挙動の予測結果は、あくまでも装置が利用するものとなっており、車両のユーザである例えばドライバは、装置が予測した挙動を知ることができない。そのため、ユーザは、物標の挙動のどのような予測結果に基づき車両の自動運転が制御されているのかを知ることができず、状況によっては、不安を感じてしまうことも懸念される。

そこで、本開示は、車両の周辺に存在する物標の挙動について、どのような挙動が予測されているのかをユーザに知らせることができるようにした車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラムを提供する。

本開示に係る車両用表示制御装置は、自動運転機能を備える車両に搭載される車両用表示制御装置２０であって、車両の周辺に存在する物標を検出する検出処理部５３と、前記検出処理部が検出する物標の挙動を予測する予測処理部５４と、前記予測処理部が予測する物標の挙動を示す挙動予測情報を表示部７，８，２３に表示する表示処理部５５と、ユーザの目線を特定する特定処理部５６と、前記表示部への前記挙動予測情報の表示を制御する表示制御処理部５７と、を備え、前記表示制御処理部は、前記特定処理部が特定するユーザの目線が、前記検出処理部が検出する物標に向かっている場合に、前記表示部に前記挙動予測情報を表示する。

本開示に係る車両用表示制御方法は、自動運転機能を備える車両に搭載される車両用表示制御装置２０を制御する車両用表示制御方法であって、車両の周辺に存在する物標を検出する検出処理と、前記検出処理により検出する物標の挙動を予測する予測処理と、前記予測処理により予測する物標の挙動を示す挙動予測情報を表示部７，８，２３に表示する表示処理と、ユーザの目線を特定する特定処理と、前記表示処理による前記挙動予測情報の表示を制御する表示制御処理と、を含み、前記表示制御処理では、前記特定処理により特定するユーザの目線が、前記検出処理により検出する物標に向かっている場合に、前記表示処理により前記挙動予測情報を表示する。

本開示に係る車両用表示制御プログラムは、コンピュータを、自動運転機能を備える車両に搭載される車両用表示制御装置２０として機能させるための車両用表示制御プログラムであって、車両の周辺に存在する物標を検出する検出処理と、前記検出処理により検出する物標の挙動を予測する予測処理と、前記予測処理により予測する物標の挙動を示す挙動予測情報を表示部７，８，２３に表示する表示処理と、ユーザの目線を特定する特定処理と、前記表示処理による前記挙動予測情報の表示を制御する表示制御処理と、を前記コンピュータに実行させ、前記表示制御処理では、前記特定処理により特定するユーザの目線が、前記検出処理により検出する物標に向かっている場合に、前記表示処理により前記挙動予測情報を表示させる。

本開示によれば、車両の周辺に存在する物標の挙動について、その挙動予測情報が表示部に表示される。よって、車両の周辺に存在する物標の挙動について、どのような挙動が予測されているのかをユーザに知らせることができ、ユーザが不安に感じてしまうことを抑制することができる。

本開示に係る車両用システムの構成例を概略的に示す図 本開示に係るヘッドアップディスプレイの車両への搭載例を概略的に示す図 本開示に係る車両の車室内における複数の表示部の配置例を概略的に示す図 本開示に係る車両用表示制御装置の制御系の構成例を概略的に示す図 本開示に係る挙動予測情報を表示する表示部の選定例を説明するための図 本開示に係るヘッドアップディスプレイへの挙動予測情報の表示例を概略的に示す図 本開示に係るメータ系表示部への挙動予測情報の表示例を概略的に示す図（その１） 本開示に係るメータ系表示部への挙動予測情報の表示例を概略的に示す図（その２） 本開示に係る車両用表示制御装置による制御例を概略的に示すフローチャート 本開示の変形例に係る車両用表示制御装置の制御系の構成例を概略的に示す図（その１） 本開示に係る挙動予測情報の通知方法の一例を概略的に示す図 本開示の変形例に係る車両用表示制御装置の制御系の構成例を概略的に示す図（その２）

以下、本開示に係る一実施形態について図面を参照しながら説明する。図１に例示する車両用システム１は、例えば道路上を走行する車両などの移動体に用いられるものであり、ＨＭＩシステム２（ＨＭＩ：Human Machine Interface）、ＡＤＡＳロケータ３（ＡＤＡＳ：Advanced Driver Assistance Systems）、周辺監視センサ４、車両制御ＥＣＵ５（ＥＣＵ：Electronic Control Unit）、運転支援ＥＣＵ６（ＥＣＵ：Electronic Control Unit）などを備えている。ＨＭＩシステム２、ＡＤＡＳロケータ３、周辺監視センサ４、車両制御ＥＣＵ５、運転支援ＥＣＵ６は、例えば、車両に搭載されている車内ＬＡＮ（ＬＡＮ：Local Area Network）にそれぞれ接続されている。

ＡＤＡＳロケータ３は、ＧＮＳＳ受信機３０（ＧＮＳＳ：Global Navigation Satellite System）、慣性センサ３１、地図データベース３２などを備えている。以下、地図データベース３２を地図ＤＢ３２と称する。ＧＮＳＳ受信機３０は、複数の人工衛星から測位信号を受信する。慣性センサ３１は、例えばジャイロセンサや加速度センサなどを備えている。ＡＤＡＳロケータ３は、ＧＮＳＳ受信機３０により受信する測位信号と、慣性センサ３１によるセンシング結果とを組み合わせることにより、車両用システム１が搭載されている自車両の車両位置を逐次測位する。そして、ＡＤＡＳロケータ３は、測位した車両位置を車内ＬＡＮを介して出力する。この場合、車両位置は、緯度および経度からなる座標系で表され、この座標系では、例えば、Ｘ軸が経度、Ｙ軸が緯度を示す。なお、車両位置の測位は、例えば、自車両に搭載されている車速センサによるセンシング結果に基づき求められる走行距離の情報などに基づいて行うなど、自車両の位置を特定できる構成であれば、種々の構成を採用することができる。

地図ＤＢ３２は、例えば不揮発性メモリーなどで構成されており、リンクデータ、ノードデータ、道路形状データなどの各種のデータを含む地図データを格納している。リンクデータは、地図上の道路を構成するリンクを特定するリンク識別データ、リンクの長さを示すリンク長データ、リンクの方位を示すリンク方位データ、リンクの走行に要する時間を示すリンク走行時間データ、リンクの始点および終点を構成するノードの座標を示すノード座標データ、道路の属性を示すリンク属性データなどの各種のデータを含む。ノードデータは、地図上に存在するノードを特定するノード識別データ、ノードの座標を示すノード座標データ、ノードの名称を示すノード名称データ、例えば交差点などのノードの種別を示すノード種別データ、ノードに接続するリンクを特定する接続リンクデータなどの各種のデータを含む。道路形状データは、地図上に存在する道路の形状を示すデータである。道路形状データには、道路の高度、道路の横断勾配、道路の縦断勾配などを示すデータが含まれている。

なお、地図データは、例えば車両に搭載されている通信モジュールなどを介して、自車両の外部から取得するようにしてもよい。また、地図データとして、道路形状の特徴点や地図上に存在する構造物の特徴点などの点群を含む三次元地図データを用いてもよい。また、三次元地図データを用いる場合、ＡＤＡＳロケータ３は、この三次元地図データや、点群を検出するＬＩＤＡＲ（Light Detection and Ranging/Laser Imaging Detection and Ranging）などによるセンシング結果などを用いて自車両の車両位置を特定する構成としてもよい。

周辺監視センサ４は、自車両の周辺環境を監視するセンサであり、この場合、自律的に動作する自律センサとして備えられている。周辺監視センサ４は、例えば、歩行者などの人間、人間以外の動物、自車両以外の車両などの自車両の周辺で移動する動的物標や、例えば、道路上に存在する落下物、道路の周辺に存在するガードレール、縁石、樹木などの自車両の周辺で静止している静的物標など、自車両の周辺に存在する対象物を検出する。また、周辺監視センサ４は、自車両の周辺の道路に設けられている走行区画線、一時停止線、横断歩道、例えば「止まれ」などと表記された指示標示などの路面標示を検出可能である。そして、周辺監視センサ４は、得られるセンシングデータを車内ＬＡＮに逐次出力する。周辺監視センサ４は、例えば、自車両周辺の所定範囲を撮像する周辺監視カメラ、自車両周辺の所定範囲に探査波を出力するミリ波レーダ、ソナー、ＬＩＤＡＲなどの探査波センサなどで構成される。

探査波センサは、対象物によって反射された反射波を受信することにより得られる受信信号に基づく走査結果を、センシングデータとして車内ＬＡＮに逐次出力する。より詳細に説明すると、探査波センサは、探査波を送信してから、対象物で反射される反射波を受信するまでの時間に基づいて、探査波センサから対象物までの距離を測定する。また、探査波センサは、反射波を受信する際の角度に基づいて、探査波センサに対する対象物の方位を測定する。なお、方位は、例えば方位角で表すことができ、例えば自車両の正面方向を基準として時計回りを正の方位角、反時計回りを負の方位角として表すことができる。

この場合、周辺監視センサ４は、少なくとも、自車両の前方の所定範囲を撮像範囲とする前方カメラ４１と、自車両の前方の所定範囲を探査範囲とするミリ波レーダ４２と、を備えた構成となっている。前方カメラ４１は、例えば、自車両のルームミラーや、インストルメントパネルの上面などに設けるとよい。また、ミリ波レーダ４２は、例えば、自車両のフロントグリルや、フロントバンパーなどに設けるとよい。ミリ波レーダ４２は、ミリ波または準ミリ波を自車両の前方のセンシング範囲に走査しながら送信し、対象物によって反射された反射波を受信することで、ミリ波レーダ４２に対する対象物までの距離および方位を測定する。前方カメラ４１によるセンシング範囲およびミリ波レーダ４２によるセンシング範囲は、一致させるようにしてもよいし、一致させないようにしてもよい。また、前方カメラ４１によるセンシング範囲とミリ波レーダ４２によるセンシング範囲は、少なくとも一部が重なっていてもよいし、重なっていなくてもよい。また、自車両の異なる箇所に、複数の周辺監視センサ４を備えるようにしてもよい。

車両制御ＥＣＵ５は、例えば、自車両の加速および減速の制御、操舵の制御、制動の制御などを行うための電子制御ユニットである。車両制御ＥＣＵ５は、自車両の加速および減速の制御を行うパワーユニット制御ＥＣＵ、自車両の操舵の制御を行う操舵制御ＥＣＵ、自車両の制動を制御するブレーキ制御ＥＣＵなどを含む。車両制御ＥＣＵ５は、自車両に搭載されているアクセルポジションセンサ、ブレーキ踏力センサ、舵角センサ、車輪速センサなどの各種のセンサから出力される検出信号に基づき、例えば、電子制御スロットル、ブレーキアクチュエータ、ＥＰＳモータ（ＥＰＳ：Electric Power Steering）などの各種の走行制御系のデバイスに制御信号を出力する。また、車両制御ＥＣＵ５は、各種のセンサから得られる検出信号を車内ＬＡＮに出力可能である。

運転支援ＥＣＵ６は、例えば、車両制御ＥＣＵ５と協働することにより、ドライバによる運転操作を支援する。運転支援ＥＣＵ６による支援には、自車両の走行を自動で制御する自動運転機能も含まれる。運転支援ＥＣＵ６は、ＡＤＡＳロケータ３から取得する自車両の車両位置、地図ＤＢ３２に格納されている地図データ、周辺監視センサ４から取得するセンシングデータなどに基づいて、自車両の走行環境を認識する。より詳細に説明すると、運転支援ＥＣＵ６は、例えば、周辺監視センサ４から取得するセンシングデータなどに基づいて、自車両の周辺に存在する物体の位置、形状、移動状態などを認識したり、自車両の周辺に存在する路面標示の位置、大きさ、内容などを認識したりすることが可能である。そして、運転支援ＥＣＵ６は、このように認識される情報と、地図データや自車両の車両位置などの情報を組み合わせることにより、自車両の周辺の実際の走行環境を三次元で再現した仮想空間を生成することが可能である。

また、運転支援ＥＣＵ６は、認識した走行環境に基づき、自動運転機能によって自車両を自動走行させるための走行計画を生成する。走行計画としては、長中期の走行計画や、短期の走行計画を生成することができる。短期の走行計画では、生成した自車両周辺の仮想空間を用いて、例えば、先行車との目標車間距離を維持するための加減速制御、車線追従や車線変更のための操舵制御、衝突回避のための制動制御などが決定される。長中期の走行計画では、自車両を目的地に到達させるための推奨経路や走行スケジュールなどが決定される。なお、運転支援ＥＣＵ６は、短期の走行計画および長中期の走行計画のうち何れか一方、例えば、短期の走行計画のみを生成するようにしてもよい。

運転支援ＥＣＵ６により実行される自動運転機能の一例としては、例えば、駆動力および制動力を調整することにより先行車との目標車間距離を維持するように自車両の走行速度を制御するＡＣＣ機能（ＡＣＣ：Adaptive Cruise Control）がある。また、自車両の前方のセンシング結果に基づき制動力を発生させることにより自車両を強制的に減速させるＡＥＢ機能（ＡＥＢ：Autonomous Emergency Braking）がある。なお、ＡＣＣ機能やＡＥＢ機能は、あくまでも一例であり、運転支援ＥＣＵ６は、その他の機能を備える構成としてもよい。

ＨＭＩシステム２は、ＨＣＵ２０（Human Machine Interface Control Unit）、操作デバイス２１、ＤＳＭ２２（Driver Status Monitor）、表示装置２３などを備えている。ＨＭＩシステム２は、自車両のユーザであるドライバによる入力操作を受け付けたり、自車両のドライバに向けて各種の情報を提示したりする。操作デバイス２１は、自車両のドライバにより操作される各種のスイッチ類を含んでいる。操作デバイス２１は、各種の設定などを行うために用いられる。具体的には、操作デバイス２１は、自車両のステアリングのスポーク部に設けられているステアリングスイッチなどで構成されている。

ＤＳＭ２２は、例えば、近赤外光を発生する光源、近赤外光を検知する近赤外光カメラ、これらを制御する制御ユニットなどを含んでいる。ＤＳＭ２２は、例えば、ステアリングコラムカバーやインストルメントパネルの上面などにおいて、近赤外光カメラを自車両の運転席に指向させた状態で配置されている。ＤＳＭ２２は、近赤外光の光源から近赤外光が照射されたドライバの頭部を近赤外光カメラによって撮像する。そして、近赤外光カメラによる撮像画像は、図示しない制御ユニットによって画像解析される。この制御ユニットは、例えば、ドライバの目を撮像画像から抽出し、自車両の車室内に設定されている基準位置に対するドライバの目の位置を視点位置として検出する。なお、基準位置は、例えば、近赤外光カメラの設置位置を設定することができる。そして、ＤＳＭ２２は、検出したドライバの視点位置を表す情報をＨＣＵ２０に出力する。また、制御ユニットは、近赤外光カメラによる撮像画像を画像解析することにより、ドライバの目線、つまり、ドライバの目がどの方向に向かっているのかを特定あるいは推測することが可能である。そして、ＤＳＭ２２は、特定あるいは推測されたドライバの目線の方向を表す目線情報をＨＣＵ２０に出力する。

表示装置２３は、ヘッドアップディスプレイ２３０（ＨＵＤ：Head Up Display）として構成されている。以下、ヘッドアップディスプレイ２３０を、ＨＵＤ２３０と称する。図２に例示するように、ＨＵＤ２３０は、例えば、自車両のインストルメントパネル１２に設けられている。ＨＵＤ２３０は、例えば、液晶式または走査式などのプロジェクタ２３１により、ＨＣＵ２０から出力される画像データに基づく表示画像を形成する。表示画像としては、例えば、車両の経路案内に関連する情報を表す画像などである。

ＨＵＤ２３０は、プロジェクタ２３１によって形成される表示画像を、例えば凹面鏡などを有する光学系２３２を介して、投影部の一例であるフロントウインドシールド１０に投影する。フロントウインドシールド１０には、投影領域Ｒが設けられており、プロジェクタ２３１によって形成される表示画像は、この投影領域Ｒ内に投影される。投影領域Ｒは、運転席の前方、特には、運転席に着座したドライバの前方に位置するように設けられている。ドライバは、ユーザの一例である。

フロントウインドシールド１０に投影された表示画像の光束は、運転席に着座しているドライバによって知覚つまり視認される。また、フロントウインドシールド１０は、例えば、透光性のガラス材などによって構成されており、自車両の前方に存在する風景つまり前景の光束も、運転席に着座しているドライバによって知覚つまり視認される。これにより、ドライバは、フロントウインドシールド１０の前方にて結像される表示画像の虚像を、虚像コンテンツ１００として前景の一部に重畳させた状態で視認可能となる。つまり、ＨＵＤ２３０は、自車両の前景に虚像コンテンツ１００を重畳表示することにより、いわゆるＡＲ表示（ＡＲ：Augmented Reality）を実現する。虚像コンテンツ１００は、少なくとも、自車両の走行支援に関連する情報、即ち、走行支援関連情報を視覚的に表すコンテンツである。走行支援関連情報としては、例えば、案内経路における自車両の進行方向などを示す経路案内関連情報、自車両を自動運転制御する場合における進路などを示す自動運転関連情報、自車両が走行するレーンを示すレーン情報、自車両の進行方向前方に存在するカーブを通知するカーブ通知情報、自車両の進行方向前方に歩行者が存在することを伝える歩行者情報、自車両の進行方向前方に停止線が存在することを伝える停止線情報など、自車両の走行支援に有用な情報であれば種々の情報を適用することができる。そして、例えば、歩行者情報を表す虚像コンテンツ１００として、重畳コンテンツは、自車両の進行方向前方の交差点や路面上に存在する歩行者または歩行者周辺に重畳表示されるコンテンツであり、非重畳コンテンツは、自車両の進行方向前方の交差点や路面の構成を示す鳥瞰画像内に、歩行者の位置を示すようにしたアイコンなどのコンテンツである。

なお、ＨＵＤ２３０が虚像コンテンツ１００を投影する投影部は、フロントウインドシールド１０に限られず、例えば、透光性のコンバイナなどで構成してもよい。また、表示装置２３は、例えば、コンビネーションメータ、ＣＵＤ（Center Information Display）などで構成してもよい。

ＨＣＵ２０は、例えば、プロセッサ、揮発性メモリー、不揮発性メモリー、入出力回路、これらを接続するバスなどを備えるマイクロコンピュータを主体として構成されている。ＨＣＵ２０は、ＨＵＤ２３０や車内ＬＡＮに接続されている。ＨＣＵ２０は、本開示に係る車両用表示制御装置の一例であり、例えば不揮発性メモリーなどの記憶媒体に格納されている制御プログラムを実行することにより、例えばＨＵＤ２３０などの表示部による表示などを制御する。この制御プログラムには、本開示に係る車両用表示制御プログラムが含まれている。また、ＨＣＵ２０は、制御プログラムを実行することにより、本開示に係る車両用表示制御方法が行われる。なお、メモリーは、例えば、コンピュータによって読み取り可能なプログラムやデータを非一時的に格納する非遷移的実体的記憶媒体（Non-transitory tangible storage medium）である。また、非遷移的実体的記憶媒体は、例えば、半導体メモリーや磁気ディスクなどによって実現することができる。

また、図１に例示するように、車両用システム１は、さらにメータ系表示部７を備えている。メータ系表示部７は、ＨＵＤ２３０のフロントウインドシールド１０とは異なる表示部の一例であり、例えば、自車両の走行速度やエンジンの回転速度などのメータ系の情報を表示可能な表示部である。また、メータ系表示部７は、後述するように、虚像コンテンツ１００が表す走行支援関連情報などの各種の情報も、虚像コンテンツ１００とは異なる態様、例えば液晶表示などにより表示可能である。また、車両用システム１は、さらにナビゲーション表示部８を備えている。ナビゲーション表示部８は、車両に搭載されるナビゲーション装置のディスプレイを構成している。ナビゲーション表示部８は、ＨＵＤ２３０のフロントウインドシールド１０とは異なる表示部の一例である。また、ナビゲーション表示部８は、虚像コンテンツ１００が表す走行支援関連情報などの各種の情報も、虚像コンテンツ１００とは異なる態様、例えば液晶表示などにより表示可能である。

図３に例示するように、ＨＵＤ２３０の投影領域Ｒは、フロントウインドシールド１０のうち運転席の前方正面に位置して設けられている。また、メータ系表示部７は、インストルメントパネル１２にあって、運転席の前方正面においてＨＵＤ２３０の投影領域Ｒよりも下方となる位置に設けられている。また、ナビゲーション表示部８は、インストルメントパネル１２の左右方向のほぼ中央部に位置して設けられている。なお、図３に示した各種の表示系構成要素の配置位置は、あくまでも一例であり、それぞれの表示系構成要素の配置位置は、適宜変更して実施することができる。

次に、ＨＵＤ２３０による表示の制御に関するＨＣＵ２０の構成例について、さらに詳細に説明する。図４に例示するように、ＨＣＵ２０は、車両用表示制御プログラムを実行することにより、重畳コンテンツ投影部５１、非重畳コンテンツ投影部５２、検出処理部５３、予測処理部５４、表示処理部５５、特定処理部５６、表示制御処理部５７をソフトウェアにより仮想的に実現する。なお、ＨＣＵ２０は、これらの処理部をハードウェアにより構成してもよいし、ソフトウェアとハードウェアの組み合わせにより構成してもよい。

重畳コンテンツ投影部５１は、重畳コンテンツ投影処理を実行する。重畳コンテンツ投影処理は、虚像コンテンツ１００の一例である重畳コンテンツ１０１を、自車両の前景に含まれる対象に重畳させるようにしてフロントウインドシールド１０の投影領域Ｒ内に投影する処理である。なお、重畳コンテンツ１０１は、自車両の前景に含まれる対象に積極的に張り付けるようにして投影される虚像コンテンツ１００であり、自車両の前景に含まれる対象に積極的に張り付けるようにして投影されない虚像コンテンツ１００、例えば、後述する非重畳コンテンツ１０２が偶発的に自車両の前景に含まれる対象に重畳する位置に投影される場合における当該非重畳コンテンツ１０２などとは異なるものである。具体的には、重畳コンテンツ１０１は、自車両の前景に含まれる対象、例えば、道路に沿うようにして投影される虚像コンテンツ１００、ドライバから見てフロントウインドシールド１０の奥行き方向、つまり、自車両の進行方向前方に向かって延びる虚像コンテンツ１００、自車両の前景に含まれる対象、例えば、自車両の進行方向前方に実際に存在する停止線などに重畳して投影された状態が自車両の移動に関わらず維持される虚像コンテンツ１００、ドライバの視点位置と、自車両の前方における実際の実景と、投影領域Ｒ内における投影位置との位置関係が所定の関係に維持される虚像コンテンツ１００、などである。

非重畳コンテンツ投影部５２は、非重畳コンテンツ投影処理を実行する。非重畳コンテンツ投影処理は、虚像コンテンツ１００の一例である非重畳コンテンツ１０２を、自車両の前景に含まれる対象に重畳させないようにしてフロントウインドシールド１０の投影領域Ｒ内に投影する処理である。なお、非重畳コンテンツ１０２は、自車両の前景に含まれる対象に積極的に張り付けるようにして投影されない虚像コンテンツ１００であるが、偶発的に、自車両の前景に含まれる対象に重畳した状態で投影される場合も有り得る虚像コンテンツ１００である。

検出処理部５３は、検出処理を実行する。検出処理は、車両の周辺に存在する物標を検出する処理である。この場合、検出処理部５３は、主として周辺監視センサ４によって、車両の周辺に存在する物標、例えば、他車両などを検出することが可能である。

予測処理部５４は、予測処理を実行する。予測処理は、検出処理部５３が検出する物標の挙動を予測する処理である。この場合、予測処理部５４は、主として周辺監視センサ４の前方カメラ４１やミリ波データ４２によって物標の実際の挙動を特定し、その特定した挙動を分析することにより、その後における当該物標の挙動を予測する。また、予測処理部５４は、検出処理部５３が検出した物標の挙動履歴を記憶し、この挙動履歴を分析することにより当該物標の今後の挙動を予測することが可能である。

表示処理部５５は、表示処理を実行する。表示処理は、予測処理部５４が予測する物標の挙動を示す挙動予測情報を、車両の車室内の異なる位置にそれぞれ配置されている複数の表示部、この場合、ＨＵＤ２３０の投影領域Ｒ、メータ系表示部７、ナビゲーション表示部８の少なくとも何れか１つの表示部に表示する処理である。

特定処理部５６は、特定処理を実行する。特定処理は、ユーザ、この場合、運転席に着座しているドライバの目線を特定する処理である。この場合、特定処理部５６は、主としてＤＳＭ２２よって、ドライバの目線を特定することが可能となっている。

表示制御処理部５７は、表示制御処理を実行する。表示制御処理は、車両に搭載されている複数の表示部への挙動予測情報の表示を制御する処理である。この場合、表示制御処理部５７は、特定処理部５６が特定するユーザの目線が、検出処理部５３が検出する物標に向かっている場合に、複数の表示部の何れかに挙動予測情報を表示することが可能である。具体的には、表示制御処理部５７は、特定処理部５６が特定するユーザの目線に最も近い表示部に挙動予測情報を表示することが可能である。

即ち、図５にポイントＰ１で例示するように、例えば直進時などにおいてドライバの目線が車両の進行方向前方、換言すれば、フロントウインドシールド１０のうち運転席の正面前方部分に向かっている場合には、表示制御処理部５７は、その目線を示すポイントＰ１に最も近い表示部、この場合、ＨＵＤ２３０の投影領域Ｒ内に挙動予測情報を表示する。また、図５にポイントＰ２で例示するように、例えば停車時においてドライバの目線がインストルメントパネル１２のうち運転席の正面前方部分、換言すれば、ステアリングやメータなどに向かっている場合には、表示制御処理部５７は、その目線を示すポイントＰ２に最も近い表示部、この場合、メータ系表示部７に挙動予測情報を表示する。また、図５にポイントＰ３で例示するように、例えば左折時などにおいてドライバの目線がフロントウインドシールド１０のうち運転席の前方左側部分に向かっている場合には、表示制御処理部５７は、その目線を示すポイントＰ３に最も近い表示部、この場合、ナビゲーション表示部８に挙動予測情報を表示する。

また、表示制御処理部５７は、特定処理部５６が特定するドライバの目線が、検出処理部５３が検出する物標に向かっている状態が所定時間以上継続している場合に、表示部に挙動予測情報を表示することが可能である。この場合、所定時間として、少なくとも１秒以上の時間を設定するとよい。即ち、表示制御処理部５７は、ドライバがある程度注視する物標、つまり、ドライバが関心を持っていると判定できる物標について、その挙動予測情報を提示するように構成するとよい。

次に、本開示に係る車両用表示制御装置２０による挙動予測情報の表示形態の例をいくつか説明する。

図６に例示する表示態様は、自動運転で走行中の自車両の前方左側に、くねくねと蛇行しながら進行する他車両Ｖｂが存在している場合における挙動予測情報Ｙ１の表示態様である。この場合、ＨＵＤ２３０の投影領域Ｒ内には、他車両Ｖｂが自車両側に近寄ってくる可能性があることを示す挙動予測情報Ｙ１が表示されている。この場合、挙動予測情報Ｙ１は、自車両側に向かう複数の矢印マークにより構成されたアイコン情報となっている。なお、挙動予測情報Ｙ１は、重畳コンテンツとして表示してもよいし、非重畳コンテンツとして表示してもよい。

図７に例示する表示態様は、同じく、自動運転で走行中の自車両の前方左側に、くねくねと蛇行しながら進行する他車両Ｖｂが存在している場合における挙動予測情報Ｙ１の表示態様である。この場合、メータ系表示部７には、他車両Ｖｂが自車両Ｖａ側に近寄ってくる可能性があることを示す挙動予測情報Ｙ１が表示されている。この場合、挙動予測情報Ｙ１は、自車両側に向かう複数の矢印マークにより構成されたアイコン情報となっている。なお、この場合、メータ系表示部７には、自車両Ｖａを示すアイコンのほか、他車両Ｖｂ以外の他車両Ｖｃを示すアイコンも表示されている。

図８に例示する表示態様は、同じく、自動運転で走行中の自車両の前方左側に、くねくねと蛇行しながら進行する他車両Ｖｂが存在している場合における挙動予測情報Ｙ１の表示態様である。この場合、メータ系表示部７には、他車両Ｖｂが自車両Ｖａ側に近寄ってくる可能性があることを示す挙動予測情報Ｙ１が表示されている。さらに、メータ系表示部７には、他車両Ｖｂのそれまでの走行軌跡を示す走行軌跡情報Ｙ２が表示されている。この走行軌跡情報Ｙ２は、他車両Ｖｂが、現在だけでなく過去においても、くねくねと蛇行しながら走行してきたことを示す蛇行状のアイコン情報となっている。この走行軌跡情報Ｙ２は、例えば、他車両Ｖｂについて周辺監視センサ４により得られる過去の履歴データを分析することにより生成することができる。

次に、本開示に係る車両用表示制御装置、この場合、ＨＣＵ２０による制御の一例について説明する。図９に例示するように、ＨＣＵ２０は、検出処理部５３により、車両の周辺に存在する物標、例えば、他車両の検出処理を実行する。そして、ＨＣＵ２０は、車両の周辺に存在する物標を検出すると（Ｓ１：ＹＥＳ）、その物標が示す挙動を記憶する（Ｓ２）。物標の挙動は、例えば周辺監視センサ４によって得られる各種のデータを分析することにより特定することができ、例えば、対象となる物標が他車両である場合には、その走行軌跡、走行態様、走行速度などの挙動を特定することが可能である。また、特定された挙動を示す挙動情報は、ＨＣＵ２０が備える図示しない記憶部に記憶される。なお、記憶部は、例えばメモリーなどといった記憶媒体により構成されている。

この場合、ＨＣＵ２０は、検出された物標の挙動を示す挙動情報をリアルタイムに動的に記憶部に記憶するようになっている。但し、ＨＣＵ２０は、例えば所定期間ごとに、その間に蓄積された挙動情報を一括して記憶部に記憶するようにしてもよい。

そして、ＨＣＵ２０は、記憶した物標の挙動情報に基づき、その物標の今後の挙動を予測する（Ｓ３）。そして、ＨＣＵ２０は、予測した物標の挙動が不安定であるか否かを判定する（Ｓ４）。即ち、ＨＣＵ２０は、その物標の挙動予測情報が示す走行軌跡、走行態様、走行速度などの挙動に基づき、予想される挙動が不安定であるか否かを判定する。具体的には、ＨＣＵ２０は、物標が、蛇行しながら走行している場合、車線から大きくはみ出している場合、走行速度が法定速度を超えている場合などに、その物標について予測される挙動が不安定であると判定するようになっている。

ＨＣＵ２０は、予測した物標の挙動が不安定ではないと判定した場合（Ｓ４：ＮＯ）には、この制御を終了する。しかし、ＨＣＵ２０は、予測した物標の挙動が不安定であると判定した場合（Ｓ４：ＹＥＳ）には、ユーザ、この場合、ドライバの視線が当該物標に向かっているか否か、即ち、ドライバが当該物標を注視しているか否かを判定する（Ｓ５）。

ＨＣＵ２０は、ドライバの視線が当該物標に向かっている場合（Ｓ５：ＹＥＳ）には、その視線に最も近い表示部に当該物標に係る挙動予測情報を表示して（Ｓ６）、この制御を終了する。この場合、ＨＣＵ２０は、ドライバが当該物標を注視している時間が所定時間以上継続していることを条件に挙動予測情報を表示するようにしてもよいし、ドライバが当該物標を注視している時間が所定時間以上継続していなくても挙動予測情報を表示するようにしてもよい。

一方、ＨＣＵ２０は、ドライバの視線が当該物標に向かっていない場合（Ｓ５：ＮＯ）には、誘導処理を実行して（Ｓ７）、この制御を終了する。誘導処理は、ドライバの目線を当該物標に向かうように誘導するための処理であり、例えば、ドライバの目線に最も近い表示部に、当該物標が存在している方向を示す情報、例えば、矢印マークを表示したり、当該物標が存在している方向を示す音声情報を図示しないスピーカから出力したり、例えば運転席やステアリングホイールを振動させたりする処理などが考えられる。誘導処理を振動で実現する場合、例えば、運転席やステアリングホールのうち物標が存在している側の部分を振動させることなどが考えられる。

本実施形態によれば、自車両の周辺に存在する例えば他車両などの物標の挙動について、その挙動予測情報が視覚的な情報として表示部に表示される。よって、自車両の周辺に存在する物標の挙動について、どのような挙動が予測されているのかをドライバに知らせることができ、ドライバが不安に感じてしまうことを抑制することができる。また、本実施形態によれば、挙動予測情報は、ドライバの目線が当該物標に向かっていることを条件に表示部に表示することが可能である。そのため、ドライバが注目している物標について、その挙動予測情報をドライバに提供することができ、ドライバが注目していない物標に関する挙動予測情報、つまり、ドライバにとって不要である可能性がある情報が提供されてしまうことを回避することができる。

また、本実施形態によれば、ドライバの目線に最も近い表示部に挙動予測情報を表示することが可能である。よって、ドライバは、視線を大きく変更あるいは全く変更しなくても挙動予測情報を確認することができ、より使い勝手のよい情報提供システムを実現することができる。なお、ドライバの目線に最も近い表示部が複数存在する場合には、複数の表示部に挙動予測情報を表示するようにしてもよいし、何れかの表示部を適宜選定して挙動予測情報を表示するようにしてもよい。また、ドライバの目線に最も近い表示部が複数存在する場合において何れかの表示部を選定する場合には、例えば、過去において挙動予測情報が表示された回数が多い表示部を選定するなど、適宜の手法により表示部を選定することができる。

また、本実施形態においては、ドライバの目線が物標に向かっている状態が所定時間以上継続している場合に、表示部に挙動予測情報が表示されるようにするとよい。これによれば、ドライバがある程度注視する物標、つまり、ドライバが関心を持っている可能性が高い物標について、その挙動予測情報が提示されるようになる。従って、ドライバが不要と思っている可能性がある物標に関する情報が提示されてしまうことを回避することができ、換言すれば、ドライバにとって有用な情報を効率良く提示することができる。

なお、本開示は、上述した一実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変更や拡張を行うことができる。例えば、ＨＣＵ２０は、まずはＨＵＤ２３０の投影領域Ｒ内に挙動予測情報を表示し、ドライバの目線がＨＵＤ２３０の投影領域Ｒから外れている場合、あるいは、ドライバの目線がＨＵＤ２３０の投影領域Ｒから外れた場合には、他の表示部に挙動予測情報を表示するようにしてもよい。また、他の表示部に挙動予測情報を表示する際には、そのときにおけるドライバの目線に最も近い表示部に挙動予測情報を表示するようにするとよい。即ち、車両の走行中においては、ドライバの目線は、進行方向前方に向かっている場合が殆どであると想定されるので、そのような目線に最も近いＨＵＤ２３０の投影領域Ｒ内に挙動予測情報を表示することにより、当該情報をドライバに効率良く伝えることができる。そして、ドライバの目線がＨＵＤ２３０の投影領域Ｒから外れている場合、あるいは、外れた場合には、その目線を追うようにして当該目線に最も近い表示部に挙動予測情報を表示することができ、ドライバの目線が車両の進行方向前方から変わったとしても挙動予測情報をドライバに伝達しやすくすることができる。

また、例えば図１０に例示するように、ＨＣＵ２０は、さらに判定処理部５８を備える構成としてもよい。ＨＣＵ２０は、車両用表示制御プログラムを実行することにより、判定処理部５８をソフトウェアにより仮想的に実現することが可能である。なお、ＨＣＵ２０は、判定処理部５８をハードウェアにより構成してもよいし、ソフトウェアとハードウェアの組み合わせにより構成してもよい。

判定処理部５８は、予測処理部５４が予測する物標の挙動の危険度を判定する。即ち、図１１に例示するように、判定処理部５８は、予測処理部５４が予測する物標の挙動の危険度を複数段階、この場合、少なくとも危険度「高」，「中」，「低」の３段階に分けて判定するように構成されている。そして、表示制御処理部５７は、判定処理部５８が判定する危険度が上昇するごとに、改めて表示部に挙動予測情報を表示するように構成されている。また、表示制御処理部５７は、判定処理部５８が判定する危険度が不変または低下した場合には、改めて表示部に挙動予測情報を表示しないように構成されている。

この構成によれば、対象となる物標について予想される挙動の危険度が上昇した場合に限って、その挙動予測情報をドライバに通知することができ、不必要に何度も挙動予測情報がドライバに通知されてしまうことを回避することができる。なお、判定処理部５８は、危険度を２段階に分けて判定するようにしてもよいし、４段階以上の多段階に分けて判定するようにしてもよい。また、表示制御処理部５７は、危険度が１段階でも上昇したら挙動予測情報を再表示するようにしてもよいし、複数段階、例えば、２段階上昇したら挙動予測情報を再表示するようにしてもよい。

また、図１２に例示するように、ＨＣＵ２０は、さらに評価結果入力処理部５９を備える構成としてもよい。ＨＣＵ２０は、車両用表示制御プログラムを実行することにより、評価結果入力処理部５９をソフトウェアにより仮想的に実現することが可能である。なお、ＨＣＵ２０は、評価結果入力処理部５９をハードウェアにより構成してもよいし、ソフトウェアとハードウェアの組み合わせにより構成してもよい。

評価結果入力処理部５９は、評価結果入力処理を実行する。評価結果入力処理は、表示部に表示される挙動予測情報が示す物標の挙動を評価した結果をＨＣＵ２０に入力するための処理である。即ち、ドライバは、表示部に表示される挙動予測情報について、その表示内容や表示タイミングなどが自身の納得するものであるか否かを評価する。そして、ドライバは、その評価結果を例えば操作デバイス２１などにより構成される入力部を介して評価結果入力処理部５９、ひいては、ＨＣＵ２０に入力する。そして、ＨＣＵ２０は、入力された評価結果に基づき、挙動予測情報の表示態様、例えば、表示内容や表示タイミングなどを調整するようにするとよい。即ち、ＨＣＵ２０は、入力された評価結果に基づく学習機能を備えることにより、よりドライバの要求に応じた態様で挙動予測情報を表示できるようになる。

入力部としては、操作デバイス２１の他、例えば表示部のディスプレイ上に形成されるタッチボタン、運転席から手の届く範囲に設けられる機械式のボタンなどが考えられる。また、入力部としては、挙動予測情報がドライバの予測する内容と一致することを入力するための一致ボタン、および、一致しないことを入力する不一致ボタンを備える構成としてもよいし、挙動予測情報の内容を複数段階、例えば、「優」，「良」，「可」の３段階に分けて評価できるボタン群で構成してもよい。即ち、入力部は、何らかのかたちで挙動予測情報を評価できるものであれば、種々の構成を適用することができる。

また、図１０に例示した制御系の構成例と図１２に例示した制御系の構成例とを組み合わせた構成としてもよい。即ち、ＨＣＵ２０は、判定処理部５８および評価結果入力処理部５９の双方を備えた構成としてもよい。また、本開示は、自動運転機能により自動で走行している状況における車両に適用することができ、また、自動運転機能ではなくドライバによる操作に基づき走行している状況における車両にも適用することができる。また、表示部は、車両に搭載可能な表示部であれば種々の表示部を適用することができる。また、複数の表示部の配置位置は、適宜変更して実施することができる。

なお、本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

また、本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

図面中、７はメータ系表示部（表示部）、８はナビゲーション表示部（表示部）、２０はＨＣＵ（車両用表示制御装置）、２３は表示装置（表示部）、５３は検出処理部、５４は予測処理部、５５は表示処理部、５６は特定処理部、５７は表示制御処理部、５８は判定処理部、５９は評価結果入力処理部を示す。

Claims (6)

1. 自動運転機能を備える車両に搭載される車両用表示制御装置（２０）であって、
   車両の周辺に存在する物標を検出する検出処理部（５３）と、
   前記検出処理部が検出する物標の挙動を予測する予測処理部（５４）と、
   前記予測処理部が予測する物標の挙動を示す挙動予測情報を表示部（７，８，２３）に表示する表示処理部（５５）と、
   ユーザの目線を特定する特定処理部（５６）と、
   前記表示部への前記挙動予測情報の表示を制御する表示制御処理部（５７）と、
   を備え、
   それぞれ異なる位置に複数の前記表示部（７，８，２３）が備えられており、
   前記表示制御処理部は、前記特定処理部が特定するユーザの目線が、前記検出処理部が検出する物標に向かっている場合に、前記特定処理部が特定するユーザの目線に最も近い前記表示部に前記挙動予測情報を表示する車両用表示制御装置。
2. 前記表示制御処理部は、前記特定処理部が特定するユーザの目線が、前記検出処理部が検出する物標に向かっている状態が所定時間以上継続している場合に、前記表示部に前記挙動予測情報を表示する請求項１に記載の車両用表示制御装置。
3. 前記予測処理部が予測する物標の挙動の危険度を判定する判定処理部（５８）をさらに備え、
   前記表示制御処理部は、前記判定処理部が判定する危険度が上昇するごとに、前記表示部に前記挙動予測情報を表示する請求項１または２に記載の車両用表示制御装置。
4. 前記表示部に表示される前記挙動予測情報が示す物標の挙動を評価した結果を入力する評価結果入力処理部（５９）をさらに備える請求項１から３の何れか１項に記載の車両用表示制御装置。
5. 自動運転機能を備える車両に搭載される車両用表示制御装置（２０）を制御する車両用表示制御方法であって、
   車両の周辺に存在する物標を検出する検出処理と、
   前記検出処理により検出する物標の挙動を予測する予測処理と、
   前記予測処理により予測する物標の挙動を示す挙動予測情報を表示部（７，８，２３）に表示する表示処理と、
   ユーザの目線を特定する特定処理と、
   前記表示処理による前記挙動予測情報の表示を制御する表示制御処理と、
   を含み、
   それぞれ異なる位置に複数の前記表示部（７，８，２３）が備えられており、
   前記表示制御処理では、前記特定処理により特定するユーザの目線が、前記検出処理により検出する物標に向かっている場合に、前記特定処理により特定するユーザの目線に最も近い前記表示部に前記表示処理により前記挙動予測情報を表示する車両用表示制御方法。
6. コンピュータを、
   自動運転機能を備え複数の表示部（７，８，２３）をそれぞれ異なる位置に備える車両に搭載される車両用表示制御装置（２０）として機能させるための車両用表示制御プログラムであって、
   車両の周辺に存在する物標を検出する検出処理と、
   前記検出処理により検出する物標の挙動を予測する予測処理と、
   前記予測処理により予測する物標の挙動を示す挙動予測情報を前記表示部に表示する表示処理と、
   ユーザの目線を特定する特定処理と、
   前記表示処理による前記挙動予測情報の表示を制御する表示制御処理と、
   を前記コンピュータに実行させ、
   前記表示制御処理では、前記特定処理により特定するユーザの目線が、前記検出処理により検出する物標に向かっている場合に、前記特定処理により特定するユーザの目線に最も近い前記表示部に前記表示処理により前記挙動予測情報を表示させる車両用表示制御プログラム。

Images