JP7198742B2 - 自動運転車両、画像表示方法およびプログラム - Google Patents

Description

本発明は、車内ディスプレイに走行車両の周辺情報を表示する自動運転車両、画像表示方法およびプログラムに関する。

近年、運転者の負担を軽減し、快適な車両の運行を実現するために、自動運転と呼ばれる運転支援技術が鋭意提案されている。
自動運転に係る国際基準では、ドライバ要求タスクの軽重・有無、自動化度の高低に応じて、複数段階にわたるレベルが階層的に設定されている。また、あるレベルのなかでも、自動化を実現するための一群の要件を横並びで実現可能との観点を用いて、複数段階にわたる区分（カテゴリ）が階層的に設定されている。
例えば、レベル４（高度自動運転）やレベル５（完全自動運転）の自動運転では、ドライバが運転操作をオーバーライドする必要はない

上記のとおり、レベル４以上の自動運転中においては、ドライバは、運転操作に関わる必要がない。このため、他の乗員と同様に、ドライバが、車両のインフォテイメントシステム等を活用することが可能となる。
例えば、特許文献１には、車両の表示装置に複数の異なる表示形態で車両の走行経路などを表示する自動運転車両が開示されている。

特開２０１９－３２３０７号公報

特許文献１の技術によれば、複数の異なる表示形態で車両の環境を掲示し、環境に対応した複数の運転操作を選択可能しているので、自動運転中の最適な運転操作を選択することができる。
しかし、乗員が選択を行うことにより表示を切り替えており、状況によっては煩わしさがあった。

本発明は、乗員が情報選択を行いやすくなるとともに、操作の煩わしさを減少する自動運転車両を提供することを目的とする。

前記課題を解決するため、本発明の自動運転車両は、車両の周辺状況を示す画像を表示する表示部と、前記車両内の乗員の乗員感情を推定する乗員感情推定部と、前記車両の運転意図を認識する運転意図認識部と、前記乗員感情および前記運転意図に応じて情報量を可変した周辺状況を示す前記画像を、前記表示部に出力する表示制御部と、を備えるようにした。

本発明の自動運転車両によれば、乗員の状況と運転意図に応じ表示装置の情報量を可変するので、乗員が情報の選択を行いやすくなり、情報選択の煩わしさを減少させることができる。

実施形態の自動運転車両の制御ブロック構成図である。 自動運転車両の車室前部構造の一例を示す図である。 ＨＭＩ制御部の構成を説明するブロック図である。 乗員の感情度と運転意図の明確性と地図表示の関係を説明する図である。 ＨＭＩ制御部の処理概要を示すフロー図である。 乗員感情推定部が乗員の顔表情あるいは動作から感情分析する場合の処理フロー図である。 乗員感情推定部が乗員の会話から感情分析する場合の処理フロー図である。 Camera View”の表示形式の表示例である。 乗員の感情度が高く、付加情報量が多い表示形式の表示例である。 地図の詳細度が高い“3D Real Map”の表示例である。 運転意図認識部および表示制御部の詳細処理のフロー図である。 “Simple Map”の表示形式の表示例である。 信号機（交通不参加物標）が追加された表示例である。 樹木（交通不参加物標）が追加された表示例である。 鳥瞰図における地図画像の仮想視点と表示範囲の関係を説明する図である。 鳥瞰図における地図画像の仮想視点を変える処理フロー図である。

以下、本発明の実施形態を、図面を参照しながら詳細に説明する。
図１は、実施形態の自動運転車両Ｍの制御ブロック構成図である。
自動運転車両Ｍは、ガソリンエンジン等の内燃機関を動力源とした自動車、電動機を動力源とした電気自動車、内燃機関及び電動機を兼ね備えたハイブリッド自動車等を含み、二輪や三輪、四輪等の自動車である。

自動運転車両Ｍには、車両制御装置１、外界センサ２、ナビゲーション装置３、通信装置４、ＨＭＩ（Human Machine Interface）５、走行駆動装置６、ブレーキ装置７、ステアリング装置８、車両センサ９が搭載されている。

外界センサ２、ナビゲーション装置３、通信装置４、ＨＭＩ５、走行駆動装置６、ブレーキ装置７、ステアリング装置８、車両センサ９は、それぞれ、車両制御装置１との間で通信媒体を介して相互にデータ通信可能に接続して構成されている。

外界センサ２は、自動運転車両Ｍの周囲に存する物体や標識を含む物標に関する外界情報を検知する機能を有し、カメラ２１、レーダ２２、ライダ２３から成る。
カメラ２１は、複数のＣＭＯＳカメラやＣＣＤカメラから成り、自動運転車両Ｍの進行方向画像を撮像する機能を有する。自動運転車両Ｍの進行方向前方・右後側方・左後側方の様子を周期的に繰り返し撮像したカメラ２１の撮像画像は、後述する外界認識部１１に通知される。

レーダ２２は、自動運転車両Ｍの前方を走行する追従対象となる先行車を含む物標にレーダ波を照射する一方、物標で反射されたレーダ波を受信することにより、物標までの距離や物標の方位を含む物標の分布情報を取得する機能を有する。レーダ波としては、レーザ、マイクロ波、ミリ波、超音波などを適宜用いることができる。
また、レーダ２２は、例えば、自動運転車両Ｍのフロント側に３つ、リア側に２つの都合５つ設けられている。レーダ２２による物標の分布情報は、外界認識部１１に通知される。

ライダ２３（ＬＩＤＡＲ：Light Detection and Ranging）は、照射光に対する散乱光の検出に要する時間を計測することにより、物標の有無、及び物標までの距離を検知する。ライダ２３は、例えば、自動運転車両Ｍのフロント側に２つ、リア側に３つの都合５つ設けられている。ライダ２３による物標の分布情報は、外界認識部１１に通知される。

ナビゲーション装置３は、現在位置を地図上にマッピングすると共に目的地までの経路案内等を行う機能を有する。

通信装置４は、例えば、セルラー網、Ｗｉ－Ｆｉ網、Bluetooth（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）等の無線通信媒体を介して通信を行う機能を有する。
また、通信装置４は、スマートエントリーキーのシステムにおける通信部である。

ＨＭＩ５は、後述するＨＭＩ制御部１０により制御され、車両制御装置１と自動運転車両Ｍの乗員との間のコミュニケーションを行うためのデバイス群である。
アクセルペダル、ブレーキペダルおよびステアリングホイール等の運転操作の操作量を検出するセンサをＨＭＩ５としてもよい。
実施形態の自動運転車両Ｍでは、ＨＭＩ５は、インフォメーションパネル５１、車内マイク５２、ドライバーモニタカメラ５３を含むものとして説明する。

インフォメーションパネル５１は、後述するＨＭＩ制御部１０により制御され、車室内の乗員宛に車両の周辺状況を示す画像や各種情報を表示する表示部である。インフォメーションパネル５１は、特に限定されないが、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electroluminescence）、ＨＵＤ（Head Up Display）などによって構成される。
図２により、インフォメーションパネル５１の構成を説明する。

図２は、自動運転車両の車室前部構造の一例を示す図である。
図２に示すように、自動運転車両ＭのＨＭＩ５は、運転席に正対する位置に設けられるメータパネル５４と、運転席及び助手席にわたって対向するように設けられる、車幅方向（Ｙ方向）に横長のインフォメーションパネル５１と、車幅方向の運転席側に設けられた右側パネル５５Ｒと、車幅方向の助手席側に設けられた左側パネル５５Ｌと、を含む。

メータパネル５４には、例えば、スピードメータ、タコメータ、オドメータ、シフト位置情報、灯火類の点灯状況情報等が表示される。
インフォメーションパネル５１には、例えば、自動運転車両Ｍ周辺の地図情報、地図上における自動運転車両Ｍの現在位置情報、自動運転車両Ｍの現在の走行路・予定経路に関する交通情報（信号情報を含む）、自動運転車両Ｍの周囲に存する交通参加者（歩行者・自転車・オートバイ・他車両等を含む）に関する交通参加者情報、交通参加者に向けて発するメッセージ等の各種情報等が表示される。

右側パネル５５Ｒには、自動運転車両Ｍの右側に設けたカメラ２１により撮像した車両右側における後方及び下方の画像情報が表示される。
左側パネル５５Ｌには、自動運転車両Ｍの左側に設けたカメラ２１により撮像した車両左側における後方及び下方の画像情報が表示される。

図１に戻り、車内マイク５２は、自動運転車両Ｍの乗員の音声を検出する集音機器である。
ドライバーモニタカメラ５３は、ＣＣＤやＣＭＯＳ等の固体撮像素子を利用したデジタルカメラであり、インフォメーションパネル５１、バックミラーやステアリングボス部（いずれも不図示）に設けられ、少なくとも運転席に着座しているドライバを撮像する。
車内マイク５２で集音した音声情報およびドライバーモニタカメラ５３で撮像した画像情報あるいは映像情報は、ＨＭＩ制御部１０に通知される。

走行駆動装置６は、自動運転車両Ｍが走行するための駆動力（トルク）を駆動輪に出力する。走行駆動装置６は、内燃機関エンジンとエンジンＥＣＵ（Electronic Control Unit）あるいは走行用モータとモータＥＣＵを有し、後述する走行制御部１６から通知される情報に従って、走行する駆動力を制御する。

ブレーキ装置７は、自動運転車両Ｍを制動する電動サーボブレーキ装置あるいは電子制御式油圧ブレーキ装置であり、走行制御部１６から通知される情報に従って、制動力を制御する。

ステアリング装置８は、後述する自動運転制御部１５から通知される情報、あるいはハンドルの操舵角に応じて、自動運転車両Ｍの転舵輪の向きを変更する。

車両センサ９は、自動運転車両Ｍの車両状態に関する各種情報を検出するセンサ群である。
車両センサ９は、運転席に乗員が着座しているか否を検出するセンサである着座センサ（不図示）、ドライバがハンドルを把持しているか否を検出するセンサであるハンドル把持センサ（不図示）、自動運転車両Ｍの乗員が車両ドアのドアノブを握った（ドアハンドルに触れた）ことを検知するセンサであるドアノブセンサ（不図示）等から成る。

また、車両センサ９は、図示しない、車速を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、車両の向きを検出する方位センサ、車両の傾斜角度を検出する傾斜角センサ等の自動運転に関連する種々のセンサを有する。

つぎに、車両制御装置１の構成について説明する。
車両制御装置１は、一以上のプロセッサ又は同等の機能を有するハードウェアにより構成され、ＣＰＵ（Central Processing Unit）などのプロセッサ、記憶装置、及び通信インターフェースが内部バスによって接続されたＥＣＵ（Electronic Control Unit）、又はＭＰＵ（Micro-Processing Unit）などが組み合わされ構成されている。
車両制御装置１は、ＣＰＵのプログラムが実行されることで機能している。

自動運転制御部１５は、ドライバが運転操作を行うことなく、自動運転車両Ｍが自律制御して走行するための制御部である。
自動運転制御部１５は、記憶部１３の行動計画情報１３２に基づいて自動運転車両Ｍの走行軌道を求め、この走行軌道を自動運転車両Ｍが走行するように、走行制御部１６を制御する。

行動計画情報１３２は、外界認識部１１でカメラ２１、レーダ２２およびライダ２３により認識した自動運転車両Ｍの周囲に存する物体や標識を含む物標に関する外界情報と、自車位置認識部１２における慣性航法で算出した位置情報やＧＮＳＳ（Global Navigation Satellite System：全地球衛星航法システム）より取得した位置情報と、車線の中央や境界の情報・道路情報（３次元位置情報等）・交通規制情報・住所情報等が含まれる、記憶部１３の高精度地図情報１３１とから、行動計画生成部（不図示）が生成する。

運転支援制御部１４は、手動運転と５レベルの自動運転制御におけるオーバーライドやハンドオーバーによる移行制御を行う。
例えば、運転支援制御部１４は、レベル２の自動運転中（運転支援）中にハンドル把持センサ（不図示）を監視して、所定時間、ドライバがハンドルから手を放していることを検知すると、警告あるいは自動運転を解除する。

走行制御部１６は、自動運転制御部１５からの操作指示に基づいて、走行駆動装置６、ブレーキ装置７およびステアリング装置８と通信して、自動運転車両Ｍの走行を制御する。

ＨＭＩ制御部１０は、自動運転制御部１５や運転支援制御部１４による自動運転車両Ｍの制御状態をインフォメーションパネル５１に表示するとともに、車内マイク５２やドライバーモニタカメラ５３から情報取得して自動運転制御部１５や運転支援制御部１４に通知し、車両制御装置１と自動運転車両Ｍの乗員との間のコミュニケーションを制御する制御部である。
実施形態では、インフォメーションパネル５１に地図表示して、車両制御装置１と自動運転車両Ｍの乗員との間のコミュニケーションを行う場合について説明する。

図３により、ＨＭＩ制御部１０の構成を説明する。
ＨＭＩ制御部１０は、車両内の乗員の感情度を推定する乗員感情推定部１０１と、車両の運転意図を認識する運転意図認識部１０２と、乗員感情推定部１０１で推定した乗員の感情度と、運転意図認識部１０２で認識した運転意図に応じて、表示の情報量が可変された地図画像をインフォメーションパネル５１に出力する表示制御部１０３と、を備えている。
ここで、乗員の感情度は、乗員の感情を量的に示し、感情の高揚・気分の興奮・ポジティブと、気分の冷静・消沈・ネガティブとの間の度合い（尺度）を示す正負の値を意味する（正値が高揚を意味する）。

以後、実施形態のＨＭＩ制御部１０（乗員感情推定部１０１と運転意図認識部１０２と表示制御部１０３）を詳細に説明するが、その前に、実施形態におけるインフォメーションパネル５１に表示する地図画像の情報量の可変処理の概要を、図４により説明する。

図４は、“乗員の感情度”と“運転意図の明確性”と地図表示の関係を示す図である。
インフォメーションパネル５１に表示する地図画像には、その情報量のパラメータとして、細かい道の表示、立体表示、交通不参加物標の表示等の地図の詳細度と、店舗、道の詳細情報（道幅、車線数）等の付加情報量とがある。

実施形態の地図画像の表示では、例えば、後述する図８Ｃの“3D Real Map”表示は、地図の詳細度が高く、かつ、付加情報量が多い表示形式の地図となる。
また、図１０Ａの“Simple Map”表示は、地図の詳細度が低く、かつ、付加情報量が低い表示形式の地図となる。
そして、カメラ２１（図１参照）による周囲画像を表示している図８Ａの“Camera View”表示は、地図の詳細度と付加情報量とが中庸の表示形式の地図となる。
インフォメーションパネル５１は、地図の詳細度と付加情報量に応じた表示形式の地図画像を表示する。

ＨＭＩ制御部１０は、表示形式の異なる地図画像を表示するために、乗員（ドライバ）の「行きたいポイントが決まっている」、「飲食店に行きたい等方向性は決まっている」、「目的なし」等の“運転意図の明確性”の状態と、地図の詳細度とを対応付け、さらに、乗員（ドライバ）の感情度の大小と、地図の付加情報量とを対応付けている。

詳しくは、ＨＭＩ制御部１０は、乗員感情推定部１０１で推定した乗員の感情度を“乗員の感情度”として地図の付加情報量に対応づけて、乗員の感情度が大きい場合には、感情度に応じて地図の付加情報量を大きくする。
また、ＨＭＩ制御部１０は、運転意図認識部１０２で認識した移動目的等を“運転意図の明確性”として地図の詳細度に対応づけて、運転の意図の明確性が大きい場合には、明確性に応じて地図の詳細度を大きくする。
そして、ＨＭＩ制御部１０は、表示制御部１０３において“乗員の感情度”と“運転意図の明確性”とに対応する付加情報量と詳細度とを有する表示形式の地図画像をインフォメーションパネル５１に出力する。

以後、ＨＭＩ制御部１０（乗員感情推定部１０１と運転意図認識部１０２と表示制御部１０３）の処理を詳細に説明する。
図５は、ＨＭＩ制御部１０の処理概要を示すフロー図である。

ステップＳ５１で、ＨＭＩ制御部１０の乗員感情推定部１０１は、ドライバーモニタカメラ５３で撮像した車両内の乗員の撮像画像に基づいて、乗員の感情度を推定する。
ステップＳ５２で、乗員感情推定部１０１は、ステップＳ５１に検出した乗員の感情度に対応する地図の付加情報量を求める。

ステップＳ５３で、ＨＭＩ制御部１０の運転意図認識部１０２は、ナビゲーション装置３の設定値等に基づき、車両の移動塔の“運転意図の明確性”を認識する。
ステップＳ５４で、運転意図認識部１０２は、ステップＳ５３で認識した“運転意図の明確性”に対応する地図の詳細度を求める。

ステップＳ５５で、ＨＭＩ制御部１０の表示制御部１０３は、ステップＳ５２で求めた地図の付加情報量と、ステップＳ５４で求めた地図の付加情報量とから、所定の詳細度と付加情報量を有する表示形式の地図画像を、カメラ２１（図１参照）の撮像画像あるいは車両位置の地図情報から生成する。この車両位置の地図情報は、自車位置認識部１２と高精度地図情報１３１、あるいはナビゲーション装置３から得ることができる。

ステップＳ５６で、表示制御部１０３は、ステップＳ５５で生成した地図画像を、インフォメーションパネル５１に出力する。

つぎに、図５のステップＳ５１、Ｓ５２、Ｓ５５に関連する乗員感情推定部１０１および表示制御部１０３の詳細処理を、図６のフロー図により説明する。
ステップＳ６１で、乗員感情推定部１０１は、ドライバーモニタカメラ５３で、車両内の乗員を撮像する。

ステップＳ６２で、乗員感情推定部１０１は、ステップＳ６１における乗員の撮像画像から乗員の顔画像を抽出する。
ステップＳ６３で、乗員感情推定部１０１は、顔画像を教師あり機械学習モデルにより、怒り・嫌悪・恐れ・幸福・悲しみ・驚きといった感情を分析する。
そして、ステップＳ６４で、分析した感情つまり顔表情が幸福の感情と分析した値を感情度として推定する。

上記のステップＳ６２～Ｓ６３とは異なり、以下のようにして感情度を求めてもよい。
ステップＳ６２で、乗員感情推定部１０１は、ステップＳ６１における乗員の撮像画像から乗員の動作（体動）を抽出する。
ステップＳ６３で、乗員感情推定部１０１は、動作の機敏さ（変化量）を分析する。
そして、ステップＳ６４で、分析した動作の機敏さの大小を感情度として推定する。

ステップＳ６５で、表示制御部１０３は、ステップＳ６４で乗員の顔表情もしくは体動から推定した感情度が、所定の閾値以上であるか否かを判定する。感情度が閾値以上であれば（Ｓ６５のＹｅｓ）、乗員の表情あるいは乗員の体動がアクティブであるとし、ステップＳ６６に進む。感情度が閾値以上でなければ（Ｓ６５のＮｏ）、乗員の表情あるいは乗員の体動がネガティブであるとし、ステップＳ６７に進む。

ステップＳ６６で、表示制御部１０３は、感情度の閾値との差分に応じて、地図の付加情報量のレベルを増加し、ステップＳ６８に進む。
ステップＳ６７で、表示制御部１０３は、感情度の閾値との差分に応じて、地図の付加情報量のレベルを減少し、ステップＳ６８に進む。
ステップＳ６８で、表示制御部１０３は、地図の付加情報量のレベルに基づいて、地図の表示形式を決定し、地図画像を生成する。

図６では、乗員の顔表情あるいは動作から感情分析する場合を説明したが、乗員の会話から感情分析してもよい。図７のフロー図により、乗員の会話から感情分析する場合の処理を説明する。

ステップＳ７１で、乗員感情推定部１０１は、車内マイク５２により、車両内の音声を取得する。
ステップＳ７２で、乗員感情推定部１０１は、取得した車両内の音声から、乗員（ドライバ）の音声を抽出する。

ステップＳ７３で、乗員感情推定部１０１は、乗員の音声を感情分析する。
この音声の感情分析は、取得した乗員の音声の音声波形を音響分析してテキスト列に認識デコードし、このテキスト列を形態素解析して単語（形態素）を抽出する。そして、単語ごとに感情辞書を参照して、テキスト列の感情値を算出して行う。
認識デコードしたテキスト列に含まれる所定のキーワードの数を感情値としてもよいし、また、認識デコードしたテキスト列に含まれる文の数を発話数とし、感情値としてもよい。

また、ドライバとドライバ以外の乗員との間の会話を認識し、会話の長さ・口数を感情値としてもよい。ドライバとドライバ以外の乗員の識別は、音声認証により行うことができる。
さらに、音声の抑揚の大小、音声の音域を、感情値としてもよい。

ステップＳ７４で、乗員感情推定部１０１は、音声から求めた感情値の大小を感情度として推定する。

ステップＳ６５からステップＳ６８は、図６と同じため、ここでは説明を省略する。

つぎに、感情度の変化に応じて地図の付加情報量を増加した表示形式の地図画像例を示す。
図８Ａは、カメラ２１（図１参照）により撮像した車両周囲の画像をインフォメーションパネル５１に表示した場合を示しており（“Camera View”表示）、付加情報量が中庸の表示形式の表示例である。

図８Ｂは、図８Ａの“Camera View”表示よりも、乗員の感情度が高く、付加情報量が多い表示形式の表示例である。具体的には、矩形のレコメンド情報５１ａ、５１ｂを図８Ａの“Camera View”表示にオーバーレイ表示した表示になっている。
レコメンド情報５１ａ、５１ｂは、目的地の有名な店舗の関連情報である。また、乗員の音声から感情度を求めた際に検出した料理の店舗の関連情報である。

図８Ｃは、地図の詳細度が高い“3D Real Map”表示に、目的地に近づいたことによる高い感情度に応じて、目的地の有名な店舗の円形のレコメンド情報５１ｃ、５１ｄ、５１ｅ、５１ｆをオーバーレイ表示した表示になっている。
レコメンド情報５１ｃ、５１ｄ、５１ｅ、５１ｆは、店舗の認知度に応じた面積をもつ円形表示となっている。

つぎに、図５のステップＳ５３、Ｓ５４、Ｓ５５に関連する運転意図認識部１０２および表示制御部１０３の詳細処理を、図９のフロー図により説明する。
ステップＳ９１で、運転意図認識部１０２は、ナビゲーション装置３に目的地が入力されているか否かを判定し、目的地が入力されていれば（Ｓ９１のＹｅｓ）、ステップＳ９２に進み、目的地が入力されていなければ（Ｓ９１のＮｏ）、ステップＳ９３に進む。
ステップＳ９２で、運転意図認識部１０２は、運転意図の明確性を所定値１に設定し、ステップＳ９８に進む。

ステップＳ９３で、運転意図認識部１０２は、ナビゲーション装置３に目的のジャンルが入力されているか否かを判定し、ジャンルが入力されていれば（Ｓ９３のＹｅｓ）、ステップＳ９４に進み、ジャンルが入力されていなければ（Ｓ９３のＮｏ）、ステップＳ９５に進む。
ステップＳ９４で、運転意図認識部１０２は、運転意図の明確性を所定値２に設定し、ステップＳ９８に進む。

ステップＳ９５で、運転意図認識部１０２は、ナビゲーション装置３が操作されたか否かを判定し、操作されていれば（Ｓ９５のＹｅｓ）、ステップＳ９６に進み、操作されていなければ（Ｓ９５のＮｏ）、ステップＳ９７に進む。
ステップＳ９６で、運転意図認識部１０２は、運転意図の明確性を所定値３に設定し、ステップＳ９８に進む。

ステップＳ９７で、運転意図認識部１０２は、運転意図の明確性を所定値４に設定し、ステップＳ９８に進む。
運転意図の明確性の所定値４は、ステップＳ９５でナビ操作されていない場合の地図の詳細度を示すレベルとなるが、ドライバがナビゲーション装置３の地図表示を要求していない状態であり、地図の詳細度は低い。

ステップＳ９８で、運転意図認識部１０２は、ステップＳ９２・Ｓ９４・Ｓ９６・Ｓ９７で設定した運転意図の明確性に応じて、地図の詳細度を決定する。
つまり、所定値４・所定値３・所定値２・所定値１の順に地図の詳細度を増加し、所定値１の場合に地図の詳細度が最大となるようにする。

ステップＳ９９で、表示制御部１０３は、ステップＳ９８で決定した地図の詳細度に基づいて、地図画像を生成する。

さらに、ステップＳ９９で、表示制御部１０３は、自動運転車両Ｍの周辺の交通参加者を地図画像に含めて表示するようにし、表示制御部１０３は、ステップＳ９８で決定した地図の詳細度が大きくなるにつれて交通物標を表示し、さらに、地図の詳細度が大きくなるにつれて交通参加者の画像を出力するようにしてもよい。

また、ステップＳ９９で、表示制御部１０３は、運転意図認識部１０２で、ナビゲーション装置３に目的地が入力された場合（Ｓ９１のＹｅｓ）に、ナビゲーション装置３に入力された目的地までの距離を求め、目的地までの距離の減少に応じて地図の表示範囲を狭め、地図の情報量を低下するようにしてもよい。

つぎに、運転意図の明確性の変化に応じて、地図の詳細度を変化させた地図画像例を示す。
図１０Ａは、地図の詳細度が低く、かつ、付加情報量が低い、“Simple Map”の表示形式の地図の地図画像である。
図１０Ｂは、図１０Ａの地図画像より、運転意図の明確性が高く、交通不参加物標として信号機５１ｇ、５１ｈが追加されて地図の詳細度が向上した地図画像である。
図１０Ｃは、図１０Ａの地図画像より、運転意図の明確性が高く、交通不参加物標として樹木５１ｊ、５１ｋが追加されて地図の詳細度が向上した地図画像である。

つぎに、インフォメーションパネル５１に表示する地図画像を斜め上方から見下ろすように表示するように表示する鳥瞰図において、地図の情報量（詳細度・付加情報量）を変えて表示する例について説明する。

図１１は、インフォメーションパネル５１に表示する鳥瞰図による地図画像の仮想視点と表示範囲の関係を説明する図である。
図１１に示すように、仮想視点における画角を固定した場合には、仮想視点Ｐ１より高い位置にある仮想視点Ｐ２の表示範囲Ａ２は、仮想視点Ｐ１の表示範囲Ａ１より広くなり、インフォメーションパネル５１に表示される地図の情報量は、仮想視点Ｐ１よりも仮想視点Ｐ２のほうが多くなる。

そこで、実施形態のＨＭＩ制御部１０の表示制御部１０３では、図１２のフロー図に従い、地図の情報量が大きくなるにつれて仮想視点の位置を高くした鳥瞰図を地図画像として表示する。
ステップＳ１２１で、表示制御部１０３は、感情度が所定値以上であるか否かを判定し、所定値以上の場合には（Ｓ１２１のＹｅｓ）、ステップＳ１２３に進み、所定値以上でない場合には（Ｓ１２１のＮｏ）、ステップＳ１２２に進む。

ステップＳ１２２で、表示制御部１０３は、運転意図の明確性が所定値以上であるか否かを判定し、所定値以上である場合には（Ｓ１２２のＹｅｓ）、ステップＳ１２３に進み、所定値以上でない場合には（Ｓ１２２のＮｏ）、ステップＳ１２５に進む。

ステップＳ１２３で、表示制御部１０３は、感情度および運転意図の明確性の増分量を求め、ステップＳ１２４に進む。
ステップＳ１２４で、表示制御部１０３は、仮想視点位置をステップＳ１２３で求めた増分量に応じて高くし、ステップＳ１２６に進む。

ステップＳ１２５で、表示制御部１０３は、仮想視点位置を標準値に設定し、ステップＳ１２６に進む。
ステップＳ１２６で、ステップＳ１２４あるいはステップＳ１２５で設定した仮想視点位置に基づいて、俯瞰した地図画像を生成する。

Ｍ 自動運転車両
１ 車両制御装置
２ 外界センサ
２１ カメラ
２２ レーダ
２３ ライダ
３ ナビゲーション装置
４ 通信装置
５ ＨＭＩ
５１ インフォメーションパネル（表示部）
５２ 車内マイク
５３ ドライバーモニタカメラ
５４ メータパネル
５５Ｒ 右側パネル
５５Ｌ 左側パネル
６ 走行駆動装置
７ ブレーキ装置
８ ステアリング装置
９ 車両センサ
１０ ＨＭＩ制御部
１０１ 乗員感情推定部
１０２ 運転意図認識部
１０３ 表示制御部
１１ 外界認識部
１２ 自車位置認識部
１３ 記憶部
１３１ 高精度地図情報
１３２ 行動計画情報
１４ 運転支援制御部
１５ 自動運転制御部
１６ 走行制御部

Claims (9)

1. 車両の周辺状況を示す画像を表示する表示部と、
   前記車両内の乗員の乗員感情を推定する乗員感情推定部と、
   前記車両の運転意図を認識する運転意図認識部と、
   前記乗員感情および前記運転意図に応じて情報量を可変した周辺状況を示す前記画像を、前記表示部に出力する表示制御部と、
   を備えることを特徴とする自動運転車両。
2. 前記表示部は、地図画像を表示し、
   前記乗員感情推定部は、ドライバーモニタカメラで撮像した乗員の表情もしくは乗員の体の動きより、前記乗員感情を量的に示す乗員感情度を推定し、
   前記表示制御部は、前記乗員感情度が所定値より高い場合に、付加情報量を増加した地図画像を前記表示部に出力する
   ことを特徴とする請求項１に記載の自動運転車両。
3. 前記表示部は、地図画像を表示し、
   前記乗員感情推定部は、集音機により乗員の音声を取得し、前記音声の音域もしくは発話数により、前記乗員感情を量的に示す乗員感情度を推定し、
   前記表示制御部は、前記音声の音域もしくは発話数により推定された前記乗員感情度が所定値より高い場合に、付加情報量を増加した地図画像を前記表示部に出力する
   ことを特徴とする請求項１に記載の自動運転車両。
4. 前記表示部は、地図画像を表示し、
   前記運転意図認識部は、ナビゲーション装置に設定された目的地あるいは目的に応じて、運転意図を認識し、
   前記表示制御部は、前記運転意図の明確性に応じて、地図の詳細度を増加した地図画像を前記表示部に出力する
   ことを特徴とする請求項１に記載の自動運転車両。
5. 前記地図画像は、所定の仮想視点から見た車両の周辺状況の所定範囲の地図画像を含み、
   前記表示制御部は、付加情報量の増加あるいは地図の詳細度の増加に応じて、前記仮想視点の位置を高くした地図画像を出力する
   ことを特徴とする請求項２から４のいずれかに記載の自動運転車両。
6. 記地図画像は、周辺状況における交通参加者、道路状況および交通物標の画像を含み、
   前記表示制御部は、前記地図の詳細度が大きくなるにつれて前記交通物標の画像を出力し、さらに交通参加者の画像を出力する
   ことを特徴とする請求項４に記載の自動運転車両。
7. 前記運転意図認識部が、ナビゲーション装置に目的地が設定されたことを認識した場合に、
   前記表示制御部は、前記目的地までの距離を計算し、前記距離の減少に応じて前記地図の表示範囲を狭め、地図の情報量を低下した地図画像を出力する
   ことを特徴とする請求項４に記載の自動運転車両。
8. 車両の周辺状況を示す画像を表示するプログラムであって、
   車両のコンピュータを
   前記車両内の乗員の乗員感情を推定する乗員感情推定部と、
   前記車両の運転意図を認識する運転意図認識部と、
   前記乗員感情および前記運転意図に応じて情報量を可変した周辺状況を示す前記画像を、表示部に出力する表示制御部と、
   として機能させるプログラム。
9. 車両制御装置における車両の周辺状況を示す画像を表示する画像表示方法であって、
   車両制御装置が、乗員感情推定部により前記車両内の乗員の乗員感情を推定し、
   車両制御装置が、運転意図認識部により前記車両の運転意図を認識し、
   車両制御装置が、表示制御部により前記乗員感情および前記運転意図に応じて情報量を可変した周辺状況を示す前記画像を、表示部に出力する
   画像表示方法。
   

Images