JPWO2020208804A1 - 表示制御装置、表示制御方法、及び表示制御プログラム - Google Patents

Abstract

表示制御装置（１００）は、運転者が運転する車両の周囲の環境を示す走行環境情報（Ｄ３）を取得する環境情報取得部（１０３）と、運転者の運転技能を推定し、運転技能を示す運転技能情報（Ｄ１）を生成する技能推定部（１０１）と、運転者の視線の方向を検出し、視線の方向を示す視線方向情報（Ｄ２）を生成する視線検出部（１０２）と、視線方向情報（Ｄ２）と、走行環境情報（Ｄ３）及び運転技能情報（Ｄ１）の少なくとも一方とに基づいて、運転者が視覚的に認識できる領域を示す視野範囲及び視野範囲内の複数の区画の各々の運転者の視覚による認識のしやすさを示す視覚的認識度（Ｄ４）を算出する視覚的認識度算出部（１０４）と、運転者に提示する表示情報（Ｄ０）を受け取り、表示情報（Ｄ０）と視野範囲と視覚的認識度とに基づいて、表示情報に基づく映像の表示位置及び表示方法のうちの少なくとも一つを制御する表示制御部（１０５）とを有する。

Description

本発明は、表示制御装置、表示制御方法、及び表示制御プログラムに関する。

車両の運転席に位置する運転者の視線の移動を検知したときに、移動後の運転者の視線の方向に基づいて運転者により視認可能な範囲である視野範囲を測定し、フロントウィンドウ（ｗｉｎｄｓｈｉｅｌｄ）における視野範囲内に映像を投影する装置が提案されている。例えば、特許文献１を参照。

特開２０１０−１８２０１号公報

しかしながら、運転者の視野範囲は、運転者の視線の方向以外の要因によって変化する。例えば、運転者の視野範囲は、運転者の運転技能（すなわち、運転熟練度）が低い場合又は走行している車両の周囲の環境（例えば、混雑度）が高い場合に、狭くなる傾向がある。したがって、視野範囲が視線の方向のみに基づいて決められた場合、運転者は、視野範囲内に表示された映像を見落とす可能性がある。

本発明は、上記従来の課題を解決するためになされたものであり、運転者にとって適切な位置に映像が表示されるように表示装置を制御することができる表示制御装置、表示制御方法、及び表示制御プログラムを提供することを目的とする。

本発明の一態様に係る表示制御装置は、運転者が運転する車両の周囲の環境を示す走行環境情報を取得する環境情報取得部と、前記運転者の運転技能を推定し、前記運転技能を示す運転技能情報を生成する技能推定部と、前記運転者の視線の方向を検出し、前記視線の方向を示す視線方向情報を生成する視線検出部と、前記視線方向情報と、前記走行環境情報及び前記運転技能情報の少なくとも一方とに基づいて、前記運転者が視覚的に認識できる領域を示す視野範囲及び前記視野範囲内の複数の区画の各々の前記運転者の視覚による認識のしやすさを示す視覚的認識度を算出する視覚的認識度算出部と、前記運転者に提示する表示情報を受け取り、前記表示情報と前記視野範囲と前記視覚的認識度とに基づいて、前記表示情報に基づく映像の表示位置及び表示方法のうちの少なくとも一つを制御する表示制御部と、を有することを特徴とする。

本発明の他の態様に係る表示制御方法は、運転者が運転する車両の周囲の環境を示す走行環境情報を取得するステップと、前記運転者の運転技能を推定し、前記運転技能を示す運転技能情報を生成するステップと、前記運転者の視線の方向を検出し、前記視線の方向を示す視線方向情報を生成するステップと、前記視線方向情報と、前記走行環境情報及び前記運転技能情報の少なくとも一方とに基づいて、前記運転者が視覚的に認識できる領域を示す視野範囲及び前記視野範囲内の複数の区画の各々の前記運転者の視覚による認識のしやすさを示す視覚的認識度を算出するステップと、前記運転者に提示する表示情報を受け取り、前記表示情報と前記視野範囲と前記視覚的認識度とに基づいて、前記表示情報に基づく映像の表示位置及び表示方法のうちの少なくとも一つを制御するステップと、を有することを特徴とする。

本発明によれば、運転者にとって適切な位置に映像が表示されるように表示制御を行うことができる。

本発明の実施の形態１に係る表示制御装置を備えた運転支援装置のハードウェア構成の例を示す図である。 実施の形態１に係る表示制御装置によって実行される制御に基づいて表示される映像の例を示す図である。 実施の形態１に係る表示制御装置の構成を概略的に示す機能ブロック図である。 実施の形態１に係る表示制御装置の動作を示すフローチャートである。 実施の形態１に係る表示制御装置によって使用される視覚的認識度を表す認識度マップの例を示す図である。 実施の形態１に係る表示制御装置によって実行される制御に基づいて表示される映像の例を示す図である。 実施の形態１に係る表示制御装置によって実行される制御に基づいて表示される映像の例を示す図である。 本発明の実施の形態２に係る表示制御装置によって実行される制御に基づいて表示される映像の例を示す図である。 実施の形態２に係る表示制御装置によって実行される制御に基づいて表示される映像の例を示す図である。 本発明の実施の形態３に係る表示制御装置によって実行される制御に基づいて表示される映像の例を示す図である。

以下に、本発明の実施の形態に係る表示制御装置、表示制御方法、及び表示制御プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。

《１》実施の形態１
《１−１》運転支援装置１
図１は、本発明の実施の形態１に係る表示制御装置１００を備えた運転支援装置１のハードウェア構成の例を示す図である。図１に示されるように、運転支援装置１は、運転者によって運転される車両である自動車に搭載される。運転支援装置１は、ヘッドアップディスプレイ（ＨＵＤ）装置１１と、インストルメントパネル表示装置１２と、電子サイドミラー表示装置１３，１４と、電子バックミラー表示装置１５と、車内カメラ２１と、車外カメラ２２と、表示制御装置１００とを備えている。運転支援装置１は、車両内における会話音を検出するマイク（図示せず）を備えてもよい。表示制御装置１００は、プロセッサ３１と、メモリ３２とを備えている。ＨＵＤ装置１１は、例えば、フロントウィンドウ１０を通して視認される景色に重畳して各種の情報を表示する。ＨＵＤ装置１１は、例えば、半透明の映像を表示する。インストルメントパネル表示装置１２は、速度メータなどの計器パネルであり、パネル表示装置１２ともいう。電子サイドミラー表示装置１３，１４は、例えば、車外カメラ２２によって撮影された左右後方の映像を表示する表示装置であり、サイドミラー表示装置１４，１５ともいう。電子バックミラー表示装置１５は、例えば、車外カメラ２２によって撮影された後方の映像を表示する表示装置であり、バックミラー表示装置１５ともいう。運転支援装置１は、車外カメラ２２に代えて又は車外カメラ２２に加えて、車外の環境を検出又は計測する赤外線センサなどのセンサを備えてもよい。

ＨＵＤ装置１１は、車両のフロントウィンドウを通して視認される車外の景色に重畳して映像を表示する表示装置である。パネル表示装置１２は、フロントウィンドウの下部に配置されたインストルメントパネル内の表示装置である。サイドミラー表示装置１３は、パネル表示装置１２の左側に車外の映像を表示する表示装置である。サイドミラー表示装置１４は、パネル表示装置１２の右側に車外の映像を表示する表示装置である。バックミラー表示装置１５は、車両の後方の環境を表示する表示装置である。図１には、５つの表示装置が示されているが、表示装置の数は５に限定されない。

車内カメラ２１は、車両の運転席に座っている運転者を撮像する撮像装置である。車外カメラ２２は、車両の外側すなわち車両の周囲を撮像する撮像装置である。図１には、１台の車内カメラ２１が示されているが、車内カメラの数は２台以上であってもよい。また、運転者の視線を検出する他の手段を備えた場合には、車内カメラ２１を備えなくてもよい。また、図１には、１台の車外カメラ２２が示されているが、車外カメラの数は２台以上であってもよい。

表示制御装置１００は、ＨＵＤ装置１１、パネル表示装置１２、サイドミラー表示装置１３，１４、バックミラー表示装置１５、車内カメラ２１、及び車外カメラ２２の動作を制御する。また、表示制御装置１００は、車両の運行を制御する運行制御装置（図示せず）から車両の運行に関する情報、運転者の運転操作に関する情報、などを取得する。車両の運行に関する情報は、走行速度、走行距離、燃料残量、などを含む。運転操作に関する情報は、運転者によるブレーキ操作の状況、ステアリング操作の状況、などを含む。

表示制御装置１００は、情報処理部としてのプロセッサ３１と、情報を記憶する記憶部としてのメモリ３２とを有している。表示制御装置１００は、例えば、コンピュータである。メモリ３２には、表示制御方法を実行するための表示制御プログラムがインストールされている。表示制御プログラムは、例えば、ネットワークを経由して又は情報を記憶する記憶媒体からインストールされる。プロセッサ３１は、メモリ３２に記憶されている表示制御プログラムを実行することにより、運転支援装置１の全体の動作を制御する。表示制御装置１００の全体又は一部は、半導体集積回路からなる制御回路で構成されてもよい。メモリ３２は、半導体記憶装置、ハードディスク装置、取り出し可能な記録媒体に情報を記録する装置などの各種の記憶装置を含んでもよい。

図２は、実施の形態１に係る表示制御装置１００によって実行される制御に基づいて表示される映像の例を示す図である。図２は、車両の運転席に位置する運転者から正面方向に表示される映像の位置を示している。ＨＵＤ装置１１は、車両のフロントウィンドウ１０を通して視認される車外の景色に重畳して映像を表示する。パネル表示装置１２は、フロントウィンドウ１０の下側に配置されている。サイドミラー表示装置１３，１４は、パネル表示装置１２の左右に配置されている。バックミラー表示装置１５は、フロントウィンドウ１０の上部に配置されている。ただし、これらの表示装置の配置及び形状は、図２の例に限定されない。

《１−２》表示制御装置１００
図３は、実施の形態１に係る表示制御装置１００の構成を概略的に示す機能ブロック図である。表示制御装置１００は、図２に示される各種の表示装置によって運転者に提示される映像の表示内容、表示位置、及び表示方法を制御する。図３に示されるように、表示制御装置１００は、技能推定部１０１と、視線検出部１０２と、環境情報取得部１０３と、視覚的認識度算出部１０４と、表示制御部１０５とを備えている。

環境情報取得部１０３は、運転者が運転する車両の周囲の環境を示す走行環境情報Ｄ３を取得する。技能推定部１０１は、車両を運転する運転者の運転技能を推定し、運転技能を示す運転技能情報Ｄ１を生成する。視線検出部１０２は、車両を運転する運転者の視線の方向を検出し、視線の方向を示す視線方向情報Ｄ２を生成する。

視覚的認識度算出部１０４は、視線方向情報Ｄ２と、走行環境情報Ｄ３及び運転技能情報Ｄ１の少なくとも一方とに基づいて、運転者が現時点において視覚的に認識できる領域を示す視野範囲及び視野範囲内の複数の区画（すなわち、複数の小領域）の各々における視覚的認識度Ｄ４を算出する。視覚的認識度Ｄ４は、視野範囲内の複数の区画の各々を、運転者が視覚的にどの程度認識しやすいか、すなわち、視覚的な認識容易性を示す値である。視野範囲、複数の区画、及び視覚的認識度Ｄ４は、図５を用いて後述される。なお、以下の説明では、視覚的認識度算出部１０４が、視線方向情報Ｄ２と、走行環境情報Ｄ３と、運転技能情報Ｄ１とに基づいて、視野範囲及び視野範囲内の複数の区画の各々における視覚的認識度Ｄ４を算出する例を説明する。

表示制御部１０５は、運転者に提示する表示情報Ｄ０を受け取り、表示情報Ｄ０と視野範囲における視覚的認識度を示す情報Ｄ４とに基づいて、表示情報に基づく映像の表示位置及び表示方法のうちの少なくとも一つを制御する。表示制御部１０５は、各運転者にとって適した位置に表示情報Ｄ０を含む映像を各運転者に提示するための表示制御を行う。表示情報Ｄ０は、車両の運行を制御する運行制御装置（図示せず）から提供された情報、車両に搭載されたナビゲーション装置から提供された情報、車両に搭載された通信装置によって受信された情報、などを含む。

図４は、実施の形態１に係る表示制御装置１００の動作を示すフローチャートである。まず、ステップＳ１において、表示制御装置１００は、運転者が運転する車両の周囲の環境を示す走行環境情報Ｄ３を取得する。ステップＳ２において、表示制御装置１００は、車両を運転する運転者の運転技能を推定し、運転技能を示す運転技能情報Ｄ１を生成する。ステップＳ３において、表示制御装置１００は、車両を運転する運転者の視線の方向を検出し、視線の方向を示す視線方向情報Ｄ２を生成する。ステップＳ１からＳ３の処理の順番は、この順番に限定されない。ステップＳ１からＳ３の処理は、並列的に行われてもよい。

ステップＳ４において、表示制御装置１００は、視線方向情報Ｄ２と、走行環境情報Ｄ３及び運転技能情報Ｄ１の少なくとも一方とに基づいて、運転者が現時点において視覚的に認識できる領域を示す視野範囲及び視野範囲内の複数の区画の各々における視覚的認識度Ｄ４を算出する。

ステップＳ５において、表示制御装置１００は、運転者に提示する表示情報Ｄ０を受け取り、表示情報Ｄ０と視野範囲内の複数の区画の各々における視覚的認識度Ｄ４とに基づいて、表示情報Ｄ０の表示位置及び表示方法のうちの少なくとも一つを制御する。表示制御装置１００は、各運転者にとって適した位置に表示情報Ｄ０を含む映像を提示するための表示制御を行う。

《１−３》技能推定部１０１
技能推定部１０１は、運転者の運転行動に基づいて運転者の運転技能を推定し、運転技能を示す運転技能情報Ｄ１を生成する。つまり、技能推定部１０１は、運転者が行う運転操作に基づいて、運転者の運転技能すなわち運転熟練度を推定し、この運転技能を示す運転技能情報Ｄ１を生成する。運転技能は、運転経験の量に依存するので、運転経験値とも呼ばれる。運転技能の推定に用いられる運転操作は、例えば、急ブレーキの操作、又はステアリングの操作、又は変速ギアの切替えの操作、又はこれらの操作の内の２つ以上の組み合わせである。ただし、運転技能の推定に用いられる運転操作は、上記の操作及び上記組み合わせに限定されない。

技能推定部１０１は、ブレーキの踏み込み量が、運転速度に応じて決められた踏み込み量の閾値以上であるときに、運転者によって急ブレーキの操作が行われたと判定する。技能推定部１０１は、運転中におけるブレーキ操作の回数に対する急ブレーキ操作の回数の比率が、予め決められた基準の比率よりも大きいときに、運転者の運転技能が低いと推定し、急ブレーキ操作の回数の比率が前記基準の比率以下であるときに、運転者の運転技能が高いと推定することができる。ただし、ブレーキ操作に基づく運転技能の推定方法は、この方法に限定されない。上記例では、ブレーキ操作に基づいて運転技能を２つのグループに分類しているが、ブレーキ操作に基づいて運転技能を３つ以上のグループに分類してもよい。

また、技能推定部１０１は、ステアリング操作におけるハンドルの回転速度が、予め決められた基準速度よりも速いときに、運転者の運転技能が高いと推定し、ハンドルの回転速度が前記予め決められた基準速度以下であるときに、運転者の運転技能が低いと推定することができる。ただし、ステアリング操作に基づく運転技能の推定方法は、この方法に限定されない。上記例では、ステアリング操作に基づいて運転技能を２つのグループに分類しているが、ステアリング操作に基づいて運転技能を３つ以上のグループに分類してもよい。

また、技能推定部１０１は、車両の走行速度の予め決められた各速度範囲について変速ギアの切替え操作の履歴を蓄積し、蓄積された操作履歴を参照することによって、運転者の運転技能を推定することができる。例えば、技能推定部１０１は、変速ギアの切替えの回数の合計に対する、前記各速度範囲に適した変速ギアの切替えが行われた回数の比率が、予め決められた基準の比率より高いときに、運転者の運転技能が高いと推定し、前記基準の比率以下であるときに、運転者の運転技能が低いと推定することができる。

また、技能推定部１０１は、運転者の運転走行距離の合計値、運転者が運転中の車両に発生した過去の運転事故に関する情報、運転者の過去の交通違反の記録、などの過去の運転者情報を予め記憶部に記憶し、これらの情報を参照することで運転技能を推定することもできる。記憶部は、例えば、図１に示されるメモリ３２である。技能推定部１０１の記憶部に対する運転者情報の事前の入力は、ユーザによる手動操作による入力、ＩＣカードなどに記録されたデータをカード読取装置によって読み込むことによる入力、車両の内部を撮影する車内カメラ２１から出力される情報から運転者の個別認識を行い、運転者の個別識別情報に基づいてネットワーク上のデータ又は車内データを取得する方法などが考えられる。記憶部は、表示制御装置１００の外部の記憶装置又は表示制御装置１００とネットワークを通して通信可能に接続された外部の記憶装置であってもよい。

また、運転技能情報Ｄ１は、運転者の状態に応じて変化する。例えば、技能推定部１０１は、運転者の脈拍、顔色、視線の運動、などの生体情報から運転者の現在の健康状態を推定し、現在の健康状態に基づいて、推定された運転技能を運転者の本来の運転技能に補正することが可能である。また、技能推定部１０１は、運転者と同乗者との会話、運転者によるわき見、などの運転行動以外の運転者の行動を検知し、運転行動以外の運転者の行動に基づいて運転技能を補正することも可能である。

また、技能推定部１０１は、運転者が持つ持病又は視力情報など、事前に判明する運転者の健康状態をＩＣカードからの読み込み又は手動入力などにより、運転技能情報Ｄ１として保持することにより、特定の条件における補正をすることも可能である。

技能推定部１０１は、以上の各種の運転技能の推定方法のいずれか２つ以上の組み合わせによって、運転技能を推定してもよい。例えば、技能推定部１０１は、運転者の運転経験、運転履歴、健康状態、又は視力情報のいずれか１つ以上に基づいて運転技能情報を決定してもよい。

《１−４》視線検出部１０２
視線検出部１０２は、運転者の視線の方向を示す視線方向情報Ｄ２を取得する。視線検出部１０２は、運転者が目視している方向を示す視線方向情報Ｄ２を取得する。運転者が目視している方向は、運転者が目で見ている方向である。目視している方向は、「視線方向」ともいう。視線検出部１０２は、車内カメラ２１で撮影された運転者の顔又は眼の画像に基づいて、運転者の視線方向を検出する。視線検出部１０２は、車内カメラ２１で撮影された撮像画像における運転者の顔の位置に対する運転者の両眼の瞳孔の位置に基づいて、３次元測量を用いて運転者の視線方向を３次元的に検出することができる。視線検出部１０２は、運転者が装着する装置の一部であってもよい。視線検出部１０２は、例えば、運転者が装着する眼鏡の一部として備えられる装置であってもよい。

《１−５》環境情報取得部１０３
環境情報取得部１０３は、車外カメラ２２によって撮像される画像に基づいて車両の周囲の環境を示す走行環境情報Ｄ３を取得する。走行環境情報Ｄ３は、運転者が運転する車両の周囲に存在する物及び車両の周囲の状況を示す情報を含む。環境情報取得部１０３は、車両に備えられた車外カメラ２２から、車両の周囲に存在する物に関する情報を取得する。車両の周囲に存在する物は、例えば、他の車両、歩行者、動物、障害物、などである。車両の周囲の状況は、例えば、車両の位置情報及び時間情報に基づいて取得された天候を示す情報、日差しの方向を示す情報、車両の位置情報及び時間情報に基づいて取得された道路の混雑情報、などを含む。環境情報取得部１０３は、天候、道路環境（例えば、混雑状況）ネットワークを介して情報提供用のサーバなどから取得してもよい。また、環境情報取得部１０３は、運転する車両の位置情報をＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などの測位システムから取得してもよい。

《１−６》視覚的認識度算出部１０４
図５は、実施の形態１に係る表示制御装置１００の視覚的認識度算出部１０４によって生成される視覚的認識度Ｄ４を表す視覚的認識度マップ４０の例を示す図である。視覚的認識度Ｄ４は、運転者の視野範囲内における各区画の視覚的な認識のしやすさを示す性質を定量化した情報である。視野範囲における複数の区画の各々における視覚的認識度Ｄ４は、視覚的認識度マップ４０で表すことができる。視覚的認識度マップ４０は、格子状に配置されている複数の矩形の区画と、複数の矩形の区画の各々における視覚的認識度とから構成される。図５に示される視覚的認識度マップ４０は、運転者が現在の視線方向の状態で前方を見たときに、視覚的に認識できる情報量を複数の区画の濃度及び塗りつぶしパターンの違いで表したものである。例えば、視覚的認識度マップ４０において色が濃い区画であるほど、運転者は、視覚的な情報を取得しやすい半面、視線の誘導を起こしやすい。すなわち、色の濃い区画は、知覚感度の高い領域であり、この区画に向けて視線を誘導する能力が高い。運転者は、視覚的認識度マップ４０における区画の色が薄いほど、運転行動に支障を起こしにくい半面、表示された映像を見落としやすい。すなわち、色の薄い区画は、知覚感度の低い領域であり、この区画に向けて運転者の視線を誘導する能力が低い。

視覚的認識度算出部１０４は、視線方向情報Ｄ２と、運転技能情報Ｄ１と、走行環境情報Ｄ３とに基づいて、視覚的認識度Ｄ４を算出する。視覚的認識度算出部１０４は、視覚的認識度Ｄ４の算出に際し、人間の視覚的な認知工学の分野における中心視と周辺視の領域を推定する方法を用いることができる。中心視の領域は、視野範囲内において視線に近い領域であり、運転者によって知覚されやすい領域である。つまり、中心視の領域は、知覚感度の高い視覚領域である。周辺視の領域は、視野範囲内において視線から離れた領域であり、運転者によって知覚されにくい領域である。つまり、周辺視の領域は、運転者によって見えている領域ではあるが、知覚感度の低い視覚領域である。なお、視野範囲内における中心視の領域と周辺視の領域との境界及び各領域における知覚感度の高さは、身体的な個人差、運転者の周囲の環境、などに応じて変化する。

視覚的認識度算出部１０４は、運転技能情報Ｄ１及び視線方向情報Ｄ２に基づいて、視野範囲の推定を行う。運転者の運転経験が豊富である場合すなわち運転者が高い運転熟練度を持つ場合、運転者は広い視野を持つので、視野範囲は広い。視野範囲が広い理由は、高い熟練度を持つ運転者は、運転行動に必要となる視覚的な情報を経験的に熟知しているため、運転操作に意識を集中しすぎることがないからである。逆に、運転者の運転経験が少ない場合すなわち運転者が低い運転熟練度を持つ場合、運転者の視野は狭いので、視野範囲は狭い。視野範囲が狭い理由は、低い熟練度を持つ運転者は、意識の緊張又は運転操作への意識の集中のしすぎにより、視覚に対して向けられる意識の割合が少ないからである。また、視覚的認識度は、視線に近い領域で高く、視線から視野範囲の端部に向かうにつれて低下する。以上の理由から、視覚的認識度算出部１０４は、運転者の視線方向情報Ｄ２が示す視線を中心とする視野範囲とこの視野範囲内の各区画における運転者による視覚的認識度とを、運転者の運転技能に基づいて推定することができる。

また、視線方向に関する運転者の情報処理能力は、時間軸空間で積分された情報量で評価される。このため、視覚的認識度算出部１０４は、運転者が視野範囲の中心位置以外の同じ方向を連続して見ていることが確認される場合は、視野範囲の中心位置に対する意識の集中が低下しており、視野範囲の中心位置における視覚的認識度が低下していると考えられる。したがって、視覚的認識度算出部１０４は、運転者が視野範囲の中心位置以外の同じ方向を連続して見ていることが確認される場合は、運転者が連続して長時間見ている方向と視線方向とに基づいて、複数の区画の各々の視覚的認識度を補正することが可能である。

また、運転者の健康状態又は運転行動以外の行動により運転者の視野範囲及び視覚的認識度が変化することが確認されている。そのため、視覚的認識度算出部１０４は、運転技能によって取得された視野範囲及び視覚的認識度を、運転者の状態に応じて補正してもよい。

また、例えば、走行環境情報Ｄ３によって示される走行環境が、渋滞などの車両が密集した環境である場合は、隣接する車両又は人の飛び出しなど、運転行動における考慮すべき事象が多いことから、視覚的認識度が視野範囲の全域において低下すると考えられる。したがって、視覚的認識度算出部１０４は、走行環境情報Ｄ３に基づいて、前記推定した視野範囲及び視覚的認識度を補正してもよい。

また、日差しの方向又は車両がカーブ走行するときなど、特定の方向に対して意識の阻害又は集中が見られる環境においては、視覚的認識度算出部１０４は、視野範囲の中の日差しの方向、車両の走行方向、などに基づいて、前記推定した視野範囲及び視覚的認識度を補正してもよい。

図５に示されるように、視覚的認識度マップ４０が示す視覚的認識度は、運転者から見た前方の視野範囲内において格子状に配置された複数の矩形の区画ごとに、数値（図５においては、濃度）として表される。まず、視覚的認識度算出部１０４は、運転者の視点位置の中心を視線方向情報Ｄ２から取得し、視線中心の方向の３次元直線と前方の視野範囲との交点を算出する。視線中心は、視線方向情報Ｄ２の取得方法により変わる。例えば、両眼のそれぞれの瞳孔から視線方向を求める場合には、両眼の視線ベクトルの交点と、両眼の３次元位置の中点とを結ぶ直線の方向が、視線中心の方向である。また、視線中心の方向のベクトルが、視線中心ベクトルである。

次に、視覚的認識度算出部１０４は、前方の視野範囲と視線中心の方向の直線との交点の位置に当たる矩形の区画の視覚的認識度を算出する。各区画の視覚的認識度を算出する方法は、視覚的認識度の最大値から、走行環境又は運転者の状態を変数とした視覚的認識度の低下成分を減算する処理による。例えば、走行環境としての周囲の道路状況が混雑している場合、運転者が見るべき対象が多くなるため、視覚的認識度の低下成分の値が大きい値になる。また、例えば、運転者が焦りを持つ精神状態である場合、運転者の身体的な健康状態が悪い場合、又は運転者が同乗者と会話している場合など、集中力が低下する環境下では、視覚的認識度の低下成分の値が大きい値になる。また、例えば、運転者の運転技能が低い場合には、運転者は、周辺に気を配ることが少ないため、視覚的認識度の低下成分の値は小さくなり、視線中心の方向の区画における視覚的認識度は高くなる。

次に、視覚的認識度算出部１０４は、視野範囲の中心位置の区画の視覚的認識度に基づいて、中心位置の区画の周囲の区画の視覚的認識度を順に算出する。人間の視野範囲内における視覚的認識度は、中心位置から離れるにしたがい同心円状に低下する。このため、中心位置の区画の周囲の区画の視覚的認識度は、中心位置を同心円の中心とし、中心位置の区画の視覚的認識度の値から同心円の半径を変数とした関数の計算式で算出される。また、この計算式は、走行環境又は運転者の状態などに応じて変化する。例えば、走行環境が混雑している状態であれば、運転者は周囲に気を配ることが多いため、半径の増加に伴う視覚的認識度の減少の割合は低くなる。また、例えば、運転者の精神状態又は身体的な状態は運転者の集中力に影響を与えるため、運転者の状態によって視覚的認識度の減少の割合が変化する。また、例えば、運転者の運転技能が低い場合には、運転者は周辺に気を配ることができないので、周辺における視覚的認識度の減少の割合は大きくなる。

また、視覚的認識度算出部１０４は、視線中心から予め決められた半径の同心円の内側と外側とで、異なる視覚的認識度の値を用いてもよい。人間の視覚的な特性において、中心視の領域は、一般に、視線中心を基準に左右約３０度とされており、それより大きな角度の視野範囲は周辺視の領域と呼ばれている。一般に、中心視の領域と周辺視の領域とでは、人間による状態の判別などにおける視覚的認識度に大きな違いが生じるといわれている。そこで、視覚的認識度算出部１０４は、３次元空間における視線方向から中心視の領域に位置する区画と周辺視の領域に位置する区画とを別々に扱い、減算する計算式（すなわち、視覚的認識度の低下成分を示す計算式）を変化させることで、運転者の視覚特性に合わせた視覚的認識度の算出を行ってもよい。

また、視覚的認識度算出部１０４は、車外の環境に基づいて視覚的認識度の補正処理を行ってもよい。例えば、逆光、夜の街灯、トンネル内の照明など、特定の方向からの強い光が視野内に入る場合、強い光の周辺の領域における視覚的認識度が大きく減少する。視覚的認識度算出部１０４は、車外の物体の検知又は車両の周囲の環境の検知の結果などの走行環境情報Ｄ３に基づいて、視覚的認識度の低下成分を計算式で求められた視覚的認識度から減算する補正を行うことにより、走行環境にロバストな視覚的認識度の算出を行うことができる。

《１−７》表示制御部１０５
表示制御部１０５は、表示情報Ｄ０と視覚的認識度Ｄ４とに基づいて、運転者にとって好適な表示制御を行うための映像情報Ｄ５を生成する。表示情報Ｄ０は、運転行動に関する視覚的な提示情報である。表示情報Ｄ０は、例えば、パネル表示装置１２における速度表示、車両状態を示す情報、ナビゲーション情報、運転時におけるアラート情報、などを含む。また、表示情報Ｄ０は、表示制御において用いられる提示情報ごとの重要度を示す情報を含んでもよい。

表示制御部１０５は、各種の表示装置である、ＨＵＤ装置１１、パネル表示装置１２、サイドミラー表示装置１３，１４、及びバックミラー表示装置１５に表示信号を提供する。表示制御部１０５は、表示情報Ｄ０と視覚的認識度Ｄ４とに基づいて、運転者にとって好適な表示制御を行う。表示制御は、ＨＵＤ装置１１、パネル表示装置１２、サイドミラー表示装置１３，１４、及びバックミラー表示装置１５の表示位置における視覚的認識度Ｄ４を基に、表示内容及び表示方法の制御処理を行うことで実現する。表示制御部１０５は、例えば、複数の表示情報Ｄ０を重要度に応じて視覚的認識度の高い位置に、映像を配置する。また、表示制御部１０５は、例えば、複数の表示情報Ｄ０を重要度に応じて表示の位置、色、時間、コンテンツを変更してもよい。

表示制御部１０５は、表示情報Ｄ０に含まれる方向に関する情報又は表示情報Ｄ０と他の情報との関連性などを直感的に運転者に知らせることができるように、映像を配置してもよい。例えば、表示制御部１０５は、ある方向に運転者が注意すべき物がある場合に、その方向と同じ方向に表示情報Ｄ０に基づく映像を配置してもよい。また、表示制御部１０５は、表示情報Ｄ０と、それに関連した他の情報とが、映像上で繋がるように表示してもよい。この場合、表示制御部１０５は、視覚的認識度が低い位置に表示された映像を、運転者に適切に知覚させることができる。

また、視覚的認識度の高い位置に表示情報Ｄ０に基づく映像を配置すると、運転行動における視覚的な注意を阻害する可能性がある。そのため、表示制御部１０５は、視覚的認識度Ｄ４が予め決められた閾値以上の領域に表示できる表示領域の面積に上限を設定してもよい。この場合には、視覚的認識度の高い位置に表示された映像によって、運転行動における視覚的な注意が阻害されにくくなる。

また、表示制御部１０５は、表示情報Ｄ０の重要度に応じて、表示される映像の色を変化させることによって、運転者に直観的な認識を促すことができる。また、表示制御部１０５は、ＨＵＤ装置１１によって映像を表示する場合、車外の環境に応じて、車外の風景の色との差が大きい色を用いて映像を知覚しやすくすることができる。また、表示制御部１０５は、車外の日照環境及び道路環境により運転者が見る外界の色が変化することから、運転者が見る外界の色と大きく異なる色で映像を表示することで、運転者にとって知覚しやすい映像を表示することができる。

また、表示制御部１０５は、重要度の高い表示情報Ｄ０に基づく映像を長時間表示する場合には、重要度の高い表示情報Ｄ０であっても、視覚的認識度の低い位置に表示することができる。また、表示制御部１０５は、緊急度を要する表示情報Ｄ０に基づく映像を表示する場合には、視覚的認識度の高い場所に認識できる時間の範囲で表示することでアラート効果を高めることができる。また、表示制御部１０５は、表示時間と視線方向とによって、視覚的な知覚量がどの程度蓄積されるかを計算することで、アラート効果を十分に高くする最短の表示時間を取得することができる。

また、表示制御部１０５は、表示コンテンツとして、矢印、イラスト、アイコン、などの図形を用いることによって、文字表示に比べ運転者が認識に要する時間を短縮することができる。また、表示制御部１０５は、表示情報Ｄ０の内容に応じて、運転者にとってどの程度必要な情報であるか否かを示す必要レベルを判別し、必要レベルが低ければイラスト又はアイコンなどの一目で理解できる図形の映像を視覚認識度の低い位置に配置し、必要レベルが高ければ文章などの映像を視覚的認識度の高い位置に配置する。

図６は、実施の形態１に係る表示制御装置１００によって実行される制御に基づいて表示される映像の例を示す図である。図６は、運転技能が低い運転者を想定した表示制御内容の例を示す。一般に、運転技能が低い運転者の場合は、視野範囲が狭い。図６は、車両の進行方向である運転方向の中央を視線中心とし、ＨＵＤ装置１１又はパネル表示装置１２の一部が周辺視として知覚できる場合を示している。そのため、表示制御部１０５は、注意を払うことが必要な物に関する情報などのように、表示情報Ｄ０の重要度が高い場合には、ＨＵＤ装置１１における視線方向に近い位置に映像を配置することで視覚的認識度を向上させている。

また、表示制御部１０５は、文字表示よりも、アイコンなどの図形による表示の割合を大きくし、直観的に認識できる表示にしている。また、表示制御部１０５は、表示情報Ｄ０の中で重要度の低い情報については、周辺視の領域に配置する位置制御、又は重要度に比例した表示時間を設定して、表示内容を時間ごとに変化させるなど、運転行動を阻害しない表示制御を行っている。

図７は、実施の形態１に係る表示制御装置１００によって実行される制御に基づいて表示される映像の例を示す図である。図７は、運転技能の高い運転者を想定した表示制御内容を示す。一般に、運転技能が高い運転者の場合は、視野範囲が広い。図７は、運転方向の中央を視線中心とし、ＨＵＤ装置１１及びパネル表示装置１２の上部半分は、中心視として知覚でき、サイドミラー表示装置１３，１４の一部が周辺視として知覚できる場合を示している。中心視野が広い視覚的認識度であるため、表示制御部１０５は、ＨＵＤ装置１１の表示面の端部すなわち視覚的認識度の低い領域に、ナビゲーションアイコン４１及び目的地表示情報４４を配置することで、視線誘導が生じにくい表示を行っている。また、表示制御部１０５は、パネル表示装置１２の上部には、混雑度表示情報４５又はサイドミラー表示装置１４の端部にアラート表示アイコン４３などを配置することで、広い周辺視野内に重要度の低い視覚的な情報を視線誘導されることなく知覚することができる。

《１−８》効果
以上に説明したように、実施の形態１に係る表示制御装置１００、表示制御方法、又は表示制御プログラムを用いれば、運転者に提供する映像の表示位置及び表示方法を、運転者の運転技能、運転者の視線方向、及び車両の周囲の環境に応じて、決定することができるので、各運転者にとって適切な位置に適切な方法で映像が表示されるように表示制御を行うことができる。例えば、運転技能が高い運転者は、表示された映像によって視界を妨げられることなく、かつ映像情報を正確に認識することができる。また、運転技能が低い運転者は、表示された映像を見落とすことがなく、かつ大きな視線移動を強いられることなく、運転に意識を集中させることができる。

《２》実施の形態２．
実施の形態２に係る表示制御装置は、図３に示される実施の形態１に係る表示制御装置１００と同様の構成を有している。また、実施の形態２に係る表示制御装置が実施する表示制御方法は、図４に示される実施の形態１に係る表示制御方法と同様の処理である。したがって、実施の形態２の説明では、図１から図４を参照する。実施の形態２では、車両における車外映像を表示するサイドミラー表示装置１３，１４及びバックミラー表示装置１５を用いた運転行動時の表示制御方法を説明する。

図８は、実施の形態２に係る表示制御装置によって実行される制御に基づいて表示される映像の例を示す図である。図８は、サイドミラー表示装置１３及びＨＵＤ装置１１の表示制御の例を示している。図９は、実施の形態２に係る表示制御装置によって実行される制御に基づいて表示される映像の例を示す図である。図９は、バックミラー表示装置１５及びＨＵＤ装置１１の表示制御の例を示している。一般に、右折の運転行動時の視野範囲は、運転状況に応じて右前方から側面の窓の方向まで変化する。後退の運転行動時には、左右のサイドミラー表示装置１３，１４及びバックミラー表示装置１５の周囲が視野範囲となる。また、これらの視野範囲は、運転者の運転技能、又は癖、又はこれらの両方によって変化する。

実施の形態２において、視覚的認識度算出部１０４は、技能推定部１０１の推定結果である技能情報Ｄ１又は視線検出部１０２の検出結果である視線方向情報Ｄ２とに基づいて、右折の運転行動時の視野範囲の時間的な動きを予測し、右折の運転行動中の視覚的認識度Ｄ４を算出する。ここで、視覚的認識度算出部１０４は、視野範囲の時間的な動きの予測に際し、同様の運転行動中における視線方向の移動及び運転行動を示す情報を蓄積し、蓄積した情報を平均化することで視野範囲及び視覚的認識度Ｄ４を算出する。また、車外環境に応じて視線方向及び運転行動は変化するため、視覚的認識度算出部１０４は、予め決められた一定回数以上の情報を平均化することが望ましい。また、視覚的認識度算出部１０４は、細かな動作によって生じる情報遷移の影響を排除するために、車外環境に応じて変化する視線方向を示す情報及び運転行動を示す情報にフィルタ処理を行ってもよい。

これにより、表示制御部１０５は、右折の運転行動中に変化する運転者の視点位置であっても、見える視野に重要度の高い情報を配置し、重要度の低い情報は、右折の運転行動の中である視点位置でのみ見えるように配置することができる。

図８は、右折の運転行動中の表示制御例を示している。ナビゲーションアイコン４１は、右折の運転行動の開始時における視点位置でのみ中心視の領域で知覚でき、その後において、右折の運転行動中の視界を遮ることをなくすることができる。また、情報の重要度の高いアラート表示アイコン４３，４６は、右折の運転行動時のどの時間位置であっても視野範囲に入るように配置制御を行うことで、注意が必要な物の認識時間を早めることができる。

図９は、後退の運転行動時にバックミラー表示装置１５を見ている際の表示制御の例である。アラート表示アイコン４３及び４６は、右後方に注意が必要な物が発生した際に運転者に認知させるための表示情報である。この例では、バックミラー表示装置１５を視認しているときに、バックミラー表示装置１５上に他の表示情報を阻害しないアイコンを配置している。この場合、視点位置を右方向に変更したときに周辺視野にあるＨＵＤ装置１１の表示領域にて視認できるように、アイコン表示を行うことで、後退の運転行動時に、アイコンを見ることを目的として身体又は視線を移動させる必要がない。

《３》実施の形態３．
実施の形態３に係る表示制御装置は、図３に示される実施の形態１に係る表示制御装置１００と同様の構成を有している。また、実施の形態３に係る表示制御装置が実施する表示制御方法は、図４に示される実施の形態１に係る表示制御装置１００の表示制御方法と同様の処理である。したがって、実施の形態３の説明では、図１から図４を参照する。実施の形態３では、運転行動において必要となる視線移動が適切に行われなかった際の表示制御方法を示す。

図１０は、実施の形態３に係る表示制御装置によって実行される制御に基づいて表示される映像の例を示す図である。図１０は、運転者の視覚的認識度Ｄ４を図５における視覚的認識度マップ４０の状態としたときに、この視覚的認識度マップ４０の範囲外に注意が必要な物４７が存在する位置の方向に視線を誘導するための表示例を示している。

実施の形態３においては、視覚的認識度マップ４０の範囲外に視点位置を向ける必要がある場合、表示制御部１０５は、視野範囲における誘導方向に近い位置にアラート表示アイコン４６を表示する。このようにすれば、運転者が考える運転行動と中心視野による知覚を阻害することなく、視線の誘導表示を行うことができる。

《４》変形例．
また、上記実施の形態１から３の表示制御装置の構成を適宜組み合わせることが可能である。

１ 運転支援装置、 １０ フロントウィンドウ、 １１ ＨＵＤ装置、 １２ パネル表示装置、 １３ サイドミラー表示装置、 １４ サイドミラー表示装置、 １５ バックミラー表示装置、 ２１ 車内カメラ、 ２２ 車外カメラ、 ３１ プロセッサ、 ３２ メモリ、 ４０ 視覚的認識度マップ、 ４１ ナビゲーションアイコン、 ４２ アラート表示アイコン、 ４３ アラート表示アイコン、 ４４ 目的地表示情報、 ４５ 混雑度表示情報、 ４６ アラート表示アイコン、 １００ 表示制御装置、 １０１ 技能推定部、 １０２ 視線検出部、 １０３ 環境情報取得部、 １０４ 視覚的認識度算出部、 １０５ 表示制御部、 Ｄ０ 表示情報、 Ｄ１ 運転技能情報、 Ｄ２ 視線方向情報、 Ｄ３ 走行環境情報、 Ｄ４ 視覚的認識度、 Ｄ５ 映像情報。

本発明の一態様に係る表示制御装置は、運転者が運転する車両の周囲の環境を示す走行環境情報を取得する環境情報取得部と、前記運転者の運転技能を推定し、前記運転技能を示す運転技能情報を生成する技能推定部と、前記運転者の視線の方向を検出し、前記視線の方向を示す視線方向情報を生成する視線検出部と、前記視線方向情報による前記運転者の運転行動時に発生する視線方向の移動情報と、前記運転者の運転行動情報とを蓄積する記憶部と、前記記憶部に蓄積された前記視線方向の移動情報及び前記運転行動情報と、前記走行環境情報及び前記運転技能情報の少なくとも一つの情報に基づいて、前記運転者が視覚的に認識できる領域を示す視野範囲及び前記視野範囲内の複数の区画の各々の前記運転者の視覚による認識のしやすさを示す視覚的認識度を算出する視覚的認識度算出部と、前記運転者に提示する表示情報を受け取り、前記表示情報と前記視野範囲と前記視覚的認識度とに基づいて、前記表示情報に基づく映像の表示位置及び表示方法のうちの少なくとも一つを制御する表示制御部と、を有することを特徴とする。

本発明の他の態様に係る表示制御方法は、表示制御装置によって実行される方法であって、運転者が運転する車両の周囲の環境を示す走行環境情報を取得するステップと、前記運転者の運転技能を推定し、前記運転技能を示す運転技能情報を生成するステップと、前記運転者の視線の方向を検出し、前記視線の方向を示す視線方向情報を生成するステップと、前記視線方向情報による前記運転者の運転行動時に発生する視線方向の移動情報と、前記運転者の運転行動情報とを記憶部に蓄積するステップと、前記記憶部に蓄積された前記視線方向の移動情報及び前記運転行動情報と、前記走行環境情報及び前記運転技能情報の少なくとも一つの情報に基づいて、前記運転者が視覚的に認識できる領域を示す視野範囲及び前記視野範囲内の複数の区画の各々の前記運転者の視覚による認識のしやすさを示す視覚的認識度を算出するステップと、前記運転者に提示する表示情報を受け取り、前記表示情報と前記視野範囲と前記視覚的認識度とに基づいて、前記表示情報に基づく映像の表示位置及び表示方法のうちの少なくとも一つを制御するステップと、を有することを特徴とする。

Claims (12)

1. 運転者が運転する車両の周囲の環境を示す走行環境情報を取得する環境情報取得部と、
   前記運転者の運転技能を推定し、前記運転技能を示す運転技能情報を生成する技能推定部と、
   前記運転者の視線の方向を検出し、前記視線の方向を示す視線方向情報を生成する視線検出部と、
   前記視線方向情報と、前記走行環境情報及び前記運転技能情報の少なくとも一方とに基づいて、前記運転者が視覚的に認識できる領域を示す視野範囲及び前記視野範囲内の複数の区画の各々の前記運転者の視覚による認識のしやすさを示す視覚的認識度を算出する視覚的認識度算出部と、
   前記運転者に提示する表示情報を受け取り、前記表示情報と前記視野範囲と前記視覚的認識度とに基づいて、前記表示情報に基づく映像の表示位置及び表示方法のうちの少なくとも一つを制御する表示制御部と、
   を有することを特徴とする表示制御装置。
2. 前記視覚的認識度算出部は、前記運転者の視線方向情報、前記運転技能情報、及び前記走行環境情報に基づいて、前記視覚的認識度を算出することを特徴とする請求項１に記載の表示制御装置。
3. 前記視覚的認識度算出部は、前記運転者の運転行動時に発生する視線方向の移動及び前記運転者の運転行動情報を蓄積し、蓄積された前記視線方向の移動と前記運転行動情報とに基づいて、前記運転者の運転行動時における前記視覚的認識度を算出することを特徴とする請求項１又は２に記載の表示制御装置。
4. 前記表示制御部は、前記視覚的認識度算出部から得られた前記視覚的認識度及び前記表示情報の重要度に応じて、前記表示情報に基づく映像を表示する位置及び表示方法を編集することを特徴とする請求項１から３のいずれか１項に記載の表示制御装置。
5. 前記表示制御部は、前記視覚的認識度算出部から得られる前記運転者の視野範囲と前記視覚的認識度、及び前記表示情報に含まれる見るべき視線方向を示す情報に応じて、前記運転者の視野範囲から前記見るべき視線方向に誘導する表示するための制御を行うことを特徴とする請求項１から４のいずれか１項に記載の表示制御装置。
6. 前記環境情報取得部は、前記車両の位置情報、前記車両の周囲の天候及び道路環境情報を取得することを特徴とする請求項１から５のいずれか１項に記載の表示制御装置。
7. 前記環境情報取得部は、前記車両の外部を撮像するカメラ又は赤外線センサから得られる情報に基づいて、前記車両の周囲にある物体を検出することを特徴とする請求項１から６のいずれか１項に記載の表示制御装置。
8. 前記技能推定部は、前記運転者の運転行動を取得及び蓄積し、予め決められた運転行動の頻度から前記運転技能を推定することを特徴とする請求項１から７のいずれか１項に記載の表示制御装置。
9. 前記技能推定部は、前記運転者の生体情報を取得し、前記生体情報に基づいて前記運転技能情報を補正することを特徴とする請求項８に記載の表示制御装置。
10. 前記技能推定部は、前記運転者の運転経験、運転履歴、健康状態、又は視力情報を取得し、前記運転経験、前記運転履歴、前記健康状態、及び前記視力情報のいずれか１つ以上に基づいて前記運転技能情報を補正することを特徴とする請求項８又は９に記載の表示制御装置。
11. 運転者が運転する車両の周囲の環境を示す走行環境情報を取得するステップと、
    前記運転者の運転技能を推定し、前記運転技能を示す運転技能情報を生成するステップと、
    前記運転者の視線の方向を検出し、前記視線の方向を示す視線方向情報を生成するステップと、
    前記視線方向情報と、前記走行環境情報及び前記運転技能情報の少なくとも一方とに基づいて、前記運転者が視覚的に認識できる領域を示す視野範囲及び前記視野範囲内の複数の区画の各々の前記運転者の視覚による認識のしやすさを示す視覚的認識度を算出するステップと、
    前記運転者に提示する表示情報を受け取り、前記表示情報と前記視野範囲と前記視覚的認識度とに基づいて、前記表示情報に基づく映像の表示位置及び表示方法のうちの少なくとも一つを制御するステップと、
    を有することを特徴とする表示制御方法。
12. コンピュータに、
    運転者が運転する車両の周囲の環境を示す走行環境情報を取得する処理と、
    前記運転者の運転技能を推定し、前記運転技能を示す運転技能情報を生成する処理と、
    前記運転者の視線の方向を検出し、前記視線の方向を示す視線方向情報を生成する処理と、
    前記視線方向情報と、前記走行環境情報及び前記運転技能情報の少なくとも一方とに基づいて、前記運転者が視覚的に認識できる領域を示す視野範囲及び前記視野範囲内の複数の区画の各々の前記運転者の視覚による認識のしやすさを示す視覚的認識度を算出する処理と、
    前記運転者に提示する表示情報を受け取り、前記表示情報と前記視野範囲と前記視覚的認識度とに基づいて、前記表示情報に基づく映像の表示位置及び表示方法のうちの少なくとも一つを制御する処理と、
    を実行させることを特徴とする表示制御プログラム。

Images