JP7814968B2 - 画像表示装置及び画像表示方法 - Google Patents

Description

本発明は、画像表示装置及び画像表示方法に関するものである。

従来より、広告サーバと車両とから構成される広告システムが知られている。（例えば特許文献１）。特許文献１記載の広告システムにおいて、広告サーバは、提示される広告の内容である広告情報と、広告を提示可能なユーザの負荷状況を含む広告枠情報とを関連づけて記憶する広告情報記憶手段と、広告情報と広告枠情報とを車両に送信する広告情報送信手段と、を有する。車両は、複数のセンサと、広告情報と広告枠情報とを広告サーバから受信する広告情報受信手段と、複数のセンサから取得される情報から、ユーザの負荷を決定する負荷決定手段と、ユーザの負荷に対応する広告枠情報を特定し、この広告枠情報と関連づけられている広告情報を提示する広告提示手段と、を有する。広告枠には、運転者の負荷状態を考慮して提供形態などの制約が課されて、運転者に掛かる負荷が大きい時には、広告提示手段は、文字数、文字の大きさ、配色等に制約をかけることで、提示する情報量を減らす。

特開２０１３－４５１６９号公報

広告システムでは、ユーザにかかる負荷が大きい場合に、提示される情報量を減らしたとしても、提示情報がユーザの視界を妨げるような形態で表示された場合には、ユーザの集中力が低下する可能性がある。

本発明が解決しようとする課題は、画像表示による、ユーザの集中力の低下を防止できる画像表示装置及び画像表示方法を提供することである。

本発明は、車内ユーザの視線方向を検出し、車内ユーザが画面への表示画像の表示を受け入れる度合いを示す受容度を推定し、車内ユーザが表示画像を見ている状態で、受容度が高い場合と比較して、受容度が低い場合には、車内ユーザが視線方向を見た時の視界を妨げる度合いを示す視界阻害度が低くなるように、表示画像を画面に表示させることによって上記課題を解決する。

本発明によれば、画像表示によるユーザの集中力の低下を防止できる。

図１は、本実施形態における車両のブロック図である。 図２は、ＡＲ装置の画面に表示される画像の概念図である。 図３は、ドライバーの視野範囲を表す概念図である。 図４は、本実施形態の画像表示装置における画像表示方法の手順の一例を示すフローチャートである。 図５は、本発明の他の実施形態における車両のブロック図である。 図６は、他の実施形態の画像表示装置における画像表示方法の手順の一例を示すフローチャートである。

≪第１実施形態≫
本発明に係る画像表示装置の一実施形態を図面に基づいて説明する。図１は、本実施形態に係る画像表示装置を含む車両の構成の一例を示すブロック図である。図１で示されるように、車両１は、車載機器２、車内カメラ３、ＡＲ機器４、及びコントローラ１００を備えている。なお、車両１は、図１に示す構成に限らず、例えばエンジン、モータ等の駆動類、ナビゲーションシステムなどの補器類、及びバッテリ等を有している。本実施形態に係る画像表示装置は、コントローラ１００を含む装置であって、車内のユーザに対して、アバター等の仮想画像を表示して、アバターと同乗しているようなバーチャル空間を車内ユーザに提供する。また画像表示装置は、ユーザの視線方向を検出し、アバターの表示によりユーザの視界を妨げるようなことを防止できるよう、アバターの表示に制限をかける。以下の説明では、車内ユーザをドライバーとして説明する。またバーチャル空間に表示される表示画像を、アバター等の仮想画像を含む画像として実施形態を説明する。

車載機器２は、車両の運転状態を検出するために使用される機器であって、例えば、操舵センサ、アクセルポジションセンサ、ブレーキ圧力センサ、方向指示器、ソナーなどの対物センサである。

車内カメラ３は、車内の様子を撮像する装置であって、少なくともドライバの視線方向を検出できるよう、ユーザの顔や目の動きを撮像する。なお、車内カメラ３も車載機器のひとつであるが、本実施形態では説明のために、別構成として説明する。

ＡＲ機器４は、車内に位置する表示装置であって、ドライバーの頭部に装着されて、ドライバーに対して仮想空間を表示する。仮想空間の画像は、ドライバーが見ている実画像に、人を模したアバターを重畳した画像であって、実在する車外及び／車内の風景にバーチャルの視覚情報を重ねることで、実空間を仮想的に拡張させた画像である。アバターは、ユーザやアニメのキャラクター等で表され、例えば遠隔ユーザを模した人の画像で表される。またＡＲ機器４は、ＡＲ機器４の座標位置、傾き等で示される姿勢情報をコントローラ１００に出力する。

図２は、ＡＲ機器４を介してドライバーが見ている画像を表している。車両走行中、ドライバーがＡＲ機器４を装着した状態で正面を向いた場合には、ＡＲ機器４はアバターを表示せずに、ドライバーの正面から見える実画像を表示する。一方、例えば車両停車中に、ドライバーがＡＲ機器４を装着した状態で助手席側を向いた場合には、ＡＲ機器４は、車内外の実際の景色に加えてアバター５を含んだ仮想画像（拡張画像）を表示する（図２を参照）。また、ＡＲ機器４は、コントローラ１００の制御の下、車載通信を介してサーバに接続されてもよく、サーバーは遠隔ユーザの操作端末と通信可能な状態で接続されている。そして、遠隔ユーザは操作端末を操作することでアバター５を動かすことができ、ドライバーは、図２のアバター５の動きを見ることも可能である。なおアバター５は、遠隔ユーザの他に、例えば観光案内等をするガイド人を模したキャラクターでもよい。

コントローラ１００は、車載機器２から車両情報を取得し、車内カメラ３から撮像画像を取得し、ＡＲ機器４の表示画面上に表示させる表示画像を生成する。アバター（仮想画像）を表示画面に含む場合には、表示画像は、仮想画像と実画像を重ねた画像となる。またコントローラ１００は、仮想画像をＡＲ機器４の表示画面に表示する場合には、車両情報及び／又は撮像画像に基づき、仮想画像がドライバーの視界を妨げることがないように、ＡＲ機器４の表示画面上に表示画像を表示させる。コントローラ１００は、機能ブロックとして、少なくとも画像表示部１１０と、視線検出部１２０と、受容度推定部１３０とを含む。各機能ブロックは、ソフトウェアと、ハードウェアとの協働により各機能を実行する。本実施形態では、コントローラ１００が有する機能を３つのブロックとして分けた上で、各機能ブロックの機能を説明するが、コントローラ１００の機能は必ずしも３つのブロックに分ける必要はなく、２つ以下の機能ブロック、あるいは、４つ以上の機能ブロックで分けてもよい。

画像表示部１１０は、ＡＲ機器４の画面に表示画像を表示させる。画像表示部１１０は、仮想画像生成部１１１と、視界阻害度推定部１１２を含む。仮想画像生成部１１１は、ＡＲ機器４の画面に表示させる仮想画像を生成する。仮想画像生成部１１１は、ドライバーの操作等に基づき、仮想画像を表示させるための指令を取得する。仮想画像生成部１１１は、ＡＲ機器４と信号の送受信を行い、ＡＲ機器４を介してドライバーが見ている視線方向及び／又は視野範囲を特定する。仮想画像生成部１１１は、遠隔ユーザを模したアバターを仮想画像として表示させる場合には、アバターの動きを作るための動作情報を車外から取得する。そして、仮想画像生成部１１１は、特定された視線方向及び／又は視野範囲に応じて仮想画像を生成する。また仮想画像に動きを付与する場合には、仮想画像生成部１１１は、車外から取得した動作情報を用いて仮想画像を生成する。なお、動作情報は必ずしも車外から取得する必要はなく、例えば、ドライバーとアバターとの会話を通じて、アバターに動きを持たせるようなアニメーションを予め付与し、ドライバーとの会話に応じて、アバターに動きを付与してもよい。

視界阻害度推定部１１２は、後述する視線検出部１２０から、ドライバーの視線方向を示す情報を取得し、取得した情報に基づき、視界阻害度を推定する。視界阻害度は、ドライバーが視線方向を見た時の視界を妨げる度合いを示したパラメータ（指標）である。言い換えると、実画像（実際の車内外の風景画像）をみているユーザに対して、実画像に仮想画像を重ねて表示する際に、仮想画像がユーザの視野範囲及び／又は視野範囲の周囲に表示されることで、ユーザの視界が妨げる程度、あるいは、ユーザの視界に制限がかかる程度を、視界阻害度は表している。

ここで、視界阻害度について、図３を参照して説明する。図３は、ドライバーの注視点を中心とした視野範囲の概念図である。図３において、点Ｏがドライバーの注視点である。例えば、運転シーンの一例として、車両が交差点の手前を走行している状態で、歩行者が、車両前方の横断歩道を歩行している場合（以下、「歩行者有シーン」と称す）には、ドライバーは、その歩行者に視線を合わせる。この場合に、ドライバーの視野範囲における歩行者の位置が、ドライバーの注視点となる。

図３の領域Ｐは視野角０度から５０度までの範囲を示し、領域Ｑは視野角５０度から１００度までの範囲を示し、領域Ｒは１００度から１２０度までの範囲を示す。なお、領域Ｐ～Ｒを規定する視野角の値は任意の角度に設定可能である。一般的に、人間の視野角は１００度程度であり、領域Ｐが有効視野の範囲に相当し、領域Ｑが周辺視野に相当する。例えば、上述した運転シーンにおいて、ドライバーはＡＲ機器４を介して車両の正面を見ている状態で、仮想画像（アバター）が領域Ｐ内に表示された場合に運転の妨げになる。また、仮想画像（アバター）が領域Ｑ内に表示された場合には、運転に対する集中力が低下する可能性があり、あるいは、運転中の疲労度が増す可能性がある。上記の歩行者有シーンを想定した場合には、車両の正面を向いており、アバターを助手席の位置に表示させたときには、アバターはドライバーの周辺視野（領域Ｑ）に表示されるため、運転に対するドライバーの集中力が低下するおそれがある。すなわち、領域Ｐや領域Ｑの範囲内に、仮想画像が表示された場合には、ドライバーの視界を妨げることになり、視界阻害度が高くなる。

一方、領域Ｒはドライバーの視野範囲外のため、仮想画像が領域Ｒに表示されたとしても、仮想画像がドライバーの視界を妨げる可能性は低く、視界阻害度が低い。このように、視界阻害度は、ドライバーの注視点を中心点とした視野角で定められる範囲と対応させた値としてもよい。例えば、注視点に近い範囲では、視界阻害度が高く、注視点から遠い範囲では視界阻害度が低くなるよう、視界阻害度が推定される。なお、視界阻害度は、視野角に限らず、例えば視野範囲における注視点からの距離に応じて推定されてもよい。さらに、視界阻害度は、仮想画像の位置に限らず、仮想画像の形状、大きさ、色彩、透過度等から推定されてよい。例えば、仮想画像が、図３の領域Ｑの範囲内に表示する場合に、仮想画像の透過度を大きくしたり、あるいは、仮想画像の大きさを小さくしたりすることで、仮想画像がドライバーの視界を妨げないようにすることができる。このように仮想画像を表示する場合には、視界阻害度が低くなる。

また視界阻害度は、仮想画像の位置、仮想画像の形状、大きさ、色彩、及び透過度等、ドライバーの視界を妨げる要素を複数組み合わせて推定されてもよい。例えば、視界阻害度は、仮想画像の透過度と、ドライバーの視線方向から上下左右方向の視野角とを組み合わせたパラメータとしてもよい。あるいは、例えば、視界阻害度は、仮想画像の透過度と、ドライバーの視野範囲における仮想画像の位置とを組み合わせたパラメータとしてもよい。

画像表示部１１０は、ドライバーの視線方向に応じて、ドライバーが見ている実画像に対して、仮想画像生成部１１１により生成された仮想画像を重ねて表示画像を生成する。例えば、助手席の位置に仮想画像（アバター）を表示して、ドライバーがアバターと同乗しているようなバーチャル空間を実現させる場合に、ドライバーが車両の正面を向いている場合には、画像表示部１１０は、実画像を表示画像として生成する。また、ドライバーが助手席側を向いた場合には、画像表示部１１０は、実画像に仮想画像を重ねて表示画像を生成する。また、画像表示部１１０は、受容度が高い場合と比較して、受容度が低い場合には、視界阻害度が低くなるような表示画像を生成する。受容度については後述する。

すなわち、画像表示部１１０は、視界阻害度が低くなるように、仮想画像に対して画像処理を行う。画像処理には、画像生成と表示形態の決定が含まれる。具体的には、画像表示部１１０は、例えば、仮想画像の位置を視線方向から遠ざける、仮想画像の透過度を大きく、仮想画像の大きさを小さくする、仮想画像を目立たない形状とする、仮想画像を目立たない色彩にする、仮想画像を表示させない、等の画像処理を行う。なお、仮想画像の大きさを小さくするには、例えば同じ形状を保ちつつ小さくする（縮小）、あるいは、別の形状に変えた上で小さくしてもよい。そして、画像表示部１１０は、画像処理後の仮想画像を実画像に重ねて表示画像を生成し、生成した表示画像を、ＡＲ機器４の画面に表示させる。

視線検出部１２０は、車内ユーザ（ドライバー）の視線方向を検出する。具体的には、視線検出部１２０は、車内カメラ３の撮像画像を取得し、取得された撮像画像からドライバーの目を特定し、ドライバーが見ている位置からドライバーの視線方向を検出する。また、視線検出部１２０は、両眼球の中心の離間距離を測定し、離間距離に基づき、注視点に位置する目視対象物の位置を推定してもよい。そして、視線検出部１２０は、ドライバーの位置から目視対象物の位置までの距離が車内空間内であるか否かで、目視対象物の位置が車外であるか車内であるかを推定できる。ドライバーがＡＲ機器４を装着している場合には、視線検出部１２０はＡＲ機器４と信号の送受信を行い、ＡＲ機器４を介してドライバーが見ている視線方向を検出してもよい。

受容度推定部１３０は受容度を推定する。受容度は、ドライバーがＡＲ機器４の画面への表示画像の表示を受け入れる度合いを表している。例えば、ドライバーが運転している場合、車内の他のユーザと会話している場合、ドライバーの疲労度が高い場合、ドライバーがアバターとの会話以外の他の行為に集中している場合など、仮想画像をＡＲ機器４の画面に表示しても、ドライバーが、仮想画像が表示されることを受け入れない。言い換えると、仮想画像の表示が、ドライバーの行為を阻害することになる場合がある。受容度推定部１３０は、仮想画像を含んだ表示画像の表示の受け入れやすさを、受容度として推定する。受容度の値が大きい程、ドライバーがＡＲ機器４の画面への表示画像の表示を受け入れやすくなる。

受容度推定部１３０は、ユーザ情報及び／又は車両情報を取得し、取得した情報に基づき受容度を推定する。ユーザ情報は、ユーザの状態を示す情報であって、ユーザの視線方向、注視点の位置、表情、動き（腕や頭部などの動き）、音声、生体情報（脳波、心拍等）で示される。受容度推定部１３０は、車内カメラ３の撮像画像から、ユーザの視線方向、注視点の位置、表情、動きを検出することで、ユーザ情報を取得する。受容度推定部１３０は、車内のスピーカから音声情報を取得する。受容度推定部１３０は、ドライバーに装着される脈波センサや心拍センサを用いて生体情報を取得する。なお、ユーザ情報は、ユーザ視線方向や注視点の位置など、上記に列挙した全ての情報を含む必要はなく、列挙した情報のうち少なくとも１つの情報を含んでいればよい。

受容度推定部１３０は、取得されたユーザ情報に基づき受容度を推定する。受容度推定部１３０は、ユーザ情報に含まれるユーザの視線方向又は注視点の位置から、ドライバーが車外又は車内のどちらを見ているか、を特定する。ドライバーが車外を見ている場合には、運転中の可能性が高く、運転中に仮想画像を表示しても、ドライバーには受け入れられない可能性が高い。そのため、受容度推定部１３０は、ドライバーが車外をみていることを特定した場合には、ドライバーが車内をみている場合と比較して、受容度を低くする。視線検出部１２０が目視対象物の位置を推定する場合には、受容度推定部１３０は、目視対象物の位置が車外か車内であるかに応じて、受容度を推定してもよい。すなわち、受容度推定部１３０は、目視対象物の位置が車外である場合には、目視対象物の位置が車内である場合と比較して、受容度を低く推定する。

また受容度推定部１３０は、ユーザ情報に含まれる、ユーザの表情や動き、音声から、ドライバーがアバターとの会話以外のことに集中しているか否か特定する。例えば、アバター表示前に、ドライバーの表情が笑顔になっていたり、ドライバーが後部先を振り向いている場合には、ドライバーが他のユーザ（例えば、電話で話す、又は、後部座席のユーザと話す）と会話しており、その状態でアバターを表示しても、ドライバーはアバターを注視しない、あるいは、アバターを表示させることでドライバーと他のユーザと会話の邪魔になる可能性がある。このような場合には、受容度推定部１３０は受容度を低くする。なお、ドライバーが他のユーザと会話していることは、ユーザ情報に含まれる音声情報の解析から特定してもよい。

また受容度推定部１３０は、ユーザ情報に含まれる生体情報から、ドライバーが緊張状態であるか否か特定する。例えば、ドライバーが負荷の大きな運転をしている最中など、ドライバーが緊張状態である場合には、アバターを表示しても、ドライバーはアバターを注視しない、あるいは、アバターを表示させることでドライバーの集中力が低下する可能性がある。そのため、受容度推定部１３０は、生体情報からドライバーが緊張状態であることを特定した場合には、受容度を低くする。

受容度推定部１３０は、車載機器２から車両情報を取得し、取得された車両情報に基づき受容度を推定する。受容度推定部３０は、車両情報に含まれる、操舵センサ、アクセルポジションセンサ、ブレーキ圧力センサ、又は、対物センサの検出情報、あるいは、方向指示器の動作状態の情報から、車両の走行状態を特定する。車両が走行中である場合には、ドライバーは運転している可能性が高く、運転中に仮想画像を表示しても、ドライバーには受け入れられない可能性が高い。そのため、受容度推定部１３０は、車両が走行中の場合には、車両が停車中の場合と比較して、受容度を低くする。

そして、画像表示部１１０は、受容度が高い場合と比較して、受容度が低い場合には、視界阻害度が低くなるような表示画像を生成し、ＡＲ機器４の画面に表示する。視界阻害度が低くなるような表示画像は、例えば以下の方法で生成される。画像表示部１１０は、受容度推定部１３０により推定された受容度に応じて、視界阻害度閾値を設定する。視界阻害度閾値は、仮想画像の表示により、許容される視界阻害度の上限値である。例えば、車両の停車中など、ドライバーの負荷が小さい場合には、受容度が高くなるため、視界阻害度閾値は高い値に設定される。次に、画像表示部１１０は、仮想画像を生成する際に、仮想画像の表示と視界阻害度を対応させて、視界阻害度が視界阻害度閾値よりも低くなるような、仮想画像の生成及び表示形態を決定する。視界阻害度閾値が高い値に設定された場合には、ユーザの視界を妨げる度合い高い表示画面を表示できるため、仮想画像生成部１１１は透過度の低い仮想画像を生成し、画像表示部１１０は、仮想画像を注視点の近くに仮想画像が表示されるように、仮想画像を実画像に重ねる。

一方、視界阻害度閾値が低い値に設定された場合には、ユーザの視界を妨げる度合いの高い表示画面を表示できないため、仮想画像生成部１１１は透過度の高い仮想画像を生成する。画像表示部１１０は、生成された仮想画像の表示位置を注視点から離すことで、仮想画像を表示した時の視界阻害度を低くする。そして、画像表示部１１０は、仮想画像を表示した時の視界阻害度が視界阻害度閾値未満になるような位置で、仮想画像を実画像に重ねる。これにより、画像表示部１１０は、受容度が高い場合と比較して、受容度が低い場合には、視界阻害度が低くなるような表示画像を生成し、ＡＲ機器４の画面に表示させる。なお、視界阻害度閾値は必ずしも設定する必要はなく、また、視界阻害度が低くなる、又は、視界阻害度が高くなるような表示画像の生成方法は上記に限らず、他の方法でもよい。

次に、図４を参照して、コントローラ１００により実行される、表示画像の表示方法を説明する。図４は、コントローラ１００の画像表示制御の処理フローを示すフローチャートである。コントローラ１００は、車内ユーザの操作、又は、車外から受信する制御指令に基づき、ＡＲ機器４を装着した車内ユーザに対して、画像表示を開始する指令を特定した場合に、以下の制御フローを開始する。

ステップＳ１にて、仮想画像生成部１１１は仮想画像を生成する。この仮想画像は、視界阻害度を低くするための画像処理を施していない画像である。ステップＳ２にて、視線検出部１２０は、車内カメラ３の撮像画像、及び／又は、ＡＲ機器４の姿勢情報に基づき、ドライバーの視線方向を検出する。

ステップＳ３にて、受容度推定部１３０はドライバーの受容度を推定する。ステップＳ４にて、視界阻害度推定部１１２は視界阻害度を推定する。まず、視界阻害度推定部１１２は、視線検出部１２０から、ドライバーの視線方向を示す情報を取得する。視界阻害度推定部１１２は、ドライバーの視線方向から特定される視野範囲及び／又は視野範囲の周囲において、仮想画像を表示したときの視界阻害度を推定する。視界阻害度は、仮想画像の表示形態に応じて推定される。例えば、仮想画像を注視点に近い位置に表示する、及び／又は、透過度の低い仮想画像を表示するような表示形態に対して、視界阻害度は高い値で推定される。また、例えば、仮想画像を注視点に遠い位置に表示する、及び／又は、透過度の高い仮想画像を表示するような表示形態に対して、視界阻害度は低い値で推定される。

ステップＳ５にて、画像表示部１１０は、ＡＲ機器４の画面に表示される表示画像を生成する。まず、画像表示部１１０は、推定された受容度と、推定された視界阻害度に基づき、推定された受容度に応じた仮想画像の表示形態を決定する。画像表示部１１０は、受容度が高い場合には、視界阻害度が高くなるような仮想画像の表示形態を決定する。画像表示部１１０は、受容度が低い場合には、視界阻害度が低くなるような仮想画像の表示形態を決定する。画像表示部１１０は、決定した表示形態に合うように、仮想画像に対して画像処理を行う。さらに、画像表示部１１０は、画像処理後の仮想画像を実画像に重ねることで、表示画像を生成する。

ステップＳ６にて、画像表示部１１０は、生成された表示画像を含む信号をＡＲ機器４に送信する。これにより、画像表示部１１０は、受容度が高い場合と比較して、受容度が低い場合に、視界阻害度が低くなるように、表示画像をＡＲ機器４の画面に表示させる。

上記のように本実施形態において、コントローラ１００は、車内ユーザの視線方向を検出し、車内ユーザが、車内に位置する表示装置の画面への表示画像の表示を受け入れる度合いを示す受容度を推定し、受容度が高い場合と比較して、受容度が低い場合には、車内ユーザが視線方向を見た時の視界を妨げる度合いを示す視界阻害度が低くなるように、表示画像を画面に表示させる。これにより、車両ユーザの受容度と視線方向を考慮して視界阻害度を低減するように画像表示を変化させるので、車内の画像表示により、車両ユーザの運転への集中力が低下することを防止できる。

また本実施形態において、受容度推定部１３０は、車内ユーザの状態を示すユーザ情報を取得し、ユーザ情報に基づき受容度を推定する。これにより、ユーザの動きやユーザの音声から受容度を推定できる。

また本実施形態において、受容度推定部１３０は、車両１の車載機器２から車両情報を取得し、取得された車両情報に基づき受容度を推定する。これにより、車両情報を基に車両ユーザの受容度を推定することができる。

また本実施形態において、視線検出部１２０は、車内ユーザの視線方向の先にある目視対象物の位置を推定し、受容度推定部１３０は、目視対象物の位置が車外である場合には、目視対象物の位置が車内である場合と比較して、受容度を低く推定する。これにより、車両の走行状態を車内ユーザの視線方向から特定した上で、受容度を推定できる。

また本実施形態において、画像表示部１１０は、受容度が低い場合には、受容度が高い場合と比較して、表示画像の大きさを小さくして画面に表示させる。これにより、車内ユーザの視界を確保できる。

また本実施形態において、画像表示部１１０は、受容度が低い場合には、受容度が高い場合と比較して、表示画像の透過度を高くして画面に表示させる。これにより、車内ユーザの視界を確保できる。

また本実施形態において、画像表示部１１０は、受容度が低い場合には、受容度が高い場合と比較して、表示画像に含まれる仮想画像の位置を、車内ユーザの注視点から遠くして画面に表示させる。これにより、車内ユーザの視界を確保できる。

なお、本実施形態の変形例として、画像表示部１１０は、目視対象物の位置が車外である場合には、受容度の大きさにかかわらず、視界阻害度が低くなるように表示画像を画面に表示させる、又は、表示画像を前記画面に表示させないようにしてもよい。目視対象物の位置が車外である場合には、車両運転中の可能性が高いため、このような場合には、視界阻害度が低くなるように表示画像を画面に表示させる、あるいは、強制的に仮想画像の表示を禁止する。これにより、車内ユーザの受容度に関わらず、車内ユーザの視野を強制的に確保できる。

また本実施形態の変形例として、画像表示部１１０は、視界阻害度が所定値より低くなるように表示画像を前記画面に表示させる、又は、表示画像を前記画面に表示させないようにしてもよい。コントローラ１００は、車内ユーザからの操作に基づき、強制的に視野を確保するように、ＡＲ機器４の表示画像を制御する。例えば、車内ユーザは、運転に集中したい時には、アバターの表示を消す、あるいは、アバター表示が視野を妨げないようにするために、アバター表示を制限する制限操作を実行する。制限操作は、例えば、車内のスイッチ操作、ＡＲ機器４のボタン操作や、音声認識処理を利用した音声入力により行われる。

コントローラ１００は、制限操作に基づく制御指令を受信した場合には、仮想画像を表示することによる視界阻害度が所定値より低くなるように、仮想画像に対して画像処理を実行する。所定値は、仮想画像の位置を強制的に視野範囲の周囲に遠ざける、仮想画像の透過度を大幅に高くするなど、受容度とは関係なく仮想画像の表示により車内ユーザの視野を妨げないようにするための、視界阻害度の下限値である。また、コントローラ１００は、制限操作に基づく制御指令を受信した場合には、強制的に仮想画像の表示を禁止し、実画像のみをＡＲ機器４に表示させる。これにより、車内ユーザの受容度に関わらず、強制的に視界を確保する指令を受け付ける構成になっているので、車内ユーザの視野を強制的に確保できる。

また本実施形態の変形例として、受容度推定部１３０は、目視対象物の種類に応じて受容度を推定してもよい。例えば、目視対象物の種類が歩行者である場合には、運転中の可能性が高い。あるいは、目視対象物の種類が車内のナビゲーションシステム用の画面である場合や、サイドガラス越しに風景を見ている場合には、運転中の可能性が低い。受容度推定部１３０は、車内カメラ、及び／又は、車外カメラの撮像画像と、視線検出部１２０により推定された目視対象物に基づいて、ユーザが目視している対象物の種類を特定する。特定された目視対象物の種類が、車両の運転に関係するもの（例えば、他車両、標識、障害物等）である場合には、受容度推定部１３０は受容度を低くする。これにより、車内ユーザの視覚情報に基づき、任意の対象物注視しているかを判断し、受容度を下げることができるので、車内ユーザの視界を確保できる。

なお本実施形態において、受容度は、車内ユーザが現在行っているタスク（以下、現在タスクと称す）に応じて、レベル１、レベル２、及びレベル３などのようにレベル分けで表されてよい。現在タスクは、ドライバー現在の行為を表しており、例えば、車両運転中、他人との会話中、映像鑑賞中などである。現在タスクは、車両情報及び／又はユーザ情報に基づき特定される。そして、受容度は、現在タスクとは異なるタスクを、車内ユーザが受け入れるかの度合いを表している。例えば、現在タスクが車両運転中である場合には、ドライバーは、アバターとの会話等の他のタスクを受け入れる可能性は低い。このような場合には、受容度推定部１３０は、受容度レベルを「１」とする。一方、例えば、現在タスクが映像鑑賞中である場合には、ドライバーは、アバターとの会話等の他のタスクを受け入れる可能性は、車両運転中より高くなる。このような場合には、受容度推定部１３０は、受容度レベルを「３」とする。そして、画像表示部１１０は、受容度が高い場合と比較して、受容度が低い場合には、視界阻害度が低くなるように、表示画像を画面に表示させる。これにより、車内ユーザの現在タスクの内容を考慮して視界阻害度を低減するように画像表示を変化させるので、車内の画像表示により、車両ユーザの集中力が低下することを防止できる。

なお、本実施形態において、表示画像は、ＡＲ機器４の画面に限らず、例えばナビゲーションシステム用の車載ディスプレイ、車内ユーザが所有するユーザ端末のディスプレイ等、車内に位置するディスプレイに表示されてもよい。

なお、本実施形態において、コントローラ１００は、仮想画像に対して画像処理を行い、視界阻害度が低くなるように表示画像を画面に表示させるが、視界阻害度が低くする表示画像に、必ずしも仮想画像を含める必要は無く、実画像に対して画像処理を行い、視界阻害度が低くなるように表示画像を画面に表示させてよい。例えば、車載ディスプレイに映像を表示する際に、車両運転中等、受容度の低い場合は、車載ディスプレイの表示画面が、車内ユーザの視線方向によって視野範囲に含まれてしまう場合がある。このような場合には、コントローラ１００は、表示画面を目立たないような色合いにするなど、視界阻害度が低くなるような画像処理を実画像に行う。このように、コントローラ１００は、実画像に対して画像処理を行い、視界阻害度が低くなるように表示画像を画面に表示させてもよい。

≪第２実施形態≫
次に、第２実施形態に係る画像表示装置について説明する。第２実施形態では、コントローラ１００が運転関係情報取得部１４０を含む点、及び、画像表示部１１０の制御の一部が異なる。なお、以下に説明する点において第１実施形態に係る画像表示装置と異なること以外は、第１実施形態と同様の構成を有し、第１実施形態と同様に動作又は作用するものであって、第１実施形態の記載を適宜、援用する。

本実施形態に係る画像表示装置は、受容度が低いときであっても、車両の走行シーン及びドライバーの状態に応じて運転関係情報を含む仮想画像を、ＡＲ機器４の画面に表示させる。例えば、車両が交差点に入り右折しようとするような走行シーンにおいて、ドライバーの注視点が対向車の位置にあり、右折先の横断歩道上の歩行者がドライバーの視野範囲に含まれていない時には、コントローラ１００は、ドライバーに対して歩行者の存在を注意喚起するために、歩行者の仮想画像をＡＲ機器４の画面に表示させる。すなわち、ドライバーが運転に集中している時には、受容度推定部１３０により推定される受容度は低くなる。しかしながら、ドライバーが歩行者などの運転関係情報を認知していない場合には、運転関係情報を含む画像を積極的に表示した方がよい。本実施形態では、ドライバーが運転関係情報を認知しているか否かを判定し、ドライバーが運転関係情報を認知していないと判定した場合には、受容度が低いときであっても、表示画像に前記運転関係情報を含めてＡＲ機器４の画面に表示させる。

コントローラ１００は、画像表示部１１０等に加えて、運転関係情報取得部１４０を含んでいる。運転関係情報取得部１４０は、車載機器２に含まれる測距センサ又は車外カメラ等、車両外部を検出するセンサを用いて、車両周辺の運転関係情報を取得する。運転関係情報は、車両の運転において必要となる情報であって、例えば、他車両、歩行者、標識、障害物などの情報である。運転関係情報は、対象物の形や大きさ、又は、対象物の位置などを示しており、センサで検出される車両周辺の物体情報、信号機などの交通装置の情報、標識の情報等、エンターテイメントやナビゲーション情報以外の運転に関係する情報である。例えば運転関係情報で示される対象物が歩行者である場合には、運転関係情報は、少なくとも歩行者の位置を含んでいる。運転関係情報取得部１４０は、車両の走行シーンに応じて、運転関係情報を取得してもよい。例えばドライバーが右折するために方向指示器を操作した場合には、運転関係情報取得部１４０は、方向指示器の操作をトリガとして、センサを用いて、右折先の道路の状況を検出し、検出されたデータから運転関係情報を取得する。また運転関係情報取得部１４０は、車両の右左折に限らず、車線変更等の走行シーンの時に運転関係情報を取得してもよい。

運転関係情報を取得した場合には、画像表示部１１０は、視線検出部１２０から、ドライバーの視線方向を示す情報を取得し、ドライバーが運転関係情報を認知しているか否かを判定する。具体的には、画像表示部１１０は、運転関係情報で示される対象物とその対象物の位置を特定し、ドライバーの視線方向からドライバーの視野範囲を特定する。特定された対象物がドライバーの視野範囲内にある場合には、画像表示部１１０は、ドライバーが運転関係情報を認知していると判定する。一方、特定された対象物がドライバーの視野範囲内にない場合には、画像表示部１１０は、ドライバーが運転関係情報を認知していないと判定する。あるいは、画像表示部１１０は、ドライバーの注視点が、運転関係情報で示される対象物にフォーカスされたか否かに応じて、ドライバーが運転関係情報を認知しているか否か判定してもよい。

ドライバー運転関係情報を認知していないと判定した場合には、仮想画像生成部１１１は、運転関係情報を示す仮想画像を生成する。例えば、運転関係情報が示す対象物が歩行者である場合には、仮想画像生成部１１１は、人を模したアバターを仮想画像として生成する。画像表示部１１０は、運転関係情報を示す仮想画像がＡＲ機器４の画面に表示されるよう、ＡＲ機器４の表示画面を生成する。このとき、例えば、アバターとの同乗しているようなバーチャル空間を実現するための仮想画像（運転に関連しない仮想画像）を表示する場合には、第１実施形態のように、受容度に応じて視界阻害度を調整して、ＡＲ機器４の表示画面に表示させてもよく、特に受容度が低い場合には、コントローラ１００は、運転に関連しない仮想画像はＡＲ機器４の表示画面に表示せず、ドライバーが認知していない情報であり、運転に関連する仮想画像を、ＡＲ機器４の表示画面に表示してもよい。運転に関係する仮想画像の表示位置は、少なくともドライバーの視野範囲（図３の領域Ｐ又は領域Ｑ）であり、ドライバーの注視点の位置又は注視点の近くにすればよい。また仮想画像生成部１１１は、運転関係情報を示す仮想画像がＡＲ機器４の画面に表示させる場合には、仮想画像を強調して表示させてもい。画像表示部１１０は、色合いや大きさなどの表示形態、及び／又は、仮想画像の表示位置を調整することで、仮想画像を強調させてもよい。これにより、例えば、ドライバーの受容度が低い場合に、ドライバーの視野範囲に入っていない、歩行者などの運連関連情報を、ＡＲ機器４の表示画面に表示することができる。

次に、図６を参照して、コントローラ１００により実行される、表示画像の表示方法を説明する。図６は、コントローラ１００の画像表示制御の処理フローを示すフローチャートである。

ステップＳ１１及びステップＳ１２の制御処理は、第１実施形態におけるステップＳ１及びステップＳ２と同様であり、説明を省略する。ステップＳ１３にて、運転関係情報取得部１４０はセンサを用いて運転関係情報を取得する。ステップＳ１４にて、画像表示部１１０は、視線検出部１２０で検出されるドライバーの視線方向の情報と、取得された運転関係情報に基づき、ドライバーが運転関係情報を認知しているか否か判定する。ドライバーが運転関係情報を認知していると判定した場合には、コントローラ１００はステップＳ１６の制御処理を実行する。

ドライバーが運転関係情報を認知していない場合には、ステップＳ１５にて、仮想画像生成部１１１は、運転関係情報を示す仮想画像（運転関係画像）を生成する。ステップＳ１６～ステップＳ１９の制御処理は、第１実施形態におけるステップＳ３～Ｓ６と同様であり、説明を省略する。ただし、ステップＳ１５の制御処理で、運転に関係する仮想画像を生成した場合には、ステップＳ１８にて、画像表示部１１０は運転に関係する仮想画像を含めてＡＲ機器４の表示画像を生成し、ステップＳ１８にて、画像表示部１１０は生成された表示画像を含む信号をＡＲ機器４に送信する。

上記のように本実施形態において、コントローラ１００は、ドライバーが運転に関わる運転関係情報を認知しているか否かを判定し、ドライバーが運転関係情報を認知していないと判定した場合には、受容度が低いときであっても、表示画像に運転関係情報を含めて画面に表示させる。これにより、ドライバーが、運転に関係する情報を認知しているか否判定した上で、運転に関係する情報を積極的に表示し、ドライバーに注意喚起できる。

なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

１…車両
２…車載機器
３…車内カメラ
４…ＡＲ機器
１００…コントローラ
１１０…画像表示部
１２０…視線検出部
１３０…受容度推定部

Claims (11)

1. 車内に位置する表示装置の画面に表示画像を表示させる画像表示部と、
   車内ユーザの視線方向を検出する視線検出部と、
   前記車内ユーザが前記画面への前記表示画像の表示を受け入れる度合いを示す受容度を推定する受容度推定部とを備え、
   前記画像表示部は、前記車内ユーザが前記表示画像を見ている状態で、前記受容度が高い場合と比較して、前記受容度が低い場合に、前記車内ユーザが前記視線方向を見た時の視界を妨げる度合いを示す視界阻害度が低くなるように、前記表示画像を前記画面に表示させ、
   前記受容度推定部は、前記車内ユーザの状態を示すユーザ情報を取得し、前記ユーザ情報に基づき前記受容度を推定する画像表示装置。
2. 請求項１記載の画像表示装置において、
   前記受容度推定部は、車載機器から車両情報を取得し、前記車両情報に基づき前記受容度を推定する画像表示装置。
3. 車内に位置する表示装置の画面に表示画像を表示させる画像表示部と、
   車内ユーザの視線方向を検出する視線検出部と、
   前記車内ユーザが前記画面への前記表示画像の表示を受け入れる度合いを示す受容度を推定する受容度推定部とを備え、
   前記画像表示部は、前記車内ユーザが前記表示画像を見ている状態で、前記受容度が高い場合と比較して、前記受容度が低い場合に、前記車内ユーザが前記視線方向を見た時の視界を妨げる度合いを示す視界阻害度が低くなるように、前記表示画像を前記画面に表示させ、
   前記視線検出部は、前記視線方向の先にある目視対象物の位置を推定し、
   前記受容度推定部は、前記目視対象物の位置が車外である場合には、前記目視対象物の位置が車内である場合と比較して、前記受容度を低く推定する画像表示装置。
4. 車内に位置する表示装置の画面に表示画像を表示させる画像表示部と、
   車内ユーザの視線方向を検出する視線検出部と、
   前記車内ユーザが前記画面への前記表示画像の表示を受け入れる度合いを示す受容度を推定する受容度推定部とを備え、
   前記画像表示部は、前記車内ユーザが前記表示画像を見ている状態で、前記受容度が高い場合と比較して、前記受容度が低い場合に、前記車内ユーザが前記視線方向を見た時の視界を妨げる度合いを示す視界阻害度が低くなるように、前記表示画像を前記画面に表示させ、
   前記視線検出部は、前記視線方向の先にある目視対象物の位置を推定し、
   前記画像表示部は、前記目視対象物の位置が車外である場合には、前記受容度の大きさにかかわらず、前記視界阻害度が低くなるように前記表示画像を前記画面に表示させる、又は、前記表示画像を前記画面に表示させない画像表示装置。
5. 請求項１～４のいずれか一項に記載の画像表示装置であって、
   前記画像表示部は、前記受容度が低い場合には、前記受容度が高い場合と比較して、前記表示画像の大きさを小さくして前記画面に表示させる画像表示装置。
6. 車内に位置する表示装置の画面に表示画像を表示させる画像表示部と、
   車内ユーザの視線方向を検出する視線検出部と、
   前記車内ユーザが前記画面への前記表示画像の表示を受け入れる度合いを示す受容度を推定する受容度推定部とを備え、
   前記画像表示部は、前記車内ユーザが前記表示画像を見ている状態で、前記受容度が高い場合と比較して、前記受容度が低い場合に、前記車内ユーザが前記視線方向を見た時の視界を妨げる度合いを示す視界阻害度が低くなるように、前記表示画像を前記画面に表示させ、
   前記受容度が低い場合には、前記受容度が高い場合と比較して、前記表示画像の透過度を高くして前記画面に表示させる画像表示装置。
7. 車内に位置する表示装置の画面に表示画像を表示させる画像表示部と、
   車内ユーザの視線方向を検出する視線検出部と、
   前記車内ユーザが前記画面への前記表示画像の表示を受け入れる度合いを示す受容度を推定する受容度推定部とを備え、
   前記画像表示部は、前記車内ユーザが前記表示画像を見ている状態で、前記受容度が高い場合と比較して、前記受容度が低い場合に、前記車内ユーザが前記視線方向を見た時の視界を妨げる度合いを示す視界阻害度が低くなるように、前記表示画像を前記画面に表示させ、
   前記受容度が低い場合には、前記受容度が高い場合と比較して、前記表示画像に含まれる仮想画像の位置を、前記車内ユーザの注視点から遠くして前記画面に表示させる画像表示装置。
8. 請求項１～７のいずれか一項に記載の画像表示装置であって、
   前記画像表示部は、前記車内ユーザからの指令に応じて、前記視界阻害度が所定値より低くなるように前記表示画像を前記画面に表示させる、又は、前記表示画像を前記画面に表示させない画像表示装置。
9. 請求項１～８のいずれか一項に記載の画像表示装置であって、
   前記画像表示部は、仮想画像を生成し、前記仮想画像を含む前記表示画像を前記画面に表示させる画像表示装置。
10. 請求項１～９のいずれか一項に記載の画像表示装置であって、
    前記画像表示部は、
    ドライバーが運転に関わる運転関係情報を認知しているか否かを判定し、
    前記ドライバーが前記運転関係情報を認知していないと判定した場合には、前記受容度が低いときであっても、前記表示画像に前記運転関係情報を含めて前記画面に表示させる画像表示装置。
11. プロセッサにより実行され、車内に位置する表示装置の画面に表示画像を表示する画像表示方法であって、
    前記プロセッサは、
    車内ユーザの視線方向を検出し、
    前記車内ユーザの状態を示すユーザ情報を取得し、
    前記ユーザ情報に基づき、前記車内ユーザが前記画面への前記表示画像の表示を受け入れる度合いを示す受容度を推定し、
    前記車内ユーザが前記表示画像を見ている状態で、前記受容度が高い場合と比較して、前記受容度が低い場合には、前記車内ユーザが前記視線方向を見た時の視界を妨げる度合いを示す視界阻害度が低くなるように、前記表示画像を前記画面に表示させる画像表示方法。