以下、本発明の実施の形態について、図面を用いて説明する。
(第1の実施の形態)
まず、本発明の第1の実施の形態に係る運転用情報処理装置としてのドライビングシミュレーターの構成について説明する。
図1は、本実施の形態に係るドライビングシミュレーターのブロック図である。
図1に示すドライビングシミュレーター10は、車両としての自動車の運転のための情報処理として、自動車の運転のシミュレーションを実行する装置である。ドライビングシミュレーター10は、シミュレーションの対象の自動車(以下「シミュレーション対象車」という。)を操作するための自動車操作装置20と、シミュレーション対象車の運転者の頭部に装着されるヘッドマウントディスプレイ30と、自動車操作装置20およびヘッドマウントディスプレイ30と通信可能なコンピューター40とを備えている。
自動車操作装置20は、例えば、操舵用のハンドルと、クラッチペダルと、アクセルペダルと、ブレーキペダルと、パーキングブレーキと、変速機の操作レバーと、方向指示器の操作装置とを備えている。
ヘッドマウントディスプレイ30は、運転のシミュレーションの画像(以下「シミュレーション画像」という。)を表示するLCD(Liquid Crystal Display)などの表示デバイスとしての表示部31と、表示部31に表示されたシミュレーション画像における運転者の視線を検出する視線検出部32とを備えている。ヘッドマウントディスプレイ30としては、例えば、FOVE社の「FOVE 0」が採用されても良い。シミュレーション画像は、VR(Virtual Reality)、AR(Augmented Reality)およびMR(Mixed Reality)のいずれで表現されても良い。なお、シミュレーション画像がARおよびMRのいずれかで表現される場合、ヘッドマウントディスプレイ30は、運転者の顔の前方を撮影するためのカメラを備える必要がある。
視線検出部32による視線の検出の方法としては、視線を検出するための公知のいずれの方法が採用されても良い。
図2は、コンピューター40のブロック図である。
図2に示すように、コンピューター40は、種々の操作が入力されるキーボード、マウスなどの入力デバイスである操作部41と、マイクロフォン42と、LAN(Local Area Network)、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部43と、各種の情報を記憶する半導体メモリー、HDD(Hard Disk Drive)などの不揮発性の記憶デバイスである記憶部44と、コンピューター40全体を制御する制御部45とを備えている。コンピューター40は、例えば、PC(Personal Computer)によって構成されても良い。
記憶部44は、自動車の運転のシミュレーションを実行するための運転用情報処理プログラムとしての運転シミュレーションプログラム44aを記憶している。運転シミュレーションプログラム44aは、例えば、コンピューター40の製造段階でコンピューター40にインストールされていても良いし、USB(Universal Serial Bus)メモリー、CD(Compact Disk)、DVD(Digital Versatile Disk)などの外部の記憶媒体からコンピューター40に追加でインストールされても良いし、ネットワーク上からコンピューター40に追加でインストールされても良い。
制御部45は、例えば、CPU(Central Processing Unit)と、プログラムおよび各種のデータを記憶しているROM(Read Only Memory)と、CPUの作業領域として用いられるRAM(Random Access Memory)とを備えている。CPUは、ROMまたは記憶部44に記憶されているプログラムを実行する。
制御部45は、運転シミュレーションプログラム44aを実行することによって、運転シミュレーション手段45aを実現する。運転シミュレーション手段45aは、特定の範囲に対する注視が運転者によって実行されたという条件、および、特定の範囲に対する注視が運転者によって実行されなかったという条件のいずれか1つを含む特定の条件を満たす場合に、シミュレーションにおいて特定の処理を実行するので、本発明の特定処理実行手段を構成している。
なお、シミュレーション画像における注視の対象の候補の範囲は、注視の対象の候補毎に運転シミュレーションプログラム44aにおいて事前に設定されている。
次に、ドライビングシミュレーター10の動作について説明する。
運転シミュレーション手段45aは、シミュレーション画像を表示部31に表示するとともに、自動車操作装置20に対する操作と、視線検出部32によって検出された視線とをシミュレーションに反映する。また、運転シミュレーション手段45aは、現実の自動車の運転において運転者の顔の向きに応じて運転者の視界が変化することと同様に、運転者の顔の向きに応じて表示部31に表示するシミュレーション画像を変化させる。
以下、視線検出部32によって検出された視線がシミュレーションに反映される例について説明する。
まず、シミュレーション対象車が車線変更、左折、右折などのために進行方向を変更する場合のドライビングシミュレーター10の動作について説明する。
図3は、シミュレーション対象車が進行方向を変更する場合のドライビングシミュレーター10の動作の一例を示すフローチャートである。
運転シミュレーション手段45aは、自動車操作装置20に対する操作に応じてシミュレーション対象車が進行方向を変更する場合に、図3に示す動作を実行する。なお、運転シミュレーション手段45aは、例えば、シミュレーション対象車が進行方向を変更する方向を方向指示器に指示させる操作が自動車操作装置20に対して実行された場合に、図3に示す動作を実行しても良いし、シミュレーション対象車が進行方向を変更する方向を方向指示器に指示させる操作が自動車操作装置20に対して実行された後、シミュレーション対象車が進行方向の変更を実際に開始した場合に、図3に示す動作を実行しても良い。
図3に示すように、運転シミュレーション手段45aは、シミュレーション対象車が進行方向を変更する直前の特定の期間において、シミュレーション対象車のバックミラーの鏡面の範囲に対する注視が運転者によって実行されたか否かを判断する(S101)。
図4は、特定の範囲に対する注視が運転者によって実行されたと判断する場合のドライビングシミュレーター10の動作の一例を示すフローチャートである。
運転シミュレーション手段45aは、シミュレーション画像における注視の対象の候補のうち、視線検出部32によって検出された視線が候補自身の範囲に存在するものが変更される度に、図4に示す動作を実行する。
図4に示すように、運転シミュレーション手段45aは、シミュレーション画像における注視の対象の候補のうち、視線検出部32によって検出された視線が候補自身の範囲に存在するものを、現在の候補として特定する(S111)。
次いで、運転シミュレーション手段45aは、視線検出部32によって検出された視線が存在する範囲が現在の候補の範囲から変更されたか否かを判断する(S112)。
運転シミュレーション手段45aは、視線検出部32によって検出された視線が存在する範囲が現在の候補の範囲から変更されていないとS112において判断すると、視線検出部32によって検出された視線が現在の候補の範囲に対して継続して存在する時間を取得する(S113)。
次いで、運転シミュレーション手段45aは、S113において取得した時間が0秒を超える例えば1秒間などの特定の時間(以下「閾値時間」という。)を超えるか否かを判断する(S114)。
運転シミュレーション手段45aは、S113において取得した時間が閾値時間を超えないとS114において判断すると、S112の処理を実行する。
運転シミュレーション手段45aは、S113において取得した時間が閾値時間を超えるとS114において判断すると、現在の候補の範囲に対する注視が運転者によって実行されたと判断する(S115)。
運転シミュレーション手段45aは、視線検出部32によって検出された視線が存在する範囲が現在の候補の範囲から変更されたとS112において判断するか、S115の処理を実行すると、図4に示す動作を終了する。
運転シミュレーション手段45aは、図4に示す動作を実行するので、視線検出部32によって検出された視線が特定の範囲に対して閾値時間を超える時間継続して存在することを、この範囲に対する注視として扱い、視線検出部32によって検出された視線がこの範囲に対して閾値時間以下の時間継続して存在することと、視線検出部32によって検出された視線がこの範囲に対して存在しないこととを、この範囲に対する注視として扱わない。
図3に示すように、運転シミュレーション手段45aは、シミュレーション対象車が進行方向を変更する直前の特定の期間において、バックミラーの鏡面の範囲に対する注視が運転者によって実行されたとS101において判断すると、図3に示す動作を終了する。
運転シミュレーション手段45aは、シミュレーション対象車が進行方向を変更する直前の特定の期間において、バックミラーの鏡面の範囲に対する注視が運転者によって実行されなかったとS101において判断すると、バックミラーによる安全確認を行っていないことを注意する通知を表示部31によって実行して(S102)、図3に示す動作を終了する。
運転シミュレーション手段45aは、図3に示す動作に代えて、図5に示す動作を実行しても良い。
図5は、シミュレーション対象車が進行方向を変更する場合のドライビングシミュレーター10の動作の、図3に示す例とは異なる一例を示すフローチャートである。
図5に示すように、運転シミュレーション手段45aは、S101の処理と同様の処理を実行する(S121)。
運転シミュレーション手段45aは、シミュレーション対象車が進行方向を変更する直前の特定の期間において、バックミラーの鏡面の範囲に対する注視が運転者によって実行されなかったとS121において判断すると、シミュレーション対象車の後部または側部でシミュレーション対象車が他の車両と衝突するという事態をシミュレーションにおいてシミュレーション対象車に対して発生させて(S122)、図5に示す動作を終了する。ここで、他の車両としては、例えば、自転車や、オートバイなどの自動車などが考えられる。
図5に示す動作においては、運転シミュレーション手段45aは、シミュレーション対象車が他の車両と衝突するという事態を発生させる。しかしながら、運転シミュレーション手段45aは、シミュレーション対象車が他の車両と衝突するという事態ではなく、シミュレーション対象車が他の車両と衝突しそうになるという事態を発生させても良い。
運転シミュレーション手段45aは、図5に示す動作において、図3に示す動作と同様に、バックミラーによる安全確認を行っていないことを注意する通知を更に実行しても良い。
図3および図5に示す動作においては、運転シミュレーション手段45aは、バックミラーの鏡面の範囲に対する注視が実行されたか否に基づいて図3または図5に示す動作を実行する。同様に、運転シミュレーション手段45aは、シミュレーション対象車の左右のドアミラーのうち、シミュレーション対象車が進行方向を変更する方のドアミラーの鏡面の範囲に対する注視が実行されたか否に基づいて、図3または図5に示す動作と同様な動作を実行しても良いし、シミュレーション対象車の左右の外側のうち、シミュレーション対象車が進行方向を変更する方の外側の、ドアミラー以外の範囲に対する注視が実行されたか否に基づいて、図3または図5に示す動作と同様な動作を実行しても良い。ここで、運転シミュレーション手段45aは、バックミラーの鏡面の範囲に対する注視と、ドアミラーの鏡面の範囲に対する注視と、シミュレーション対象車の左右の外側の、ドアミラー以外の範囲に対する注視とにおいて、閾値時間を異ならせても良い。
次に、運転に関する情報の通知部としての道路標識に対するドライビングシミュレーター10の動作について説明する。
図6は、最高速度を制限する道路標識に対するドライビングシミュレーター10の動作の一例を示すフローチャートである。
運転シミュレーション手段45aは、シミュレーション対象車が移動する場合に、図6に示す動作を実行する。
図6に示すように、運転シミュレーション手段45aは、シミュレーション対象車が停止したか否かを判断する(S131)。
運転シミュレーション手段45aは、シミュレーション対象車が停止していないとS131において判断すると、最高速度を制限する道路標識の近傍をシミュレーション対象車が通過したか否かを判断する(S132)。ここで、道路標識は、シミュレーション対象車以外の部分、例えば、シミュレーション対象車の運転のルートにおける道路の近傍に設置されている。
運転シミュレーション手段45aは、最高速度を制限する道路標識の近傍をシミュレーション対象車が通過したとS132において判断すると、この道路標識に示される最高速度を現在の制限速度として特定する(S133)。
運転シミュレーション手段45aは、最高速度を制限する道路標識の近傍をシミュレーション対象車が通過しなかったとS132において判断するか、S133の処理を実行すると、現在の制限速度を超える速度でシミュレーション対象車が走行しているか否かを判断する(S134)。
運転シミュレーション手段45aは、現在の制限速度を超える速度でシミュレーション対象車が走行しているとS134において判断すると、現在の制限速度を示していた道路標識の範囲に対する注視が運転者によって実行されていたか否かを判断する(S135)。
運転シミュレーション手段45aは、現在の制限速度を示していた道路標識の範囲に対する注視が運転者によって実行されていたとS135において判断すると、速度違反を注意する通知を表示部31によって実行する(S136)。
運転シミュレーション手段45aは、現在の制限速度を示していた道路標識の範囲に対する注視が運転者によって実行されていなかったとS135において判断すると、速度違反と、道路標識の確認を行っていないこととを注意する通知を表示部31によって実行する(S137)。
運転シミュレーション手段45aは、現在の制限速度を超える速度でシミュレーション対象車が走行していないとS134において判断するか、S136またはS137の処理を実行すると、S131の処理を実行する。
運転シミュレーション手段45aは、シミュレーション対象車が停止したとS131において判断すると、図6に示す動作を終了する。
運転シミュレーション手段45aは、図6に示す動作において、道路標識の範囲に対する注視が運転者によって実行されなかった場合(S135でNO)に、運転の安全性に関する通知を実行する(S134)。しかしながら、運転シミュレーション手段45aは、道路標識の範囲に対する注視が運転者によって実行されなかった場合に、図5に示す動作のように、シミュレーションにおいて特定の事態をシミュレーション対象車に対して発生させても良い。
なお、図6に示す動作は、運転に関する情報の通知部が、最高速度を制限する道路標識である場合の動作である。しかしながら、運転に関する情報の通知部は、シミュレーション対象車以外の部分に設置されているものであれば、最高速度を制限する道路標識以外の道路標識でも良いし、例えば、マラソン大会の開催などに伴う交通規制を知らせる看板など、道路標識以外のものでも良い。
運転シミュレーション手段45aは、運転に関する情報の通知部の範囲に対する注視の閾値時間を、例えば、バックミラーの鏡面の範囲に対する注視など、上述したいずれかの注視の閾値時間と異ならせても良い。
次に、わき見運転に対するドライビングシミュレーター10の動作について説明する。
図7は、わき見運転に対するドライビングシミュレーター10の動作の一例を示すフローチャートである。
運転シミュレーション手段45aは、シミュレーション対象車が移動する場合に、図7に示す動作を実行する。
図7に示すように、運転シミュレーション手段45aは、シミュレーション対象車が停止したか否かを判断する(S141)。
運転シミュレーション手段45aは、シミュレーション対象車が停止していないとS141において判断すると、運転者によって注視されるとわき見運転となる範囲(以下「わき見範囲」という。)に対する注視が運転者によって実行されたか否かを判断する(S142)。ここで、わき見範囲としては、例えば、シミュレーション対象車の内部のカーナビゲーションシステムの範囲、シミュレーション対象車の内部の携帯端末の範囲などが考えられる。
運転シミュレーション手段45aは、わき見範囲に対する注視が運転者によって実行されたとS142において判断すると、シミュレーションにおいて特定の事態をシミュレーション対象車に対して発生させる(S143)。例えば、運転シミュレーション手段45aは、わき見範囲に対する注視が運転者によって実行された場合に、シミュレーション対象車が他の車両など、シミュレーション対象車以外の物と衝突するという事態をシミュレーションにおいてシミュレーション対象車に対して発生させても良いし、シミュレーション対象車の前方への歩行者の飛び出しなど、シミュレーション対象車がシミュレーション対象車以外の物と衝突しそうになるという事態をシミュレーションにおいてシミュレーション対象車に対して発生させても良い。
運転シミュレーション手段45aは、わき見範囲に対する注視が運転者によって実行されなかったとS142において判断するか、S143の処理が終了すると、S141の処理を実行する。
運転シミュレーション手段45aは、シミュレーション対象車が停止したとS141において判断すると、図7に示す動作を終了する。
運転シミュレーション手段45aは、図7に示す動作において、わき見範囲に対する注視が運転者によって実行された場合(S142でYES)に、シミュレーションにおいて特定の事態をシミュレーション対象車に対して発生させる(S143)。しかしながら、運転シミュレーション手段45aは、わき見範囲に対する注視が運転者によって実行された場合に、図3に示す動作のように、わき見運転を注意する通知など、運転の安全性に関する通知を実行しても良い。
運転シミュレーション手段45aは、わき見範囲に対する注視の閾値時間を、例えば、バックミラーの鏡面の範囲に対する注視など、上述したいずれかの注視の閾値時間と異ならせても良い。
次に、バックミラー、ドアミラーなど、シミュレーション対象車のミラーによる鏡像の確認に対するドライビングシミュレーター10の動作について説明する。
図8は、ミラーによる鏡像の確認に対するドライビングシミュレーター10の動作の一例を示すフローチャートである。
運転シミュレーション手段45aは、運転者によるシミュレーション対象車の運転が開始された場合に、図8に示す動作を実行する。
図8に示すように、運転シミュレーション手段45aは、シミュレーション対象車の運転が終了したか否かを判断する(S151)。
運転シミュレーション手段45aは、シミュレーション対象車の運転が終了していないとS151において判断すると、ミラーによる鏡像において注視すべき対象の範囲に対する注視が運転者によって実行されたか否かを判断する(S152)。ここで、ミラーによる鏡像において注視すべき対象としては、例えば、シミュレーション対象車以外の車両などが考えられる。
運転シミュレーション手段45aは、ミラーによる鏡像において注視すべき対象の範囲に対する注視が運転者によって実行されたとS152において判断すると、この対象に関連付けて管理するフラグを立った状態にする(S153)。ここで、運転シミュレーション手段45aは、ミラーによる鏡像において注視すべき対象毎にフラグを関連付けて管理する。ミラーによる鏡像において注視すべき対象に関連付けて管理されるフラグは、デフォルトでは倒れた状態である。
運転シミュレーション手段45aは、ミラーによる鏡像において注視すべき対象の範囲に対する注視が運転者によって実行されなかったとS152において判断するか、S153の処理が終了すると、S151の処理を実行する。
運転シミュレーション手段45aは、シミュレーション対象車の運転が終了したとS151において判断すると、今回のシミュレーションにおいてミラーによる鏡像において注視すべき対象のうち、立った状態のフラグが関連付けられているものの数を数える(S154)。
次いで、運転シミュレーション手段45aは、S154において数えた数に応じた、運転の安全性に関する通知を表示部31によって実行する(S155)。例えば、運転シミュレーション手段45aは、今回のシミュレーションにおいてミラーによる鏡像における、注視すべき対象のうち、幾つの対象を注視したかを通知しても良い。
運転シミュレーション手段45aは、S155の処理の後、図8に示す動作を終了する。
運転シミュレーション手段45aは、図8に示す動作において、ミラーによる鏡像において注視すべき対象の範囲のうち、運転者によって注視が実行されたものの数に応じて運転の安全性に関する通知を実行する(S155)。しかしながら、運転シミュレーション手段45aは、ミラーによる鏡像において注視すべき対象の範囲のうち、運転者によって注視が実行されたものの数に応じて、図5に示す動作のように、シミュレーションにおいて特定の事態をシミュレーション対象車に対して発生させても良い。
運転シミュレーション手段45aは、ミラーによる鏡像において注視すべき対象の範囲に対する注視の閾値時間を、例えば、バックミラーの鏡面の範囲に対する注視など、上述したいずれかの注視の閾値時間と異ならせても良い。
次に、運転の目的地を決定する処理を実行する場合のドライビングシミュレーター10の動作について説明する。
図9は、運転の目的地を決定する処理を実行する場合のドライビングシミュレーター10の動作の一例を示すフローチャートである。
運転シミュレーション手段45aは、運転者によるシミュレーション対象車の運転が開始された場合に、図9に示す動作を実行する。
図9に示すように、運転シミュレーション手段45aは、シミュレーション対象車の運転が終了したか否かを判断する(S161)。
運転シミュレーション手段45aは、シミュレーション対象車の運転が終了していないとS161において判断すると、場所を示す範囲に対する注視が運転者によって実行されたか否かを判断する(S162)。ここで、場所を示す範囲としては、例えば、シミュレーション対象車から離れた場所に描かれているテレビ塔など、シミュレーション画像において風景として描かれているランドマークなどが考えられる。また、場所を示す範囲としては、例えば、シミュレーション対象車以外の部分に設置されている、例えば道路標識などの通知部に記載されている地名などが考えられる。
運転シミュレーション手段45aは、場所を示す範囲に対する注視が運転者によって実行されたとS162において判断すると、この範囲によって示される場所を運転の目的地として決定するための条件(以下「目的地決定条件」という。)を満たしたか否かを判断する(S163)。ここで、目的地決定条件としては、例えば、場所を示す範囲に対する注視が例えば5秒間などの特定の時間を超えて運転者によって実行されること、目的地を決定するための特定の操作が操作部41に入力されること、「目的地を決定する」などの特定の言葉がマイクロフォン42に入力されることなどが考えられる。
運転シミュレーション手段45aは、目的地決定条件を満たしたとS163において判断すると、運転者によって注視が実行されたとS162において判断した範囲によって示される場所を運転の目的地として決定する(S164)。
運転シミュレーション手段45aは、場所を示す範囲に対する注視が運転者によって実行されなかったとS162において判断するか、目的地決定条件を満たしていないとS163において判断するか、S164の処理を実行すると、S161の処理を実行する。
運転シミュレーション手段45aは、シミュレーション対象車の運転が終了したとS161において判断すると、図9に示す動作を終了する。
運転シミュレーション手段45aは、場所を示す範囲に対する注視の閾値時間を、例えば、バックミラーの鏡面の範囲に対する注視など、上述したいずれかの注視の閾値時間と異ならせても良い。
次に、運転のルートを決定する処理を実行する場合のドライビングシミュレーター10の動作について説明する。
図10は、運転のルートを決定する処理を実行する場合のドライビングシミュレーター10の動作の一例を示すフローチャートである。
運転シミュレーション手段45aは、運転者によるシミュレーション対象車の運転が開始された場合に、図10に示す動作を実行する。
図10に示すように、運転シミュレーション手段45aは、シミュレーション対象車の運転が終了したか否かを判断する(S171)。
運転シミュレーション手段45aは、シミュレーション対象車の運転が終了していないとS171において判断すると、交通規制に関する情報の通知部の範囲に対する注視が運転者によって実行されたか否かを判断する(S172)。ここで、交通規制に関する情報の通知部は、シミュレーション対象車以外の部分、例えば、シミュレーション対象車の運転のルートにおける道路の近傍に設置されている。交通規制に関する情報の通知部としては、例えば、マラソン大会の開催などに伴う交通規制を知らせる看板などが考えられる。
運転シミュレーション手段45aは、交通規制に関する情報の通知部の範囲に対する注視が運転者によって実行されたとS172において判断すると、この範囲に含まれる情報に基づいて運転のルートを表示部31によって提案する(S173)。例えば、運転シミュレーション手段45aは、標準のルートではなく、交通規制によって予測される渋滞を考慮した迂回ルートを提案する。
次いで、運転シミュレーション手段45aは、S173において提案したルートを運転のルートとして決定するための条件(以下「ルート決定条件」という。)を満たしたか否かを判断する(S174)。ここで、ルート決定条件としては、例えば、ルートを決定するための特定の操作が操作部41に入力されること、「ルートを決定する」などの特定の言葉がマイクロフォン42に入力されることなどが考えられる。
運転シミュレーション手段45aは、ルート決定条件を満たしたとS174において判断すると、S173において提案したルートを運転のルートとして決定する(S175)。
運転シミュレーション手段45aは、交通規制に関する情報の通知部の範囲に対する注視が運転者によって実行されなかったとS172において判断するか、ルート決定条件を満たしていないとS174において判断するか、S175の処理を実行すると、S171の処理を実行する。
運転シミュレーション手段45aは、シミュレーション対象車の運転が終了したとS171において判断すると、図10に示す動作を終了する。
なお、運転シミュレーション手段45aは、図10に示す動作において、運転のルートを運転者の指示に応じて決定する(S173~S175)。しかしながら、運転シミュレーション手段45aは、運転者によって注視が実行されたとS172において判断した範囲に含まれる情報に基づいて運転のルートを自動で決定しても良い。
運転シミュレーション手段45aは、交通規制に関する情報の通知部の範囲に対する注視の閾値時間を、例えば、バックミラーの鏡面の範囲に対する注視など、上述したいずれかの注視の閾値時間と異ならせても良い。
以上に説明したように、ドライビングシミュレーター10は、特定の範囲に対する注視が運転者によって実行されなかったという条件を含む特定の条件を満たす場合(S101でNO、S121でNO、または、S135でNO)に、自動車の運転のシミュレーションにおいて特定の処理を実行する(S102、S122またはS137)。また、ドライビングシミュレーター10は、特定の範囲に対する注視が運転者によって実行されたという条件を含む特定の条件を満たす場合(S142でYES、S152でYES、S162でYES、または、S172でYES)に、自動車の運転のシミュレーションにおいて特定の処理を実行する(S143、S155、S164またはS175)。したがって、ドライビングシミュレーター10は、自動車の運転のシミュレーションにおいて運転者の視線を従来より有効に活用することができる。
ドライビングシミュレーター10は、図3に示す動作を実行する場合、シミュレーション対象車が進行方向を変更する直前の特定の期間において、特定の範囲に対する注視が運転者によって実行されなかったとき(S101でNO)に、運転の安全性に関する通知を実行する(S102)ので、シミュレーション対象車の進行方向を変更する場合の運転者の安全確認の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。例えば、運転者がシミュレーション対象車を左折させしようとしてバックミラーによる安全確認を行い、シミュレーション対象車を減速し、シミュレーション対象車の左の外側の、ドアミラー以外の範囲の安全確認を行ったものの、左のドアミラーによる安全確認を怠ったために、シミュレーション対象車の左後方からシミュレーション対象車に接近したオートバイに気付かずに、シミュレーション対象車の左折をハンドルによって操作した場合に、シミュレーション対象車がこのオートバイと衝突するという事態が発生したとき、ドライビングシミュレーター10は、左のドアミラーによる安全確認を行っていないことを注意する通知を表示部31によって実行することによって、シミュレーション対象車を左折する場合の運転者の安全確認の意識を向上することができる。
ドライビングシミュレーター10は、図5に示す動作を実行する場合、シミュレーション対象車が進行方向を変更する直前の特定の期間において、特定の範囲に対する注視が運転者によって実行されなかったとき(S121でNO)に、シミュレーションにおいてシミュレーション対象車に対して特定の事態を発生させる(S122)ので、効果的なシミュレーションを実行することができるとともに、シミュレーション対象車の進行方向を変更する場合の運転者の安全確認の意識を向上することができる。
ドライビングシミュレーター10は、図6に示す動作を実行する場合、運転に関する情報の通知部の範囲に対する注視が運転者によって実行されなかったとき(S135でNO)に、運転の安全性に関する通知を実行する(S137)ので、運転に関する情報の通知部を確認することに対する運転者の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。例えば、最高速度が時速60kmであった状態において、最高速度を時速50kmに制限する道路標識の近傍をシミュレーション対象車が通過した場合に運転者が時速50kmを超える速度でシミュレーション対象車を走行させ続けたとき、現在の制限速度を示していた道路標識の範囲に対する注視が運転者によって実行されていなければ、ドライビングシミュレーター10は、道路標識の確認を行っていないことを注意する通知を実行する。
ドライビングシミュレーター10は、運転に関する情報の通知部の範囲に対する注視が運転者によって実行されなかった場合に、シミュレーションにおいてシミュレーション対象車に対して特定の事態を発生させるとき、効果的なシミュレーションを実行することができるとともに、運転に関する情報の通知部を確認することに対する運転者の意識を向上することができる。
ドライビングシミュレーター10は、図7に示す動作を実行する場合、わき見範囲に対する注視が運転者によって実行されたとき(S142でYES)に、シミュレーションにおいてシミュレーション対象車に対して特定の事態を発生させる(S143)ので、効果的なシミュレーションを実行することができるとともに、わき見運転をしないことに対する運転者の意識を向上することができる。例えば、ドライビングシミュレーター10は、シミュレーション対象車の計器類の近傍に設置されている携帯ホルダーに置いてある携帯端末にメッセージを受信させ、このメッセージを運転者が見た場合に、メッセージを運転者が見た瞬間にシミュレーション対象車の前方への歩行者の飛び出しを発生させることによって、リアルな体験として運転者をひやりとさせることができ、わき見運転をしないことに対する運転者の意識を向上することができる。
ドライビングシミュレーター10は、わき見範囲に対する注視が運転者によって実行された場合に、運転の安全性に関する通知を実行するとき、わき見運転をしないことに対する運転者の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。
ドライビングシミュレーター10は、図8に示す動作を実行する場合、ミラーによる鏡像において注視すべき対象の範囲のうち、運転者によって注視が実行されたものの数に応じて運転の安全性に関する通知を実行する(S155)ので、運転中の運転者の通常の視界内で運転者が自動車のミラーを介さずに直接見ることができる対象ではなく、ミラーによる鏡像における対象に対する運転者の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。
ドライビングシミュレーター10は、ミラーによる鏡像において注視すべき対象の範囲のうち、運転者によって注視が実行されたものの数に応じて、シミュレーションにおいて特定の事態をシミュレーション対象車に対して発生させる場合、効果的なシミュレーションを実行することができるとともに、通常視界外の対象に対する運転者の意識を向上することができる。
ドライビングシミュレーター10は、運転者の視線を活用して運転の目的地を決定したり(S164)、運転のルートを決定したり(S175)するので、利便性を向上することができる。
なお、シミュレーション画像を表示する表示デバイスは、本実施の形態においてヘッドマウントディスプレイによって実現されているが、ヘッドマウントディスプレイ以外のデバイスによって実現されても良い。
シミュレーション画像における運転者の視線を検出する視線検出部は、本実施の形態においてヘッドマウントディスプレイによって実現されているが、ヘッドマウントディスプレイ以外のデバイスによって実現されても良い。
(第2の実施の形態)
まず、本発明の第2の実施の形態に係る運転用情報処理装置としての手動運転支援装置の構成について説明する。
図11は、本実施の形態に係る手動運転支援装置210のブロック図である。
図11に示す手動運転支援装置210は、運転手によって運転される図示していない自動車に搭載されて、運転手による自動車の運転を支援する装置である。手動運転支援装置210は、種々の操作が入力されるキーボード、マウスなどの入力デバイスである操作部211と、種々の情報を表示するLCDなどの表示デバイスである表示部212と、運転者の顔の前方を撮影するためのカメラ213と、運転者の視線を検出する視線検出部214と、マイクロフォン215と、LAN、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部216と、各種の情報を記憶する半導体メモリー、HDDなどの不揮発性の記憶デバイスである記憶部217と、手動運転支援装置210全体を制御する制御部218とを備えている。手動運転支援装置210は、手動運転支援装置210を搭載する自動車などの外部の装置と通信部216を介して通信可能である。
表示部212、カメラ213および視線検出部214は、第1の実施の形態と同様にヘッドマウントディスプレイによって実現されても良い。ただし、表示部212、カメラ213および視線検出部214がヘッドマウントディスプレイによって実現される場合、表示部212に表示される画像は、ARおよびMRのいずれかで表現される。
記憶部217は、運転者による自動車の運転の支援のための情報処理を実行するための運転用情報処理プログラムとしての手動運転支援プログラム217aを記憶している。手動運転支援プログラム217aは、例えば、手動運転支援装置210の製造段階で手動運転支援装置210にインストールされていても良いし、USBメモリー、CD、DVDなどの外部の記憶媒体から手動運転支援装置210に追加でインストールされても良いし、ネットワーク上から手動運転支援装置210に追加でインストールされても良い。
制御部218は、例えば、CPUと、プログラムおよび各種のデータを記憶しているROMと、CPUの作業領域として用いられるRAMとを備えている。CPUは、ROMまたは記憶部217に記憶されているプログラムを実行する。すなわち、手動運転支援装置210は、コンピューターである。
制御部218は、手動運転支援プログラム217aを実行することによって、手動運転支援手段218aを実現する。手動運転支援手段218aは、特定の範囲に対する注視が運転者によって実行されたという条件、および、特定の範囲に対する注視が運転者によって実行されなかったという条件のいずれか1つを含む特定の条件を満たす場合に、運転者による自動車の運転の支援のための情報処理において特定の処理を実行するので、本発明の特定処理実行手段を構成している。
なお、手動運転支援手段218aは、カメラ213によって撮影された画像に対して特定の基準で画像処理を実行することによって、カメラ213によって撮影された画像における注視の対象の候補の範囲を特定する。
次に、手動運転支援装置210の動作について説明する。
手動運転支援手段218aは、運転シミュレーション手段45a(図2参照。)と同様に、自動車が進行方向を変更する直前の特定の期間において、自動車のバックミラーの鏡面の範囲、自動車のドアミラーの鏡面の範囲、自動車の左右の外側の、ドアミラー以外の範囲など、特定の範囲に対する注視が運転者によって実行されなかった場合に、運転の安全性に関する通知を表示部212によって実行することによって、自動車の進行方向を変更する場合の運転者の安全確認の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。
手動運転支援手段218aは、運転シミュレーション手段45aと同様に、運転に関する情報の通知部の範囲に対する注視が運転者によって実行されなかった場合に、運転の安全性に関する通知を表示部212によって実行することによって、自動車以外の部分に設置されている、運転に関する情報の通知部を確認することに対する運転者の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。
手動運転支援手段218aは、運転シミュレーション手段45aと同様に、わき見範囲に対する注視が運転者によって実行された場合に、運転の安全性に関する通知を表示部212によって実行することによって、わき見運転をしないことに対する運転者の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。
手動運転支援手段218aは、運転シミュレーション手段45aと同様に、運転者の視線を活用して運転の目的地を決定したり、運転のルートを決定したりすることによって、利便性を向上することができる。手動運転支援手段218aは、決定した目的地およびルートを、自動車の内部のカーナビゲーションシステムに入力する。
手動運転支援手段218aは、場所を示す範囲に対する注視が運転者によって実行された場合に、運転者によって注視が実行された範囲によって示される場所までのルートにおける渋滞情報を通信部216を介してインターネット上から検索して検索結果を表示部212に表示したり、運転者によって注視が実行された範囲によって示される場所に存在するレストランの情報など、運転者によって注視が実行された範囲によって示される場所に関する情報を通信部216を介してインターネット上から検索して検索結果を表示部212に表示したりしても良い。
手動運転支援手段218aは、カメラ213によって撮影された画像のうち、運転者によって注視が実行された範囲の画像を保存しても良い。例えば、手動運転支援手段218aは、運転者によって注視が実行された4点で囲まれた範囲を保存しても良い。
(第3の実施の形態)
まず、本発明の第3の実施の形態に係る運転用情報処理装置としての自動運転支援装置の構成について説明する。
図12は、本実施の形態に係る自動運転支援装置310のブロック図である。
図12に示す自動運転支援装置310は、自動運転を実行する図示していない自動車に搭載されて、自動車による自動運転を支援する装置である。自動運転支援装置310は、種々の操作が入力されるキーボード、マウスなどの入力デバイスである操作部311と、種々の情報を表示するLCDなどの表示デバイスである表示部312と、運転者の顔の前方を撮影するためのカメラ313と、運転者の視線を検出する視線検出部314と、マイクロフォン315と、LAN、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部316と、各種の情報を記憶する半導体メモリー、HDDなどの不揮発性の記憶デバイスである記憶部317と、自動運転支援装置310全体を制御する制御部318とを備えている。自動運転支援装置310は、自動運転支援装置310を搭載する自動車などの外部の装置と通信部316を介して通信可能である。
表示部312、カメラ313および視線検出部314は、第1の実施の形態と同様にヘッドマウントディスプレイによって実現されても良い。ただし、表示部312、カメラ313および視線検出部314がヘッドマウントディスプレイによって実現される場合、表示部312に表示される画像は、ARおよびMRのいずれかで表現される。
記憶部317は、自動車による自動運転の支援のための情報処理を実行するための運転用情報処理プログラムとしての自動運転支援プログラム317aを記憶している。自動運転支援プログラム317aは、例えば、自動運転支援装置310の製造段階で自動運転支援装置310にインストールされていても良いし、USBメモリー、CD、DVDなどの外部の記憶媒体から自動運転支援装置310に追加でインストールされても良いし、ネットワーク上から自動運転支援装置310に追加でインストールされても良い。
制御部318は、例えば、CPUと、プログラムおよび各種のデータを記憶しているROMと、CPUの作業領域として用いられるRAMとを備えている。CPUは、ROMまたは記憶部317に記憶されているプログラムを実行する。すなわち、自動運転支援装置310は、コンピューターである。
制御部318は、自動運転支援プログラム317aを実行することによって、自動運転支援手段318aを実現する。自動運転支援手段318aは、特定の範囲に対する注視が運転者によって実行されたという条件、および、特定の範囲に対する注視が運転者によって実行されなかったという条件のいずれか1つを含む特定の条件を満たす場合に、自動車による自動運転の支援のための情報処理において特定の処理を実行するので、本発明の特定処理実行手段を構成している。
なお、自動運転支援手段318aは、カメラ313によって撮影された画像に対して特定の基準で画像処理を実行することによって、カメラ313によって撮影された画像における注視の対象の候補の範囲を特定する。
次に、自動運転支援装置310の動作について説明する。
自動運転支援装置310は、自動運転における回避の対象を決定することができる。以下、自動運転における回避の対象を決定する処理を実行する場合の自動運転支援装置310の動作について説明する。
図13は、自動運転における回避の対象を決定する処理を実行する場合の自動運転支援装置310の動作の一例を示すフローチャートである。
自動運転支援手段318aは、自動車による自動運転が開始された場合に、図13に示す動作を実行する。
図13に示すように、自動運転支援手段318aは、自動運転が終了したか否かを判断する(S321)。
自動運転支援手段318aは、自動運転が終了していないとS321において判断すると、特定の範囲に対する注視が運転者によって実行されたか否かを判断する(S322)。
自動運転支援手段318aは、特定の範囲に対する注視が運転者によって実行されたとS322において判断すると、この範囲を自動運転における回避の対象として決定し(S323)、S323において決定した対象を、自動運転における回避の対象として自動車の自動運転システムに入力する(S324)。
自動運転支援手段318aは、特定の範囲に対する注視が運転者によって実行されなかったとS322において判断するか、S324の処理が終了すると、S321の処理を実行する。
自動運転支援手段318aは、自動運転が終了したとS321において判断すると、図13に示す動作を終了する。
以上に説明したように、自動運転支援装置310は、自動車の運転者の視線を活用して自動運転における回避の対象を決定する(S323)ので、利便性を向上することができる。
自動運転支援手段318aは、手動運転支援手段218a(図11参照。)と同様に、運転者の視線を活用して運転の目的地を決定したり、運転のルートを決定したりすることによって、利便性を向上することができる。自動運転支援手段318aは、決定した目的地およびルートを、自動車の自動運転システムに入力する。
自動運転支援手段318aは、手動運転支援手段218aと同様に、場所を示す範囲に対する注視が運転者によって実行された場合に、運転者によって注視が実行された範囲によって示される場所までのルートにおける渋滞情報を通信部316を介してインターネット上から検索して検索結果を表示部312に表示したり、運転者によって注視が実行された範囲によって示される場所に存在するレストランの情報など、運転者によって注視が実行された範囲によって示される場所に関する情報を通信部316を介してインターネット上から検索して検索結果を表示部312に表示したりしても良い。
自動運転支援手段318aは、手動運転支援手段218aと同様に、カメラ313によって撮影された画像のうち、運転者によって注視が実行された範囲の画像を保存しても良い。
上述した各実施の形態においては、車両の運転について説明している。しかしながら、本発明は、船舶の操縦、航空機の操縦など、車両以外の乗物の操作についても応用可能である。
なお、本発明は、VR(Virtual Reality)、AR(Augmented Reality)、MR(Mixed Reality)およびSR(Substitutional Reality)といった任意の現実感技術の総称であるxR技術に応用することができるように構成されても良い。