JP7261370B2 - 情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム Download PDF

Info

Publication number
JP7261370B2
JP7261370B2 JP2018148260A JP2018148260A JP7261370B2 JP 7261370 B2 JP7261370 B2 JP 7261370B2 JP 2018148260 A JP2018148260 A JP 2018148260A JP 2018148260 A JP2018148260 A JP 2018148260A JP 7261370 B2 JP7261370 B2 JP 7261370B2
Authority
JP
Japan
Prior art keywords
subject
information
image
information processing
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018148260A
Other languages
English (en)
Other versions
JP2020024278A (ja
Inventor
宏文 青木
誠 稲上
愛子 岩瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokai National Higher Education and Research System NUC
Original Assignee
Tokai National Higher Education and Research System NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokai National Higher Education and Research System NUC filed Critical Tokai National Higher Education and Research System NUC
Priority to JP2018148260A priority Critical patent/JP7261370B2/ja
Priority to US17/266,463 priority patent/US20210295731A1/en
Priority to PCT/JP2019/030696 priority patent/WO2020031949A1/ja
Publication of JP2020024278A publication Critical patent/JP2020024278A/ja
Application granted granted Critical
Publication of JP7261370B2 publication Critical patent/JP7261370B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/052Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles characterised by provision for recording or measuring trainee's performance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/08Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
    • G09B9/30Simulation of view from aircraft
    • G09B9/307Simulation of view from aircraft by helmet-mounted projector or display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior

Description

本明細書に開示される技術は、被験者が移動する際のリスクを評価する情報処理装置に関する。
運転者が自動車を運転して道路を移動する際のリスクを適切に評価することは有用である。例えば、運転免許証の発行時や更新時に、そのような運転時のリスク評価が行われ、該リスク評価の結果に基づき運転免許証の発行や更新の可否が判断されたり、該リスク評価の結果に基づき適切な研修や訓練が行われたりすれば、運転者の平均的なリスクを低減することができ、ひいては交通事故の予防につながる。特に、高齢者や、緑内障等の眼病を発症した者は、視野が狭くなったり欠損したりすることがあるため、運転時のリスクが高くなる傾向にあるが、一方で、頭部や眼球を適切に動かすことにより狭窄または欠損した視野を補償することも可能であり、そのような補償行動も含めて運転時のリスクを評価することは極めて有用である。
従来、運転時のリスクを評価する方法として、画像表示装置(液晶モニタやプロジェクタ)を用いて、運転者の視界を模擬的に表す動画像を被験者の正面に表示し、該動画像に含まれるハザード(自動車、自転車、歩行者等)を認識した場合に口頭やボタン操作等により被験者に回答させるテストを行い、該テストの結果に基づき被験者の運転時のリスクを評価する方法が知られている(例えば、非特許文献1参照)。
多田 昌裕、外5名、「高速道路における高齢運転者のハザード知覚特性分析」、交通工学論文集、平成28年2月、第2巻、第2号、p.A_75-A_84
上記従来の技術では、テスト中に動画像が被験者の正面に表示されるため、自然な運転状況を模擬することができないことがある。例えば、見通しの悪い交差点のシーンでは、左右確認のために頭部および眼球の動きが重要であるが、動画像が被験者の正面に表示されていると、頭部の回転と眼球の回転とが逆の動きとなってしまい、実際の運転環境における頭部および眼球の動きとは異なってしまう。また、上記従来の技術では、被験者は口頭やボタン操作等によりハザードを認識した旨の回答を行うものであり、被験者が本当にハザードを認識したか否かを正しく判別することができていない可能性がある。また、上記従来の技術では、上述した視野を補償する補償行動が、リスク評価の結果に適切に反映されないことがある。従って、上記従来の技術では、被験者の運転時のリスクを適切に評価することができない、という課題がある。
なお、このような課題は、自動車を運転する際のリスクを評価する場合に限られず、他の種類の車両(自転車等)を運転する際のリスクを評価する場合や、徒歩で移動する際のリスクを評価する場合にも共通の課題である。
本明細書では、上述した課題を解決することが可能な技術を開示する。
本明細書に開示される技術は、例えば、以下の形態として実現することが可能である。
(1)本明細書に開示される情報処理装置は、被験者が移動する際のリスクを評価する情報処理装置であって、前記被験者の頭部の動きを特定する頭部情報を取得する頭部情報取得部と、予め設定されたコースを移動する人間の視界を模擬的に表す動画像である模擬移動画像であって、目標物を含むシーンを含み、前記頭部情報により特定された前記被験者の頭部の動きに応じて変化する前記模擬移動画像を画像表示装置に表示させる表示制御部と、前記模擬移動画像の表示中に、前記模擬移動画像上における前記被験者の視点の位置を特定する視点情報を取得する視点情報取得部と、前記模擬移動画像中の前記目標物を含むシーンが表示されたタイミングにおける、前記視点情報により特定される前記被験者の視点の位置と、前記目標物の位置との一致度合いに基づき、前記リスクを評価し、前記リスクの評価の結果を示す評価情報を出力するリスク評価部と、を備える。本情報処理装置は、被験者の頭部の動きを特定する頭部情報を取得する頭部情報取得部と、該頭部情報により特定された被験者の頭部の動きに応じて変化する模擬移動画像を画像表示装置に表示させる表示制御部とを備えるため、被験者に自然な移動状況を模擬的に体験させることができる。また、本情報処理装置は、模擬移動画像の表示中に、模擬移動画像上における被験者の視点の位置を特定する視点情報を取得する視点情報取得部と、模擬移動画像中の目標物を含むシーンが表示されたタイミングにおける、視点情報により特定される被験者の視点の位置と、目標物の位置との一致度合いに基づき、上記リスクを評価し、該リスクの評価の結果を示す評価情報を出力するリスク評価部とを備える。そのため、本情報処理装置によれば、被験者が本当に目標物を認識したか否かを正しく判別することができる。さらに、本情報処理装置によれば、高齢者や緑内障等の眼病を発症した者のように、視野が狭くなったり欠損したりしている被験者についても、頭部や眼球を適切に動かすことにより視野を補償する補償行動を反映させて、移動時のリスクを適切に評価することができる。従って、本情報処理装置によれば、被験者が移動する際のリスクを適切に評価することができる。
(2)上記情報処理装置において、さらに、前記被験者の視野を特定する視野情報を取得する視野情報取得部を備え、前記リスク評価部は、前記視野情報により特定される前記模擬移動画像上の前記被験者の視野内における前記一致度合いに基づき、前記リスクを評価する構成としてもよい。本情報処理装置によれば、例えば、高齢者や緑内障等の眼病を発症した者のように、視野が狭くなったり欠損したりしている被験者についても、被験者が本当に目標物を視野内で認識したか否かを正しく判別することができる。従って、本情報処理装置によれば、視野が狭くなったり欠損したりしている被験者についても、被験者が移動する際のリスクを適切に評価することができる。
(3)上記情報処理装置において、さらに、前記模擬移動画像の表示中に、前記被験者による回答を取得する回答取得部を備え、前記リスク評価部は、前記回答が取得されたタイミングにおける前記一致度合いに基づき、前記リスクを評価する構成としてもよい。本情報処理装置によれば、被験者の視点が目標物に一致したものの、被験者がそれを目標物としては認識しなかった場合に、被験者が目標物を認識しなかったと正しく判定することができ、被験者が移動する際のリスクをより適切に評価することができる。
(4)上記情報処理装置において、前記リスク評価部は、所定の時間内に前記視点情報により特定される前記被験者の視点が前記模擬移動画像上の所定の大きさの領域内に位置する頻度が所定の閾値以上となったタイミングにおける前記一致度合いに基づき、前記リスクを評価する構成としてもよい。所定の時間内に被験者の視点が模擬移動画像上の所定の大きさの領域内に位置する頻度が所定の閾値以上となった場合には、被験者が模擬移動画像中の何か(上記領域に描画されているもの)を注視している可能性が高いと考えられる。そのため、本情報処理装置によれば、被験者が操作や口頭等の方法によらず、模擬移動画像中の目標物を認識したと判定(推定)することができ、より簡易な構成およびより簡易な方法で、被験者の移動の際のリスクを適切に評価することができる。
(5)上記情報処理装置において、前記視点情報取得部は、右眼と左眼とのそれぞれについて個別に前記視点情報を取得し、前記リスク評価部は、右眼と左眼との少なくとも一方についての前記一致度合いに基づき、前記リスクを評価する構成としてもよい。本情報処理装置によれば、被験者の視点の位置をより精度良く特定することができ、被験者の視点の位置と目標物の位置との一致度合いをより精度良く判定することができる。そのため、本情報処理装置によれば、被験者の移動の際のリスクをより適切に評価することができる。
(6)上記情報処理装置において、さらに、前記被験者の利き目を特定する利き目情報を取得する利き目情報取得部を備え、前記リスク評価部は、前記利き目情報により特定された前記被験者の利き目についての前記一致度合いに基づき、前記リスクを評価する構成としてもよい。本情報処理装置によれば、被験者が、その利き目で確実に目標物を視認したか否かを判別することができる。従って、本情報処理装置によれば、被験者が移動する際のリスクをさらに適切に評価することができる。
(7)上記情報処理装置において、前記模擬移動画像は、車両を運転して前記コース上を移動する人間の視界を模擬的に表す動画像である構成としてもよい。本情報処理装置によれば、被験者が車両を運転して移動する際のリスクを適切に評価することができる。
(8)本明細書に開示される情報処理システムは、上記情報処理装置と、前記画像表示装置と、を備える構成としてもよい。本情報処理システムによれば、被験者に模擬移動画像を視認させつつ被験者が移動する際のリスクを適切に評価することができるシステムを提供することができる。
(9)上記情報処理システムにおいて、前記模擬移動画像は、右眼用画像と左眼用画像とから構成されており、前記画像表示装置は、前記右眼用画像を前記被験者の右眼に視認させる右眼用表示実行部と、前記右眼用表示実行部とは独立して設けられ、前記左眼用画像を前記被験者の左眼に視認させる左眼用表示実行部と、を含むヘッドマウントディスプレイである構成としてもよい。本情報処理システムによれば、模擬移動画像を3D画像として被験者に視認させることができ、被験者を実際の移動環境に極めて近い環境に置くことができ、被験者が移動する際のリスクを一層適切に評価することができる。
なお、本明細書に開示される技術は、種々の形態で実現することが可能であり、例えば、情報処理装置、情報処理システム、情報処理方法、それらの方法を実現するコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。
第1実施形態における情報処理システム10の概略構成を示す説明図である。 第1実施形態における情報処理システム10の概略構成を示すブロック図である。 第1実施形態における運転時リスク評価処理の内容を示すフローチャートである。 第1実施形態における運転時リスク評価処理の際の被験者EXの状態、および、被験者EXに視認される模擬運転画像SIを模式的に示す説明図である。 第1実施形態における運転時リスク評価処理の際の被験者EXの状態、および、被験者EXに視認される模擬運転画像SIを模式的に示す説明図である。 第1実施形態における運転時リスク評価処理の結果を示す評価情報ASIが表示部152に表示された状態の一例を示す説明図である。 第2実施形態における情報処理システム10の概略構成を示すブロック図である。 第2実施形態における運転時リスク評価処理の内容を示すフローチャートである。 第2実施形態における運転時リスク評価処理の際の被験者EXの状態、および、被験者EXに視認される模擬運転画像SIを模式的に示す説明図である。 第2実施形態における運転時リスク評価処理の結果を示す評価情報ASIが表示部152に表示された状態の一例を示す説明図である。
A.第1実施形態:
運転者が自動車を運転して道路を移動する際のリスクを適切に評価することは有用である。例えば、運転免許証の発行時や更新時に、そのような運転時のリスク評価が行われ、該リスク評価の結果に基づき運転免許証の発行や更新の可否が判断されたり、該リスク評価の結果に基づき適切な研修や訓練が行われたりすれば、運転者の平均的なリスクを低減することができ、ひいては交通事故の予防につながる。特に、高齢者や、緑内障等の眼病を発症した者は、視野が狭くなったり欠損したりすることがあるため、運転時のリスクが高くなる傾向にあるが、一方で、頭部や眼球を適切に動かすことにより狭窄または欠損した視野を補償することも可能であり、そのような補償行動も含めて運転時のリスクを評価することは極めて有用である。運転者の運転時のリスクの評価を適切に行うために本明細書に開示される技術を用いた例(情報処理システム10に適用した例)を、以下に説明する。
A-1.情報処理システム10の構成:
図1は、第1実施形態における情報処理システム10の概略構成を示す説明図であり、図2は、第1実施形態における情報処理システム10の概略構成を示すブロック図である。本実施形態の情報処理システム10は、被験者EXが自動車を運転して道路を移動する際のリスクを評価するシステムである。より詳細には、情報処理システム10は、自動車を運転して予め設定されたコースを移動する人間の視界を模擬的に表す模擬運転画像SI(右眼用画像SIrおよび左眼用画像SIl)を被験者EXに視認させ、被験者EXが模擬運転画像SIに含まれる各ハザードを認識したか否かを判定するハザード認識テストを行い、該ハザード認識テストの結果に基づき、被験者EXが自動車を運転して道路を移動する際のリスクを評価するシステムである。
図1および図2に示すように、情報処理システム10は、情報処理装置としてのパーソナルコンピュータ(以下、「PC」という)100と、画像表示装置としての頭部装着型画像表示装置(Head Mounted Display)(以下、「HMD」という)200とを備える。
(PC100の構成)
情報処理装置としてのPC100は、制御部110と、記憶部130と、表示部152と、操作入力部158と、インターフェース部159とを備える。これらの各部は、バス190を介して互いに通信可能に接続されている。
PC100の表示部152は、例えば液晶ディスプレイ等により構成され、各種の画像や情報を表示する。また、PC100の操作入力部158は、例えばキーボードやマウス、マイク等により構成され、管理者や被験者EXの操作や指示を受け付ける。また、PC100のインターフェース部159は、例えばLANインターフェースやUSBインターフェース等により構成され、有線または無線により他の装置との通信を行う。本実施形態では、PC100のインターフェース部159は、ケーブル12を介してHMD200のインターフェース部259(後述)と接続されており、HMD200のインターフェース部259との間で通信を行う。
PC100の記憶部130は、例えばROMやRAM、ハードディスクドライブ(HDD)等により構成され、各種のプログラムやデータを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。例えば、記憶部130には、後述する運転時リスク評価処理を実行するためのコンピュータプログラムであるリスク評価プログラムCPが格納されている。リスク評価プログラムCPは、例えば、CD-ROMやDVD-ROM、USBメモリ等のコンピュータ読み取り可能な記録媒体(図示しない)に格納された状態で提供され、PC100にインストールすることにより記憶部130に格納される。
また、PC100の記憶部130には、動画像データMIDが格納されている。動画像データMIDは、上述した模擬運転画像SIを表すデータである。模擬運転画像SIは、所定のフレームレート(例えば、70fps)で構成された所定の長さ(例えば、1分間)の動画像である。模擬運転画像SIは、自動車を運転して予め設定されたコースを移動する人間の視界を模擬的に表す動画像であり、ハザードHn(n=1,2,・・・)を含むシーンを複数含んでいる。なお、ハザードHnは、例えば、自動車、自転車、歩行者等である。例えば、模擬運転画像SI中のあるシーンでは、ハザードH1としての歩行者が、道路の脇から飛び出してくる。なお、本明細書において、模擬運転画像SI中のシーンとは、模擬運転画像SIを構成する1つのフレームにより表される画像であってもよいし、複数の連続したフレームにより表される所定の時間的長さを持った画像であってもよい。また、1つのシーンに含まれるハザードHnの数は、1つであってもよいし、複数であってもよい。模擬運転画像SIは、特許請求の範囲における模擬移動画像に相当する。
また、本実施形態では、後述するように、被験者EXの頭部の動きに応じて被験者EXに視認させる模擬運転画像SIを変化させるため、動画像データMIDは、被験者EXの頭部の各向きに応じた複数の模擬運転画像SIのデータを含んでいる。また、本実施形態では、被験者EXに視認させる模擬運転画像SIを3D画像とするため、模擬運転画像SIは、視差を考慮して作成された右眼用画像SIrと左眼用画像SIlとから構成されている。模擬運転画像SIを表す動画像データMIDは、例えば、3D-CGソフトウェアにより作成されるとしてもよいし、現実の道路を自動車で走行中に全方位カメラにより撮像した画像を用いて作成されるとしてもよい。また、動画像データMIDに、自動車の走行音等を模した音声を表す音声データが含まれていてもよい。
また、PC100の記憶部130には、正答情報RAIが格納されている。正答情報RAIは、模擬運転画像SIにおいて、各ハザードHnが含まれるシーンが表示されるタイミング(各ハザードHnが含まれるフレームの表示時刻)と、各ハザードHnの位置(フレーム上のハザードHnを表す画像領域の座標)とを特定する情報である。また、PC100の記憶部130には、後述する運転時リスク評価処理の際に、視点情報VPIと、回答情報ANIと、評価情報ASIとが格納される。これらの情報の内容については、後述の運転時リスク評価処理の説明に合わせて説明する。
PC100の制御部110は、例えばCPU等により構成され、記憶部130から読み出したコンピュータプログラムを実行することにより、PC100の動作を制御する。例えば、制御部110は、記憶部130からリスク評価プログラムCPを読み出して実行することにより、後述の運転時リスク評価処理を実行する。より詳細には、制御部110は、後述の運転時リスク評価処理を実行するための、頭部情報取得部111と、表示制御部112と、視点情報取得部113と、回答取得部116と、リスク評価部117として機能する。これら各部の機能については、後述の運転時リスク評価処理の説明に合わせて説明する。
(HMD200の構成)
画像表示装置としてのHMD200は、被験者EXの頭部に装着された状態で、被験者EXに画像を視認させる装置である。本実施形態のHMD200は、被験者EXの両眼を完全に覆う非透過側のヘッドマウントディスプレイであり、バーチャルリアリティ(VR)機能を提供することができる。なお、本明細書において、HMD200が被験者EXに画像を視認させることを、HMD200が(被験者EXに対して)画像を表示するとも表現する。
HMD200は、制御部210と、記憶部230と、右眼用表示実行部251と、左眼用表示実行部252と、視線検出部253と、ヘッドホン254と、頭部動き検出部255と、操作入力部258と、インターフェース部259とを備える。これらの各部は、バス290を介して互いに通信可能に接続されている。
HMD200の右眼用表示実行部251は、例えば、光源と、表示素子(デジタルミラーデバイス(DMD)や液晶パネル等)と、光学系とを備えており、模擬運転画像SIを構成する右眼用画像SIrを表す画像光を生成して被験者EXの右眼に導くことにより、被験者EXの右眼に右眼用画像SIrを視認させる。左眼用表示実行部252は、右眼用表示実行部251とは独立して設けられており、右眼用表示実行部251と同様に、例えば、光源と、表示素子と、光学系とを備え、模擬運転画像SIを構成する左眼用画像SIlを表す画像光を生成して被験者EXの左眼に導くことにより、被験者EXの左眼に左眼用画像SIlを視認させる。被験者EXの右眼が右眼用画像SIrを視認し、被験者EXの左眼が左眼用画像SIlを視認した状態では、被験者EXは3D画像である模擬運転画像SIを視認する。
HMD200の視線検出部253は、いわゆるアイトラッキング機能を実現するために、被験者EXの視線方向を検出する。例えば、視線検出部253は、非可視光を発する光源と、カメラとを備えており、光源から非可視光を発し、被験者EXの眼により反射された非可視光をカメラにより撮像して画像を生成し、生成された画像を解析することにより、被験者EXの視線方向を検出する。視線検出部253は、所定の頻度(例えば、右眼用表示実行部251および左眼用表示実行部252により表示される動画像のフレームレートと同一の頻度)で、視線方向の検出を繰り返し実行する。なお、視線検出部253は、被験者EXの視線方向を検出することにより、被験者EXが視認している画像上における被験者EXの視点VP(図1参照)の位置を特定することができる。
HMD200のヘッドホン254は、被験者EXの耳に装着され、音声を出力するデバイスである。また、HMD200の頭部動き検出部255は、いわゆるヘッドトラッキング機能を実現するために、HMD200の動き(すなわち、被験者EXの頭部の動き)を検出するセンサである。なお、被験者EXの頭部の動きとは、被験者EXの頭部の位置の変化と向きの変化とを含む概念である。また、HMD200の操作入力部258は、例えばボタン等を含み、被験者EXの指示を受け付ける。なお、操作入力部258は、HMD200の筐体(被験者EXの頭部に装着される部分)の内部に配置されてもよいし、筐体に対して信号線を介して接続された別体として構成されてもよい。また、HMD200のインターフェース部259は、例えば、LANインターフェースやUSBインターフェース等により構成され、有線または無線により他の装置との通信を行う。
HMD200の記憶部230は、例えばROMやRAM等により構成されており、各種のプログラムやデータを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。また、HMD200の制御部210は、例えばCPU等により構成され、記憶部230から読み出したコンピュータプログラムを実行することにより、HMD200の各部の動作を制御する。
A-2.運転時リスク評価処理:
次に、本実施形態の情報処理システム10により実行される運転時リスク評価処理について説明する。図3は、第1実施形態における運転時リスク評価処理の内容を示すフローチャートである。また、図4および図5は、第1実施形態における運転時リスク評価処理の際の被験者EXの状態、および、被験者EXに視認される模擬運転画像SIを模式的に示す説明図である。また、図6は、第1実施形態における運転時リスク評価処理の結果を示す評価情報ASIが表示部152に表示された状態の一例を示す説明図である。
運転時リスク評価処理は、被験者EXに模擬運転画像SIを視認させ、被験者EXが模擬運転画像SIに含まれる各ハザードHnを正しく認識したか否かを判定するハザード認識テストを行い、該ハザード認識テストの結果に基づき、被験者EXが自動車を運転して道路を移動する際のリスクを評価する処理である。ハザード認識テストの際には、被験者EXは、自らがハザードHnと考えるものを認識した場合に、操作入力部158の操作(例えば、マウスのクリック操作)による回答を行うように指示される。運転時リスク評価処理は、例えば、被験者EXがHMD200を装着した状態において、管理者がPC100の操作入力部158を介して処理開始の指示を入力したことに応じて開始される。
運転時リスク評価処理が開始されると、PC100の表示制御部112は、HMD200に模擬運転画像SIの表示を開始させる(S110)。具体的には、PC100の表示制御部112は、記憶部130に格納された動画像データMIDをHMD200に供給して、HMD200の右眼用表示実行部251および左眼用表示実行部252に、それぞれ、模擬運転画像SIを構成する右眼用画像SIrおよび左眼用画像SIlを表示させる。
なお、本実施形態の情報処理システム10は、いわゆるヘッドトラッキング機能を備えており、被験者EXに視認させる模擬運転画像SIを、被験者EXの頭部の動きに応じて変化させる。すなわち、PC100の頭部情報取得部111が、HMD200の頭部動き検出部255により検出された被験者EXの頭部の動きを特定する頭部情報をHMD200から取得し、PC100の表示制御部112が、取得された頭部情報により特定される被験者EXの頭部の動きに応じて、HMD200の右眼用表示実行部251および左眼用表示実行部252に供給される動画像データMIDを選択する。これにより、被験者EXは、自らの頭部の動きに応じて自然に変化する模擬運転画像SIを視認する。例えば、図4のA欄に示すように、被験者EXが正面を向いて、あるシーンの画像を視認している状態から、図4のB欄に示すように、被験者EXが頭部の向きを左側に変えると、被験者EXに視認される画像が、上記シーンから左側にずれたシーンの画像に自然に変化する。これにより、被験者EXは、視覚に関して、実際の運転環境に極めて近い環境に置かれる。なお、右眼用表示実行部251および左眼用表示実行部252に供給される動画像データMIDの選択は、HMD200の制御部210により実行されるとしてもよい。
模擬運転画像SIの表示が開始されると同時に、PC100の視点情報取得部113は、HMD200の視線検出部253により特定された模擬運転画像SI上における被験者EXの視点VPの位置を特定する視点情報VPIをHMD200から取得する処理を開始する(S120)。視点情報VPIは、模擬運転画像SIの各時刻における被験者EXの視点VPの位置(座標)を特定する情報である。視点情報VPIを参照することにより、模擬運転画像SIの各シーンにおいて、被験者EXがどこを注視しているかを把握することができる。取得された視点情報VPIは、記憶部130に格納される。なお、図1,4,5等には、説明の便宜上、模擬運転画像SIに重ねて視点VPを示すマークが描かれているが、本実施形態では、実際には視点VPを示すマークは画像として表示されることはなく、テスト中の被験者EXが自らの視点VPの位置を意識することがないようにしている。ただし、視点VPを示すマークが表示される(被験者EXに視認される)ようにしてもよい。
模擬運転画像SIの表示中、PC100の回答取得部116は、被験者EXによる回答(操作入力部158の操作)があったか否かを監視し(S130)、回答があったと判定された場合に(S130:YES)、回答情報ANIを作成・更新する(S132)。回答情報ANIは、被験者EXによる回答があった時刻(模擬運転画像SIにおける時刻)を特定する情報である。回答情報ANIを参照することにより、被験者EXが模擬運転画像SIにおけるどの時刻において(すなわち、どのシーンにおいて)、自らがハザードHnと考えるものを認識したかを把握することができる。作成・更新された回答情報ANIは、記憶部130に格納される。S130において、回答がなかったと判定された場合には(S130:NO)、S132の処理はスキップされる。
PC100の表示制御部112は、模擬運転画像SIの表示が完了したか否かを監視する(S140)。S140において、模擬運転画像SIの表示が完了していないと判定された場合には(S140:NO)、S130以降の処理が繰り返し実行される。S140において、模擬運転画像SIの表示が完了したと判定された場合には(S140:YES)、被験者EXに対するハザード認識テストが完了したこととなり、処理はS150に進められる。
被験者EXに対するハザード認識テストが完了すると、PC100のリスク評価部117は、記憶部130に予め格納された正答情報RAIと、テスト中に作成・更新された回答情報ANIおよび視点情報VPIとを参照して、以下に詳述するように、被験者EXについての運転時のリスク評価を開始する。
まず、PC100のリスク評価部117は、模擬運転画像SI中の1つのハザードHnを選択し(S150)、正答情報RAIおよび回答情報ANIを参照して、選択されたハザードHnを含むシーンが表示されたタイミングにおいて被験者EXによる回答があったか否かを判定する(S160)。S160において、ハザードHnを含むシーンが表示されたタイミングにおいて被験者EXによる回答がなかったと判定された場合には(S160:NO)、リスク評価部117は、被験者EXがハザードHnを認識することができなかったと判定して、リスク値を加算する(S190)。図6に示す評価結果の例では、ハザードH2やハザードH8を含むシーンが表示されたタイミングにおいて被験者EXによる回答がなかったため(被験者回答:×)、被験者EXがこれらのハザードを認識することができなかったとされ(ハザード認識:×)、リスク値「1」が加算されている。
一方、S160において、選択されたハザードHnを含むシーンが表示されたタイミングにおいて被験者EXによる回答があったと判定された場合には(S160:YES)、PC100のリスク評価部117は、正答情報RAIおよび視点情報VPIを参照して、選択されたハザードHnを含むシーンにおける該ハザードHnの位置と、該ハザードHnを含むシーンが表示されたタイミングにおける被験者EXの視点VPの位置とが一致するか否かを判定する(S170)。なお、本明細書において、ハザードHnの位置と被験者EXの視点VPの位置とが一致するとは、両者の位置の一致度合いが所定の閾値以上であることを意味する。すなわち、リスク評価部117は、ハザードHnを含むシーンが表示されている時間の長さに対する、被験者EXの視点VPの位置がハザードHnの位置(領域)と一致している時間の長さの割合(すなわち、ハザードHnの位置と被験者EXの視点VPの位置との一致度合い)が、所定の閾値以上である場合に、ハザードHnの位置と被験者EXの視点VPの位置とが一致すると判定する。図5のA欄には、ハザードHnの位置と被験者EXの視点VPの位置とが一致している例が示されており、図5のB欄には、ハザードHnの位置と被験者EXの視点VPの位置とが一致していない例が示されている。
S170において、ハザードHnの位置と被験者EXの視点VPの位置とが一致していないと判定された場合には(S170:NO)、リスク評価部117は、ハザードHnを含むシーンが表示されたタイミングにおいて被験者EXによる回答があったものの、被験者EXが実際にはハザードHnを認識することができなかった(すなわち、被験者EXが該シーン内の他の物をハザードとして誤認識した、または、被験者EXによる回答が誤操作であった)と判定して、リスク値を加算する(S190)。図6に示す評価結果の例では、ハザードH5やハザードH10について、ハザードHnの位置と被験者EXの視点VPの位置とが一致しなかったため(位置一致:×)、被験者EXがこれらのハザードを認識することができなかったとされ(ハザード認識:×)、リスク値「1」が加算されている。
一方、S170において、ハザードHnの位置と被験者EXの視点VPの位置とが一致していると判定された場合には(S170:YES)、リスク評価部117は、被験者EXがハザードHnを正しく認識することができたと判定して、リスク値の加算処理(S190)を実行せず、処理をS200に進める。
選択された1つのハザードHnについて、被験者EXがハザードHnを認識することができたか否かの判定(S160~S190)が完了すると、リスク評価部117は、模擬運転画像SIに含まれるすべてのハザードHnが選択されたか否かを判定し(S200)、未選択のハザードHnがあると判定された場合には(S200:NO)、ハザードHnの選択処理(S150)に戻って、それ以降の処理を同様に行う。図6に示す評価結果の例では、ハザードHnが10個あるため、10個のハザードHnの選択が完了したと判定されるまで、各ハザードHnについて、被験者EXがハザードHnを認識することができたか否かの判定が繰り返し実行される。
このような処理が繰り返され、S200においてすべてのハザードHnの選択が完了したと判定された場合には(S200:YES)、リスク評価部117は、リスク評価の結果(例えば、リスク値の合計点)を表す評価情報ASIを作成し、該評価情報ASIを出力する(S210)。例えば、リスク評価部117は、図6に示すように、評価情報ASIの内容を表示部152に表示する。以上により、被験者EXが自動車を運転して道路を移動する際のリスクを評価する運転時リスク評価処理が完了する。図6に示す評価結果の例では、被験者EXが、10個のハザードHnの内、4個のハザードHn(H2,H5,H8,H10)の認識に失敗したため、リスク値の合計は4点(リスク値の最大値は10点)とされている。リスク値が高いほど、被験者EXが自動車を運転して道路を移動する際のリスクが高いと言える。
A-3.第1実施形態の効果:
以上説明したように、第1実施形態の情報処理システム10を構成するPC100は、被験者EXが自動車を運転して移動する際のリスクを評価する情報処理装置であり、頭部情報取得部111と、表示制御部112と、視点情報取得部113と、リスク評価部117とを備える。頭部情報取得部111は、被験者EXの頭部の動きを特定する頭部情報を取得する。表示制御部112は、自動車を運転して予め設定されたコースを移動する人間の視界を模擬的に表す動画像である模擬運転画像SIを画像表示装置としてのHMD200に表示させる。模擬運転画像SIは、ハザードHnを含むシーンを含み、かつ、上記頭部情報により特定された被験者EXの頭部の動きに応じて変化する動画像である。視点情報取得部113は、模擬運転画像SIの表示中に、模擬運転画像SI上における被験者EXの視点VPの位置を特定する視点情報VPIを取得する。リスク評価部117は、模擬運転画像SI中のハザードHnを含むシーンが表示されたタイミングにおける、視点情報VPIにより特定される被験者EXの視点VPの位置と、ハザードHnの位置との一致度合いに基づき、被験者EXが自動車を運転して移動する際のリスクを評価し、該リスクの評価の結果を示す評価情報ASIを出力する。
このように、本実施形態のPC100は、被験者EXの頭部の動きを特定する頭部情報を取得する頭部情報取得部111と、上記頭部情報により特定された被験者EXの頭部の動きに応じて変化する模擬運転画像SIをHMD200に表示させる表示制御部112とを備えるため、被験者EXに自然な運転状況を模擬的に体験させることができる。例えば、見通しの悪い交差点のシーンでは、左右確認のために頭部および眼球の動きが重要であるが、本実施形態のPC100によれば、被験者EXに視認される模擬運転画像SIが被験者EXの頭部の動きに応じて変化するため、頭部の回転と眼球の回転とを自然な動きとすることができ、被験者EXに自然な運転状況を模擬的に体験させることができる。
また、本実施形態のPC100は、模擬運転画像SIの表示中に、模擬運転画像SI上における被験者EXの視点VPの位置を特定する視点情報VPIを取得する視点情報取得部113と、模擬運転画像SI中のハザードHnを含むシーンが表示されたタイミングにおける、視点情報VPIにより特定される被験者EXの視点VPの位置と、ハザードHnの位置との一致度合いに基づき、上記リスクを評価し、該リスクの評価の結果を示す評価情報ASIを出力するリスク評価部117とを備える。そのため、本実施形態のPC100によれば、被験者EXが本当にハザードHnを認識したか否かを正しく判別することができる。さらに、本実施形態のPC100によれば、高齢者や緑内障等の眼病を発症した者のように、視野が狭くなったり欠損したりしている被験者EXについても、頭部や眼球を適切に動かすことにより視野を補償する補償行動を反映させて、運転時のリスクを適切に評価することができる。
以上のことから、本実施形態のPC100によれば、被験者EXの運転時のリスクを適切に評価することができる。
また、本実施形態のPC100は、さらに、模擬運転画像SIの表示中に、被験者EXによる回答を取得する回答取得部116を備える。また、PC100のリスク評価部117は、被験者EXによる回答が取得されたタイミングにおける、視点情報VPIにより特定される被験者EXの視点VPの位置とハザードHnの位置との一致度合いに基づき、被験者EXが自動車を運転して移動する際のリスクを評価する。そのため、本実施形態のPC100によれば、被験者EXの視点VPがハザードHnに一致したものの、被験者EXがそれをハザードHnとしては認識しなかった場合に、被験者EXがハザードHnを認識しなかったと正しく判定することができ、被験者EXの運転時のリスクをより適切に評価することができる。
また、本実施形態の情報処理システム10は、PC100とHMD200とを備える。そのため、本実施形態の情報処理システム10によれば、被験者EXに模擬運転画像SIを視認させつつ被験者EXの運転時のリスクを適切に評価することができるシステムを提供することができる。
また、本実施形態では、模擬運転画像SIが、右眼用画像SIrと左眼用画像SIlとから構成されている。また、HMD200は、右眼用画像SIrを被験者EXの右眼に視認させる右眼用表示実行部251と、右眼用表示実行部251とは独立して設けられ、左眼用画像SIlを被験者EXの左眼に視認させる左眼用表示実行部252とを含むヘッドマウントディスプレイである。そのため、本実施形態の情報処理システム10によれば、模擬運転画像SIを3D画像として被験者EXに視認させることができ、被験者EXを実際の運転環境に極めて近い環境に置くことができ、被験者EXの運転時のリスクを一層適切に評価することができる。
B.第2実施形態:
図7は、第2実施形態における情報処理システム10aの概略構成を示すブロック図である。以下では、第2実施形態の情報処理システム10aの構成、および、情報処理システム10aによる処理内容の内、上述した第1実施形態と同一の構成および処理内容については、同一の符号を付すことによってその説明を適宜省略する。
図7に示すように、第2実施形態の情報処理システム10aは、PC100aの構成の点が、第1実施形態と異なっている。具体的には、第2実施形態の情報処理システム10aでは、PC100aの制御部110が、記憶部130からリスク評価プログラムCPを読み出して実行することにより、さらに、視野情報取得部114と、利き目情報取得部115として機能する。これら各部の機能については、後述の運転時リスク評価処理の説明に合わせて説明する。
また、第2実施形態の情報処理システム10aでは、後述する運転時リスク評価処理の際に、PC100aの記憶部130に、さらに、視野情報VFIと、利き目情報DEIとが格納される。これらの情報の内容については、後述の運転時リスク評価処理の説明に合わせて説明する。
図8は、第2実施形態における運転時リスク評価処理の内容を示すフローチャートである。また、図9は、第2実施形態における運転時リスク評価処理の際の被験者EXの状態、および、被験者EXに視認される模擬運転画像SIを模式的に示す説明図である。また、図10は、第2実施形態における運転時リスク評価処理の結果を示す評価情報ASIが表示部152に表示された状態の一例を示す説明図である。
第2実施形態の運転時リスク評価処理では、第1実施形態と同様にハザード認識テストが実行されるが、ハザード認識テストの開始前に、PC100aの利き目情報取得部115が、被験者EXの利き目を特定する利き目情報DEIを取得する(S102)。利き目情報DEIは、操作入力部158から入力された情報(利き目を指定する情報)に従い取得されてもよいし、情報処理システム10aにより利き目を判定するテストを実行して該テストの結果に基づき取得されてもよい。利き目情報DEIは、記憶部130に格納される。本実施形態では、被験者EXの利き目は右眼であるとする。
また、PC100aの視野情報取得部114は、被験者EXの視野を特定する視野情報VFIを取得する(S104)。視野情報VFIは、操作入力部158から入力された情報(視野計による視野の測定結果を特定する情報)に従い取得されてもよいし、情報処理システム10aが視野計を備え、該視野計による視野の測定結果に基づき取得されてもよい。視野情報VFIは、記憶部130に格納される。本実施形態では、図9に示すように、被験者EXの視野VFに視野欠損DFが存在し、視点VPが位置することができる範囲(視線方向の範囲)に比べて視野VFが狭くなっているものとする。
その後、第1実施形態と同様に、被験者EXに対するハザード認識テストが開始される(S110~S140)。第2実施形態におけるハザード認識テストの処理内容は、第1実施形態と基本的に同じである。ただし、第2実施形態では、視点情報VPIを取得する処理(S120)において、被験者EXの右眼と左眼とのそれぞれについて個別に視点情報VPIが取得される。すなわち、HMD200の視線検出部253は、被験者EXの右眼および左眼のそれぞれの視線方向を検出することにより、被験者EXの右眼および左眼のそれぞれの視点VPの位置を特定する。PC100aの視点情報取得部113は、HMD200の視線検出部253により特定された被験者EXの右眼および左眼のそれぞれの視点VPの位置を特定する視点情報VPIを、HMD200から取得する。
被験者EXに対するハザード認識テストが完了すると、第1実施形態と同様に、被験者EXについての運転時のリスク評価が開始される。第2実施形態におけるリスク評価の処理内容は、第1実施形態と基本的に同じである。ただし、第2実施形態では、ハザードHnの位置と被験者EXの視点VPの位置との一致度合いを判定する処理(S170)において、ハザードHnの位置と被験者EXの利き目(本実施形態では右眼)の視点VPの位置との一致度合いが判定される点が、第1実施形態とは異なる。
また、第2実施形態では、ハザードHnの位置と被験者EXの利き目の視点VPの位置とが一致していると判定された場合には(S170:YES)、さらに、リスク評価部117が、該一致点は被験者EXの視野VF内であるか否かを判定する(S174)。図9のB欄に示すように、S174において、ハザードHnの位置と視点VPの位置との一致点が、被験者EXの視野VF内ではない(すなわち、視野欠損DFの領域内である)と判定された場合には(S174:NO)、リスク評価部117は、ハザードHnを含むシーンが表示されたタイミングにおいて被験者EXによる回答があり、かつ、ハザードHnの位置と被験者EXの視点VPの位置とが一致していたものの、該一致点が被験者EXの視野VF内ではないために被験者EXが実際にはハザードHnを視認することができなかったと判定して、リスク値を加算する(S190)。図10に示す評価結果の例では、ハザードHnの位置と視点VPの位置との一致点が被験者EXの視野VF内ではなかったため(視野内:×)、被験者EXがこのハザードを認識することができなかったとされ(ハザード認識:×)、リスク値「1」が加算されている。
一方、図9のA欄に示すように、S174において、ハザードHnの位置と視点VPの位置との一致点が、被験者EXの視野VF内であると判定された場合には(S174:YES)、リスク評価部117は、被験者EXがハザードHnを正しく認識することができたと判定して、リスク値の加算処理(S190)を実行せず、処理をS200に進める。以降の処理は、第1実施形態と同じである。図10に示す評価結果の例では、被験者EXが、10個のハザードHnの内、5個のハザードHn(H2,H5,H7,H8,H10)の認識に失敗したため、リスク値の合計は5点(リスク値の最大値は10点)とされている。
以上説明したように、第2実施形態の情報処理システム10aを構成するPC100aは、第1実施形態のPC100と同様の構成を有するため、第1実施形態のPC100と同様に、被験者EXの運転時のリスクを適切に評価することができる。
さらに、第2実施形態のPC100aは、被験者EXの視野を特定する視野情報VFIを取得する視野情報取得部114を備える。また、リスク評価部117は、視野情報VFIにより特定される模擬運転画像SI上の被験者EXの視野内における、被験者EXの視点VPの位置とハザードHnの位置との一致度合いに基づき、被験者EXが自動車を運転して移動する際のリスクを評価する。そのため、第2実施形態のPC100aによれば、例えば、高齢者や緑内障等の眼病を発症した者のように、視野が狭くなったり欠損したりしている被験者EXについても、被験者EXが本当にハザードHnを視野VF内で認識したか否かを正しく判別することができる。従って、第2本実施形態のPC100aによれば、視野が狭くなったり欠損したりしている被験者EXについても、被験者EXの運転時のリスクを適切に評価することができる。
また、第2実施形態では、PC100aの視点情報取得部113が、被験者EXの右眼と左眼とのそれぞれについて個別に視点情報VPIを取得する。また、第2実施形態のPC100aは、被験者EXの利き目を特定する利き目情報DEIを取得する利き目情報取得部115を備える。また、第2実施形態では、リスク評価部117は、利き目情報DEIにより特定された被験者EXの利き目についての、被験者EXの視点VPの位置とハザードHnの位置との一致度合いに基づき、被験者EXが自動車を運転して移動する際のリスクを評価する。そのため、第2実施形態のPC100aによれば、被験者EXが、その利き目で確実にハザードHnを視認したか否かを判別することができる。従って、第2実施形態のPC100aによれば、被験者EXの運転時のリスクをさらに適切に評価することができる。
C.変形例:
本明細書で開示される技術は、上述の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の形態に変形することができ、例えば次のような変形も可能である。
上記実施形態における情報処理システム10の構成は、あくまで一例であり、種々変形可能である。例えば、上記実施形態では、情報処理システム10を構成する情報処理装置としてPC100が用いられているが、情報処理装置として他の種類のコンピュータ(例えば、スマートフォンやタブレット端末等)が用いられてもよい。また、上記実施形態では、情報処理システム10を構成する画像表示装置としてHMD200が用いられているが、画像表示装置として他の種類の画像表示装置(例えば、液晶ディスプレイやプロジェクタ等)が用いられてもよい。なお、画像表示装置としてHMD200以外の装置(頭部に装着されない画像表示装置)が用いられる場合には、画像表示装置とは別に、被験者EXの視線方向を検出するセンサ、および、被験者EXの頭部の動きを検出するセンサを用いて、被験者EXの視線方向および被験者EXの頭部の動きを検出すればよい。
また、情報処理システム10を構成する情報処理装置と画像処理装置とが、一体の装置であるとしてもよい。例えば、情報処理システム10が、上記実施形態のPC100の有する機能を備えるHMD200のみから構成されてもよい。
また、上記実施形態における運転時リスク評価処理の内容は、あくまで一例であり、種々変形可能である。例えば、上記実施形態における運転時リスク評価処理では、模擬運転画像SIにハザードHnを含むシーンが含まれており、被験者EXが各ハザードHnを正しく認識したか否かを判定することにより運転時のリスクを評価しているが、被験者EXの認識対象である目標物は、ハザードHnに限られず、信号や道路標識等のように、ハザードではないが運転時のリスクに影響を与える物であってもよい。すなわち、模擬運転画像SIは、予め設定されたコースを移動する人間の視界を模擬的に表す動画像であって、目標物を含むシーンを含み、リスク評価部117は、模擬運転画像SI中の目標物を含むシーンが表示されたタイミングにおける、被験者EXの視点VPの位置と目標物の位置との一致度合いに基づき、運転時のリスクを評価してもよい。
また、上記実施形態における運転時リスク評価処理では、リスク評価部117は、ハザードHnを含むシーンが表示されている時間の長さに対する、被験者EXの視点VPの位置がハザードHnの位置(領域)と一致している時間の長さの割合(すなわち、ハザードHnの位置と被験者EXの視点VPの位置との一致度合い)が、所定の閾値以上である場合に、ハザードHnの位置と被験者EXの視点VPの位置とが一致すると判定しているが、ハザードHnの位置と被験者EXの視点VPの位置との一致度合いの判定方法は種々変更可能である。
また、上記実施形態における運転時リスク評価処理では、ハザード認識テストの際に、被験者EXが、模擬運転画像SIに含まれる各ハザードHnを認識した場合に、操作入力部158の操作による回答を行うようにしているが、回答の方法は、操作入力部158の操作に限られず、他の方法であってもよい。例えば、被験者EXが口頭で回答を行うようにしてもよい。また、PC100のリスク評価部117が、被験者EXの視点VPの位置が特定の条件を満たす場合に、被験者EXによる回答があったと判定するとしてもよい。例えば、所定の時間内に視点情報VPIにより特定される被験者EXの視点VPが模擬運転画像SI上の所定の大きさの領域内に位置する頻度が所定の閾値以上となった場合に、被験者EXによる回答があったと判定するとしてもよい。所定の時間内に被験者EXの視点VPが模擬運転画像SI上の所定の大きさの領域内に位置する頻度が所定の閾値以上となった場合には、被験者EXが模擬運転画像SI中の何か(上記領域に描画されているもの)を注視している可能性が高いと考えられるため、このような形態を採用すれば、被験者EXが操作入力部158の操作や口頭等の方法によらず、模擬運転画像SI中のハザードHnを認識したと判定(推定)することができ、より簡易な構成およびより簡易な方法で、被験者EXの運転時のリスクを適切に評価することができる。
また、上記実施形態では、評価情報ASIが表示部152に表示されることにより出力されるが、評価情報ASIの出力形態は、例えば、音声による出力や印刷装置を用いた印刷による出力のような、他の形態であってもよい。また、上記実施形態において、出力される評価情報ASIの内容は、あくまで一例であり、種々変形可能である。例えば、評価情報ASIに、図6に示された内容の内、「被験者回答」および「位置一致」の結果は含まれず、各ハザードHnについての「ハザード認識」の結果のみが含まれるとしてもよい。あるいは、評価情報ASIに、図6に示された各ハザードHnについての認識の適否を示す内容は含まれず、最終的なリスク値の合計値(例えば、4/10点)のみが含まれるとしてもよい。
また、上記実施形態における運転時リスク評価処理では、ハザード認識テストの際に、被験者EXによる回答があったか否かが監視され(S130)、その後のリスク評価の際に、ハザードHnを含むシーンが表示されたタイミングにおいて被験者EXによる回答があったか否かが判定されるが(S160)、これらの処理は省略されてもよい。
また、上記第2実施形態における運転時リスク評価処理では、利き目情報DEIと視野情報VFIとが取得・利用されているが、利き目情報DEIと視野情報VFIとの一方のみが取得・利用されるとしてもよい。例えば、上記第2実施形態における運転時リスク評価処理において、視野情報VFIが取得されるが利き目情報DEIは取得されず、両面について、ハザードHnの位置と被験者EXの視点VPの位置との一致度合いが判定されるとしてもよい。
また、上記実施形態において、被験者EXの視点VPの位置とハザードHnの位置との一致度合いの判定を、右眼の視点VPについてのみ行うとしてもよいし、左眼の視点VPについてのみ行うとしてもよいし、両眼の視点VPについて行うとしてもよい。
また、上記実施形態では、情報処理システム10は、被験者EXが自動車を運転して道路を移動する際のリスクを評価するものであるが、情報処理システム10は、被験者EXが他の手段で(例えば、他の種類の車両(自転車等)を運転して、あるいは、徒歩で)移動する際のリスクを評価するものであってもよい。その場合には、上記実施形態における模擬運転画像SIに代えて、上記他の手段で予め設定されたコースを移動する人間の視界を模擬的に表す画像を用いればよい。
また、上記各実施形態において、ハードウェアによって実現されている構成の一部をソフトウェアに置き換えるようにしてもよく、反対に、ソフトウェアによって実現されている構成の一部をハードウェアに置き換えるようにしてもよい。
10:情報処理システム 12:ケーブル 100:パーソナルコンピュータ 110:制御部 111:頭部情報取得部 112:表示制御部 113:視点情報取得部 114:視野情報取得部 115:利き目情報取得部 116:回答取得部 117:リスク評価部 130:記憶部 152:表示部 158:操作入力部 159:インターフェース部 190:バス 200:HMD 210:制御部 230:記憶部 251:右眼用表示実行部 252:左眼用表示実行部 253:視線検出部 254:ヘッドホン 255:頭部動き検出部 258:操作入力部 259:インターフェース部 290:バス ANI:回答情報 ASI:評価情報 CP:リスク評価プログラム DEI:利き目情報 DF:視野欠損 EX:被験者 MID:動画像データ RAI:正答情報 SI:模擬運転画像 SIl:左眼用画像 SIr:右眼用画像 VF:視野 VFI:視野情報 VP:視点 VPI:視点情報

Claims (10)

  1. 被験者が移動する際のリスクを評価する情報処理装置であって、
    前記被験者の頭部の動きを特定する頭部情報を取得する頭部情報取得部と、
    予め設定されたコースを移動する人間の視界を模擬的に表す動画像である模擬移動画像であって、目標物を含むシーンを含み、前記頭部情報により特定された前記被験者の頭部の動きに応じて変化する前記模擬移動画像を画像表示装置に表示させる表示制御部と、
    前記模擬移動画像の表示中に、前記模擬移動画像上における前記被験者の視点の位置を特定する視点情報を取得する視点情報取得部と、
    前記模擬移動画像中の前記目標物を含むシーンが表示されたタイミングにおける、前記視点情報により特定される前記被験者の視点の位置と、前記目標物の位置との一致度合いに基づき、前記リスクを評価し、前記リスクの評価の結果を示す評価情報を出力するリスク評価部と、
    前記被験者の視野を特定する視野情報を取得する視野情報取得部と、
    を備え
    前記リスク評価部は、前記視野情報により特定される前記模擬移動画像上の前記被験者の視野内における前記一致度合いに基づき、前記リスクを評価する、情報処理装置。
  2. 請求項1に記載の情報処理装置であって、さらに、
    前記模擬移動画像の表示中に、前記被験者による回答を取得する回答取得部を備え、
    前記リスク評価部は、前記回答が取得されたタイミングにおける前記一致度合いに基づき、前記リスクを評価する、情報処理装置。
  3. 請求項1に記載の情報処理装置であって、
    前記リスク評価部は、所定の時間内に前記視点情報により特定される前記被験者の視点が前記模擬移動画像上の所定の大きさの領域内に位置する頻度が所定の閾値以上となったタイミングにおける前記一致度合いに基づき、前記リスクを評価する、情報処理装置。
  4. 請求項1から請求項までのいずれか一項に記載の情報処理装置であって、
    前記視点情報取得部は、右眼と左眼とのそれぞれについて個別に前記視点情報を取得し、
    前記リスク評価部は、右眼と左眼との少なくとも一方についての前記一致度合いに基づき、前記リスクを評価する、情報処理装置。
  5. 請求項に記載の情報処理装置であって、さらに、
    前記被験者の利き目を特定する利き目情報を取得する利き目情報取得部を備え、
    前記リスク評価部は、前記利き目情報により特定された前記被験者の利き目についての前記一致度合いに基づき、前記リスクを評価する、情報処理装置。
  6. 請求項1から請求項までのいずれか一項に記載の情報処理装置であって、
    前記模擬移動画像は、車両を運転して前記コース上を移動する人間の視界を模擬的に表す動画像である、情報処理装置。
  7. 請求項1から請求項までのいずれか一項に記載の情報処理装置と、
    前記画像表示装置と、
    を備える、情報処理システム。
  8. 請求項に記載の情報処理システムであって、
    前記模擬移動画像は、右眼用画像と左眼用画像とから構成されており、
    前記画像表示装置は、
    前記右眼用画像を前記被験者の右眼に視認させる右眼用表示実行部と、
    前記右眼用表示実行部とは独立して設けられ、前記左眼用画像を前記被験者の左眼に視認させる左眼用表示実行部と、
    を含むヘッドマウントディスプレイである、情報処理システム。
  9. 被験者が移動する際のリスクを評価する情報処理方法であって、
    前記被験者の頭部の動きを特定する頭部情報を取得する工程と、
    予め設定されたコースを移動する人間の視界を模擬的に表す動画像である模擬移動画像であって、目標物を含むシーンを含み、前記頭部情報により特定された前記被験者の頭部の動きに応じて変化する前記模擬移動画像を画像表示装置に表示させる工程と、
    前記模擬移動画像の表示中に、前記模擬移動画像上における前記被験者の視点の位置を特定する視点情報を取得する工程と、
    前記模擬移動画像中の前記目標物を含むシーンが表示されたタイミングにおける、前記視点情報により特定される前記被験者の視点の位置と、前記目標物の位置との一致度合いに基づき、前記リスクを評価し、前記リスクの評価の結果を示す評価情報を出力するリスク評価工程と、
    前記被験者の視野を特定する視野情報を取得する工程と、
    を備え
    前記リスク評価工程は、前記視野情報により特定される前記模擬移動画像上の前記被験者の視野内における前記一致度合いに基づき、前記リスクを評価する工程である、情報処理方法。
  10. 被験者が移動する際のリスクを評価するためのコンピュータプログラムであって、
    コンピュータに、
    前記被験者の頭部の動きを特定する頭部情報を取得する処理と、
    予め設定されたコースを移動する人間の視界を模擬的に表す動画像である模擬移動画像であって、目標物を含むシーンを含み、前記頭部情報により特定された前記被験者の頭部の動きに応じて変化する前記模擬移動画像を画像表示装置に表示させる処理と、
    前記模擬移動画像の表示中に、前記模擬移動画像上における前記被験者の視点の位置を特定する視点情報を取得する処理と、
    前記模擬移動画像中の前記目標物を含むシーンが表示されたタイミングにおける、前記視点情報により特定される前記被験者の視点の位置と、前記目標物の位置との一致度合いに基づき、前記リスクを評価し、前記リスクの評価の結果を示す評価情報を出力するリスク評価処理と、
    前記被験者の視野を特定する視野情報を取得する処理と、
    を実行させ
    前記リスク評価処理は、前記視野情報により特定される前記模擬移動画像上の前記被験者の視野内における前記一致度合いに基づき、前記リスクを評価する処理である、コンピュータプログラム。
JP2018148260A 2018-08-07 2018-08-07 情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム Active JP7261370B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018148260A JP7261370B2 (ja) 2018-08-07 2018-08-07 情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム
US17/266,463 US20210295731A1 (en) 2018-08-07 2019-08-05 Information processing apparatus, information processing system, information processing method, and computer program
PCT/JP2019/030696 WO2020031949A1 (ja) 2018-08-07 2019-08-05 情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018148260A JP7261370B2 (ja) 2018-08-07 2018-08-07 情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2020024278A JP2020024278A (ja) 2020-02-13
JP7261370B2 true JP7261370B2 (ja) 2023-04-20

Family

ID=69415536

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018148260A Active JP7261370B2 (ja) 2018-08-07 2018-08-07 情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム

Country Status (3)

Country Link
US (1) US20210295731A1 (ja)
JP (1) JP7261370B2 (ja)
WO (1) WO2020031949A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI735362B (zh) * 2020-10-27 2021-08-01 國立臺灣大學 訓練人員判斷道路設施性能的虛擬實境設備及其方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117046A (ja) 1999-10-22 2001-04-27 Shimadzu Corp 視線検出機能付ヘッドマウントディスプレイシステム
JP2001236010A (ja) 2000-02-25 2001-08-31 Kawasaki Heavy Ind Ltd 4輪車運転シミュレータ
JP2008139553A (ja) 2006-12-01 2008-06-19 National Agency For Automotive Safety & Victim's Aid 運転適性診断方法、運転適性診断の評価基準決定方法、運転適性診断プログラム
US20110123961A1 (en) 2009-11-25 2011-05-26 Staplin Loren J Dynamic object-based assessment and training of expert visual search and scanning skills for operating motor vehicles
JP2015045826A (ja) 2013-08-29 2015-03-12 スズキ株式会社 電動車いす運転者教育装置
JP2016080752A (ja) 2014-10-10 2016-05-16 学校法人早稲田大学 医療行為訓練適切度評価装置
US20160293049A1 (en) 2015-04-01 2016-10-06 Hotpaths, Inc. Driving training and assessment system and method
JP2017083664A (ja) 2015-10-28 2017-05-18 一般財団法人電力中央研究所 危険予知の訓練装置及び訓練プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6200139B1 (en) * 1999-02-26 2001-03-13 Intel Corporation Operator training system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001117046A (ja) 1999-10-22 2001-04-27 Shimadzu Corp 視線検出機能付ヘッドマウントディスプレイシステム
JP2001236010A (ja) 2000-02-25 2001-08-31 Kawasaki Heavy Ind Ltd 4輪車運転シミュレータ
JP2008139553A (ja) 2006-12-01 2008-06-19 National Agency For Automotive Safety & Victim's Aid 運転適性診断方法、運転適性診断の評価基準決定方法、運転適性診断プログラム
US20110123961A1 (en) 2009-11-25 2011-05-26 Staplin Loren J Dynamic object-based assessment and training of expert visual search and scanning skills for operating motor vehicles
JP2015045826A (ja) 2013-08-29 2015-03-12 スズキ株式会社 電動車いす運転者教育装置
JP2016080752A (ja) 2014-10-10 2016-05-16 学校法人早稲田大学 医療行為訓練適切度評価装置
US20160293049A1 (en) 2015-04-01 2016-10-06 Hotpaths, Inc. Driving training and assessment system and method
JP2017083664A (ja) 2015-10-28 2017-05-18 一般財団法人電力中央研究所 危険予知の訓練装置及び訓練プログラム

Also Published As

Publication number Publication date
JP2020024278A (ja) 2020-02-13
WO2020031949A1 (ja) 2020-02-13
US20210295731A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
Tran et al. A left-turn driving aid using projected oncoming vehicle paths with augmented reality
US20170344110A1 (en) Line-of-sight detector and line-of-sight detection method
JP2008502992A (ja) イメージの情報を与える交信方法
CN106471419A (zh) 管理信息显示
JP2002538498A (ja) 乗物運転者トレーニングシステム及び乗物運転者評価方法、並びに装置
KR20160108017A (ko) 가상 여행 체험 장치 및 그 방법
WO2017169273A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019043496A (ja) 自動運転調整装置、自動運転調整システム、及び自動運転調整方法
JP7276354B2 (ja) 認知能力検出装置、および、認知能力検出システム
JP7261370B2 (ja) 情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム
WO2020031647A1 (ja) 模擬運転装置及び映像制御装置
US9495871B2 (en) Display control device, display control method, non-transitory recording medium, and projection device
JP6504382B2 (ja) 表示制御装置、表示システム、表示制御方法、表示制御プログラム、および投影装置
Shi et al. A method of processing eye-tracking data to study driver’s visual perception in simulated driving scenarios
JP6199038B2 (ja) 視線分析装置
You et al. Using eye-tracking to help design HUD-based safety indicators for lane changes
KR20190088247A (ko) 뇌연결성 기반의 시지각 트레이닝 장치, 방법 및 프로그램
KR102070870B1 (ko) 증강현실 제공장치 및 방법
JP7064195B2 (ja) 模擬運転装置及び模擬運転方法
JP2017217226A (ja) 画像表示装置、および、コンピュータプログラム
WO2023054566A1 (ja) 情報処理装置、情報処理システム、情報処理方法、および、コンピュータプログラム
WO2021205430A1 (en) Generation and presentation of stimuli
JP6481596B2 (ja) 車両用ヘッドアップディスプレイの評価支援装置
Lochbihler et al. Assessing Driver Gaze Location in a Dynamic Vehicle Environment
KR102542977B1 (ko) Mr 시뮬레이션 기반 표지판 시인성을 평가하는 장치 및 그 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180824

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210803

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230320

R150 Certificate of patent or registration of utility model

Ref document number: 7261370

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150