JPWO2012160741A1 - 視覚疲労度測定装置およびその方法 - Google Patents

視覚疲労度測定装置およびその方法 Download PDF

Info

Publication number
JPWO2012160741A1
JPWO2012160741A1 JP2012545971A JP2012545971A JPWO2012160741A1 JP WO2012160741 A1 JPWO2012160741 A1 JP WO2012160741A1 JP 2012545971 A JP2012545971 A JP 2012545971A JP 2012545971 A JP2012545971 A JP 2012545971A JP WO2012160741 A1 JPWO2012160741 A1 JP WO2012160741A1
Authority
JP
Japan
Prior art keywords
unit
visual
video
eye
eye movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012545971A
Other languages
English (en)
Other versions
JP5475893B2 (ja
Inventor
加藤 弓子
弓子 加藤
井上 剛
剛 井上
小澤 順
順 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2012545971A priority Critical patent/JP5475893B2/ja
Application granted granted Critical
Publication of JP5475893B2 publication Critical patent/JP5475893B2/ja
Publication of JPWO2012160741A1 publication Critical patent/JPWO2012160741A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/08Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing binocular or stereoscopic vision, e.g. strabismus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

ゲーム等の3次元映像の視聴を中断することなく、視聴者の視覚疲労度を正確に測定することができる視覚疲労度測定装置を提供する。3次元映像を提示する映像提示部(120)と、視覚疲労度を測定する検査のための時間区間を2つ以上決定する検査区間決定部(190)と、提示された映像に対するプレーヤー(100)の左右の眼球運動を示すデータを取得する眼球運動取得部(200)と、取得された眼球運動を示すデータから、検査区間決定部(190)で決定された2つ以上の時間区間のそれぞれにおける眼球運動を示すデータを抽出する眼球運動抽出部(220)と、抽出されたデータに基づいて、2つ以上の時間区間での眼球運動を比較する眼球運動比較部(230)と、比較結果からプレーヤー(100)の視覚疲労度を判定する疲労度判定部(240)とを備える。

Description

本発明は、ゲーム等の3次元映像を視聴するプレーヤーの視覚的疲労の状態(視覚疲労度)を測定する視覚疲労度測定装置および方法に関する。
3次元映像は、映画のみでなく、家庭用の3次元表示可能なテレビやコンピュータディスプレイの普及とともにテレビコンテンツやゲームの映像として広まりつつある。3次元映像は右目に提示する画像と左目に提示する画像との間に視差を設けることで、視聴者に奥行きがあるように錯覚させる。このような3次元映像により、奥行きをより立体的に知覚でき、より現実感を伴った迫力のある映像を楽しむことができ、特にゲームにおいては、プレーヤーはより没入して楽しむことができる。しかしながら、3次元映像はこれまでの2次元の映像より、視覚性の疲労が大きいといわれている。原因のひとつとして、3次元映像で仮想的に表示される奥行き方向の位置に視線が動き、両眼の成す角度から仮想の位置までの距離が知覚されるにも関わらず、目のピント調節は、映像に焦点を合わせるために映像が提示される画面位置に合わせる動きとなり、両眼の角度とピント調節とが矛盾することがあげられている。また、映像における極端な奥行き方向の動きやシーン転換による急な奥行きの変化は激しい眼球運動を伴い、2次元の映像とは異なる疲労を招くとされている。
そのため、3次元映像の視聴においては、視聴後の極端な疲労を避けるため、特許文献1のように、視聴途中で検査用の映像を提示し、画面上を移動する注視点を視線が追いかける際の眼球運動を計測して、疲労を測定する方法が提案されている。
また、特許文献2のように、視聴内容を利用して、視聴中の映像の情報を用いて視聴者の疲労を計測する方法も提案されている。
特開平9−218375号公報 特許第4121880号公報
しかしながら、特許文献1の技術では、視聴者の視覚疲労度を測定するために、ゲーム等の3次元映像の視聴を中断しなければならないという課題がある。
また、特許文献2の技術では、年齢等による視覚の機能の個人差に適応しておらず、視聴者の疲労を正確に計測することができないという課題がある。
そこで、本発明は、このような課題を解決するためになされたものであり、ゲーム等の3次元映像の視聴を中断することなく、かつ、年齢等による視覚の機能の個人差に依存しないで、視聴者の視覚疲労度を正確に測定することができる視覚疲労度測定装置等を提供することを目的とする。
上記目的を達成するために、本発明に係る視覚疲労度測定装置の一態様は、3次元映像を視聴しているユーザの視覚疲労度を測定する視覚疲労度測定装置であって、前記3次元映像を構成する左目用映像と右目用映像とを前記ユーザに提示する映像提示部と、提示された映像に対する前記ユーザの操作を受け付ける操作入力部と、前記操作入力部が所定の操作を受け付けた場合に、記憶部から、前記映像の中の視覚対象物を特定する情報と前記視覚対象物が前記映像提示部で提示される時刻を示す情報とを含む対象物領域情報を取得し、取得した前記対象物領域情報を参照することで、前記所定の操作を受け付けた時刻に前記映像提示部で提示されていた映像の中の前記視覚対象物を前記ユーザが注視していたと判断する注視対象物特定部と、前記記憶部から、前記映像における前記視覚対象物の奥行きを示す対象物奥行き情報を取得し、取得した前記対象物奥行き情報を参照することで、前記注視対象物特定部で特定された視覚対象物の奥行きの変化に基づいて、前記視覚疲労度を測定する検査のための時間区間を2つ以上決定する検査区間決定部と、前記映像提示部で提示された映像に対する前記ユーザの左右の眼球運動を示すデータを取得する眼球運動取得部と、取得された前記眼球運動を示すデータを蓄積する眼球運動蓄積部と、前記眼球運動蓄積部に蓄積されているデータから、前記検査区間決定部で決定された2つ以上の時間区間のそれぞれにおける眼球運動を示すデータを抽出する眼球運動抽出部と、前記眼球運動抽出部で抽出されたデータに基づいて、前記2つ以上の時間区間での眼球運動を比較する眼球運動比較部と、前記眼球運動比較部での比較結果から前記ユーザの視覚疲労度を判定する疲労度判定部とを備える。
なお、本発明は、このような視覚疲労度測定装置として実現できるだけでなく、視覚疲労度測定方法として実現したり、その方法をコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なCD−ROM等の記録媒体として実現したり、半導体集積回路として実現したり、視覚疲労度測定システムとして実現したり、3次元メガネとして実現したりすることもできる。
本発明の視覚疲労度測定装置等によれば、ゲーム等の3次元映像の視聴を中断することなく、かつ、視聴者の年齢等による視覚機能の個人差に依存しないで、3次元映像の視聴による視覚疲労度を正確に測定することができる。
よって、テレビおよびゲーム等の3次元映像が普及してきた今日における本発明の実用的価値は極めて大きい。
図1は、3次元映像の視聴による視覚性の疲労と眼球運動の関係を検証する実験を説明する図である。 図2は、図1に示される実験によって得られた結果を示す図である。 図3は、本発明の実施の形態1における視覚疲労度測定装置を含むゲーム機の全体構成の一例を示すブロック図である。 図4は、図3に示される映像情報蓄積部に蓄積された映像情報の一例を示す図である。 図5は、図3に示される検査可能区間蓄積部が蓄積する検査可能区間を示す情報の一例を示す図である。 図6は、図3に示される対象物奥行き情報記憶部が記憶する対象物奥行き情報の一例を示す図である。 図7は、図3に示される対象物領域情報記憶部が記憶する対象物領域情報の一例を示す図である。 図8は、図3に示される操作履歴蓄積部が蓄積する操作履歴の一例を示す図である。 図9は、図3に示される眼球運動蓄積部が蓄積する眼球運動データの一例を示す図である。 図10は、本実施の形態における視覚疲労度測定装置の処理部をソフトウェアで実現する場合に用いられるハードウェア構成を示すブロック図である。 図11は、図3に示される注視対象物特定部の詳細な構成の一例を示すブロック図である。 図12は、図3に示される検査区間決定部の詳細な構成の一例を示すブロック図である。 図13は、図3に示される眼球運動取得部の詳細な構成の一例を示すブロック図である。 図14は、図3に示される眼球運動抽出部の詳細な構成の一例を示すブロック図である。 図15は、図3に示される眼球運動比較部の詳細な構成の一例を示すブロック図である。 図16は、図15に示された右目データ蓄積部と左目データ蓄積部とに蓄積されるデータの例を示す図である。 図17は、映像とプレーヤーの操作とプレーヤーの眼球運動の計測結果との時間的関係を示した模式図である。 図18は、本発明の実施の形態1における視覚疲労度測定装置を含むゲーム機の動作の一例を示すフローチャートである。 図19は、本発明の実施の形態1における対象物特定ステップ(図18のステップS1070)の詳細な処理の流れの一例を示すフローチャートである。 図20は、本発明の実施の形態1における対象物特定ステップの出力映像と操作入力との関係の一例を示す模式図である。 図21は、本発明の実施の形態1における比較可能区間抽出ステップ(図18のステップS1090)の詳細な処理の流れの一例を示すフローチャートである。 図22は、仮想位置を説明する図である。 図23は、本発明の実施の形態1における眼球運動比較ステップ(図18のステップS1110)の詳細な処理の流れの一例を示すフローチャートである。 図24は、本発明の実施の形態1における疲労度の判定方法の一例を説明するための図である。 図25は、図3に示される眼球運動取得部の詳細な構成の別の一例を示すブロック図である。 図26は、図3に示される眼球運動取得部の詳細な構成の別の一例を示すブロック図である。 図27は、眼球運動取得部で取得される水平方向の眼電位の一例を示したグラフである。 図28は、本発明の実施の形態1における視覚疲労度測定装置を含むゲーム機の別の構成の一例を示すブロック図である。 図29は、本発明の実施の形態1における視覚疲労度測定装置を含むゲーム機の別の構成の一例を示すブロック図である。 図30は、本発明の実施の形態1の変形例1における対象物特定ステップの出力映像と操作入力との関係の一例を示す模式図である。 図31は、本発明の実施の形態1の変形例1における視覚疲労度測定装置を含むゲーム機の動作の一例を示すフローチャートである。 図32は、本発明の実施の形態1の変形例1における対象物特定ステップ(図31のステップS2070)の詳細な処理の流れの一例を示すフローチャートである。 図33は、本発明の実施の形態1の変形例1における検査可能区間の情報の一例を示す図である。 図34は、本発明の実施の形態1の変形例1における比較可能区間抽出ステップ(図31のステップS2090)の詳細な処理の流れの一例を示すフローチャートである。 図35は、本発明の実施の形態1の変形例1における眼球運動比較ステップ(図31のステップS2110)の詳細な処理の流れの一例を示すフローチャートである。 図36は、本発明の実施の形態1の変形例1における疲労度の判定方法の一例を説明するための図である。 図37は、本発明の実施の形態1の変形例2における視覚疲労度測定装置を含むゲーム機の詳細な構成(実施の形態1と相違する箇所)の一例を示すブロック図である。 図38は、本発明の実施の形態1の変形例2における眼球運動比較ステップ(ステップS3110)の詳細な処理の流れの一例を示すフローチャートである。 図39は、図37に示される左右差データ蓄積部に蓄積された左右差データの一例を示す図である。 図40は、本発明の実施の形態1の変形例2における疲労度の判定方法の一例を説明するための図である。 図41は、本発明の実施の形態2における視覚疲労度測定装置を含むゲーム機の全体構成の一例を示すブロック図である。 図42は、図41に示される検査区間決定部の詳細な構成の一例を示すブロック図である。 図43は、図41に示される対象映像情報生成部の詳細な構成の一例を示すブロック図である。 図44は、本発明の実施の形態2における視覚疲労度測定装置を含むゲーム機の動作の一例を示すフローチャートである。 図45は、本発明の実施の形態2における検査用映像生成ステップ(図44のステップS5020)の詳細な処理の流れの一例を示すフローチャートである。 図46Aは、本発明の実施の形態3における視覚疲労度測定装置の全体構成の一例を示すブロック図である。 図46Bは、視覚疲労度測定装置を構成する3次元映像ゲーム機と3Dメガネとの間の通信手順を示す図である。 図47は、図46Aおよび図46Bにおける通信1のデータフォーマットを示す図である。 図48は、図46Aおよび図46Bにおける通信2のデータフォーマットを示す図である。 図49は、本発明の実施の形態3の変形例における視覚疲労度測定装置の全体構成の一例を示すブロック図である。 図50は、図49における通信12および通信14のデータフォーマットを示す図である。 図51は、本発明の実施の形態3における視覚疲労度測定装置の一部の構成要素を実現するコンピュータシステムの構成図である。
(背景技術における課題の詳細)
本発明者は、「背景技術」の欄において記載した特許文献1および特許文献2の技術に関し、以下の問題が生じることを見出した。
特許文献1では、3次元映像の視聴においては、視聴後の極端な疲労を避けるため、視聴途中で検査用の映像を提示し、画面上を移動する注視点を視線が追いかける際の眼球運動を計測して、疲労を測定する方法が提案されている。しかしながら、このように視聴途中で視聴内容と関係の無い検査用映像を見て検査を行うことは、映像視聴やゲームの楽しみを損なう。また、映像視聴やゲームを中断する不便のために、視聴者が検査モードを回避してしまい、視聴による疲労を検査する機会を失うことになる可能性がある。
そこで、特許文献2のように、視聴内容を利用して、視聴中の映像の情報を用いて視聴者の疲労を計測する方法が提案されている。特許文献2では、視聴内容である3次元映像が提示する視覚対象物の仮想位置から、その仮想位置を見るための眼球の位置や水晶体調節の状態を計算し、視聴者の目が映像を見るための眼球の状態とどの程度ずれているかによって疲労の度合いを計測する方法が提案されている。
しかしながら、一般に、水晶体の調節は、3次元映像視聴時には眼球の輻輳角との乖離があるとされている。水晶体は視覚対象物の仮想位置には調節されず、ピントを合わせるために、むしろ実際に映像が提示されている表示画面位置に調節されているといわれている。さらに、水晶体の調節能力は、年齢により大きく異なり、調節能力が衰えた高齢者では、疲労による調節の変化は抽出することが困難である。また、立体視の能力や立体視可能な範囲は個人差が大きいことが知られている。
そのため、特許文献2のように視線から求めた注視点と映像の仮想位置とのずれに基づいて疲労を判断すると、立体視可能な範囲が狭い人については、疲労していなくても疲労と判断されてしまう可能性がある。よって、特許文献2の技術では、年齢等による視覚の機能の個人差に適応しておらず、視聴者の疲労を正確に計測することができないという課題を有している。
(課題を解決するための態様)
そこで、本発明者らは、ゲーム等の3次元映像の視聴を中断することなく、かつ、年齢等による視覚の機能の個人差に依存しないで、視聴者の視覚疲労度を正確に測定することができる視覚疲労度測定装置等を考案した。
つまり、本発明に係る視覚疲労度測定装置の一態様は、3次元映像を視聴しているユーザの視覚疲労度を測定する視覚疲労度測定装置であって、前記3次元映像を構成する左目用映像と右目用映像とを前記ユーザに提示する映像提示部と、提示された映像に対する前記ユーザの操作を受け付ける操作入力部と、前記操作入力部が所定の操作を受け付けた場合に、記憶部から、前記映像の中の視覚対象物を特定する情報と前記視覚対象物が前記映像提示部で提示される時刻を示す情報とを含む対象物領域情報を取得し、取得した前記対象物領域情報を参照することで、前記所定の操作を受け付けた時刻に前記映像提示部で提示されていた映像の中の前記視覚対象物を前記ユーザが注視していたと判断する注視対象物特定部と、前記記憶部から、前記映像における前記視覚対象物の奥行きを示す対象物奥行き情報を取得し、取得した前記対象物奥行き情報を参照することで、前記注視対象物特定部で特定された視覚対象物の奥行きの変化に基づいて、前記視覚疲労度を測定する検査のための時間区間を2つ以上決定する検査区間決定部と、前記映像提示部で提示された映像に対する前記ユーザの左右の眼球運動を示すデータを取得する眼球運動取得部と、取得された前記眼球運動を示すデータを蓄積する眼球運動蓄積部と、前記眼球運動蓄積部に蓄積されているデータから、前記検査区間決定部で決定された2つ以上の時間区間のそれぞれにおける眼球運動を示すデータを抽出する眼球運動抽出部と、前記眼球運動抽出部で抽出されたデータに基づいて、前記2つ以上の時間区間での眼球運動を比較する眼球運動比較部と、前記眼球運動比較部での比較結果から前記ユーザの視覚疲労度を判定する疲労度判定部とを備える。
これにより、3次元映像の視聴中における眼球運動に基づいて視覚疲労度が測定されるので、ゲーム等の3次元映像の視聴を中断することなく視覚疲労度が測定される。また、2つ以上の検査区間における眼球運動を比較する相対評価によって視覚疲労度が測定されるので、視聴者の年齢等による視覚機能の個人差に依存しにくい正確な視覚疲労度が測定される。
つまり、3次元映像の視聴中における眼球運動に基づいて視覚疲労度が測定されるとともに、2つ以上の検査区間における眼球運動を比較する相対評価によって視覚疲労度が測定されるので、ゲーム等の3次元映像の視聴中における立体視に伴う眼球運動の相対的変化を観察して、ユーザの疲労度合いを計測することができ、ゲーム等の3次元映像の視聴とは関係の無いキャリブレーションやゲーム等の3次元映像の視聴の中断を行うことなくユーザの疲労を正確に計測することができる。
ここで、前記注視対象物特定部は、前記操作入力部が前記所定の操作を受け付けた場合に、前記映像提示部で提示されていた複数の視覚対象物から1つを選択し、選択した1つの視覚対象物を前記ユーザが注視していたと判断してもよい。これにより、複数の視覚対象物からユーザが注視していた視覚対象物を適切に選択することができるので、3次元映像の視聴中における眼球運動の相対比較を正確に行うことができ、ゲームの内容を利用して精度よく疲労度の計測をすることができる。
なお、前記映像提示部は、前記ユーザが視覚対象物に対して照準を合わせて射撃を行うゲームを構成する左目用映像と右目用映像とを前記ユーザに提示し、前記操作入力部は、前記ユーザが射撃を行うために照準を合わせる操作を受け付け、前記注視対象物特定部は、前記操作入力部が受け付けた前記操作から、前記ユーザが注視している視覚対象物を特定するのが好ましい。これにより、ユーザが射撃を行うために照準を合わせる操作に基づいて、ユーザが注視している視覚対象物が特定されるので、より確実に、ユーザが注視している視覚対象物を利用した正確な視覚疲労度が測定される。
また、前記検査区間決定部は、前記注視対象物特定部で特定された視覚対象物の奥行きの変化のうち、同一の奥行きの変化をもつ異なる2つ以上の時間区間を、前記視覚疲労度を測定する検査のための時間区間として、決定するのが好ましい。これにより、同一の奥行きの変化をもつ異なる2つ以上の時間区間が視覚疲労度を測定する検査のための時間区間として決定されるので、映像の違いによる測定誤差の発生が回避される。
また、前記疲労度判定部は、前記2つの時間区間における眼球運動の差が大きいほど疲労度が大きいと判定するのが好ましい。これにより、2つの時間区間における眼球運動の差が大きいほど疲労度が大きいと判定されるので、同一ユーザの異なる時間における相対比較により、視覚疲労度が正確に判定される。
また、前記注視対象物特定部は、前記映像提示部によって同時に提示される複数の視覚対象物を前記ユーザが注視していたと判断し、前記検査区間決定部では、前記注視対象物特定部で特定された複数の視覚対象物のうち、奥行きの変化の量が大きい視覚対象物が提示されている時間区間を前記検査のための時間区間の一部と特定してもよい。これにより、注視対象物特定部で特定された複数の視覚対象物のうち、奥行きの変化の量が大きい視覚対象物が提示されている時間区間が検査のための時間区間の一部と特定されるので、2つの時間区間における眼球運動の差が検出され易くなり、正確に視覚疲労度が測定される。
また、前記注視対象物特定部は、前記映像提示部によって同時に提示される複数の視覚対象物を前記ユーザが注視していたと判断し、前記検査区間決定部は、前記複数の視覚対象物のうち、奥行き方向の変化の速度または変化の量が大きい視覚対象物が提示されている時間区間を前記検査のための時間区間として特定してもよい。これにより、奥行き方向の変化の速度または変化の量が大きい視覚対象物が提示されている時間区間が検査のための時間区間として特定されるので、より疲労が現れやすい状況で疲労度を計測することができ、疲労度が少ない状態から精度よく計測することができる。
また、前記眼球運動比較部は、眼球運動の成分のうち視覚対象物の奥行き方向の動きに追随する眼球運動の成分を比較してもよい。これにより、眼球運動の成分のうち視覚対象物の奥行き方向の動きに追随する眼球運動の成分が比較されるので、特に立体視による疲労を精度よく計測することができる。
また、前記眼球運動比較部は、左目の瞳孔中心の位置と右目の瞳孔中心の位置との差について、前記比較を行ってもよい。これにより、左目の瞳孔中心の位置と右目の瞳孔中心の位置との差に基づいて眼球運動が比較されるので、両目を用いた正確な視覚疲労度が測定される。
また、前記注視対象物特定部はさらに、前記ユーザが前記視覚対象物を注視していた時間区間である検査可能区間を示す情報を生成し、前記視覚疲労度測定装置は、さらに、前記注視対象物特定部で生成された検査可能区間を示す情報を蓄積する検査可能区間蓄積部と、前記検査可能区間蓄積部で蓄積されている検査可能区間を示す情報に基づき、視覚対象物を含む映像を生成する対象映像情報生成部とを備え、前記映像提示部はさらに、前記対象映像情報生成部によって生成された映像を提示してもよい。これにより、検査可能区間蓄積部で蓄積されている検査可能区間を示す情報に基づいて視覚対象物を含む映像が生成され提示されるので、ゲーム等の3次元映像の視聴中に検査用の映像を自然に挿入することができ、検査の機会を失うことで、疲労を蓄積することを防止できる。
また、前記対象映像情報生成部は、前記検査可能区間蓄積部で蓄積されている前記情報が示す検査可能区間における視覚対象物の奥行きの変化と同等の奥行きの変化を持つ視覚対象物を含む映像を生成してもよい。これにより、検査可能区間蓄積部で蓄積されている情報が示す検査可能区間における視覚対象物の奥行きの変化と同等の奥行きの変化を持つ視覚対象物を含む映像が生成されるので、立体視の条件がそろった検査用映像を生成することができ、精度の高い疲労度の計測ができる。
また、前記対象映像情報生成部は、前記検査可能区間蓄積部で蓄積されている前記情報が示す検査可能区間における視覚対象物と背景映像とのコントラストと同等のコントラストを持つ映像を生成してもよい。これにより、検査可能区間蓄積部で蓄積されている前記情報が示す検査可能区間における視覚対象物と背景映像とのコントラストと同等のコントラストを持つ映像が生成されるので、立体視の行いやすさの条件がそろった検査用映像を生成することができ、制度の高い疲労度の計測ができる。
また、前記対象映像情報生成部は、前記検査可能区間蓄積部で蓄積されている情報が示す検査可能区間における視覚対象物と隣接する背景映像中の水平面を示す線分の量と同等の水平面を示す線分を持つ背景映像を生成してもよい。これにより、検査可能区間蓄積部で蓄積されている情報が示す検査可能区間における視覚対象物と隣接する背景映像中の水平面を示す線分の量と同等の水平面を示す線分を持つ背景映像が生成されるので、立体視の行いやすさの条件がそろった検査用映像を生成することができ、制度の高い疲労度の計測ができる。
なお、本発明は、左目に提示する画像及び右目に提示する画像を含む3次元映像を視聴するための3次元メガネであって、前記ユーザの眼球運動を計測する眼球運動取得部と、前記眼球運動取得部から前記ユーザの眼球運動情報を受信し、前記ユーザの眼球運動情報を用いて、前記ユーザの視覚疲労度を判定する疲労度判定部とを備えた3次元メガネとして実現してもよい。
同様に、本発明は、3次元映像を表示する画像表示装置と、前記3次元映像を視聴するための3次元メガネとを備えた視覚疲労度測定システムであって、前記3次元メガネは、ユーザの眼球運動を計測する眼球運動取得部と、前記眼球運動取得部が計測した眼球運動情報を、前記3次元映像を表示する映像提示部を有する画像表示装置に送信する眼球運動情報送信部とを備え、前記画像表示装置は、視聴者の左目に提示する画像及び右目に提示する画像を蓄積している画像蓄積部と、前記画像蓄積部に蓄積された前記画像を表示する映像提示部と、前記3次元メガネから送信されてきた前記ユーザの眼球運動情報を用いて前記ユーザの視覚疲労度を判定する疲労度判定部と備えた視覚疲労度測定システムとして実現してもよい。
さらに、本発明は、左目に提示する画像及び右目に提示する画像を含む3次元映像を視聴するための3次元メガネであって、左目に提示する画像及び右目に提示する画像の切換に関する信号を同期受信する同期信号受信部と、前記同期信号に基づいて、右目のシャッタと左目のシャッタによる映像の遮蔽を切り替えるシャッタ制御部と、前記3次元メガネの眼球運動を計測する眼球運動取得部と、前記眼球運動取得部が計測した眼球運動情報を、前記3次元映像を表示する映像提示部を有する画像表示装置に送信する眼球運動情報送信部とを備えた3次元メガネとして実現してもよい。
以下、図面を用いて、本発明に係る視覚疲労度測定装置およびその方法の実施の形態について説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成する任意の構成要素として説明される。
(本発明者らが得た知見)
まず、本発明の実施の形態を具体的に説明する前に、本願発明者らが発見した、視覚性の疲労と立体視特有の眼球運動との関係を説明する。
本願発明者らは、視覚対象物の仮想位置の奥行きが大きく変動して、視覚性の疲労を起こした際の眼球運動を記録し、視覚性の疲労が眼球運動から計測可能であることを実験により発見した。
図1は、3次元映像の視聴による視覚性の疲労と眼球運動の関係を検証するための実験を説明する図である。この実験では、ディスプレイ904に表示された実験用の3次元映像を視聴している被験者の眼球を、映像の視聴を妨げることなく、ハーフミラー901を用いて赤外線カメラ902にて被験者の眼球画像を取得し、その画像より、瞳孔中心を求めて瞳孔中心の水平方向位置を求めた。図1は実験に用いたハーフミラー901、赤外線カメラ902、立体視用液晶シャッタ903およびディスプレイ904の配置を模式的に示したものである。被験者の目から約4cm離れた位置で、被験者の目の上方に被験者の目を撮像する赤外線カメラ902を設置し、被験者の目の正面で、赤外線カメラ902の直下に、被験者の目の画像を写すためのハーフミラー901を設置した。立体視用液晶シャッタ903は被験者の目から約7cmはなれた位置に設置した。被験者の目からディスプレイ904までの距離は90cmとした。被験者は近視以外に眼科的疾患のない成人で、実験時には必要に応じて近視用のコンタクトレンズを使用した。実験用の3次元映像は、図示された仮想位置を被験者の目から90cmすなわちディスプレイ904上と被験者の目から30cmの位置とに設定した単純な幾何学図形(図示された「+」)を3から5秒ごとに交互に表示するもので、この奥行き差の変動(つまり、60cmの奥行き変動)は通常の3D映画やゲームの映像コンテンツに比べて非常に負荷の高い条件である。
図2の(a)〜(c)は、図1に示される実験によって得られた結果の一例を示すグラフである。ここでは、40代女性被験者が実験用の3次元映像を視聴している最中の瞳孔中心の水平方向位置を示したものである。図2の(a)は被験者が視聴を開始した直後、20秒後から50秒間の疲労のない状態での瞳孔中心の位置を示し、図2の(b)は視聴開始後400秒経過し、疲労を感じ始めたころの50秒間の瞳孔中心の位置を示す。図2の(c)は視聴開始後650秒が経過し、疲労により立体視が困難な状態での50秒間の瞳孔中心の位置を示している。図2の(d)は眼球の運動方向を示すための目と鼻の位置関係を示した模式図である。向かって左側がプレーヤーの右目、向かって右側がプレーヤーの左目である。図2の(d)において、aは左目の目尻、bは左目の目頭、cは右目の目頭、dは右目の目尻を示す。図2の(a)、(b)、(c)それぞれのグラフは、実線が被験者の左目の位置で、上向きが被験者の左側すなわち左目の目じり側(図2の(d)のa側)を示し、下向きが左目の目頭側(図2の(d)のb側)を示している。点線は被験者の右目で、上向きが被験者の左側すなわち右目の目頭側(図2の(d)のc側)を示し、下向きが右目の目じり側(図2の(d)のd側)を示している。図2の(a)中の左に、輻輳時の眼球と視覚対象物の関係を模式的に示し、図2の(a)中の右に、開散時の眼球と視覚対象物の関係を模式的に示す。視覚対象物の仮想位置の奥行きが小さく、つまり、被験者に近づいて見えるときには、被験者の目は輻輳し、瞳孔中心は目頭側へ寄る。図2の(a)〜(c)のグラフでは、右目のグラフ(点線)と左目のグラフ(実線)が近づくことになる。視覚対象物の仮想位置の奥行きが大きく、つまり、被験者から遠い位置に見えるときには、被験者の目は開散し、瞳孔位置は眼球の正面に近づく。瞳孔位置が眼球正面になる場合は、左右の眼球の視線は交わることなく平行に無限遠を見ている状態となる。図2の(a)より、視聴開始直後の疲労がない間では視覚対象物が一定の奥行きへ移動するたびに、一定の位置へ眼球が正確に動いている(奥行きの移動に追随している)ことがわかる。図2の(b)より、グラフが矩形から少し崩れた形状になっていることから分かるように、視聴を続けて被験者が視覚性の疲労を感じている段階では一定の奥行きへ移動する視覚対象物に対して正確に追随できなくなることがわかる。眼球が一定の位置にとどまっていなかったり、奥行きに対応する位置まで眼球が動かなかったりする。さらに図2の(c)より、グラフが矩形から更に崩れた形状になっていることから分かるように、視覚性疲労のために奥行きの小さい、近接位置での立体視ができなくなると、奥行き30cmへの輻輳運動が見られなくなる。このように映像視聴中の眼球運動を経時的に比較することで、3次元視聴中の視聴者の視覚性の疲労度を観察することができる。
(実施の形態1)
図3は、本実施形態による視覚疲労度測定装置1の構成図である。
視覚疲労度測定装置1は、図1および図2で説明した実験結果を利用して、3次元映像を視聴しているユーザの視覚疲労度を測定する装置であり、映像情報蓄積部110、対象物奥行き情報記憶部180および対象物領域情報記憶部130から構成される記憶部10と、注視対象物特定部160と、検査可能区間蓄積部170と、検査区間決定部190と、映像提示部120と、操作入力部140と、操作履歴蓄積部150と、眼球運動取得部200と、眼球運動蓄積部210と、眼球運動抽出部220と、出力部250と、疲労度判定部240と、眼球運動比較部230とを備える。
映像情報蓄積部110は、左目用映像と右目用映像から構成される3次元映像用の映像情報を蓄積しているハードディスク等であり、ここでは、ゲームをプレーするプレーヤー(ユーザ)100に提示する3次元映像情報を蓄積している。
映像提示部120は、プレーヤー100に、映像情報蓄積部110に蓄積されている映像情報に基づいて3次元映像(左目用映像および右目用映像)を提示するディスプレイ装置等である。
対象物領域情報記憶部130は、映像情報蓄積部110に蓄積されている映像情報が示す3次元映像の中の視覚対象物を特定する情報とその視覚対象物が映像提示部120で提示される時刻を示す情報とを含む対象物領域情報を記憶しているハードディスク等であり、ここでは、映像情報蓄積部110が蓄積する映像情報に含まれる視覚対象物について、映像内での時間位置の情報と画面上の領域の情報とを記憶している。
操作入力部140は、提示された3次元映像に対するプレーヤー100の操作を受け付ける入力用コントローラ等であり、ここでは、プレーヤー100が、提示された3次元映像に対して行う操作を入力するための機器である。
操作履歴蓄積部150は、操作入力部140により取得された操作入力の履歴を示す情報(操作履歴)を蓄積しているハードディスク等である。
注視対象物特定部160は、操作入力部140が所定の操作を受け付けた場合に、対象物領域情報記憶部130に記憶されている対象物領域情報を参照することで、その所定の操作を受け付けた時刻に映像提示部120で提示されていた映像の中の視覚対象物をプレーヤー100が注視していたと判断する処理部であり、ここでは、操作履歴蓄積部150に蓄積されたプレーヤー100の一連の操作入力の情報(操作履歴)と、対象物領域情報記憶部130に記憶された視覚対象物の時間および領域の情報(対象物領域情報)とから、操作入力時にプレーヤー100が注視していた映像内の視覚対象物を特定する。そのために、この注視対象物特定部160は、プレーヤー100が視覚対象物を注視していた時間区間である検査可能区間を示す情報を生成する。
検査可能区間蓄積部170は、注視対象物特定部160で特定された映像内の視覚対象物とプレーヤー100が注視していた時間区間(検査可能区間)とを示す情報を蓄積するハードディスク等である。
対象物奥行き情報記憶部180は、映像情報蓄積部110に蓄積されている映像情報が示す3次元映像内の視覚対象物の奥行きを示す奥行き情報を記憶しているハードディスク等である。
検査区間決定部190は、対象物奥行き情報記憶部180に記憶されている対象物奥行き情報を参照することで、注視対象物特定部160で特定された視覚対象物の奥行きの変化に基づいて、視覚疲労度を測定する検査のための時間区間(検査区間)を2つ以上決定する処理部であり、ここでは、検査可能区間蓄積部170に記憶された視覚対象物を特定する情報と対象物奥行き情報記憶部180に記憶された視覚対象物の奥行き情報とから、眼球運動による視覚性の疲労の計測に用いる眼球運動データの時間区間(検査区間)を決定する。より詳しくは、この検査区間決定部190は、注視対象物特定部160で特定された視覚対象物の奥行きの変化のうち、同一の奥行きの変化をもつ異なる2つ以上の時間区間を、検査区間として、決定する。
眼球運動取得部200は、映像提示部120で提示された映像に対するプレーヤー100の左右の眼球の運動(眼球運動)を示すデータを取得する処理部であり、ここでは、プレーヤー100のゲームプレー中における眼球運動を取得する。
眼球運動蓄積部210は、眼球運動取得部200で取得したプレーヤー100の眼球運動を示すデータ(眼球運動データ)を蓄積するハードディスク等である。
眼球運動抽出部220は、眼球運動蓄積部210に蓄積されているデータから、検査区間決定部190で決定された2つ以上の時間区間のそれぞれにおける眼球運動を示すデータを抽出する処理部であり、ここでは、検査区間決定部190から出力された視覚性疲労の計測に用いる眼球運動データの時間区間に基づき眼球運動蓄積部210から当該区間の眼球運動を示すデータを抽出する。
眼球運動比較部230は、眼球運動抽出部220で抽出されたデータに基づいて、2つ以上の時間区間での眼球運動を比較する処理部であり、ここでは、眼球運動抽出部220で抽出した複数区間の眼球運動を比較する。
疲労度判定部240は、眼球運動比較部230での比較結果からプレーヤー100の視覚疲労度を判定する処理部であり、ここでは、眼球運動比較部230から出力された、複数区間の眼球運動を比較した結果に基づいて、現在のプレーヤー100の視覚性疲労を判定する。より詳しくは、この疲労度判定部240は、2つの検査区間における眼球運動の差が大きいほど疲労度が大きいと判定する。
出力部250は、疲労度判定部240で判定された視覚疲労度を出力するディスプレイ装置または音声出力装置等であり、ここでは、疲労度判定部240で判定されたプレーヤー100の視覚性疲労の状態をプレーヤー100に出力する。
なお、映像情報蓄積部110、対象物領域情報記憶部130、操作履歴蓄積部150、検査可能区間蓄積部170、対象物奥行き情報記憶部180、眼球運動蓄積部210は、1つ以上のメモリ等の記憶媒体(例えば、上述したハードディスク等の不揮発性記憶装置)で実現される。また、出力部250は、例えば、ランプ等によるインジケータや警告音を出力するスピーカ等や、映像提示部120に提示する警告メッセージを生成する信号生成部である。
また、図3において点線枠で示された構成要素(映像情報蓄積部110、対象物領域情報記憶部130、対象物奥行き情報記憶部180、操作履歴蓄積部150、検査可能区間蓄積部170、出力部250)は、本発明の目的を達成する観点からは、必ずしも視覚疲労度測定装置1が備える必要はない。映像情報蓄積部110、対象物領域情報記憶部130、対象物奥行き情報記憶部180については、視覚疲労度測定装置1が電話回線やインターネット等を介して外部から映像情報、対象物領域情報、および、対象物奥行き情報を取得することができればよいので、必ずしも必要な構成要素ではない。同様に、操作履歴蓄積部150については、注視対象物特定部160が操作入力部140からの出力を受け取り、視覚対象物をプレーヤー100が注視しているか否かをリアルタイムに判断していくことでプレーヤー100の注視を判断できるので、操作履歴蓄積部150は必ずしも必要な構成要素ではない。同様に、検査可能区間蓄積部170については、検査区間決定部190が注視対象物特定部160からの出力を受け取り、検査区間として採用できるか否かをリアルタイムに判断していくことで検査区間が決定されるので、検査可能区間蓄積部170は必ずしも必要な構成要素ではない。同様に、出力部250については、疲労度判定部240によってプレーヤー100の疲労度が正確に判定され、本願発明の目的が達成されるので、出力部250は必ずしも必要な構成要素ではない。以上のことは、後述する実施の形態および変形例(図41、図43、図46A、図49)についても同様である。
図4は映像情報蓄積部110に蓄積された映像情報110aの例を示す図である。映像情報蓄積部110は、本図に示されるように、映像情報110aとして、例えば、映像の開始時間を起点とした時間情報と、その時間に対応する画像情報と、その画像が左右どちらの目に提示されるべき画像であるかを示す情報とを蓄積する。
図5は、検査可能区間蓄積部170が蓄積するデータ170a、つまり、検査可能区間を示す情報の一例を示す図である。本図に示されるように、このデータ170aには、例えば、視覚対象物を特定する対象物IDと、プレーヤー100が照準を合わせていた、すなわち、その対象物を注視していた時間区間と、プレーヤー100が照準を合わせていた区間の照準位置の軌道とが含まれている。
図6は対象物奥行き情報記憶部180が記憶する対象物奥行き情報180aの一例を示す図である。本図に示されるように、この対象物奥行き情報180aには、例えば、ある時間に画面に表示されていた対象物IDと対象物の3次元での仮想位置とが含まれている。
図7は、対象物領域情報記憶部130が記憶する対象物領域情報130aの一例を示す図である。本図に示されるように、この対象物領域情報130aには、例えば、映像の開始時間を起点とした時間情報と、その時間の画像に含まれる対象物のIDと、右目用画面におけるその対象物の中心座標と、左目用画面におけるその対象物の中心座標と、右目用画面におけるその対象物の境界線の座標列と、左目用画面におけるその対象物の境界線の座標列とが含まれている。
図8は、操作履歴蓄積部150が蓄積するデータ(操作履歴150a)の一例を示す図である。本図に示されるように、この操作履歴150aには、例えば、映像の開始時間を起点とした時間情報と、その時間のプレーヤー100の操作内容と、その時間の照準位置等の操作対象の画面上の位置とが含まれている。
図9は、眼球運動蓄積部210が蓄積するデータ(眼球運動データ210a)の一例を示す図である。本図に示されるように、この眼球運動データ210aには、例えば、映像の開始時間を起点とした時間情報と、左右の眼球の瞳孔中心の座標とが含まれている。
注視対象物特定部160、検査区間決定部190、眼球運動抽出部220、眼球運動比較部230、疲労度判定部240等の処理部は1つ以上のCPUと1つ以上のメモリとによって実現されてもよい。つまり、これらの処理部は、専用の電子回路(半導体集積回路)等のハードウェアで実現されてもよいし、CPUによって実行されるプログラム等のソフトウェアで実現されてもよい。
図10は、本実施の形態における視覚疲労度測定装置1の処理部をソフトウェアで実現する場合に用いられるハードウェア構成を示すブロック図である。本実施の形態における視覚疲労度測定装置1の処理部をソフトウェアで実現する場合には、図10に示されるように、キーボード、マウス等の入力部11、ハードディスク等の記憶部12と、ディスプレイ装置等の出力部13、CPU14、ROM15、RAM16、および、外部機器との間で信号の入出力をする入出力I/F17で構成されるコンピュータ20と、図1、後述する図13、または、図25に示されるような眼球運動取得機能を有する3Dメガネ18とによって本実施の形態における視覚疲労度測定装置1を実現することができる。つまり、図3における操作入力部140は主にコンピュータ20が備える入力部11で実現され、図3における映像提示部120および出力部250は主にコンピュータ20が備える出力部13で実現され、図3における操作入力部140は主に3Dメガネ18およびコンピュータ20が備える入出力I/F17で実現され、図3における記憶部10は主にコンピュータ20が備える記憶部12で実現され、他の処理部(注視対象物特定部160、検査区間決定部190、眼球運動抽出部220、眼球運動比較部230、疲労度判定部240)は、コンピュータ20が備えるROM15または記憶部12に格納されたプログラムに従ってRAM16を一時的な記憶エリアとして利用しながらCPU14が実行することによって実現される。
図11は、本実施の形態による注視対象物特定部160の詳細な構成を示す。
本実施の形態ではゲームの一例として射撃のシーンを含むゲームを例に視覚疲労度測定装置1を説明する。注視対象物特定部160は、図11に示されるように、操作履歴蓄積部150に蓄積された一連の操作入力(操作履歴150a)より射撃情報を取得する射撃情報取得部161と、射撃情報取得部161で取得された射撃情報のうち、射撃の時間区間情報を取得する時間区間情報取得部162と、時間区間情報取得部162から出力される時間区間にしたがって対象物領域情報記憶部130から視覚対象物の領域情報(対象物領域情報130a)を抽出する領域情報取得部163と、射撃情報取得部161で取得された射撃情報からプレーヤー100が射撃操作を行った際の照準位置を示す情報を生成する照準位置生成部164と、照準位置生成部164から出力された照準位置を示す情報と領域情報取得部163により抽出された視覚対象物の領域情報とからプレーヤー100が照準を定めた視覚対象物を特定する対象物特定部165と、対象物特定部165が特定した視覚対象物とその視覚対象物にプレーヤー100が照準を合わせていた時間区間を検査可能区間として決定する検査可能区間決定部166とから成る。検査可能区間決定部166は、検査可能区間蓄積部170に、検査可能区間に対応する時間区間と、プレーヤー100が照準を合わせていた対象物の対象物ID、照準位置軌道を示す情報を、検査可能区間を示すデータ170aとして、出力する。
図12は、図3に示される検査区間決定部190の詳細な構成を示す。
検査区間決定部190は、検査可能区間蓄積部170に記憶されたデータ170aが示す検査可能区間のうち最新の検査可能区間におけるプレーヤー100が注視していた視覚対象物を特定する情報(ID)と、注視していた時間区間を示す情報とを取得するID・時間区間取得部191と、ID・時間区間取得部191が取得した視覚対象物のIDとその時間区間を示す情報に従って、対象物奥行き情報記憶部180からプレーヤー100が注視していた視覚対象物の3次元での仮想位置の軌道を示す情報(対象物奥行き情報180a)を取得する3次元軌道取得部192と、3次元軌道取得部192で取得された情報が示す最新の検査可能区間の視覚対象物の軌道と同一の軌道を持つ検査可能な視覚対象物を特定する情報を対象物奥行き情報記憶部180と検査可能区間蓄積部170とから抽出する同一軌道検索部193と、同一軌道検索部193で抽出された情報が示す同一の軌道を持つ検査可能な複数個の区間のうち眼球運動の比較に用いる区間(比較区間)を、検査区間として、決定する比較区間決定部194とからなる。
図13は、図3に示される眼球運動取得部200の詳細な構成を示す。
眼球運動取得部200は、プレーヤー100の左右の眼球の画像を取得するカメラ201と、カメラ201で取得した画像を蓄積する画像蓄積部202と、画像蓄積部202に蓄積された眼球の画像を処理して左右眼球の瞳孔中心位置を計算する画像処理部203とから成る。なお、この図13には一方の目のみを模式的に示したが、カメラ201は左右おのおのの目に1つずつ設置し、右目画像と左目画像とを記録するものとしてもよいし、単一のカメラで左右両眼の画像を記録し、おのおのの眼球画像を画像処理部203で分割して処理するものとしても良い。カメラ201は立体視用のシャッタめがねのフレームに設置されていてもよいし、表示画面のフレーム等に設置されていても良い。
図14は、図3に示される眼球運動抽出部220の詳細な構成を示す。
眼球運動抽出部220は、検査区間決定部190から出力される複数の検査用の時間区間(検査区間)の情報を取得する時間区間取得部221と、眼球運動蓄積部210に蓄積された眼球運動データ210aから時間区間取得部221で取得した時間区間の情報に基づいて眼球運動データを抽出するデータ抽出部222とから成る。
図15は、図3に示される眼球運動比較部230の詳細な構成を示す。
眼球運動比較部230は、眼球運動抽出部220で取得された検査のための時間区間に対応する眼球運動データを取得して、左右の眼球情報に分割するデータ分割部231と、データ分割部231での分割によって得られた右目の眼球運動データを蓄積する右目データ蓄積部232と、データ分割部231での分割によって得られた左目の眼球運動データを蓄積する左目データ蓄積部233と、右目データ蓄積部232に蓄積された眼球運動データに基づいて眼球運動を検査区間同士で比較する右目データ比較部234と左目データ蓄積部233に蓄積された眼球運動データに基づいて眼球運動を検査区間同士で比較する左目データ比較部235とから成る。
図16は、図15に示された右目データ蓄積部232と左目データ蓄積部233とに蓄積されるデータの例を示す図である。図16の(a)は、眼球運動抽出部220(より詳しくは、データ抽出部222)で抽出された眼球運動データの一例を示し、ここでは、検査のための時間区間に基づいて眼球運動蓄積部210から抽出した、時間区間開始から終了までの、ゲーム開始からの経過時間と各時間に対応する両目の瞳孔中心座標を示している。データ分割部231は、このような眼球運動データを、左右のそれぞれの目のデータに分割する。右目データ蓄積部232は経過時間と右目のデータのみ、左目データ蓄積部233は経過時間と左目データのみに、それぞれ、分割して蓄積する。瞳孔中心の座標は眼球運動蓄積部210に蓄積された眼球運動データ210aと同様にピクセル単位で表現されている。このような眼球運動データは、決定された時間区間の数だけ、右目データ蓄積部232および左目データ蓄積部233に蓄積される。
図17は、映像(プレーヤーに提示される3次元映像)とプレーヤー100の操作とプレーヤー100の眼球運動の計測結果との時間的関係を示した模式図である。最上段にゲーム開始時からの経過時間を示し、次に経過時間に対応する画像(図中の「映像」)を示し、その下に、経過時間に対応するプレーヤー100の操作を示す。ここでは、操作の例として、射撃における照準の移動を下向き矢印で示し、移動結果の座標を示している。さらに、操作として射撃の実行を下向き三角で示す。最下段には眼球運動を瞳孔中心の水平位置と垂直位置として示す。水平位置については図2と同様横軸を時間とし、縦軸を眼球画像の座標のうち水平軸上の位置とする。垂直位置についても水平位置と同様に横軸を時間とし、縦軸を眼球画像の座標のうち垂直軸上の位置とする。
この図17では、以下の履歴が示されている。つまり、ゲーム開始後2分で、映像Aが表示され、その際にプレーヤー100は照準を視覚対象物にあわせ、連続で射撃を行った。ゲーム開始後7分では映像Bが表示され、プレーヤー100は照準を視覚対象物のうち最も奥行きの小さい視覚対象物にあわせ、何度か照準の合わせなおしをして射撃を行った。ゲーム開始後35分が経過した時点で、映像Bが再度提示され、プレーヤー100は再度、照準を視覚対象物のうち最も奥行きの小さい視覚対象物に合わせて射撃を行った。なお、映像Bにおける視覚対象物の軌跡は、経過時間7分のときも、経過時間35分のときも同じである。この視覚疲労度測定装置1は、同じ軌跡をたどる視覚対象物に照準を合わせて連射、すなわち注視する際の眼球の運動を抽出して、ゲーム開始後7分での眼球運動とゲーム開始後35分での眼球運動とを比較する。視覚対象物の軌跡が同じであり、かつ、視覚対象物への注視が照準と射撃との操作より確認できることで、眼球運動を比較することができる。眼球運動はゲーム開始直後より常に蓄積されており、任意の経過時間における眼球運動を比較することができる。図17の例では、さらに、経過時間50分で映像Aが再度提示されており、プレーヤー100は視覚対象物に照準を合わせて連射している。これにより、経過時間2分での眼球運動と経過時間50分での眼球運動を比較することができる。図17の例における「眼球運動」から分かるように、映像Bの視覚対象を注視した経過時間7分での眼球運動と、経過時間35分での眼球運動とを比較すると、経過時間35分での水平眼球運動が小さく、視覚対象物の奥行き方向の軌道に追随しきれなくなってきている。また、映像Aを注視している経過時間2分での眼球運動と経過時間50分での眼球運動を比較すると、経過時間50分では、水平眼球運動は不安定な動きを示し、視覚対象物の奥行き方向の軌道に対して追随が不可能になっている。このように、ゲーム開始直後の眼球運動と、ゲーム開始から時間が経過してからの眼球運動を比較することで、プレーヤー100の疲労を検出することができる。
図18は、本実施の形態による視覚疲労度測定装置1の処理手順を示すフローチャートである。図19、図21、図23は視覚疲労度測定装置1の処理手順の一部を詳細に示したものである。以下、処理手順を図18から図21に従って説明する。
まず、プレーヤー100が、図示しない入力部よりゲーム開始を指示する入力を行い、ゲームを開始する(S1010)。ゲームの開始に伴い、眼球運動取得部200は両目の眼球運動の計測を開始し、計測結果を、眼球運動データ210aとして、眼球運動蓄積部210に蓄積する(S1020)。
眼球運動取得部200は、図示しない入力部よりゲーム終了を指示する入力の有無を確認する(S1030)。ステップS1030において、ゲーム終了を指示する入力がある場合には(S1030でyes)、ステップS1150へ進み、眼球運動取得部200は眼球運動の記録を終了する(S1150)。そして、眼球運動記録の終了後にゲームを終了する(S1160)。
一方、ステップS1030において、ゲーム終了を指示する入力がない場合は(S1030でno)、ステップS1040へ進む。S1040では映像情報蓄積部110に蓄積された映像情報110aに基づく映像を映像提示部120よりプレーヤー100に提示する(S1040)。ステップS1040で提示した映像に対して、操作入力部140は、プレーヤー100が操作をしたか否かを確認する(S1050)。ステップS1050において、プレーヤー100の操作がない場合は(S1050でno)、ステップS1030へ戻る。一方、ステップS1050においてプレーヤー100の操作がある場合は(S1050でyes)、操作入力部140は、ステップS1050で入力された一連の操作(操作履歴150a)を操作履歴蓄積部150に保存する(S1060)。操作履歴150aとしては、図8に示されるように、操作の種類と操作の状態と操作の時間情報を含む。例えば、操作の種類として「射撃」、操作の状態として「照準位置」、時間情報として「ゲーム開始からの経過時間」である。本実施の形態では射撃シーンを含むゲームを例に説明している。ここでは、一連の操作の例として、連射の操作を例に説明する。連射は射撃操作が連続する状態を指し、射撃操作と次の射撃操作との間が例えば500ms未満の場合を連射とする。注視対象物特定部160は連射した際に提示されていた映像中の視覚対象物の表示領域と、ステップS1060で操作履歴蓄積部150に蓄積された連射の操作(操作履歴150a)の照準の情報から、視覚対象物の特定を行う。すなわち、プレーヤー100が1つの視覚対象物に対して一定時間以上、例えば2秒以上、照準を合わせ続けている、ということは、注視し続けていることを意味する。そして、注視対象物特定部160では、プレーヤー100が一定時間以上注視し続けている対象物を特定できるか否かが判断される(S1070)。
ステップS1070において、プレーヤー100が一定時間以上注視し続けている対象物が特定できる場合(S1070でyes)、検査可能区間蓄積部170は、プレーヤー100が注視し続けた視覚対象物を特定するIDとその視覚対象物を注視していた時間区間を示す情報とを、検査可能区間を示すデータ170aとして、記憶する(S1080)。一方、ステップS1070において、プレーヤー100が一定時間以上注視し続けている対象物が特定できない場合は(S1070でno)、ステップS1030へ戻る。
続いて、検査区間決定部190は、ステップS1080で検査可能区間蓄積部170に蓄積されているデータ170aにおける直近のプレーヤー100が注視し続けた視覚対象物の仮想位置の軌道(対象物奥行き情報180a)を対象物奥行き情報記憶部180より抽出し、抽出した直近の検査可能区間での軌道と同一の軌道を持つ視覚対象物をプレーヤー100が注視していた時間区間を検査可能区間蓄積部170より検索する。本実施の形態ではゲーム開始時には疲労はなかったものとして、ゲーム開始から一定時間以内の時間区間の眼球運動と直近の眼球運動を比較することで、疲労を検出する。そこで、検査区間決定部190は、直近の検査可能区間での軌道と同一の軌道を持つ視覚対象物をプレーヤー100が注視していた時間区間を検査可能区間蓄積部より検索する際に、例えばゲーム開始後20分間で蓄積された検査可能区間より検索する。そして、検査区間決定部190では、直近の検査可能区間での軌道と同一の軌道を持つ視覚対象物をプレーヤー100が注視していた時間区間があるか否かが判断される(S1090)。
その結果、直近の検査可能区間での軌道と同一の軌道を持つ視覚対象物をプレーヤー100が注視していた時間区間がある場合(S1090でyes)、眼球運動抽出部220は直近の検査可能区間と、直近の検査可能区間での軌道と同一の軌道を持つ視覚対象物をプレーヤー100が注視していた時間区間とについて、複数の時間区間の眼球運動データを眼球運動蓄積部210から抽出する(S1100)。一方、ステップS1090で直近の検査可能区間での軌道と同一の軌道を持つ視覚対象物をプレーヤー100が注視していた時間区間がない場合は(S1090でno)、ステップS1030へ戻る。
そして、眼球運動比較部230はステップS1100で抽出した眼球運動データについて、直近の眼球運動と、ゲーム開始後20分以内での眼球運動とを比較する(S1110)。疲労度判定部240はステップS1110での直近の眼球運動と、ゲーム開始後20分以内での眼球運動との差に基づいて疲労度を判定する(S1120)。
続いて、出力部250は、ステップS1120において判定された疲労度が一定の値を超えているか否かを判定する(S1130)。例えば疲労度を、疲労無し、疲労兆候、疲労の3段階で判定した場合、疲労兆候以上である場合(S1130でyes)、出力部250は、図示しない表示画面および音声提示用ヘッドホンあるいはスピーカより、プレーヤー100に視覚性の疲労が起こっている旨を示す警告を与え(S1140)、ステップS1030へ戻る。一方、ステップS1130において疲労度が一定の値を超えていなければ(S1130でno)、ステップS1030にもどる。なお、ゲームのプレー中は、ステップS1030からS1140が繰り返される。
ここで、図19に従って、図18におけるステップS1070(プレーヤー100が注視している対象物を特定する手順)の詳細を説明する。射撃情報取得部161は、ステップS1060で操作履歴蓄積部150に蓄積された操作履歴150aから、直近の一連の射撃操作を取得する(S1071)。射撃情報取得部161は、一連の射撃操作が連射、すなわち、複数回の射撃操作の時間間隔がいずれも500ms未満である区間を含むか否かを判定する(S1072)。ステップS1072で取得した操作中に連射区間がなかった場合は(S1072でno)、図18のステップS1030へ戻る。ステップS1072でプレーヤー100の操作中に連射区間があった場合は(S1072でyes)、照準位置生成部164はステップS1071で取得された射撃情報から連射区間の照準情報を抽出する。さらに、照準位置生成部164は、連射区間の連続する射撃の照準位置が一定以上離れていない(照準ぶれがないかどうか)、例えば画面の横幅の1/4以上離れていないかどうかを判定する(S1073)。図20に射撃シーンの例を示す。4つの図は上から下へ時間が進むにつれて映像が変化する様子を模式的に示している。4つの図は、ステップS1072で特定された連続の射撃操作が行われている区間を示している。画面1に示した破線は、画面の幅を4等分する線分である。画面1では、プレーヤー100の照準は視覚対象物2に合わされている。画面2では、照準は視覚対象物1に合わされており、画面1から画面2の間では、照準が画面の横幅の1/4以上離れているため、画面1と画面2は連射とみなさない。なお、操作入力は例えば50msに1回とりこまれており、横幅の1/4は、照準の位置を変えたとみなす値の一例である。
画面2から画面3、画面3から画面4のそれぞれの照準は、視覚対象物1の移動に伴って移動してはいるが、画面横幅の1/4未満の移動であるため、画面2から画面4までの射撃操作を連射とみなされる。連射区間の連続する射撃の照準位置が一定以上離れていない場合は照準のブレがなく1つの視覚対象物を注視しているものとして(S1073でyes)、ステップS1074へ進む。一方、ステップS1073で連続する照準位置が一定以上離れており、複数の視覚対象物の間を注視位置が頻繁に移動していると判断された場合は(S1073でno)、図18のステップS1030へ戻る。
ステップS1074では、時間区間情報取得部162は、S1072で射撃情報取得部161が特定した連射区間に対応する時間区間を特定する(S1074)。このとき、ステップS1072で特定された射撃操作の時間間隔がいずれも500ms未満である区間の、最初の射撃操作の時間と最後の射撃操作の時間との間を連射の時間区間とする。そして、領域情報取得部163はS1074で特定された連射の時間区間にプレーヤー100に提示されていた映像中の視覚対象物とその表示画面上での領域を対象物領域情報記憶部130に記憶されている対象物領域情報130aから抽出する(S1075)。対象物領域情報記憶部130には、図7で示されるように、対象物領域情報130aとして、視覚対象物を特定するIDと、映像内での時間位置の情報と、画面上の領域の情報が含まれている。連射の時間区間で提示されていた視覚対象物が図20の画面2のように複数個ある場合は、複数の視覚対象物とその画面上の領域が抽出される。
続いて、対象物特定部165は、S1075で抽出した視覚対象物の領域のうち、連射区間として特定された時間区間の照準の画面上の位置と重なる領域を持つ視覚対象物を特定できるか否かを判定する(S1076)。このとき、対象物特定部165は、照準と1つの視覚対象物の領域が重なる場合は、その視覚対象物をプレーヤー100が射撃操作中注視していた視覚対象物として特定する。一方、照準といずれの視覚対象物の領域が重ならない場合、または照準が複数の視覚対象物の領域に重なる場合には、1つの視覚対象物を特定することができない。ステップS1076において1つの視覚対象物を特定できない場合は(S1076でno)、図18のステップS1030へ戻る。一方、ステップS1076において1つの視覚対象物を特定できた場合は(S1076でyes)、検査可能区間決定部166はステップS1076で特定された視覚対象物と連射区間のうち照準と当該の視覚対象物の画面上の領域が重なっていた時間区間を検査可能区間として決定し、検査可能区間蓄積部170に蓄積するデータ170aを生成する(S1077)。図5は検査可能区間蓄積部170が蓄積する検査可能区間を示すデータ170aの一例である。このデータ170aには、例えば、視覚対象物を特定する対象物IDと、プレーヤー100が照準を合わせていた、すなわち、その対象物を注視していた時間区間と、プレーヤー100が照準を合わせていた区間の照準位置の軌道とが含まれている。
つぎに、図21に従って、図18におけるステップS1090(比較可能区間の検索手順)の詳細を説明する。
ID・時間区間取得部191は、検査可能区間蓄積部170を参照することで、直近の検査可能区間を抽出する(S1091)。次に、3次元軌道取得部192は、ステップS1091で取得した直近の検査可能区間における視覚対象物のIDと時間区間との情報に基づいて、当該対象物の検査可能区間の3次元の仮想位置の座標を抽出する(S1092)。図6は対象物奥行き情報記憶部180が記憶する対象物奥行き情報180aの一例である。この対象物奥行き情報180aには、例えば、ある時間に画面に表示されていた対象物IDと視覚対象物の3次元での仮想位置とが含まれている。ここで、時間は、例えば、ゲーム開始からの経過時間である。また、仮想位置は、例えば、対象物の重心位置を、図22に示すような画面中心の正面900mmの距離の標準位置から見るプレーヤーの顔中心を原点として水平方向をx軸、上下方向をy軸、奥行き方向をz軸として表現される。図6に示される対象物奥行き情報180aの例では、距離単位はmmである。据え置き型のゲーム機である場合には、ディスプレイと椅子の位置を固定することにより、プレーヤーの顔中心とディスプレイの位置を固定することができる。また、ディスプレイと操作入力が一体になった持ち運び用ゲーム機や家庭のテレビに接続する方式のものや、パーソナルコンピュータの場合には、ゲーム開始時にプレーヤー100の位置について、ディスプレイからの距離を指示する表示を出すことで、プレーヤー100の眼球の動きを計測できる位置にプレーヤー100の顔面を誘導することができる。なお、複数のプレーヤー100が1つのディスプレイをみてゲームを行う場合は、操作入力部140に赤外線や無線による位置センサを付け、ディスプレイとプレーヤー100との相対位置を取得して、眼球運動の計測結果に対する補正を行うとしても良い。
x軸はプレーヤー100の右方向を正、左方向を負とし、y軸はプレーヤー100の上方向を正とする。z軸はプレーヤー100から遠ざかる方向を正とする。同一軌道検索部193は、ステップS1092で抽出された直近の検査可能区間でプレーヤー100が注視していた視覚対象物の仮想位置の軌道と同一の軌道を含む視覚対象物をプレーヤー100が注視していた検査可能区間を検索する(S1093)。より具体的には、ステップS1093では、同一軌道検索部193は、検査可能区間蓄積部170に蓄積されたデータ170aが示す各検査可能区間の対象物IDと時間区間に対応する視覚対象物の仮想位置の軌道(対象物奥行き情報180a)を対象物奥行き情報記憶部180から抽出し、直近の検査可能区間でプレーヤー100が注視していた視覚対象物の仮想位置の軌道と同一の軌道を持つ視覚対象物を、ゲーム開始から20分以内の検査可能区間から検索する。これにより、ゲーム開始直後のプレーヤー100が疲労していない状態と、直近の状態とを比較することができる。同一軌道検索部193は、ステップS1093の検索の結果、直近の検査可能区間と同一軌道の検査可能区間とがゲーム開始から20分以内の時間範囲内にあるか否かを判断する(S1094)。
その結果、ステップS1094においてゲーム開始から20分以内の同一軌道の検査可能区間がない場合(S1094でno)、図18のステップS1030に戻る。一方、ステップS1094においてゲーム開始から20分以内の同一軌道の検査可能区間がある場合は(S1094でyes)、比較区間決定部194は、検索されたゲーム開始から20分以内の同一軌道の検査可能区間と、直近の検査可能区間とを、眼球運動を比較する2つの区間として決定する。そして、比較区間決定部194は、2つの検査区間の視覚対象物の軌道が同一である区間を切り出し、おのおのの検査可能区間中で検査に用いる時間区間を決定する(S1095)。ゲーム開始から20分以内の同一軌道の検査可能区間が複数件抽出された場合は、比較区間決定部194は直近の検査可能区間の視覚対象物の軌道と、視覚対象物の軌道が同一である時間が最も長い検査可能区間を比較区間として決定する。
なお、ここでは、ステップS1093において、同一軌道検索部193は直近の検査可能区間でプレーヤー100が注視していた視覚対象物の仮想位置の軌道と同一の軌道を持つ視覚対象物を検索したが、軌道の類似度を設定して、類似度一定以上の区間を検索するとしても良い。類似度は、例えば、2つの視覚対象物の軌道の始点から終点までについて、仮想位置の差すなわち、仮想位置間の距離の総和を求め、総和の値を軌道の時間長で割った値の逆数とし、軌道が一致する場合は無限大に設定される。類似とみなす類似度は、例えば、1/50(秒/mm)以上とする。この値は画面の大きさや視聴時の画面からの距離によって調節される。あるいは、類似度は、2つの視覚対象物の軌道の始点から終点までについて、仮想位置の差すなわち、仮想位置間の距離の総和を求め、どちらか一方、例えばゲーム開始から20分以内の軌道の移動距離で割った値の逆数、すなわち、移動距離に対する仮想位置の差の総和の比としても良い。例えば、移動距離が差の総和の10倍以上である場合を類似とみなす。この値は画面の大きさや視聴時の画面からの距離によって調節される。
また、ここでは、ステップS1093において、同一軌道検索部193は直近の検査可能区間でプレーヤー100が注視していた視覚対象物の仮想位置の軌道と同一の軌道を持つ視覚対象物を検索したが、視覚対象物の奥行き方向の移動のみを抽出し、奥行き方向の移動ベクトルが同一である視覚対象物を検索するものとしても良い。
また、ここでは、ステップS1093において、同一軌道検索部193は直近の検査可能区間でプレーヤー100が注視していた視覚対象物の仮想位置の軌道と同一の軌道を持つ視覚対象物を検索したが、検査可能区間にプレーヤー100が操作した、照準位置の軌道が同一または類似している時間区間を検索するものとしても良い。照準位置は左右画面上位置として蓄積されている。そこで、類似度は、例えば、2つの照準位置の軌道の始点から終点までについて、左右画面の照準座標の差すなわち、照準位置間の距離の総和を求め、総和の値を軌道の時間長で割った値の逆数とし、軌道が一致する場合は無限大に設定される。照準位置間の距離はピクセル単位であらわされる。類似とみなす類似度は、例えば、1/30(秒/ピクセル)以上とする。この値は画面の大きさや解像度によって調節される。
また、ステップS1094において、同一軌道の検査可能区間が複数件抽出された場合は、比較区間決定部194は直近の検査可能区間の視覚対象物の軌道と、視覚対象物の軌道が同一である時間が最も長い検査可能区間を比較区間として決定するものとしたが、奥行き方向の移動量が最も大きいまたは奥行き方向の移動速度が最も大きい区間を選択するものとしても良い。
また、ステップS1094において、同一軌道の検査可能区間が複数件抽出された場合は、比較区間決定部194は直近の検査可能区間の視覚対象物の軌道と、視覚対象物の軌道が同一である時間が最も長い検査可能区間を比較区間として決定するものとしたが、視覚対象と背景との色のコントラスト比が同等である区間を選択するものとしても良い。コントラスト比は、非特許文献である“Techniques For Accessibility Evaluation And Repair Tools” W3C Working Draft, 26 April 2000の“ Technique 2.2.1 [priority 3] Test the color attributes of the following elements for visibility”に従って計算し、同等とみなす範囲は、例えば、コントラスト比の差が±5%以下である場合とする。
これにより、立体視に影響する要因をそろえて比較できる。
また、ステップS1094において、同一軌道の検査可能区間が複数件抽出された場合は、比較区間決定部194は直近の検査可能区間の視覚対象物の軌道と、視覚対象物の軌道が同一である時間が最も長い検査可能区間を比較区間として決定するものとしたが、背景画像中の水平面を示す線分の量が同等である区間を選択するものとしても良い。背景画像についてはコンピュータグラフィックスの場合、基本の構成として、多くは一点透視法(one−point perspective)、二点透視法(two−point perspective)、あるいは三点透視法(3−point perspective)を用いる。水平面を示す線分の量を比較するには、当該の背景画像を構成する透視法での投射線(trajectory lines)のうち、3点透視法の垂直方向の投射線以外の投射線に沿って描かれた線分の長さの総和を比較する。線分は例えば屋内であれば家具や建具の輪郭であり、屋外であれば建物の屋根、窓や扉の輪郭である。同等とみなす範囲は例えば、線分の総和の差がどちらか一方、例えばゲーム開始から20分以内の映像の背景画像での線分の総和の±5%以下である場合とする。
これにより、立体視に影響する要因をそろえて比較できる。
次に、図23に従って、図18におけるステップS1110(眼球運動の比較手順)の詳細を説明する。
ステップS1100で、眼球運動抽出部220において、時間区間取得部221は、ステップS1095で決定された2つの時間区間を取得し、データ抽出部222はゲーム開始直後から眼球運動蓄積部210に蓄積されている眼球運動データ210aより、時間区間取得部221が取得した時間区間に従って、眼球運動データを抽出する。
眼球運動データ210aには、図9に示すように、右目の瞳孔の中心座標と左目の瞳孔の中心座標とが、座標を決定された時間と供に蓄積されている。ここで、時間は、ゲーム開始時からの経過時間で示されており、例えば、50ミリ秒ごとに両眼の瞳孔中心の座標が測定され、蓄積されている。ステップS1100では、2つの時間区間について、ゲーム開始時からの経過時間によって示される、おのおのの時間区間の開始点から終了点までの各サンプル点での両眼の瞳孔中心の座標を抽出する。
図16に示すとおり、データ分割部231は、ステップS1100で眼球運動抽出部220が抽出した2つの時間区間の眼球データを、右目のデータと左目のデータに分割して2つの右目のデータを右目データ蓄積部232へ、2つの左目のデータを左目データ蓄積部233へ保存する(S1111)。右目データ比較部234は、ステップS1111で分割され右目データ蓄積部232へ保存された直近の検査可能区間内の右目の眼球運動データと、その直近の視覚対象物の状況に対応するゲーム開始後20分以内の右目の眼球運動データとの差分を計算する(S1112)。以下は差分の計算方法の一例である。眼球運動はカメラ201で取得され、画像処理部203でサンプル点ごとの瞳孔中心の画像内の位置を求めて記録されている。比較区間として抽出した2つの時間区間においては視覚対象物の仮想位置の軌道は一致している。そこで、右目データ比較部234は、直近の眼球運動データとゲーム開始後20分以内の眼球運動データとの差分すなわち差の絶対値を求める。
ここで直近の右眼球運動データの各時間サンプル点における座標を、
Figure 2012160741
とおき、ゲーム開始後20分以内の眼球運動データの各時間サンプル点における座標を、
Figure 2012160741
とおく。ただしiは各時間区間の開始点を0として各サンプル点を時間区間の開始点からの相対サンプル間隔で示した値とする。iの最大値は時間区間中に含まれるサンプル点の数である。2つの時間区間においては視覚対象物の仮想位置の軌道が一致している。すなわち、2つの時間区間の時間長は同一であり、従って2つの時間区間に含まれるサンプル点の数は同一である。iが同一である場合、視覚対象物の仮想位置が同一であることを意味している。
直近の眼球運動データとゲーム開始後20分以内の眼球運動データとの差分は、
Figure 2012160741
と表せる。これは、同一仮想位置にある視覚対象物を注視している際の瞳孔中心の位置ずれの時間区間内総和である。
左目データ比較部235は、ステップS1111で分割され左目データ蓄積部233へ保存された直近の検査可能区間内の左目の眼球運動データと、その直近の視覚対象物の状況に対応するゲーム開始後20分以内の左目の眼球運動データとの差分を計算する(S1113)。左目のデータについても右目と同様に計算する。
つまり、左目データ比較部235は、図16に示すような眼球運動データについて直近の検査可能区間の眼球運動データと直近の視覚対象物の状況に対応する区間との、時間区間の開始点から終了点までの各時間点における瞳孔中心の座標を比較する。そして、左目データ比較部235は、直近の検査可能区間と直近の視覚対象物の状況に対応する区間とに対して時間区間開始からの時間が等しい時間点での瞳孔中心の座標位置の差を求める。差の時間区間内での総和を眼球運動データの差分とする。
図18におけるステップS1120での疲労度の判定方法の一例を以下に示す。疲労度判定部240は、ステップS1112で求められた右目の眼球運動の差分と左目の眼球運動の差分とを取得する。ゲーム開始後20分以内は疲労がないものとし、ゲーム開始後20分以内との眼球運動の差は視覚性の疲労によるものと考える。
ステップS1112で求められた両眼の眼球運動データの差分を時間区間の時間長(ミリ秒)で割ることで、時間に対して標準化された眼球位置のずれ量となる。
Figure 2012160741
あらかじめ定められた基準、例えば、10ピクセル/ミリ秒未満であれば眼球運動の差はないものとし、さらに10ピクセル/ミリ秒以上であれば眼球運動に差があると判断するものとする。疲労度判定部240は、ステップS1112で求められた右目の眼球運動の差分を時間区間の時間長で除した結果と、ステップS1113で求められた左目の眼球運動の差分を時間区間の時間長で除した結果とをあわせ、視覚対象物の移動速度を加味して3段階の疲労度を判定する。
図24は、疲労度判定部240が左右の眼球運動の差と視覚対象物の移動速度から全体の視覚性疲労を判断するための表の一例である。視覚対象物の移動速度については、あらかじめ、速い、中程度、遅い、の3段階の基準を設けておく。例えば、1000mm/1s以上は速い、500mm/1s以上1000mm/1s未満を中程度、500mm/1s未満を遅いとする。比較区間の視覚対象物の移動速度が速いほど疲労が眼球運動の差として現れやすく、移動速度が遅いほど疲労が現れにくい。例えば、比較区間の視覚対象物が1050mm/1sの速度で移動していた場合、疲労度判定部240は、図24の表に基づき、両目ともに眼球運動に差がなかった場合は疲労なしと判断する。一方、右目または左目のどちらか一方の眼球運動に差があった場合には、疲労度判定部240は、疲労兆候があると判断する。両目に眼球運動の差があった場合には疲労と判断する。
以上のように、本実施の形態における視覚疲労度測定装置1を備えたゲーム機では、視覚対象物に対する操作入力によりプレーヤー100が注視している視覚対象物を特定し、ゲーム開始直後の疲労のない状態で視覚対象物を注視しているときの眼球運動と、ゲームを続けている現状で、視覚対象物を注視しているときの眼球運動との比較を、ゲームの映像のみを利用して行うことができる。ゲームの映像中には、同一映像を用いる等、同一の軌道を持つ視覚対象物を、ゲームのストーリーの中で時間をおいて違和感なく提示することができ、視覚性疲労の計測のためにゲームを中断したり、ゲームを始める前にキャリブレーションをしたりする必要がない。これにより、ゲームの楽しみを妨げることがない視覚疲労度測定装置1を提供することができる。さらに、ゲーム開始直後との比較に基づいて疲労を判定するため、立体視能力の個人差や慣れの程度の影響を受けることなく、プレーヤー100個人の疲労度合いを判定することができる。
なお、本実施の形態1では、眼球撮像用のカメラ201で直接眼球を撮像するものとしたが、図25に示すとおり、眼球の前にハーフミラー211を設置し、眼球の下または上に赤外線カメラ212と赤外線光源213とを設置してハーフミラー211で反射される赤外線により眼球を撮像するものとしても良い。これにより、立体視用シャッタめがねにカメラを設置する場合に、目の前方にカメラを設置することなく眼球を撮像できる。すなわち、カメラが視野に入ることがなく、快適な視界で映像を楽しむことができる。
また、本実施の形態1では、眼球運動取得部200は眼球の画像から眼球運動を取得するものとしたが、眼球の電気的特性により眼球周辺から眼球の動きを捉えることのできる眼電位を利用して眼球運動を取得するものとしても良い。例えば、図26に示すとおり、プレーヤー100の目の周辺に少なくとも4個の計測用の電極251、電極252、電極253、電極254と、基準電位とするための電極1個(電極259)を耳たぶまたは耳の後ろまたは額の皮膚に接触させる。4個の電極251〜254は目の水平方向の動きを計測するための電極であり、両眼の目じりと目頭の皮膚に接触させる。図26では、さらに、両眼の垂直方向の動きを計測するための、眉毛の上の額に接触させる電極255と電極257、目の下に接触させる電極256と電極258とを備える。生体信号アンプ260は、各電極251〜258で取得された電位を取得し増幅する。信号処理部261は、フィルタリング等により生体信号アンプ260で増幅された信号中のノイズを低減、除去し、計測電極である電極251から電極258の電位から基準電極である電極259の電位を減じることにより、計測電極の電位を標準化する。さらに、電極251での電位と電極252での電位との差分により右目水平方向の動きを示す電位を抽出し、電極253での電位と電極254での電位との差分により左目水平方向の動きを示す電位を抽出する。電極255での電位と電極256での電位との差分により右目垂直方向の動きを示す電位を抽出し、電極257での電位と電極258での電位との差分により左目垂直方向の動きを示す電位を抽出する。これらの電位を示すデータを、眼球運動データ210aとして、眼球運動蓄積部210に蓄積する。この場合、眼球運動比較部230では、ステップS1110において、眼球の位置情報の比較ではなく、各目の水平方向の眼電位同士、垂直方向の眼電位同士を比較する。図27は、水平方向の眼電位の一例を示したグラフである。視聴条件は図2と同様であり、仮想距離が被験者から90cmと30cmの視覚対象物を交互に注視した場合の眼電位を記録したものである。用いた3次元映像は、一般的映像コンテンツより視覚系に対する負荷が高い。そのため、疲労は一般的映像コンテンツより短い時間で眼電位に現れる。図27の(a)は被験者が視聴を開始した直後20秒から70秒の疲労のない状態での眼電位を示し、図27の(b)は視聴開始後400秒経過し、疲労を感じ始めたころの50秒間の眼電位を示す。図27の(c)は視聴開始後650秒が経過し、疲労により立体視が困難な状態での50秒間の眼電位を示している。
それぞれのグラフは、横軸は視聴実験開始からの経過時間を秒で示しており、縦軸は左右の目の目尻と目頭に置いた電極から取得した電位の差分として得た眼電位をマイクロボルトで示している。すべてのグラフにおいて、実線が被験者の左目の眼電位で、正の電位が被験者の左側、すなわち目尻側へ目が動いたことを示す電位であり、負の電位が目頭側への動きを示している。点線は被験者の右目の眼電位で、正の電位が被験者の左側すなわち右目の目頭側への動きを示す電位で、負の電位が目じり側への動きを示している。視覚対象物の仮想位置の奥行きが小さくなり被験者に近づいてくるときには、被験者の目は輻輳し、左右の眼球が目頭側へ寄る動きを行う。図27のグラフでは、左目のグラフは負の電位を示し、右目のグラフが正の電位を示す。図27に示した眼電位は交流記録で、電位変化を記録しているため、眼球が移動する瞬間の電位変化を記録するが、眼球が移動した後その位置で停止している場合には、電位は減衰して0に近づく。そのため、図2のように眼球がとどまっている位置を観察するのは困難だが、眼球が視覚対象物の奥行きの変動に合わせて動く動作を記録することができる。
図27の(a)に示した視聴開始直後の疲労がない状態では視覚対象物の奥行き変化に伴って、左右の眼球が逆向きに動き、輻輳と開散を繰り返している。図27の(b)に示した視聴を続けて被験者が視覚性の疲労を感じている段階では、被験者から90cmと30cmとの間の移動を繰り返す視覚対象物に対して、輻輳と開散が正確に行われる場合と、輻輳あるいは開散が行われず、両眼の同相への動きや複数回の動作が見られ、奥行き方向の動きに追随できない場合が観察できる。さらに図27の(c)に示した視覚性疲労のために近接位置での立体視ができない状態では、両眼はほとんど同相に動いており、輻輳と開散の正確な運動は見られなくなる。輻輳あるいは開散の両眼逆相の動きが見られる場合も動きが小さい。このように映像視聴中の眼電位を経時的に比較することでも、3次元視聴中の視聴者の視覚性の疲労を観察することができる。
また、本実施の形態1では、映像情報蓄積部110と対象物領域情報記憶部130と対象物奥行き情報記憶部180とはあらかじめ定められた情報が記憶されているものとしたが、ロールプレイイングゲームのように、ゲームの進行によって出力シーンが変わる場合には、図28に示すように、ゲームの進行に合わせてプレーヤー100に提示した映像に対応する視覚対象物の領域情報と奥行き情報とを記憶していく構成としてもよい。図28に示される構成では、ゲームの進行により、シーン制御部112はシーンごとの映像情報とその映像情報に伴う視覚対象物の領域情報(対象物領域情報)と視覚対象物の奥行き情報等を蓄積した映像情報蓄積部111から、出力すべき映像を指定する。映像情報蓄積部111は、シーン制御部112の指示に従って、映像情報を映像提示部120へ出力し、対応する視覚対象物の領域情報(対象物領域情報130a)を対象物領域情報記憶部130へ出力する。さらに、映像情報蓄積部111は、出力した映像に対応する視覚対象物の奥行き情報(対象物奥行き情報180a)を対象物奥行き情報記憶部180へ出力する。対象物領域情報記憶部130は、映像情報蓄積部111から出力された情報と計時部113によって決定された時間情報とをあわせて視覚対象物の領域情報(対象物領域情報130a)として記憶する。同様に、対象物奥行き情報記憶部180は、映像情報蓄積部111から出力された情報と計時部113によって決定された時間情報とをあわせて視覚対象物の奥行き情報(対象物奥行き情報180a)として記憶する。
また、本実施の形態1では、検査区間決定部190は直近の眼球の状態と比較する区間として、ゲーム開始から20分以内の検査可能区間から選択するものとしたが、さらに、ゲーム開始直後はあまり疲労しないものとして、ゲーム開始後一定時間以上、例えば30分以上、経過した後に、直近の検査可能区間を決定して、より早い時間区間の眼球運動と比較するとしても良い。また、ゲーム中で奥行き方向の動きの大きい映像を見ていると疲労しやすいことから、図29に示す構成のように、奥行き変動量総和計算部185を追加してもよい。この奥行き変動量総和計算部185は、対象物奥行き情報記憶部180より、プレーヤー100に提示した映像に含まれる全視覚対象物の奥行き情報(対象物奥行き情報180a)を抽出し、奥行き変動の指標として、奥行き情報の総和を出力する。ゲーム開始から時間が経過するにつれて、奥行き情報の総和は加算され増加していく。あらかじめ定められた基準を超え、プレーヤー100が疲労している可能性がある量まで、奥行き変動量総和が増加した時点以降で、直近の検査可能区間を決定して、奥行き変動量総和があらかじめ定められた別の基準、すなわち疲労を起こさない範囲の奥行き変動量総和の値を下回っている時間区間の眼球運動と比較するとしても良い。そのときの基準の値は、プレーヤー100が画面から90cmはなれてゲームをしている場合、例えば奥行き変動量の総和が4000cmを超えた場合を疲労の可能性がある量の基準とし、奥行き変動量の総和が2000cmを下回っている時間区間を疲労を起こさない範囲とする。なお、これらの値は画面の大きさやプレーヤー100の画面からの距離等によって調整されるべきである。
(実施の形態1の変形例1)
次に、本実施の形態1の変形例1について説明する。なお、本実施の形態1の変形例1の基本構成は実施の形態1と同じであるため、その説明を省略する。
本実施の形態1の変形例1では、検査可能区間として、プレーヤー100が1つの視覚対象物を注視している区間ではなく、プレーヤー100が奥行きの異なる仮想位置に配置された視覚対象物を交互に見る区間を検査可能区間として抽出する。図30は、複数の視覚対象物を交互に見る場合を模式的に示した図である。視覚対象物1は最も手前にあり、視覚対象物2は最も奥にある。画面1において、プレーヤー100は最も奥に位置する視覚対象物2に照準を合わせて射撃操作を行っているが、画面2の時点ではプレーヤー100は最も手前に位置する視覚対象物1に照準を合わせて射撃操作を行っている。画面3の時点では、また、最も奥の視覚対象物2に照準を合わせ、画面4では、また、最も手前の視覚対象物1に照準を合わせている。本変形例1では、図30に示される例のように、奥行きの異なる仮想位置に配置された視覚対象物を交互に見ている区間を検査可能な時間区間として抽出し、比較区間として、照準が合わされた視覚対象物の奥行きの変動が同一である区間を比較区間として決定する。
図31は、本実施の形態1の変形例1における視覚疲労度測定装置の処理手順を示すフローチャートである。
本実施の形態1の変形例1における視覚疲労度測定装置の処理手順はステップS1070がステップS2070に入れ替わり、ステップS1090がステップS2090に入れ替わり、ステップS1110がステップS2110に入れ替わり、ステップS1110がステップS2120に入れ替わった以外は、実施の形態1と同様であるので、実施の形態1と同様の部分については説明を省略する。
図32と、図34と、図35は、本変形例1における視覚疲労度測定装置の処理手順の一部を詳細に示すフローチャートである。図32は、図31におけるステップS2070のプレーヤー100が注視している視覚対象物を特定する手順の詳細を示す。図32に従って、ステップS2070の詳細を説明する。図19と同一の処理については適宜説明を省略する。
射撃情報取得部161は、ステップS1060で操作履歴蓄積部150に蓄積された操作履歴150aから、直近の一連の射撃操作を取得する(S1071)。射撃情報取得部161は、一連の射撃操作が連射すなわち、複数回の射撃操作の時間間隔がいずれも500ms未満である区間を含むか否かを判定する(S1072)。その結果、ステップS1072で取得した操作中に連射区間がなかった場合は(S1072でno)、図31のステップS1030へ戻る。一方、ステップS1072でプレーヤー100の操作中に連射区間があった場合は(S1072でyes)、時間区間情報取得部162は、S1072で射撃情報取得部161が特定した連射区間に対応する時間区間として連射区間の、最初の射撃操作の時間と最後の射撃操作の時間との間を連射の時間区間を特定する(S1074)。領域情報取得部163は、ステップS1074で特定された連射の時間区間にプレーヤー100に提示されていた映像中の視覚対象物とその表示画面上での領域を対象物領域情報記憶部130から抽出する(S1075)。連射の時間区間で提示されていた視覚対象物が図30のように複数個ある場合には、複数の視覚対象物とその画面上の領域が抽出される。対象物特定部165は、S1075で抽出した視覚対象物の領域のうち、連射区間として特定された時間区間の照準の画面上の位置と重なる領域を持つ視覚対象物を複数特定できるか否かを判定する(S2076)。
その結果、連射区間において照準といずれの視覚対象物の領域も重ならない場合、または、照準と重なる視覚対象物が1つしか特定されない場合は(S2076でno)、図31のステップS1030へ戻る。さらに照準が同時に複数の視覚対象物の領域と重なる場合は視覚対象物を特定することができないため図31のステップS1030へ戻る。一方、連射区間において照準と重なる領域を持つ視覚対象物として特定される視覚対象物が時間経過に伴って入れ替わる場合に、つまり、照準と重なる視覚対象物が複数特定される場合は(S2076でyes)、ステップS2077に進む。図30の例では、画面1から画面4までが連射区間であり、画面1では視覚対象物2が照準と重なる視覚対象物すなわち注視点として特定される。画面2では視覚対象物1が注視点として特定され、画面3では再び視覚対象物2が注視点として特定される。画面4では視覚対象物3が注視点として特定される。このように、ステップS2076では一連の連射区間の中で注視された視覚対象物が入れ替わる状態を抽出する。検査可能区間決定部166は、ステップS2076で視覚対象物が複数特定された連射区間のうち照準の画面位置が1つの視覚対象物から他の視覚対象物へ移動する区間をはさんだ時間区間を検査可能区間として決定し、検査可能区間蓄積部170に蓄積するデータ170aを生成する(S2077)。図33は検査可能区間が蓄積するデータ170aの一例である。このデータ170aには、例えば、照準がどの視覚対象物からどの視覚対象物に移ったかを示す2つの対象物IDと、照準が移動する前の視覚対象物と照準が重なっていた時間区間1と、照準が移動した後の視覚対象物と重なっていた時間区間2、さらに照準位置の軌道とが含まれる。図33に示される検査可能区間データ1は、画面1から画面2への変化を記述する検査可能区間データの例であり、一方、検査可能区間データ2は画面2から画面3への変化を記述する検査可能区間データの例である。対象物IDは左に示されたIDが移動前の照準と重なる視覚対象物であり、右に示されたIDが移動後の照準と重なる視覚対象物を示す。検査可能区間データ1と検査可能区間データ2はともに画面2の区間を含んでおり、検査可能区間データ1の時間区間2と、検査可能区間データ2の時間区間1とは重なっている。
図34は、図31におけるステップS2090(比較可能区間の検索手順)の詳細を示す。図34に従ってステップS2090の手順の詳細を説明する。
まず、ID・時間区間取得部191は、検査可能区間蓄積部170から新規に蓄積された検査可能区間を示すデータ170aを全件抽出する(S2091)。3次元軌道取得部192は、ステップS2091で取得した検査可能区間全件の比較可能区間の検索が終了したか否かを判定する(S2092)。ステップS2092で全件の検索が終了している場合は(S2092でyes)、ステップS2101に進む。一方、ステップS2092で検索が終了していない検査可能区間がある場合は(S2092でno)、ステップS2093に進む。ステップS2093では、3次元軌道取得部192は、ステップS2091で取得した新規に蓄積された検査可能区間のうち比較可能区間の検索が終了していない1つの検査可能区間について、照準、すなわち注視点が移動する前の視覚対象物である視覚対象物1の3次元の仮想位置座標(対象物奥行き情報180a)を対象物奥行き情報記憶部180より取得する(S2093)。
そして、3次元軌道取得部192は、ステップS2093で取得した3次元の仮想位置座標より、視覚対象物1の奥行き方向の座標を抽出する。具体的には、照準が視覚対象物1の領域と重なっていた時間区間内の奥行き方向の座標平均を求め、照準すなわち注視点が移動する前の奥行き位置とする(S2094)。次に、3次元軌道取得部192は、S2093での処理と同一の検査可能区間について、照準、すなわち注視点が移動した後の視覚対象物である、視覚対象物2の3次元の仮想位置座標を取得する(S2095)。3次元軌道取得部192は、ステップS2095で取得した3次元の仮想位置座標より、視覚対象物2の奥行き方向の座標を抽出する。具体的には、照準が視覚対象物2の領域と重なっていた時間区間内の奥行き方向の座標平均を求め、照準すなわち注視点が移動する前の奥行き位置とする(S2096)。さらに、3次元軌道取得部192は、視覚対象物1の奥行き位置平均から視覚対象物2の奥行き位置平均への移動を当該検索可能区間の奥行き方向移動として算出する(S2097)。
続いて、同一軌道検索部193は、ステップS2097で計算された奥行き方向の移動と同一の奥行き方向の移動を含む検査可能区間を検索する(S2098)。なお、同一軌道検索部193は過去の検査可能区間に対して、ステップS2093からステップS2097と同等の処理を行うとしても良いが、ステップS2097において、3次元軌道取得部192は当該検査可能区間の奥行き方向移動の情報を、検査可能区間蓄積部170に蓄積されたデータ170aが示す検査可能区間に対応付けて記憶し、ステップS2098では、同一軌道検索部193は対象物奥行き情報記憶部180を参照することなく、検査可能区間蓄積部170に記憶されたデータ170aから奥行き方向移動の情報を検索するとしても良い。そして、同一軌道検索部193は、当該の検査可能区間での奥行き方向移動と同一の奥行き方向移動を持つ検査可能区間の有無を判定する(S2099)。その結果、ステップS2099で、当該の検査可能区間と同一の奥行き方向移動を持つ検査可能区間が無い場合は(S2099でno)、ステップS2092へ戻る。一方、ステップS2099で当該の検査可能区間と同一の奥行き方向移動を持つ検査可能区間が1つ以上ある場合は(S2099でyes)、ステップS2100へ進む。
そして、比較区間決定部194は当該の検査可能区間と、ステップS2098で検索された当該の検査可能区間と同一の奥行き方向移動を持つ1つ以上の検査可能区間の組を比較区間として決定し(S2100)、ステップS2092へ戻る。ステップS2092において、ステップS2092で全件の検索が終了している場合は(S2092でyes)、ステップS2101に進む。ステップS2101では、新規に決定された全検査可能区間のうち1つ以上の検査可能区間で比較区間が決定できたか否かを判断する(S2101)。比較区間が決定された新規の検査可能区間が1つ以上ある場合は(S2101でyes)、図31のステップS1100へ進む。一方、比較区間が決定された新規の検査可能区間が無い場合は(S2101でno)、図31のステップS1030へ戻る。
図35は、図31におけるステップS2110(眼球運動の比較手順)の詳細を示す。図35に従ってS2110の手順を説明する。
時間区間取得部221は、図34におけるステップS2100で決定された複数個の検査可能区間について時間区間を取得する。そして、検査可能区間の時間区間1と時間区間2をあわせた時間区間を各検査可能区間の時間区間として、各検査可能区間の時間区間に対応する眼球運動データを抽出する。データ分割部231は、抽出した眼球運動データを右目のデータと左目のデータに分割し、左右のデータをそれぞれ右目データ蓄積部232と左目データ蓄積部233へ保存する(S2111)。右目データ比較部234は、ゲーム開始時点に最も近い時間の検査可能区間の右目の眼球運動データと各比較区間の右目のデータとの差分を計算する(S2112)。それと並行して、左目データ比較部235はゲーム開始時点に最も近い時間の検査可能区間の左目の眼球運動データと各比較区間の左目のデータとの差分を計算する(S2113)。
ステップS2120での疲労度の判定方法の一例を以下に示す。疲労度判定部240は、ステップS2112で求められた右目の眼球運動の差分とステップS2113で求められた左目の眼球運動の差分とを取得する。図36のグラフは、検査可能区間の時間区間の先頭時間をゲーム開始時点からの経過時間として横軸にとり、縦軸に奥行きの移動量で正規化した、ゲーム開始時点に最も近い時間の眼球運動データと各比較区間のデータとの差分を縦軸にとったものである。図36の例では、比較区間の組が決定された新規の検査可能区間が3組あり、それぞれ、奥行き方向の移動が、プレーヤー100に近づく方向に370mm移動するもの(白抜き丸のプロット)と、プレーヤー100から遠ざかる方向に150mm移動するもの(白抜き三角のプロット)と、プレーヤー100に近づく方向に220mm移動するもの(白抜きひし形のプロット)である。白抜き丸で示されたプレーヤー100に近づく方向に370mm移動する区間には比較可能な区間が2箇所あり、白抜き三角で示されたプレーヤー100から遠ざかる方向に150mm移動するものは、比較可能な区間が1箇所あったことを示している。さらに白抜きひし形で示されたプレーヤー100に近づく方向に220mm移動する区間には比較可能な区間が3箇所あったことを示している。白抜き丸で示した、視覚対象物がプレーヤー100に近づく方向に370mm移動する区間における疲労の指標の値として、ゲーム開始時点に最も近い時間での疲労の指標をa0、次に検査可能な区間の疲労の指標をa2、3回目の検査可能な区間の疲労の指標をa3とする。白抜き三角で示された視覚対象物がプレーヤー100から遠ざかる方向に150mm移動する区間では、ゲーム開始時点に最も近い時間での疲労の指標をb0、次の検査可能な区間の疲労の指標をb1とする。白抜きひし形で示されたプレーヤー100に近づく方向に220mm移動する区間における疲労の指標は、ゲーム開始時点に最も近い時間での疲労の指標をc0、以降を経過時間に沿ってc1、c2、c3とする。ステップS2112とS2113で、眼球運動の差分としてゲーム開始時に最も近い比較可能区間を基準値とするため、ゲーム開始時にもっとも近い時点の縦軸の値は0である。奥行き方向の移動量が大きいほど眼球運動の負荷が大きいため、ステップS2112とS2113で求められた時間当たりの眼球運動の差をさらに奥行き方向の移動量で除して疲労の指標とする。図36のa2の例では、疲労度判定部240は、a2の区間での右目の瞳孔中心の位置とa0の区間での右目の瞳孔中心の位置との各時間点での差の絶対値を求め、その総和をゲーム開始時に最も近い検査可能区間と比較区間との右目の眼球運動の差分とする。左目の眼球運動についても右目と同様に求める。右目の眼球運動の差分と左目の眼球運動の差分とを加算して、比較区間の時間長で除す。例えば、a2とa0とのの眼球運動の差は左右の総和で800ピクセルであり、比較区間の時間長0.4秒で除すと、2000(ピクセル/秒)となる。これをさらに奥行き方向の移動量370mmで除して、5.4(ピクセル・mm/秒)となる。同様にして、疲労度判定部240は、他の比較区間の眼球運動に対しても疲労の指標を求める。求められた複数個の疲労指標のうち、あらかじめ定められた疲労基準を超えたものの比率を求め、疲労度とする(S2120)。疲労基準は、例えば4.8(ピクセル・mm/秒)である。この値は、実験的にもとめられるものである。図36の例では、a0、b0、c0以外の比較区間において疲労の指標が疲労基準を超えた比較区間はa2、とc3である。疲労度判定部240は、現在の経過時間Tpでの疲労度は新規検査区間の比較区間の疲労の指標のうち疲労基準を超えた比較区間の比によって疲労度を決定する。図36の例では新規検査区間3つのうち2つの比較区間において疲労の指標が疲労基準を超えたため、現在の経過時間Tpの時点での疲労は67%の疲労度となる。
図31を参照して、ステップS2120で求められた疲労度に基づき、出力部250は、警告すべき疲労か否かを判断する(S1130)。例えば、疲労度が50%以上の場合に(S1130でyes)、表示画面および音声提示用ヘッドホンあるいはスピーカより、プレーヤー100に視覚性の疲労が起こっている旨を示す警告を与え(S1140)、ステップS1030へ戻る。一方、ステップS1130において疲労度が所定の値を超えていなければ(S1130でno)、ステップS1030にもどる。ゲームのプレー中、ステップS1030からS1140を繰り返す。
本実施の形態1の変形例1では、図36のようにゲーム開始後の時間経過に伴って変化する疲労度を求めることができる。従って、疲労度が急激に上昇した場合に警告を出力する等の処理も可能である。
以上のように、本変形例における視覚疲労度測定装置を備えたゲーム機では、視覚対象物に対する操作入力によりプレーヤー100が注視している視覚対象物を特定し、ゲーム開始直後の疲労のない状態で視覚対象物を注視しているときの眼球運動と、ゲームを続ける過程で、視覚対象物を注視しているときの眼球運動との比較を、時間を追って行うことができる。ゲーム内のストーリーにあわせて、同一あるいは類似軌道をもつ視覚対象物を、時間を置いて映像中に提示することで、ゲームの映像のみを利用して眼球運動の比較を行うことができ、視覚性疲労の計測のためにゲームを中断したり、ゲームを始める前にキャリブレーションをしたりする必要がない。これにより、ゲームの楽しみを妨げることがない視覚疲労度測定装置を提供することができる。
さらに、本変形例のようにプレーヤー100が照準を1つの視覚対象物から他の視覚対象物へ移動させる際の眼球運動を疲労の計測に利用することで、より疲労の影響が出やすい、速い眼球運動の状態の変化を計測するため、プレーヤー100の視覚性疲労をより早く検出することができる。
(実施の形態1の変形例2)
次に、本実施の形態1の変形例2について説明する。なお、本実施の形態1の変形例2は、図37の構成図に示されるように、実施の形態1の眼球運動比較部230が眼球運動比較部330に入れ替わり、疲労度判定部240が疲労度判定部340に入れ替わった以外は実施の形態1と同様であるので、眼球運動比較部330、疲労度判定部340の構成と、これらの構成が関わる処理手順についてのみ詳細に説明をする。
実施の形態1では、眼球運動を比較する際に右目の眼球運動の比較と左目の眼球運動の比較をそれぞれに行い、左右それぞれの比較結果に基づいて、疲労度を判定した。本変形例2は、左右の目の位置情報の差、すなわち立体視することによる両眼の角度の違いを求め、両眼間の差の値の変化から疲労を判定する。
図37は、本変形例における眼球運動比較部330の詳細な構成図である。眼球運動比較部330は、左目の瞳孔中心の位置と右目の瞳孔中心の位置との差を用いて眼球運動を比較する処理部であり、左右差データ生成部331と、左右差データ蓄積部332と、左右差データ比較部333とからなる。疲労度判定部340は、検査区間決定部190より比較区間における視覚対象物の移動軌道を取得する。
実施の形態1におけるステップS1010からステップS1100までの動作は、本変形例でも同様である。実施の形態1におけるステップS1110は、本変形例2では、ステップS3110に置き換わる。図38は、ステップS3110(眼球運動の比較手順)の詳細を示すフローチャートである。
図38に従ってステップS3110の詳細を説明する。実施の形態1と同様に、注視対象物特定部160は、視覚対象物に対する操作入力によりプレーヤー100が注視している視覚対象物を特定する。眼球運動抽出部220は、ステップS1090で決定された直近の検査可能区間とその区間と比較可能な過去の検査可能区間の、2つの比較可能な時間区間に従って、眼球運動蓄積部210に蓄積された眼球運動データ210aより、比較区間に対応する眼球運動を抽出する(S1100)。左右差データ生成部331は、ステップS1100で取得された眼球運動のうち、直近の時間区間について、左右の眼球運動の差を求め、左右差データとして、左右差データ蓄積部332に記憶する(S3111)。
ここで、眼球運動は、瞳孔中心の位置を座標として表したデータである。差分は左右の瞳孔中心位置の差を2次元で表したものとなる。図39は、左右差データ蓄積部332に蓄積された左右差データ332aの一例を示す図である。左右差データ332aには、ゲーム開始からの経過時間とその時間における、水平方向の左右の眼球位置の差と垂直方向の左右の眼球位置の差とを含まれる。左右差データ332aは、時間区間ごとに記録される。具体的には、左右差データ332aは、以下のようにして求められる。
直近の時間区間における右目瞳孔中心の座標を、
Figure 2012160741
とおき、左目瞳孔中心の座標を、
Figure 2012160741
とおくと、左右の瞳孔中心位置の差は、
Figure 2012160741
と表せる。図39の「水平軸左右差」は上記の
Figure 2012160741
であり、「垂直軸左右差」は
Figure 2012160741
である。
なお、3次元映像は、両眼の水平方向の画像の違い、すなわち視差角によって立体視を実現している。立体視に特有の眼球運動は左右の眼球運動の水平方向の差として現れる。そこで、ステップS3111で左右眼球運動の差として水平方向の瞳孔中心位置の差のみを計算しても良い。
さらに、左右差データ生成部331は、ゲーム開始後20分以内の時間区間について、S3111での処理と同様に、左右の眼球運動の差分を求め、左右差データ蓄積部332に記憶する(S3112)。
ゲーム開始後20分以内の時間区間の右目瞳孔中心の座標を、
Figure 2012160741
とおき、左目瞳孔中心の座標を、
Figure 2012160741
とおくと、左右の瞳孔中心位置の差は、
Figure 2012160741
と表せる。
左右差データ比較部333は、ステップS3111とS3112で求められた直近の眼球運動の左右差のデータとゲーム開始後20分以内の眼球運動の左右差のデータとの差分を求める(S3113)。
このとき、左右差データ比較部333は、各サンプル点での左右の瞳孔中心位置の差について、2つの時間区間で、時間区間の開始点を0とするサンプル点iごとに差分、すなわち差の絶対値を求める。時間区間内の全サンプル点について、以下の式のようにして、上記の差分の総和を求める。
Figure 2012160741
これを直近の眼球運動とゲーム開始後20分以内の眼球運動との差分とする。
疲労度判定部340は、検査区間決定部190から取得した比較に用いる時間区間の視覚対象物の軌道情報より、視覚対象物の移動速度を計算する。視覚対象物の軌道情報は、図6のようにゲーム開始からの経過時間ごとに、各視覚対象物の仮想位置をプレーヤー100の頭部位置を基準とした3次元の座標位置として記憶されている。疲労度判定部340は、時間区間における照準と重なる領域を持つ対象物の3次元空間内での移動距離(cm)を求め、時間区間の時間長(秒)で除すことで、視覚対象物の移動速度を求める。そして、疲労度判定部340は、ステップS3113で求められた直近の眼球運動の左右差とゲーム開始後20分以内の眼球運動の左右差との差分を視覚対象物の移動速度で除し、疲労度の指標を算出する。図40は、疲労度指標である「左右差の変化量総和/視覚対象物移動速度」と疲労との関係を模式的に示したものである。
得られた疲労度に対して、疲労度判定部340は、例えば3つの領域に分割し、疲労なし、疲労兆候、疲労状態を判定する。
以上のように、本変形例における視覚疲労度測定装置を備えたゲーム機では、視覚対象物に対する操作入力によりプレーヤー100が注視している視覚対象物を特定し、ゲーム開始直後の疲労のない状態で視覚対象物を注視しているときの眼球運動と、ゲームを続けている現状での視覚対象物を注視しているときの眼球運動とを比較する。ゲーム内のストーリーにあわせて、同一あるいは類似軌道をもつ視覚対象物を、時間を置いて映像中に提示することで、ゲームの映像のみを利用して視覚性疲労の計測を行うことができ、計測のためにゲームを中断したり、ゲームを始める前にキャリブレーションをしたりする必要がない。これにより、ゲームの楽しみを妨げることがない視覚疲労度測定装置を提供することができる。
さらに、本変形例のように、プレーヤー100が注視している視覚対象物の移動速度に応じて疲労度を計算することで、眼球が視覚対象物の動きに追随する場合に、視覚対象物の速度によって疲労の現れやすさが異なることに対応できる。つまり、眼球が視覚対象物の速い動きに追随する際には疲労が現れやすく、遅い動きに追随する際には疲労が現れにくいが、直近の眼球運動の左右差とゲーム開始後20分以内の眼球運動の左右差との差分を視覚対象物の移動速度で除して疲労度の指標とすることで、視覚対象物の動きの早さにかかわらず、プレーヤー100の視覚性疲労を判断することができる。これにより、プレーヤー100の視覚性疲労度をより正確に検出することができる。
(実施の形態2)
次に、本発明の実施の形態2について説明する。図41は、本実施の形態2による視覚疲労度測定装置2の構成図である。実施の形態1の図3と同一の部分に同一の符号を付し、説明を省略する。
本実施の形態における視覚疲労度測定装置2は、実施の形態1の視覚疲労度測定装置1の注視対象物特定部160が注視対象物特定部560に置き換わり、検査可能区間蓄積部170が検査可能区間蓄積部570に置き換わり、検査区間決定部190が検査区間決定部590に置き換わり、対象映像情報生成部510が付け加わった以外は、図3の実施の形態1の視覚疲労度測定装置1と同様の構成である。
この視覚疲労度測定装置2は、映像情報蓄積部110と、プレーヤー100に3次元映像を提示する映像提示部120と、対象物領域情報記憶部130と、操作入力部140と、操作履歴蓄積部150と、対象映像情報生成部510と、注視対象物特定部560と、検査可能区間蓄積部570と、対象物奥行き情報記憶部180と、検査区間決定部590と、眼球運動取得部200と、眼球運動蓄積部210と、眼球運動抽出部220と、眼球運動比較部230と、疲労度判定部240とを備えている。
対象映像情報生成部510は、検査可能区間蓄積部570で蓄積されている検査可能区間を示す情報に基づいて視覚対象物を含む映像を生成する処理部であり、ここでは、検査区間決定部590が、検査が可能な比較区間を決定できなかった場合に、検査可能区間蓄積部570に蓄積された検査可能区間の視覚対象物の軌道情報に合わせて、映像情報蓄積部110に蓄積された映像情報110aを利用して検査に利用可能な映像を生成する。
図42、図43は、それぞれ、本実施の形態による視覚疲労度測定装置1が備える検査区間決定部590、対象映像情報生成部510の詳細な構成図の一部である。
図42は、図41における検査区間決定部590の詳細な構成図である。実施の形態1の図12と同一の構成には同一の符号を付し、説明を省略する。
検査区間決定部590は、ID・時間区間取得部191と、疲労度検査の実施なしにゲームを続けている時間を計測する計時部591と、疲労度検査の実施なしにゲームを続けている時間に従って疲労度検査の実行を決定する検査実行決定部592と、3次元軌道取得部192と、同一軌道検索部193と、比較区間決定部194と、直近の検査可能区間と同一軌道の検査可能区間が無い場合や、ゲーム開始直後の比較可能な区間が無い場合等、比較区間が設定できない場合に検査不能の判定を行う検査不能判定部593とから成る。
図43は、図41における対象映像情報生成部510の詳細な構成図である。対象映像情報生成部510は、ゲーム開始直後の検査可能区間から視覚対象物の情報を取得する検査対象物抽出部511と、ゲーム開始直後の検査区間に含まれる視覚対象物の情報を取得する対象物情報検索部512と、検査用の視覚対象物の映像を取得する映像データ取得部513と、検査用視覚対象物を含む映像を生成する映像生成部514と、検査用視覚対象物の軌道情報を蓄積する検査用対象物奥行き情報蓄積部515と、検査用視覚対象物の画面上の領域と時間区間の情報とを蓄積する検査用対象領域情報蓄積部516とから成る。
以上のように構成された実施の形態2における視覚疲労度測定装置2の動作を図44に従って説明する。
図44は、実施の形態2における視覚疲労度測定装置2の動作を示すフローチャートである。実施の形態1のステップS1040以降の動作をステップS5000通常処理動作として説明を省略する。実施の形態1の図18と同一の動作については同一の符号を付して適宜説明を省略する。
まず、プレーヤー100が、ゲームを開始する(S1010)。ゲームの開始に伴い、眼球運動取得部200は、両目の眼球運動の計測を開始し、計測結果を、眼球運動データ210aとして、眼球運動蓄積部210に蓄積する(S1020)。眼球運動取得部200は、ゲーム終了を指示する入力の有無を確認する(S1030)。ステップS1030において、ゲーム終了を指示する入力がある場合には(S1030でyes)、ステップS1150へ進み、眼球運動取得部200は、眼球運動の記録を終了する(S1150)。そして、眼球運動記録の終了後にゲームを終了する(S1160)。
一方、ステップS1030において、ゲーム終了を指示する入力がない場合は(S1030でno)、ステップS5010へ進む。S5010では、検査区間決定部590が疲労度の検査を行わずにゲームを継続している時間長があらかじめ定められた基準の時間長を超過しているか否かを判定する(S5010)。そして、検査区間決定部590の計時部591は、ゲーム開始からの経過時間または直近の疲労度検査の実行からの経過時間を計測する。その結果、検査区間決定部590の検査実行決定部592は、計時部591で計測された時間があらかじめ定められた基準例えば30分を超えた場合(S5010でyes)、検査の実行を決定する。一方、ステップS5010において未検査の時間長が基準時間長を超えていない場合は(S5010でno)、ステップS5000の通常動作へ進む。なお、ステップS5000の通常動作において、直近の検査可能区間と同一の軌道の視覚対象物が記録されていない、あるいはゲーム開始後20分以内の検査可能区間に対応するデータが無い等で直近の検査可能区間に対して検査を実施できない場合に、実施の形態1ではステップS1030に戻ったが、検査区間決定部590の検査不能判定部593へ検査不能の情報を出力する。
ステップS5010において、未検査の時間が基準値を超えたと判断された場合は(S5010でyes)、検査不能判定部593から未検査情報が出力され、ステップS5020へ進む。対象映像情報生成部510は、検査用映像を生成し、検査用視覚対象物の軌道情報を検査用対象物奥行き情報蓄積部515に蓄積し、検査用視覚対象物の領域情報と時間情報とを検査用対象領域情報蓄積部516に記憶する(S5020)。そして、映像提示部120は、ステップS5020で生成された検査用映像をプレーヤー100に提示する(S5030)。このとき、操作入力部140は、ステップS5030で提示した映像に対してプレーヤー100が操作入力部140を操作したか否かを確認する(S1050)。ステップS1050において、プレーヤー100の操作がない場合は(S1050でno)、ステップS5020へ戻る。一方、ステップS1050においてプレーヤー100の操作がある場合は(S1050でyes)、操作入力部140は、入力された一連の操作を、操作履歴150aとして、操作履歴蓄積部150に保存する(S1060)。
続いて、注視対象物特定部560はプレーヤー100が検査用視覚対象物を注視し続けているか否かを判定する(S5070)。その結果、ステップS5070においてプレーヤー100が検査用視覚対象物を注視していない場合は(S5070でno)、ステップS5020へ戻る。一方、ステップS5070においてプレーヤー100が検査用視覚対象物を注視している場合は(S5070でyes)、ステップS5080に進む。ステップS5080では、検査可能区間蓄積部570は、対象映像情報生成部510が検査用視覚対象物を特定するIDとその視覚対象物を注視していた時間区間とを検査可能区間として記憶する(S5080)。そして、検査区間決定部590は、ステップS5080で検査可能区間蓄積部570に記憶した検査用視覚対象物の仮想位置の軌道を検査用対象物奥行き情報蓄積部515より抽出し、検査用視覚対象物設定の基となった検査可能区間を抽出し、検査用視覚対象物に対する注視時間区間と対応する時間区間を決定する(S5090)。これにより、2つの時間区間が設定される。以降の処理は、実施の形態1のステップS1100以降と同一の処理手順であるので、説明を省略する。
以下に、対象映像情報生成部510が検査用映像を生成するステップS5020の手順の詳細を、図45を用いて、説明する。ステップS5010で検査不能により未検査時間長が基準値を超えている場合(S5010でyes)、まず、検査対象物抽出部511は、検査可能区間蓄積部570のうちゲーム開始後疲労が起こっていないとみなせる時間内、例えばゲーム開始後20分以内の時間区間を持つ検査可能区間を抽出する(S5021)。そして、対象物情報検索部512は、該当の検査可能区間の視覚対象物の移動軌道(対象物奥行き情報180a)を対象物奥行き情報記憶部180より抽出する(S5022)。次に、対象物情報検索部512は、該当の検査可能区間が多数ある場合は眼球運動が大きく疲労が検出しやすい、奥行き方向の移動が大きい軌道を持つ視覚対象物を持つ検査可能区間を比較区間として選択する(S5023)。さらに、対象物情報検索部512は、比較区間の視覚対象物と同一の軌道を持つ視覚対象物を対象物奥行き情報記憶部180より検索する。比較区間の視覚対象物と同一の軌道を持つ視覚対象物または、比較区間の視覚対象物以外に同一の軌道を持つ視覚対象物が無い場合は比較区間の視覚対象物を、利用視覚対象物として決定する(S5024)。なお、同一の軌道を持つ視覚対象物が複数個ある場合は、視覚対象物が含まれるシーンの明度情報あるいはコントラスト情報が比較区間に近いものを選択する。そして、対象物情報検索部512は、ステップS5024で決定された利用視覚対象物の移動軌道を検査用対象物奥行き情報蓄積部515に蓄積する。さらに、対象物情報検索部512は、利用視覚対象物の領域情報と検査用映像内での相対的な時間位置情報とを検査用対象領域情報蓄積部516に記憶する(S5025)。
続いて、映像データ取得部513は、利用視覚対象物のIDと時間区間と領域情報とに基づいて、利用視覚対象物の映像情報110aを映像情報蓄積部110から抽出する(S5026)。そして、映像データ取得部513は、比較区間のコントラストと同等となる背景画像を映像情報蓄積部110から抽出する(S5027)。最後に、映像生成部514はステップS5027で抽出された背景画像にステップS5026で抽出された映像情報110aが示す視覚対象物の映像を重ねて合成する(S5028)。なお、映像情報蓄積部110から抽出する映像情報110aが示す映像は3次元映像であり、画像処理は右目用映像と左目用映像の2つが合成されるものとする。
以上のように、本実施の形態における視覚疲労度測定装置2によれば、ゲームの進行の中で、同一または類似の軌道を持つ視覚対象物が長時間に渡って提示されないために、ゲーム中のプレーヤー100の操作のみでは検査が不可能で、疲労度の検査が長時間にわたって行われない場合に、ゲームコンテンツの中に確実に検査を実施するための検査用映像を作成して挿入することで、ゲームを中断せずに、必要に応じて疲労度を計測することができる。これにより、ゲームの楽しみを妨げることがない視覚疲労度測定装置2を提供することができる。特にロールプレイイングゲームのように、ゲームのストーリーがプレーヤー100の選択によって変わり、眼球運動を比較できる視覚対象物が提示される時間区間のペアが作れない場合には、ゲームのストーリーを絞り、蓄積された検査可能区間とペアになる映像を提示して確実に検査をおこなう。これにより、疲労度の計測をしないままにプレーヤー100が長時間ゲームを続け、疲労を蓄積させてしまうことを防ぐことができる。
(実施の形態3)
本実施の形態では、3Dメガネ(3D眼鏡)18と画像を表示する装置を含む3次元映像ゲーム機2610とが双方向の通信を行う視覚疲労度測定装置3の構成について説明する。図46Aに、視覚疲労度測定装置3の構成の一例を示す。図46Aにおいては、実施の形態3で説明したブロックに関しては、同一の番号を付与している。3次元映像ゲーム機2610は、3次元映像を表示する画像表示装置の一例である。
視覚疲労度測定装置3は、図1の視覚疲労度測定装置1の構成に加えて、眼球運動送信情報生成部2600と、眼球運動情報送信部2601と、眼球運動情報受信部2602と、同期信号送信部2603と、同期信号受信部2604と、シャッタ制御部2605とを備える。
眼球運動送信情報生成部2600は、眼球運動取得部200で測定されたプレーヤー100の眼球運動のデータを所定の送信フォーマットに加工する。
眼球運動情報受信部2602は、眼球運動送信情報生成部2600で生成されたプレーヤー100の眼球運動の情報を送信する。
同期信号送信部2603は、映像提示部120で提示される画像に対して、左目用画像と右目用画像の切替制御の同期信号を送信する。
同期信号受信部2604は、3次元映像ゲーム機2610の同期信号送信部2603から送信された信号を受信する。
シャッタ制御部2605は、同期信号受信部2604で受信した信号に基づき、3Dメガネ18の右目のシャッタ及び左目のシャッタを制御する。右目のシャッタは、右目に画像が提示されないように右目への映像を遮蔽する。左目のシャッタは、左目に画像が提示されないように左目への映像を遮蔽する。
なお、図46Aおよび後述する図49において、点線の枠で囲まれた構成要素は、ソフトウェアで実現する場合には、典型的には、その点線の枠内に記載されているように、図51に示されるコンピュータシステムにおけるプログラム33を格納したメモリ31およびCPU30によって実現される。
上記のように構成されたシステムにおいては、実施の形態1で説明した構成要素については、同様の動作を行う。
本実施の形態においては、3Dメガネ18と3次元映像ゲーム機2610との通信内容をさらに説明する。本システムでの3Dメガネ18と3次元映像ゲーム機2610との通信は、Bluetooth(登録商標)やZigBee(登録商標)、無線LAN等に代表されるような近距離の無線通信を想定している。図46Bは、3次元映像ゲーム機2610と3Dメガネ18の通信手順を示す。
3Dメガネ18の電源が入力されると同時に、3Dメガネ18は自らのIDを発信し(通信1)、3次元映像ゲーム機2610に対して所定IDのメガネの電源が入力されたことを知らせる。
その信号を3次元映像ゲーム機2610側で受信し、3Dメガネ18のIDが登録される。その後、登録された3Dメガネ18に対して、3Dメガネ18の液晶シャッタの開閉に関する制御信号が送信される(通信2)。
このとき、眼球運動取得部200で測定されたプレーヤー100の眼球運動のデータを所定のタイミングで3次元映像ゲーム機2610側に発信する(通信3)。
眼球運動送信情報生成部2600は、図47に示す通信1のデータフォーマットのように、眼鏡ID、送信日時、送信時刻、送信先表示機器ID、眼球運動データを含む送信情報を生成する。
眼球運動情報送信部2601では、眼球運動送信情報生成部2600で生成された、図47の情報を3次元映像ゲーム機2610に向けて送信する。
図47に示すように、送信するデータについては、図47に示すようにバイナリデータやテキストデータ、または、XMLフォーマットで記述されているデータを送信する(通信3)。
また、3次元映像ゲーム機2610は、映像提示部120の左目用画像、右目用画像の表示と同期させるためのタイミング信号を同期信号送信部2603から3Dメガネ18に対して送信する。
また、図48の通信2のデータフォーマットに示すように、3次元映像ゲーム機2610が3Dメガネ18に送信する信号は、送信元のゲーム機ID、送信日時、送信時刻、送信先眼鏡ID、シャッタの制御信号を含む。図48に示すように、バイナリデータ、テキストデータ、または、XMLフォーマットで記述されているデータとして送信する。このようにして、3Dメガネ18と3次元映像ゲーム機2610との双方向の無線通信を利用することで、プレーヤーの眼球運動の情報に応じた3次元映像ゲーム機2610の画像の制御が可能になる。
なお、3次元映像ゲーム機2610をプレーするプレーヤーは、一人とは限らない。複数人がプレイする場合もある。そのときは、図49の実施の形態3の変形例に示すように、3Dメガネ1(18b)と3Dメガネ2(18a)がそれぞれ、3次元映像ゲーム機2610と双方向通信(通信11〜14)を行うことになる。プレーヤーの眼球運動により、疲労度に応じた出力をする。しかしながら、複数のプレーヤーがゲームをプレイしている場合には、一人のプレーヤーの眼球運動がから疲労が判定された場合に、そのプレーヤーに応じて警告等を出力すると、他のプレーヤーのプレイの妨げになる。
そこで、本実施の形態においては、例えば、3Dメガネ2(18a)からの眼球運動情報(通信13)から、疲労が判定された場合には、3Dメガネ2(18a)に対して、左目用の画像を提供しているときに、左目、右目のシャッタを開き、右目用の画像を提供しているときに、左目、右目のシャッタを閉じることで(通信14)、2D映像を提供するようにする。そのときの通信内容(通信12、通信14)を図50に示す。図50で示すように、3Dメガネ1(18b)に対しては、左右のシャッタを交互に開くように3次元映像ゲーム機が送信する一方、3Dメガネ2(18a)に対しては、左右のシャッタを同期させて開閉するような内容の送信を行う。一方、3Dメガネ1(18b)、3Dメガネ2(18a)ともに同じくらいの疲労と判定される場合には、警告表示等の出力を行う。これにより、複数のプレーやーがプレイしている場合でも、プレーヤーの疲労度に合わせて処理を行うことができる。
以上のように、本実施の形態における視覚疲労度測定装置は、3次元映像を表示する画像表示装置(例えば、3次元映像ゲーム機)と、前記3次元映像を視聴するための3次元メガネとを備えた視覚疲労度測定システムとして構成され、前記3次元メガネが、ユーザの眼球運動を計測する眼球運動取得部と、前記眼球運動取得部が計測した眼球運動情報を、前記3次元映像を表示する映像提示部を有する画像表示装置に送信する眼球運動情報送信部とを備え、前記画像表示装置が、視聴者の左目に提示する画像及び右目に提示する画像を蓄積している画像蓄積部と、前記画像蓄積部に蓄積された前記画像を表示する映像提示部と、前記3次元メガネから送信されてきた前記ユーザの眼球運動情報を用いて前記ユーザの視覚疲労度を判定する疲労度判定部とを備えるように構成される。こにより、画像表示装置と3次元メガネとを組み合わせたシステムにより、本発明に係る視覚疲労度測定装置が実現される。
なお、本実施の形態では、3次元メガネが画像表示装置に眼球運動情報を送信し、画像表示装置において視覚疲労度を判定したが、本発明は、このような形態に限定されない。画像表示装置において得られた視覚疲労度の判定に必要な情報を3次元メガネに送信し、3次元メガネにおいて視覚疲労度を判定してもよい。その場合の3次元メガネは、左目に提示する画像及び右目に提示する画像を含む3次元映像を視聴するための3次元メガネであって、前記ユーザの眼球運動を計測する眼球運動取得部と、前記眼球運動取得部から前記ユーザの眼球運動情報を受信し、前記ユーザの眼球運動情報を用いて、前記ユーザの視覚疲労度を判定する疲労度判定部とを備えてもよい。これにより、3次元メガネにおいて視覚疲労度が算出される。
以上、本発明に係る視覚疲労度測定装置およびその方法について、実施の形態1〜3、その変形例を用いて説明したが、本発明は、これらの実施の形態および変形例に限定されるものではない。本発明の主旨を逸脱しない範囲で、各実施の形態および変形例に対して当業者が思いつく各種変形を施して得られる形態や、各実施の形態および変形例における構成要素を任意に組み合わせて得られる形態も、本発明に含まれる。
たとえば、上記実施の形態および変形例において複数人数のプレーヤー100がプレーする場合、プレーヤー100ごとに疲労度を判定するとしてもよい。
また、実施の形態1〜3において、ゲーム開始から終了までの処理を説明したが、プレーヤー100ごとに視覚性疲労の状態を蓄積する記憶部を備え、過去のゲーム実施時の疲労の状態よりプレーヤー100ごとに学習して個人適応する個人適応部を備えても良い。これにより、個人内での疲労状態の変化に、より高い精度で対応することができる。
また、上記実施の形態および変形例では、眼球運動より疲労状態を定量的に計測した。ここで、定量化された疲労度合と、その経過時間を利用することで、ユーザごとに、連続してゲームができる時間を予測することも可能になる。特に、ストーリー性のあるゲームを行う場合には、システムからの疲労に関するメッセージをだされても、中断することが困難な場合がある。そこで、ゲームの進行度合と、ユーザの眼球の疲労度合から、中断できそうな時点を推定し、その時点でユーザに対してアドバイスすることが考えられる。
例えば、疲労の兆候が検出され、あと30分程度すると、疲労状態になると判断されるときに、ちょうどゲームの切れ目になったときには、あと少しはゲームを継続できるが、その時点で、一旦セーブすることをシステムが提案することが考えられる。このように、ゲームの進行度合と、ユーザの疲労度合とを加味して、ゲームを中断する時点を、ユーザに提案することも可能になる。
なお、実施の形態および変形例において、射撃シーンを例に説明したが、車やバイクのレースを題材にしたゲームの場合に障害物を避ける等の操作に基づいて視覚対象物を特定して眼球運動を比較しても良い。また、サッカーのような集団で行うスポーツを題材にしたゲームの場合に操作しようとする選手の切り替え指示や、パスやシュートの操作に基づいて視覚対象物を特定して眼球運動を比較しても良い。
また、上記ブロック図(図3、図43など)の各機能ブロックは、半導体集積回路であるLSIで実現されてもよい。そのLSIは、機能ブロックごとに1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。なお、ここでは、LSIとは、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されるものが含まれる。
また、集積回路化の手法としては、LSI化に限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用して集積回路化をしてもよい。
また、上記実施の形態における視覚疲労度測定装置は、図10を用いて説明したように、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムで実現されてもよい。ここで、RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。マイクロプロセッサがそのコンピュータプログラムにしたがって動作することにより、視覚疲労度測定装置はその機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
すなわち、そのようなプログラムは、コンピュータ(あるいは、プロセッサ)に、3次元映像を視聴しているユーザの視覚疲労度を測定する視覚疲労度測定方法であって、前記3次元映像を構成する左目用映像と右目用映像とを前記ユーザに提示する映像提示ステップと、提示された映像に対する前記ユーザの操作を受け付ける操作入力ステップと、前記映像の中の視覚対象物を特定する情報と前記視覚対象物が前記映像提示ステップで提示される時刻を示す情報とを含む対象物領域情報を記憶している対象物領域情報記憶部を参照することで、前記操作入力ステップが所定の操作を受け付けた場合に、前記所定の操作を受け付けた時刻に前記映像提示ステップで提示されていた映像の中の前記視覚対象物を前記ユーザが注視していたと判断する注視対象物特定ステップと、前記映像における前記視覚対象物の奥行きを示す対象物奥行き情報を記憶している対象物奥行き情報記憶部を参照することで、前記注視対象物特定ステップで特定された視覚対象物の奥行きの変化に基づいて、前記視覚疲労度を測定する検査のための時間区間を2つ以上決定する検査区間決定ステップと、前記映像提示ステップで提示された映像に対する前記ユーザの左右の眼球運動を示すデータを取得する眼球運動取得ステップと、取得された前記眼球運動を示すデータを眼球運動蓄積部に蓄積する眼球運動蓄積ステップと、前記眼球運動蓄積部に蓄積されているデータから、前記検査区間決定ステップで決定された2つ以上の時間区間のそれぞれにおける眼球運動を示すデータを抽出する眼球運動抽出ステップと、前記眼球運動抽出ステップで抽出されたデータに基づいて、前記2つ以上の時間区間での眼球運動を比較する眼球運動比較ステップと、前記眼球運動比較ステップでの比較結果から前記ユーザの視覚疲労度を判定する疲労度判定ステップとを実行させてもよい。
また、上記実施の形態における視覚疲労度測定装置を構成する構成要素の一部または全部は、脱着可能なICカードまたは単体のモジュールから構成されてもよい。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、超多機能LSIを含んでもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有してもよい。
また、本発明は、上記実施の形態におけるフローチャートに示す方法として実現してもよい。また、その方法をコンピュータにより実現するコンピュータプログラムとして実現してもよいし、そのコンピュータプログラムを表すデジタル信号として実現してもよい。さらに、そのコンピュータプログラムまたはデジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc)、半導体メモリなどに記録した記録媒体として実現してもよい。
また、上記コンピュータプログラムまたはデジタル信号は、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送することができるのは言うまでもない。
また、上記コンピュータプログラムまたはデジタル信号を記録媒体に記録して移送することにより、または、上記コンピュータプログラムまたはデジタル信号をネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより、本発明に係る視覚疲労度測定装置またはその方法を実施してもよい。
本発明にかかる視覚疲労度測定装置は、ゲーム等の3次元映像を視聴しているユーザの視覚疲労度を測定する装置として、つまり、3次元映像に対して視聴者が操作を行う場合に広く利用可能であり、特に、ゲームのシステムを構築する際に有用である。また、遠隔作業や遠隔手術あるいは教育、訓練用のバーチャルリアリティによる体験システム等の用途にも応用できる。
1、2、3 視覚疲労度測定装置
10、12 記憶部
11 入力部
13 出力部
14、30 CPU
15 ROM
16 RAM
17 入出力I/F
18、18a、18b 3Dメガネ
20 コンピュータ
31 メモリ
33 プログラム
100 プレーヤー
110、111 映像情報蓄積部
112 シーン制御部
113、591 計時部
120 映像提示部
130 対象物領域情報記憶部
140 操作入力部
150 操作履歴蓄積部
160、560 注視対象物特定部
161 射撃情報取得部
162 時間区間情報取得部
163 領域情報取得部
164 照準位置生成部
165 対象物特定部
166 検査可能区間決定部
170、570 検査可能区間蓄積部
180 対象物奥行き情報記憶部
185 奥行き変動量総和計算部
190、590 検査区間決定部
191 ID・時間区間取得部
192 3次元軌道取得部
193 同一軌道検索部
194 比較区間決定部
200 眼球運動取得部
201 カメラ
202 画像蓄積部
203 画像処理部
210 眼球運動蓄積部
211、901 ハーフミラー
212、902 赤外線カメラ
213 赤外線光源
220 眼球運動抽出部
221 時間区間取得部
222 データ抽出部
230、330 眼球運動比較部
231 データ分割部
232 右目データ蓄積部
233 左目データ蓄積部
234 右目データ比較部
235 左目データ比較部
240、340 疲労度判定部
250 出力部
251〜259 電極
260 生体信号アンプ
261 信号処理部
331 左右差データ生成部
332 左右差データ蓄積部
333 左右差データ比較部
510 対象映像情報生成部
511 検査対象物抽出部
512 対象物情報検索部
513 映像データ取得部
514 映像生成部
515 検査用対象物奥行き情報蓄積部
516 検査用対象領域情報蓄積部
592 検査実行決定部
593 検査不能判定部
903 立体視用液晶シャッタ
904 ディスプレイ
2600 眼球運動送信情報生成部
2601 眼球運動情報送信部
2602 眼球運動情報受信部
2603 同期信号送信部
2604 同期信号受信部
2605 シャッタ制御部
2610 3次元映像ゲーム機

Claims (18)

  1. 3次元映像を視聴しているユーザの視覚疲労度を測定する視覚疲労度測定装置であって、
    前記3次元映像を構成する左目用映像と右目用映像とを前記ユーザに提示する映像提示部と、
    提示された映像に対する前記ユーザの操作を受け付ける操作入力部と、
    前記操作入力部が所定の操作を受け付けた場合に、記憶部から、前記映像の中の視覚対象物を特定する情報と前記視覚対象物が前記映像提示部で提示される時刻を示す情報とを含む対象物領域情報を取得し、取得した前記対象物領域情報を参照することで、前記所定の操作を受け付けた時刻に前記映像提示部で提示されていた映像の中の前記視覚対象物を前記ユーザが注視していたと判断する注視対象物特定部と、
    前記記憶部から、前記映像における前記視覚対象物の奥行きを示す対象物奥行き情報を取得し、取得した前記対象物奥行き情報を参照することで、前記注視対象物特定部で特定された視覚対象物の奥行きの変化に基づいて、前記視覚疲労度を測定する検査のための時間区間を2つ以上決定する検査区間決定部と、
    前記映像提示部で提示された映像に対する前記ユーザの左右の眼球運動を示すデータを取得する眼球運動取得部と、
    取得された前記眼球運動を示すデータを蓄積する眼球運動蓄積部と、
    前記眼球運動蓄積部に蓄積されているデータから、前記検査区間決定部で決定された2つ以上の時間区間のそれぞれにおける眼球運動を示すデータを抽出する眼球運動抽出部と、
    前記眼球運動抽出部で抽出されたデータに基づいて、前記2つ以上の時間区間での眼球運動を比較する眼球運動比較部と、
    前記眼球運動比較部での比較結果から前記ユーザの視覚疲労度を判定する疲労度判定部と
    を備える視覚疲労度測定装置。
  2. 前記注視対象物特定部は、前記操作入力部が前記所定の操作を受け付けた場合に、前記映像提示部で提示されていた複数の視覚対象物から1つを選択し、選択した1つの視覚対象物を前記ユーザが注視していたと判断する
    請求項1記載の視覚疲労度測定装置。
  3. 前記映像提示部は、前記ユーザが視覚対象物に対して照準を合わせて射撃を行うゲームを構成する左目用映像と右目用映像とを前記ユーザに提示し、
    前記操作入力部は、前記ユーザが射撃を行うために照準を合わせる操作を受け付け、
    前記注視対象物特定部は、前記操作入力部が受け付けた前記操作から、前記ユーザが注視している視覚対象物を特定する
    請求項2記載の視覚疲労度測定装置。
  4. 前記検査区間決定部は、前記注視対象物特定部で特定された視覚対象物の奥行きの変化のうち、同一の奥行きの変化をもつ異なる2つ以上の時間区間を、前記視覚疲労度を測定する検査のための時間区間として、決定する
    請求項1記載の視覚疲労度測定装置。
  5. 前記疲労度判定部は、前記2つの時間区間における眼球運動の差が大きいほど疲労度が大きいと判定する
    請求項1記載の視覚疲労度測定装置。
  6. 前記注視対象物特定部は、前記映像提示部によって同時に提示される複数の視覚対象物を前記ユーザが注視していたと判断し、
    前記検査区間決定部では、前記注視対象物特定部で特定された複数の視覚対象物のうち、奥行きの変化の量が大きい視覚対象物が提示されている時間区間を前記検査のための時間区間の一部と特定する
    請求項1記載の視覚疲労度測定装置。
  7. 前記注視対象物特定部は、前記映像提示部によって同時に提示される複数の視覚対象物を前記ユーザが注視していたと判断し、
    前記検査区間決定部は、前記複数の視覚対象物のうち、奥行き方向の変化の速度または変化の量が大きい視覚対象物が提示されている時間区間を前記検査のための時間区間として特定する
    請求項1記載の視覚疲労度測定装置。
  8. 前記眼球運動比較部は、眼球運動の成分のうち視覚対象物の奥行き方向の動きに追随する眼球運動の成分を比較する
    請求項1記載の視覚疲労度測定装置。
  9. 前記眼球運動比較部は、左目の瞳孔中心の位置と右目の瞳孔中心の位置との差について、前記比較を行う
    請求項8記載の視覚疲労度測定装置。
  10. 前記注視対象物特定部はさらに、前記ユーザが前記視覚対象物を注視していた時間区間である検査可能区間を示す情報を生成し、
    前記視覚疲労度測定装置は、さらに、
    前記注視対象物特定部で生成された検査可能区間を示す情報を蓄積する検査可能区間蓄積部と、
    前記検査可能区間蓄積部で蓄積されている検査可能区間を示す情報に基づき、視覚対象物を含む映像を生成する対象映像情報生成部とを備え、
    前記映像提示部はさらに、前記対象映像情報生成部によって生成された映像を提示する
    請求項1記載の視覚疲労度測定装置。
  11. 前記対象映像情報生成部は、
    前記検査可能区間蓄積部で蓄積されている前記情報が示す検査可能区間における視覚対象物の奥行きの変化と同等の奥行きの変化を持つ視覚対象物を含む映像を生成する
    請求項10記載の視覚疲労度測定装置。
  12. 前記対象映像情報生成部は、
    前記検査可能区間蓄積部で蓄積されている前記情報が示す検査可能区間における視覚対象物と背景映像とのコントラストと同等のコントラストを持つ映像を生成する
    請求項10記載の視覚疲労度測定装置。
  13. 前記対象映像情報生成部は、
    前記検査可能区間蓄積部で蓄積されている情報が示す検査可能区間における視覚対象物と隣接する背景映像中の水平面を示す線分の量と同等の水平面を示す線分を持つ背景映像を生成する
    請求項10記載の視覚疲労度測定装置。
  14. 3次元映像を視聴しているユーザの視覚疲労度を測定する視覚疲労度測定方法であって、
    前記3次元映像を構成する左目用映像と右目用映像とを前記ユーザに提示する映像提示ステップと、
    提示された映像に対する前記ユーザの操作を受け付ける操作入力ステップと、
    前記映像の中の視覚対象物を特定する情報と前記視覚対象物が前記映像提示ステップで提示される時刻を示す情報とを含む対象物領域情報を記憶している対象物領域情報記憶部を参照することで、前記操作入力ステップが所定の操作を受け付けた場合に、前記所定の操作を受け付けた時刻に前記映像提示ステップで提示されていた映像の中の前記視覚対象物を前記ユーザが注視していたと判断する注視対象物特定ステップと、
    前記映像における前記視覚対象物の奥行きを示す対象物奥行き情報を記憶している対象物奥行き情報記憶部を参照することで、前記注視対象物特定ステップで特定された視覚対象物の奥行きの変化に基づいて、前記視覚疲労度を測定する検査のための時間区間を2つ以上決定する検査区間決定ステップと、
    前記映像提示ステップで提示された映像に対する前記ユーザの左右の眼球運動を示すデータを取得する眼球運動取得ステップと、
    取得された前記眼球運動を示すデータを眼球運動蓄積部に蓄積する眼球運動蓄積ステップと、
    前記眼球運動蓄積部に蓄積されているデータから、前記検査区間決定ステップで決定された2つ以上の時間区間のそれぞれにおける眼球運動を示すデータを抽出する眼球運動抽出ステップと、
    前記眼球運動抽出ステップで抽出されたデータに基づいて、前記2つ以上の時間区間での眼球運動を比較する眼球運動比較ステップと、
    前記眼球運動比較ステップでの比較結果から前記ユーザの視覚疲労度を判定する疲労度判定ステップと
    を含む視覚疲労度測定方法。
  15. 3次元映像を視聴しているユーザの視覚疲労度を測定する視覚疲労度測定装置のためのプログラムであって、
    請求項14記載の視覚疲労度測定方法に含まれるステップをコンピュータに実行させる
    プログラム。
  16. 左目に提示する画像及び右目に提示する画像を含む3次元映像を視聴するための3次元メガネであって、
    前記ユーザの眼球運動を計測する眼球運動取得部と、
    前記眼球運動取得部から前記ユーザの眼球運動情報を受信し、前記ユーザの眼球運動情報を用いて、前記ユーザの視覚疲労度を判定する疲労度判定部と
    を備えた3次元メガネ。
  17. 3次元映像を表示する画像表示装置と、前記3次元映像を視聴するための3次元メガネとを備えた視覚疲労度測定システムであって、
    前記3次元メガネは、
    ユーザの眼球運動を計測する眼球運動取得部と、
    前記眼球運動取得部が計測した眼球運動情報を、前記3次元映像を表示する映像提示部を有する画像表示装置に送信する眼球運動情報送信部とを備え、
    前記画像表示装置は、
    視聴者の左目に提示する画像及び右目に提示する画像を蓄積している画像蓄積部と、
    前記画像蓄積部に蓄積された前記画像を表示する映像提示部と、
    前記3次元メガネから送信されてきた前記ユーザの眼球運動情報を用いて前記ユーザの視覚疲労度を判定する疲労度判定部と
    を備えた視覚疲労度測定システム。
  18. 左目に提示する画像及び右目に提示する画像を含む3次元映像を視聴するための3次元メガネであって、
    左目に提示する画像及び右目に提示する画像の切換に関する信号を同期受信する同期信号受信部と、
    前記同期信号に基づいて、右目のシャッタと左目のシャッタによる映像の遮蔽を切り替えるシャッタ制御部と、
    前記3次元メガネの眼球運動を計測する眼球運動取得部と、
    前記眼球運動取得部が計測した眼球運動情報を、前記3次元映像を表示する映像提示部を有する画像表示装置に送信する眼球運動情報送信部と
    を備えた3次元メガネ。
JP2012545971A 2011-05-20 2012-03-27 視覚疲労度測定装置およびその方法 Active JP5475893B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012545971A JP5475893B2 (ja) 2011-05-20 2012-03-27 視覚疲労度測定装置およびその方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011114205 2011-05-20
JP2011114205 2011-05-20
JP2012545971A JP5475893B2 (ja) 2011-05-20 2012-03-27 視覚疲労度測定装置およびその方法
PCT/JP2012/002120 WO2012160741A1 (ja) 2011-05-20 2012-03-27 視覚疲労度測定装置、その方法、視覚疲労度測定システムおよび3次元メガネ

Publications (2)

Publication Number Publication Date
JP5475893B2 JP5475893B2 (ja) 2014-04-16
JPWO2012160741A1 true JPWO2012160741A1 (ja) 2014-07-31

Family

ID=47216836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012545971A Active JP5475893B2 (ja) 2011-05-20 2012-03-27 視覚疲労度測定装置およびその方法

Country Status (4)

Country Link
US (1) US8899752B2 (ja)
JP (1) JP5475893B2 (ja)
CN (1) CN103281959A (ja)
WO (1) WO2012160741A1 (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009091845A1 (en) 2008-01-14 2009-07-23 Isport, Llc Method and system of enhancing ganglion cell function to improve physical performance
JP5369121B2 (ja) 2009-02-05 2013-12-18 Hoya株式会社 眼鏡レンズの評価方法、眼鏡レンズの設計方法、眼鏡レンズの製造方法、眼鏡レンズの製造システム、及び眼鏡レンズ
EP2600186A4 (en) * 2010-07-27 2015-04-15 Hoya Corp METHOD FOR EVALUATING GLASS OF GLASSES, METHOD FOR DESIGNING GLASS OF GLASSES, METHOD FOR MANUFACTURING GLASS OF GLASSES, AND GLASS OF GLASSES
WO2013140725A1 (ja) * 2012-03-21 2013-09-26 パナソニック株式会社 眼球疲労判定装置および眼球疲労判定方法
US9182817B2 (en) * 2013-03-12 2015-11-10 Intel Corporation Techniques for automated evaluation of 3D visual content
AU2014281725B2 (en) * 2013-06-17 2019-10-10 New York University Methods and kits for assessing neurological and ophthalmic function and localizing neurological lesions
US10690945B2 (en) * 2014-02-18 2020-06-23 Essilor International Method for optimizing an optical lens equipment for a wearer
JP6689203B2 (ja) 2014-03-19 2020-04-28 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 立体ビューワのための視線追跡を統合する医療システム
CN106456148B (zh) 2014-03-19 2020-06-12 直观外科手术操作公司 使用眼球凝视跟踪的医疗装置、系统和方法
KR102184272B1 (ko) * 2014-06-25 2020-11-30 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
EP3166472B1 (en) * 2014-07-07 2020-11-25 Neurolens, Inc. System for measuring visual fixation disparity
AU2015301370B2 (en) * 2014-08-04 2020-04-30 New York University Methods and kits for diagnosing, assessing or quantitating drug use, drug abuse and narcosis, internuclear ophthalmoplegia, attention deficit hyperactivity disorder (ADHD), chronic traumatic encephalopathy, schizophrenia spectrum disorders and alcohol consumption
CN104185020B (zh) * 2014-08-07 2016-04-20 中国科学院软件研究所 一种检测立体视觉疲劳度的系统及方法
CN104146678B (zh) * 2014-08-14 2016-05-04 上海亿保健康管理有限公司 基于智能手机的眼睛疲劳度数据分析方法
CN104398235A (zh) * 2014-12-04 2015-03-11 张晓� 一种眼部疲劳检测仪
ES2904686T3 (es) * 2015-01-20 2022-04-05 Green C Tech Ltd Método y sistema para prueba de visión automática
KR20170125818A (ko) * 2015-03-01 2017-11-15 노바사이트 리미티드 안구 운동성을 측정하는 시스템 및 방법
KR102072788B1 (ko) 2015-04-30 2020-03-12 삼성전자주식회사 휴대 장치 및 휴대 장치의 콘텐트 화면 변경방법
CN104873209A (zh) * 2015-05-26 2015-09-02 陈莹莹 一种疲劳检测电路
CN107710050A (zh) 2015-06-30 2018-02-16 3M创新有限公司 照明器
EP3113134B1 (en) * 2015-07-01 2019-03-06 Essilor International A user fatigue level analysis component
US10089827B2 (en) * 2015-12-11 2018-10-02 Igt Canada Solutions Ulc Enhanced electronic gaming machine with gaze-based popup messaging
JP6714402B2 (ja) 2016-03-18 2020-06-24 国立大学法人大阪大学 眼疲労検査装置及び眼疲労検査方法
CA3020390A1 (en) * 2016-04-08 2017-10-12 Vizzario, Inc. Methods and systems for obtaining, aggregating, and analyzing vision data to assess a person's vision performance
EP3463045B1 (en) 2016-05-29 2022-07-06 Nova-Sight Ltd. Display system and method
CN106200004A (zh) * 2016-07-15 2016-12-07 宇龙计算机通信科技(深圳)有限公司 提醒方法、智能眼镜及车载系统
US10188292B2 (en) * 2016-09-08 2019-01-29 Howard P. Apple Device for screening convergence insufficiency and related computer implemented methods
JP6945127B2 (ja) * 2016-09-16 2021-10-06 パナソニックIpマネジメント株式会社 ストレスマネジメントシステム、ストレスマネジメント方法及びコンピュータプログラム
EP3515284B1 (en) 2016-09-23 2023-09-20 Novasight Ltd. Screening apparatus
US10048511B2 (en) 2016-10-08 2018-08-14 eyeBrain, Medical, Inc. Eye-strain reducing lens
US10048512B2 (en) 2016-10-08 2018-08-14 eyeBrain, Medical, Inc. Low-convergence spectacles
US10338409B2 (en) 2016-10-09 2019-07-02 eyeBrain Medical, Inc. Lens with off-axis curvature center
CN106851246B (zh) 2017-02-06 2019-08-23 京东方科技集团股份有限公司 用于确定三维图像或视频的视觉疲劳度的方法和设备
US10314483B2 (en) * 2017-03-01 2019-06-11 The Johns Hopkins University Fast X-Y axis bright pupil tracker
US11589745B2 (en) 2017-09-05 2023-02-28 Neurolens, Inc. Method and system for measuring binocular alignment
US10420467B2 (en) 2017-09-05 2019-09-24 eyeBrain Medical, Inc. Method and system for measuring binocular alignment
CN108182377A (zh) * 2017-11-21 2018-06-19 合肥工业大学 基于摄影测量技术的人眼视线检测方法及装置
KR102055486B1 (ko) * 2017-12-12 2019-12-12 한국과학기술원 움직임 불일치의 딥 러닝 분석을 이용한 vr 콘텐츠 멀미 평가 장치 및 그 방법
US11360329B2 (en) 2017-12-31 2022-06-14 Neurolens, Inc. Negative power eye-strain reducing lens
US10921614B2 (en) 2017-12-31 2021-02-16 Neurolens, Inc. Low-convergence negative power spectacles
US10908434B2 (en) 2018-01-01 2021-02-02 Neurolens, Inc. Negative power lens with off-axis curvature center
CN108310759B (zh) * 2018-02-11 2021-04-16 Oppo广东移动通信有限公司 信息处理方法及相关产品
KR102141740B1 (ko) * 2018-12-06 2020-08-05 연세대학교 산학협력단 가상현실 콘텐츠 시청 시 사용자가 느끼는 피로도 예측 장치 및 방법
CN109771952A (zh) * 2018-12-28 2019-05-21 努比亚技术有限公司 基于游戏疲劳度的提醒方法、终端及计算机可读存储介质
CN111387933B (zh) * 2019-01-02 2023-05-05 见臻科技股份有限公司 监控视觉疲劳的方法和光学系统
US10831266B2 (en) 2019-01-03 2020-11-10 International Business Machines Corporation Personalized adaptation of virtual reality content based on eye strain context
CN111012345A (zh) * 2019-12-31 2020-04-17 中科诺泰(山东)智能科技有限公司 眼部疲劳度检测系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0918894A (ja) * 1995-06-26 1997-01-17 Sanyo Electric Co Ltd 立体映像表示装置
JPH09218375A (ja) * 1996-02-08 1997-08-19 Canon Inc 疲労判定方法及びそれを用いた観察装置
JP2000259854A (ja) * 1999-01-01 2000-09-22 Sega Enterp Ltd ゲーム機
WO2012157177A1 (ja) * 2011-05-19 2012-11-22 パナソニック株式会社 輻輳能力判定装置及びその方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04121880A (ja) 1990-09-11 1992-04-22 Nec Ibaraki Ltd 磁気ディスク装置
JPH074343B2 (ja) * 1992-09-29 1995-01-25 株式会社エイ・ティ・アール視聴覚機構研究所 奥行き知覚分析装置
US8002408B2 (en) * 2009-08-03 2011-08-23 Nike, Inc. Anaglyphic depth perception training or testing
JP2011064894A (ja) * 2009-09-16 2011-03-31 Fujifilm Corp 立体画像表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0918894A (ja) * 1995-06-26 1997-01-17 Sanyo Electric Co Ltd 立体映像表示装置
JPH09218375A (ja) * 1996-02-08 1997-08-19 Canon Inc 疲労判定方法及びそれを用いた観察装置
JP2000259854A (ja) * 1999-01-01 2000-09-22 Sega Enterp Ltd ゲーム機
WO2012157177A1 (ja) * 2011-05-19 2012-11-22 パナソニック株式会社 輻輳能力判定装置及びその方法

Also Published As

Publication number Publication date
JP5475893B2 (ja) 2014-04-16
US8899752B2 (en) 2014-12-02
CN103281959A (zh) 2013-09-04
US20130044291A1 (en) 2013-02-21
WO2012160741A1 (ja) 2012-11-29

Similar Documents

Publication Publication Date Title
JP5475893B2 (ja) 視覚疲労度測定装置およびその方法
US10231614B2 (en) Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
US11061240B2 (en) Head-mountable apparatus and methods
CN112567287A (zh) 具有帧调制功能的增强现实显示
JP5460691B2 (ja) 注視対象判定装置及び注視対象判定方法
CN103181180B (zh) 提示控制装置以及提示控制方法
KR101433786B1 (ko) 화상 표시 장치, 게임 프로그램, 및 게임 제어 방법
US20080181452A1 (en) System and method for Three-dimensional interaction based on gaze and system and method for tracking Three-dimensional gaze
JP5148016B2 (ja) 立体映像提供装置及びその方法
JP5869770B2 (ja) 視覚認知検査システム、訓練システムおよび支援システム
JP7471572B2 (ja) キャリブレーションシステム、及び、キャリブレーション方法
US20120194648A1 (en) Video/ audio controller
JP6097919B2 (ja) 立体視映像のための画像表示システム及び3次元表示装置
JP5096643B1 (ja) 輻輳能力判定装置及びその方法
JP2021515302A (ja) 視線追跡方法および装置
EP4073572A1 (en) Systems and methods for improving binocular vision
WO2017022303A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2012209941A (ja) 立体視訓練支援装置、立体視訓練支援システム、画像処理装置、画像処理方法、及びプログラム
JP6806062B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR20190088247A (ko) 뇌연결성 기반의 시지각 트레이닝 장치, 방법 및 프로그램
EP4120052A1 (en) Head-mountable display systems and methods
KR20150107511A (ko) 공간주시특성을 이용한 공간탐색 특성정보 추출방법
Boev et al. Parameters of the human 3D gaze while observing portable autostereoscopic display: a model and measurement results
WO2023195995A1 (en) Systems and methods for performing a motor skills neurological test using augmented or virtual reality
JP2006042280A (ja) 画像処理装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140206

R150 Certificate of patent or registration of utility model

Ref document number: 5475893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150