JP6899816B2 - 両眼視機能不全の処置のための方法、システム、及び装置 - Google Patents

両眼視機能不全の処置のための方法、システム、及び装置 Download PDF

Info

Publication number
JP6899816B2
JP6899816B2 JP2018503585A JP2018503585A JP6899816B2 JP 6899816 B2 JP6899816 B2 JP 6899816B2 JP 2018503585 A JP2018503585 A JP 2018503585A JP 2018503585 A JP2018503585 A JP 2018503585A JP 6899816 B2 JP6899816 B2 JP 6899816B2
Authority
JP
Japan
Prior art keywords
eye
visual
user
game
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018503585A
Other languages
English (en)
Other versions
JP2018532439A (ja
Inventor
リン アルバレツ,タラ
リン アルバレツ,タラ
バイト ダントニオ−ベルタグノッリ,ジョン
バイト ダントニオ−ベルタグノッリ,ジョン
ギオイア,ロバート
シェイマン,ミッチェル
ヤーモス,チャン
Original Assignee
ニュー ジャージー インスティチュート オブ テクノロジー
ニュー ジャージー インスティチュート オブ テクノロジー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ニュー ジャージー インスティチュート オブ テクノロジー, ニュー ジャージー インスティチュート オブ テクノロジー filed Critical ニュー ジャージー インスティチュート オブ テクノロジー
Publication of JP2018532439A publication Critical patent/JP2018532439A/ja
Application granted granted Critical
Publication of JP6899816B2 publication Critical patent/JP6899816B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61FFILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H5/00Exercisers for the eyes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/02Subjective types, i.e. testing apparatus requiring the active assistance of the patient
    • A61B3/08Subjective types, i.e. testing apparatus requiring the active assistance of the patient for testing binocular or stereoscopic vision, e.g. strabismus
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H5/00Exercisers for the eyes
    • A61H5/005Exercisers for training the stereoscopic view
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5007Control means thereof computer controlled
    • A61H2201/501Control means thereof computer controlled connected to external computer devices or networks
    • A61H2201/5015Control means thereof computer controlled connected to external computer devices or networks using specific interfaces or standards, e.g. USB, serial, parallel
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61HPHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H2201/00Characteristics of apparatus not provided for in the preceding codes
    • A61H2201/50Control means thereof
    • A61H2201/5023Interfaces to the user
    • A61H2201/5043Displays
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8094Unusual game types, e.g. virtual cooking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Rehabilitation Therapy (AREA)
  • Pain & Pain Management (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Vascular Medicine (AREA)
  • Rehabilitation Tools (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、両眼視機能不全の処置のための方法、システム、及び装置に関する。
政府支援
本発明は、ナショナルサイエンスファウンデーション(National Science Foundation)によって授与された助成CBET122825の下での政府支援によって行われた。政府は、本発明において一定の権利を有する。
両眼視機能不全は、全体人口の4%から8%の間、脳傷害人口の40%から50%の間に存在する。両眼視機能不全の例としては、それに限定はされないが、眼振(nystagmus)、斜視(strabismus)、輻輳不全(CI: convergence insufficiency)、輻輳過剰、開散不全(divergence insufficiency)及び開散過剰が挙げられる。両眼視機能不全の視覚的症状は、例えば、携帯電子デバイス(例えば、スマートフォン、タブレット等)の長時間使用によることに加えて、任意の近傍視覚タスク(例えば、読書、コンピュータワーク等)によって悪化して、両眼視機能不全を患う人の職業上及び余暇上の活動に悪影響を与える可能性がある。読書又はその他の近傍作業に従事するときに、両眼視機能不全に関連する眼精疲労症状(asthenopic symptoms)として、それに限定はされないが、複視/ぼやけ眼、疲れ目、視覚疲労、及び頭痛を挙げることができ、これらはすべて、日常生活の活動に悪影響を与える。視力治療は、両眼視機能不全を処置するために一般的に使用される一つの治療介入である。
CIは、輻輳近点の低下と、遠視空間と比較して、近くで眼が外向きに移動する傾向(外斜位(exophoria))とを特徴とする、両眼視視覚障害である。CIを有する人が体験する症状としては、ぼやけ眼若しくは複視、頭痛、目の疲れ、及び/又は人が読書及びその他の近傍作業に従事するときの、注意を維持することの困難さが挙げられる。輻輳は、人の近くに位置する対象物(単数又は複数)に眼を向けるための眼の内向きの回転であって、人が読書しているか、又はコンピュータで作業しているときなど、人の近くに位置する対象物を見るときに、視力を維持するために必要である。CIを有する人々は、近傍視覚タスクを数分実行するうちに、視覚的症状を体験する可能性がある。このことは、両眼視機能不全のある脳傷害を有する人々に対して、特に当てはまる。
患者の眼の機能を向上させるために、多くの形態のリハビリテーションが反復パターンを利用するが、そのような反復パターンは、患者の退屈を生じ、さらに処方遵守も得られない可能性がある。人の注意を刺激して引き込むように設計されたプロトコル(protocols)が、視力治療の分野では全体的に不足している。さらに、リソースを保存する努力として、保険会社は、通常、視力治療には支払いをしないか、又は視力症状を矯正するのに真に必要とされるほど多くのセッションを補償しない。結果として、両眼視機能不全治療に対して対価を支払う個人的な資源を所有しない人々は、彼らが必要とする治療を受けることができず、両眼視機能不全の症状を不必要に患うことがある。すなわち、従来式の視力治療を増強することのできる技法を提供する必要性がまだある。
本開示の例示的な実施形態は、視力治療のためのシステム、方法、及び装置に関する。ヘッドマウントディスプレイの立体視的な効果を使用する三次元(3D)ゲームは、眼球運動によって制御することができる。ゲームに組み込まれている視覚刺激は、輻輳開散眼球運動を最適化するように描画することができる。例えば、ゲーム内の視覚刺激は、ステップ、ランプ、ステップとランプの組合せ、又はオープンループ刺激として描画することができる。ステップは、輻輳開散角度要求の急激な変化であり、それによって眼球が遠くから近くまで迅速に移動する。これは、臨床学的には、ジャンプダクション(jump duction)と呼ばれる。それは、例えば、人がその人の中央線に沿って2本の鉛筆を(片手を鼻に近く、他方の手を中央線上でいっぱいに伸ばして)保持する場合に、人が片手の鉛筆から、次いで他方を見るときに生じる、眼球運動である。ランプは、野球の打者が視覚中央線に沿って接近する速球を追跡するような、円滑な追跡ターゲットである。オープンループ刺激は、現在眼球位置を採取して、患者に示される網膜視差の量を強制するように、現在視覚刺激を変化させる。このことは、両眼視機能不全のある患者においては機能不全である可能性のある、視差性輻輳開散の事前プログラムされた成分だけへの刺激が可能であることから、重要であり得る。
視覚刺激は、左眼と右眼の間の両眼視協調を向上させるために、3Dゲームにおいて左右の眼に対して非対称に呈示することもできる。例えば、刺激が中央線に沿って呈示されるときに、一方の眼が、他の位置の眼に比較して、より遅い内向き又は外向きの回転を有することがある。本開示の例示的な実施形態は、各眼の速度を定量化し、いずれの眼が遅いかを判定し、次いで、両眼の対称的両眼視協調を改善するために、ゲームにおける視覚刺激を調整することができる。遅い方の眼は、その眼に対して呈示される視覚刺激の速度を増大させることによって改善することもできる。
一部の患者はまた、片眼を他方の眼と比較すると、片眼が視覚刺激をより鋭敏に知覚するという、感覚的な優位性を有する。この視知覚は、患者が抑制を体験するときによくある。患者が視覚的抑制を表わしている場合には、本開示の例示的な実施形態は、非優位の眼が、優位の眼と比較して、より強い視覚刺激を見るように、3Dで描画される視覚刺激を調整することができる。
本開示の例示的な実施形態を介して実現される視覚刺激は、調節性キュー(accommodative cues)を低減するために、ガボールパッチ(Gabor Patch)及び/又は細字等の小型ターゲットを使用することができる。ガボールパッチは、調節性キューを低減することが知られている複数のガウシアン差分(difference of Gaussian)刺激で構成されている。3Dゲームの実施形態は、調節性キューを最小に保ちながら、視差性輻輳開散を第一に誘発することができ、両眼視機能不全のあるユーザにおける治療介入に使用することができる。3Dゲームの実施形態は、眼球運動位置を統合して、ユーザの現在の眼球位置に基づいて、3Dゲームにおいて描画される視覚刺激を動的に修正することができる。3Dゲームの実施形態はまた、聴覚バイオフィードバックを統合して、ユーザが自分の眼球運動を制御することを学ぶのを助けることのできる音を出力することができる。3Dゲームの実施形態は、従来式の臨床治療介入と比較して、より多くユーザの注意を引き込む可能性がある。
本開示の実施形態によれば、両眼視機能不全のあるユーザにおける視覚的症状を矯正する方法が開示される。この方法は、一つ以上のディスプレイ上に視覚治療ビデオゲームを描画するステップと、視覚治療ビデオゲームを介してユーザの眼の調節性刺激及び近位輻輳開散刺激を制御するステップとを含む。視覚治療ビデオゲームは、統合化眼球追跡ハードウェア及びソフトウェアを備えるヘッドマウントディスプレイによって描画することができる。視差性輻輳開散の事前プログラムされた部分を視覚治療ビデオゲームによって刺激するとともに、視差性輻輳開散のフィードバック部分を制限することができる。視覚治療ビデオゲームは、仮想現実ビデオゲームであり得、及び/又は調節性刺激を制限するために、一つ以上の視覚キューを含むことができる。
本開示の実施形態によれば、ユーザの左眼又は右眼を、左眼と右眼の間のピーク速度差に基づいて、視覚治療ビデオゲームを介して非対称的に刺激することができる。非対称の刺激の大きさは、左眼と右眼の位置から導出することができる。非対称刺激の大きさは、視覚的抑制を制限するために動的に変化することができる。
本開示の実施形態によれば、ユーザの左眼及び右眼のリアルタイムの物理的眼球運動が検出できるとともに、視覚治療ビデオゲームのための入力として使用することができる。リアルタイムの物理的眼球運動に基づいて、ユーザの左眼と右眼が融合している三次元仮想現実空間における点を特定することができる。
本開示の実施形態によれば、両眼視機能不全を処置する方法が開示される。この方法は、仮想現実ビデオゲームを描画して、調節性刺激及び近位輻輳開散刺激を制限するように構成されているヘッドマウントディスプレイを、ユーザに装着させるステップと、仮想現実ビデオゲームを介して視差性輻輳開散を刺激して、視差性輻輳開散の事前プログラムされた部分を刺激するとともに、視差性輻輳開散のフィードバック部分を制限するステップと、ヘッドマウントディスプレイによって描画された仮想現実ビデオゲームによって表示される視覚刺激を介して、ユーザの左眼又は右眼を非対称的に刺激するステップとを含む。左眼及び右眼は、左眼と右眼との間の非対称ピーク速度差に基づいて、非対称的に刺激される。本方法は、ヘッドマウントディスプレイによって描画される仮想現実ビデオゲームを介して、ユーザの左眼又は右眼を非対称的に刺激して、視覚的抑制を制限するステップをさらに含む。仮想現実ビデオゲームは、三次元仮想空間における仮想現実ビデオゲームを描画するために、立体視的に描画することができる。
ヘッドマウントディスプレイは、仮想現実ビデオゲームを描画するように構成された、左眼(又は第一)ディスプレイ及び右眼(又は第二)ディスプレイを含むとともに、右眼ディスプレイに近接して配置された右眼イメージ取込みデバイス及び左眼イメージ取込みデバイスに近接して配置された左眼イメージ取込みデバイスを含むことができるとともに、本方法は、左右のイメージ取込みデバイスによって取り込まれた左眼及び右眼のイメージと、左眼ディスプレイ及び右眼ディスプレイの視認に応じた左眼及び右眼の動きとに基づいて、左眼と右眼の間の非対称ピーク速度差を特定するステップをさらに含むことができる。ヘッドマウントディスプレイがユーザの頭部に装着されているときの、右眼と右眼ディスプレイとの間の焦点距離。本方法は、仮想現実ビデオゲームにおいて非対称的刺激の大きさを動的に調整して、視覚的抑制を制限するステップを含むこともできる。
本開示の実施形態によれば、両眼視機能不全のあるユーザにおける視覚的症状を矯正するためのシステムが開示される。このシステムは、コンピューティングシステムとヘッドマウントディスプレイとを含む。コンピューティングシステムは、視覚治療ビデオゲームを実行するように構成されている。ヘッドマウントディスプレイは、コンピューティングシステムに動作可能に連結されている。ヘッドマウントディスプレイは、左眼ディスプレイと、右眼ディスプレイと、ヘッドマウントディスプレイの左眼ディスプレイ及び右眼ディスプレイにイメージを描画して立体視効果を生成するように構成されている、一つ以上のディスプレイコントローラと、左眼ディスプレイに近接して配置された第一のイメージ取込みデバイスと、右眼ディスプレイに近接して配置された第二のイメージ取込みデバイスとを含む。第一のイメージ取込みデバイスは、ヘッドマウントディスプレイのユーザの左眼のイメージを取り込むように構成されており、第二のイメージ取込みデバイスは、ユーザの右眼のイメージを取り込むように構成されている。コンピューティングシステムは、ヘッドマウントディスプレイに視覚治療ビデオゲームを出力する。ヘッドマウントディスプレイは、第一及び第二のイメージ取込みデバイスによって取り込まれたイメージに基づいて右眼と左眼の位置を出力し、コンピューティングシステムは、右眼と左眼の位置に基づいて視覚治療ビデオゲームを制御する。視覚治療ビデオゲームにおける進展は、視覚治療ビデオゲームにおける視覚刺激上にユーザの左眼と右眼が融合することの検出に基づいて制御される。左眼及び右眼ディスプレイは、視覚治療ビデオゲームを描画して、視差性輻輳開散の事前プログラムされた部分を刺激するとともに、視差性輻輳開散のフィードバック部分を制限することができる。コンピューティングシステムによる視覚治療ビデオゲームの実行に応答して、左眼ディスプレイ又は右眼ディスプレイは、視覚治療ビデオゲームを描画して、ユーザの左眼又は右眼を非対称的に刺激することができる。非対称刺激は、左眼と右眼の間のピーク速度差に基づくことができる。非対称刺激の大きさは、左眼と右眼の位置から導出される。
実施形態の任意の組合せ及び/又は順列が考えられる。その他の目的及び特徴は、添付の図面と合わせて考慮される、以下の詳細な説明から明白になるであろう。しかしながら、図面は、説明目的としてだけで設計されており、本開示の限界の定義として設計されていないことを理解されたい。
当業者が開示されたシステム及び方法の実施と使用の仕方をより良く理解するように、以下の添付の図面を参照する。
ガボールパッチの例を示す図である。 本開示の例示的な実施形態による、例示的な視力治療システムを示す図である。 図2に示されるコンピューティングシステムの例示的な実施形態のブロック図である。 ヘッドマウントディスプレイの実施形態における眼球追跡構成要素を支持するのに使用することのできる、例示的な機械式固定具の概略図である。 ヘッドマウントディスプレイの実施形態において眼球追跡構成要素を支持するのに使用することのできる、別の例示的な機械式固定具を示す図である。 ヘッドマウントディスプレイの実施形態において眼球追跡構成要素を支持するのに使用することのできる、別の例示的な機械式固定具を示す図である。 ヘッドマウントディスプレイの実施形態において眼球追跡構成要素を支持するのに使用することのできる、別の例示的な機械式固定具を示す図である。 ヘッドマウントディスプレイの実施形態において眼球追跡構成要素を支持するのに使用することのできる、別の例示的な機械式固定具を示す図である。 ヘッドマウントディスプレイの実施形態において眼球追跡構成要素を支持するのに使用することのできる、別の例示的な機械式固定具を示す図である。 ヘッドマウントディスプレイの実施形態において眼球追跡構成要素を支持するのに使用することのできる、別の例示的な機械式固定具を示す図である。 コントローラ及びイメージ取込みデバイスがそれに取り付けられた、図5A〜Fに示される機械式固定具の実施形態を示す図である。 本開示の例示的な実施形態による、ヘッドマウントディスプレイのディスプレイ構造の左眼ポータルに対して取り付けられた、図6における機械式固定具、コントローラ、及びイメージ取込みデバイスを示す図である。 本開示の例示的な実施形態による、それに取り付けられた眼球追跡構成要素を有する機械式固定具を覆うレンズを備えるヘッドマウントディスプレイの部分を示す図である。 本開示の例示的な実施形態による、両眼視機能不全の視力治療を提供するための例示的な工程を示すフローチャートである。 本開示の例示的な実施形態による、両眼視機能不全の視力治療を提供するための例示的な工程を示すフローチャートである。 本開示の例示的な実施形態による、両眼視機能不全のあるユーザにおける視覚的症状を矯正するための例示的な工程を示す図である。
関係出願の相互参照
本出願は、2015年7月23日出願の米国特許仮出願第62/195864号に対する優先権の利益を主張するものであり、その開示が、参照によりその全文として本明細書に組み入れられている。
本開示の例示的な実施形態は、調節性輻輳開散視覚キューを抑制しながら、両眼視機能不全のある人を刺激して、制御された条件下の異なる注視の位置において、輻輳(眼の内向き回転)及び/又は開散(目の外向き回転)を伴う反復的眼球運動を促進させる。これを達成するために、例示的な実施形態は、ゲーム環境における三次元(3D)視界を利用することができる。この環境の固有の特徴として、有利には、眼球位置合わせの精度の客観的なモニタリングと、ゲームにおける進歩を眼球運動の精度と相関させることを挙げることができる。そのような特徴は、通常、従来式の視力治療処置の一部として利用可能ではなかった。例えば、従来式の視力治療処置を使用すると、施術者又は親/介護者は、患者と協働して、処置が正しく実行されているか否かを判定する。本開示の例示的な実施形態に、客観的眼球運動モニタリングを組み入れることによって、本開示の例示的な実施形態は、患者が輻輳及び/又は開散技法を正しく実行しているか否かを判定して、患者が技法を正しく実行しているか否かの判定に基づき、ゲームを通して患者の進歩を制御することができる。聴覚フィードバックを、患者が、片眼又は両眼の位置を正しく維持しているとき、又は維持していないときに、患者に警告するのに使用することができる。
本開示の例示的な実施形態は、3D視界(例えば、立体視効果を使用する)を生成するためにヘッドマウントディスプレイを利用することが可能であり、各眼球は、わずかに異なる角度又は視点において、同一の物体又は光景のイメージを受け取る。ヘッドマウントディスプレイは、患者の眼から一定の焦点距離を与え、それによって調節性刺激を低減する。ヘッドマウントディスプレイを介してユーザに表示されたイメージ内の視覚刺激(例えば、ガウシアン差分又は細字を使用するガボールパッチ等)の使用は、調節性刺激をさらに低減することができる。
本開示の例示的な実施形態において、ヘッドマウントディスプレイは、両眼視機能不全のある人々の日常生活の活動を、例えば、視力治療中の改善されたユーザの処方遵守と努力を介して大幅に改善する可能性のある、治療介入用のプラットフォームを形成することができる、仮想現実ゲーミング環境を有利に提供する。このように、本明細書に記載されたヘッドマウントディスプレイの実施形態を使用し、楽しく、創造的で、刺激のある方法で臨床学的手法を組み入れるとともに、両眼視機能不全の治療的に有効な処置を提供する、仮想現実ゲームを設計することができる。
本明細書に記載されたヘッドマウントディスプレイの実施形態を使用して、本開示の例示的な実施形態は、ユーザの眼球位置を使用して、ユーザに呈示される視覚刺激を調整する、仮想現実ゲームを実現することができ、それによって、視差性輻輳開散の事前プログラムされた部分を最適化し、視差性輻輳開散のフィードバック制御された部分の影響を低減する視覚リハビリテーションに集中させる。
視力治療は、多数の異なる手順又は形態を有するが、これら多くの技法の間の一つの共通点は、視差性輻輳開散系に対する刺激を変化させながら、調節系に対するぼやけ刺激(blur stimulus)を一定に保つことである。視差は、網膜に投射された現在のターゲットと、新規の関心のターゲットが網膜上に落ちる場所との間の差分である。現在の注視点又は視覚固定点には、中心窩に投射される現在の関心のターゲットがある。中心窩は、光受容器の最大密度を有する網膜の部分、又は網膜の「高精細」部分である。我々が自分たちの眼球を移動させる理由は、中心窩に関心の対象物を投射するためである。新規の意図するターゲットが、網膜の背面に対してより鼻寄りに(中央線に沿って)投射されると、眼球は外向きに回転するか、又は開散運動を実行しなくてはならない。逆に、新規の意図するターゲットが、網膜の背面に対してより横方向に(耳に向かって)投射されると、眼球は内向きに回転するか、又は輻輳運動を実行しなくてはならない。
本明細書に記載されるとき、輻輳不全のある人々は、近傍作業(すなわち、読書)に従事するときに、視覚的症状を有する可能性がある。視差輻輳系を強化するために、概して調節作用又はぼやけを刺激せず、眼球の内向き又は外向き回転を誘発する刺激を与える必要がある。本開示の例示的な実施形態は、有利には、調節作用又はぼやけを刺激することなく眼球運動を刺激するように意図された対象物を含む、ヘッドマウントディスプレイを介する左右のイメージを表示するように構成することができる。そのために、本開示の例示的な実施形態による視力治療のための3Dゲーミング環境は、調節及び調節性輻輳開散を一定に保ちながら、視差性輻輳開散を刺激することができる。一つの非限定の例として、ユーザが通常、明確にそれに焦点を合わせることのできない対象物を含む、ヘッドマウントディスプレイを介するイメージを描画するゲームを設計することができる。例えば、ガボールパッチを使用して形成される、(例えば、輻輳又は開散に基づいて)ユーザがその眼をそれに向ける対象物を含めて、ゲームを描画することが可能である。ガボールパッチは、図1の例示的なガボールパッチ100において示されているような、ぼやけた線として見える一連のガウシアン差分(DOG)刺激を使用する。視覚系は、ガボールパッチで形成された対象物に焦点を合わせることができず、それ故に調節系は、本開示の例示的な実施形態によって最小限に刺激され、このことは視力治療を成功させるために重要であり得る。本開示の例示的な実施形態によって描画することのできる対象物の別の非限定の例としては、人がそれに明確に焦点を合わせることのできない細字を挙げることができる。
図2は、本開示の例示的な実施形態による、例示的な視力治療システム200を示す。視力治療システム200は、ヘッドマウントディスプレイ210と、コンピューティングシステム270を含むことができる。ヘッドマウントディスプレイ210とコンピューティングシステム270とは、ヘッドマウントディスプレイ210とコンピューティングシステム270とが相互に作用して、視力治療用のゲーミング環境を実現できるように、ワイヤレス通信又は有線通信を介して相互に通信可能に連結することができる。例えば、視力治療システム200の実施形態は、それに限定はされないが、眼振、斜視、輻輳不全(CI)、輻輳過剰、開散不全及び開散過剰等の、両眼視機能不全を処置するためのゲーミング環境を提供するように構成することができる。
ヘッドマウントディスプレイ210は、ハウジング250内部に配置された回路を含む。この回路は、右眼ディスプレイ222、左眼ディスプレイ224、一つ以上の右眼イメージ取込みデバイス226、一つ以上の左眼イメージ取込みデバイス228、一つ以上の右眼発光ダイオード230、一つ以上の左眼発光ダイオード232、右眼コントローラ234、左眼コントローラ236、一つ以上のディスプレイコントローラ238、及び一つ以上のハードウェアインターフェイス240を含むことができる。前述の構成要素を含む任意のヘッドマウントディスプレイを使用して、本開示の実施形態を実現できるが、例示実施形態は、修正型Oculus Rift DK2ヘッドセットを使用することができる。
右眼及び左眼のディスプレイ222及び224は、ハウジング250がユーザの頭部に装着されているときに右ディスプレイがユーザの右眼の前に位置決めされるとともに、ハウジング250がユーザの頭部に装着されているときに左ディスプレイ224がユーザの左眼の前に位置決めされるように、ハウジング250内部に配置することができる。この構成において、右眼ディスプレイ222と左眼ディスプレイ224とは、一つ以上のディスプレイコントローラ238によって制御して、右眼及び左眼のディスプレイ222及び224上にイメージを描画し、三次元イメージを生成するのに使用することのできる立体視効果を誘発して、この場合に、ユーザの右眼と右眼ディスプレイ222の間、及びユーザの左眼と左眼ディスプレイ224の間で一定の焦点距離を維持しながら、イメージ内の対象物は、ユーザの視覚系によって異なる深さにあるように知覚されることが可能になる。例示的な実施形態において、右眼ディスプレイ222及び/又は左眼ディスプレイ224は、発光ダイオードディスプレイ、有機発光ダイオード(OLED)ディスプレイ(例えば、パッシブマトリックス(PMOLED)ディスプレイ、アクティブマトリックス(AMOLED)ディスプレイ)、及び/又は任意の好適なディスプレイとして実現することができる。
一つ以上の右眼イメージ取込みデバイス226が、ユーザが右眼ディスプレイ222を見るときにユーザの右眼のイメージを取り込むように位置決めされ、且つ配向され得るように、一つ以上の右眼イメージ取込みデバイス226は、右眼ディスプレイ222に対してハウジング250内に配置することができる。同様に、一つ以上の左眼イメージ取込みデバイス228が、ユーザが左眼ディスプレイ224を見るときにユーザの左眼のイメージを取り込むように位置決めされ、且つ配向され得るように、一つ以上の左眼イメージ取込みデバイス228は、左眼ディスプレイ224に対してハウジング250内に配置することができる。例示的な実施形態において、一つ以上の右眼及び左眼のイメージ取込みデバイス222及び224は、IR光に対して特に感度を有する(例えば、IR放射線のイメージを取り込む)ように構成された赤外線(IR)カメラであり得る。
一つ以上の発光ダイオード230が、ユーザが右眼ディスプレイ222を見るときに、ユーザの右眼に向かって光を放出するように位置決めされ、且つ配向され得るように、一つ以上の右眼発光ダイオード230は、右眼ディスプレイ222と一つ以上の右眼発光ダイオードとに対してハウジング250内に配置することができる。同様に、一つ以上の左眼発光ダイオード232が、ユーザが左眼ディスプレイ224を見るときに、ユーザの左眼に向かって光を放出するように位置決めされ、且つ配向され得るように、一つ以上の左眼発光ダイオード232は、左眼ディスプレイ224に対してハウジング250内に配置することができる。例示的な実施形態において、一つ以上の右眼及び左眼の発光ダイオード230及び232は、IR光を放出するように構成された赤外線(IR)発光ダイオードであり得る。実施形態によっては、発光ダイオードは、安全限界の約10%で、赤外光を眼の中に投射する。
右眼コントローラ234は、一つ以上の右眼イメージ取込みデバイス226に動作可能に連結して、一つ以上の右眼イメージ取込みデバイス226の動作を制御し、及び/又は一つ以上の右眼イメージ取込みデバイス226によって取り込まれた右眼のイメージを処理することができる。同様に、左眼コントローラ236は、一つ以上の左眼イメージ取込みデバイス228に動作可能に連結して、一つ以上の左眼イメージ取込みデバイス228の動作を制御し、及び/又は一つ以上の左眼イメージ取込みデバイス228によって取り込まれた左眼のイメージを処理することができる。一つの非限定の例として、右眼及び左眼のコントローラ234及び236は、それぞれ、一つ以上の右眼及び左眼のイメージ取込みデバイス222及び224の、シャッター、アパーチャ、リフレッシュレート、ディスチャージレート等を制御するように構成することができる。別の非限定の例として、右眼及び左眼のコントローラ234及び236は、ユーザが右眼及び左眼のディスプレイ226をそれぞれ見るときに、ユーザの右眼及び右眼の運動をモニタリング及び/又は追跡することができ、これは、例示的な実施形態によって、両眼視機能不全に対するユーザの視力治療を成し遂げるのに使用することができる。右眼及び左眼のコントローラ234及び236の形態における別個のコントローラが、右眼及び左眼のイメージ取込みデバイス222及び224を制御し、インターフェイスするために使用されるが、本開示の例示的な実施形態は、単一の統合化されたコントローラで実現して、右眼及び左眼のイメージ取込みデバイス222及び224を制御し、インターフェイスすることができる。
実施形態によっては、右眼コントローラ234及び/又は左眼コントローラ236は、所有権のある眼球追跡ソフトウェアを使用して眼球運動を検出するように構成されたRaspberry Piマイクロコンピュータで実現することができる。眼球追跡ソフトウェアは、C++及びOpenCV、リアルタイムビデオ処理ライブラリで開発し、及び/又は任意の好適なプログラミング言語及び/又はスクリプト言語を使用して開発することができる。実施形態によっては、(例えば、イメージ取込みデバイス及び右眼及び左眼のコントロールを含む)眼球追跡システムは、毎秒約40フレームのリアルタイム眼球追跡の能力がある。(例えば、IR光源として動作する)発光ダイオードは、ヘッドマウントディスプレイの暗い環境においてそれぞれの眼球を照射する。グレースケールイメージが、二値イメージへと閾値処理される。瞳孔と眼の残部の間の最善のコントラストをもたらすグレー値を選ぶことができる。ウィンドウアパーチャを使用して、眼を離隔して、眼の内部の瞳孔の検出を向上させることができる。閾値よりも濃い色調は保ち(黒)、閾値よりも明るい色調は除去する(白)ことができる。次いで、元のイメージの図心上に緑十字を重ね置くことができる。瞳孔、すなわち光がそれを通って吸収される眼の穴は、光を反射せず、したがって、二値画像における最も暗いスポットであり、これが瞳孔の中心を追跡することを容易にする。図心追跡情報は、処理のために、高速データ伝送に適するインターネットプロトコルであるユーザデータグラムプロトコル(UDP: User Datagram Protocol)を介して、コンピュータシステムに送ることができる。
一つ以上のディスプレイコントローラ238は、右眼及び左眼のディスプレイ222及び224に動作可能に連結されて、コンピューティングシステム270から受信される入力に応答して、及び本明細書に記載されたようなユーザの右眼と左眼の位置に応答して、右眼及び左眼のディスプレイ222及び224の動作を制御することができる。例示的な実施形態において、一つ以上のディスプレイコントローラ238は、同一の光景及び/又は対象物の、右眼及び左眼のディスプレイ上のイメージを描画するように構成することが可能であり、この場合に、光景及び/又は対象物のイメージは、わずかに異なる角度又は視点で描画されて、立体視効果を促進する。例示的な実施形態において、一つ以上のディスプレイコントローラ238は、グラフィック処理ユニットを含むことができる。
一つ以上のハードウェアインターフェイス240は、ヘッドマウントディスプレイ210とコンピューティングシステム270の間の通信を促進することができる。ヘッドマウントディスプレイ210は、コンピューティングシステム270へデータを送信するとともに、一つ以上のハードウェアインターフェイス240を介してコンピューティングシステム270からデータを受信するように構成することができる。一例として、一つ以上のハードウェアインターフェイス240を、イメージに対応する、コンピュータシステム270からデータを受信するように構成するとともに、一つ以上のディスプレイコントローラ238へそのデータを送信するように構成することが可能であり、このディスプレイコントローラ238は、右眼及び左眼のディスプレイ222及び224上にイメージを描画し、両眼視機能不全に対する視力治療を促進するように設計された、(例えば、立体視効果の結果として)三次元におけるゲームを提供することができる。同様に、一つ以上のハードウェアインターフェイス240は、それぞれ、ユーザの右眼と左眼の位置又は角度に対応する、右眼及び左眼のコントローラ234及び236からデータを受信して、コンピューティングシステム270にそのデータを送信することができ、コンピューティングシステム270は、このデータを使用して、(例えば、ユーザが、ゲーム内で特定の対象物に対して正しく輻輳動作及び開散動作をしていることを確認することによって)両眼視機能不全に対する視力治療を促進するように、ゲームの動作を制御することができる。
ハウジング250は、取付け構造252と、ディスプレイ構造254とを含むことができる。取付け構造252は、ユーザが、その頭部にヘッドマウントディスプレイ210を着用して、ユーザの右眼及び左眼によってそれぞれ、右眼及び左眼のディスプレイ222及び224を視ることを容易化するように、その眼の上にディスプレイ構造を位置決めすることを可能にする。取付け構造は、ヘッドマウントディスプレイ210を全体的に確実に安定してユーザの頭部に取り付けるように構成することができる。したがって、ユーザが頭部を左、右、上及び下に動かすときに、ヘッドマウントディスプレイ210が全体的にユーザの頭部と一緒に動くように、ヘッドマウントディスプレイ210は、ユーザの頭部に対して全体的に固定されたままとなる。
ディスプレイ構造254は、ユーザの眼を覆い、ユーザの周りの環境からの光がユーザの眼に届くのを全体的に防止するように、ユーザの顔にぴったりと嵌るように構成することができる。ディスプレイ構造254は、その中に形成された、右眼ポータル256と左眼ポータル258を含むことができる。右眼レンズ260aは右眼ポータルの上に配置し、左眼レンズ260bは左眼ポータルの上に配置することができる。右眼ディスプレイ222、一つ以上の右眼イメージ取込みデバイス226、及び一つ以上の右眼発光ダイオード230は、レンズ256が、ユーザの右眼と、右眼ディスプレイ222、一つ以上の右眼イメージ取込みデバイス226、及び一つ以上の右眼発光ダイオード230のそれぞれとの間に配置されるように、右眼ポータル256を覆うレンズ260の背後のディスプレイ構造254内部に配置することができる。左眼ディスプレイ224、一つ以上の左眼イメージ取込みデバイス228、及び一つ以上の左眼発光ダイオード232は、レンズ256が、ユーザの左眼と、左眼ディスプレイ224、一つ以上の左眼イメージ取込みデバイス228、及び一つ以上の左眼発光ダイオード232のそれぞれとの間に配置されるように、左眼ポータル258を覆うレンズ260の背後のディスプレイ構造254内部に配置することができる。
一つ以上の右眼イメージ取込みデバイス226及び一つ以上の右眼発光ダイオード230は、例示実施形態として右眼ポータルを覆うレンズ260の背後に配置されるものとして記述されたが、本開示の例示的な実施形態においては、一つ以上の右眼イメージ取込みデバイス226及び/又は一つ以上の右眼発光ダイオード230は、レンズ260が、ユーザの右眼と、一つ以上の右眼イメージ取込みデバイス226及び/又は一つ以上の右眼発光ダイオード230との間に位置決めされないように、右眼ポータルを覆うレンズ260の前方及び/又は周囲に配置することができる。同様に、一つ以上の左眼イメージ取込みデバイス228及び一つ以上の左眼発光ダイオード232は、例示実施形態として左眼ポータルを覆うレンズ260の背後に配置されるものとして記述されたが、本開示の例示的な実施形態においては、一つ以上の左眼イメージ取込みデバイス228及び/又は一つ以上の左眼発光ダイオード232は、レンズ260が、ユーザの左眼と、一つ以上の右眼イメージ取込みデバイス226及び/又は一つ以上の右眼発光ダイオード230との間に位置決めされないように、左眼ポータルを覆うレンズ260の前方及び/又は周囲に配置することができる。
コンピューティングシステム270は、ヘッドマウントディスプレイ210を介して両眼視機能不全に対する視力治療を処方するように設計された視覚治療ゲーム272を実行する一つ以上のアプリケーション及び/又はプログラムを実行するように構成することができる。このゲームは、ユーザの眼がそれに自然に引き付けられるか、又はユーザがその眼をそれに向けるように指示される対象物を含むイメージを含むことができる。対象物は、調節作用及び/又はぼやけの刺激を低減する一つ以上の技法を使用して形成することができる。例えば、対象物は、ガボールパッチ、細字、並びに/或いは調節作用及び/又はぼやけの刺激を低減する任意のその他の技法を使用して形成することができる。ゲームは、ユーザが自分の眼を対象物に向けようとするときに、ユーザの眼の位置及び/又は角度に動的に反応するように構成し、且つ/或いはユーザが、ユーザの眼の位置及び/又は角度に基づいて、対象物を移動させることを可能にする。プレイされているゲームにおいて進むためにユーザの眼を追跡することに加えて、ヘッドマウントディスプレイは、ユーザの眼の期待される及び/又は所望の位置に対して、ユーザの眼の位置を追跡及び/又はモニタリングして、輻輳開散運動パラメータを取り込むことが可能であり、これらのパラメータは、コンピューティングシステム270へ出力して(そして、コンピューティングシステムからリモートコンピューティングシステムに送信して)、臨床医による定量的及び/又は定性的評価を容易化することができる。例示的な実施形態において、ヘッドマウントディスプレイ210及び/又はコンピューティングシステム270は、視力治療のためにユーザがゲームをプレイすることのできる時間量を、安全機構を提供するための最大時間限度に制限することが可能であり、それによってユーザの眼は、ヘッドマウントディスプレイの一つ以上の発光ダイオードにより放出される赤外光に過度に露出される。本開示の実施形態を説明するために、様々なゲームの非限定の例が本明細書に記載されている。
ゲームプレイを促進するために、コンピューティングシステム270は、右眼及び左眼のディスプレイ222及び224によって描画される右及び左のイメージを含むデータをヘッドマウントディスプレイ210へ送信する。右及び左のイメージの描画に応答して、ユーザの視覚システムは、三次元空間において(例えば、立体視効果を使用して)右及び左のイメージを単一のイメージとして知覚することができる。右眼及び左眼のディスプレイ222及び224上に描画された右及び左のイメージは、それぞれ、いくつかの対象物を融合させるために、視覚系が他の対象物よりも多く輻輳しなくてはならないように、相互にオフセットさせることができる。より多く眼が輻輳するほど、視覚対象物は、ヘッドマウントディスプレイ内で人に対してより近くに見える。ユーザの眼の位置及び/又は角度は、右及び左のイメージに含まれる対象物に基づいて調整することが可能であり、一つ以上の右及び左のイメージ取込みデバイス226及び228は、それぞれ、ユーザの眼の位置及び/又は角度を追跡することが可能であり、これらをコンピューティングシステム270へ送信することができる。コンピューティングシステムは、表示されている右及び左のイメージに応答して、ユーザの眼の位置及び/又は角度を入力として受信することができる。例えば、ユーザの右眼及び左眼の位置を追跡して、ユーザの眼が融合している三次元仮想現実空間内の点を特定することができる。モニタリング又は追跡された眼球位置及び/又は角度に基づいて、ゲームを実行しているコンピューティングシステム270は、後続の右及び左のイメージを生成して、両眼視機能不全に対する視力治療を処方するために、制御された方法で輻輳又は開散を誘発することができる。ユーザの眼の位置及び/又は角度に基づいて、ユーザがゲームプレイを制御することを許可することによって、ゲームによって要求されるように自分の眼を正しく輻輳及び/又は開散させるユーザの能力が、ユーザが両眼視機能不全に対する視力治療を実施している(例えば、ゲームを介して処方されている視力治療に応じて、ユーザの眼が輻輳又は開散している)ことを確実にすることができる。例示的な実施形態において、ユーザが3Dモデルキャラクタにおいて融合できる前に、ユーザは、輻輳開散角度要求の指定されたレベル(斜視になる/開散する異なる量)に到達することを要求されてもよい。ゲームのより進歩した設定では、成功したアクションが行われる前に、より長時間、輻輳を維持することをユーザに要求することができる。
輻輳開散眼球運動を最適化するために、ゲームの右及び左のイメージ中に組み入れることのできる視覚刺激の例として、三次元において対象物のアニメーションを作成する一連の右及び左のイメージを挙げることができ、この場合に、対象物のアニメーションは、例えば、ステップ、ランプ、ステップとランプの組合せ、又はオープンループ刺激を含む。右眼及び左眼ディスプレイの右及び左のイメージに描画された視覚刺激は、視差性輻輳開散のフィードバック部分を最小にしながら、視差性輻輳開散の事前プログラムされた部分を刺激することが可能であり、ヘッドマウントディスプレイ内に含まれた眼球追跡によって検出及び/又は測定することができ、及び/又はその他の技法を使用して特定することができる左眼と右眼の間の非対称ピーク速度差(一方の眼は他方と比較して遅い)に基づいて、ユーザの左眼又は右眼を非対称的に刺激することが可能であり、並びに/或いはユーザの左眼又は右眼を非対称的に刺激して視覚的抑制を低減することが可能である。ゲームは、コンピューティングシステム270によって制御して、ヘッドマウントディスプレイの眼球追跡を介して(例えば、ヘッドマウントディスプレイの実施形態の、右及び左のイメージ取込みデバイス及び右眼及び左眼のコントローラを介して)検出される右眼と左眼の位置に基づいて、ヘッドマウントディスプレイの右眼及び左眼のディスプレイの右及び左のイメージに描画される視覚刺激の大きさを制御することが可能である。例えば、右眼又は左眼への非対称刺激の大きさは、ヘッドマウントディスプレイの実施形態の右眼及び左眼のコントローラにより動的に特定された、ユーザの右眼と左眼の位置から導出することができる。また、ヘッドマウントディスプレイの右眼及び左眼のディスプレイを介して描画されたゲームの視覚刺激の大きさは、動的に変化させて視覚的抑制を低減することもできる。
視覚治療システム100によって実行されるゲームの実施形態において、ゲームは、四つの設定を有する:初級、中級、上級、及びカスタム。三つの設定(初級、中級、及び上級)は、両眼視機能不全のある多数のユーザに対して使用することのできる事前プログラムされた設定であり得る。カスタム設定は、例えば、融合に対して必要な時間量、及びゲーム中に呈示される視覚刺激のタイプを調節するために、(例えば、臨床医による)角度輻輳開散要求に対する調整を可能とする。視力パラメータとして、それに限定はされないが、輻輳の近点の定量的測定値、正の融合域、解離性斜位(dissociated phoria)、輻輳開散注視時間、輻輳開散ピーク速度、輻輳開散時常数、眼球位置合わせの精度、及び視力治療が処方される時間量が挙げられる。視力パラメータは、臨床医に自動的に送付されて、スプレッドシート内に記憶される。
眼の中のレンズとヘッドマウントディスプレイの間の焦点距離又は距離を固定することによって、本開示の例示的な実施形態は、ゲームプレイ中の調節性刺激を低減することができる。調節作用及び/又はぼやけの刺激を低減する対象形成技法を使用して、調節性の刺激をゲームプレイ中にさらに低減することができる。
本開示の実施形態の別の属性は、眼球位置によって制御される治療用視覚ゲームである。ほとんどのゲームが、ゲーム内でターゲット物体を移動させるのに、ジョイスティック、ハンドモーション、ボディモーション又は別の物理的デバイスを使用するのに対して、本明細書に記載されるゲームの例示的な実施形態は、眼球位置を用いて、ゲーム内部の視覚刺激にロックオンする。ユーザは、3Dモデルキャラクタを融合させることができるまでに、輻輳開散角度要求の指定されたレベル(斜視になる/開散する異なる量)に到達しなくてはならない。ゲームのより進歩した設定では、3Dモデルキャラクタを狙って発射するために、オペレータが、より長い時間にわたり輻輳を維持することを必要とする可能性がある。
ヘッドマウントディスプレイ210とコンピュータシステム270とを含む例示実施形態を記述したが、本開示の例示的な実施形態は、ヘッドマウントディスプレイがコンピューティングシステム270を含み、及び/又はヘッドマウントディスプレイ210が、本明細書において記載されるようなゲーミング環境において両眼視機能不全に対する視力治療を提供する自己内蔵式のスタンドアローンデバイスとなるように、コンピューティングシステム270の機能と動作を実行するように構成することができる。
図3は、コンピューティングシステム270の例示的な実施形態のブロック図である。実施形態によっては、コンピューティングシステム270は、ヘッドマウントディスプレイ210の実施形態によって描画される仮想現実ゲームを実行するように構成されたゲーミングコンソールであり得る。コンピューティングシステム270は、例示的な実施形態を実現するための、一つ以上のコンピュータ実行可能な命令又はソフトウェアを記憶するための、一つ以上の非一時的コンピュータ可読媒体を含む。非一時的コンピュータ可読媒体としては、それに限定はされないが、一つ以上のタイプのハードウェアメモリ、非一時的な有形媒体(例えば、一つ以上の磁気記憶ディスク、一つ以上の光学ディスク、一つ以上のフラッシュドライバ)等を挙げることができる。例えば、コンピューティングシステム270に含まれるメモリ306は、例示的な実施形態を実現するための、コンピュータ可読で、且つコンピュータ実行可能な命令又はソフトウェアを記憶してもよい。コンピューティングシステム270はまた、メモリ306内に記憶されたコンピュータ可読で、且つコンピュータ実行可能な命令又はソフトウェア、及びシステムハードウェアを制御するための他のプログラムを実行するための、プロセッサ302及び関連するコア304、並びに任意選択で、一つ以上の追加のプロセッサ302'及び関連するコア304'(例えば、複数プロセッサ/コアを有するコンピュータシステムの場合)を含む。プロセッサ302及びプロセッサ(複数)302'は、それぞれ、単一のコアプロセッサ、又は複数のコア(304及び304')プロセッサとするとともに、中央処理ユニット、グラフィック処理ユニット等としてもよい。
コンピューティングデバイスにおけるインフラストラクチャ及びリソースが動的に共有されるように、コンピューティングシステム270において仮想化を用いてもよい。プロセスが、複数のコンピューティングリソースではなく、一つのコンピューティングリソースだけを使用していると見えるように、仮想マシン314を設けて、複数のプロセッサ上で動作中のプロセスを取り扱ってもよい。一つのプロセッサを使って複数の仮想マシンが使用されてもよい。
メモリ306としては、DRAM、SRAM、EDO RAM等のコンピュータシステムメモリ又はランダムアクセスメモリが挙げられる。メモリ306は、その他のタイプのメモリを含んでもよく、又は、それらの組合せを含んでもよい。
ユーザは、例示的な実施形態による一つ以上の仮想現実ゲームを表示することのできるヘッドマウントディスプレイ210の実施形態を通して、コンピューティングシステム270と対話することができる。コンピューティングシステム270は、ユーザから入力を受信するためのその他のI/Oデバイス、例えば、キーボード又は任意の好適なマルチポイントタッチインターフェイス308、ポインティングデバイス310(例えば、マウス又はジョイスティック)を含んでもよい。コンピューティングデバイス270は、その他の好適な従来型I/O周辺機器を含んでもよい。
コンピューティングシステム270はまた、両眼視機能不全に対する視力治療を促進するための一つ以上の仮想現実ゲームの例示的な実施形態を実現する、データ並びにコンピュータ可読の命令及び/又はソフトウェアを記憶するための、ハードドライブ、CD-ROM、その他のコンピュータ可読媒体等の、一つ以上の記憶デバイス324を含んでもよい。例えば、記憶デバイスは、ゲーム326を記憶することができる。例示的な記憶デバイス324はまた、例示的な実施形態を実現するのに必要とされる任意の好適な情報を記憶するための一つ以上のデータベースを記憶してもよい。例えば、例示的な記憶デバイス324は、ユーザ成績、ユーザマイルストーン、コンピューティングシステム300によって実行されているゲームに関連する状態等の情報を記憶するための、一つ以上のデータベース328を記憶させることができる。データベースは、任意の好適な時間に更新して、データベース内の一つ以上の項目を追加、削除、及び/又は更新してもよい。
コンピューティングシステム270は、一つ以上のネットワークデバイス322を介して、例えばローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)又はインターネット等の一つ以上のネットワークと、それに限定はされないが、標準電話回線、LAN又はWANリンク(例えば、802.11、T1、T3、56kb、X.25)、ブロードバンド接続(例えば、ISDN、フレームリレー、ATM)、無線接続、コントローラエリアネットワーク(CAN)、或いはこれらの一部又は全部の組合せを含む、様々な接続を通してインターフェイスするように構成された、ネットワークインターフェイス312を含めることができる。ネットワークインターフェイス312としては、内蔵式ネットワークアダプタ、ネットワークインターフェイスカード、PCMCIAネットワークカード、カードバスネットワークアダプタ、ワイヤレスネットワークアダプタ、USBネットワークアダプタ、モデム、又は、コンピューティングシステム270を、通信と本明細書に記載される動作の実施が可能な任意のタイプのネットワークにインターフェイスするのに好適なその他の任意のデバイスを挙げることができる。さらに、コンピューティングシステム270は、任意のコンピュータシステムであってもよく、例えば、ワークステーション、デスクトップコンピュータ、サーバー、ラップトップ、ハンドヘルドコンピュータ、タブレットコンピュータ(例えば、iPad(登録商標)タブレットコンピュータ)、モバイルコンピューティング若しくは通信デバイス(例えば、iPhone(登録商標)通信デバイス)、又は通信可能であって、本明細書に記載の動作を実行するのに十分なプロセッサパワー及びメモリ容量を有する、その他の形態のコンピューティング若しくは電気通信デバイス等であってもよい。
コンピューティングシステム270は、任意のオペレーティングシステム316を実行してもよく、例えば、Microsoft(登録商標)Windows(登録商標)オペレーティングシステムのいずれかのバージョン、Unix及びLinux(登録商標)オペレーティングシステムの異なるリリース、Macintoshコンピュータ用のMacOS(登録商標)の任意のバージョン、任意の組込みオペレーティングシステム、Xboxゲームシステム用のMicrosoft(登録商標)Xboxオペレーティングシステム、PlayStationゲーミングシステム用のPlayStationオペレーティングシステム、Wiiゲーミングシステム用のWiiオペレーティングシステム、任意のリアルタイムオペレーティングシステム、任意のオープンソースオペレーティングシステム、任意の所有権のあるオペレーティングシステム、又はコンピューティングデバイス上で動作して、本明細書に記載の動作を実行することのできる、その他の任意のオペレーティングシステムを実行してもよい。例示的な実施形態において、オペレーティングシステム316は、ネイティブモード又はエミュレートモードで動作させてもよい。例示的な実施形態において、オペレーティングシステム316は、一つ以上のクラウドマシンインスタンス上で動作させてもよい。
図4は、ヘッドマウントディスプレイの実施形態(例えば、ヘッドマウントディスプレイ210)における眼球追跡構成要素を支持するために使用することのできる、例示的な機械式固定具400の概略図である。機械式固定具400は、本明細書に記載された、右眼及び左眼の発光ダイオード、右及び左のイメージ取込みデバイス、並びに右眼及び左眼のコントローラを支持することができる。機械式固定具400は、ヘッドマウントディスプレイの実施形態に埋め込むことができる。機械式固定具400は、リング410及び420、リング410及び420を連結する橋渡し部430、並びにイメージングマウント440及び450を含めることができる。リング410、リング420、及び橋渡し部430は、ヘッドマウントディスプレイのディスプレイ構造の内部、又はその上に配置されるように寸法決めすることができる。例えば、リング410は、ディスプレイ構造の左眼ポータルに対応するように構成し、リング420は、ディスプレイ構造の右眼ポータルに対応するように構成し、橋渡し部430は、リング410と420とが左眼と右眼のポータルが間隔を空けられている距離に対応する距離において相互に間隔を空けられるように、リング410と420の間に延びるように構成することができる。橋渡し部430はまた、ディスプレイ構造の左眼及び右眼のポータルに対して機械式固定具400を取り付けるのに使用することができる。
図4に示されるように、リング410は、機械式固定具400を含むヘッドマウントディスプレイの実施形態をユーザが着用しているときに、ユーザの左眼に向かって光(赤外光)を放出するように構成することのできる、発光ダイオード412及び414を含むことができる。発光ダイオード412及び414は、相互に正反対に対向させることができる。二つの発光ダイオード412及び414が正反対に対向している例示的な実施形態が図示されているが、本開示の例示的な実施形態においては、リング410の周りに任意の好適な構成で配置することができる。さらに、二つの発光ダイオードを含む例示的な実施形態が図示されているが、本開示の例示的な実施形態は、単一の発光ダイオードを含むか、又は三つ以上の発光ダイオードを含むことができる。三つ以上の発光ダイオードを含む実施形態に対して、その発光ダイオードは、リング410の周りに任意の好適な構成で配置することができる。
イメージングマウント440は、リング410の底部に向かって配置して、ヘッドマウントディスプレイの実施形態の左眼コントローラ及び一つ以上の左眼イメージ取込みデバイスを保持して支持するように構成されたブラケット442を含むことができる。例えば、イメージングマウント440は、リング410及び420を連結する橋渡し部430に対して、時計回りに約90度に配置することができる。イメージングマウント440がリング410の底に向かって配置された例示的な実施形態が図示されているが、例示的な実施形態においては、イメージングマウント440は、リング410の周りに任意の好適な構成で配置することができる。
リング420は、機械式固定具400を含むヘッドマウントディスプレイの実施形態をユーザが着用しているときに、ユーザの右眼に向かって光(赤外光)を放出するように構成することのできる、発光ダイオード422及び424を含むことができる。発光ダイオード422及び424は、相互に正反対に対向させることができる。二つの発光ダイオード422及び424が正反対に対向している例示的な実施形態が図示されているが、本開示の例示的な実施形態においては、リング420の周りに任意の好適な構成で配置することができる。さらに、二つの発光ダイオードを含む例示的な実施形態が図示されているが、本開示の例示的な実施形態は、単一の発光ダイオードを含むか、又は三つ以上の発光ダイオードを含むことができる。三つ以上の発光ダイオードを含む実施形態に対して、その発光ダイオードは、リング420の周りに任意の好適な構成で配置することができる。
イメージングマウント450は、リング420の底部に向かって配置して、ヘッドマウントディスプレイの実施形態の右眼コントローラ及び一つ以上の一眼イメージ取込みデバイスを保持して支持するように構成されたブラケット452を含むことができる。例えば、イメージングマウント450は、リング410及び420を連結する橋渡し部430に対して、反時計回りに約90度に配置することができる。イメージングマウント450がリング420の底に向かって配置された例示的な実施形態が図示されているが、例示的な実施形態においては、イメージングマウント450は、リング420の周りに任意の好適な構成で配置することができる。
図5A〜F及び6は、ヘッドマウントディスプレイの実施形態における眼球追跡構成要素を支持するために使用することのできる、例示的な機械式固定具500を示す図である。図5Aは、機械式固定具500の斜視図である。図5Bは、機械式固定具500の平面図である。図5Cは、機械式固定具500の側面図である。図5Dは、図5Cからの機械式固定具500の部分の断面図である。図5Eは、機械式固定具500の横断面図である。図5Fは、図5Eに示された機械式固定具500の部分の断面図である。機械式固定具500は、右/左眼の発光ダイオード、右/左イメージ取込みデバイス、及び右/左眼のコントローラを支持することができる。機械式固定具500は、ヘッドマウントディスプレイの実施形態に埋め込むことができる。
図5A〜Fに示されるように、機械式固定具500は、概してリング形ボディ520を有することができる。ボディ502は、右/左眼ポータルの寸法に対応するように寸法決めすることができる(例えば、ボディ502は、右/左眼ポータルの直径に概して対応する直径を有することができる。取付け部材504、位置合せ部材506、及びイメージングマウント508が、ボディ502の周りに配置される。取付け部材504は、機械式固定具500をヘッドマウントディスプレイのディスプレイ構造に固定、噛合、又は他の方法で連結するための、一つ以上の構造を含むことができる。例えば、取付け部材504は、ヘッドマウントディスプレイのディスプレイ構造の部分を係合するための、リング形ボディ502から延びるスロット付き軸方向突起を含むことができる。位置合せ部材506は、リング形ボディ502の周囲の周りに配置されて、リング形ボディ502から半径方向外向きに延びる、半径方向突起によって形成することができる。位置合せ部材506は、ヘッドマウントディスプレイのディスプレイ構造の右/左眼ポータルに対して機械式固定具が正しく取り付けられることを確実にするために、ディスプレイ構造の部分に係合するように構成することができる。
図5A〜F及び6を参照すると、イメージングマウント508は、右/左眼コントローラ及びイメージ取込みデバイス512を支持するように構成することができる。例えば、イメージングマウント508は、リング形ボディ502から延びる、二つの対向して間隔を空けられたスロット付き半径方向突起514及び516を含むことができる。突起514及び516は、リング形ボディ502から半径方向内向きに延びることが可能であるとともに、右/左眼コントローラがその上に取り付けられる回路板518を受け入れるように構成することができる。突起514及び516のスロットは、ヘッドマウントディスプレイの実施形態がユーザによって着用されると、右/左ディスプレイのユーザの視界を不明瞭にすることなく、イメージ取込みデバイス512がユーザの眼のイメージを取り込むように位置決めされ、且つ配向されるように、回路板518を受け入れるように構成することができる。
図7は、左眼ポータル702、左眼ディスプレイ704、左眼コントローラ510及びイメージ取込みデバイス512を備える図5A〜F及び6に示された機械式固定具500の実施形態を露出させるために、左レンズを取り外した状態で、ヘッドマウントディスプレイのディスプレイ構造700の部分を示す。ディスプレイ構造の右眼側は、左眼ポータルの上に取り付けられたレンズ706を含む。図8は、左眼ポータル702、左眼ディスプレイ704、左眼コントローラ510、及び図7に示されたイメージ取込みデバイス512が、レンズ800の背後に配置されるように、左眼ポータルを覆うレンズ800を備えるディスプレイ構造の部分を示す。イメージ取込みデバイス512は、レンズ800を通して見ることができ、機械式固定具500の部分は、レンズ800の背後から突出するのを見ることができる。
オフィスベースの治療は、家庭ベースの視力治療と比較して、通常、はるかに有効であるが、これが、家庭トレーニング技法自体の結果によるものか、又はオフィス環境内で治療士を有することと比較して、家庭環境においてユーザの処方遵守が低下した結果であるかは、分からない。本明細書に記載されているように、多くの形態のリハビリテーションが、機能を改善する反復的パターンを使用している。しかしながら、そのような反復的パターンは、容易にユーザを退屈させることになる。家庭ベース視力治療でのユーザの低い処方遵守は、視力治療の分野における問題であることが認識されており、その理由は、現在の治療手順は、現在利用可能なビデオゲームの洗練、グラフィック、品質、及び興奮を欠いているからである。治療介入のためのプラットフォームとして仮想現実ゲーミングを使用することは、ユーザの処方遵守を向上させることによって、視覚的症状を大幅に低減する可能性がある。システムのソフトウェア部分は、多様なゲームの作成に対する可能性を有する、モジュール式、オブジェクト指向設計を可能にする、フレキシブルアーキテクチャにおける多様な視覚パラメータを使用する、オブジェクト指向アーキテクチャを使用する。コードのフレキシビリティ及びモジュール性は、将来発展を可能にし、それによって、異なる年齢グループ、並びに輻輳不全、斜視、及び眼振等の様々な視力機能不全のあるユーザに対してプラットフォームを適合させることができる。
本開示の3Dゲームの一実施形態を以下に記述する。プレーヤーは、様々な宇宙昆虫敵から地球を防衛する任務を帯びた銀河兵士である。プレーヤーは、自分の「発射」十字マーク(crosshair)(ガウシアン差分/DOGとして視覚的に表示される)の位置を、自分の眼で(ジョイスティック又はマウス無しで)制御する。このゲームのゴールは、視差性輻輳開散の事前プログラムされた成分を刺激することに重点を置いて、輻輳を刺激して、ユーザによって現在行われている退屈な眼球運動に対する代替案を提供することによって、ユーザが輻輳不全を管理するのを助けることである。このゲームはまた、全ユーザに対して楽しみであることも意味しており、したがって、エンターテインメントと治療を一緒に提供する環境を提供する。3Dゲームの一実施形態において、ユーザの眼球運動は、侵入して来る敵の艦船を、それらがユーザの艦船と衝突する前に破壊するために、それらを狙って発射するミサイルを誘導することが可能である。敵は、スクリーン上の様々な場所で発生するが、同時に、ユーザのファーストパーソン視界(first person field of vision)に接近しながら、中央線軸に向かって移動する。ゲーミング「スキン」と呼ばれるように、ゲームの異なるバリエーションを容易にプログラムすることができる。眼のメカニクスは同じままであり、眼球位置は、輻輳開散性能を向上させるために使用されるが、ゲームの視覚環境及び3Dモデルは変化し、その結果として、ユーザは、自分が実際に反復的眼球運動を実行していることを知覚しない。
ジャンル:
本開示のこの例示実施形態において、3Dゲームは、3Dスペースシューティングゲームを提供する。この例示実施形態は、視力治療のためのメカニズムとして3Dスペースシューティングゲームを使用するが、本開示の例示的な実施形態は、異なるジャンルのゲームを実現することができる。
ターゲットオーディエンス:
3Dゲームの例示的な実施形態は、両眼視機能不全を患うユーザのために開発されている。しかしながら、この3Dゲームは、8から18才の子供に対しては楽しく、惹きつける形態のエンターテインメントとなり得るとともに、すべての年齢の成人、及び潜在的には8才よりも若い子供によっても、そのスキルセットに応じて使用され得る。
ゲームフロー要約:
ユーザ/プレーヤーは、自分の眼の動きだけを使用して、ゲーム中をナビゲートする(例えば、3Dゲームは、プレーヤーの検出された眼球運動に動的に反応する)。メニュー選択中のある点において、例えば、プレーヤーは、キーボード上の一つ以上のボタンを押すなどして、その他の入力と対話してもよい。
ルックアンドフィール:
ゲームの実施形態の美的演出は、3D、セミカートゥーン(semi-cartoon)、セミサイファイ(semi sci-fi)アート演出であり得る。ゲームは、プレーヤーがゲーム全体を通して興奮して、一種の勇壮な熱意でプレイするように、開発することができる。ゲームの実施形態は、カットシーン及びその他の詳細(音楽、アクションシーケンス等)を含むことができる。地球の運命はプレーヤーの手に託されることに留意されたい。
ゲームプレイ及びメカニクス
ゲーム進行:
ゲームの実施形態は、ゲームを通したプレーヤー進歩を支援するために、様々な困難さレベルを有することができる。プレーヤーがゲームの困難さを制御できるようになるとともに、ゲームが自然に進行するにつれて、ゲームの様々な観点がより高い能力を必要とするようになる。例えば、レベル3は、レベル1よりもより高い能力を必要とする。例えば、スレッショルド(threshold)がプレーヤーにより近くに動かされる。よって、プレーヤーは、敵に応答する時間が短くなるとともに、それらを打ち落とす時間も短くなる。
ゲームの各「レベル」は、サブコンポーネントに分解することができる。「警告:侵入敵艦接近中」シーンがあり、これは予期、興奮を盛り上げるとともに、近づくバトルに対するムードを設定する役割を果たす。この同じシーンが、常に、本明細書に記載される一連のシーンの最初に上映される。次に、シーンは、オウム指揮官(parrot commander)が、若いプレーヤーの注意を引くために、短いたわいもないセリフを一言二言発するとともに、侵入する敵についての情報を簡潔に与える。(例えば、オウムはまた、ゲームにおいて成績を上げる方法についてプレーヤーにヒントを与えるか、又は装甲された敵と非装甲の敵との差異を説明する。)プレーヤーに戦闘の準備をさせて、プレーヤーの感情をさらに惹きつけるために、敵の艦隊を描写するカットシーンが上映される。これらのサスペンスがすべて蓄積されると、プレーヤーは、最終的に敵をバトルに引き込む機会を得る。ゲームのこの部分は、治療が行われるところであるだけでなく、プレーヤーの眼球運動がゲーム内成績と直接的に相関するところである。ゲームのこの部分はまた、プレーヤーの関与と対話性がゲームを面白くするところであるので、最も長くなる。最終的に、プレーヤーは、ゲーム内での成績についての総合グレード/レーティングと共に、正確性(accuracy percentage)及び自分の艦船が被った損害についての成績を示すシーンに到達する。プレーヤーのモラルを高めるためのスクリーンの上端の「ほめ言葉」(すなわち、「ナイスワーク」又は「グレートジョブ」)、及びオウム指揮官からのプレーヤーの成績についてのコメントが表示されることになる。この点において、オウムは、プレーヤーのゲームプレイ戦略の改善の仕方についてのヒントの形態であるプレーヤーフィードバックを与えてもよい。このアドバイスのための「バンク(bank)」は、人工知能(AI)プログラミングの範疇に入ることになり、この文書の後段で詳細に記述される。シーンのサイクルは以下の通りである:
警告 オウムアドバイス カットシーン バトル フィードバックシーン
このサイクルは、次いで、ゲームの残部を通して反復される。上述されなかった進行の別の要素は、プレーヤーが、あるスコアを達成した後に、余命(extra life)を獲得することである。
さらに、プレーヤーは、ゲーム全体を通してプレーヤーが訪れる場所を追跡するゲーム世界の地図にアクセスできる。プレーヤーは、どの順序でゲームを進めたいかを選ぶことができる。
ミッション/課題構造:
「ミッション」とは、プレーヤーが敵と戦うゲームレベルの形態で、プレーヤーが遂行するものである。
パズル構造:
パズルは、全体ゲームにおいてプレイされて、ゲームの治療セクションの一部であり得る。
目的:
ゲームの目的は、できる限り高いスコアを取得すること、及びゲームの各分野において敵のすべてを打ち破り、表面的にはゲームに「勝つ」ことであり得る。より上級のプレーヤーは、例えば、ゲームをより完全に終了するために、武器のすべてを収集することが目的であると決定することがある。とりわけこの理由から、在庫と保存の機構をゲーム中に組み入れることができる。
プレイフロー:
サンプルゲームプレイセッションは、以下のように進行する:
1.導入カットシーンが上映されて、プレーヤーをゲームに導入する。代替的に、導入シーンは、プレーヤーが希望する場合には省くことが可能であり、又、特に両眼視機能不全のあるユーザに対しては、視覚系への休憩として使用することも可能である。
2.プレーヤーは、プレイしようとする地図上の目的地を(ロック解除されたものの中から)選ぶことができる。
3.プレーヤーは、レベルについての短い導入カットシーンを見ることができる。
4.次いで、プレーヤーは、あるスコアに到達するか/敵のすべてを打ち破るまで、母艦から発生する様々な敵を射撃することができる。
5.プレーヤーは、そのレベルにおける出来ばえについてのフィードバックを受け取ることが可能であり、プレーヤーはこのフィードバックを臨床医に送ることができる。
6.プレーヤーは、ベンダーに行って、自分が稼いだポイントの量に基づいて、様々なゲームコンポーネントを購入する(地図上の)選択肢を有することができる。
7.次いで、プレーヤーがプレイしようとする地図上の別の場所を選ぶことから開始して、このサイクルを反復することができる。
このゲームのエンターテインメントゴールは、プレーヤーが輻輳不全と戦うことを可能にしながら、プレーヤーの中に興奮、サスペンス、及びフロー(flow)の感情を喚起することである。
メカニクス
物理学:
ゲームは宇宙において行われるので、敵は、必然然に、無重力に近い大気中に浮遊している。剛体が、ユニティ(Unity)の自然物理系から外れるので、衝突可能なゲーム物体の各々は、それに付与された剛体成分を有することになる。ユニティは、3Dゲームの実施形態が使用することのできるコンピュータ言語である。
ゲームにおける運動:
ミサイル発射システムは、プレーヤーの眼球位置によって制御される。地図スクリーン上、及びベンダーシーン内でのナビゲーションは、眼球位置によるか、又はマウスからの入力を介して行われる。武器の変更は、Quakeやその他のFirst Person Shooter (FPS)ゲームと同様に、数字キーを押すことによって行われる。
対象物:
ゲームにおけるすべての対象物は、ユーザがその眼を移動させるか、又は静止させることによって制御することができる。
アクション:
上記のように、すべてのアクションは、ユーザの眼によって行われる位置と活動を介して行われる。
戦闘:
ゲームの様々な部分の間に、プレーヤーは、自分のスコアを向上させるために「スペースバグ(space bug)」を射撃することを要求される。スペースバグは、それぞれのタイプに応じて、装甲バージョンと非装甲バージョンがある。装甲バージョンは、スレッショルド点から背後に退却することが可能であり、したがって正規の敵よりもより悩ましい。プレーヤーはこの戦闘を行うために様々な武器を取得し、その武器の多くは、上述のスコアポイントを使用して、ゲーム内で「購入」しなくてはならない。
経済学:
プレーヤーは、バグを駆除することによって稼いだポイントを使用して、ゲーム内のアイテム、主として武器を購入することができる。プレーヤーは、バグ戦闘と同じシーン中、及びおそらくその他のシーンにおいても、それらへの凝視によってパワーアップを取得する(すなわち、カットシーンインセンティブ)。
Jesse SchellのThe Art of Game Design、A Book of Lensesによるレンズ解析
1.本質的体験のレンズ
a.プレーヤーは、以下の3つの主要構成要素についての体験を有する必要がある:
i.眼を用いてゲームを制御すること;科学的、かつ治療法的に困難な体験。
ii.地球を絶滅しようとする悪の昆虫集団から地球を救うために戦うときの、勇壮なアクション及び冒険の感覚。
iii.強いリプレイ価値を有する(ユーザは、自分の治療中に何回もそのゲームをプレイする必要がある)、面白く没入型のゲームプレイ。
b.さらに、この体験は、この体験がそれから設計されている三つの観点(治療性、映画性、及び没入性)から分析する必要がある:
i.視覚的体験に対して重要なのは、プレーヤーの眼がゲームのすべての観点だけを制御することを可能にすること。
ii.劇的なカットシーン、及びプレーヤーに対するステージを設定する強制的な筋書き。
iii.プレーヤーをさらに復帰させ続ける課題と動機(すなわち、デジタルアウォード)。
c.このゲームは、多くの方法で、各範疇において求められる本質を取り込むことができる:
i.眼球位置及びある場所に休止する眼球を追跡して、マウスクリック又はボタンプレスとして機能する、Oculus riftに一体化されたカメラ。
ii.地球を救うための勇壮な探検にプレーヤーを引き込む、子供に優しい筋書き。カットシーン及びその他のゲーム内映画的要素により達成される。
iii.ゲームは、いくつかの方法で、進展において進化する必要がある:1.プレーヤーに一つ以上の選択肢を与える分岐経路筋書き(すなわち、おそらくプレーヤーは悪者であって、地球に対して戦う可能性がある等)。
d.保存メカニズムがゲーム中に組み入れられる。
2.驚きのレンズ
a.プレーヤーは、地球の防衛に参加するとき、筋書きにおいて示される味方の軍団の量に驚くであろう。プレーヤーはまた、自分達の心でこのゲームを制御できることに興奮し、驚く筈である。
b.ストーリーは、正義の軍団と戦うために集合する悪の軍団という、主たる驚きを有する。スレッショルドは、それをプレーヤーに対してより難しくするときは、ゲームルールに対する驚くべき工夫であるが、使用した場合には、プレーヤーのスコアを劇的に増大させる。船上の秘密の部屋があり、これもプレーヤーを驚かせる筈である。このアート作品はいくらかの驚きであろう。プレーヤーを驚かせるテクノロジの主要構成要素は、ゲームが人の眼球位置によってプレイされることである。
c.これは、複数のプレーヤーのゲームではない。
d.異なる武器をテストすることが、敵に対して興奮する多様な効果を有する可能性があることにおいて、ルールは、プレーヤーに驚き方を与える。
3.面白さのレンズ
a.プレーヤーの名前をゲーム中に直接的に組み入れることは、そのゲームをプレーヤーに対してより没入性の強い体験にする。さらに、映画的な筋書き構成要素は、プレーヤーの興味を捉えて維持するのに重要である。これらは、惹き込まれ、興味をそそる、代替的な仮想現実にプレーヤーを没入させるので、ゲームをプレーヤーに対して楽しいものとする。
4.好奇心のレンズ
a.ゲームに関して、プレーヤーの心に去来する多くの疑問がある:
i.味方のキャラクタとは誰であり、なぜ彼らは地球を救いたいのか?
ii.スパイダーとその昆虫子分達は地球を破壊したいのか?
iii.彼らは、スパイダーと戦うのか?
iv.どのような味方が、地球のために戦うために、彼らの背後に結集するのか?
v. どのようにしてゲームにおいて最高スコアは達成できるのか?
vi.隠された武器/レベルはあるのか?
b.映画的なカットシーンは、プレーヤーが追従して楽しむための劇的な筋書きを設定することによって、これらの疑問についてプレーヤーに関心をもたせる。
c.一連の映画的な工夫も、プレーヤー応答キューをコアゲームプレイ中に埋め込み、ゲームにおけるプレーヤーフィードバックを取得する。
5.内因性価値のレンズ
a.プレーヤーにとって価値のあるアイテムは、ゲームスコア、パワーアップ、及びゲーム内の武器である。
b.プレーヤーの動機は、異なるレベルのゲームにおいて、ゲームに勝つこと、すなわち敵と敵の艦船のすべてを打ち負かすことである。スコアによって、プレーヤーは、武器及びパワーアップをロック解除して購入することが可能となり、このことは、プレーヤーがゲームに勝って、高いスコアを蓄積するのを容易にする。
6.問題解決のレンズ
a.ゲームは、敵を凝視して排除するために、敵が接近する場合に、眼を輻輳させるようにプレーヤーに要求する。
b.ゲーム内には隠されたパズルがあって、それはプレーヤーがスレッショルド(すなわち、モーファー(morpher))を得ることを可能にし、このスレッショルドは、皮肉にも、プレーヤーの治療をさらに支援する。
c.ゲームはパズルベースのレベルを有することができ、この場合には、ある瞬間にプレーヤーの眼を輻輳させることにより、プレーヤーに新しいものをロック解除させる。
7.基本四要素(Elemental Tetrad)のレンズ
a.ゲームは、3Dモデル、インターフェイス設計等の形態で美学を組み入れる。筋書きにおいて、ゲームは、映画的なカットシーン及び劇的な音楽を使用して、ゲームに対する感情とプレーヤーの執着を高める。ゲームのメカニクスは、ゲーム内部で、治療目的とゲームプレイ目的とを結び合わせる。ゲームの一実施形態は、プレーヤーの眼球運動を検出するように改変されている、oculus riftを使用し(将来には、他のヘッドマウントディスプレイを使用することができる)、それによって四要素のテクノロジ成分を満足する。眼球位置の追跡は、このゲームに対して使用されるテクノロジの境界を押し広げる助けにもなる。したがって、本開示のゲームの実施形態は、四要素モデルとして描写された四つのタイプすべての要素を使用することができる。
b.より多くのアニメーションを3Dモデルに加えることにより、特に、カットシーン及びゲームプレイ効果において、ゲームの感触と設計を改善する可能性がある。
c.四つの要素は調和がとれて、共通のテーマに向かって作用している。
8.ホログラフィ設計のレンズ
a.体験を楽しめるものにするゲーム要素は、若いプレーヤーがキャラクタと関係を形成しやすい強制的な筋書き、これらのキャラクタがゲームにおけるレベルの間にプレーヤーに与える支援、及びプレーヤーの眼球位置によって制御することのできるスペースシューティングスタイルのゲームプレイである。
b.プレーヤーが単調な反復に飽きることがないように、敵を異なる編成で移動させ、中央線上でのそれらの高さを変化させることによって体験を改善する。
9.一体化のレンズ
a.ゲームのテーマは、地球外昆虫コロニーの群が我々の惑星を破壊するために地球に向かっており、正義の動物の群はそれらが存在するものすべてを払拭するのをプレーヤーと共に止めなくてはならない。
10.共鳴のレンズ
a.非プレーヤーキャラクタ(npc)に対してプレーヤーが形成する関係、及びゲーム内の対話におけるプレーヤーの直接的な関与によって、プレーヤーは、自分たちの眼で制御することのできる唯一の種類の対話型ゲーム体験を真に持つことができる。
b.人の眼球位置だけを用いてゲームをプレイできるということが、ゲームについて人々をさらに興奮させる。
敵スポーン(Enemy Spawns)
敵がスレッショルドを越える
ユーザの注視が、ある時間の長さだけ敵の上に保持されると、武器が発射される。
当たれば、敵は破壊される。
図9は、本開示の実施形態による、両眼視機能不全のための視力治療を提供するための、例示的なプロセス900を示すフローチャートである。ステップ902において、ユーザは、仮想現実ビデオゲームを描画して、調節性刺激と近位輻輳開散刺激とを制限するように構成されたヘッドマウントディスプレイを装着される。ステップ904において、視差性輻輳開散が、ビデオゲームを介して刺激され、それによって視差性輻輳開散の事前プログラムされた部分を刺激し、視差性輻輳開散のフィードバック部分を制限する。ステップ906において、ユーザの左眼又は右眼が、ヘッドマウントディスプレイによって描画されたビデオゲームを介してユーザに対して表示された視覚刺激を介して非対称的に刺激される。左眼及び右眼は、左眼と右眼の間の非対称ピーク速度差に基づいて、非対称的に刺激され得る。ステップ908において、ユーザの左眼又は右眼は、ヘッドマウントディスプレイによって描画されたビデオゲームを介して非対称的に刺激されて、視覚抑制を制限する。
図10は、本開示の実施形態による、両眼視機能不全に対する視力治療を提供するための、例示的なプロセス1000を示すフローチャートである。ステップ1002において、視覚治療ゲームが、コンピューティングシステムによって実行される。ステップ1004において、視覚治療ゲームの実行に応じて、コンピューティングシステムからヘッドマウントディスプレイによって一連の左眼及び右眼のイメージが受信される。ヘッドマウントディスプレイは、ユーザによって着用されるように構成されて、左眼及び右眼のイメージは、一つ以上の視覚刺激を含む。ステップ1006において、連続する左眼のイメージが、ヘッドマウントディスプレイの左眼ディスプレイ上に描画され、連続する右眼のイメージが、ヘッドマウントディスプレイの右眼ディスプレイ上に描画される。ユーザの左眼と左眼ディスプレイの間の(第一の)の焦点距離は固定されているとともに、ユーザの右眼と右眼ディスプレイの間の(第二の)焦点距離は固定されている。ステップ1008において、所望の輻輳又は散開に応じて、連続する左右のイメージにおける視覚刺激上でユーザの右眼と左眼がうまく融合することの検出に基づいて、視覚治療ゲームにおける進展が制御される。
図11は、本開示の実施形態による、両眼視機能不全のあるユーザにおける視覚的症状を矯正するための例示的なプロセス1100を示すフローチャートである。ステップ1102において、一つ以上のディスプレイ上に視覚治療ビデオゲームが描画される。ステップ1104において、視覚治療ビデオゲームを介してユーザの眼の調節性刺激と近位輻輳開散刺激とが制御される。
例示的な実施形態を記述する際に、明快にするために、特定の用語法が使用される。記述のために、それぞれの特定の用語は、類似の目的を達成するために類似の方法で動作するすべての技術的及び機能的な等価物を少なくとも含むことを意図している。さらに、特定の例示的な実施形態が複数のシステム要素、デバイス構成要素又は方法ステップを含む場合においては、それらの要素、構成要素又はステップは、単一の要素、構成要素又はステップで置き換えてもよい。同様に、単一の要素、構成要素又はステップは、同じ目的に役立つ、複数の要素、構成要素又はステップと置き換えてもよい。さらに、例示的な実施形態を、それらの特定の実施形態を参照して図示して記述したが、それらにおいて形式及び詳細における様々な置換及び変更を、本発明の範囲から逸脱することなく行うことができることを、当業者は理解するであろう。さらにまた、他の様態、機能、及び利点もまた、本発明の範囲にある。
例示的なフローチャートが、説明目的で本明細書に呈示されており、それらは、方法の非限定の例である。当業者であれば、例示的な方法は、例示的なフローチャートに示されたものよりも、より多く又はより少ないステップを含んでもよいこと、及び例示的なフローチャートにおけるステップは、説明目的のフローチャートで示されている順序と異なる順序で実行されてもよいことを理解するであろう。

Claims (12)

  1. ユーザの眼球運動に応答してコンピューティングシステムを制御する方法であって、
    コンピューティングシステムによって、複数のディスプレイ上に視覚治療ビデオゲームを描画するステップと、
    前記コンピューティングシステムによって、複数のイメージ取込みデバイスを介して、前記複数のディスプレイ上の前記ビデオゲームの描画に応答して、ユーザの左眼及び右眼の運動を追跡するステップと、
    前記コンピューティングシステムによって、前記ユーザの眼の調節性及び近位輻輳開散に基づいて前記ビデオゲームの応答を制御するステップと、
    前記コンピューティングシステムによって、左眼と右眼の間のピーク速度差に基づいて前記複数のディスプレイ上に前記ユーザの左眼及び右眼を非対称的に刺激する前記視覚治療ビデオゲームを描画するステップと、を含む、方法。
  2. 前記視覚治療ビデオゲームが、統合化眼球追跡ハードウェア及びソフトウェアを備えるヘッドマウントディスプレイによって描画される、請求項1に記載の方法。
  3. 前記視覚治療ビデオゲームを描画して、視差性輻輳開散の事前プログラムされた部分を刺激し、視差性輻輳開散のフィードバック部分を制限するステップをさらに含む、請求項1に記載の方法。
  4. 非対称刺激の大きさが、左眼と右眼の位置から導出される、請求項1に記載の方法。
  5. 前記非対称刺激の大きさが、視覚的抑制を制限するために動的に変化する、請求項4に記載の方法。
  6. 前記視覚治療ビデオゲームが仮想現実ビデオゲームである、請求項1に記載の方法。
  7. 前記ユーザの左眼及び右眼のリアルタイム物理的眼球運動を検出するステップと、
    前記ユーザの左眼及び右眼の前記リアルタイム物理的眼球運動を、前記視覚治療ビデオゲームのための入力として使用するステップと、をさらに含む、請求項6に記載の方法。
  8. 前記リアルタイム物理的眼球運動に基づいて、前記ユーザの左眼と右眼とが融合している三次元仮想現実空間における点を特定するステップをさらに含む、請求項7に記載の方法。
  9. 前記視覚治療ビデオゲームが、調節性刺激を制限するための一つ以上の視覚キューを含む、請求項6に記載の方法。
  10. 両眼視機能不全のあるユーザにおける視覚的症状を矯正するためのシステムであって、
    視覚治療ビデオゲームを実行するように構成されている、コンピューティングシステムと、
    前記コンピューティングシステムに動作可能に連結されている、ヘッドマウントディスプレイであって、
    左眼用の第一のディスプレイと、
    右眼用の第二のディスプレイと、
    前記ヘッドマウントディスプレイの前記第一のディスプレイ及び前記第二のディスプレイにイメージを描画して立体視効果を生成するように構成されている、一つ以上のディスプレイコントローラと、
    前記第一のディスプレイに近接して配置された第一のイメージ取込みデバイスであって、前記ヘッドマウントディスプレイのユーザの左眼のイメージを取り込むように構成されている、第一のイメージ取込みデバイスと、
    前記第二のディスプレイに近接して配置された第二のイメージ取込みデバイスであって、前記ユーザの右眼のイメージを取り込むように構成されている、第二のイメージ取込みデバイスと、を含む、ヘッドマウントディスプレイと、
    を備え、
    前記コンピューティングシステムは、前記ヘッドマウントディスプレイに前記視覚治療ビデオゲームを出力し、前記ヘッドマウントディスプレイは、前記第一及び第二のイメージ取込みデバイスによって取り込まれたイメージに基づいて、右眼と左眼の位置を出力し、前記コンピューティングシステムは、前記右眼と左眼の位置に基づいて、前記視覚治療ビデオゲームを制御し、
    前記視覚治療ビデオゲームにおける視覚刺激上で前記ユーザの左眼と右眼が融合することの検出に基づいて、前記視覚治療ビデオゲームにおける進展が制御され、
    前記コンピューティングシステムによる前記視覚治療ビデオゲームの実行に応答して、前記第一のディスプレイ又は前記第二のディスプレイは、前記視覚治療ビデオゲームを描画して、左眼と右眼の間のピーク速度差に基づいて、前記視覚治療ビデオゲームを介して前記ユーザの左眼及び右眼を非対称的に刺激する、システム。
  11. 前記第一及び第二のディスプレイは、前記視覚治療ビデオゲームを描画して、視差性輻輳開散の事前プログラムされた部分を刺激するとともに、視差性輻輳開散のフィードバック部分を制限する、請求項10に記載のシステム。
  12. 非対称刺激の大きさは、左眼と右眼の位置から導出される、請求項10に記載のシステム。
JP2018503585A 2015-07-23 2016-07-22 両眼視機能不全の処置のための方法、システム、及び装置 Active JP6899816B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562195864P 2015-07-23 2015-07-23
US62/195,864 2015-07-23
PCT/US2016/043673 WO2017015603A1 (en) 2015-07-23 2016-07-22 Method, system, and apparatus for treatment of binocular dysfunctions

Publications (2)

Publication Number Publication Date
JP2018532439A JP2018532439A (ja) 2018-11-08
JP6899816B2 true JP6899816B2 (ja) 2021-07-07

Family

ID=57834752

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018503585A Active JP6899816B2 (ja) 2015-07-23 2016-07-22 両眼視機能不全の処置のための方法、システム、及び装置

Country Status (6)

Country Link
US (1) US10335342B2 (ja)
EP (1) EP3324824A4 (ja)
JP (1) JP6899816B2 (ja)
KR (1) KR102656342B1 (ja)
CA (1) CA2993324A1 (ja)
WO (1) WO2017015603A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106932904A (zh) * 2017-02-27 2017-07-07 阿里巴巴集团控股有限公司 虚拟现实头戴设备
US11102462B2 (en) * 2017-09-27 2021-08-24 University Of Miami Vision defect determination via a dynamic eye characteristic-based fixation point
JP2019093032A (ja) * 2017-11-28 2019-06-20 株式会社スクウェア・エニックス ゲームプログラム及びゲームシステム
EP3806710A4 (en) * 2018-06-18 2022-03-30 New Jersey Institute of Technology METHOD, SYSTEM AND APPARATUS FOR DIAGNOSTIC EVALUATION AND SCREENING OF BINOCULAR MALFUNCTIONS
KR102618952B1 (ko) * 2019-01-17 2023-12-27 더 로얄 인스티튜션 포 디 어드밴스먼트 오브 러닝/맥길 유니버시티 스테레오 비전의 디지털 측정을 위한 시스템 및 방법
JP2021053219A (ja) * 2019-09-30 2021-04-08 ホヤ レンズ タイランド リミテッドHOYA Lens Thailand Ltd 両眼視機能測定方法、両眼視機能測定プログラム、眼鏡レンズの設計方法、眼鏡レンズの製造方法および両眼視機能測定システム
WO2021098498A1 (zh) * 2019-11-20 2021-05-27 精准视光(北京)医疗技术有限公司 一种视功能调整方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5293187A (en) 1992-02-05 1994-03-08 Biocontrol Systems, Inc. Method and apparatus for eye tracking for convergence and strabismus measurement
JP3661173B2 (ja) * 1995-08-11 2005-06-15 ソニー株式会社 両眼視訓練装置
AUPR872301A0 (en) 2001-11-08 2001-11-29 Sleep Diagnostics Pty Ltd Alertness monitor
GB0210288D0 (en) * 2002-05-04 2002-06-12 Univ Nottingham Ocular display apparatus for assessment and measurement of and for treatment of ocular disorders, and methods therefor
JP4356746B2 (ja) * 2004-05-26 2009-11-04 パナソニック電工株式会社 認知機能訓練装置
US8668334B2 (en) * 2006-02-27 2014-03-11 Vital Art And Science Incorporated Vision measurement and training system and method of operation thereof
US8454166B2 (en) 2006-12-04 2013-06-04 Atheer, Inc. Methods and systems for amblyopia therapy using modified digital content
US8066372B2 (en) * 2007-10-23 2011-11-29 Mcgill University Binocular vision assessment and/or therapy
US20110075257A1 (en) 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
EP2329761A1 (en) 2009-12-02 2011-06-08 RetCorr AB An apparatus and method for establishing and/or improving binocular vision
US20120179076A1 (en) 2010-09-16 2012-07-12 Daphne Bavelier Method and system for treating amblyopia
US10231614B2 (en) 2014-07-08 2019-03-19 Wesley W. O. Krueger Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
US9788714B2 (en) 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
US9198571B2 (en) * 2013-03-15 2015-12-01 Neuro Kinetics, Inc Method of measuring and analyzing ocular response in a subject using stable pupillary parameters with video oculography system
US9706910B1 (en) 2014-05-29 2017-07-18 Vivid Vision, Inc. Interactive system for vision assessment and correction
NZ773813A (en) 2015-03-16 2022-07-29 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
US20180084232A1 (en) 2015-07-13 2018-03-22 Michael Belenkii Optical See-Through Head Worn Display
CN109640785A (zh) 2016-04-08 2019-04-16 维扎瑞尔股份公司 用于获得、聚集和分析视觉数据以评估人的视力性能的方法和系统

Also Published As

Publication number Publication date
CA2993324A1 (en) 2017-01-26
US10335342B2 (en) 2019-07-02
EP3324824A1 (en) 2018-05-30
KR20180054580A (ko) 2018-05-24
US20180214338A1 (en) 2018-08-02
JP2018532439A (ja) 2018-11-08
KR102656342B1 (ko) 2024-04-09
EP3324824A4 (en) 2019-01-23
WO2017015603A1 (en) 2017-01-26

Similar Documents

Publication Publication Date Title
JP6899816B2 (ja) 両眼視機能不全の処置のための方法、システム、及び装置
KR102506504B1 (ko) 인공 지능을 사용하는 음성 지원 시스템
Gerling et al. Virtual reality games for people using wheelchairs
Gregersen et al. Embodiment and interface
Sundstedt Gazing at games: An introduction to eye tracking control
US6159100A (en) Virtual reality game
US20120179076A1 (en) Method and system for treating amblyopia
US10183223B2 (en) Systems and methods for providing virtual reality content in an online game
JP2019063174A (ja) ゲーム処理プログラム、ゲーム処理方法、および、ゲーム処理装置
JP2015058158A (ja) ゲームシステム、サーバシステム及びプログラム
US11338202B1 (en) Methods and systems for dynamic quest diversification
JP2019097978A (ja) ゲームシステム及びプログラム
JP6769697B2 (ja) プログラム及びゲーム装置
US20180015373A1 (en) Addiction/Compulsive Behavior Recovery and Relapse Prevention Gaming Simulation Platform
Winands Monte-carlo tree search
US10232271B2 (en) Systems and methods for regulating access to game content of an online game
US20220168653A1 (en) Methods and systems processing co-op gaming using dynamic quests
US20210265038A1 (en) Virtual reality enabled neurotherapy for improving spatial-temporal neurocognitive procesing
US20180329486A1 (en) System of Avatar Management within Virtual Reality Environments
Nagel Use of eye tracking for esports analytics in a MOBA game
US20230073281A1 (en) Methods and Systems for Difficulty-Adjusted Multi-Participant Interactivity
Macedo et al. Serious Game for Motion Disorders Rehabilitation of Parkinson’s Disease Patients
Carrigan et al. Crowd appearance affects player performance in game combat scenarios
Hartescu et al. Gaze tracking as a game input interface
WenKai et al. Development of a Game System to Provide Enjoyable Playful Experiences to People in All Stages of Dementia

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190717

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20190718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190718

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210615

R150 Certificate of patent or registration of utility model

Ref document number: 6899816

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250