JP7029722B2 - Ａｒ装置、方法及びプログラム - Google Patents

Description

本発明は、ＡＲ装置、方法及びプログラムに関する。

脳の病気の一つに認知症がある。認知症の原因となる疾患にはいくつの種類があり、その代表的なのが、脳の中に有害な物質が溜まることで脳が委縮するアルツハイマー型の変性疾患である。認知症は、生活習慣の改善、日々の運動、高次認知機能を刺激する行動など、適切な取り組みを行うことにより、予防することが可能である（例えば非特許文献１参照）。

「自分でできる『生涯健康脳』のつくり方」（宝島社、初版、２０１６）

日々の運動を行うことで運動機能や高次認知機能を鍛えることが認知症の予防に適切であるが、最近の研究では、運動機能と高次認知機能をそれぞれ単独で鍛えるよりも、両方を鍛える方が相乗的に認知症の予防に寄与することが明らかになっている。

そこで、本発明は、運動機能及び高次認知機能を同時に鍛えることで認知症リスクを低下させることが可能な技術を提供することを目的とする。

本発明の一態様に係るＡＲ装置は、拡張現実を利用して認知症リスクを低下させるためのトレーニングメニューに従って、ユーザが触れるべき仮想オブジェクトに関する条件をユーザに指示する指示部と、トレーニングメニューに従って、所定の３次元空間の中で、条件に該当する仮想オブジェクト及び条件に該当しない仮想オブジェクトのうち少なくともいずれか一方の仮想オブジェクトを表示する表示部と、所定の３次元空間を撮影する撮影部と、撮影部で撮影された画像を用いて、所定の３次元空間においてユーザの手が、条件に該当する仮想オブジェクトに触れたか否かを判定する判定部と、を有する。

本発明の他の態様に係る方法は、ＡＲ装置が実行する方法であって、拡張現実を利用して認知症リスクを低下させるためのトレーニングメニューに従って、ユーザが触れるべき仮想オブジェクトに関する条件をユーザに指示するステップと、トレーニングメニューに従って、所定の３次元空間の中で、条件に該当する仮想オブジェクト及び条件に該当しない仮想オブジェクトのうち少なくともいずれか一方の仮想オブジェクトを表示するステップと、所定の３次元空間を撮影するステップと、撮影された画像を用いて、所定の３次元空間においてユーザの手が、条件に該当する仮想オブジェクトに触れたか否かを判定するステップと、を含む。

本発明の他の態様に係るプログラムは、コンピュータに実行させるプログラムであって、拡張現実を利用して認知症リスクを低下させるためのトレーニングメニューに従って、ユーザが触れるべき仮想オブジェクトに関する条件をユーザに指示するステップと、トレーニングメニューに従って、所定の３次元空間の中で、条件に該当する仮想オブジェクト及び条件に該当しない仮想オブジェクトのうち少なくともいずれか一方の仮想オブジェクトを表示するステップと、所定の３次元空間を撮影するステップと、撮影された画像を用いて、所定の３次元空間においてユーザの手が、条件に該当する仮想オブジェクトに触れたか否かを判定するステップと、を含む。

本発明によれば、運動機能及び高次認知機能を同時に鍛えることで認知症リスクを低下させることが可能な技術を提供することができる。

実施形態に係るＡＲ装置の一例を示す図である。 実施形態に係るＡＲ装置の機能ブロック構成の一例を示す図である。 トレーニングメニューの具体例を説明するための図である。 トレーニングメニューの具体例を説明するための図である。 仮想オブジェクトが表示される位置の具体例を示す図である。 仮想オブジェクトが表示される位置の具体例を示す図である。 トレーニングメニューの具体例を説明するための図である。

添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

＜システム構成＞
図１は、実施形態に係るＡＲ装置の一例を示す図である。ＡＲ装置１０は、拡張現実（AR : Augmented Reality）を利用した認知症リスク低下のためのトレーニングメニューをユーザに提供する。ＡＲ装置１０は、ユーザの頭に取り付けて使用する装置であり、例えば、眼鏡型や透明なゴーグル型のヘッドマウントディスプレイである。ＡＲ装置１０は、ユーザの視界に仮想的なオブジェクト（以下「仮想オブジェクト」と言う。）を重ねて表示することで、拡張現実を実現する。また、ＡＲ装置１０は、単体で動作する装置から構成されていてもよいし、無線又は有線ネットワークを介して通信可能な他の装置（例えば画像処理を行う装置等）と組み合わせることで構成されていてもよい。

ＡＲ装置１０は、図１に示すように、ＣＰＵ（Central Processing Unit）１１、メモリ等の記憶装置１２、有線又は無線通信を行う通信ＩＦ（Interface）１３、加速度センサ、地磁気センサ及びジャイロセンサ等のセンサ１４、カメラ１５、透過型のディスプレイ１６、操作ボタン等の入力デバイス１７及びスピーカ１８を有する。記憶装置１２には、本実施形態に係るトレーニングメニューを実行するためのプログラムが記憶されており、後述する機能ブロック構成にて説明する各機能部は、ＣＰＵ１１が、記憶装置１２に記憶されたプログラムを実行する処理により実現することができる。なお、当該プログラムは、例えば非一時的な記録媒体に格納することができる。また、ＡＲ装置１０は、センサ１４で検出された加速度、磁場の大きさ及び角速度等に基づいて、ＡＲ装置１０自身の位置及び向きを取得することができる（ポジショントラッキング機能）。ポジショントラッキング機能を用いることで、ＡＲ装置１０は、ＡＲ装置１０の位置及び向きの変化に応じてディスプレイ１６に表示する仮想オブジェクトの位置及び大きさを変化させることができる。これにより、ユーザに対して、３次元空間の中の特定の位置に仮想オブジェクトが存在しているかのように見せることができる。

トレーニングメニューでは、予めユーザに対して、手で触れるべき仮想オブジェクトの条件を指示しておき、ユーザは、ＡＲ装置１０により３次元空間の中に表示された仮想オブジェクトのうち、指示された条件に合致する仮想オブジェクトに触れる動作を繰り返し行うことでトレーニングを行う。例えば、ＡＲ装置１０は、予めユーザに対して、“モグラが現れたら叩く”といった指示を行っておき、トレーニングメニューが開始されると３次元空間上の様々な位置にモグラとモグラ以外の動物を切り替えながら表示する。ユーザは、モグラが表示された場合に、当該モグラを叩く動作を行うことでトレーニングを行う。

＜機能ブロック構成＞
図２は、実施形態に係るＡＲ装置の機能ブロック構成の一例を示す図である。ＡＲ装置１０は、条件指示部１０１と、表示部１０２と、撮影部１０３と、接触判定部１０４と、評価部１０５とを含む。

条件指示部１０１は、トレーニングメニューに従って、ユーザが触れるべき仮想オブジェクトに関する条件をユーザに指示する機能を有する。例えば、条件指示部１０１は、ユーザが触れるべき仮想オブジェクトに関する条件として、所定の３次元空間に表示される仮想オブジェクトのうち特定の属性に該当する仮想オブジェクトに触れるべきことをユーザに指示するようにしてもよい。特定の属性とは、例えば、仮想オブジェクトの色、形状又は名称若しくはこれらの組み合わせである。

表示部１０２は、トレーニングメニューに従って、所定の３次元空間の中に仮想オブジェクトを表示する機能を有する。具体的には、表示部１０２は、条件指示部１０１がユーザに指示した条件に該当する仮想オブジェクト（以下、「正解の仮想オブジェクト」と言う）及び当該条件に該当しない仮想オブジェクト（以下、「不正解の仮想オブジェクト」と言う）の一方又は両方を、トレーニングメニューに従って所定の３次元空間の中に表示する。所定の３次元空間は、ユーザの現在位置を含む所定の範囲の空間であればどのような空間であってもよいが、具体的には、トレーニングメニューが開始された時点においてユーザの正面方向の空間とするようにしてもよい。ユーザの正面方向の空間の具体例については後述する。所定の３次元空間の中で仮想オブジェクトを表示する位置は、トレーニングメニューのシナリオにおいて予め指定されていてもよいし、表示部１０２がランダムに決定するようにしてもよい。

また、表示部１０２は、仮想オブジェクトを表示する場合、ポジショントラッキング機能により、ディスプレイ１６を介してユーザが認識する仮想オブジェクトの位置（すなわち所定の３次元空間内での絶対位置）が変化しないように表示する。すなわち、ユーザが顔の向きを変えたり所定の３次元空間内を移動したりすることでＡＲ装置１０が動いた場合、表示部１０２は、センサ１４で検出されるＡＲ装置１０の動きに応じて、ディスプレイ１６に表示中の仮想オブジェクトの位置及び大きさを変化させることで、ユーザがＡＲ装置１０を介して認識する仮想オブジェクトの絶対位置が、３次元空間内で変化していないように表示する。

撮影部１０３は、カメラ１５を用いて所定の３次元空間を撮影する機能を有する。本実施形態では、撮影部１０３が撮影した画像は、後述する接触判定部１０４で使用されることから、撮影部１０３は、少なくともユーザの正面方向を撮影するようにする。

接触判定部１０４は、撮影部１０３で撮影された画像（映像を含む）を用いることで、所定の３次元空間において、ユーザの手が、条件指示部１０１がユーザに指示した条件に該当する仮想オブジェクトに触れたか否かを判定する機能を有する。例えば、接触判定部１０４は、撮影部１０３で撮影された画像に対して画像認識処理を行うことでカメラ１５の位置と手の位置との相対的な位置関係を認識し、更に、当該位置関係と、所定の３次元空間におけるカメラ１５（又はＡＲ装置１０）の絶対位置とに基づいて、所定の３次元空間内におけるユーザの手の絶対位置を認識するようにしてもよい。また、接触判定部１０４は、認識したユーザの手の絶対位置と、条件指示部１０１がユーザに指示した条件に該当する仮想オブジェクトの絶対位置との差が所定の範囲内である場合に、ユーザが仮想オブジェクトに触れたと判定するようにしてもよい。

評価部１０５は、ユーザが、正解の仮想オブジェクトに触れた確率（すなわち正解率）、及び、正解の仮想オブジェクトが表示されてからユーザが正解の仮想オブジェクトに触れるまでの時間（すなわちレスポンス時間）に基づいて、ユーザの認知症レベルの評価を行う機能を有する。ユーザの認知症レベルを評価する方法についてはどのような方法であってもよいが、例えば、ユーザの正解率及びレスポンス時間と認知症レベルの大きさを示す値とを対応づけたテーブルを保持しておき、評価部１０５は、当該テーブルと、ユーザがトレーニングメニューを行うことで得られた正解率及びレスポンス時間とを比較することで、ユーザの認知症レベルを評価するようにしてもよい。

＜トレーニングメニューの具体例＞
続いて、本実施形態に係るＡＲ装置１０が提供するトレーニングメニューについて、具体例を説明する。

（基本例）
トレーニングメニューでは、表示部１０２は、トレーニングメニューが開始されてから終了するまでの間、正解の仮想オブジェクト及び不正解の仮想オブジェクトを表示する位置が、所定の３次元空間において、上下方向、前後方向及び左右方向に分散されるように、仮想オブジェクトを表示する。

図３及び図４は、トレーニングメニューの具体例を説明するための図である。トレーニングメニューが開始されると、条件指示部１０１は、図３に示すように、ディスプレイ１６に「モグラが出たら叩いてください」とのテキストを表示することで、ユーザに対して指示を行っておく。なお、条件指示部１０１は、当該指示をディスプレイ１６に表示するのではなく、スピーカ１８から音声で出力するようにしてもよい。

続いて、表示部１０２は、所定の３次元空間の中に、モグラの穴を示す仮想オブジェクトＰ１１～Ｐ１９を表示しておき、時間の経過に応じて、図４に示すように、モグラの穴を示す仮想オブジェクトに代えて、モグラを示す仮想オブジェクト（正解の仮想オブジェクト）やネズミを示す仮想オブジェクト（不正解の仮想オブジェクト）を表示する。表示部１０２は、モグラやネズミを表示する位置をランダムに決定するようにしてもよい。また、同時に複数のモグラを表示させるようにしてもよい。

基本例によれば、ユーザは、モグラが出現したか否かを判断し、モグラが出現した場合、手や体を前後方向、左右方向、上下方向に動かしながらモグラを叩くことでトレーニングを行う。これにより、ユーザは、体幹部の筋肉をバランス良く鍛えることができる。また、ユーザは、運動機能及び高次認知機能の両方を同時に鍛えることができる。その結果、認知症リスクを低下させることが可能になる。

（変形例１－１）
図５は、仮想オブジェクトが表示される位置の具体例を示す図である。図５において四角で囲われた範囲は、ユーザの正面方向の空間である“所定の３次元空間”に該当する。また、図５（ａ）は、仮想オブジェクトＰ１１～Ｐ１９の前後左右方向の絶対位置を示しており、図５（ｂ）は、仮想オブジェクトＰ１１～Ｐ１９の上下方向の絶対位置を示している。また、網掛け部分は、“ユーザが仮想オブジェクトを視認できない範囲”を示しており、白色部分は“ユーザが仮想オブジェクトを視認可能な範囲”を示している。“ユーザが仮想オブジェクトを視認可能な範囲”とは、具体的には、ＡＲ装置１０が備えるディスプレイ１６の視野角（ＡＲ装置１０が仮想オブジェクトを表示可能な範囲）及びユーザ自身の視野角のうち狭い方を意味する。

変形例１－１では、図５に示すように、表示部１０２は、トレーニングメニューが開始されてから終了するまでの間、正解の仮想オブジェクト及び不正解の仮想オブジェクトを、所定の３次元空間のうち、トレーニングメニューが開始された時点においてユーザが仮想オブジェクトを視認可能な範囲に限定して表示する。

これにより、ユーザは、例えばトレーニングメニューを開始してから終了するまでの間、大きく顔の向きを変えることなくトレーニングを行うことができるため、例えば、高齢者など、運動機能が劣っているユーザであっても、無理なくトレーニングを行うことが可能になる。

（変形例１－２）
図６は、仮想オブジェクトが表示される位置の具体例を示す図である。図６（ａ１）及び図６（ａ２）は、仮想オブジェクトの前後左右方向の絶対位置を示しており、図６（ｂ１）及び図６（ｂ２）は、仮想オブジェクトの上下方向の絶対位置を示している。

図６（ａ１）の例では、仮想オブジェクトＰ３１及び仮想オブジェクトＰ３３はユーザから視認可能な範囲以外の空間に存在している。従って、ユーザは、例えば仮想オブジェクトＰ３１を見たい場合、図６（ａ２）に示すように、顔を左に向ける必要がある。同様に、ユーザは、例えば仮想オブジェクトＰ３３を見たい場合、顔を右に向ける必要がある。また、図６（ｂ１）の例では、仮想オブジェクトＰ４１及び仮想オブジェクトＰ４３はユーザから視認可能な範囲以外の空間に存在している。従って、ユーザは、例えば仮想オブジェクトＰ４１を見たい場合、図６（ｂ２）に示すように、顔を上に向ける必要がある。同様に、ユーザは、例えば仮想オブジェクトＰ４３を見たい場合、顔を下に向ける必要がある。

変形例１－２では、表示部１０２は、トレーニングメニューが開始されてから終了するまでの間、正解の仮想オブジェクト及び不正解の仮想オブジェクトを、トレーニングメニューが開始された時点において所定の３次元空間のうちユーザから視認可能な空間と、当該ユーザから視認可能ではない空間との両方に、表示する。

例えば、表示部１０２は、不正解の仮想オブジェクトを、前後左右方向において仮想オブジェクトＰ３２の位置及び上下方向において仮想オブジェクトＰ４２の位置に表示し、数秒経過後に、正解の仮想オブジェクトを、前後左右方向において仮想オブジェクトＰ３１の位置及び上下方向において仮想オブジェクトＰ４１の位置に表示するといったように、ユーザが顔の向きを様々に動かさないと仮想オブジェクトを認識することができないように表示する。

これにより、ユーザは、例えばトレーニングメニューを開始してから終了するまでの間、顔の向きを様々に変えながらトレーニングを行うことになり、ユーザの運動機能を更に鍛えることが可能になる。

（変形例２－１）
変形例２－１では、表示部１０２は、正解の仮想オブジェクト及び不正解の仮想オブジェクトが、ユーザが手を伸ばすことで届く範囲内の空間に限定して表示されるようにする。ユーザが手を伸ばすことで届く範囲内の空間は、例えば、ＡＲ装置１０の位置を中心とし、ユーザの腕の長さを半径とした円形状の範囲とするようにしてもよい。ユーザの腕の長さは、トレーニングメニューを開始する前にユーザから入力させるようにしてもよいし、予めデフォルト値として記憶装置１２に記憶させておくようにしてもよい。

これにより、例えば、高齢者など、運動機能が劣っているユーザであっても、無理なくトレーニングメニューを行うことが可能になる。

（変形例２－２）
表示部１０２は、正解の仮想オブジェクト及び不正解の仮想オブジェクトを、ユーザが手を伸ばすことで届く範囲内の空間と、ユーザが手を伸ばすことでは届かない範囲の空間（すなわち、ユーザが体ごと移動しないと届かない範囲）との両方に表示する。

例えば、図５（ａ）において、仮想オブジェクトＰ１１～Ｐ１６は、ユーザが手を伸ばすことで届く範囲内の空間に存在しており、仮想オブジェクトＰ１７～Ｐ１９は、ユーザが手を伸ばすことで届く範囲以外の空間に存在していると仮定する。この場合、ユーザは、仮想オブジェクトＰ１７～Ｐ１９の位置にモグラが出現した場合、一歩前に出なければモグラを叩くことができない。すなわち、変形例２－２では、ユーザは、モグラが出現した場合、手や体を前後方向、左右方向、上下方向に動かしながらモグラを叩くことになるため、ユーザの体幹の筋肉や運動機能を更に鍛えることが可能になる。

（トレーニングメニューのバリエーション）
以上説明した具体例はあくまで一例であり、正解の仮想オブジェクト及び不正解の仮想オブジェクトはどのようなものであってもよい。例えば、条件指示部１０１は、ユーザに「赤いモグラを叩いて下さい」という指示をしておき、表示部１０２は、正解の仮想オブジェクトとして赤いモグラを表示し、不正解の仮想オブジェクトとして青いモグラや黄色いモグラ等を表示するようにしてもよい。これにより、ユーザの高次認知機能の一つである実行機能及び処理速度を鍛えることが可能になる。

また、例えば、条件指示部１０１は、ユーザに「“か”で始まる食べ物を触ってください」という指示をしておき、表示部１０２は、正解の仮想オブジェクトとして、“カレーライス”の絵や“カツ丼”の絵等を表示し、不正解の仮想オブジェクトとして“スパゲティ”の絵や“コーヒー”の絵等を表示するようにしてもよい。これにより、ユーザの高次認知機能の一つである言語流暢性及び処理速度を鍛えることが可能になる。

また、例えば、条件指示部１０１は、図７に示すように、ユーザに計算式を指示し、表示部１０２は、正解の仮想オブジェクトである正しい計算結果と、不正解の仮想オブジェクトである誤った計算結果とを同時に表示するようにしてもよい。ユーザは、指示された計算式の答えに該当する仮想オブジェクトに触れる動作を繰り返し行うことで、高次認知機能の一つである空間認知機能、実行機能及び計算機能を鍛えることが可能になる。

また、表示部１０２は、条件指示部１０１がユーザに対して条件を指示した後、所定の時間が経過してから、正解の仮想オブジェクトを表示するようにしてもよい。これにより、ユーザは、指示された条件をある程度の時間、忘れないように記憶しておくことになるため、当該条件がユーザに指示されてからすぐに正解の仮想オブジェクトを表示する場合と比較して、ユーザの高次認知機能の一つである短期記憶を鍛えることが可能になる。

（トレーニングメニューの最適化）
条件指示部１０１及び表示部１０２は、評価部１０５が評価したユーザの認知症レベルに基づいて、トレーニングメニューをユーザごとに最適化（パーソナライズ）するようにしてもよい。例えば、条件指示部１０１がユーザに対して条件を指示した後、所定の時間が経過してから、正解の仮想オブジェクトを表示するトレーニングメニューを実行した結果、正解率が低く、ユーザに認知症の傾向があると判断されたと仮定する。この場合、例えば、表示部１０２は、トレーニングメニューの難易度を下げるために、所定の時間を短くするようにしてもよい。

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

１０…ＡＲ装置、１１…ＣＰＵ、１２…記憶装置、１３…通信ＩＦ、１４…センサ、１５…カメラ、１６…ディスプレイ、１７…入力デバイス、１８…スピーカ、１０１…条件指示部、１０２…表示部、１０３…撮影部、１０４…接触判定部、１０５…評価部

Claims (12)

1. 拡張現実を利用して認知症リスクを低下させるためのトレーニングメニューに従って、ユーザが触れるべき仮想オブジェクトに関する条件を前記ユーザに指示する指示部と、
   前記トレーニングメニューに従って、所定の３次元空間の中で、前記条件に該当する仮想オブジェクト及び前記条件に該当しない仮想オブジェクトのうち少なくともいずれか一方の仮想オブジェクトを表示する表示部と、
   前記所定の３次元空間を撮影する撮影部と、
   前記撮影部で撮影された画像を用いて、前記所定の３次元空間において前記ユーザの手が、前記条件に該当する仮想オブジェクトに触れたか否かを判定する判定部と、
   を有し、
   前記表示部は、前記トレーニングメニューが開始されてから終了するまでの間に、前記条件に該当する仮想オブジェクト又は前記条件に該当しない仮想オブジェクトが、トレーニングメニュー開始時点において前記所定の３次元空間のうち前記ユーザが視認可能な空間と前記ユーザが視認可能ではない空間との両方に表示されるように、仮想オブジェクトを表示する、
   ＡＲ装置。
2. 拡張現実を利用して認知症リスクを低下させるためのトレーニングメニューに従って、ユーザが触れるべき仮想オブジェクトに関する条件を前記ユーザに指示する指示部と、
   前記トレーニングメニューに従って、所定の３次元空間の中で、前記条件に該当する仮想オブジェクト及び前記条件に該当しない仮想オブジェクトのうち少なくともいずれか一方の仮想オブジェクトを表示する表示部と、
   前記所定の３次元空間を撮影する撮影部と、
   前記撮影部で撮影された画像を用いて、前記所定の３次元空間において前記ユーザの手が、前記条件に該当する仮想オブジェクトに触れたか否かを判定する判定部と、
   を有し、
   前記表示部は、前記ユーザに装着され、前記撮影部を有するヘッドマウントディスプレイである、
   ＡＲ装置。
3. 前記表示部は、前記トレーニングメニューが開始されてから終了するまでの間に、前記条件に該当する仮想オブジェクト又は前記条件に該当しない仮想オブジェクトを表示する位置が、前記所定の３次元空間において、上下方向、前後方向及び左右方向に分散されるように、仮想オブジェクトを表示する、
   請求項１又は２に記載のＡＲ装置。
4. 前記表示部は、前記トレーニングメニューが開始されてから終了するまでの間に、前記条件に該当する仮想オブジェクト又は前記条件に該当しない仮想オブジェクトが、トレーニングメニュー開始時点において前記ユーザが手を伸ばすことで届く範囲内の空間と、前記ユーザが手を伸ばすことでは届かない範囲の空間との両方に表示されるように、仮想オブジェクトを表示する、
   請求項１乃至３のいずれか一項に記載のＡＲ装置。
5. 前記所定の３次元空間は、前記トレーニングメニューが開始された時点において前記ユーザの正面方向の空間である、
   請求項１乃至４のいずれか一項に記載のＡＲ装置。
6. 前記指示部は、前記条件として、前記所定の３次元空間に表示される仮想オブジェクトのうち特定の属性に該当する仮想オブジェクトに触れるべきことを前記ユーザに指示する、
   請求項１乃至５のいずれか一項に記載のＡＲ装置。
7. 前記特定の属性は、仮想オブジェクトの色、仮想オブジェクトの形状又は仮想オブジェクトの名称である、請求項６に記載のＡＲ装置。
8. 前記表示部は、前記指示部が前記条件を指示した後、所定の時間が経過してから、前記条件に該当する仮想オブジェクトを表示する、
   請求項１乃至７のいずれか一項に記載のＡＲ装置。
9. ＡＲ装置が実行する方法であって、
   拡張現実を利用して認知症リスクを低下させるためのトレーニングメニューに従って、ユーザが触れるべき仮想オブジェクトに関する条件を前記ユーザに指示するステップと、
   前記トレーニングメニューに従って、所定の３次元空間の中で、前記条件に該当する仮想オブジェクト及び前記条件に該当しない仮想オブジェクトのうち少なくともいずれか一方の仮想オブジェクトを表示するステップと、
   前記所定の３次元空間を撮影するステップと、
   撮影された画像を用いて、前記所定の３次元空間において前記ユーザの手が、前記条件に該当する仮想オブジェクトに触れたか否かを判定するステップと、
   を含み、
   前記表示するステップは、前記トレーニングメニューが開始されてから終了するまでの間に、前記条件に該当する仮想オブジェクト又は前記条件に該当しない仮想オブジェクトが、トレーニングメニュー開始時点において前記所定の３次元空間のうち前記ユーザが視認可能な空間と前記ユーザが視認可能ではない空間との両方に表示されるように、仮想オブジェクトを表示する、
   方法。
10. ＡＲ装置が実行する方法であって、
    拡張現実を利用して認知症リスクを低下させるためのトレーニングメニューに従って、ユーザが触れるべき仮想オブジェクトに関する条件を前記ユーザに指示するステップと、
    前記トレーニングメニューに従って、所定の３次元空間の中で、前記条件に該当する仮想オブジェクト及び前記条件に該当しない仮想オブジェクトのうち少なくともいずれか一方の仮想オブジェクトを、前記ユーザに装着され、前記撮影部を有するヘッドマウントディスプレイに表示するステップと、
    前記所定の３次元空間を撮影するステップと、
    撮影された画像を用いて、前記所定の３次元空間において前記ユーザの手が、前記条件に該当する仮想オブジェクトに触れたか否かを判定するステップと、
    を含む方法。
11. コンピュータに実行させるプログラムであって、
    拡張現実を利用して認知症リスクを低下させるためのトレーニングメニューに従って、ユーザが触れるべき仮想オブジェクトに関する条件を前記ユーザに指示するステップと、
    前記トレーニングメニューに従って、所定の３次元空間の中で、前記条件に該当する仮想オブジェクト及び前記条件に該当しない仮想オブジェクトのうち少なくともいずれか一方の仮想オブジェクトを表示するステップと、
    前記所定の３次元空間を撮影するステップと、
    撮影された画像を用いて、前記所定の３次元空間において前記ユーザの手が、前記条件に該当する仮想オブジェクトに触れたか否かを判定するステップと、
    を含み、
    前記表示するステップは、前記トレーニングメニューが開始されてから終了するまでの間に、前記条件に該当する仮想オブジェクト又は前記条件に該当しない仮想オブジェクトが、トレーニングメニュー開始時点において前記所定の３次元空間のうち前記ユーザが視認可能な空間と前記ユーザが視認可能ではない空間との両方に表示されるように、仮想オブジェクトを表示する、
    プログラム。
12. コンピュータに実行させるプログラムであって、
    拡張現実を利用して認知症リスクを低下させるためのトレーニングメニューに従って、ユーザが触れるべき仮想オブジェクトに関する条件を前記ユーザに指示するステップと、
    前記トレーニングメニューに従って、所定の３次元空間の中で、前記条件に該当する仮想オブジェクト及び前記条件に該当しない仮想オブジェクトのうち少なくともいずれか一方の仮想オブジェクトを、前記ユーザに装着され、前記撮影部を有するヘッドマウントディスプレイに表示するステップと、
    前記所定の３次元空間を撮影するステップと、
    撮影された画像を用いて、前記所定の３次元空間において前記ユーザの手が、前記条件に該当する仮想オブジェクトに触れたか否かを判定するステップと、
    を含むプログラム。

Images