JP2024505040A - 個人の認知状態に関する情報を提供するための装置、方法、およびコンピュータプログラム - Google Patents

Abstract

モバイルデバイス（２）のユーザの認知状態を決定するための装置（１）であって、拡張現実環境が示されると、モバイルデバイス（２）の入力要素（１０．１）をイネーブルするイネーブルモジュール（１５）であって、イネーブルモジュールはＩＭＵ（６）によって測定されたデータに応じて、イネーブルすることを可能にし、入力要素（１０．１）は、イネーブルされた後にユーザによって選択されると、ユーザがタスクを解決することを可能にし、入力要素（１０．１）のイネーブルと選択との間の期間においてＩＭＵ（６）からのデータを記録するための記録モジュール（１６）と、記録モジュールによって記録されたデータを所定の周波数におけるマグニチュードのセットに縮小する特徴抽出モジュール（８）と、所定の周波数におけるマグニチュードのセットに基づいてユーザの認知状態を決定する機械学習モジュール（９）と、を含む。

Description

本発明は個人、例えば、慣性測定ユニット（ＩＭＵ）を備えるモバイルデバイスのユーザの認知状態に関する情報を提供し、任意選択で、その認知状態を決定するための装置、方法、およびコンピュータプログラムに関する。

認知状態、特に脳疾患または脳損傷に関する健康状態の検出は、検出が困難である。それぞれの脳疾患や脳障害の症状を知っている専門医が必要である。それでも、人間の医師によるそのような健康状態の検出は、あまり客観的ではなく、しばしば誤りを起こしやすい。

最新技術では、モバイルデバイスがユーザによって保持されるモバイルデバイスの経路に基づいてユーザデータを生成することができる。

この文脈において、「モバイルデバイス」という表現は、好ましくはスマートフォンまたはタブレットのようなハンドヘルドポータブルデバイスを示す。しかし、この表現は、ユーザが携帯する他の任意のデバイスも示す。例えば、モバイルデバイスはウェアラブルデバイス、例えば、スマートウォッチのような（スマート）ブレスレット、（スマート）グラス、またはユーザによってウェアラブルである任意の他の（スマート）デバイスであり得る。モバイルデバイスは１つの単一の装置で実現することができ、または少なくとも２つの個別のまたは別個の装置で実現することもできる。少なくとも２つの個々のまたは別個の装置は例えば、ポータブルハンドヘルド装置（例えば、スマートフォン）、ブレスレット（例えば、スマートウォッチのようなスマートブレスレット）、メガネ（例えば、拡張現実（ＡＲ）メガネ）、またはユーザによって装着可能な任意の他の装置のうちの少なくとも２つであり得る。

出願人によって出願された特許文献１は、モバイルデバイスの経路と組み合わせてモバイルデバイスの第２カメラで記録されたユーザの特徴の使用が認知状態のための検出品質を著しく改善することを記載している。

本発明の態様は、個人の認知状態に関する情報を提供するための改良された装置、方法、およびシステムを提供しようとする。

ＥＰ３６２１２７６

本発明の目的は、例えばモバイルデバイスを使用することによって、ユーザの認知状態の検出をさらに改善することである。

いくつかの実施形態は、モバイルデバイスを使用することによって、ユーザの認知状態の品質検出をさらに改善することができる。

本発明の一態様によれば、第１個人の認知状態に関する情報を提供するための装置が提供され、この装置は、第１個人の手の動きを測定するように動作可能な測定ユニットと、第１期間において測定ユニットからのデータを記録するための記録モジュールと、記録モジュールによって記録されたデータを所定の周波数におけるマグニチュードのセットに縮小するための特徴抽出モジュールと、所定の周波数におけるマグニチュードのセットに基づいて前記第１個人の認知状態に関する情報を提供するための機械学習モジュールと、を含む。

いくつかの実施形態では、所定の周波数におけるマグニチュードのセットが実質的に排他的に第１期間に記録モジュールによって記録されたデータに関する。

いくつかの実施形態では、装置が第１期間中、第１個人が手を実質的に定常および／または実質的に静止状態に維持することを、第１個人に要求するように構成される。

いくつかの実施形態では、装置が出力を含み、装置は、手を実質的に定常および／または実質的に静止した状態に維持することを第１個人に要求するとき、出力を介して第１個人に示すように構成される。

いくつかの実施形態では測定ユニットは加速度計を含み、装置は加速度計から得られる記録モジュールによって記録されたデータを統合するように構成された統合モジュールを含む。

いくつかの実施形態では、積分モジュールが加速度計から得られる記録モジュールによって記録されたデータを二重積分するように構成される。

いくつかの実施形態では、第１個人の認知状態に関する情報が第１個人についての将来のアルツハイマー病の予測および／または軽度認知障害からアルツハイマー病への転換を含む。

いくつかの実施形態では、機械学習モジュールが、第１個人が薬物を受けているべきかどうかを決定し、および／または薬物使用の用量および頻度を決定するように構成され得る。

本発明の一態様によれば、装置を使用することによって、第１個人の認知状態に関する情報を提供する方法が提供され、この装置は、第１個人の手の動きを測定するように動作可能な測定ユニットを含み、この方法は、装置の記録モジュールを使用することによって、測定ユニットからのデータを第１期間に記録し、装置の特徴抽出モジュールを使用することによって、記録モジュールによって記録されたデータを所定の周波数におけるマグニチュードのセットに縮小し、装置の機械学習モジュールを使用することによって、所定の周波数におけるマグニチュードのセットに基づいて、第１個人の認知状態に関する情報を提供する。

いくつかの実施形態では、本方法は、第１期間中に、手を実質的に定常および／または実質的に静止した状態に保つことを第１個人に要求することを含む。

いくつかの実施形態では、装置は、モバイルデバイスと、モバイルデバイスのＩＭＵであって、測定ユニットであるＩＭＵと、ユーザに情報を光学的に提供するための、モバイルデバイスの光出力手段と、を含み、方法は、モバイルデバイスの環境の画像を記録し、画像はモバイルデバイスのカメラを使用することによって取得され、光出力手段を介して、カメラによってキャプチャされたモバイルデバイスの環境に基づいて、装置の拡張現実モジュールを使用することによって、モバイルデバイスの拡張現実環境を生成し、拡張現実環境が示されると、モバイルデバイスの入力要素をイネーブルし、ＩＭＵによって測定されたデータに応じて、入力要素をイネーブルし、入力要素は装置のイネーブルモジュールを使用することによって、ユーザによって選択された後に、ユーザがタスクを解決することを可能にし、第１期間は、入力要素のイネーブルと選択との間の期間である。

いくつかの実施形態では、方法が機械学習モジュールを使用して、第１個人について、将来のアルツハイマー病および／または軽度認知障害からアルツハイマー病への転換を予測することを含む。

いくつかの実施形態では、方法は、第１個人が薬物を受けているべきかどうかを決定すること、および／または薬物使用の用量および頻度を決定することを含むことができる。

本方法は、上記の装置について列挙された動作の何れかを実行することを含み得ることに留意されたい。

本発明の一態様によれば、コンピューティングデバイス上で実行されたときに、上述した方法を実行するように構成されたプログラムが提供される。

本発明の一態様によれば、第１個人の認知状態に関する情報を提供するためのコンピュータ実装システムが提供され、このシステムは、記録モジュールによって記録されたデータを所定の周波数におけるマグニチュードのセットに縮小するための特徴抽出モジュールであって、記録モジュールは第１期間において測定ユニットからのデータを記録し、測定ユニットは第１個人の手の動きを測定するように動作可能である、特徴抽出モジュールと、所定の周波数におけるマグニチュードのセットに基づいて、第１個人の認知状態に関する情報を提供する機械学習モジュールと、を含む。

いくつかの実施形態では、コンピュータ実装システムが第１個人と相互作用しない、上記で列挙された装置の特徴の何れかを含み得る。

コンピュータ実装システムは、上記の装置について列挙されたモジュールなどの特徴の何れかを含むことができることに留意されたい。

本発明のいくつかの実施形態は、モバイルデバイスを使用することによって、既知の解決策に関する代替的な方法で、ユーザの認知状態を検出することができる。

本発明のいくつかの実施形態は、モバイルデバイスを使用することによって、ユーザの認知状態を効率的かつ正確に検出することができる。

本発明の一態様によれば、モバイルデバイスと、モバイルデバイス内の光出力手段と、モバイルデバイスのカメラとを備え、モバイルデバイスの環境の画像を記録する装置が提供される。

いくつかの実施形態では、装置が光出力手段を介して、かつカメラによってキャプチャされたモバイルデバイスの環境に基づいて示される拡張現実環境を生成するための、拡張現実モジュールをさらに含む。

いくつかの実施形態では、モバイルデバイスのＩＭＵがモバイルデバイスの位置変化を検出するように構成される。ＩＭＵは、好ましくはモバイルデバイスの位置変化を測定するための（好ましくは３軸）加速度計、および／またはモバイルデバイスの向き変化を測定するための（好ましくは３軸）ジャイロスコープを備える。

いくつかの実施形態では、ＩＭＵが（地球の磁場に基づいて）モバイルデバイスの絶対配向を検出するための磁力計を備える。しかしながら、ＩＭＵは、三角測量センサとして、位置を検出するための他のモジュールを追加的にまたは代替的に備えることができる。三角測量センサは衛星（例えば、ＧＰＳ）または携帯電話基地局から送信された異なる信号に基づいて位置を測定することができる。

本発明のいくつかの実施形態によれば、拡張現実環境が示されると、ＩＭＵからの（測定）データは、モバイルデバイス内の触覚入力要素を可能にするために使用される。本発明のいくつかの実施形態によれば、この触覚入力要素は、イネーブルモジュールによってイネーブルされた後、使用者によって選択されると、使用者がタスクを解決することを可能にする。

好ましい一実施形態では触覚入力要素がＩＭＵによって測定される（平均）加速度が閾値を下回る場合に有効とされ、この閾値は例えば４．５ｍ／ｓ^２である。この加速度は好ましくは時間窓において測定される平均加速度であり、この時間窓は好ましくは１．２０秒から１．４０秒の間の長さであり、好ましくは１．２８秒の長さである。

別の好ましい実施形態では、触覚入力要素が例えば、カメラによって撮影された少なくとも１つの画像内の決定された要素および／または目標位置の存在に応じて、カメラによって撮影された少なくとも１つの画像に応じて（また）イネーブルされる。例えば、非限定的に、触覚入力要素は、カメラによって撮影された少なくとも１つの画像に平坦な表面積がある場合にイネーブルされる。

本発明のいくつかの実施形態によれば、装置は、（イネーブルモジュールによる）触覚入力要素イネーブルと（ユーザによる）選択との間の第１期間にＩＭＵからのデータを記録するための記録モジュールを備える。

本発明のいくつかの実施形態によれば、装置は、記録モジュールによって記録されたデータを所定の周波数におけるマグニチュードのセットに縮小するための特徴抽出モジュールを備える。

本発明のいくつかの実施形態によれば、装置は、所定の周波数におけるこのマグニチュードのセットに基づいてユーザの認知状態を決定するための機械学習モジュールも備える。

本発明のいくつかの実施形態では、触覚入力要素を選択することができるように、デバイスをできるだけ定常的に保持するユーザの認知状態を決定することが可能である。そうでない場合、触覚入力要素は、イネーブルモジュールによってイネーブルされない。

いくつかの実施形態では、デバイスが例えば閾値を下回る（平均）加速度で、比較的わずかな動きで定常または定常に保持される場合、触覚入力要素がイネーブルされる。そのような実施形態において触覚入力要素がイネーブルされるとき、それは、例えば、仮想オブジェクトを目標位置に（またはその上に）配置するために、タスクを解決するためにユーザによって選択され得る。

本出願人は、触覚入力要素のイネーブルと選択との間の第１期間におけるＩＭＵからの（測定）データがユーザの認知状態を決定するのに有用であることを見出した。好ましくはこの第１期間が１．２０秒と１．４０秒との間に含まれ、好ましくは１．２８秒に等しく、これはユーザが、触覚入力要素が有効になった後に触覚入力要素を押すのにかかる平均時間である。一般に、ユーザは触覚入力要素をイネーブルした後に、触覚入力要素を選択するために、モバイルデバイスをほぼ静止状態に保持する。

事実、出願人は、ＩＭＵからのデータが記録される条件が可能な限り類似していることが有益であることを見出した。すなわち、データ自体はユーザ間で異なるが、テスト設計は比較可能なデータを保証するために、可能な限り類似していることが好ましい。これは、ユーザの認知状態を効率的かつ正確な方法で決定することを可能にする。本発明のいくつかの実施形態によれば、ユーザは、モバイルデバイスを可能な限り安定して保持すべきである。これは、好ましくは触覚入力要素のイネーブルと選択との間の場合である。

したがって、本発明のいくつかの実施形態による装置は、ユーザの認知状態の検出をさらに改善することを可能にする。

さらに、本発明の実施形態では、特徴抽出モジュールが元の（すなわち、縮小されていない）データの主要な特徴を依然として正確に記述しながら、機械学習モジュールによって使用されるデータ量を縮小することを可能にする。

したがって、本発明の実施形態による装置は、ユーザの認知状態を効率的かつ正確に検出することを可能にする。

一実施形態では所定の周波数におけるマグニチュードのセットがＮ個の周波数を含み、Ｎは７～１５の整数であり、好ましくはＮ＝１０である。これにより、ノイズの多い周波数から保護することができる。さらに、この数は、あまりに少なく、あまりに多くの特徴のバランスを取ることを可能にする。本発明のいくつかの実施形態における各追加の周波数はＭ個の価値だけデータを増加させる（ここで、ＭはＩＭＵのセンサの各々についての寸法の積、センサの数、テストの対象の数、およびテスト実行の数の回数である）。この文脈において、テストオブジェクトは、ユーザがＡＲ環境においてタスクを解決することを可能にする（仮想）オブジェクトである。

例えば、２つのテストランにわたって、３つのオブジェクトに対する２つのセンサの各々に対して３つの次元がある場合、値の数Ｍは３６である。１つの周波数を使用するだけでは（したがって、３６の特徴を有する）、機械学習モジュールがパフォーマンス低下につながる所望のクラスを分離するには、あまりにも少ない特徴を有する。より多くの周波数、例えば２０個の周波数（したがって７２０個の特徴）を使用することは、過適合のより高いリスクを与え、やはり性能不足につながる。本出願人は良好なバランスが１０個の周波数を使用し、したがって３６０個の特徴を使用していることを見出した。

一実施形態ではこれらの所定の周波数はすべて１０Ｈｚ未満である。やはり、より高い周波数は出願人によって、いくつかの実施形態で使用するにはノイズが多過ぎると考えられる。いくつかの実施形態では、ＩＭＵから記録された信号が実際の信号と、ＩＭＵの回路からの電気ノイズおよび機械ノイズ（熱機械ノイズおよび環境振動ノイズ）などのノイズとの組み合わせである。これらの異なるノイズ源はしばしば高周波数を有し、したがって、好ましくは、考慮から除外される。

一実施形態では、所定の周波数におけるマグニチュードのセットの周波数分解能は、触覚入力要素イネーブルと選択との間の第１期間の逆数である。例えば、この期間が１．２８秒である場合、所定の周波数におけるマグニチュードのセットの周波数分解能は０．７８Ｈｚである。

好ましい一実施形態では、これらの所定の周波数が０．７８、１．５６、２．３４、３．１２、３．９１、４．６９、５．４７、６．２５、７．０３、７．８１である。これは、０．７８Ｈｚの周波数分解能で最低１０周波数を使用することに対応する。

一実施形態では、光出力手段が拡張現実環境を表示すると同時に又は表示した後に触覚入力要素を表示するように構成される。

一実施形態では、装置が環境内のモバイルデバイスの位置経路を決定するように構成された経路モジュールをさらに備え、機械学習モジュールは例えば、ユーザがタスクを解決する間に決定されたモバイルデバイスの位置経路にも基づいて、ユーザの認知状態を決定するように構成される。

一実施形態ではユーザが目標位置まで所定の距離、例えば、３０ｃｍであると、周囲の視覚は拡張現実モジュールによって拡張される。

本発明の一態様によれば、装置を使用することによって、モバイルデバイスのユーザの認知状態を決定するための方法が提供され、この装置は、モバイルデバイスと、モバイルデバイス内のＩＭＵと、ユーザに情報を光学的に提供するための、モバイルデバイスの光出力手段と、を含む。本方法は、モバイルデバイスの環境の画像を記録し、前記画像はモバイルデバイスのカメラを使用することによって取得され、装置の拡張現実モジュールを使用することによって、光出力手段を介して示され、カメラによってキャプチャされたモバイルデバイスの環境に基づいて拡張現実環境を生成し、拡張現実環境が示されると、モバイルデバイスの触覚入力要素をイネーブルし、拡張現実環境が示されると、ＩＭＵによって測定されたデータに応じてモバイルデバイス内の触覚入力要素をイネーブルし、触覚入力要素は装置のイネーブルモジュールを使用することによって、イネーブルされた後にユーザによって選択されると、ユーザがタスクを解決することを可能にし、装置の記録モジュールを使用することによって、触覚入力要素のイネーブルと選択との間の第１期間において、ＩＭＵからのデータを記録し、装置の特徴抽出モジュールを使用することによって、記録モジュールによって記録されたデータを、所定の周波数におけるマグニチュードのセットに縮小し、所定の周波数におけるマグニチュードのセットに基づいて、ユーザの認知状態を決定する、ことを含む。

本発明の一態様によれば、装置および／またはモバイルデバイスのプロセッサ上で命令が実行されるとき、以下のステップを実行するように構成された命令を含む、モバイルデバイスのユーザの認知状態を決定するためのコンピュータプログラムが提供される。モバイルデバイスの環境の画像を記録し、画像はモバイルデバイスのカメラを使用することによって取得され、装置の拡張現実モジュールを使用することによって、光出力手段を介して示され、カメラによってキャプチャされたモバイルデバイスの環境に基づいて拡張現実環境を生成し、拡張現実環境が示されると、モバイルデバイスの触覚入力要素をイネーブルし、拡張現実環境が示されると、ＩＭＵによって測定されたデータに応じてモバイルデバイスの触覚入力要素をイネーブルし、触覚入力要素は装置のイネーブルモジュールを使用することによって、イネーブルされた後にユーザによって選択されると、ユーザがタスクを解決することを可能にし、装置の記録モジュールを使用することによって、触覚入力要素のイネーブルと選択との間の期間において、ＩＭＵからのデータを記録し、装置の特徴抽出モジュールを使用することによって、記録モジュールによって記録されたデータを、所定の周波数におけるマグニチュードのセットに縮小する。

上述の、または、従属請求項の何れかの特徴のいずれも、本発明の態様の何れかにおいて使用することができることを理解されたい。

図１は、ユーザの認知状態を決定するための装置の実施形態の概略図を示す。 図２Ａは、本実施形態による装置のモバイルデバイスを使用することによって、ユーザによって解決されるタスクの様々なステップにおけるモバイルデバイスの光出力手段の正面図の一実施形態を示す。 図２Ｂは、本実施形態による装置のモバイルデバイスを使用することによって、ユーザによって解決されるタスクの様々なステップにおけるモバイルデバイスの光出力手段の正面図の一実施形態を示す。 図２Ｃは、本実施形態による装置のモバイルデバイスを使用することによって、ユーザによって解決されるタスクの様々なステップにおけるモバイルデバイスの光出力手段の正面図の一実施形態を示す。 図２Ｄは、本実施形態による装置のモバイルデバイスを使用することによって、ユーザによって解決されるタスクの様々なステップにおけるモバイルデバイスの光出力手段の正面図の一実施形態を示す。 図３は本発明の実施形態による装置のモバイルデバイスの実施形態の斜視図を示し、ロールΦ’、ピッチθ、および向きφ、ならびに基準Ｘ、Ｙ、およびＺの直交デカルト軸が示されている。 図４は、本発明の実施形態を使用することによって、アルツハイマー病の対象のリスクを予測する分類器の５フォールド層別交差検証ＲＯＣ（受信者動作特性）性能を示すグラフである。 図５は、本発明の実施形態を使用することによって、アルツハイマー病の対象のリスクを予測する分類器の５フォールド層別交差検証ＲＯＣ（受信者動作特性）性能を示すグラフである。 図６は、本発明の一実施形態によるモバイルデバイスのスクリーンショットである。

本発明の例示的な実施形態は、単なる例として、説明に開示され、図に示される。

図１は、ユーザのこの実施形態において、第１個人の認知状態に関する情報を提供するための装置１の実施形態を示す。この実施形態では装置が第１個人の認知状態を決定するためのものであるが、他の実施形態では装置が例えば医師によるそのような決定に使用することができる情報を単に提供することができる。

図１に示すモジュール間の接続は図示していないが、図示したモジュールの少なくとも一部は（物理的に）互いに接続されている。さらに、図１におけるそれらの配置は純粋に例示的であり、それらの物理的配置を表すものではない。

この文脈において、用語「モジュール」は、操作ユニットを示す。いくつかのモジュールは例えば、（マイクロプロセッサ）内で一緒に組み合わせることができる。好ましくは、モジュールが専用チップ及び／又は（図示せず）中央処理装置（ＣＰＵ）及び／又は装置１内の任意の他の処理ユニットに実現される。

図１の実施形態では、装置１がモバイルデバイス２と、モバイルデバイス２の第１カメラ３と、モバイルデバイスのＩＭＵ６とを備える。ＩＭＵ６はユーザの手の動きを測定するように動作可能な測定ユニットであり、この実施形態では、３軸加速度計６．１および３軸ジャイロスコープ６．２を備える。

また、装置１は、モバイルデバイス２に出力手段５を備える。出力手段５は、モバイルデバイス２のユーザに光情報を表示するための光出力手段５．１を備える。光出力手段５．１は、好ましくはディスプレイである。光出力手段５．１、特にディスプレイは、好ましくはモバイルデバイス２、特に携帯型モバイルデバイスの第２側面に配置される。しかしながら、プロジェクタのような他の光出力手段５．１（例えば、眼鏡のアイプロジェクタ）も考えられる。光出力手段５．１はユーザが光出力手段５．１からの情報を出力視野方向１２、すなわち、ユーザから光出力手段５．１への方向に見ることができ、ユーザが光出力手段５．１からの情報を見ることができるように、モバイルデバイス２内に配置される。

一実施形態では、出力手段５がスピーカのように、ユーザに対して情報１５を再生するための音声出力手段５．２をさらに備える。

装置１はまた、光出力手段５．１を介して示される拡張現実環境を生成し、カメラ３によってキャプチャされたモバイルデバイス２の環境に基づいて拡張現実環境を生成するための拡張現実モジュール１４を備える。

装置１は、光出力手段５．１を介して現実環境が示されると、モバイルデバイス１内の入力要素１０．１をイネーブルするためのイネーブルモジュール１５も備える。モバイルデバイス２内の入力要素１０．１は、好ましくは触覚入力要素である。

この文脈では、「触覚入力要素」という表現がユーザによって、またはスタイラスなどの手段によって触れられた場合に機能を実行する任意の器官または手段を示す。

図１において、入力要素１０．１は、ユーザ命令をモバイルデバイス２に入力するように構成された入力手段１０に属する。入力要素１０．１は好ましくは（タッチ）ボタンまたはタッチセンサ上に表示される要素３０であり、好ましくはモバイルデバイス２のディスプレイ上に配置され、すなわち、ディスプレイおよびタッチセンサはタッチスクリーンを構成する。しかしながら、入力要素１０．１は、物理的（線形および／または回転）ボタン、マウス、トラックボール、ノブ、または任意の他の触覚物理的要素であってもよい。

別の実施形態では、入力要素１０．１はまた、ユーザがタスクを解決することを可能にする、手または目の方向認識モジュールであり得る。別の実施形態では、入力要素１０．１が（例えば、音声コマンドのための）マイクロフォンとすることができる。なお、入力手段１０のマイクは、後述するマイク１３に相当するものであってもよい。

図１の実施形態によれば、入力要素１０．１により、ユーザは、拡張現実環境上のタスクを、イネーブルされた後にユーザによって選択されると、解決することができる。このイネーブルは、拡張現実環境が光出力手段を介して示されると、実行される。

イネーブルモジュール１５はＩＭＵ６によって測定されたデータに応じて、入力要素１０．１をイネーブルにする（すなわち、アクティブにする）ことを可能にする。

この実施形態ではＩＭＵ６が（３軸）加速度計６．１を備え、加速度計６．１によって測定された（平均）加速度がしきい値未満、例えば４．５ｍ／ｓ^２未満である場合、イネーブルモジュール１５は入力要素１０．１をイネーブルする。次いで、ユーザが例えば、それに触れるか、またはそれを押すか、または回転させることによって、（有効にされた）入力要素１０．１を選択する場合、入力要素１０．１は、ユーザが拡張現実環境におけるタスクを解決することを可能にする。そうではなく、入力要素１０．１がイネーブルモジュール１５によって無効化される場合、ユーザがそれを選択する場合、ユーザは、拡張現実環境においてタスクを解決することができない。

イネーブルモジュール１５は、ＩＭＵ ６によって測定されたデータに応じて入力要素１０．１をイネーブルにすることを可能にするので、入力要素１０．１（イネーブルまたはディスエーブル）の状態がそれらのデータに応じて時間的に変化することが可能である。

例えば、加速度計６．１によって測定された（平均）加速度が閾値を下回る場合、入力要素１０．１は、イネーブルモジュール１５によってイネーブルされる。しかしながら、例えば、モバイルデバイス２を保持しているユーザが加速度計６．１によって測定された（平均）加速度が閾値を上回るように、震え始めるか、またはその位置を突然変化させる場合、入力要素１０．１は、イネーブルモジュール１５によって無効にされる。加速度計６．１によって測定された（平均）加速度が閾値を下回る場合、入力要素１０．１は、イネーブルモジュール１５によって再びイネーブルされる。

装置１はまた、ＩＭＵ ６からのデータを記録するための、特に、入力要素１０．１のイネーブル（イネーブルモジュール１５による）と選択（ユーザによる）との間の期間で測定窓においてＩＭＵ６からのデータを記録するための記録モジュール１６を備える。記録モジュールは例えば、ＲＡＭ又はＲＯＭメモリとすることができる。

装置１は、加速度計から得られる記録モジュールによって記録されたデータを積分するように構成された積分モジュール（図示せず）を含む。この実施形態では、積分モジュールが加速度計から得られる記録モジュールによって記録されたデータを二重積分して、位置データをもたらすように構成される。

装置１はまた、記録モジュール１６によって記録されたデータ、特に、積分モジュールによって生成された位置データを、所定の周波数におけるマグニチュードのセットに縮小するための特徴抽出モジュール８を備える。この実施形態では、特徴抽出モジュール８がフーリエ変換、特に高速フーリエ変換を使用して、記録モジュール１６によって記録されたデータを所定の周波数におけるマグニチュードのセットに縮小する。与えられた周波数におけるマグニチュードのセットは、入力要素１０．１のイネーブル（イネーブルモジュール１５による）と選択（ユーザによる）との間の第１期間においてのみ、記録モジュール１６によって記録されるデータに関係することに留意されたい。

理解されるように、積分モジュールは、特徴抽出の前にデータを積分する。しかしながら、他の実施形態では、積分が特徴抽出の後に行われてもよく、または全く行われなくてもよい。それにもかかわらず、積分は、性能を約５パーセントポイント改善することができるので、好ましい。

装置１はまた、特徴抽出モジュール８によって送達される所定の周波数におけるマグニチュードのセットに基づいて、ユーザの認知状態に関する情報を提供し、この実施形態では、ユーザの認知状態を決定するように構成された機械学習モジュール９を備える。

図１の実施形態では、装置１がモバイルデバイス２の第２カメラ４、経路モジュール６．３、タスクモジュール７、（図示しない）ユーザ特徴モジュール、およびマイクロフォン１３も備える。

経路モジュール６．３はタスクの少なくとも一部が解決されている間に、モバイルデバイス２の経路、特にモバイルデバイス２が辿る経路を決定するように構成される。図３の実施形態では、経路モジュール６．３はＩＭＵ６内にある。しかしながら、経路モジュール６．３をＩＭＵ６の完全に又は部分的に外側に配置することも可能である。好ましくは、経路モジュール６．３がモバイルデバイス２内に配置される。

図１において、第２カメラ４は出願人により提出された特許文献１に記載されているように、第２視野方向４．１における画像が記録されるように、第２視野方向４．１を指している。第２カメラ４はユーザがモバイルデバイス２でタスク（の少なくとも一部）を解決する間に、ユーザと共に画像を記録するように構成される。しかしながら、これは、全ての実施形態において必須ではない。

マイクロフォン１３は、モバイルデバイス２の環境のオーディオ信号を記録するように構成される。マイクロフォン１３はユーザの音声信号を記録するように構成され、ユーザはモバイルデバイス２でタスク（の少なくとも一部）を解決する。しかしながら、これは、全ての実施形態において必須ではない。

ユーザ特徴モジュール（図示せず）は、ユーザがタスクを解決する間、及び／又はユーザがタスクを解決する間、マイクロフォン１３によって記録されたオーディオ信号において、更なるカメラ４によって記録された画像に基づいて少なくとも１つのユーザ特徴を決定するように構成される。しかしながら、これは、全ての実施形態において必須ではない。

この実施形態では、装置１がモバイルデバイス２から離れた何らかの計算タスクを実現するためのコンピュータ実装システムを提供するさらなる装置１１を備える。言い換えれば、モバイルデバイスおよびさらなるデバイスは両方ともコンピューティングデバイスであり、プロセッシングはそれらの間で分割される。さらなる装置１１は、データおよび／または結果を交換するためにモバイルデバイス２と接続され得る。モバイルデバイス２とさらなる装置１１との間の接続は好ましくはインターネットを介するが、ＷＬＡＮ、携帯電話ネットワーク、他の無線通信プロトコルおよび／または他の通信技術を介することもできる。さらなる装置１１は例えば、サーバ、好ましくはインターネット接続サーバであり、および／または好ましくはモバイルデバイス２から離れている。しかしながら、さらなる装置１１はモバイルデバイス２の環境内に配置することもでき、および／または、例えば、ＷＬＡＮおよび／またはＬＡＮおよび／または他のワイヤレス通信プロトコルを介して接続することもできる。しかしながら、さらなる装置１１はモバイルデバイス２においてすべての計算タスクが行われる場合、オプションであり、必要とされない。この場合、装置１は、モバイルデバイス２に対応する。

例えば、タスクモジュール７、特徴抽出モジュール８、機械学習モジュール９、拡張現実モジュール１４、イネーブルモジュール１５、および記録モジュール１６はさらなる装置１１に（全体的にまたは部分的に）属することができる（さらなる装置１１において点を有する図１の関連符号を参照。）。

同様に、図１の特徴抽出モジュール８および機械学習モジュール９は、さらなる装置１１に属するものとして示されている。しかしながら、それらは、（全体的にまたは部分的に）モバイルデバイス２に属することができ（さらなるデバイス２に点を有する図１の関連符号を参照）、または一般に装置１に属することができる（さらなるデバイス２に２つの点を有する図１の関連符号を参照。）。同様の説明が、積分モジュール（図示せず）にも当てはまる。

第１カメラ３および／または第２カメラ４は、環境の画像、好ましくはユーザの目に見える環境の特徴の画像を記録するための任意の適切なセンサとすることができる。好ましくは、１５個の第１カメラ３および／または第２カメラ４がユーザによって見られるような環境をコピーする画像を記録するための光学カメラである。しかしながら、第１カメラ３および／または第２カメラ４は、任意の他のカメラ、例えば３Ｄカメラ、飛行時間カメラ、または可視スペクトル以外の波長をカバーする光学カメラ、例えば赤外線カメラまたは紫外線カメラなどであってもよい。好ましくは、第１カメラ３および／または第２カメラ４がデジタル画像センサおよび／または（デジタル画像センサ上に画像を合焦させるための）（光学）レンズを備える。

第１カメラ３はモバイルデバイス２の環境の画像が第１視野方向３．１に記録されるように、および／または第１カメラ３の画像が光出力手段５．１上に表示され得るように、モバイルデバイス２内に配置され、それにより、ユーザが光出力手段５．１の光情報を見るために光出力手段５．１上を見、第１カメラ３で現在記録されている画像が光出力手段５．１上に表示されるとき、ユーザは、光出力手段５．１上で光出力手段５．１の背後の環境の画像を見る。

ここでは、第１カメラ３によってキャプチャされ、光出力手段５．１によって（リアルタイムで）再生されるモバイルデバイス２のこの環境を、物理的環境ＰＥと定義する。この環境は拡張現実モジュール１４によって拡張することができ、ＡＲ環境になる。それは、任意の情報によって増強することができ、または増強されないことができ、したがって、増強された情報を伴うデジタル化された環境に限定されない。

タスクモジュール７は（モバイルデバイス２を介して）モバイルデバイス２のユーザと対話するように構成され、これは、例えば、モバイルデバイス２の環境においてユーザがモバイルデバイス２を動かす（特に、歩く）ことを解決するタスクをユーザに与えることによって行われる。この実施形態では、タスクモジュール７が（モバイルデバイス２を介して）モバイルデバイス２のユーザと対話して、モバイルデバイス２の環境内のモバイルデバイス２と共にユーザを歩行させるように構成される。一実施形態では、タスクモジュール７がユーザにタスクを解決させるために、および／または（ＡＲ）環境でモバイルデバイス２を移動させる（特に、歩く）ために、モバイルデバイス２（ＡＲ）環境を使用するように構成される。

一実施形態では、このタスクは、（ＡＲ）環境内の定義された目標位置に仮想オブジェクトを配置することである。

図２Ａは、テストを実行するユーザによって保持されるモバイルデバイス２の光出力手段５．１によって表示される物理的環境ＰＥの実例を示す。

この分脈では、「テスト」という用語がＡＲ環境において少なくとも１つのタスクを実行するように、モバイルデバイス２を保持するユーザによって行われたアクティビティを示す。テストの少なくとも一部の間、ＩＭＵ６はデータを測定する。しかしながら、他の実施形態では、テストが非ＡＲ環境において少なくとも１つのタスクを実行するように、ＡＲ環境の外部にモバイルデバイスを保持するユーザによって行われるアクティビティであってもよい。

好ましい実施形態ではテストを開始するために、ユーザは好ましくは両手で、かつ体の前で、モバイルデバイス２を保持することが要求される。そうする間、光出力手段５．１はカメラ３からの出力を、好ましくはモバイルデバイス２の背面に、モバイルデバイス２を通して見ることができるように、連続的に示す。

この実施形態では、必要なタスクは、定義された目標位置に仮想オブジェクトを配置することである。この実施形態では、この定義された目標位置が平坦な表面領域（例えば、テーブル、椅子、床）、例えば物理的環境ＰＥのテーブルＴＰの近く、その中、またはその上にある。

この実施形態では、ユーザがモバイルデバイス２を、目標位置ＴＰまで、所定の距離、例えば、３０ｃｍに移動させるべきである。ユーザが移動することにより、図２Ｂに示すように、光出力手段５．１に表示される物理的環境ＰＥが変化する。

この実施形態では、ユーザが目標位置ＴＰまでの所定の距離、例えば３０ｃｍに位置すると、周囲の視覚化は仮想要素ＶＥ、例えば、図２Ｂの目標位置ＴＰの上に示される仮想リングで増強される。仮想要素（リング）ＶＥは、派手な色、例えば緑色で表示することができる。

ここの実施形態では、仮想要素ＶＥが表示されると、入力要素１０．１、例えば、図２Ｃのテキスト「Ｐｌａｃｅ（配置）」を有する仮想タッチボタンが現れる。

この実施形態では、次に、ユーザは、入力要素１０．１を、例えばタッチによって選択できるように、モバイルデバイス２をしっかりと保持することを要求される。ユーザがモバイルデバイス２をしっかりと保持しない場合、または、ＩＭＵ６によって検出されるように、モバイルデバイス２が過度に動かされる場合、入力要素１０．１は無効にされる。

例えば、ＩＭＵ６によって測定された平均加速度が閾値を下回る場合、ＩＭＵ６によって検出されるように、デバイスが比較的少ない動きで定常状態に保持される場合、入力要素１０．１は再びイネーブルにされる。

入力要素１０．１がユーザによって選択されると、図２Ｄに示されるように、仮想物体ＶＯ（例えば、小さなクマ）が、仮想要素ＶＥの位置において、光出力手段５．１上に示される。好ましくは、仮想要素ＶＥおよび／または入力要素１０．１は消える。

次いで、仮想オブジェクトＶＯが仮想的に配置され、他の仮想オブジェクトに対して手順を繰り返すことができる。好ましくは、２つの仮想オブジェクトが同じ物理的位置に配置することができず、例えば、対象は次の仮想オブジェクトを配置するために現在位置から距離（例えば、少なくとも１メートル）を移動する必要がある。テスト全体を２回繰り返すことができ、その結果、被験者は、合計で６つの仮想オブジェクトを２回のテスト実行で配置した。

一実施形態では、２つのテストランのそれぞれについて、３つのオブジェクトのそれぞれについて、加速度計６．１およびジャイロスコープ６．２からのデータがそれぞれ３次元で記録モジュール１６によって記録される。全体で、これは、３６の独立した時系列をもたらす。

本出願人は、触覚入力要素１０．１のイネーブルと選択との間の第１期間におけるＩＭＵ６からの（測定）データがユーザの認知状態を正確に決定するのに有用であることを見出した。好ましくはこの第１期間が１．２０秒と１．４０秒との間に含まれ、好ましくは１．２８秒に等しく、これはユーザが触覚入力要素１０．１を有効になった後に押すのにかかる平均時間である。ユーザは触覚入力要素１０．１を選択するために、モバイルデバイス２をほぼ静止状態に保持しなければならない。

実際、出願人は、ＩＭＵ６からのデータが記録される条件が可能な限り類似していることを、ユーザの認知状態を正確に決定するために有益であることを見出した。すなわち、データ自体はユーザ間で異なるが、テスト設計は比較可能なデータを保証するために、可能な限り類似していることが好ましい。ユーザは、モバイルデバイス２を可能な限り安定して保持すべきである。これは、触覚入力要素１０．１のイネーブルと選択との間のケースである。

この実施形態では、加速度計データが３次元、すなわち、それぞれが装置に対して、ｘ、ｙ、およびｚ軸に対して、ｍ／ｓ^２の単位で、１００Ｈｚの頻度で記録される。図３は装置１のモバイルデバイス２の斜視図および概略図を示し、それらの異なる軸を図示する。モバイルデバイス２の現在位置とは無関係に、ｘ軸の正の値はモバイルデバイス２の右側に向かう加速度を意味し、ｙ軸の正の値はモバイルデバイス２の上部に向かう加速度を意味し、ｚ軸の正の値は、光出力手段５．１に垂直な光出力手段の向きの動きを意味する。負の値は、反対方向の加速度を示す。好ましくは全ての値が重力成分を除外すると仮定され、装置が静止しているとき、全ての軸はゼロのマグニチュードを測定する。

この実施形態では、ジャイロスコープデータが先に定義された軸の各々の周りの回転についてラジアン単位で、１００Ｈｚの周波数で記録される。図３に示されるように、ピッチθはデバイスのｘ軸の周りの回転を記録し、ロールΦはｙ軸の周りの回転を記録し、ヨーφは、ｚ軸の周りの回転を記録する。０のヨーは、電話が北を向いていることを意味する。ピッチおよびロールが０の場合は、電話が平らになっていることを意味する。正のロールは、２０右へ傾斜を意味する。正のピッチは、前方傾斜を意味する。

この実施形態では、記録モジュールがデータをＣＳＶファイル（Ｃｏｍｍａ Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅｓ、各行に新しい登録およびカンマで区切られた列を有する表形式ファイルフォーマット）に記録し、ミリ秒単位のタイムスタンプおよび他の値がセンサによって登録される。

また、テスト中のイベントは、イベント登録ファイルに別途登録される。

加速度計ＣＳＶ：列「ｔｉｍｅｓｔａｍｐ，ｘ，ｙ，ｚ」を有する重力加速度ベクトル。加速度はすべてｇの倍数であるので、値１は９．８１ｍ／ｓ^２の加速度を意味する。データは、３次元すべてにおいて１００Ｈｚのサンプリングレートで記録される。正のｘ値はモバイルデバイス２の右側に向かう加速度を意味し、正のｙ値はモバイルデバイス２の上部に向かう加速度を意味し、正のｚ値は、スクリーンの向きにおける光出力手段５．１（この実施形態ではスクリーン）に垂直な動きを意味する。

データ例：
ｔｉｍｅｓｔａｍｐ，ｘ，ｙ，ｚ
１５８２２０７９６０４６２，－０．００２８３４３０５１６７１９９９９９６，０．００３２１６９８１８８７８０００００４，－０．０４０６３２８４３９７１３
１５８２２０７９６０４７２，０．０００２６０１７４２７４４，０．００７２４１０１０６６５８９９９９９，－０．０４３６６９１０４５７６１
１５８２２０７９６０４８２，０．０１１６６３７２００１１７００００１，０．０１７４５４３８５７５７４００００３，－０．０４５２７４２５７６５９９
１５８２２０７９６０４９２，０．０１８１４４２９４６１９５９９９９８，０．０２１１０９２８２９７０４，－０．０４４５６００７４８０６１９９９９４

ジャイロスコープＣＳＶ：列「ｔｉｍｅｓｔａｍｐ，ｐｉｔｃｈ，ｒｏｌｌ，ｙａｗ」を有する姿勢ベクトルの時系列。すべての角度はラジアン単位である。ピッチは装置のｘ軸の周りの回転を記録し、ロールはｙ軸の周りの回転を記録し、ヨーは、ｚ軸の周りの回転を記録する。データは、３次元すべてにおいて１００Ｈｚのサンプリングレートで記録される。０のヨーは、電話が北を向いていることを意味する。ピッチおよびロールが０の場合は、電話が平らになっていることを意味する。正のロールは、右への傾斜を意味する。正のピッチは、前傾（ノーズを下に向ける）を意味する。

データ例：
ｔｉｍｅｓｔａｍｐ，ｐｉｔｃｈ，ｒｏｌｌ，ｙａｗ
１５８２２０７９６０４６２，０．５２８１２９９６４３０３８，０．１４２４９２０８４７４５，－０．０３８３４０８６８６２３６
１５８２２０７９６０４７２，０．５２８２３０９８１７０６６，０．１４２７００４３５８９１８９９９８，－０．０３３７０８５６２１４７４９９９９６
１５８２２０７９６０４８２，０．５３３５８０７９６２２０７，０．１３１４８１４７４６１１４，－０．０２８０９３５０３５５１８
１５８２２０７９６０４９２，０．５３３４３０６０１８２２１，０．１２８６３３３１０７５３７，－０．０５２６９０５５５３３２５０００１

イベント登録：テスト中のイベントは、重要なイベントのタイムスタンプを含むＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ、リレーショナルデータを構造化するファイル形式）ファイルに登録される。例えば、オブジェクトを配置する場合、セクションがこのファイルに追加され、次のように記述される。

＜ｐｌａｃｅ＿ｏｂｊｅｃｔ ｓｔａｒｔ＿ｔｓ＝”１５８２２０７９６０４６２” ｅｎｄ＿ｔｓ＝”１５８２２０７９６０４９２” ｏｂｊｅｃｔ＿ｎａｍｅ＝”ａｌａｒｍ”＞
＜ｅｖｅｎｔｓ＞
＜ｐｌａｃｅ＿ｂｕｔｔｏｎ＿ｅｎａｂｌｅｄ ｔｓ＝”１５８２２０７９６０４６２”／＞
＜／ｅｖｅｎｔｓ＞
＜／ｐｌａｃｅ＿ｏｂｊｅｃｔ＞

このＸＭＬのスニペットは、被験者が、タイムスタンプｓｔａｒｔ＿ｔｓ＝”１５８２２０７９６０４６２”およびｅｎｄ＿ｔｓ＝”１５８２２０７９６０４９２”の間に、仮想オブジェクトを配置していたことを示している。配置されているオブジェクトが「アラーム」であった。この配置フェーズ中に、１つのイベント、すなわち、オブジェクト配置ボタンがイネーブルされ（ｐｌａｃｅ＿ｂｕｔｔｏｎ＿ｅｎａｂｌｅｄ）、被験者が仮想オブジェクトを配置することを可能にした。ここでのタイムスタンプは、加速度計とジャイロスコープのＣＳＶファイルのタイムスタンプにリンクできる。

もちろん、他の実施形態では、データおよびイベント記録のファイルタイプおよびフォーマットを変更することができる。

この実施形態による記録されたデータの分析は、多段階手順に従う。第１に、データは、積分モジュールによって二重積分される。第２に、特徴抽出モジュール８によって、データの次元数が低減される。第３に、抽出された特徴は、例えば、アルツハイマー病の確率またはＭＣＩからアルツハイマー病への転換の確率を予測するために、機械学習モジュール９において使用される。

上述のように、ステップの順序は、他の実施形態で変更することができる。

デバイスからの加速度（この実施形態では仮想オブジェクト配置の１．２８秒前、したがって１２８サンプル）が与えられると、積分モジュールは複合台形規則（ｃｏｍｐｏｓｉｔｅ ｔｒａｐｅｚｏｉｄａｌ ｒｕｌｅ）を使用して累積積積分を２回適用して、加速度から位置に進む。

特徴抽出モジュール８は元の（すなわち、縮小されていない）データの主要な特徴を依然として正確に記述しながら、機械学習モジュールによって使用されるデータの量を縮小することを可能にする。これは’ｒａｗ（未処理）’データを’ｆｅａｔｕｒｅｓ（特徴）’に変換する。

この実施形態では、特徴抽出モジュール８がフーリエ変換、特に高速フーリエ変換を使用して、記録モジュールによって記録されたデータを所定の周波数におけるマグニチュードのセットに縮小する。

この実施形態では所定の周波数におけるマグニチュードのセットがＮ個の周波数を含み、Ｎは７～１５の整数であり、この実施形態ではＮ＝１０である。これにより、ノイズの多い周波数から保護することができる。さらに、この数は、あまりに少なく、あまりに多くの特徴のバランスを取ることを可能にする。各追加の周波数はＭ個の値だけデータを増加させる（ここで、ＭはＩＭＵのセンサの各々についての寸法と、センサの数、テストの対象の数、およびテスト実行の数との積である）。例えば、２つのテストランにわたって、３つのオブジェクトに対する２つのセンサの各々に対して３つの次元がある場合、値の数Ｍは３６である。１つの周波数を使用するだけでは（したがって、３６の特徴を有する）、機械学習モジュールがパフォーマンス低下につながる所望のクラスを分離するには、あまりにも少ない特徴を有する。より多くの周波数、例えば２０個の周波数（したがって７２０個の特徴）を使用することは、過適合のより高いリスクを与え、やはり性能不足につながる。本出願人は、１０個の周波数、したがって３６０個の特徴において良好なバランスを見出した。

この実施形態ではこれらの所定の周波数はすべて１０Ｈｚ未満である。やはり、より高い周波数は出願人によって、使用するにはノイズが多すぎると考えられる。ＩＭＵから記録される信号は、実際の信号と、ＩＭＵの回路からの電気的ノイズのようなノイズおよび機械的ノイズ（熱機械的ノイズおよび環境振動ノイズ）との組み合わせである。これらの異なるノイズ源は多くの場合、高周波数を有し、したがって、考慮から除外される。

この実施形態では、所定の周波数におけるマグニチュードのセットの周波数分解能が触覚入力要素イネーブルと選択との間の第１期間の逆数である。例えば、この期間が１．２８秒である場合、所定の周波数におけるマグニチュードのセットの周波数分解能は０．７８Ｈｚである。

この実施形態では、これらの所定の周波数が０．７８、１．５６、２．３４、３．１２、３．９１、４．６９、５．４７、６．２５、７．０３、７．８１である。

非積分周波数特徴について、特徴抽出モジュールはすべてのＡＲテスト、仮想オブジェクト、センサ、および軸にわたって反復し、各センサの各軸について絶対ＦＦＴ（高速フーリエ変換）特徴を計算する。

それらから、最初の１０のマグニチュードがコピーされる。

擬似コードでは、次のように記述できる。
ｄｅｆ ｇｅｔ＿ｐｌａｃｅｍｅｎｔ＿ｓｔａｒｔ＿ｔｉｍｅ（ＡＲＴｅｓｔ， ＶｉｒｔｕａｌＯｂｊｅｃｔ）：
＃ ｒｅｔｕｒｎ ｔｈｅ ”ｔｓ” ｐｒｏｐｅｒｔｙ ｏｆ ｔｈｅ ｒｉｇｈｔ ＜ｐｌａｃｅ＿ｂｕｔｔｏｎ＿ｅｎａｂｌｅｄ ／＞ ｔａｇ．

ｄｅｆ ｇｅｔ＿ｐｌａｃｅｍｅｎｔ＿ｅｎｄ＿ｔｉｍｅ（ＡＲＴｅｓｔ， ＶｉｒｔｕａｌＯｂｊｅｃｔ）：
＃ ｒｅｔｕｒｎ ｔｈｅ ”ｅｎｄ＿ｔｓ” ｐｒｏｐｅｒｔｙ ｏｆ ｔｈｅ ＜ｐｌａｃｅ＿ｏｂｊｅｃｔ＞ ｔａｇ

ｄｅｆ ｇｅｔ＿ｓｕｂｓｅｔ（Ｓｅｎｓｏｒ， ｓｔａｒｔ＿ｔｉｍｅｓｔａｍｐ， ｅｎｄ＿ｔｉｍｅｓｔａｍｐ）：
＃ ｇｅｔ ａ ｓｕｂｓｅｔ ｏｆ ａｌｌ ｔｈｅ ｒｏｗｓ ｏｆ ｔｈｅ Ｓｅｎｓｏｒ ｂｅｔｗｅｅｎ ｔｈｅ ｓｔａｒｔ ｔｉｍｅｓｔａｍｐ ａｎｄ ｔｈｅ ｅｎｄ ｔｉｍｅｓｔａｍｐ．

ｄｅｆ ｇｅｔ＿ｓｅｎｓｏｒ＿ｄａｔａ（ＡＲＴｅｓｔ， ＶｉｒｔｕａｌＯｂｊｅｃｔ， Ｓｅｎｓｏｒ）：
ｓｔａｒｔ＿ｔｉｍｅｓｔａｍｐ ＝ ｇｅｔ＿ｐｌａｃｅｍｅｎｔ＿ｓｔａｒｔ＿ｔｉｍｅ（ＡＲＴｅｓｔ， ＶｉｒｔｕａｌＯｂｊｅｃｔ）

ｅｎｄ＿ｔｉｍｅｓｔａｍｐ ＝ ｇｅｔ＿ｐｌａｃｅｍｅｎｔ＿ｅｎｄ＿ｔｉｍｅ（ＡＲＴｅｓｔ， ＶｉｒｔｕａｌＯｂｊｅｃｔ）

ｒｅｔｕｒｎ ｇｅｔ＿ｓｕｂｓｅｔ（Ｓｅｎｓｏｒ， ｓｔａｒｔ＿ｔｉｍｅｓｔａｍｐ， ｅｎｄ＿ｔｉｍｅｓｔａｍｐ）

ｆｒｅｑｕｅｎｃｙ＿ｆｅａｔｕｒｅｓ ＝ ｌｉｓｔ（）

ｆｏｒ ＡＲＴｅｓｔ ｉｎ ［１， ２］：
ｆｏｒ ＶｉｒｔｕａｌＯｂｊｅｃｔ ｉｎ ［１， ２， ３］：
ｆｏｒ Ｓｅｎｓｏｒ ｉｎ ［’ａｃｃｅｌｅｒｏｍｅｔｅｒ’， ’ｇｙｒｏｓｃｏｐｅ’］：

ｓｅｎｓｏｒ＿ｒｅａｄｉｎｇｓ ＝ ｇｅｔ＿ｓｅｎｓｏｒ＿ｄａｔａ（ＡＲＴｅｓｔ， ＶｉｒｔｕａｌＯｂｊｅｃｔ， Ｓｅｎｓｏｒ）

ｆｏｒ ａｘｉｓ ｉｎ ［’ｘ’， ’ｙ’， ’ｚ’］：
ｍａｇｎｉｔｕｄｅｓ ＝ ａｂｓ（ｆｆｔ（ｓｅｎｓｏｒ＿ｒｅａｄｉｎｇｓ［ａｘｉｓ］））
ｓｅｌｅｃｔｅｄ＿ｍａｇｎｉｔｕｄｅｓ ＝ ｍａｇｎｉｔｕｄｅｓ［１：１１］
ｆｒｅｑｕｅｎｃｙ＿ｆｅａｔｕｒｅｓ．ａｐｐｅｎｄ（ｍａｇｎｉｔｕｄｅｓ）

最初の数行は、正しいデータをロードするための補助関数を指定する。次に、計算されたすべての周波数特徴について空のリストを作成する。次に、ＡＲＴｅｓｔ、ＶｉｒｔｕａｌＯｂｊｅｃｔ（各ＡＲテストで３つ）、Ｓｅｎｓｏｒを繰り返す。その時点で、イベントＸＭＬファイル内の発生のタイムスタンプを見ることによって各センサのセンサ読取値をロードし、未処理データから正しいタイムスタンプ範囲内のデータをロードする。次に、これらのセンサ読み取り値に、各軸（ｓｅｎｓｏｒ＿ｒｅａｄｉｎｇｓ［ａｘｉｓ］）にＦＦＴ関数（ｆｆｔ（ｓｅｎｓｏｒ＿ｒｅａｄｉｎｇｓ［ａｘｉｓ］））を適用し、その範囲内の絶対数（ａｂｓ（ｆｆｔ（ｓｅｎｓｏｒ＿ｒｅａｄｉｎｇｓ［ａｘｉｓ］）））をとる。次に、最初の１０の周波数（インデックス１から、１１を含まない）を選択し、これらの周波数を周波数特徴のリストに追加する。

積分された周波数特徴は非積分周波数特徴と同様の方法で計算されるが、本発明者らはそれを加速度計データにのみ適用し、加速度計データを最初に積分することを除いて、非積分周波数特徴と同様の方法で計算する。

擬似コードでは、以下を得る。
ｆｒｅｑｕｅｎｃｙ＿ｆｅａｔｕｒｅｓ ＝ ｌｉｓｔ（）

ｆｏｒ ＡＲＴｅｓｔ ｉｎ ［１， ２］：
ｆｏｒ ＶｉｒｔｕａｌＯｂｊｅｃｔ ｉｎ ［１， ２， ３］：
ｓｅｎｓｏｒ＿ｒｅａｄｉｎｇｓ ＝ ｇｅｔ＿ｓｅｎｓｏｒ＿ｄａｔａ（ＡＲＴｅｓｔ， ＶｉｒｔｕａｌＯｂｊｅｃｔ， ’ａｃｃｅｌｅｒｏｍｅｔｅｒ’）

ｆｏｒ ａｘｉｓ ｉｎ ［’ｘ’， ’ｙ’， ’ｚ’］：
ｐｏｓｉｔｉｏｎｓ ＝ ｃｕｍｔｒａｐｚ（ｃｕｍｔｒａｐｚ（ｓｅｎｓｏｒ＿ｒｅａｄｉｎｇｓ［ａｘｉｓ］））

ｍａｇｎｉｔｕｄｅｓ ＝ ａｂｓ（ｆｆｔ（ｐｏｓｉｔｉｏｎｓ））

ｓｅｌｅｃｔｅｄ＿ｍａｇｎｉｔｕｄｅｓ ＝ ｍａｇｎｉｔｕｄｅｓ［１：１１］
ｆｒｅｑｕｅｎｃｙ＿ｆｅａｔｕｒｅｓ．ａｐｐｅｎｄ（ｍａｇｎｉｔｕｄｅｓ）

これは、センサをループオーバーする必要がないことを除いて、以前と同様であり、加速度計のみを使用する。線「ｃｕｍｔｒａｐｚ（ｃｕｍｔｒａｐｚ（ｓｅｎｓｏｒ＿ｒｅａｄｉｎｇｓ［ａｘｉｓ］））」は示された軸でデータを取り、複合台形規則を使用して、それを経時的に２回積分する（これは、上述のように積分モジュールによって行われる）。これは、データサブセットの開始点に対する測位データを与える。それから、絶対ＦＦＴのマグニチュードを再度計算し、それらを周波数特徴のリストに保存する。

非積分周波数特性は、３６０周波数振幅（１０周波数×３次元×２センサ×３物体×２ＡＲテスト）からなる。これらのマグニチュードの各々は、加速度計またはジャイロスコープから来る信号に存在する特定の周波数のマグニチュードを示す正の数である。

一例として、１つのＡＲテストの１つの仮想オブジェクト配置について、加速度計のＸ座標について、特徴のセットを得ることができた：
［１．６５４， ０．０５９， ０．０１１， ０．０５２３， ０．０６６６， ５．

７７９， ０．１９４， ３．４３５８， １．４５３４， ２．５３４３］

ｙ座標について、同様の数のセットを得、ｚ座標について同じであり、次いでジャイロスコープデータについて同じであり、と続く。

上記の数字は、それぞれが予め指定された周波数［０．７８，１．５６，２．３４，３．１２，３．９１，４．６９，５．４７，６．２５，７．０３，７．８１］Ｈｚで、データ中に存在する周波数の周波数マグニチュードを表す。

これらは加速度計およびジャイロスコープの未処理データから直接計算されるので、これらの周波数は加速度および回転の変化率である。

積分された周波数特徴は、異なって計算され、加速度計データについてのみ計算される。その上、それらは、ほとんどの局面において上記と同様である。ジャイロスコープのためにこれらを計算しないので、ここでは１８０個の特徴のみを有する。各特徴は、ここでもまた、周波数［０．７８，１．５６，２．３４，３．１２，３．９１，４．６９，５．４７，６．２５，７．０３，７．８１］Ｈｚにおける時系列データにおける周波数のマグニチュードを表す。

非積分周波数特徴間の主な違いは、これらの特徴が二重積分加速度データ、すなわち、相対測位データ上で計算されることである。これにより、周波数は（加速度ではなく）位置の変化率になる。

機械学習モジュールに目を向けると、「機械学習モジュール」という表現は学習するために、すなわち、特定のタスクのパフォーマンスを漸進的に改善するために、トレーニングされる必要があるモジュールを示す。

好ましい実施形態における機械学習モジュールは、ニューラルネットワークモジュール、すなわちニューロンと呼ばれる要素のネットワークを備えるモジュールである。各ニューロンは入力を受け取り、その入力および「活性化機能」に応じて出力を生成する。特定のニューロンの出力は、他のニューロンの入力に接続され、それによって、重み付けされたネットワークを形成する。重みは、学習またはトレーニング機能によって支配される学習と呼ばれるプロセスによって修正することができる。

ニューラルネットワークモジュールは機械学習モジュールの好ましい実装形態であるが、本発明によるシステムはニューラルネットワークモジュールの使用のみに限定されず、例えば、非限定的な方法で、以下の機械学習アルゴリズムのうちの少なくとも１つを実装するように構成された機械学習モジュールなどの他のタイプの機械学習モジュールを備えることができる。機械学習アルゴリズムは、決定木、関連付けルール学習、ディープラーニング、誘導論理プログラミング、サポートベクトルマシン、クラスタリング、ベイジアンネットワーク、強化学習、表現学習、類似性およびメトリック学習、スパース辞書学習、遺伝的アルゴリズム、ルールベースの機械学習、学習分類器システムなどを含む。

一実施形態では、ニューラルネットワークモジュールがディープニューラルネットワークモジュールであり、例えば、入力層と出力層との間に複数の隠れ層、例えば、少なくとも３つの層を備える。

１つの好ましい実施形態ではそれは３つの隠れ層を含み、各層は異なる数のニューロンを有する。一実施形態では、隠れ層のニューロンの数が入力から出力まで減少する。

図１の実施形態では、機械学習モジュール９がＸＧＢｏｏｓｔ分類アルゴリズムを実行して、健康なユーザからのＩＭＵ読取値と基礎となる状態を有するユーザからのＩＭＵ読取値との間の差を学習するように構成される。

この例では、軽度認知障害（ＭＣＩ）を有する第１数（例えば、３８１）の被験体のデータをアミロイドβ陽性バイオマーカーと共に収集し、そのような認知障害を有さない（但し、バイオマーカーを有する可能性がある）第２数（例えば、１２７７）の被験体のデータも収集する。

言い換えれば、機械学習モジュール９は複数の第２個人に関連するデータ上でトレーニングされ、各データのセットは特定の第２個人に関連付けられ、各第２個人は医学的状態を有するか、または医学的状態を有さないと識別された少なくとも１つの個人を含み、医学的状態は軽度認知障害またはアルツハイマー病である（他の実施形態では認知症またはせん妄または特定のサブタイプの認知症またはせん妄などの他の医学的状態を含むことができるが）。

「Ａｔ Ｒｉｓｋ（リスク）」クラスとしてのＭＣＩ被験者の第１数のデータおよび「Ｈｅａｌｔｈｙ（健常）」クラスとしてのＭＣＩ被験者の第２数のグループのデータ。これから、特徴行列Ｘが３６０の特徴の列として、および第１数＋第２数の被験者の行として、作成され、各被験者について、被験者が健常クラス（値０）またはリスククラス（値１）にあるかどうかを示す整数値を有する別個のベクトルｙが被験者ごとに作成される。目標はＸからＹへのマッピングを学習することであり、その結果、新しい被験者が提示されると、機械学習モジュールは、対応するクラスラベルを予測することができる。

最終分類モデルはＸおよびＹのすべてのデータを用いてトレーニングされたＸＧＢｏｏｓｔモデルである。この最終モデルの精度を評価するために、いくつかの（例えば、５つの）追加モデルを、（５）フォールド層別交差検証法を用いてトレーニングすることができる。図４は、３８１人のＭＣＩ被験者および１２７７人の健常被験者を用いて、図１による実施形態について得られた受信者動作特性（ＲＯＣ）曲線を示す。この曲線の下の平均面積ＲＯＣ－ＡＵＣは０．９１＋０．０２である。

一実施形態では、機械学習モジュール９がユーザの脳の健康状態、すなわち、脳疾患または脳損傷を判定することも可能にする。そのような脳疾患または脳損傷の例は、アルツハイマー病および／または前臨床アルツハイマー病の病理学的変化、前頭側頭認知症、外傷性脳損傷、例えば脳震盪、パーキンソン病、術後認知障害、後皮質萎縮、運動障害、神経変性障害、認知障害、うつ病である。

例えば、被験者の範囲についての周波数特徴の上記のセットが与えられると、分類方法を構築することができる。そのために、ＣＳＶファイルを作成する。ＣＳＶファイルの列には、頻度メトリック（非積分、積分、または両方）が含まれ、被験者ごとに１行が含まれる。この行列をＸと呼び、次のようになる。

Ｘ：
ＳｕｂｊｅｃｔＩｄ， ＦｒｅｑｕｅｎｃｙＦｅａｔｕｒｅ＿１， ＦｒｅｑｕｅｎｃｙＦｅａｔｕｒｅ＿２， …， ＦｒｅｑｕｅｎｃｙＦｅａｔｕｒｅ＿Ｎ
１， １．６５４， ０．０５９， …， ０．０１１
２， ０．０５２３， ０．０６６６， …， ２．５３４
３， ５．７７９， ０．１９４， …， １．４５３４

組み合わせて、人の疾患状態、すなわち（将来）アルツハイマーまたは健康状態のみを記憶するＣＳＶファイルを有する、これをｙと称し、それは、以下のように見える。

ｙ：
ＳｕｂｊｅｃｔＩｄ，ＤｉｓｅａｓｅＳｔａｔｕｓ（被験者識別、疾患状態）
１， Ｈｅａｌｔｈｙ（健康）
２， Ａｌｚｈｅｉｍｅｒ’ｓ ｄｉｓｅａｓｅ （ＡＤ）（アルツハイマー病）
３， Ｈｅａｌｔｈｙ（健康）

データＸおよびステータスｙが与えられると、ＸＧＢｏｏｓｔモデルをトレーニングする。

ｍｏｄｅｌ ＝ ｘｇｂｏｏｓｔ（Ｘ， ｙ）

モデルによれば、新しい被験者の疾患状態を以下のように予測することができる。

ｘ＿ｎｅｗ＿ｓｕｂｊｅｃｔ ＝ ［２．３４３， １．６６２， …， ３．２２２］
ｙ＿ｐｒｅｄｉｃｔｉｏｎ ＝ ｍｏｄｅｌ．ｐｒｅｄｉｃｔ（ｘ＿ｎｅｗ＿ｓｕｂｊｅｃｔ）

ここで、ｘ＿ｎｅｗ＿ｓｕｂｊｅｃｔは、以前に見られなかった被験者の周波数特徴である。

図１の実施形態では、ユーザの認知状態が機械学習モジュールによって提供され、装置１から与えられる。この実施形態では、ユーザの認知状況がモバイルデバイス２の出力手段５を介して与えられる。しかしながら、他の実施形態では、ユーザの認知状態が他の出力から、例えば、モバイルデバイス２から遠隔の臨床医に与えられ得る。

図１の実施形態では、ユーザの認知状態は、将来のアルツハイマー病の予測および／またはＭＣＩのアルツハイマー病への転換である。しかしながら、他の実施形態では、認知状態がアルツハイマー病の存在および／または脳疾患もしくは脳損傷、前臨床アルツハイマー病理学的変化、前頭側頭認知症、外傷性脳損傷、例えば脳震盪、パーキンソン病、術後認知障害、後皮質萎縮、運動障害、神経変性障害、認知障害、うつ病などの他の医学的状態に対する感受性もしくは存在に関連し得る。

この実施形態では装置がユーザの認知状態を決定し、出力するが、他の実施形態では装置が単に、認知状態に関する情報を提供することができる。そのような実施形態では装置が同じ機械学習手順を実行することができるが、認知状態を決定する機械学習モジュールではなく、単に、認知状態に関する情報、例えば、数値スコアまたは分類を提供することができ、それは出力され、次いで、場合によっては他の要因と組み合わせて、医師によって使用されて、認知状態に関する決定を行うことができる。

装置は誰かが薬物を受けているべきかどうか（特に、ＡＤについて）を決定するために、および／または薬物使用の用量および頻度を決定するために使用され得る。これは、例えば、機械学習モジュールによって決定され、装置によって出力され得る。

上記の実施形態では装置がデータを積分する積分モジュールを含むが、これはすべての実施形態において必要であるわけではない。積分モジュールを含まない例の結果を図５に示す。

本実施例では、トレーニングのために、軽度認知機能障害（ＭＣＩ）を有する３７２人の被験者のデータをアミロイドβ陽性バイオマーカーと共に収集し、そのような認知機能障害を有さない（但し、バイオマーカーを有する可能性がある）１２９６人の被験者のデータも収集したことを除いて、上記のように実行された機械学習モジュールを使用した。図５は図１による実施形態の結果として得られる受信者動作特性（ＲＯＣ）曲線を示し、この曲線の下の平均面積ＲＯＣ－ＡＵＣは、０．７８＋－ ０．０２である。

図４および図５の比較から分かるように、結果は積分の有無にかかわらず良好であるが、積分が使用される場合により良好である。

上述の実施形態はＡＲ環境におけるテストの文脈であるが、これは全ての実施形態において必要であるとは限らない。例えば、仮想オブジェクトを物理的環境の画像に重ね合わせることなく、テストを実行することができる。例えば、図６が関連する本発明の別の実施形態は図１の実施形態に対応するが、例えば、拡張現実モジュール１４およびイネーブルモジュールを省略することができる。

図６の実施形態では、タスクモジュール７がユーザに解決すべきタスクを与えることによって、モバイルデバイス２のユーザと対話するように再び構成される。この実施形態では、タスクは、ユーザが第１期間の間、自分の手を実質的に定常かつ実質的に静止した状態に保つことを要求する。この実施形態では入力要素１０．１が例えば、ユーザが図６のスクリーンショットに示される「開始」ボタン１３０を作動させることによって、第１期間を開始するように動作可能である。他の実施形態では第１期間が様々な方法で、任意選択で自動的に開始され得る。図６の実施形態では、第１期間が所定の時間、好ましくは５～１０秒の間、この実施形態では７秒後に自動的に終了する。しかしながら、他の実施形態では、第１期間が他の方法で、例えば、ユーザによって行われたアクションの後に終了することができる。

図６の実施形態では、装置がユーザに、モバイルデバイス２のディスプレイにレベルインジケータを表示させ、第１期間の間にデバイスが水平であることを示すレベルインジケータをユーザに保持させるように構成されているタスクモジュール７によって、ユーザの手を実質的に安定させ、実質的に静止させることを要求する。図６の実施形態では、レベルインジケータがバブルレベル１００であり、固定ターゲット１１０と可動バブル１２０とを含む。タスクモジュール７は、ＩＭＵからのデータに応じて、ターゲット１１０に対するバブル１２０の位置を移動させるように構成される。タスクモジュール７は第１期間の間、バブル１２０を固定ターゲット１１０の中心に保つように使用することを要求するように構成され、それによって、ユーザはデバイスを水平に保ち、第１期間の間、ユーザの手を定常に静止させることを要求するが、他の実施形態ではユーザがデバイスを垂直に保つことを要求され得る。いくつかの実施形態ではユーザが片手でモバイルデバイス２を保持していてもよいが、好ましくはユーザが両手でモバイルデバイス２を保持することを要求される。

第１期間中の動きに関するデータは、図１の実施形態に従って記録され、処理される。

もちろん、本発明のいくつかの実施形態では、装置が図１および６の実施形態の特徴のすべてを含み、両方の実施形態のテストを実行するように構成されることが可能である。

上述の実施形態はテストの文脈であるが、これは全ての実施形態において必要ではない。例えば、関連データは、テストなしで、および／または第１個人への出力を全く使用せずに収集することができる。また、測定ユニット以外のユーザ入力を有する必要もない。好ましくはユーザが、データが収集されている間、最も好ましくは両手で、最も好ましくは座っているかまたは立っている間、モバイルデバイスを保持しているが、これは上記で詳細に説明した実施形態の場合と同様である。さらに、装置は、例えばモバイルデバイス上で、出力を有することが好ましく、装置は手を実質的に定常および／または実質的に静止して保持することが要求されるときに、出力を介して第１個人に示すように構成される。これは、必ずしも明示的に行う必要はなく、上記の実施形態のようにタスクの形態で行うことができる。

上述の実施形態では測定ユニットがモバイルデバイスにおけるＩＭＵであるが、これはすべての実施形態において必須ではない。第１個人の手の動きを測定することができる任意の測定装置を使用することができる。したがって、モバイルデバイスは、すべての実施形態において必要とされるわけではない。

記載された実施形態および従属請求項のすべての任意のおよび好ましい特徴および修正は、本明細書において教示される本発明のすべての態様において使用可能である。さらに、従属請求項の個々の特徴、ならびに記載された実施形態のすべての任意選択のおよび好ましい特徴および修正は互いに組み合わせ可能であり、互換性がある。

本出願が優先権を主張するスイス特許出願第０００８３／２１号および米国特許出願第６３／２１１，９６０号、ならびに本出願に付随する要約における開示は、参照により本明細書に組み込まれる。

当業者が理解するように、本発明の態様によれば、装置、方法、またはコンピュータプログラム（その具体的な実施形態は上述されている）は、以下の付記の何れかに従って提供することができる。
（付記１）
モバイルデバイス（２）のユーザの認知状態を決定するための装置（１）であって、
モバイルデバイス（２）と、
モバイルデバイス（２）内のＩＭＵ（６）と、
ユーザに光で情報を与える、モバイルデバイス（２）における光出力手段（５．１）と、
モバイルデバイス（２）の環境の画像を記録する、モバイルデバイス（２）内のカメラ（３）と、
光出力手段（５．１）を介して示される拡張現実環境（ＡＲ）を、カメラ（３）によってキャプチャされたモバイルデバイス（２）の環境（ＰＥ）に基づいて、生成する拡張現実モジュール（１４）と、
を含み、
拡張現実環境が示されると、モバイルデバイス（２）内の入力要素（１０．１）をイネーブルするイネーブルモジュール（１５）であって、ＩＭＵ（６）によって測定されたデータに応じてイネーブルし、入力要素（１０．１）は、イネーブルされた後にユーザによって選択されると、ユーザがタスクを解決することを可能にする、イネーブルモジュールと、
入力要素（１０．１）のイネーブルと選択との間の期間においてＩＭＵ（６）からのデータを記録する記録モジュール（１６）と、
記録モジュールによって記録されたデータを、所定の周波数におけるマグニチュードのセットに縮小する、特徴抽出モジュール（８）と、
所定の周波数におけるマグニチュードのセットに基づいてユーザの認知状態を決定するための機械学習モジュール（９）と、
をさらに含む、ことを特徴とする、装置。
（付記２）
期間は１．２０秒から１．４０秒の間に含まれ、
好ましくは１．２８秒に等しい、
付記１に記載の装置（２）。
（付記３）
所定の周波数における前記マグニチュードのセットは、Ｎ個の周波数を含み、
Ｎは７～１５の整数であり、
好ましくはＮ＝１０である、
付記１または２の何れかに記載の装置（２）。
（付記４）
所定の周波数がすべて１０Ｈｚ未満である、付記１～３の何れかに記載の装置（２）。
（付記５）
所定の周波数におけるマグニチュードのセットの周波数分解能は、期間の逆数である、付記１～４の何れかに記載の装置（２）。
（付記６）
所定の周波数は、０．７８、１．５６、２．３４、３．１２、３．９１、４．６９、５．４７、６．２５、７．０３、７．８１である、付記１～５の何れかに記載の装置（２）。
（付記７）
イネーブルモジュール（１４）は、加速度計によって測定された加速度が閾値を下回るときに入力要素（１０．１）をイネーブルするように構成され、
閾値は、例えば、４．５ｍ／ｓ^２である、
付記１～６の何れかの装置（２）。
（付記８）
イネーブルモジュール（１４）は、カメラ（３）によって撮影された少なくとも１つの画像に応じて入力要素（１０．１）をイネーブルするように構成されている、
付記１～７の何れかの装置（２）。
（付記９）
イネーブルモジュール（１４）は、カメラ（３）によって撮影された少なくとも１つの画像内の決定された要素の存在に応じて、入力要素（１０．１）をイネーブルするように構成されている、
付記８に記載の装置（２）。
（付記１０）
ＩＭＵ（６）が、モバイルデバイス（２）の位置変化を測定するための加速度計（６．１）、および／またはモバイルデバイス（２）の向き変化を測定するためのジャイロスコープ（６．２）を含む、
付記１～９の何れかに記載の装置（２）。
（付記１１）
環境内のモバイルデバイス（２）の位置経路を決定するように構成された経路モジュール（６．３）を備え、
機械学習モジュール（９）は、例えばユーザがタスクを解決する間に決定された、モバイルデバイス（２）の位置経路にも基づいてユーザの認知状態を決定するように構成されている、
付記１～１０の何れかに記載の装置（２）。
（付記１２）
拡張現実モジュール（１４）は、ユーザが目標位置（ＴＰ）まで所定の距離、例えば３０ｃｍにいると、周囲５の視覚化を増強するように構成されている、
付記１～１１の何れかに記載の装置（２）。
（付記１３）
装置（１）を用いてモバイルデバイス（２）のユーザの認知状態を決定する方法であって、
モバイルデバイス（２）と、
モバイルデバイス（２）のＩＭＵ（６）と、
ユーザに光学的に情報を付与するモバイルデバイス（２）における光出力手段（５．１）と、
を含み、
モバイルデバイス（２）の環境の画像を記録し、
画像はモバイルデバイス（２）のカメラ（３）を使用することによって撮影され、
光出力手段（５．１）を介して示される拡張現実環境を、カメラ（３）によってキャプチャされたモバイルデバイス（２）の環境に基づいて、装置（１）の拡張現実モジュール（１４）を使用することによって生成し、
拡張現実環境が示されると、モバイルデバイス（２）の入力要素（１０．１）をイネーブルにし、
イネーブルは、ＩＭＵ（６）によって測定されたデータに応じ、
入力要素（１０．１）は、装置（１）のイネーブルモジュール（１５）を使用することによって、イネーブルにされた後に、ユーザによって選択されると、ユーザがタスクを解決することを可能にし、
装置の記録モジュール（１６）を使用することによって、ＩＭＵ（６）からのデータを、入力要素のイネーブルと選択との間の期間に記録し、
装置の特徴抽出モジュール（８）を使用することによって、所定の周波数におけるマグニチュードのセットに、記録モジュール（１６）によって記録されたデータを縮小し、
装置（１）の機械学習モジュール（９）を使用することによって、所定の周波数におけるマグニチュードのセットに基づいて、ユーザの認知状態を決定する、
方法。
（付記１４）
装置（１）および／またはモバイルデバイス（２）のプロセッサ上で命令が実行されるとき以下のステップを実行するように構成された命令を含む、モバイルデバイス（２）のユーザの認知状態を決定するコンピュータプログラムであって、
モバイルデバイス（２）の環境の画像を記録し、
画像はモバイルデバイス（２）のカメラ（３）を使用して撮影され、
モバイルデバイス（２）の光出力手段（５．１）を介して、カメラ（３）によってキャプチャされたモバイルデバイス（２）の環境に基づいて、装置（１）の拡張現実モジュール（１４）を使用することによって、拡張現実環境を生成し、
拡張現実環境が示されると、モバイルデバイス（２）の入力要素（１０．１）をイネーブルし、
イネーブルは、モバイルデバイス（２）のＩＭＵ（６）によって測定されたデータに応じ、
入力要素（１０．１）は、装置（１）のイネーブルモジュール（１５）を使用することによって、イネーブルされた後、ユーザによって選択されると、ユーザがタスクを解決することを可能にし、
入力要素のイネーブルと選択との間の期間に、ＩＭＵ（６）からのデータを、装置（１）の記録モジュール（１６）を使用することによって記録し、
装置（１）の特徴抽出モジュール（８）を使用することによって、記録モジュール（１６）によって記録されたデータを、所定の周波数におけるマグニチュードの１セットに縮小し、
装置（１）の機械学習モジュール（９）を使用することによって、所定の周波数におけるマグニチュードのセットに基づいて、ユーザの認知状態を決定する、
コンピュータプログラム。

１ 装置
２ モバイルデバイス
３ 第１カメラ
３．１ 第１カメラの視野方向
４ 第２カメラ
４．１ 第２カメラの視野方向
５ 出力手段
５．１ 光出力手段
５．２ 音声出力手段
６ ＩＭＵ
６．１ 加速度計
６．２ ジャイロスコープ
６．３ 経路モジュール
７，７’ タスクモジュール
８、８’、８” 機能抽出モジュール
９， ９’、９” 機械学習モジュール
１０ 入力手段
１０．１ 入力要素
１２ 光出力手段の出力視野方向
１３ マイク
１４， １４’ 拡張現実モジュール
１５， １５’ イネーブルモジュール
１６， １６’ 記録モジュール
θ ピッチ
Φ ロール
φ 向き
ＡＲ 拡張現実
ＰＥ 物理的環境
ＴＰ 目標位置
ＶＯ 仮想オブジェクト
ＶＥ 仮想要素（リング）
Ｘ，Ｙ、Ｚ 直交（正）軸
ＸＢ、ＹＢ、ＺＢ 直交（負）軸

Claims (17)

1. 第１個人の認知状態に関する情報を提供する装置であって、
   前記第１個人の手の動きを測定するように動作可能な測定ユニットと、
   第１期間において前記測定ユニットからのデータを記録する記録モジュールと、
   前記記録モジュールによって記録された前記データを、所定の周波数におけるマグニチュードのセットに縮小する特徴抽出モジュールと、
   前記所定の周波数における前記マグニチュードのセットに基づいて、前記第１個人の認知状態に関する情報を提供する機械学習モジュールと、
   を含む、
   装置。
2. 前記測定ユニットはＩＭＵを含む、
   請求項１に記載の装置。
3. 前記第１期間は１．２０秒から１．４０秒の間であり、
   好ましくは１．２８秒に等しい、
   請求項１または請求項２に記載の装置。
4. 前記所定の周波数における前記マグニチュードのセットはＮ個の周波数を含み、
   Ｎは７～１５の整数であり、
   好ましくはＮ＝１０である、
   請求項１～請求項３の何れか１項に記載の装置。
5. 前記所定の周波数は、すべて１０Ｈｚ未満である、
   請求項１～請求項４の何れか１項に記載の装置。
6. 前記所定の周波数における前記マグニチュードのセットの周波数分解能は、前記第１期間の逆数である、請求項１～請求項５の何れか１項に記載の装置。
7. 前記所定の周波数が、０．７８、１．５６、２．３４、３．１２、３．９１、４．６９、５．４７、６．２５、７．０３、７．８１である、
   請求項１～請求項６の何れか１項に記載の装置。
8. 前記測定ユニットによって測定された加速度がしきい値を下回るとき、前記第１期間を開始するように構成され、
   前記しきい値は例えば、４．５ｍ／ｓ^２である、
   請求項１～請求項７の何れか１項に記載の装置。
9. 前記第１期間を開始するように動作可能な入力要素を含む、
   請求項１～請求項８の何れか１項に記載の装置。
10. モバイルデバイスであって、前記測定ユニットは前記モバイルデバイスのＩＭＵである、前記モバイルデバイスと、
    前記モバイルデバイスの光出力手段であって、前記第１個人に光学的に情報を提供し、前記第１個人は前記モバイルデバイスのユーザである、前記光出力手段と、
    前記モバイルデバイスのカメラであって、前記モバイルデバイスの環境の画像を記録する、前記カメラと、
    前記光出力手段を介して示され、前記カメラによってキャプチャされた前記モバイルデバイスの前記環境に基づいて、拡張現実環境を生成する拡張現実モジュールと、
    前記拡張現実環境が示されると、前記モバイルデバイスの入力要素をイネーブルするイネーブルモジュールであって、前記イネーブルは前記ＩＭＵによって測定されたデータに応じ、前記入力要素は、イネーブルされた後に前記ユーザによって選択されると、前記ユーザがタスクを解決することを可能にする、前記イネーブルモジュールと、
    を含み、
    前記第１期間は前記入力要素のイネーブルと選択との間の期間である、
    請求項１～請求項９の何れか１項に記載の装置。
11. 前記イネーブルモジュールは、前記カメラによって撮影された少なくとも１つの画像に応じて前記入力要素をイネーブルするように構成されている、
    請求項１０に記載の装置。
12. 前記イネーブルモジュールは、前記カメラによって撮影された少なくとも１つの画像における決定された要素の存在に応じて前記入力要素をイネーブルするように構成されている、
    請求項１０または請求項１１に記載の装置。
13. 環境におけるモバイルデバイスの位置経路を決定するように構成されている経路モジュールを含み、
    前記機械学習モジュールは、例えば、ユーザがタスクを解決する間に決定された、前記モバイルデバイスの前記位置経路にも基づいて、前記ユーザの前記認知状態を決定するように構成されている、
    請求項１～請求項１２の何れか１項に記載の装置。
14. 拡張現実モジュールは、ユーザが目標位置まで所定の距離、例えば３０ｃｍ、にいると、周囲の視覚を拡張するように構成されている、
    請求項１～請求項１３の何れか１項に記載の装置。
15. 装置を用いて、第１個人の認知状態に関する情報を提供する方法であって、
    前記装置は、
    前記第１個人の手の動きを測定するように動作可能な測定ユニットを、
    含み、
    前記方法は、
    前記装置の記録モジュールを使用することによって、前記測定ユニットからのデータを第１期間に記録し、
    前記装置の特徴抽出モジュールを使用することによって、前記記録モジュールによって記録されたデータを、所定の周波数におけるマグニチュードのセットに縮小し、
    前記装置の機械学習モジュールを使用することによって、前記所定の周波数における前記マグニチュードのセットに基づいて、前記第１個人の前記認知状態に関する情報を提供する、
    方法。
16. コンピューティングデバイス上で実行されたときに、請求項１５に記載の方法を実行するように構成されているプログラム。
17. 第１個人の認知状態に関する情報を提供するコンピュータ実装システムであって、
    特徴抽出モジュールであって、記録モジュールによって記録されたデータを所定の周波数におけるマグニチュードのセットに縮小し、前記記録モジュールは第１期間において測定ユニットからのデータを記録し、前記測定ユニットは前記第１個人の手の動きを測定するように動作可能である、前記特徴抽出モジュールと、
    前記所定の周波数における前記マグニチュードのセットに基づいて、前記第１個人の前記認知状態に関する情報を提供する、機械学習モジュールと、
    を含む、コンピュータ実装システム。