JP2024505038A - 個人の認知状態に関する情報を提供するための装置、方法、およびコンピュータプログラム - Google Patents
個人の認知状態に関する情報を提供するための装置、方法、およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2024505038A JP2024505038A JP2023545340A JP2023545340A JP2024505038A JP 2024505038 A JP2024505038 A JP 2024505038A JP 2023545340 A JP2023545340 A JP 2023545340A JP 2023545340 A JP2023545340 A JP 2023545340A JP 2024505038 A JP2024505038 A JP 2024505038A
- Authority
- JP
- Japan
- Prior art keywords
- individual
- data
- mobile device
- module
- axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006998 cognitive state Effects 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims description 45
- 238000004590 computer program Methods 0.000 title description 7
- 238000005259 measurement Methods 0.000 claims abstract description 64
- 238000010801 machine learning Methods 0.000 claims description 54
- 230000003190 augmentative effect Effects 0.000 claims description 47
- 238000000605 extraction Methods 0.000 claims description 33
- 208000024827 Alzheimer disease Diseases 0.000 claims description 21
- 208000010877 cognitive disease Diseases 0.000 claims description 21
- 230000010354 integration Effects 0.000 claims description 17
- 208000027061 mild cognitive impairment Diseases 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000001419 dependent effect Effects 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 description 31
- 238000012360 testing method Methods 0.000 description 27
- 230000001149 cognitive effect Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 208000014644 Brain disease Diseases 0.000 description 6
- 239000003814 drug Substances 0.000 description 6
- 229940079593 drug Drugs 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 208000028698 Cognitive impairment Diseases 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000000090 biomarker Substances 0.000 description 4
- 208000029028 brain injury Diseases 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 102000013455 Amyloid beta-Peptides Human genes 0.000 description 2
- 108010090849 Amyloid beta-Peptides Proteins 0.000 description 2
- 206010003694 Atrophy Diseases 0.000 description 2
- 206010012218 Delirium Diseases 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 2
- 201000011240 Frontotemporal dementia Diseases 0.000 description 2
- 208000016285 Movement disease Diseases 0.000 description 2
- 208000018737 Parkinson disease Diseases 0.000 description 2
- 208000030886 Traumatic Brain injury Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000037444 atrophy Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006931 brain damage Effects 0.000 description 2
- 231100000874 brain damage Toxicity 0.000 description 2
- 230000009514 concussion Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 208000015122 neurodegenerative disease Diseases 0.000 description 2
- 231100000915 pathological change Toxicity 0.000 description 2
- 230000036285 pathological change Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000930 thermomechanical effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000009529 traumatic brain injury Effects 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000036995 brain health Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
第1個人の認知状態に関連する情報を提供する装置が開示される。装置は、個人軸の第1個人の手の動きを測定するように動作可能であり、個人軸は手から第1個人への軸である。装置は、測定データからのデータを記録するように構成されている。装置は記録モジュールによって記録されるデータに基づいて、第1動きデータのセットを使用して、第1個人の認知状態に関連する情報を提供する。第1動きデータのセットは、個人軸に直交する軸に、第1個人の手の動きにおいて、個人軸の第1個人の手の動きに優先的に関連する。
Description
本発明は個人、例えば、慣性測定ユニット(IMU)を備えるモバイルデバイスのユーザの認知状態に関する情報を提供し、任意選択で、その認知状態を決定するための装置、方法、およびコンピュータプログラムに関する。
認知状態、特に脳疾患または脳損傷に関する健康状態の検出は、検出が困難である。それぞれの脳疾患や脳障害の症状を知っている専門医が必要である。それでも、人間の医師によるそのような健康状態の検出は、あまり客観的ではなく、しばしば誤りを起こしやすい。
最新技術では、モバイルデバイスがモバイルデバイスの経路に基づいてユーザデータを生成することができる。
この文脈において、「モバイルデバイス」という表現は、好ましくはスマートフォンまたはタブレットのようなハンドヘルドポータブルデバイスを示す。しかし、この表現は、ユーザが携帯する他の任意のデバイスも示す。たとえば、モバイルデバイスはウェアラブルデバイス、たとえば、スマートウォッチのような(スマート)ブレスレット、(スマート)グラス、またはユーザによってウェアラブルである任意の他の(スマート)デバイスであり得る。モバイルデバイスは1つの単一の装置で実現することができ、または少なくとも2つの個別のまたは別個の装置で実現することもできる。少なくとも2つの個々のまたは別個の装置は例えば、ポータブルハンドヘルド装置(例えば、スマートフォン)、ブレスレット(例えば、スマートウォッチのようなスマートブレスレット)、メガネ(例えば、拡張現実(AR)メガネ)、またはユーザによって装着可能な任意の他の装置のうちの少なくとも2つであり得る。
出願人によって出願された特許文献1は、モバイルデバイスの経路と組み合わせてモバイルデバイスの第2カメラで記録されたユーザの特徴の使用が認知状態のための検出品質を著しく改善することを記載している。
本発明の態様は、個人の認知状態に関する情報を提供するための改良された装置、方法、およびシステムを提供しようとする。
本発明の態様は、個人の認知状態に関する情報を提供するための改良された装置、方法、およびコンピュータプログラムを提供しようとするものである。
いくつかの実施形態は、モバイルデバイスを使用することによって、ユーザの認知状態の品質検出をさらに改善することができる。
本発明の一態様によれば、第1個人の認知状態に関する情報を提供するための装置が提供され、この装置は、第1個人の動きを測定するように動作可能な測定ユニットと、測定ユニットからデータを記録するように構成された記録モジュールと、記録モジュールによって記録されたデータに基づいて、第1動きデータのセットを使用して、第1個人の認知状態に関する情報を提供するように構成された機械学習モジュールと、を含む。
本発明の一態様によれば、第1個人の認知状態に関する情報を提供する方法が提供され、この方法は、機械学習モジュールを使用して、第1個人の動きに関する第1動きデータのセットを使用して、第1個人の認知状態に関する情報を提供すること、を含む。
本発明の一態様によれば、コンピューティングデバイス上で実行されたときに方法を実行するように構成されたプログラムが提供される。
本発明の一態様によれば、第1個人の認知状態に関する情報を提供するためのコンピュータ実装システムが提供され、このシステムは、第1個人の動きに関する第1動きデータのセットを使用して、第1個人の認知状態に関する情報を提供するように構成された機械学習モジュール、を含む。
本発明の一態様によれば、第1個人の認知状態に関する情報を提供するための装置が提供され、この装置は、第1個人の手の動きを測定するように動作可能な測定ユニットと、測定ユニットからのデータを記録するように構成された記録モジュールと、記録モジュールによって記録されたデータに基づいて、第1動きデータのセットを使用して、第1個人の認知状態に関する情報を提供するように構成された機械学習モジュールと、を含む。本装置は、測定窓の間、手を実質的に定常および/または実質的に静止した状態に第1個人に維持させるように構成される。ここで、第1動きデータのセットは、測定窓の間の動きに関するデータに実質的に完全に基づいている。
本発明の一態様によれば、第1個人の認知状態に関する情報を提供する方法が提供され、この方法は、測定窓の間、手を実質的に定常および/または実質的に静止した状態に第1個人に維持させ、手の動きに関する第1動きデータのセットを使用して第1個人の認知状態に関する情報を提供するための機械学習モジュールを使用する、ことを含む。ここで、第1動きデータのセットは、測定窓の間の動きに関するデータに実質的に完全に基づいている。
本発明の一態様によれば、コンピューティングデバイス上で実行されたときに方法を実行するように構成されたプログラムが提供される。
本発明の一態様によれば、第1個人の認知状態に関する情報を提供するためのコンピュータ実装システムが提供され、このシステムは、第1個人の手の動きに関する第1動きデータのセットを用いて、第1個人の認知状態に関する情報を提供するように構成された機械学習モジュールを含む。ここで、第1動きデータのセットは、手を実質的に定常および/または実質的に静止した状態に第1個人に維持させる、測定窓の間の動きに関するデータに実質的に完全に基づいている。
任意の特徴は従属請求項に記載されており、従属請求項は、本発明の上記の態様に適用可能である。
本発明の一態様によれば、第1個人の認知状態に関する情報を提供するための装置が提供され、この装置は、個人軸における第1個人の手の動きを測定するように動作可能な測定ユニットであって、個人軸は手から第1個人への軸である、測定ユニットと、測定ユニットからのデータを記録するように構成された記録モジュールと、記録モジュールによって記録されたデータに基づいて、第1動きデータのセットを使用して、第1個人の認知状態に関する情報を提供するように構成された機械学習モジュールであって、第1動きデータのセットは、個人軸に直交する軸における第1個人の手の動きに対する、個人軸における第1個人の手の動きに優先的に関連する、機械学習モジュールと、を含む。
いくつかの実施形態では、測定ユニットは、手がアイテムを保持している間に、個人軸における第1個人の手の動きを測定するように構成される。一実施形態では、アイテムがモバイルデバイス内のIMUとして測定ユニットを含むモバイルデバイスである。いくつかの実施形態では、測定ユニットは、アイテムが第1個人の両手に保持されている間に、個人軸における第1個人の手の動きを測定するように構成される。
いくつかの実施形態では機械学習モジュールが複数の第2個人に関連付けられた第2動きデータのセット上でトレーニングされ、第2動きデータの各セットは特定の第2個人に関連付けられ、各第2個人は医学的状態を有するか、または医学的状態を有さないと識別され、複数の第2個人は医学的状態を有すると識別された少なくとも1の個人と、医学的状態を有さないと識別された少なくとも1の個人とを含み、医学的状態はアルツハイマー病および/または軽度認知障害であり、第2動きデータのセットの各々は優先的に、それぞれの個人軸に直交する軸におけるそれぞれの手の動きにわたって、それぞれの個人軸におけるそれぞれの個人のそれぞれの手の動きに関連する。
いくつかの実施形態では、装置が記録モジュールによって記録されたデータから、個人軸における第1個人の手の動きに関するデータを優先的に抽出して、第1動きデータのセットを形成するように構成された特徴抽出モジュールを含む。
いくつかの実施形態では、装置はモバイルデバイスを備え、第1個人はモバイルデバイスのユーザであり、測定ユニットはモバイルデバイス内のIMUである。
いくつかの実施形態では、IMUがモバイルデバイスの向き変化を測定するためのジャイロスコープを含み、特徴抽出モジュールはモバイルデバイスの向き変化に関する記録モジュールによって記録されたデータを利用して、記録モジュールによって記録されたデータから、個人軸における第1個人の手の動きに関するデータを優先的に抽出して、第1動きデータのセットを形成するように構成される。
いくつかの実施形態では、装置は、モバイルデバイスの周囲の画像を記録するために、ユーザに光学的に情報を提供するモバイルデバイスの光出力手段と、モバイルデバイスの環境の画像を記録する、モバイルデバイスのカメラと、を含む。
いくつかの実施形態では、装置は、光出力手段を介して示され、カメラによってキャプチャされたモバイルデバイスの環境に基づいて、拡張現実環境を生成するための拡張現実モジュールと、拡張現実環境が示されると、モバイルデバイスの入力要素をイネーブルにし、IMUによって測定されたデータに応じて、入力要素をイネーブルにし、イネーブルされた後、ユーザによって選択されると、ユーザがタスクを解決することを可能にする、イネーブルモジュールと、を含む。
いくつかの実施形態では、記録モジュールが入力要素イネーブルと選択との間の期間において、IMUからのデータを記録するように構成される。
いくつかの実施形態では装置が測定窓の間に、第1個人が個人軸を除いて手のすべての動きを制限することを要求するように構成され、第1動きデータのセットは測定窓の間の動きに関するデータに実質的に完全に基づく。
いくつかの実施形態では、装置が測定窓の間、第1個人が手を実質的に定常および/または実質的に静止状態に保つことを要求するように構成され、第1動きデータのセットは測定窓の間の動きに関するデータに実質的に完全に基づく。
いくつかの実施形態では、装置が出力を含み、装置は第1個人が手を実質的に定常および/または実質的に静止した状態に維持することを要求されるとき、出力を介して第1個人に示すように構成される。
いくつかの実施形態では測定ユニットが加速度計を含み、装置は加速度計から得られる記録モジュールによって記録されたデータを積分するように構成された積分モジュールを含み、第1動きデータのセットは積分データに基づく。
いくつかの実施形態では積分モジュールが加速度計から得られる記録モジュールによって記録されたデータを二重積分して、位置データをもたらすように構成され、第1動きデータのセットは位置データに基づく。
いくつかの実施形態では装置が記録モジュールによって記録されたデータを所定の周波数におけるマグニチュードのセットに縮小するように構成された特徴抽出モジュールを備え、第1動きデータのセットは所定の周波数におけるマグニチュードのセットに基づく。
いくつかの実施形態では、第1個人の認知状態に関する情報が第1個人についての将来のアルツハイマー病の予測および/または軽度認知障害からアルツハイマー病への転換を含む。
いくつかの実施形態では、機械学習モジュールが第1個人が薬物を受け入れているべきかどうかを決定し、および/または薬物使用の用量および頻度を決定するように構成され得る。
本発明の一態様によれば、第1個人の認知状態に関する情報を提供する方法が提供され、この方法は、機械学習モジュールを使用して、第1個人の手の動きに関連する第1動きデータのセットを使用して、第1個人の認知状態に関連する情報を提供し、第1動きデータのセットは優先的に、個人軸に直交する軸における第1個人の手の動きに対する、個人軸における第1個人の手の動きに関連し、個人軸は、手から第1個人への軸である。
いくつかの実施形態では、方法は、機械学習モジュールを使用して、第1個人について、将来のアルツハイマー病および/または軽度認知障害からアルツハイマー病への転換を予測することを含む。
いくつかの実施形態では、方法は、第1個人の手の動きを測定して、第1動きデータのセットを決定することを含む。
いくつかの実施形態では、個人軸における第1個人の手の動きは手がアイテムを保持している間に測定される。一実施形態では、アイテムがモバイルデバイス内のIMUとして測定ユニットを含むモバイルデバイスである。いくつかの実施形態では、個人軸における第1個人の手の動きは物品が第1個人の両手に保持されている間に測定される。
いくつかの実施形態では、本方法は、第1個人の手の動きに関連するデータから、個人軸における第1個人の手の動きに関連するデータを優先的に抽出して、第1動きデータのセットを形成することを含む。
いくつかの実施形態では、本方法は、測定窓の間、第1個人が手を実質的に定常状態および/または実質的に静止状態に保つことを要求すること、および/または測定窓の間、第1個人が個人軸を除く手のすべての動きを制限することを要求することを含む。ここで、第1動きデータのセットは、測定窓の間の動きに関するデータに実質的に完全に基づいている。
いくつかの実施形態では、本方法は、装置を使用することを含み、この装置は、モバイルデバイスと、モバイルデバイス内のIMUと、ユーザに情報を光学的に提供するための、モバイルデバイスの光出力手段と、を含む。本方法は、モバイルデバイスの環境の画像を記録し、画像はモバイルデバイスのカメラを使用することによって取得され、光出力手段を介して、カメラによってキャプチャされたモバイルデバイスの環境に基づいて示される拡張現実環境を生成し、装置の拡張現実モジュールを使用することによって、モバイルデバイスの入力要素をイネーブルにし、拡張現実環境が示されると、モバイルデバイス内の入力要素をイネーブルにし、IMUによって測定されたデータに応じて、入力要素をイネーブルにし、入力要素は装置の記録モジュールを使用することによって、装置のイネーブルモジュールを使用することによって、ユーザによって選択された後に、タスクを解決することを可能にし、装置の記録モジュールを使用することによって、任意選択で、入力要素のイネーブルと選択との間の期間に、IMUからのデータを記録する、ことを含む。
いくつかの実施形態では、入力要素のイネーブルと選択との間の期間が測定窓である。
いくつかの実施形態では、本方法は、第1個人の手の動きに関するデータを所定の周波数におけるマグニチュードのセットに縮小することを含み、第1動きデータのセットは所定の周波数におけるマグニチュードのセットに基づく。
本方法は、上記の装置について列挙された動作の何れかを実行することを含み得ることに留意されたい。
いくつかの実施形態では、方法は、第1個人が薬物を受け入れているべきかどうかを決定すること、および/または薬物使用の用量および頻度を決定することを含むことができる。
本発明の一態様によれば、コンピューティングデバイス上で実行されたときに、上述した方法を実行するように構成されたプログラムが提供される。
本発明の一態様によれば、第1個人の認知状態に関する情報を提供するためのコンピュータ実装システムが提供され、このシステムは、第1動きデータのセットを使用して、第1個人の認知状態に関する情報を提供するように構成された機械学習モジュールであって、第1動きデータのセットは優先的に、個人軸に直交する軸における第1個人の手の動きに対する、個人軸における第1個人の手の動きに関連し、個人軸は、手から第1個人までの軸である、機械学習モジュールを含む。
いくつかの実施形態では、第1動きデータのセットが、第1個人が手を実質的に定常および/または実質的に静止した状態に保つことが要求される測定窓の間の動きに関するデータに実質的に完全に基づく。
第1動きデータのセットは、上記の装置または方法において列挙されたように取得されたセットであってもよい。
いくつかの実施形態では、コンピュータ実装システムが第1個人と相互作用しない、上記で列挙された装置の特徴の何れかを含み得る。
コンピュータ実装システムは、上記の装置について列挙されたモジュールなどの特徴の何れかを含むことができることに留意されたい。
本発明のいくつかの実施形態は、モバイルデバイスを使用することによって、既知の解決策に関する代替的な方法で、ユーザの認知状態を検出することができる。
本発明のいくつかの実施形態は、モバイルデバイスを使用することによって、ユーザの認知状態を効率的かつ正確に検出することができる。
本発明の一態様によれば、モバイルデバイスと、モバイルデバイス内の光出力手段と、モバイルデバイス内のカメラとを備え、モバイルデバイスの環境の画像を記録する装置が提供される。
いくつかの実施形態では、装置が光出力手段を介して、かつカメラによってキャプチャされたモバイルデバイスの環境に基づいて示される拡張現実環境を生成するための、拡張現実モジュールをさらに含む。
いくつかの実施形態では、モバイルデバイス内のIMUがモバイルデバイスの位置変化を検出するように構成される。IMUは、好ましくはモバイルデバイスの位置変化を測定するための(好ましくは3軸)加速度計、および/またはモバイルデバイスの向き変化を測定するための(好ましくは3軸)ジャイロスコープを備える。
いくつかの実施形態では、IMUが(地球の磁場に基づいて)モバイルデバイスの絶対配向を検出するための磁力計を備える。しかしながら、IMUは、三角測量センサとして、位置を検出するための他のモジュールを追加的にまたは代替的に備えることができる。三角測量センサは衛星(例えば、GPS)または携帯電話基地局から送信された異なる信号に基づいて位置を測定することができる。
本発明のいくつかの実施形態によれば、拡張現実環境が示されると、IMUからの(測定)データは、モバイルデバイス内の触覚入力要素を可能にするために使用される。本発明のいくつかの実施形態によれば、この触覚入力要素は、イネーブルモジュールによってイネーブルされた後、使用者によって選択されると、使用者がタスクを解決することを可能にする。
好ましい一実施形態では触覚入力要素がIMUによって測定される(平均)加速度が閾値を下回る場合に有効とされ、この閾値は例えば4.5m/s2である。この加速度は好ましくは時間窓において測定される平均加速度であり、この時間窓は好ましくは1.20秒から1.40秒の間の長さであり、好ましくは1.28秒の長さである。
別の好ましい実施形態では、触覚入力要素が例えば、カメラによって撮影された少なくとも1つの画像内の決定された要素および/または目標位置の存在に応じて、カメラによって撮影された少なくとも1つの画像に応じて(また)イネーブルされる。例えば、非限定的に、触覚入力要素は、カメラによって撮影された少なくとも1つの画像に平坦な表面積がある場合にイネーブルされる。
本発明のいくつかの実施形態によれば、装置は、(イネーブルモジュールによる)触覚入力要素イネーブルと(ユーザによる)選択との間の期間にIMUからのデータを記録するための記録モジュールを備える。
本発明のいくつかの実施形態によれば、装置は、記録モジュールによって記録されたデータを所定の周波数におけるマグニチュードのセットに縮小するための特徴抽出モジュールを備える。
本発明のいくつかの実施形態によれば、装置は、所定の周波数におけるこのマグニチュードのセットに基づいてユーザの認知状態を決定するための機械学習モジュールも備える。
本発明のいくつかの実施形態では、触覚入力要素を選択することができるように、デバイスをできるだけ定常的に保持するユーザの認知状態を決定することが可能である。そうでない場合、触覚入力要素は、イネーブルモジュールによってイネーブルされない。
いくつかの実施形態では、デバイスが例えば閾値を下回る(平均)加速度で、比較的わずかな動きで定常に、または、定常に保持される場合、触覚入力要素がイネーブルされる。そのような実施形態において触覚入力要素がイネーブルされるとき、それは、例えば、仮想オブジェクトを目標位置に(またはその上に)配置するために、タスクを解決するためにユーザによって選択され得る。
本出願人は、触覚入力要素のイネーブルと選択との間の期間におけるIMUからの(測定)データがユーザの認知状態を決定するのに有用であることを見出した。好ましくはこの期間が1.20秒と1.40秒との間に含まれ、好ましくは1.28秒に等しく、これはユーザが、触覚入力要素が有効になった後に触覚入力要素を押すのにかかる平均時間である。一般に、ユーザは触覚入力要素をイネーブルした後に、触覚入力要素を選択するために、モバイルデバイスをほぼ静止状態に保持する。
出願人は、IMUからのデータが記録される条件が可能な限り類似していることが有益であることを見出した。すなわち、データ自体はユーザ間で異なるが、テスト設計は比較可能なデータを保証するために、可能な限り類似していることが好ましい。これは、ユーザの認知状態を効率的かつ正確な方法で決定することを可能にする。本発明のいくつかの実施形態によれば、ユーザは、モバイルデバイスを可能な限り定常に保持すべきである。これは、好ましくは触覚入力要素のイネーブルと選択との間の場合である。
したがって、本発明のいくつかの実施形態による装置は、ユーザの認知状態の検出をさらに改善することを可能にする。
さらに、本発明のいくつかの実施形態では、特徴抽出モジュールが元の(すなわち、縮小されていない)データの主要な特徴を依然として正確に記述しながら、機械学習モジュールによって使用されるデータ量を縮小することを可能にする。
したがって、本発明のいくつかの実施形態による装置は、ユーザの認知状態を効率的かつ正確に検出することを可能にする。
一実施形態では所定の周波数におけるマグニチュードのセットがN個の周波数を含み、Nは7~15の整数であり、好ましくはN=10である。これにより、ノイズの多い周波数から保護することができる。さらに、この数は、あまりに少なく、あまりに多くの特徴のバランスを取ることを可能にする。本発明のいくつかの実施形態における各追加の周波数はM個の価値だけデータを増加させる(ここで、MはIMUのセンサの各々についての寸法の積、センサの数、テストの対象の数、およびテスト実行の数の回数である)。この文脈において、テストオブジェクトは、ユーザがAR環境においてタスクを解決することを可能にする(仮想)オブジェクトである。
例えば、2つのテストランにわたって、3つのオブジェクトに対する2つのセンサの各々に対して3つの次元がある場合、値の数Mは36である。1つの周波数を使用するだけでは(したがって、36の特徴を有する)、機械学習モジュールがパフォーマンス低下につながる所望のクラスを分離するには、あまりにも少ない特徴を有する。より多くの周波数、例えば20個の周波数(したがって720個の特徴)を使用することは、過適合のより高いリスクを与え、やはり性能不足につながる。本出願人は良好なバランスが10個の周波数を使用し、したがって360個の特徴を使用していることを見出した。
一実施形態ではこれらの所定の周波数はすべて10Hz未満である。やはり、より高い周波数は出願人によって、いくつかの実施形態で使用するにはノイズが多すぎると考えられる。いくつかの実施形態では、IMUから記録された信号が実際の信号と、IMUの回路からの電気ノイズおよび機械ノイズ(熱機械ノイズおよび環境振動ノイズ)などのノイズとの組み合わせである。これらの異なるノイズ源はしばしば高周波数を有し、したがって、好ましくは、考慮から除外される。
一実施形態では、所定の周波数におけるマグニチュードのセットの周波数分解能は、触覚入力要素イネーブルと選択との間の期間の逆数である。例えば、この期間が1.28秒である場合、所定の周波数におけるマグニチュードのセットの周波数分解能は0.78Hzである。
好ましい一実施形態では、これらの所定の周波数が0.78、1.56、2.34、3.12、3.91、4.69、5.47、6.25、7.03、7.81である。これは、0.78Hzの周波数分解能で最低10周波数を使用することに対応する。
一実施形態では、光出力手段が拡張現実環境を表示すると同時に又は表示した後に触覚入力要素を表示するように構成される。
一実施形態では、装置が環境内のモバイルデバイスの位置経路を決定するように構成された経路モジュールをさらに備え、機械学習モジュールはたとえば、ユーザがタスクを解決する間に決定されたモバイルデバイスの位置経路にも基づいて、ユーザの認知状態を決定するように構成される。
一実施形態ではユーザが目標位置まで所定の距離、例えば、30cmであると、周囲の視覚は拡張現実モジュールによって拡張される。
本発明の一態様によれば、装置を使用することによって、モバイルデバイスのユーザの認知状態を決定するための方法が提供され、この装置は、モバイルデバイスと、モバイルデバイス内のIMUと、ユーザに情報を光学的に提供するための、モバイルデバイスの光出力手段と、を含む。本方法は、モバイルデバイスの環境の画像を記録し、画像はモバイルデバイスのカメラを使用することによって取得され、装置の拡張現実モジュールを使用することによって、光出力手段を介して示され、カメラによってキャプチャされたモバイルデバイスの環境に基づいて拡張現実環境を生成し、拡張現実環境が示されると、モバイルデバイスの触覚入力要素をイネーブルし、拡張現実環境が示されると、IMUによって測定されたデータに応じてモバイルデバイス内の触覚入力要素をイネーブルし、触覚入力要素は装置のイネーブルモジュールを使用することによって、イネーブルされた後にユーザによって選択されると、ユーザがタスクを解決することを可能にし、装置の記録モジュールを使用することによって、触覚入力要素のイネーブルと選択との間の期間において、IMUからのデータを記録し、装置の特徴抽出モジュールを使用することによって、記録モジュールによって記録されたデータを、所定の周波数におけるマグニチュードのセットに縮小し、所定の周波数におけるマグニチュードのセットに基づいて、ユーザの認知状態を決定する、ことを含む。
本発明の一態様によれば、装置および/またはモバイルデバイスのプロセッサ上で命令が実行されるとき、以下のステップを実行するように構成された命令を含む、モバイルデバイスのユーザの認知状態を決定するためのコンピュータプログラムが提供される。モバイルデバイスの環境の画像を記録し、画像はモバイルデバイスのカメラを使用することによって取得され、装置の拡張現実モジュールを使用することによって、光出力手段を介して示され、カメラによってキャプチャされたモバイルデバイスの環境に基づいて拡張現実環境を生成し、拡張現実環境が示されると、モバイルデバイスの触覚入力要素をイネーブルし、拡張現実環境が示されると、IMUによって測定されたデータに応じてモバイルデバイスの触覚入力要素をイネーブルし、触覚入力要素は装置のイネーブルモジュールを使用することによって、イネーブルされた後にユーザによって選択されると、ユーザがタスクを解決することを可能にし、装置の記録モジュールを使用することによって、触覚入力要素のイネーブルと選択との間の期間において、IMUからのデータを記録し、装置の特徴抽出モジュールを使用することによって、記録モジュールによって記録されたデータを、所定の周波数におけるマグニチュードのセットに縮小する。
上述の特徴のいずれも、本発明の態様の何れかにおいて使用することができることを理解されたい。
本発明の例示的な実施形態は、添付の図面を参照して、単なる例として、以下に説明される。
図1は、第1個人の認知状態に関する情報を提供するための装置1の実施形態を示す。この実施形態では装置が第1個人の認知状態を決定するためのものであるが、他の実施形態では装置が例えば医師によるそのような決定に使用することができる情報を単に提供することができる。
図1に示すモジュール間の接続は図示していないが、図示したモジュールの少なくとも一部は(物理的に)互いに接続されている。さらに、図1におけるそれらの配置は純粋に例示的であり、それらの物理的配置を表すものではない。
この文脈において、用語「モジュール」は、操作ユニットを示す。いくつかのモジュールは例えば、(マイクロプロセッサ)内で一緒に組み合わせることができる。好ましくは、モジュールが専用チップ及び/又は(図示せず)中央処理装置(CPU)及び/又は装置1内の任意の他の処理ユニットに実現される。いくつかのモジュールは、それぞれがモジュールの一部を表す複数の操作ユニットから形成することができる。それぞれのモジュールは、別のモジュールからデータを受け取るインプットインターフェースと、別のモジュールにデータを提供するアウトプットインターフェースとを含むと言うことができる。いくつかの実施形態では、そのようなインターフェースが物理的な構成ではなく、プロセシングによって提供される。
図1の実施形態では装置1がモバイルデバイス2と、モバイルデバイス2内のモバイルデバイスの環境の画像を記録するための第1カメラ3と、個人軸における第1個人の手の動きを測定するように動作可能な測定ユニットとを備え、個人軸は手から第1個人までの軸である。この実施形態では、測定ユニットはモバイルデバイス内のIMU6であり、第1個人はモバイルデバイス2のユーザである。この実施形態におけるIMU6は、3軸加速度計6.1と3軸ジャイロスコープ6.2とを備える。
また、装置1は、モバイルデバイス2内に出力手段5を備える。出力手段5は、モバイルデバイス2のユーザに光情報を表示するための光出力手段5.1を備える。光出力手段5.1は、好ましくはディスプレイまたはスクリーンである。光出力手段5.1、特にディスプレイは、好ましくはモバイルデバイス2、特に携帯型モバイルデバイスの第2側面に配置される。しかしながら、プロジェクタのような他の光出力手段5.1(例えば、眼鏡のアイプロジェクタ)も考えられる。光出力手段5.1はユーザが光出力手段5.1からの情報を出力視野方向12、すなわち、ユーザから光出力手段5.1への方向に見ることができ、ユーザが光出力手段5.1からの情報を見ることができるように、モバイルデバイス2内に配置される。
一実施形態では、出力手段5がスピーカのように、ユーザに対して情報15を再生するための音声出力手段5.2をさらに備える。
装置1はまた、光出力手段5.1を介して示される拡張現実環境を生成し、カメラ3によってキャプチャされたモバイルデバイス2の環境に基づいて拡張現実環境を生成するための拡張現実モジュール14を備える。
装置1は、光出力手段5.1を介して現実環境が示されると、モバイルデバイス1内の入力要素10.1をイネーブルするためのイネーブルモジュール15も備える。モバイルデバイス2内の入力要素10.1は、好ましくは触覚入力要素である。
この文脈では、「触覚入力要素」という表現がユーザによって、またはスタイラスなどの手段によって触れられた場合に機能を実行する任意の器官または手段を示す。
図1において、入力要素10.1は、ユーザ命令をモバイルデバイス2に入力するように構成された入力手段10に属する。入力要素10.1は好ましくは(タッチ)ボタンまたはタッチセンサ上に表示される要素30であり、好ましくはモバイルデバイス2のディスプレイ上に配置され、すなわち、ディスプレイおよびタッチセンサはタッチスクリーンを構成する。しかしながら、入力要素10.1は、物理的(線形および/または回転)ボタン、マウス、トラックボール、ノブ、または任意の他の触覚物理的要素であってもよい。
別の実施形態では、入力要素10.1はまた、ユーザがタスクを解決することを可能にする、手または目の方向認識モジュールであり得る。別の実施形態では、入力要素10.1が(例えば、音声コマンドのための)マイクロフォンとすることができる。なお、入力手段10のマイクは、後述するマイク13に相当するものであってもよい。
図1の実施形態によれば、入力要素10.1により、ユーザは、拡張現実環境上のタスクを、イネーブルされた後にユーザによって選択されると、解決することができる。このイネーブルは、拡張現実環境が光出力手段を介して示されると、実行される。
イネーブルモジュール15はIMU6によって測定されたデータに応じて、入力要素10.1をイネーブルにする(すなわち、アクティブにする)ことを可能にする。
この実施形態ではIMU6が(3軸)加速度計6.1を備え、加速度計6.1によって測定された(平均)加速度がしきい値未満、例えば4.5m/s2未満である場合、イネーブルモジュール15は入力要素10.1をイネーブルする。次いで、ユーザが例えば、それに触れるか、またはそれを押すか、または回転させることによって、(有効にされた)入力要素10.1を選択する場合、入力要素10.1は、ユーザが拡張現実環境におけるタスクを解決することを可能にする。そうではなく、入力要素10.1がイネーブルモジュール15によって無効化される場合、ユーザがそれを選択する場合、ユーザは、拡張現実環境においてタスクを解決することができない。
イネーブルモジュール15は、IMU6によって測定されたデータに応じて入力要素10.1をイネーブルにすることを可能にするので、入力要素10.1(イネーブルまたはディスエーブル)の状態がそれらのデータに応じて時間的に変化することが可能である。
例えば、加速度計6.1によって測定された(平均)加速度が閾値を下回る場合、入力要素10.1は、イネーブルモジュール15によってイネーブルされる。しかしながら、例えば、モバイルデバイス2を保持しているユーザが加速度計6.1によって測定された(平均)加速度が閾値を上回るように、震え始めるか、またはその位置を突然変化させる場合、入力要素10.1は、イネーブルモジュール15によって無効にされる。加速度計6.1によって測定された(平均)加速度が閾値を下回る場合、入力要素10.1は、イネーブルモジュール15によって再びイネーブルされる。
装置1はまた、IMU6からのデータを記録するための、特に、入力要素10.1のイネーブル(イネーブルモジュール15による)と選択(ユーザによる)との間の期間で測定窓においてIMU 6からのデータを記録するための記録モジュール16を備える。記録モジュールは例えば、RAM又はROMメモリとすることができる。
装置1は、加速度計から得られる記録モジュールによって記録されたデータを積分するように構成された積分モジュール(図示せず)を含む。この実施形態では、積分モジュールが加速度計から得られる記録モジュールによって記録されたデータを二重積分して、位置データをもたらすように構成される。
装置1はまた、記録モジュール16によって記録されたデータ、特に、積分モジュールによって生成された位置データを、所定の周波数におけるマグニチュードのセットに縮小するための特徴抽出モジュール8を備える。この実施形態では、特徴抽出モジュール8が記録モジュール16によって記録されたデータを所定の周波数におけるマグニチュードのセットに縮小するために高速フーリエ変換を使用する。
いくつかの実施形態では、特徴抽出モジュール8はまた、記録モジュールによって記録されたデータから、異なる周波数でマグニチュードのセットに縮小された後に、個人軸における第1個人の手の動きに関するデータを優先的に抽出して、抽出されたデータを使用して1セットの第1動きデータを形成するように構成される。いくつかの実施形態では、優先的に抽出することは排他的に抽出することを意味し得る。しかしながら、以下に説明するように、この抽出は必須ではない、というのは、図1の実施形態ではユーザが測定窓の間にモバイルデバイスを実質的に定常かつ実質的に静止状態に保持して、その期間中に個人軸以外のデバイスのすべての動きを制限することが要求されるからである。したがって、測定窓の間に記録されたデータは典型的には個人軸に直交する軸における第1個人の手の動きに対する個人軸における第1個人の手の動きに既に優先的に関連し、記録モジュールによって記録されたデータは、個人軸における第1個人の手の動きに関するデータを抽出することなく、第1動きデータのセットとして使用することができる。しかしながら、特徴抽出モジュールによるデータの優先的抽出は加えて、または実施形態では測定窓の間にそのような制限なしに使用され得る。
結果として、第1動きデータのセットは優先的に、個人軸に直交する軸における第1個人の手の動きに対する個人軸における第1個人の手の動きに関連する。言い換えると、処理の結果として、ユーザによって実行されるタスクの性質、または検出の方法として、第1動きデータのセットは、個人軸に直交する軸における第1個人の手の動きに対して、個人軸における第1個人の手の動きを選択的に強調する。いくつかの実施形態では、優先的に関連することは排他的に関連することを意味することができる。本発明者らはこの軸における動きが、特に、ユーザの認知状態を示すことができることを発見した。
他の実施形態では、個人軸における第1個人の手の動きに関するデータが記録モジュールによって記録されたデータが異なる周波数でマグニチュードのセットに縮小される前に、またはそれと同時に抽出することができる。
他の実施形態では、測定ユニットが個人軸に直交する軸における第1個人の手の動きに対して、個人軸における第1個人の手の動きを優先的に検出するように構成することができる。
いくつかの実施形態では、IMU6がモバイルデバイス2の向き変化を測定するためのジャイロスコープ6.2を含み、特徴抽出モジュール8はモバイルデバイス2の向き変化に関する記録モジュール16によって記録されたデータを利用して、個人軸における第1個人の手の動きに関するデータを記録モジュール16によって記録されたデータから優先的に抽出し、上述のように第1動きデータのセットを形成するように構成される。しかしながら、図1の実施形態ではジャイロスコープは必要ではなく、個人軸はモバイルデバイス2の特定の軸、この場合はz軸であると仮定される。
理解されるように、積分モジュールは、特徴抽出の前にデータを積分する。しかしながら、他の実施形態では、積分が特徴抽出の後に行われてもよく、または全く行われなくてもよい。それにもかかわらず、積分は、性能を約5パーセントポイント改善することができるので、好ましい。
装置1はまた、上述のように、記録モジュール16によって記録されたデータに基づく第1動きデータのセットを使用して、ユーザの認知状態に関する情報を提供し、この実施形態では、ユーザの認知状態を決定するように構成された機械学習モジュール9を備える。特に、第1動きデータのセットは、測定窓の間の動きに関するデータに完全に基づく。
図1の実施形態では、装置1がモバイルデバイス2内の第2カメラ4、経路モジュール6.3、タスクモジュール7、(図示しない)ユーザ特徴モジュール、およびマイクロフォン13も備える。
経路モジュール6.3はタスクの少なくとも一部が解決されている間に、モバイルデバイス2の経路、特にモバイルデバイス2が辿る経路を決定するように構成される。図3の実施形態では、経路モジュール6.3はIMU6内にある。しかしながら、経路モジュール6.3をIMU6の完全に又は部分的に外側に配置することも可能である。好ましくは、経路モジュール6.3がモバイルデバイス2内に配置される。
図1において、第2カメラ4は出願人により提出された特許文献1に記載されているように、第2視野方向4.1における画像が記録されるように、第2視野方向4.1を指している。第2カメラ4はユーザがモバイルデバイス2でタスク(の少なくとも一部)を解決する間に、ユーザと共に画像を記録するように構成される。しかしながら、これは、全ての実施形態において必須ではない。
マイクロフォン13は、モバイルデバイス2の環境のオーディオ信号を記録するように構成される。マイクロフォン13はユーザの音声信号を記録するように構成され、ユーザはモバイルデバイス2でタスク(の少なくとも一部)を解決する。しかしながら、これは、全ての実施形態において必須ではない。
ユーザ特徴モジュール(図示せず)は、ユーザがタスクを解決する間、及び/又はユーザがタスクを解決する間、マイクロフォン13によって記録されたオーディオ信号において、更なるカメラ4によって記録された画像に基づいて少なくとも1つのユーザ特徴を決定するように構成される。しかしながら、これは、全ての実施形態において必須ではない。
この実施形態では、装置1がモバイルデバイス2から離れた何らかの計算タスクを実現するためのコンピュータ実装システムを提供するさらなる装置11を備える。言い換えれば、モバイルデバイスおよびさらなるデバイスは両方ともコンピューティングデバイスであり、プロセッシングはそれらの間で分割される。さらなる装置11は、データおよび/または結果を交換するためにモバイルデバイス2と接続され得る。モバイルデバイス2とさらなる装置11との間の接続は好ましくはインターネットを介するが、WLAN、携帯電話ネットワーク、他の無線通信プロトコルおよび/または他の通信技術を介することもできる。さらなる装置11は例えば、サーバ、好ましくはインターネット接続サーバであり、および/または好ましくはモバイルデバイス2から離れている。しかしながら、さらなる装置11はモバイルデバイス2の環境内に配置することもでき、および/または、たとえば、WLANおよび/またはLANおよび/または他のワイヤレス通信プロトコルを介して接続することもできる。しかしながら、さらなる装置11はモバイルデバイス2においてすべての計算タスクが行われる場合、オプションであり、必要とされない。この場合、装置1は、モバイルデバイス2に対応する。
例えば、タスクモジュール7、特徴抽出モジュール8、機械学習モジュール9、拡張現実モジュール14、イネーブルモジュール15、および記録モジュール16はいくつかの実施形態ではさらなる装置11に(全体的にまたは部分的に)属することができる(さらなる装置11においてプライム(’)を有する図1の関連符号を参照。)。
同様に、図1の特徴抽出モジュール8および機械学習モジュール9は、さらなる装置11に属するものとして示されている。しかしながら、それらは、(全体的にまたは部分的に)モバイルデバイス2に属することができ(さらなるデバイス2にプライム(’)を有する図1の関連符号を参照)、または一般に装置1に属することができる(さらなるデバイス2に2つのプライム(”)を有する図1の関連符号を参照。)。同様の説明が、積分モジュール(図示せず)にも当てはまる。
第1カメラ3および/または第2カメラ4は、環境の画像、好ましくはユーザの目に見える環境の特徴の画像を記録するための任意の適切なセンサとすることができる。好ましくは、15個の第1カメラ3および/または第2カメラ4がユーザによって見られるような環境をコピーする画像を記録するための光学カメラである。しかしながら、第1カメラ3および/または第2カメラ4は、任意の他のカメラ、例えば3Dカメラ、飛行時間カメラ、または可視スペクトル以外の波長をカバーする光学カメラ、例えば赤外線カメラまたは紫外線カメラなどであってもよい。好ましくは、第1カメラ3および/または第2カメラ4がデジタル画像センサおよび/または(デジタル画像センサ上に画像を合焦させるための)(光学)レンズを備える。
第1カメラ3はモバイルデバイス2の環境の画像が第1視野方向3.1に記録されるように、および/または第1カメラ3の画像が光出力手段5.1上に表示され得るように、モバイルデバイス2内に配置され、それにより、ユーザが光出力手段5.1の光情報を見るために光出力手段5.1上を見、第1カメラ3で現在記録されている画像が光出力手段5.1上に表示されるとき、ユーザは、光出力手段5.1上で光出力手段5.1の背後の環境の画像を見る。
ここでは、第1カメラ3によってキャプチャされ、光出力手段5.1によって(リアルタイムで)再生されるモバイルデバイス2のこの環境を、物理環境PEと定義する。この環境は拡張現実モジュール14によって拡張することができ、AR環境になる。それは、任意の情報によって増強することができ、または増強されないことができ、したがって、増強された情報を伴うデジタル化された環境に限定されない。
タスクモジュール7は(モバイルデバイス2を介して)モバイルデバイス2のユーザと対話するように構成され、これは、例えば、モバイルデバイス2の環境においてユーザがモバイルデバイス2を動かす(特に、歩く)ことを解決するタスクをユーザに与えることによって行われる。この実施形態では、タスクモジュール7が(モバイルデバイス2を介して)モバイルデバイス2のユーザと対話して、モバイルデバイス2の環境内のモバイルデバイス2と共にユーザを歩行させるように構成される。一実施形態では、タスクモジュール7がユーザにタスクを解決させるために、および/または(AR)環境でモバイルデバイス2を移動させる(特に、歩く)ために、モバイルデバイス2(AR)環境を使用するように構成される。
一実施形態では、このタスクは、(AR)環境内の定義された目標位置に仮想オブジェクトを配置することである。
図2Aは、テストを実行するユーザによって保持されるモバイルデバイス2の光出力手段5.1によって表示される物理環境PEの実例を示す。
この実施形態では、「テスト」という用語がAR環境において少なくとも1つのタスクを実行するように、モバイルデバイス2を保持するユーザによって行われたアクティビティを示す。テストの少なくとも一部の間、IMU6はデータを測定する。しかしながら、他の実施形態では、テストが非AR環境において少なくとも1つのタスクを実行するように、AR環境の外部にモバイルデバイスを保持するユーザによって行われるアクティビティであってもよい。
好ましい実施形態ではテストを開始するために、ユーザは好ましくは両手で、かつ体の前で、モバイルデバイス2を保持することが要求される。そうする間、光出力手段5.1はカメラ3からの出力を、好ましくはモバイルデバイス2の背面に、モバイルデバイス2を通して見ることができるように、連続的に示す。
この実施形態では、必要なタスクは、定義された目標位置に仮想オブジェクトを配置することである。この実施形態では、この定義された目標位置が平坦な表面領域(例えば、テーブル、椅子、床)、例えば物理的環境PEのテーブルTPの近く、その中、またはその上にある。
この実施形態では、ユーザがモバイルデバイス2を、目標位置TPまで、所定の距離、例えば、30cmに移動させるべきである。ユーザが移動することにより、図2Bに示すように、光出力手段5.1に表示される物理環境PEが変化する。
この実施形態では、ユーザが目標位置TPまでの所定の距離、例えば30cmに位置すると、周囲の視覚は仮想要素VE、例えば、図2Bの目標位置TPの上に示される仮想リングで増強される。仮想要素(リング)VEは、派手な色、例えば緑色で表示することができる。
この実施形態では、仮想要素VEが表示されると、入力要素10.1、例えば、図2Cのテキスト「Place(配置)」を有する仮想タッチボタンが現れる。これにより、測定窓が開始される。
この実施形態では、次に、ユーザは測定窓を終了する入力要素10.1を、例えばタッチによって選択できるように、モバイルデバイス2をしっかりと保持することを要求される。ユーザがモバイルデバイス2をしっかりと保持しない場合、または、IMU6によって検出されるように、モバイルデバイス2が過度に動かされる場合、入力要素10.1は無効にされる。
例えば、IMU6によって測定された平均加速度が閾値を下回る場合、IMU6によって検出されるように、デバイスが比較的少ない動きで定常状態に保持される場合、入力要素10.1は再びイネーブルにされ、測定窓が再び開始される。
入力要素10.1がユーザによって選択されると、図2Dに示されるように、仮想物体VO(例えば、小さなクマ)が、仮想要素VEの位置において、光出力手段5.1上に示される。好ましくは、仮想要素VEおよび/または入力要素10.1は消える。
次いで、仮想オブジェクトVOが仮想的に配置され、他の仮想オブジェクトに対して手順を繰り返すことができる。好ましくは、2つの仮想オブジェクトが同じ物理的位置に配置することができず、例えば、対象は次の仮想オブジェクトを配置するために現在位置から距離(例えば、少なくとも1メートル)を移動する必要がある。テスト全体を2回繰り返すことができ、その結果、被験者は、合計で6つの仮想オブジェクトを2回のテスト実行で配置した。
一実施形態では、2つのテストランのそれぞれについて、3つのオブジェクトのそれぞれについて、加速度計6.1およびジャイロスコープ6.2からのデータがそれぞれ3次元で記録モジュール16によって記録される。全体で、これは、36の独立した時系列をもたらす。
本出願人は、測定窓の間の、触覚入力要素10.1のイネーブルと選択との間の期間におけるIMU6からの(測定)データがユーザの認知状態を正確に決定するのに有用であることを見出した。好ましくはこの期間が1.20秒と1.40秒との間に含まれ、好ましくは1.28秒に等しく、これはユーザが触覚入力要素10.1を有効になった後に押すのにかかる平均時間である。ユーザは触覚入力要素10.1を選択するために、モバイルデバイス2をほぼ静止状態に保持しなければならない。
出願人は、IMU6からのデータが記録される条件が可能な限り類似していることを、ユーザの認知状態を正確に決定するために有益であることを見出した。すなわち、データ自体はユーザ間で異なるが、テスト設計は比較可能なデータを保証するために、可能な限り類似していることが好ましい。
理解されるように、装置はユーザが測定窓の間に、モバイルデバイス2、したがって、その手を、静止して、可能な限り定常的に保持することを要求し、それによって、この期間中に、個人軸以外のすべての動きを制限する。本発明者らは、これがユーザの認知状態を正確に決定するのに有益であることを見出した。
この実施形態では、加速度計データが3次元、すなわち、それぞれが装置に対して、x、y、およびz軸に対して、m/s2の単位で、100Hzの頻度で記録される。図3は装置1のモバイルデバイス2の斜視図および概略図を示し、それらの異なる軸を図示する。モバイルデバイス2の現在位置とは無関係に、x軸の正の値はモバイルデバイス2の右側に向かう加速度を意味し、y軸の正の値はモバイルデバイス2の上部に向かう加速度を意味し、z軸の正の値は、光出力手段5.1に垂直な光出力手段の向きの動きを意味する。負の値は、反対方向の加速度を示す。好ましくは全ての値が重力成分を除外すると仮定され、装置が静止しているとき、全ての軸はゼロのマグニチュードを測定する。
この実施形態では、ジャイロスコープデータが先に定義された軸の各々の周りの回転についてラジアン単位で、100Hzの周波数で記録される。図3に示されるように、ピッチθはデバイスのx軸の周りの回転を記録し、ロールΦはy軸の周りの回転を記録し、ヨーφは、z軸の周りの回転を記録する。0のヨーは、電話が北を向いていることを意味する。ピッチおよびロールが0の場合は、電話が平らになっていることを意味する。正のロールは、20右へ傾斜を意味する。正のピッチは、前方傾斜を意味する。
この実施形態では、記録モジュールがデータをCSVファイル(Comma Separated Values、各行に新しい登録およびカンマで区切られた列を有する表形式ファイルフォーマット)に記録し、ミリ秒単位のタイムスタンプおよび他の値がセンサによって登録される。
また、テスト中のイベントは、イベント登録ファイルに別途登録される。
加速度計CSV:列「timestamp,x,y,z」を有する重力加速度ベクトル。加速度はすべてgの倍数であるので、値1は9.81m/s2の加速度を意味する。データは、3次元すべてにおいて100Hzのサンプリングレートで記録される。正のx値はモバイルデバイス2の右側に向かう加速度を意味し、正のy値はモバイルデバイス2の上部に向かう加速度を意味し、正のz値は、スクリーンの向きにおける光出力手段5.1(この実施形態ではスクリーン)に垂直な動きを意味する。
データ例:
timestamp,x,y,z
1582207960462,-0.0028343051671999996,0.0032169818878000004,-0.0406328439713
1582207960472,0.0002601742744,0.007241010665899999,-0.0436691045761
1582207960482,0.011663720011700001,0.017454385757400003,-0.0452742576599
1582207960492,0.018144294619599998,0.0211092829704,-0.044560074806199994
timestamp,x,y,z
1582207960462,-0.0028343051671999996,0.0032169818878000004,-0.0406328439713
1582207960472,0.0002601742744,0.007241010665899999,-0.0436691045761
1582207960482,0.011663720011700001,0.017454385757400003,-0.0452742576599
1582207960492,0.018144294619599998,0.0211092829704,-0.044560074806199994
ジャイロスコープCSV:列「timestamp,pitch,roll,yaw」を有する姿勢ベクトルの時系列。すべての角度はラジアン単位である。ピッチは装置のx軸の周りの回転を記録し、ロールはy軸の周りの回転を記録し、ヨーは、z軸の周りの回転を記録する。データは、3次元すべてにおいて100Hzのサンプリングレートで記録される。0のヨーは、電話が北を向いていることを意味する。ピッチおよびロールが0の場合は、電話が平らになっていることを意味する。正のロールは、右への傾斜を意味する。正のピッチは、前傾(ノーズを下に向ける)を意味する。
データ例:
timestamp,pitch,roll,yaw
1582207960462,0.5281299643038,0.142492084745,-0.0383408686236
1582207960472,0.5282309817066,0.14270043589189998,-0.033708562147499996
1582207960482,0.5335807962207,0.1314814746114,-0.0280935035518
1582207960492,0.5334306018221,0.1286333107537,-0.05269055533250001
timestamp,pitch,roll,yaw
1582207960462,0.5281299643038,0.142492084745,-0.0383408686236
1582207960472,0.5282309817066,0.14270043589189998,-0.033708562147499996
1582207960482,0.5335807962207,0.1314814746114,-0.0280935035518
1582207960492,0.5334306018221,0.1286333107537,-0.05269055533250001
イベント登録:テスト中のイベントは、重要なイベントのタイムスタンプを含むXML(eXtensible Markup Language、リレーショナルデータを構造化するファイル形式)ファイルに登録される。例えば、オブジェクトを配置する場合、セクションがこのファイルに追加され、次のように記述される。
<place_object start_ts=”1582207960462” end_ts=”1582207960492” object_name=”alarm”>
<events>
<place_button_enabled ts=”1582207960462”/>
</events>
</place_object>
<place_object start_ts=”1582207960462” end_ts=”1582207960492” object_name=”alarm”>
<events>
<place_button_enabled ts=”1582207960462”/>
</events>
</place_object>
このXMLのスニペットは、被験者が、タイムスタンプstart_ts=”1582207960462”およびend_ts=”1582207960492”の間に、仮想オブジェクトを配置していたことを示している。配置されているオブジェクトが「アラーム」であった。この配置フェーズ中に、1つのイベント、すなわち、オブジェクト配置ボタンがイネーブルされ(place_button_enabled)、被験者が仮想オブジェクトを配置することを可能にした。ここでのタイムスタンプは、加速度計とジャイロスコープのCSVファイルのタイムスタンプにリンクできる。
もちろん、他の実施形態では、データおよびイベント記録のファイルタイプおよびフォーマットを変更することができる。
この実施形態による記録されたデータの分析は、多段階手順に従う。第1に、データは、積分モジュールによって二重積分される。第2に、特徴抽出モジュール8によって、データの次元数が低減される。任意選択的に、個人軸における第1個人の手の動きに関するデータは、抽出されたデータを使用して第1動きデータのセットを形成するために優先的に抽出される。次いで、第1動きデータのセットは例えば、アルツハイマー病の確率またはMCIからアルツハイマー病への転換の確率を予測するために、機械学習モジュール9において使用される。
上述のように、ステップの順序は、他の実施形態で変更することができる。
デバイスからの加速度(この実施形態では仮想オブジェクト配置の1.28秒前、したがって128サンプル)が与えられると、積分モジュールは複合台形規則(composite trapezoidal rule)を使用して累積積積分を2回適用して、加速度から位置に進む。
特徴抽出モジュール8は元の(すなわち、縮小されていない)データの主要な特徴を依然として正確に記述しながら、機械学習モジュールによって使用されるデータの量を縮小することを可能にする。これは’raw(未処理)’データを’features(特徴)’に変換する。
この実施形態では、特徴抽出モジュール8がフーリエ変換、特に高速フーリエ変換を使用して、記録モジュールによって記録されたデータを所定の周波数におけるマグニチュードのセットに縮小する。
この実施形態では所定の周波数におけるマグニチュードのセットがN個の周波数を含み、Nは7~15の整数であり、この実施形態ではN=10である。これにより、ノイズの多い周波数から保護することができる。さらに、この数は、あまりに少なく、あまりに多くの特徴のバランスを取ることを可能にする。各追加の周波数はM個の値だけデータを増加させる(ここで、MはIMUのセンサの各々についての寸法と、センサの数、テストの対象の数、およびテスト実行の数との積である)。例えば、2つのテストランにわたって、3つのオブジェクトに対する2つのセンサの各々に対して3つの次元がある場合、値の数Mは36である。1つの周波数を使用するだけでは(したがって、36の特徴を有する)、機械学習モジュールがパフォーマンス低下につながる所望のクラスを分離するには、あまりにも少ない特徴を有する。より多くの周波数、例えば20個の周波数(したがって720個の特徴)を使用することは、過適合のより高いリスクを与え、やはり性能不足につながる。本出願人は、10個の周波数、したがって360個の特徴において良好なバランスを見出した。
この実施形態ではこれらの所定の周波数はすべて10Hz未満である。やはり、より高い周波数は出願人によって、使用するにはノイズが多過ぎると考えられる。IMUから記録される信号は、実際の信号と、IMUの回路からの電気的ノイズのようなノイズおよび機械的ノイズ(熱機械的ノイズおよび環境振動ノイズ)との組み合わせである。これらの異なるノイズ源は多くの場合、高周波数を有し、したがって、考慮から除外される。
この実施形態では、所定の周波数におけるマグニチュードのセットの周波数分解能が触覚入力要素イネーブルと選択との間の期間の逆数である。例えば、この期間が1.28秒である場合、所定の周波数におけるマグニチュードのセットの周波数分解能は0.78Hzである。
この実施形態では、これらの所定の周波数が0.78、1.56、2.34、3.12、3.91、4.69、5.47、6.25、7.03、7.81である。
非積分周波数特徴について、特徴抽出モジュールはすべてのARテスト、仮想オブジェクト、センサ、および軸にわたって反復し、各センサの各軸について絶対FFT(高速フーリエ変換)特徴を計算する。
それらから、最初の10のマグニチュードがコピーされる。
擬似コードでは、次のように記述できる。
def get_placement_start_time(ARTest, VirtualObject):
# return the ”ts” property of the right <place_button_enabled /> tag.
def get_placement_end_time(ARTest, VirtualObject):
# return the ”end_ts” property of the <place_object> tag
def get_subset(Sensor, start_timestamp, end_timestamp):
# get a subset of all the rows of the Sensor between the start timestamp and the end timestamp.
def get_sensor_data(ARTest, VirtualObject, Sensor):
start_timestamp = get_placement_start_time(ARTest, VirtualObject)
end_timestamp = get_placement_end_time(ARTest, VirtualObject)
return get_subset(Sensor, start_timestamp, end_timestamp)
frequency_features = list()
for ARTest in [1, 2]:
for VirtualObject in [1, 2, 3]:
for Sensor in [’accelerometer’, ’gyroscope’]:
sensor_readings = get_sensor_data(ARTest, VirtualObject, Sensor)
for axis in [’x’, ’y’, ’z’]:
magnitudes = abs(fft(sensor_readings[axis]))
selected_magnitudes = magnitudes[1:11]
frequency_features.append(magnitudes)
def get_placement_start_time(ARTest, VirtualObject):
# return the ”ts” property of the right <place_button_enabled /> tag.
def get_placement_end_time(ARTest, VirtualObject):
# return the ”end_ts” property of the <place_object> tag
def get_subset(Sensor, start_timestamp, end_timestamp):
# get a subset of all the rows of the Sensor between the start timestamp and the end timestamp.
def get_sensor_data(ARTest, VirtualObject, Sensor):
start_timestamp = get_placement_start_time(ARTest, VirtualObject)
end_timestamp = get_placement_end_time(ARTest, VirtualObject)
return get_subset(Sensor, start_timestamp, end_timestamp)
frequency_features = list()
for ARTest in [1, 2]:
for VirtualObject in [1, 2, 3]:
for Sensor in [’accelerometer’, ’gyroscope’]:
sensor_readings = get_sensor_data(ARTest, VirtualObject, Sensor)
for axis in [’x’, ’y’, ’z’]:
magnitudes = abs(fft(sensor_readings[axis]))
selected_magnitudes = magnitudes[1:11]
frequency_features.append(magnitudes)
最初の数行は、正しいデータをロードするための補助関数を指定する。次に、計算されたすべての周波数特徴について空のリストを作成する。次に、ARTest、VirtualObject(各ARテストで3つ)、Sensorを繰り返す。その時点で、イベントXMLファイル内の発生のタイムスタンプを見ることによって各センサのセンサ読取値をロードし、未処理データから正しいタイムスタンプ範囲内のデータをロードする。次に、これらのセンサ読み取り値に、各軸(sensor_readings[axis])にFFT関数(fft(sensor_readings[axis]))を適用し、その範囲内の絶対数(abs(fft(sensor_readings[axis])))をとる。次に、最初の10の周波数(インデックス1から、11を含まない)を選択し、これらの周波数を周波数特徴のリストに追加する。
積分された周波数特徴は非積分周波数特徴と同様の方法で計算されるが、本発明者らはそれを加速度計データにのみ適用し、加速度計データを最初に積分することを除いて、非積分周波数特徴と同様の方法で計算する。
擬似コードでは、以下を得る。
frequency_features = list()
for ARTest in [1, 2]:
for VirtualObject in [1, 2, 3]:
sensor_readings = get_sensor_data(ARTest, VirtualObject, ’accelerometer’)
for axis in [’x’, ’y’, ’z’]:
positions = cumtrapz(cumtrapz(sensor_readings[axis]))
magnitudes = abs(fft(positions))
selected_magnitudes = magnitudes[1:11]
frequency_features.append(magnitudes)
frequency_features = list()
for ARTest in [1, 2]:
for VirtualObject in [1, 2, 3]:
sensor_readings = get_sensor_data(ARTest, VirtualObject, ’accelerometer’)
for axis in [’x’, ’y’, ’z’]:
positions = cumtrapz(cumtrapz(sensor_readings[axis]))
magnitudes = abs(fft(positions))
selected_magnitudes = magnitudes[1:11]
frequency_features.append(magnitudes)
これは、センサをループオーバーする必要がないことを除いて、以前と同様であり、加速度計のみを使用する。線「cumtrapz(cumtrapz(sensor_readings[axis]))」は示された軸でデータを取り、複合台形規則を使用して、それを経時的に2回積分する(これは、上述のように積分モジュールによって行われる)。これは、データサブセットの開始点に対する測位データを与える。それから、絶対FFTのマグニチュードを再度計算し、それらを周波数特徴のリストに保存する。
非積分周波数特性は、360周波数振幅(10周波数×3次元×2センサ×3物体×2ARテスト)からなる。これらのマグニチュードの各々は、加速度計またはジャイロスコープから来る信号に存在する特定の周波数のマグニチュードを示す正の数である。
一例として、1つのARテストの1つの仮想オブジェクト配置について、加速度計のX座標について、特徴のセットを得ることができた。
[1.654, 0.059, 0.011, 0.0523, 0.0666, 5.779, 0.194, 3.4358, 1.4534, 2.5343]
[1.654, 0.059, 0.011, 0.0523, 0.0666, 5.779, 0.194, 3.4358, 1.4534, 2.5343]
y座標について、同様の数のセットを得、z座標について同じであり、次いでジャイロスコープデータについて同じであり、と続く。
上記の数字は、それぞれが予め指定された周波数[0.78,1.56,2.34,3.12,3.91,4.69,5.47,6.25,7.03,7.81]Hzで、データ中に存在する周波数の周波数マグニチュードを表す。
これらは加速度計およびジャイロスコープの未処理データから直接計算されるので、これらの周波数は加速度および回転の変化率である。
積分された周波数特徴は、異なって計算され、加速度計データについてのみ計算される。その上、それらは、ほとんどの局面において上記と同様である。ジャイロスコープのためにこれらを計算しないので、ここでは180個の特徴のみを有する。各特徴は、ここでもまた、周波数[0.78,1.56,2.34,3.12,3.91,4.69,5.47,6.25,7.03,7.81]Hzにおける時系列データにおける周波数のマグニチュードを表す。
非積分周波数特徴間の主な違いは、これらの特徴が二重積分加速度データ、すなわち、相対測位データ上で計算されることである。これにより、周波数は(加速度ではなく)位置の変化率になる。
いくつかの実施形態では、上述のように、特徴抽出モジュールは第1動きデータのセットを形成するために、個人軸における第1個人の手の動きに関するデータを優先的に抽出することができる。しかしながら、図1の実施形態では、データが測定窓の間の動きに実質的に完全に関連する結果として、すでに優先的にそのような動きに関連するので、これは必要ではない。
特徴抽出モジュールからのデータは、機械学習モジュールが動作する第1動きデータのセットである。
機械学習モジュールに目を向けると、「機械学習モジュール」という表現は学習するために、すなわち、特定のタスクのパフォーマンスを漸進的に改善するために、トレーニングされる必要があるモジュールを示す。
好ましい実施形態における機械学習モジュールは、ニューラルネットワークモジュール、すなわちニューロンと呼ばれる要素のネットワークを備えるモジュールである。各ニューロンは入力を受け取り、その入力および「活性化機能」に応じて出力を生成する。特定のニューロンの出力は、他のニューロンの入力に接続され、それによって、重み付けされたネットワークを形成する。重みは、学習またはトレーニング機能によって支配される学習と呼ばれるプロセスによって修正することができる。
ニューラルネットワークモジュールは機械学習モジュールの好ましい実装形態であるが、本発明によるシステムはニューラルネットワークモジュールの使用のみに限定されず、例えば、非限定的な方法で、以下の機械学習アルゴリズムのうちの少なくとも1つを実装するように構成された機械学習モジュールなどの他のタイプの機械学習モジュールを備えることができる。機械学習アルゴリズムは、決定木、関連付けルール学習、ディープラーニング、誘導論理プログラミング、サポートベクトルマシン、クラスタリング、ベイジアンネットワーク、強化学習、表現学習、類似性およびメトリック学習、スパース辞書学習、遺伝的アルゴリズム、ルールベースの機械学習、学習分類器システムなどを含む。
一実施形態では、ニューラルネットワークモジュールがディープニューラルネットワークモジュールであり、例えば、入力層と出力層との間に複数の隠れ層、例えば、少なくとも3つの層を備える。
1つの好ましい実施形態ではそれは3つの隠れ層を含み、各層は異なる数のニューロンを有する。一実施形態では、隠れ層のニューロンの数が入力から出力まで減少する。
図1の実施形態では、機械学習モジュール9がXGBoost分類アルゴリズムを実行して、健康なユーザからのIMU読取値と基礎となる状態を有するユーザからのIMU読取値との間の差を学習するように構成される。
この例では、軽度認知障害(MCI)を有する第1数(例えば、381)の被験体のデータをアミロイドβ陽性バイオマーカーと共に収集し、そのような認知障害を有さない(但し、バイオマーカーを有する可能性がある)第2数(例えば、1277)の被験体のデータも収集する。
言い換えれば、機械学習モジュール9は複数の第2個体に関連する第2動きデータのセット上でトレーニングされ、各第2動きデータのセットは特定の第2個体に関連付けられ、各第2個体は医学的状態を有するか、または医学的状態を有さないと識別された少なくとも1つの個体を含み、医学的状態は軽度認知障害またはアルツハイマー病であり(他の実施形態では認知症またはせん妄または特定のサブタイプの認知症またはせん妄などの他の医学的状態を含むことができるが)、第2動きデータのセットの各々は優先的に、それぞれの個人軸に直交する軸におけるそれぞれの手の動きに対するそれぞれの個人軸におけるそれぞれの個人軸の動きに関連する。
「At Risk(リスク)」クラスとしてのMCI被験者の第1数のデータおよび「Healthy(健常)」クラスとしてのMCI被験者の第2数のグループのデータ。これから、特徴行列Xが特徴の列として、および第1数+第2数の被験者の行として、作成され、各被験者について、被験者が健常クラス(値0)またはリスククラス(値1)にあるかどうかを示す整数値を有する別個のベクトルyが被験者ごとに作成される。目標はXからYへのマッピングを学習することであり、その結果、新しい被験者が提示されると、機械学習モジュールは、対応するクラスラベルを予測することができる。
最終分類モデルはXおよびYのすべてのデータを用いてトレーニングされたXGBoostモデルである。この最終モデルの精度を評価するために、いくつかの(例えば、5つの)追加モデルを、(5)フォールド層別交差検証法を用いてトレーニングすることができる。図4は、381人のMCI被験者および1277人の健常被験者を用いて、図1による実施形態について得られた受信者動作特性(ROC)曲線を示す。この曲線の下の平均面積ROC-AUCは0.91+0.02である。
一実施形態では、機械学習モジュール9がユーザの脳の健康状態、すなわち、脳疾患または脳損傷を判定することも可能にする。そのような脳疾患または脳損傷の例は、アルツハイマー病および/または前臨床アルツハイマー病の病理学的変化、前頭側頭認知症、外傷性脳損傷、例えば脳震盪、パーキンソン病、術後認知障害、後皮質萎縮、運動障害、神経変性障害、認知障害、うつ病である。
例えば、被験者の範囲についての周波数特徴の上記のセットが与えられると、分類方法を構築することができる。そのために、CSVファイルを作成する。CSVファイルの列には、頻度メトリック(非積分、積分、または両方)が含まれ、被験者ごとに1行が含まれる。この行列をXと呼び、次のようになる。
X:
SubjectId, FrequencyFeature_1, FrequencyFeature_2, …, FrequencyFeature_N
1, 1.654, 0.059, …, 0.011
2, 0.0523, 0.0666, …, 2.534
3, 5.779, 0.194, …, 1.4534
SubjectId, FrequencyFeature_1, FrequencyFeature_2, …, FrequencyFeature_N
1, 1.654, 0.059, …, 0.011
2, 0.0523, 0.0666, …, 2.534
3, 5.779, 0.194, …, 1.4534
組み合わせて、人の疾患状態、すなわち(将来)アルツハイマーまたは健康状態のみを記憶するCSVファイルを有する、これをyと称し、それは、以下のように見える。
y:
SubjectId,DiseaseStatus(被験者識別、疾患状態)
1, Healthy(健康)
2, Alzheimer’s disease (AD)(アルツハイマー病)
3, Healthy(健康)
y:
SubjectId,DiseaseStatus(被験者識別、疾患状態)
1, Healthy(健康)
2, Alzheimer’s disease (AD)(アルツハイマー病)
3, Healthy(健康)
データXおよびステータスyが与えられると、XGBoostモデルをトレーニングする。
model = xgboost(X, y)
model = xgboost(X, y)
モデルによれば、新しい被験者の疾患状態を以下のように予測することができる。
x_new_subject = [2.343, 1.662, …, 3.222]
y_prediction = model.predict(x_new_subject)
x_new_subject = [2.343, 1.662, …, 3.222]
y_prediction = model.predict(x_new_subject)
ここで、x_new_subjectは、以前に見られなかった被験者の周波数特徴である。
図1の実施形態では、ユーザの認知状態が機械学習モジュールによって提供され、装置1から与えられる。この実施形態では、ユーザの認知状況がモバイルデバイス2の出力手段5を介して与えられる。しかしながら、他の実施形態では、ユーザの認知状態が他の出力から、例えば、モバイルデバイス2から遠隔の臨床医に与えられ得る。
図1の実施形態では、ユーザの認知状態は、将来のアルツハイマー病の予測および/またはMCIのアルツハイマー病への転換である。しかしながら、他の実施形態では、認知状態がアルツハイマー病の存在および/または脳疾患もしくは脳損傷、前臨床アルツハイマー病理学的変化、前頭側頭認知症、外傷性脳損傷、例えば脳震盪、パーキンソン病、術後認知障害、後皮質萎縮、運動障害、神経変性障害、認知障害、うつ病などの他の医学的状態に対する感受性もしくは存在に関連し得る。
この実施形態では装置がユーザの認知状態を決定し、出力するが、他の実施形態では装置が単に、認知状態に関する情報を提供することができる。そのような実施形態では装置が同じ機械学習手順を実行することができるが、認知状態を決定する機械学習モジュールではなく、単に、認知状態に関する情報、例えば、数値スコアまたは分類を提供することができ、それは出力され、次いで、場合によっては他の要因と組み合わせて、医師によって使用されて、認知状態に関する決定を行うことができる。
装置は誰かが薬物を受けているべきかどうか(特に、ADについて)を決定するために、および/または薬物使用の用量および頻度を決定するために使用され得る。これは、例えば、機械学習モジュールによって決定され、装置によって出力され得る。
上記の実施形態では装置がデータを積分する積分モジュールを含むが、これはすべての実施形態において必要であるわけではない。積分モジュールを含まない例の結果を図5に示す。
本実施例では、トレーニングのために、軽度認知機能障害(MCI)を有する372人の被験者のデータをアミロイドβ陽性バイオマーカーと共に収集し、そのような認知機能障害を有さない(但し、バイオマーカーを有する可能性がある)1296人の被験者のデータも収集したことを除いて、上記のように実行された機械学習モジュールを使用した。図5は図1による実施形態の結果として得られる受信者動作特性(ROC)曲線を示し、この曲線の下の平均面積ROC-AUCは、0.78+- 0.02である。
図4および図5の比較から分かるように、結果は積分の有無にかかわらず良好であるが、積分が使用される場合により良好である。
上述の実施形態はAR環境におけるテストの文脈であるが、これは全ての実施形態において必要であるとは限らない。例えば、仮想オブジェクトを物理的環境の画像に重ね合わせることなく、テストを実行することができる。例えば、図6が関連する本発明の別の実施形態は図1の実施形態に対応するが、例えば、拡張現実モジュール14およびイネーブルモジュールを省略することができる。
図6の実施形態では、タスクモジュール7がユーザに解決すべきタスクを与えることによって、モバイルデバイス2のユーザと対話するように再び構成される。この実施形態では、タスクは、ユーザが測定窓の間、自分の手を実質的に定常かつ実質的に静止した状態に保つことを要求する。この実施形態では入力要素10.1が例えば、ユーザが図6のスクリーンショットに示される「開始」ボタン130を作動させることによって、測定窓を開始するように動作可能である。他の実施形態では測定窓が様々な方法で、任意選択で自動的に開始され得る。図6の実施形態では、測定窓が所定の時間、好ましくは5~10秒の間、この実施形態では7秒後に自動的に終了する。しかしながら、他の実施形態では、測定窓が他の方法で、例えば、ユーザによって行われたアクションの後に終了することができる。
図6の実施形態では、装置がユーザに、モバイルデバイス2のディスプレイにレベルインジケータを表示させ、測定窓の間にデバイスが水平であることを示すレベルインジケータをユーザに保持させるように構成されているタスクモジュール7によって、ユーザの手を実質的に安定させ、実質的に静止させることを要求する。図6の実施形態では、レベルインジケータがバブルレベル100であり、固定ターゲット110と可動バブル120とを含む。タスクモジュール7は、IMUからのデータに応じて、ターゲット110に対するバブル120の位置を移動させるように構成される。タスクモジュール7は測定窓の間、バブル120を固定ターゲット110の中心に保つように使用することを要求するように構成され、それによって、ユーザはデバイスを水平に保ち、測定窓の間、ユーザの手を定常に静止させることを要求するが、他の実施形態ではユーザがデバイスを垂直に保つことを要求され得る。いくつかの実施形態ではユーザが片手でモバイルデバイス2を保持していてもよいが、好ましくはユーザが両手でモバイルデバイス2を保持することを要求される。
測定窓の間の動きに関するデータは図1の実施形態のように記録され、処理される。上述のように、ユーザは測定窓の間に手を実質的に定常状態に保ち、実質的に静止状態に保つので、データは優先的に、個人軸における動きに関連する。
もちろん、本発明のいくつかの実施形態では、装置が図1および6の実施形態の特徴のすべてを含み、両方の実施形態のテストを実行するように構成されることが可能である。
上述の実施形態では特徴抽出モジュールが機械学習モジュールによって使用されるデータの量を縮小することを可能にするが、元の(すなわち、縮小されていない)データの主要な特徴を依然として正確に記述しながら、すべての実施形態において、このようにデータを縮小する必要はない。
本出願人はモバイルデバイスが実質的に定常かつ静止して保持されている間の測定窓内のIMU6からの(測定)データがユーザの認知状態を正確に決定するのに有用であることを見出したが、これはそのような条件における手の動きが自動的に個人軸に優先的に関連するため、すべての実施形態において必要であるわけではない。この期間中に収集されたデータのみを使用することが有利であるが、出願人はユーザが移動している間にデータが測定された場合でも、良好な結果が依然として達成され得ることも発見した。さらに、すべての実施形態において、個人軸における動きを優先的に見る必要はない。いくつかの実施形態では例えば、データが、第1個人がその手を実質的に定常および/または実質的に静止状態に保つことが要求される測定窓の間の動きに完全に関係する、上述の実施形態の修正形態ではデータが単に並進移動、または回転移動のみ、または並進および回転移動の組み合わせに関係することが可能であり、そのような動きは手の震えを表す。
上述の実施形態はテストの文脈であるが、これは全ての実施形態において必要ではない。例えば、関連データは、テストなしで、および/または第1個人への出力を全く使用せずに収集することができる。また、測定ユニット以外のユーザ入力を有する必要もない。本発明者らの発見の1つは個人軸における第1個人の手の動きが、その認知状態を決定する際に使用することができる関連情報を提供することができ、データを様々な方法で収集することができることである。好ましくはユーザが、データが収集されている間、最も好ましくは両手で、最も好ましくは座っているかまたは立っている間、モバイルデバイスを保持しているが、これは上記で詳細に説明した実施形態の場合と同様である。さらに、使用されるデータが、手が実質的に定常および/または実質的に静止して保持される測定窓の間の動きに関するデータである場合、装置は、例えばモバイルデバイス上で、出力を有することが好ましく、装置は手を実質的に定常および/または実質的に静止して保持することが要求されるときに、出力を介して第1個人に示すように構成される。これは、必ずしも明示的に行う必要はなく、上記の実施形態のようにタスクの形態で行うことができる。
上述の実施形態では測定ユニットがモバイルデバイスにおけるIMUであるが、これはすべての実施形態において必須ではない。個人軸における第1個人の手の動きを測定することができる任意の測定装置を使用することができる。したがって、モバイルデバイスは、すべての実施形態において必要とされるわけではない。
記載された実施形態および従属請求項のすべての任意のおよび好ましい特徴および修正は、本明細書において教示される本発明のすべての態様において使用可能である。さらに、従属請求項の個々の特徴、ならびに記載された実施形態のすべての任意選択のおよび好ましい特徴および修正は互いに組み合わせ可能であり、互換性がある。
本出願が優先権を主張するスイス特許出願第00083/21号および米国特許出願第63/211,960号、ならびに本出願に付随する要約における開示は、参照により本明細書に組み込まれる。
当業者が理解するように、本発明の態様によれば、装置、方法、またはコンピュータプログラム(その具体的な実施形態は上述されている)は、以下の付記の何れかに従って提供することができる。
(付記1)
モバイルデバイス(2)のユーザの認知状態を決定する装置(1)であって、
モバイルデバイス(2)と、
モバイルデバイス(2)内のIMU(6)と、
ユーザに光で情報を与える、モバイルデバイス(2)における光出力手段(5.1)と、
モバイルデバイス(2)の環境の画像を記録する、モバイルデバイス(2)内のカメラ(3)と、
光出力手段(5.1)を介して示される拡張現実環境(AR)を、カメラ(3)によってキャプチャされたモバイルデバイス(2)の環境(PE)に基づいて、生成する拡張現実モジュール(14)と、
を含み、
拡張現実環境が示されると、モバイルデバイス(2)の入力要素(10.1)をイネーブルするイネーブルモジュール(15)であって、IMU(6)によって測定されたデータに応じてイネーブルし、入力要素(10.1)は、イネーブルされた後にユーザによって選択されると、ユーザがタスクを解決することを可能にする、イネーブルモジュールと、
入力要素(10.1)のイネーブルと選択との間の期間においてIMU(6)からのデータを記録する記録モジュール(16)と、
記録モジュールによって記録されたデータを、所定の周波数におけるマグニチュードのセットに縮小する、特徴抽出モジュール(8)と、
所定の周波数におけるマグニチュードのセットに基づいてユーザの認知状態を決定する機械学習モジュール(9)と、
をさらに含む、ことを特徴とする、装置。
(付記2)
期間は1.20秒から1.40秒の間に含まれ、
好ましくは1.28秒に等しい、
付記1に記載の装置(2)。
(付記3)
所定の周波数におけるマグニチュードのセットは、N個の周波数を含み、
Nは7~15の整数であり、
好ましくはN=10である、
付記1または2の何れかに記載の装置(2)。
(付記4)
所定の周波数がすべて10Hz未満である、付記1~3の何れかに記載の装置(2)。
(付記5)
所定の周波数におけるマグニチュードのセットの周波数分解能は、期間の逆数である、付記1~4の何れかに記載の装置(2)。
(付記6)
所定の周波数は、0.78、1.56、2.34、3.12、3.91、4.69、5.47、6.25、7.03、7.81である、付記1~5の何れかに記載の装置(2)。
(付記7)
イネーブルモジュール(14)は、加速度計によって測定された加速度が閾値を下回るときに入力要素(10.1)をイネーブルするように構成され、
閾値は、例えば、4.5m/s2である、
付記1~6の何れかの装置(2)。
(付記8)
イネーブルモジュール(14)は、カメラ(3)によって撮影された少なくとも1つの画像に応じて入力要素(10.1)をイネーブルするように構成されている、
付記1~7の何れかの装置(2)。
(付記9)
イネーブルモジュール(14)は、カメラ(3)によって撮影された少なくとも1つの画像内の決定された要素の存在に応じて、入力要素(10.1)をイネーブルするように構成されている、
付記8に記載の装置(2)。
(付記10)
IMU(6)が、モバイルデバイス(2)の位置変化を測定するための加速度計(6.1)、および/またはモバイルデバイス(2)の向き変化を測定するためのジャイロスコープ(6.2)を含む、
付記1~9の何れかに記載の装置(2)。
(付記11)
環境内のモバイルデバイス(2)の位置経路を決定するように構成された経路モジュール(6.3)を備え、
機械学習モジュール(9)は、たとえばユーザがタスクを解決する間に決定された、モバイルデバイス(2)の位置経路にも基づいてユーザの認知状態を決定するように構成されている、
付記11~10の何れかに記載の装置(2)。
(付記12)
拡張現実モジュール(14)は、ユーザが目標位置(TP)まで所定の距離、例えば30cmにいると、周囲5の視覚を増強するように構成されている、
付記1~11の何れかに記載の装置(2)。
(付記13)
装置(1)を用いてモバイルデバイス(2)のユーザの認知状態を決定する方法であって、
モバイルデバイス(2)と、
モバイルデバイス(2)のIMU(6)と、
ユーザに光学的に情報を付与するモバイルデバイス(2)における光出力手段(5.1)と、
を含み、
モバイルデバイス(2)の環境の画像を記録し、
画像はモバイルデバイス(2)のカメラ(3)を使用することによって撮影され、
光出力手段(5.1)を介して示される拡張現実環境を、カメラ(3)によってキャプチャされたモバイルデバイス(2)の環境に基づいて、装置(1)の拡張現実モジュール(14)を使用することによって生成し、
拡張現実環境が示されると、モバイルデバイス(2)の入力要素(10.1)をイネーブルにし、
イネーブルは、IMU(6)によって測定されたデータに応じ、
入力要素(10.1)は、装置(1)のイネーブルモジュール(15)を使用することによって、イネーブルにされた後に、ユーザによって選択されると、ユーザがタスクを解決することを可能にし、
装置の記録モジュール(16)を使用することによって、IMU(6)からのデータを、入力要素のイネーブルと選択との間の期間に記録し、
装置の特徴抽出モジュール(8)を使用することによって、所定の周波数におけるマグニチュードのセットに、記録モジュール(16)によって記録されたデータを縮小し、
装置(1)の機械学習モジュール(9)を使用することによって、所定の周波数におけるマグニチュードのセットに基づいて、ユーザの認知状態を決定する、
方法。
(付記14)
装置(1)および/またはモバイルデバイス(2)のプロセッサ上で命令が実行されるとき以下のステップを実行するように構成された命令を含む、モバイルデバイス(2)のユーザの認知状態を決定するコンピュータプログラムであって、
モバイルデバイス(2)の環境の画像を記録し、
画像はモバイルデバイス(2)のカメラ(3)を使用して撮影され、
モバイルデバイス(2)の光出力手段(5.1)を介して、カメラ(3)によってキャプチャされたモバイルデバイス(2)の環境に基づいて、装置(1)の拡張現実モジュール(14)を使用することによって、拡張現実環境を生成し、
拡張現実環境が示されると、モバイルデバイス(2)の入力要素(10.1)をイネーブルし、
イネーブルは、モバイルデバイス(2)のIMU(6)によって測定されたデータに応じ、
入力要素(10.1)は、装置(1)のイネーブルモジュール(15)を使用することによって、イネーブルされた後、ユーザによって選択されると、ユーザがタスクを解決することを可能にし、
入力要素のイネーブルと選択との間の期間に、IMU(6)からのデータを、装置(1)の記録モジュール(16)を使用することによって記録し、
装置(1)の特徴抽出モジュール(8)を使用することによって、記録モジュール(16)によって記録されたデータを、所定の周波数におけるマグニチュードのセットに縮小し、
装置(1)の機械学習モジュール(9)を使用することによって、所定の周波数におけるマグニチュードのセットに基づいて、ユーザの認知状態を決定する、
コンピュータプログラム。
モバイルデバイス(2)のユーザの認知状態を決定する装置(1)であって、
モバイルデバイス(2)と、
モバイルデバイス(2)内のIMU(6)と、
ユーザに光で情報を与える、モバイルデバイス(2)における光出力手段(5.1)と、
モバイルデバイス(2)の環境の画像を記録する、モバイルデバイス(2)内のカメラ(3)と、
光出力手段(5.1)を介して示される拡張現実環境(AR)を、カメラ(3)によってキャプチャされたモバイルデバイス(2)の環境(PE)に基づいて、生成する拡張現実モジュール(14)と、
を含み、
拡張現実環境が示されると、モバイルデバイス(2)の入力要素(10.1)をイネーブルするイネーブルモジュール(15)であって、IMU(6)によって測定されたデータに応じてイネーブルし、入力要素(10.1)は、イネーブルされた後にユーザによって選択されると、ユーザがタスクを解決することを可能にする、イネーブルモジュールと、
入力要素(10.1)のイネーブルと選択との間の期間においてIMU(6)からのデータを記録する記録モジュール(16)と、
記録モジュールによって記録されたデータを、所定の周波数におけるマグニチュードのセットに縮小する、特徴抽出モジュール(8)と、
所定の周波数におけるマグニチュードのセットに基づいてユーザの認知状態を決定する機械学習モジュール(9)と、
をさらに含む、ことを特徴とする、装置。
(付記2)
期間は1.20秒から1.40秒の間に含まれ、
好ましくは1.28秒に等しい、
付記1に記載の装置(2)。
(付記3)
所定の周波数におけるマグニチュードのセットは、N個の周波数を含み、
Nは7~15の整数であり、
好ましくはN=10である、
付記1または2の何れかに記載の装置(2)。
(付記4)
所定の周波数がすべて10Hz未満である、付記1~3の何れかに記載の装置(2)。
(付記5)
所定の周波数におけるマグニチュードのセットの周波数分解能は、期間の逆数である、付記1~4の何れかに記載の装置(2)。
(付記6)
所定の周波数は、0.78、1.56、2.34、3.12、3.91、4.69、5.47、6.25、7.03、7.81である、付記1~5の何れかに記載の装置(2)。
(付記7)
イネーブルモジュール(14)は、加速度計によって測定された加速度が閾値を下回るときに入力要素(10.1)をイネーブルするように構成され、
閾値は、例えば、4.5m/s2である、
付記1~6の何れかの装置(2)。
(付記8)
イネーブルモジュール(14)は、カメラ(3)によって撮影された少なくとも1つの画像に応じて入力要素(10.1)をイネーブルするように構成されている、
付記1~7の何れかの装置(2)。
(付記9)
イネーブルモジュール(14)は、カメラ(3)によって撮影された少なくとも1つの画像内の決定された要素の存在に応じて、入力要素(10.1)をイネーブルするように構成されている、
付記8に記載の装置(2)。
(付記10)
IMU(6)が、モバイルデバイス(2)の位置変化を測定するための加速度計(6.1)、および/またはモバイルデバイス(2)の向き変化を測定するためのジャイロスコープ(6.2)を含む、
付記1~9の何れかに記載の装置(2)。
(付記11)
環境内のモバイルデバイス(2)の位置経路を決定するように構成された経路モジュール(6.3)を備え、
機械学習モジュール(9)は、たとえばユーザがタスクを解決する間に決定された、モバイルデバイス(2)の位置経路にも基づいてユーザの認知状態を決定するように構成されている、
付記11~10の何れかに記載の装置(2)。
(付記12)
拡張現実モジュール(14)は、ユーザが目標位置(TP)まで所定の距離、例えば30cmにいると、周囲5の視覚を増強するように構成されている、
付記1~11の何れかに記載の装置(2)。
(付記13)
装置(1)を用いてモバイルデバイス(2)のユーザの認知状態を決定する方法であって、
モバイルデバイス(2)と、
モバイルデバイス(2)のIMU(6)と、
ユーザに光学的に情報を付与するモバイルデバイス(2)における光出力手段(5.1)と、
を含み、
モバイルデバイス(2)の環境の画像を記録し、
画像はモバイルデバイス(2)のカメラ(3)を使用することによって撮影され、
光出力手段(5.1)を介して示される拡張現実環境を、カメラ(3)によってキャプチャされたモバイルデバイス(2)の環境に基づいて、装置(1)の拡張現実モジュール(14)を使用することによって生成し、
拡張現実環境が示されると、モバイルデバイス(2)の入力要素(10.1)をイネーブルにし、
イネーブルは、IMU(6)によって測定されたデータに応じ、
入力要素(10.1)は、装置(1)のイネーブルモジュール(15)を使用することによって、イネーブルにされた後に、ユーザによって選択されると、ユーザがタスクを解決することを可能にし、
装置の記録モジュール(16)を使用することによって、IMU(6)からのデータを、入力要素のイネーブルと選択との間の期間に記録し、
装置の特徴抽出モジュール(8)を使用することによって、所定の周波数におけるマグニチュードのセットに、記録モジュール(16)によって記録されたデータを縮小し、
装置(1)の機械学習モジュール(9)を使用することによって、所定の周波数におけるマグニチュードのセットに基づいて、ユーザの認知状態を決定する、
方法。
(付記14)
装置(1)および/またはモバイルデバイス(2)のプロセッサ上で命令が実行されるとき以下のステップを実行するように構成された命令を含む、モバイルデバイス(2)のユーザの認知状態を決定するコンピュータプログラムであって、
モバイルデバイス(2)の環境の画像を記録し、
画像はモバイルデバイス(2)のカメラ(3)を使用して撮影され、
モバイルデバイス(2)の光出力手段(5.1)を介して、カメラ(3)によってキャプチャされたモバイルデバイス(2)の環境に基づいて、装置(1)の拡張現実モジュール(14)を使用することによって、拡張現実環境を生成し、
拡張現実環境が示されると、モバイルデバイス(2)の入力要素(10.1)をイネーブルし、
イネーブルは、モバイルデバイス(2)のIMU(6)によって測定されたデータに応じ、
入力要素(10.1)は、装置(1)のイネーブルモジュール(15)を使用することによって、イネーブルされた後、ユーザによって選択されると、ユーザがタスクを解決することを可能にし、
入力要素のイネーブルと選択との間の期間に、IMU(6)からのデータを、装置(1)の記録モジュール(16)を使用することによって記録し、
装置(1)の特徴抽出モジュール(8)を使用することによって、記録モジュール(16)によって記録されたデータを、所定の周波数におけるマグニチュードのセットに縮小し、
装置(1)の機械学習モジュール(9)を使用することによって、所定の周波数におけるマグニチュードのセットに基づいて、ユーザの認知状態を決定する、
コンピュータプログラム。
1 装置
2 モバイルデバイス
3 第1カメラ
3.1 第1カメラの視野方向
4 第2カメラ
4.1 第2カメラの視野方向
5 出力手段
5.1 光出力手段
5.2 音声出力手段
6 IMU
6.1 加速度計
6.2 ジャイロスコープ
6.3 経路モジュール
7,7’ タスクモジュール
8、8’、8” 特徴抽出モジュール
9,9’、9”機械学習モジュール
10 入力手段
10.1 入力要素
12 光出力手段の出力視野方向
13 マイク
14、14’ 拡張現実モジュール
15、15’ イネーブルモジュール
16.16’ 記録モジュール
θ ピッチ
Φ ロール
φ 向き
AR 拡張現実
PE 物理環境
TP 目標位置
VO 仮想オブジェクト
VE 仮想要素(リング)
X、Y、Z 直交(正)軸
XB、YB、ZB 直交(負)軸
2 モバイルデバイス
3 第1カメラ
3.1 第1カメラの視野方向
4 第2カメラ
4.1 第2カメラの視野方向
5 出力手段
5.1 光出力手段
5.2 音声出力手段
6 IMU
6.1 加速度計
6.2 ジャイロスコープ
6.3 経路モジュール
7,7’ タスクモジュール
8、8’、8” 特徴抽出モジュール
9,9’、9”機械学習モジュール
10 入力手段
10.1 入力要素
12 光出力手段の出力視野方向
13 マイク
14、14’ 拡張現実モジュール
15、15’ イネーブルモジュール
16.16’ 記録モジュール
θ ピッチ
Φ ロール
φ 向き
AR 拡張現実
PE 物理環境
TP 目標位置
VO 仮想オブジェクト
VE 仮想要素(リング)
X、Y、Z 直交(正)軸
XB、YB、ZB 直交(負)軸
Claims (23)
- 第1個人の認知状態に関する情報を提供する装置であって、
個人軸における前記第1個人の手の動きを測定するように動作可能な測定ユニットであって、前記個人軸は前記手から前記第1個人への軸である、前記測定ユニットと、
前記測定ユニットからのデータを記録するように構成されている記録モジュールと、
前記記録モジュールによって記録された前記データに基づいて、第1動きデータのセットを使用して、前記第1個人の前記認知状態に関する情報を提供するように構成されている機械学習モジュールと、
を含み、
前記第1動きデータのセットは、前記個人軸に直交する軸における前記第1個人の前記手の動きにおいて、前記個人軸における前記第1個人の前記手の動きに優先的に関連する、
装置。 - 前記機械学習モジュールは、複数の第2個人に関連付けられた第2動きデータのセット上でトレーニングされ、
前記第2動きデータのセットの各々は、特定の第2個人に関連付けられ、
前記第2個人の各々は、医学的状態を有するか、または前記医学的状態を有さないか、識別され、
複数の前記第2個人は、前記医学的状態を有すると識別された少なくとも1の個人と、前記医学的状態を有さないと識別された少なくとも1の個人と、を含み、
前記医学的状態はアルツハイマー病および/または軽度認知障害であり、
前記第2動きデータのセットの各々は、前記個人軸の各々に直交する軸における手の各々の動きにおける前記個人軸の各々において前記個人の各々の前記手の動きに優先的に関連し、
前記個人軸の各々は、前記手の各々から前記個人の各々への軸である、
請求項1に記載の装置。 - 前記記録モジュールによって記録された前記データから、前記個人軸における前記第1個人の前記手の動きに関するデータを優先的に抽出し、前記第1動きデータのセットを形成するように構成されている特徴抽出モジュールを含む、請求項1または請求項2に記載の装置。
- モバイルデバイスを含み、
前記第1個人は、前記モバイルデバイスのユーザであり、
前記測定ユニットは、前記モバイルデバイスのIMUである、
請求項1~請求項3の何れか1項に記載の装置。 - 前記IMUは、前記モバイルデバイスの向き変化を測定するジャイロスコープを含み、
前記特徴抽出モジュールは、前記モバイルデバイスの前記向き変化に関する、前記記録モジュールによって記録されたデータを利用して、前記記録モジュールによって記録された前記データから、前記個人軸における前記第1個人の前記手の動きに関するデータを優先的に抽出し、前記第1動きデータのセットを形成するように構成されている、
請求項3に従属する請求項4に記載の装置。 - ユーザに情報を光学的に提供する、前記モバイルデバイスの光出力手段と、
前記モバイルデバイスの環境の画像を記録する、前記モバイルデバイスのカメラと、
を含む、請求項4または請求項5に記載の装置。 - 前記カメラによってキャプチャされた前記モバイルデバイスの前記環境に基づいて、前記光出力手段を介して示される、拡張現実環境を生成する拡張現実モジュールと、
前記拡張現実環境が示されると、前記モバイルデバイスの入力要素をイネーブルするイネーブルモジュールと、
を含み、
前記イネーブルは前記IMUによって測定されたデータに応じ、
前記入力要素は、イネーブルされた後、前記ユーザによって選択されると、前記ユーザがタスクを解決することを可能にする、
請求項6に記載の装置。 - 前記記録モジュールは、前記入力要素のイネーブルと選択との間の期間に、前記IMUからのデータを記録するように構成されている、
請求項7に記載の装置。 - 前記装置は、測定窓の間に、前記個人軸を除く前記手の全ての動きを制限することを前記第1個人に要求するように構成され、
前記第1動きデータのセットは、前記測定窓の間の動きに関するデータに実質的に完全に基づいている、
請求項1~請求項8の何れか1項に記載の装置。 - 前記装置は、測定窓の間に、前記手を実質的に定常および/または実質的に静止状態に保つことを前記第1個人に要求するように構成され、
前記第1動きデータのセットは、前記測定窓の間の動きに関するデータに実質的に完全に基づいている、
請求項1~請求項9の何れか1項に記載の装置。 - 前記装置は出力を含み、
前記装置は、前記手を実質的に定常および/または実質的に静止した状態に保つことを前記第1個人が要求されるとき、前記出力を介して前記第1個人に示すように構成されている、
請求項10に記載の装置。 - 前記測定ユニットは加速度計を含み、
前記装置は、前記加速度計から得られる前記記録モジュールによって記録された前記データを積分するように構成されている積分モジュールを含み、
前記第1動きデータのセットは、積分データに基づく、
請求項1~請求項11の何れか1項に記載の装置。 - 前記積分モジュールは、前記加速度計から得られる前記記録モジュールによって記録された前記データを二重積分して位置データを生成するように構成され、
前記第1動きデータのセットは、前記位置データに基づく、
請求項12に記載の装置。 - 前記記録モジュールによって記録された前記データを、所定の周波数におけるマグニチュードのセットに縮小するように構成されている特徴抽出モジュールを含み、
前記第1動きデータのセットは、所定の周波数における前記マグニチュードのセットに基づく、
請求項1~請求項13の何れか1項に記載の装置。 - 第1個人の認知状態に関する情報を提供する方法であって、
機械学習モジュールを使用して、前記第1個人の手の動きに関連する第1動きデータのセットを使用して、前記第1個人の認知状態に関連する情報を提供し、
前記第1動きデータのセットは、個人軸に直交する軸における前記第1個人の前記手の動きにおける、前記個人軸において前記第1個人の前記手の動きに優先的に関連し、
前記個人軸は、前記手から前記第1個人への軸である、
方法。 - 前記機械学習モジュールを使用して、前記第1個人の将来のアルツハイマー病および/または軽度認知障害からアルツハイマー病への転換を予測することを含む、
請求項15に記載の方法。 - 前記第1個人の前記手の動きを測定して、前記第1動きデータのセットを決定することを含む、
請求項15または請求項16に記載の方法。 - 測定窓の間、前記手を実質的に定常および/または実質的に静止状態に保つことを前記第1個人に要求し、および/または、
前記測定窓の間、前記個人軸を除いて、前記手の全ての動きを制限することを前記第1個人に要求する、
ことを含み、
前記第1動きデータのセットは、前記測定窓の間の動きに関するデータに実質的に完全に基づいている、
請求項15~請求項17の何れか一項に記載の方法。 - モバイルデバイスと、
前記モバイルデバイスのIMUと、
ユーザに情報を光学的に提供する、前記モバイルデバイスの光出力手段と、
を含む装置を使用して、
前記モバイルデバイスの環境の画像を記録し、
前記画像は前記モバイルデバイスのカメラを使用することによって取得され、
前記光出力手段を介して示される拡張現実環境を、前記カメラによってキャプチャされた前記モバイルデバイスの前記環境に基づいて、前記装置の拡張現実モジュールを使用することによって、生成し、
前記拡張現実環境が示されると、前記モバイルデバイスの入力要素をイネーブルし、
前記イネーブルは、前記IMUによって測定されたデータに応じ、
前記入力要素は、前記装置のイネーブルモジュールを使用することによって、イネーブルされた後、前記ユーザによって選択されると、前記ユーザがタスクを解決することを可能にし、
前記装置の記録モジュールを使用することによって、任意選択で、入力要素のイネーブルと選択との間の期間に、前記IMUからのデータを記録する、
請求項15~請求項18の何れか1項に記載の方法。 - 前記第1個人の前記手の動きに関するデータを、所定の周波数におけるマグニチュードのセットに縮小することを含み、
前記第1動きデータのセットは、所定の周波数における前記マグニチュードのセットに基づく、
請求項15~請求項19の何れか一項に記載の方法。 - コンピューティングデバイス上で実行されると、請求項15~請求項20の何れか一項に記載の方法を実行するように構成されている装置。
- 第1個人の認知状態に関する情報を提供するコンピュータ実装システムであって、
第1動きデータのセットを使用して、前記第1個人の前記認知状態に関する情報を提供するように構成されている機械学習モジュール、
を含み、
前記第1動きデータのセットは、個人軸に直交する軸における前記第1個人の手の動きに対する、前記個人軸における前記第1個人の手の動きに関連し、
前記個人軸は、前記手から前記第1個人までの軸である、
コンピュータ実装システム。 - 前記第1動きデータのセットは、前記手を実質的に定常および/または実質的に静止状態に保つことを、前記第1個人に要求する、測定窓の間の動きに関するデータに実質的に完全に基づく、請求項22に記載のコンピュータ実装システム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CH00083/21 | 2021-01-28 | ||
CH832021 | 2021-01-28 | ||
US202163211960P | 2021-06-17 | 2021-06-17 | |
US63/211,960 | 2021-06-17 | ||
PCT/IB2022/050752 WO2022162602A1 (en) | 2021-01-28 | 2022-01-28 | Apparatus, method and computer program for providing information relating to a cognitive state of an individual |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024505038A true JP2024505038A (ja) | 2024-02-02 |
Family
ID=80445941
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023545343A Pending JP2024505040A (ja) | 2021-01-28 | 2022-01-28 | 個人の認知状態に関する情報を提供するための装置、方法、およびコンピュータプログラム |
JP2023545340A Pending JP2024505038A (ja) | 2021-01-28 | 2022-01-28 | 個人の認知状態に関する情報を提供するための装置、方法、およびコンピュータプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023545343A Pending JP2024505040A (ja) | 2021-01-28 | 2022-01-28 | 個人の認知状態に関する情報を提供するための装置、方法、およびコンピュータプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240203065A1 (ja) |
EP (2) | EP4285385A1 (ja) |
JP (2) | JP2024505040A (ja) |
WO (2) | WO2022162602A1 (ja) |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3621276A1 (en) | 2018-09-05 | 2020-03-11 | Altoida Ltd. | Apparatus, method and program for determining a cognitive state of a user of a mobile device |
-
2022
- 2022-01-28 EP EP22705581.1A patent/EP4285385A1/en active Pending
- 2022-01-28 JP JP2023545343A patent/JP2024505040A/ja active Pending
- 2022-01-28 EP EP22705580.3A patent/EP4285384A1/en active Pending
- 2022-01-28 WO PCT/IB2022/050752 patent/WO2022162602A1/en active Application Filing
- 2022-01-28 US US18/274,022 patent/US20240203065A1/en active Pending
- 2022-01-28 JP JP2023545340A patent/JP2024505038A/ja active Pending
- 2022-01-28 WO PCT/IB2022/050751 patent/WO2022162601A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2022162602A1 (en) | 2022-08-04 |
JP2024505040A (ja) | 2024-02-02 |
US20240203065A1 (en) | 2024-06-20 |
WO2022162601A1 (en) | 2022-08-04 |
EP4285384A1 (en) | 2023-12-06 |
EP4285385A1 (en) | 2023-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11563700B2 (en) | Directional augmented reality system | |
Lu et al. | Healthcare applications of smart watches | |
Porzi et al. | A smart watch-based gesture recognition system for assisting people with visual impairments | |
JP7504476B2 (ja) | モバイル装置のユーザの認知状態を判定するための装置、方法、及びプログラム | |
CN108475120A (zh) | 用混合现实系统的远程设备进行对象运动跟踪的方法及混合现实系统 | |
JP5527423B2 (ja) | 画像処理システム、画像処理方法、及び画像処理プログラムを記憶した記憶媒体 | |
Poppe et al. | AMAB: Automated measurement and analysis of body motion | |
Ding et al. | Service robot system with integration of wearable Myo armband for specialized hand gesture human–computer interfaces for people with disabilities with mobility problems | |
Cha et al. | Towards a well-planned, activity-based work environment: Automated recognition of office activities using accelerometers | |
US10310615B2 (en) | Apparatus and method of using events for user interface | |
CN111698564B (zh) | 信息推荐方法、装置、设备及存储介质 | |
US11670157B2 (en) | Augmented reality system | |
Ponce et al. | Sensor location analysis and minimal deployment for fall detection system | |
Ho et al. | MMU GASPFA: a COTS multimodal biometric database | |
US20220409110A1 (en) | Inferring cognitive load based on gait | |
JP2024505038A (ja) | 個人の認知状態に関する情報を提供するための装置、方法、およびコンピュータプログラム | |
Wei et al. | Automating the Clinical Assessment of Independent Wheelchair sitting pivot transfer techniques | |
Makhataeva et al. | Augmented Reality for Cognitive Impairments | |
Faye et al. | Toward a characterization of human activities using smart devices: A micro/macro approach | |
JP6659011B2 (ja) | 検索システム、データ収集装置および検索プログラム | |
US20230027320A1 (en) | Movement Disorder Diagnostics from Video Data Using Body Landmark Tracking | |
You | Patient Ambulation Assessment Using Depth Cameras | |
Chudik | Categorizing HBSI Errors Using Wearable Trackers | |
Mishra | VR-Smart, a Virtual Reality System for Smart Homes | |
Gupta | Study and Proposal of Wearable Computer Applications |