KR20210055074A - 모바일 디바이스의 사용자의 인지 상태를 결정하는 장치, 방법 및 프로그램 - Google Patents

모바일 디바이스의 사용자의 인지 상태를 결정하는 장치, 방법 및 프로그램 Download PDF

Info

Publication number
KR20210055074A
KR20210055074A KR1020217010053A KR20217010053A KR20210055074A KR 20210055074 A KR20210055074 A KR 20210055074A KR 1020217010053 A KR1020217010053 A KR 1020217010053A KR 20217010053 A KR20217010053 A KR 20217010053A KR 20210055074 A KR20210055074 A KR 20210055074A
Authority
KR
South Korea
Prior art keywords
user
mobile device
task
camera
environment
Prior art date
Application number
KR1020217010053A
Other languages
English (en)
Inventor
이오아니스 타르나나스
막시밀리언 부에글러
Original Assignee
알토이다 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 알토이다 엘티디. filed Critical 알토이다 엘티디.
Publication of KR20210055074A publication Critical patent/KR20210055074A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162—Testing reaction times
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4842—Monitoring progression or stage of a disease
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Neurology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Social Psychology (AREA)
  • Physiology (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Neurosurgery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)

Abstract

장치(1)의 모바일 디바이스(2)의 사용자의 인지 상태를 결정하기 위한 장치(1)로서, 장치(1)는, 사용자에게 정보를 제공(giving out)하기 위한, 모바일 디바이스(2) 내의 출력 수단(5) - 출력 수단(5)은 사용자에게 정보를 광학적으로 제공하기 위한 광학 출력 수단(5.1)을 포함함 - ; 모바일 디바이스(2)의 환경의 제1 뷰 방향(3.1)에서 이미지를 기록하기 위한, 모바일 디바이스(2) 내의 카메라(3); 환경에서의 모바일 디바이스(2)의 위치 경로를 결정하도록 구성된 경로 수단(6); 제2 뷰 방향(4.1)에서 이미지를 기록하기 위한 모바일 디바이스(10) 내의 추가 카메라 및/또는 오디오 신호를 기록하기 위한 마이크로폰(13); 사용자가 광학 출력 수단(5.1)을 통해 보여지는 증강 현실 환경을 사용하여 그리고 카메라(3)에 의해 포착된 모바일 디바이스(2)의 환경에 기초하여 과제(task)를 해결하게 하기 위해, 출력 수단(5)을 통해 사용자와 상호작용하기 위한 과제 수단(7, 7'); 사용자가 과제를 해결하는 동안 추가 카메라(4)에 의해 기록된 이미지에서 및/또는 사용자가 과제를 해결하는 동안 마이크로폰(13)에 의해 기록된 오디오 신호에서 사용자의 적어도 하나의 특징을 검출 및/또는 추적하기 위한 사용자 특징 수단(8, 8'); 사용자가 과제를 해결하는 동안 결정된 모바일 디바이스의 위치 경로에 기초하여 그리고 사용자의 적어도 하나의 특징에 기초하여 사용자의 인지 상태를 결정하기 위한 인지 상태 수단(9, 9')을 포함함.

Description

모바일 디바이스의 사용자의 인지 상태를 결정하는 장치, 방법 및 프로그램
본 발명은 모바일 디바이스 사용자의 인지 상태를 결정하기 위한 장치, 방법 및 컴퓨터 프로그램에 관한 것이다.
인지 상태, 특히 뇌 질환 또는 뇌 손상에 관한 건강 상태의 검출은 검출하기 어렵다. 각각의 뇌 질환 또는 뇌 손상의 증상을 알고 있는 전문적인 의사가 필요하다. 그렇다 해도 인간 의사에 의한 그러한 건강 상태의 검출은 그다지 객관적이지 않으며 종종 오류가 발생하기 쉽다(error-prone).
최근, 사용자가 보유한 모바일 디바이스의 경로(path)에 기초하여 건강 상태를 검출하기 위해 위치 센서를 가진 모바일 디바이스가 제안되었다. 이것은 사용자의 인지 상태를 검출하는데 놀랍게도 잘 그리고 객관적으로 작동했다.
본 발명의 목적은 인지 상태를 검출하기 위한 모바일 디바이스를 더욱 향상시키는 것이다.
이 목적은 독립항에 따른 장치, 방법 및 컴퓨터 프로그램에 의해 해결된다.
모바일 디바이스의 제2 카메라로 기록된 사용자 특징을 모바일 디바이스의 경로와 결합하여 사용하는 것은 인지 상태에 대한 검출 품질을 크게 향상시킨다.
본 목적은 사용자의 인지 상태를 결정하기 위한 기계 학습 데이터를 결정하기 위한 장치에 의해 추가로 해결된다. 장치는, 사용자에게 정보를 제공(giving out)하기 위한, 모바일 디바이스 내의 출력 수단을 포함하고, 출력 수단은 사용자에게 정보를 광학적으로 제공하기 위한 광학 출력 수단을 포함한다. 장치는, 모바일 디바이스의 환경의 제1 뷰 방향에서 이미지를 기록하기 위한, 모바일 디바이스 내의 카메라를 포함한다. 장치는, 환경에서의 모바일 디바이스의 위치 경로를 결정하도록 구성된 경로 수단을 포함한다. 장치는, 사용자가 광학 출력 수단을 통해 보여지는 증강 현실 환경을 사용하여 그리고 카메라에 의해 포착된 모바일 디바이스의 환경에 기초하여 과제(task)를 해결하게 하기 위해, 출력 수단을 통해 사용자와 상호작용하기 위한 과제 수단을 포함한다. 장치는, 제2 뷰 방향에서 이미지를 기록하기 위한 모바일 디바이스 내의 추가 카메라 및/또는 오디오 신호를 기록하기 위한 마이크로폰을 포함한다. 장치는, 사용자가 과제를 해결하는 동안 추가 카메라에 의해 기록된 이미지에서 또는 사용자가 과제를 해결하는 동안 마이크로폰에 의해 기록된 오디오 신호에서 상기 사용자의 적어도 하나의 특징을 검출 및/또는 추적하기 위한 사용자 특징 수단을 포함한다. 장치는, 사용자가 과제를 해결하는 동안 결정된 모바일 디바이스의 위치 경로에 기초하여 그리고 사용자의 적어도 하나의 특징에 기초하여 입력을 준비하기 위한 입력 준비 수단을 포함한다. 장치는, 다수의 (바람직하게는 상이한) 사용자 각각에 대해 사용자 데이터 세트를 수신하도록 구성된 추가의 기계 학습 데이터 수단을 더 포함한다. 사용자의 사용자 데이터 세트는 입력 준비 수단에서 생성된 입력 및 사용자의 인지 상태를 포함한다. 기계 학습 데이터 수단은 또한, 다수의 사용자에 대한 사용자 데이터 세트에 기초하여, 사용자에 대한 입력에 대해 인지 상태를 결정하기 위한 기계 학습 데이터를 결정하도록 구성된다.
본 목적은 사용자의 인지 상태를 결정하기 위한 기계 학습 데이터를 결정하기 위한 방법에 의해 추가로 해결된다. 방법은 다음의 단계를 포함한다: 복수의 사용자에 대해 사용자 데이터 세트를 결정하는 단계 및 복수의 사용자의 사용자 데이터 세트에 기초하여 기계 학습 데이터를 결정하는 단계. 각 사용자의 사용자 데이터 세트는 그 사용자의 인지 상태 및 입력 데이터를 포함한다. 입력 데이터는 다음의 단계에 의해 결정된다: 사용자가 증강 현실 환경을 사용하여 과제를 해결하게 하기 위해, 모바일 디바이스가 모바일 디바이스의 출력 수단을 통해 사용자와 상호작용하는 단계 - 증강 현실 환경은 출력 수단의 광학 출력 수단을 통해 보여지고, 모바일 디바이스의 카메라에 의해 포착된 모바일 디바이스의 환경에 기초한 것이고, 카메라는 모바일 디바이스의 환경의 제1 뷰 방향에서 이미지를 기록하기 위하여 모바일 디바이스에 배치됨 - ; 사용자가 모바일 디바이스로 과제를 해결하고 있는 동안 모바일 디바이스에 의해 수행된 위치 경로를 결정하는 단계; 사용자가 모바일 디바이스로 과제를 해결하고 있는 동안 모바일 디바이스의 추가 카메라 - 추가 카메라는 제2 뷰 방향에서 이미지를 기록하기 위해 모바일 디바이스에 배치됨 - 를 통해 이미지를 기록하는 단계, 및/또는 사용자가 모바일 디바이스로 과제를 해결하는 동안 모바일 디바이스의 마이크로폰을 통해 오디오 신호를 기록하는 단계; 기록된 이미지 및/또는 오디오 신호에 기초하여, 시간의 흐름에 따라 적어도 하나의 사용자 특징을 결정하는 단계; 모바일 디바이스의 결정된 위치 경로 및 시간의 흐름에 따라 결정된 적어도 하나의 사용자 특징에 기초하여, 사용자의 입력 데이터를 결정하는 단계.
일 실시예에서, 본 목적은 장치/시스템의 모바일 디바이스의 사용자의 인지 상태를 결정하기 위한 장치/시스템에 의해 해결되며, 장치/시스템은: 모바일 디바이스; 사용자에게 정보를 제공(giving out)하기 위한, 모바일 디바이스 내의 출력 수단 - 출력 수단은 사용자에게 정보를 광학적으로 제공하기 위한 광학 출력 수단을 포함함 - ; 모바일 디바이스의 환경의 제1 뷰 방향에서 이미지를 기록하기 위한, 모바일 디바이스 내의 카메라; 환경에서의 모바일 디바이스의 위치 경로를 결정하도록 구성된 경로 수단; 사용자가 광학 출력 수단을 통해 보여지는 증강 현실 환경을 사용하여 그리고 카메라에 의해 포착된 모바일 디바이스의 환경에 기초하여 과제(task)를 해결하게 하기 위해, 출력 수단을 통해 사용자와 상호작용하기 위한 과제 수단; 및 사용자가 과제를 해결하는 동안 결정된 모바일 디바이스의 위치 경로에 기초하여 사용자의 인지 상태를 결정하기 위한 인지 상태 수단을 포함한다.
종속항은 본 발명의 추가적인 유리한 실시예를 참조한다.
일 실시예에서, 적어도 하나의 사용자 특징은 사용자의 적어도 하나의 얼굴 특징을 포함한다. 사용자의 얼굴 특징은, 제2 카메라에 의해 포착된 이미지에서 검출된 사용자 특징 중에서 특히 작용한다.
일 실시예에서, 추가 카메라는 사용자가 과제를 해결하는 동안 일련의 이미지를 촬영하도록 구성되고, 사용자 특징 수단은 일련의 이미지에서 사용자의 적어도 하나의 특징을 검출하도록 그리고 일련의 이미지에서 검출된 적어도 하나의 특징의 시계열(time series)을 결정하도록 구성되고, 인지 상태 수단은 사용자의 적어도 하나의 특징의 시계열에도 추가로 기초하여 사용자의 인지 상태를 결정하도록 구성된다.
일 실시예에서, 샘플링 윈도우는 시간의 흐름에 따른(over time) 복수의 샘플링 스텝(step)을 포함하고, 경로 수단은 모바일 디바이스의 적어도 하나의 위치를 각 샘플링 스텝에서 기록하도록 구성되고, 추가 카메라는 각 샘플링 스텝에서 적어도 하나의 이미지를 기록하도록 구성되고, 사용자 특징 수단은 각 샘플링 스텝에 대해, 추가 카메라에 의해 샘플링 스텝에서 기록된 적어도 하나의 이미지에서 사용자의 적어도 하나의 특징을 검출하도록 구성되고, 인지 상태 수단은, 샘플링 윈도우 - 샘플링 윈도우는 각 샘플링 스텝에 대해, 이 샘플링 스텝에서 검출된 사용자의 적어도 하나의 특징에 기초하고 이 샘플링 스텝에서 결정된 모바일 디바이스의 적어도 하나의 위치에 기초한 샘플링 포인트를 포함함 - 에서의 시계열에 기초하여 사용자의 인지 상태를 결정하도록 구성된다.
일 실시예에서, 샘플링 윈도우는, 모바일 디바이스가 적어도 하나의 목표 위치에 문턱값 보다 더 근접하여 위치하는 시간 윈도우 및/또는 적어도 하나의 목표 위치가 찾아진 것으로 간주되기 전 일정 시간 기간 또는 경로 길이에 대응하는 시간 윈도우에 대응한다. 바람직하게는, 샘플링 윈도우는 복수의 하위 윈도우를 포함하며, 각 하위 윈도우는 (오직) 하나의 정의된 목표 위치에 대응하고, 각 하위 윈도우는 모바일 디바이스가 각 하위 윈도우에 대응하는 목표 위치에 문턱값 보다 더 근접하는 시간 윈도우 및/또는 각 하위 윈도우에 대응하는 목표 위치가 찾아진 것으로 간주되기 전 일정 시간 기간 또는 경로 길이에 대응하는 시간 윈도우에 대응한다. 목표 위치로부터의 문턱 거리는 바람직하게는 5미터(m) 보다 작고, 바람직하게는 4m 보다 작고, 바람직하게는 3m 보다 작다. 목표 위치로부터의 문턱 거리는 바람직하게는 0.5 미터(m) 보다 크고, 바람직하게는 1m 보다 크다.
일 실시예에서, 광학 출력 수단은 모바일 디바이스의 제1 면 상에 배치된 디스플레이를 포함하고, 추가 카메라는 모바일 디바이스의 제1 면 상에 배치되고/배치되거나 제2 뷰 방향이 디스플레이의 표면의 법선 벡터와 동일한 방향으로 보이도록 배치된다.
일 실시예에서, 카메라는 제1 면에 대향하는 모바일 디바이스의 제2 면 상에 배치되고/배치되거나 제1 뷰 방향이 디스플레이의 표면의 법선 벡터와 대향하는 방향으로 보이도록 배치된다.
일 실시예에서, 모바일 디바이스는 휴대용 핸드헬드 디바이스다.
일 실시예에서, 과제 수단은 증강 현실 환경에서 적어도 하나의 목표 위치를 정의하도록 그리고, 적어도 하나의 목표 위치 각각에 대해, 증강 현실 환경에서 각각의 목표 위치를 찾도록 사용자에게 요청(invite)하는 단계; 사용자가 모바일 디바이스를 환경 내의 위치 - 이 위치에서 적어도 하나의 목표 위치가 카메라에 의해 포착되어, 아마도 특정 조건 하에서 광학 출력 수단 상에 보여짐 - 에 이동시켰을 때, 각각의 목표 위치가 증강 현실 환경에서 찾아진 것으로 간주하는 단계를 수행하도록 구성된다.
일 실시예에서, 과제 수단은 모바일 디바이스의 사용자 입력에 기초하여 증강 현실에서 적어도 하나의 목표 위치를 정의하도록 구성된다.
일 실시예에서, 적어도 하나의 목표 위치는 적어도 두 개의 목표 위치를 포함하고, 과제 수단은, 적어도 두 개의 목표 위치 각각을, 각각의 목표 위치가 증강 현실 환경에서 정의되고/정의되거나 보여질 때, 출력 수단에 의해 사용자에게 출력되는 상이한 피처(feature)와 연관시키도록 - 출력 수단에 의해 적어도 두 개의 목표 위치 중 하나의 목표 위치와 연관된 피처를 출력함으로써, 사용자는 증강 현실 환경에서 하나의 목표 위치를 찾도록 요청(invite)됨 - 구성되고/구성되거나 적어도 두 개의 목표 위치 중 하나의 목표 위치가 찾아진 것으로 간주된 후에 사용자가 적어도 두 개의 목표 위치 중 후속 목표 위치를 찾도록 요청되도록, 사용자에게 적어도 두 개의 목표 위치를 찾게 연이어서 요청하도록 구성된다.
일 실시예에서, 과제 수단은, 과제를 해결하는 동안 및/또는 적어도 하나의 목표 위치 각각을 찾는 동안 사용자의 주의를 빼앗기(distracting) 위한 복수의 자극(stimulus)을 출력 수단을 통해 제공하도록 구성된다.
일 실시예에서, 과제 수단은, 각 자극 후 사용자에게, 과제를 해결하는 것 및/또는 찾도록 요청된 각각의 타겟 위치를 찾는 것을 계속하기 전에 하위 과제를 해결할 것을 요구하도록 구성된다.
일 실시예에서, 장치는 사용자 입력 수단을 포함하고, 과제 수단은, 사용자 입력 수단을 통해 특정 사용자 입력을 수신할 때 하위 과제가 해결된 것으로 간주하도록 구성된다.
일 실시예에서, 인지 상태는 적어도 하나의 뇌 질병 또는 뇌 손상에 대한 건강 상태다.
본 발명은, 예시로서 제공되고 도면에 의해 도시된 실시예의 설명의 도움으로 더 잘 이해될 것이다.
도 1은 사용자의 인지 상태를 결정하기 위한 장치의 실시예의 개략도를 도시한다.
도 2는 사용자의 인지 상태를 결정하기 위한 방법의 실시예의 개략도를 도시한다.
도 3은 기계 학습 데이터를 결정하기 위한 장치의 실시예의 개략도를 도시한다.
도 1은 사용자의 인지 상태를 결정하기 위한 장치(1)의 실시예를 도시한다. 장치(1)는 모바일 디바이스(2), 모바일 디바이스(2) 내의 제1 카메라(3), 모바일 디바이스(2) 내의 제2 카메라(4), 모바일 디바이스(2) 내의 출력 수단(5), 경로 수단(6), 과제(task) 수단(7), 사용자 특징 수단(8), 인지 상태 수단(9), 바람직하게는 사용자 입력 수단(10) 및 마이크로폰(13)을 포함한다.
모바일 디바이스(2)는 바람직하게는 스마트 폰 같은 핸드헬드 휴대용(handheld portable) 디바이스다. 그러나, 모바일 디바이스(2)는 또한 사용자에 의해 휴대가능한 임의의 다른 디바이스일 수 있다. 예를 들어, 디바이스는 웨어러블(wearable) 디바이스, 예를 들어 스마트 시계 같은 (스마트) 팔찌, 구글 글래스(등록 상표) 같은 (스마트) 안경, 또는 사용자에 의해 착용가능한 다른 디바이스일 수 있다. 모바일 디바이스(2)는 하나의 단일 디바이스로 구현(realize)될 수 있거나 적어도 두 개의 개별 디바이스로 구현될 수도 있다. 적어도 두 개의 개별 디바이스는 예를 들어 휴대용 핸드헬드 디바이스(예: 스마트 폰), 팔찌(예: 스마트 시계와 같은 스마트 팔찌), 안경(예: 증강 현실(augmented reality; AR) 안경) 또는 사용자에 의해 착용가능한 임의의 다른 디바이스 중 적어도 두 개일 수 있다. 모바일 디바이스(2), 특히 핸드헬드 휴대용 디바이스는 제1 면(first side) 및 제1 면에 대향하는 제2 면을 포함한다. 모바일 디바이스(2)가 적어도 두 개의 개별 디바이스를 포함하는 경우, 제1 면 및 대향하는 제2면은 동일한 개별 디바이스 상에 배치된다. 그러나 제1 면이 제1 개별 디바이스 상에 있고 제2 면이 제2 개별 디바이스 상에 있는 것도 가능하다.
장치(1)는 모바일 디바이스(2)로부터 원격으로 일부 계산 작업을 구현하기 위한 추가 디바이스(11)를 포함할 수 있다. 추가 디바이스(11)는 데이터 및/또는 결과를 교환하기 위해 모바일 디바이스(2)와 연결될 수 있다. 모바일 디바이스(2)와 추가 디바이스(11) 간의 연결은 바람직하게는 인터넷을 통해 이루어지지만, WLAN, 모바일 전화 네트워크, 다른 무선 통신 프로토콜 및/또는 다른 통신 기술을 통해서도 이루어질 수 있다. 추가 디바이스(11)는 예를 들어 서버, 바람직하게는 인터넷 연결된 서버일 수 있고/있거나 바람직하게는 모바일 디바이스(2)로부터 원격이다. 그러나, 추가 디바이스(11)는 또한 모바일 디바이스(2)의 환경 내에 배치되고/배치되거나 예를 들어 WLAN 및/또는 LAN 및/또는 다른 무선 통신 프로토콜을 통해 연결될 수 있다. 그러나, 모든 계산 작업이 모바일 디바이스(2)에서 행해지는 경우, 추가 디바이스(11)는 선택적(optional)이며 필요하지 않다. 이 경우, 장치(1)는 모바일 디바이스(2)에 대응한다.
출력 수단(5)은 모바일 디바이스(2)의 사용자에게 정보를 출력하도록 구성된다.
출력 수단(5)은 바람직하게는 모바일 디바이스(2)의 사용자에게 광학 정보를 보여주는 광학 출력 수단(5)을 포함한다. 광학 출력 수단(5)은 바람직하게는 디스플레이다. 광학 출력 수단(5.1), 특히 디스플레이는 바람직하게는 모바일 디바이스(2), 특히 핸드헬드 휴대용 디바이스의 제2 면 상에 배치된다. 그러나 프로젝터(예: 안경 속의 눈 프로젝터) 같은 다른 광학 출력 수단(5.1)이 가능하다. 광학 출력 수단(5.1)은, 사용자가 출력 뷰 방향으로(즉, 사용자가 광학 출력 수단(5.1)으로부터의 정보를 볼 수 있도록 하는, 사용자로부터 광학 출력 수단(5.1)으로의 방향으로) 광학 출력 수단(5.1)으로부터의 정보를 볼 수 있도록 모바일 디바이스(2)에 배치된다.
일 실시예에서, 출력 수단(5)은 사용자에게 정보를 제공(give out)하기 위한 라우드스피커(loudspeaker) 같은 추가 오디오 출력 수단(5.2)을 포함한다.
입력 수단(10)은 사용자 명령(user command)을 모바일 디바이스(2) 내로 입력하도록 구성된다. 입력 수단(10)은 바람직하게는 모바일 디바이스(2)에 배치된다. 바람직하게는, 입력 수단(10)은 광학 출력 수단(5.1) 상에서 위치를 선택하기 위한 표시기(indicator) 수단을 포함한다. 표시기 수단은, 모바일 디바이스(2)의 디스플레이 위에 배치되는 것이 바람직한 터치 센서인 것(즉 디스플레이와 터치 센서가 터치 스크린을 구성함)이 바람직하다. 그러나 표시기 수단은 마우스, 트랙볼, 노브(knob) 또는 임의의 다른 표시기 수단일 수 있다. 표시기 수단은 AR 환경 내 위치를 표시(indicate)하는 손 또는 눈 방향 인식일 수도 있다. 그러나 입력 수단(10)은 (예를 들어 음성 명령을 위한) 마이크로폰 또는 임의의 다른 입력 수단을 포함할 수도 있다. 입력 수단(10)의 마이크로폰은 후술하는 마이크로폰(13)에 대응할 수 있다. 입력 수단(10)이 있는 것이 바람직하지만, 본 발명에 필수적인 것은 아니다.
제1 카메라(3) 및/또는 제2 카메라(4)는 환경의 이미지, 바람직하게는 사용자의 눈에 보이는 환경의 특징의 이미지를 기록하기 위한 임의의 적합한 센서 일 수 있다. 바람직하게는, 제1 카메라(3) 및/또는 제2 카메라(4)는 사용자에게 보이는 대로 환경을 복사하는 이미지를 기록하기 위한 광학 카메라다. 그러나, 제1 카메라(3) 및/또는 제2 카메라(4)는 임의의 다른 카메라, 예를 들어 3D 카메라, time of flight(비행 시간) 카메라, 또는 가시 스펙트럼 외의 다른 파장을 커버하는 광학 카메라(예: 적외선 카메라 또는 자외선 카메라 등)일 수도 있다. 바람직하게는, 제1 카메라(3) 및/또는 제2 카메라(4)는 디지털 이미지 센서 및/또는 (디지털 이미지 센서 상에 이미지의 초점을 맞추기 위한) (광학) 렌즈를 포함한다.
제1 카메라(3)는, 모바일 디바이스(2)의 환경의 이미지가 제1 뷰 방향(3.1)으로 기록되도록, 및/또는 AR 목적으로 제1 카메라(3)의 이미지가 광학 출력 수단(5.1) 상에 보여질 수 있도록, 및/또는 사용자가 광학 출력 수단(5.1)의 광학 정보를 보기 위해 광학 출력 수단(5.1)을 쳐다보고 제1 카메라(3)로 현재 기록되는 이미지가 광학 출력 수단(5.1) 상에 보여질 때, 사용자가 광학 출력 수단(5.1) 상에서 광학 출력 수단(5.1) 뒤의 환경의 이미지를 보도록, 모바일 디바이스(2)에 배치된다. 제1 카메라(3)에 의해 포착되고 광학 출력 수단(5.1)에 의해 (실시간으로) 재생되는 모바일 디바이스(2)의 이러한 환경은 여기서 AR 환경으로 정의된다. 이 AR 환경은 다른 정보에 의해 증강될 수도 있고 그렇지 않을 수도 있으며, 따라서 증강된 정보를 가진 디지털화된 환경으로 제한되지 않는다.
과제 수단(7)은, 사용자가 모바일 디바이스(2)의 환경에서 모바일 디바이스(2)를 이동시키게 하기 위해, (모바일 디바이스(2)를 통해) 모바일 디바이스(2)의 사용자와 상호작용하도록 구성된다. 바람직하게는, 과제 수단(7)은, 사용자가 모바일 디바이스(2)의 환경에서 모바일 디바이스(2)를 가지고 걷게 하기 위해, (모바일 디바이스(2)를 통해) 모바일 디바이스(2)의 사용자와 상호작용하도록 구성된다. 과제 수단(7)은, 사용자가 모바일 디바이스(2)의 환경에서 모바일 디바이스(2)를 이동시키는 (특히 가지고 걷게 하는) 해결해야 할 과제(task)를 사용자에게 줌으로써, (모바일 디바이스(2)를 통해) 모바일 디바이스(2)의 사용자와 상호작용하도록 구성된다. 일 실시예에서, 과제 수단(7)은, 사용자가 과제를 해결하게 하고/하거나 사용자가 환경에서 모바일 디바이스(2)를 이동시키게(특히 가지고 걸을 수 있게) 하기 위해, 모바일 디바이스(2)의 AR 환경을 사용하도록 구성된다.
일 실시예에서, 이 과제는 (AR) 환경에서 적어도 하나의 정의된 타겟 위치를 탐색하거나 찾아내는 것이다. 바람직하게는, 과제는 AR 환경에서 적어도 하나의 정의된 목표 위치를 찾기 위해 사용자가 모바일 디바이스(2)를 이동시킬(특히 모바일 디바이스(2)를 가지고 걸을) 필요가 있는 것이다. 다시 말해서, 사용자는 환경에서 모바일 디바이스(2)를 환경 내의 적어도 하나의 정의된 목표 위치로 이동시킬(특히 가지고 걸을) 필요가 있고 (정의된 목표 위치가 광학 출력 수단(5.1) 상에 나타나도록) 적어도 하나의 정의된 목표 위치 상으로 제1 카메라(3)를 향하게 할 필요가 있다. 일단 적어도 하나의 정의된 목표 위치 중 하나가 광학 출력 수단(5.1) 상에 (아마도 적어도 하나의 조건과 함께) 나타나고/나타나거나 (아마도 적어도 하나의 조건과 함께) AR 환경에 나타나면, 그 하나의 정의된 목표 위치는 찾아진 것으로 간주된다. 적어도 하나의 조건은 예를 들어 모바일 디바이스(2) 및/또는 제1 카메라(3)가 정의된 목표 위치에 문턱 부근(threshold vicinity)보다 더 근접하는 것, 및/또는 정의된 목표 위치가 특정 각도 뷰 범위에서 제1 카메라(3)로 기록되는 것, 및/또는 정의된 목표 위치의 현재 기록된 이미지가 목표 위치가 정의되었을 때 기록된 이미지에 대응하는 것이다. 정의된 목표 위치가 찾아지는지 여부를 확인(check)하기 위한 많은 다른 조건이 가능하다. 적어도 하나의 정의된 목표 위치가 제1 정의된 목표 위치 및 제2 정의된 목표 위치를 포함하는 경우, 과제 수단(7)은 사용자가 제1 정의된 목표 위치를 찾게 하기 위해 모바일 디바이스(2)의 사용자와 상호작용하도록 구성된다. 일단 사용자가 제1 정의된 목표 위치를 찾으면, 과제 수단(7)은 사용자가 제2 정의된 목표 위치를 찾게 하기 위해 모바일 디바이스(2)의 사용자와 상호작용하도록 구성된다. 따라서, 과제 수단(7)은 사용자가 적어도 두 개의 정의된 목표 위치 각각을 연이어서 찾게 하기 위해 모바일 디바이스(2)의 사용자와 상호작용하도록 구성된다. 일단 적어도 하나의 정의된 목표 위치 모두가 찾아지면, 과제가 해결된 것으로 간주된다.
바람직하게는, 적어도 하나의 정의된 목표 위치 각각은, 사용자가 적어도 하나의 목표 위치를 암기할 수 있도록, 사용자에게 AR 환경에서 보여지고/보여지거나 사용자에 의해 AR 환경에서 정의된다. 사용자가 적어도 하나의 목표 위치 (모두)를 암기한 후, 사용자는 적어도 하나의 정의된 목표 위치 (모두)를, 바람직하게는 차례로 찾도록 요청(invite)된다. 따라서, 제1 페이즈(phase)에서 적어도 하나의 정의된 목표 위치 (모두)가 사용자에게 보여지거나 사용자에 의해 정의되고, 제1 페이즈 후에 뒤따르는 제2 페이즈(phase)에서 적어도 하나의 정의된 목표 위치 모두가 전술한 바와 같이 탐색된다.
바람직하게는, 적어도 하나의 정의된 목표 위치 각각은, 사용자가 적어도 하나의 목표 위치를 암기할 수 있도록, AR 환경에서 사용자에게 보여진다. 이는 동시에 또는 연이어서 수행될 수 있다. 사용자가 적어도 하나의 정의된 목표 위치를 모두 본 후 및/또는 그것들을 암기한 후, 사용자는 적어도 하나의 정의된 목표 위치를 모두, 바람직하게는 차례로 찾도록 요청된다. 따라서, 제1 페이즈에서 적어도 하나의 정의된 목표 위치(모두)가 사용자에게 보여지고, 제1 페이즈 후에 뒤따르는 제2 페이즈에서, 적어도 하나의 정의된 목표 위치 모두가 전술한 바와 같이 탐색된다. 바람직하게는, 적어도 하나의 정의된 목표 위치 각각은, 사용자가 시각화 오브젝트를 연관된 정의된 목표 위치에 연관시킬 수 있도록 (제1 페이즈에서) AR 환경 내의 정의된 목표 위치에서 사용자에게 보여지는 시각화 오브젝트와 연관되어 있다. 바람직하게는, 제2 페이즈에서, 적어도 하나의 정의된 목표 위치 중 하나의 정의된 목표 위치와 연관된 시각화 오브젝트를 광학 출력 수단(5.1) 상에 보여주거나 아니면 출력 수단(5)을 통해 표시(indicating)함으로써, 사용자는 적어도 하나의 정의된 목표 위치 중 이 정의된 목표 위치를 탐색하도록 요청(invite)된다. 바람직하게는, 사용자가 연관된 정의된 목표 위치를 기억하고 사용자의 모바일 디바이스(2)로 그것을 찾아낼 필요가 있도록, 제2 페이즈에서, 시각화 오브젝트는 연관된 정의된 목표 위치의 어떠한 표시도 없이 보여진다. 바람직하게는, 과제 수단(7)은 환경에 독립적(environment independent)이도록, 즉 사용자가 현재 위치해 있는(situated) 어떠한 환경에서도 과제를 수행할 수 있도록 구성된다. 과제를 수행하는 데 필요한 특별한 환경은 존재하지 않는다.
바람직하게는, 적어도 하나의 목표 위치는 입력 수단(10)을 통해, 바람직하게는 제1 페이즈에서, 사용자에 의해 정의된다. 바람직하게는, 적어도 하나의 목표 위치는, AR 환경에서 목표 위치의 표시(indication)를 사용자로부터 표시 수단을 통해 수신함으로써 사용자에 의해 정의된다. 그러나, 모바일 디바이스(2)는, 적어도 하나의 목표 위치를 정의하는 임의의 다른 입력을 입력 수단(10)을 통해 수신할 수도 있다. 예를 들어, 목표 위치는, 입력 수단(10)을 통해 사용자의 입력을 수신할 때, 광학 출력 수단(5.1)에 현재 보여지는 AR 환경에서 과제 수단(7)에 의해 (예를 들어 무작위로) 정의될 수 있다. 바람직하게는, 적어도 하나의 목표 위치 각각은, 사용자에 의해 정의될 때 (예를 들어 AR 환경에서 연관된 시각화 오브젝트를 보여줌으로써) 사용자에게 보여진다.
과제 수단(7)은 바람직하게는, 사용자가 과제를 해결하고 있는 동안 특히 사용자가 적어도 하나의 정의된 목표 위치 각각을 찾는 동안, 사용자가 하위 과제(sub-task)를 해결하게 하기 위해 모바일 전화(2)를 통해 사용자와 상호작용하도록 구성된다. 바람직하게는, 과제 수단(7)은, 사용자가 과제를 해결하고 있는 동안 특히 사용자가 적어도 하나의 정의된 목표 위치 각각을 찾는 동안, 사용자가 평균적으로 적어도 10 초(sec)마다, 바람직하게는 적어도 8 초마다, 바람직하게는 적어도 5 초마다, 바람직하게는 적어도 3 초마다, 바람직하게는 적어도 2 초마다 하위 과제를 해결하도록 사용자에게 요청(invite)하도록 구성된다. 하위 과제에 대한 요청은 주기적으로 또는 무작위로 제공(give out)될 수 있다. 하위 과제는 사용자가 과제를 해결하는 것으로부터 주의를 빼앗아야 한다(distract). 바람직하게는, 하위 과제는 모바일 디바이스(2)의 터치 스크린과의 촉각(tactile) 상호작용이다. 하위 과제의 한 예는 과제 수단(7)이 사용자에게 하위 과제를 해결하도록 요청할 때 모바일 디바이스(2)의 버튼을 가동(activate)시키는 것일 수 있다. 바람직하게는, 버튼은 광학 출력 수단(5.1) 상에 표시된 소프트 버튼이다. 바람직하게는, 사용자가 광학 출력 수단(5.2) 상에 보여지는 소프트 버튼을 입력 수단(10)의 표시(indication) 수단에 의해 표시하면, 하위 과제가 해결된다. 이는, 사용자가 그의 초점을 (AR) 환경으로부터 버튼으로 이동하고 표시 수단에 의해 버튼을 가동시켜야 하기 때문에, 사용자의 주의를 과제로부터 빼앗는다. 버튼을 활성화하는 하위 과제는 단지 예일 뿐이다. 사용자는 입력 수단(10)의 마이크로폰에 의해 기록된 음성 명령을 말할 수도 있다. 하위 과제를 해결하라는 요청(invitation)은 예를 들어 오디오 출력 수단(5.2)을 통해 출력되는 오디오 신호일 수 있다. 그러나 (예를 들어 모바일 디바이스(2)의 진동에 의한) 햅틱 신호 같은 다른 요청도 가능하다. 과제와 하위 과제의 조합은, 과제는 사용자가 환경에서 모바일 디바이스(2)를 이동시키게(특히 가지고 걷게) 하는 반면 하위 과제는 사용자의 주의를 과제로부터 그리고 그에 따라 그가 하고 있는 이동으로부터 빼앗기 때문에, 특히 유리하다. 이러한 이동(movement)과 주의를 빼앗는 것(distraction)의 조합은 사용자의 인지 상태를 분석하기 위해 나중에 분석된다.
과제 수단(7)은 바람직하게는 모바일 디바이스(2)에 배치된다. 그러나, 과제 수단(7')을 완전히 또는 부분적으로 모바일 디바이스(2) 외부에(예를 들어, 추가 디바이스(11)에) 배치하는 것도 가능할 것이다.
경로 수단(6)은 과제의 적어도 일부가 해결되는 동안 모바일 디바이스(2)의 경로, 특히 모바일 디바이스(2)가 따르는 경로를 결정하도록 구성된다. 경로는 (위치 샘플링 윈도우 내의) 일련의 위치 포인트의 시퀀스다. 위치 포인트는 모바일 디바이스(2)의 1차원, 2차원 또는 바람직하게는 3차원 로케이션 및/또는 1차원, 2차원 또는 바람직하게는 3차원 배향(orientation)을 포함한다. 따라서, 위치 포인트는 1 차원과 6차원 사이를 가질 수 있다. 바람직하게는, 위치 포인트는 적어도 3차원 로케이션을 포함한다. 위치, 즉 로케이션 및/또는 배향은 절대적일 수 있거나(즉 알려진 위치에 대해 측정됨), 상대적일 수 있다(즉 알려지지 않은 위치(예: 측정된 제1 위치 포인트 또는 각 시점에 대해 각각 측정된 이전 위치 포인트)에 대해 측정됨). 상대 위치는, 일반적으로 가속도계 또는 자이로스코프에서 수행되는 것과 같이 (병진(translation) 또는 회전(rotation)에 대한) 관성 가속(inertial acceleration) 포인트 또는 마지막으로 측정된 샘플링/위치에 대한 편차 위치에 관한 것일 수도 있다.
경로 수단(6)은 바람직하게는 위치 센서(6.1)를 포함한다. 위치 센서(6.1)는 모바일 디바이스(2)의 위치 포인트를 측정하도록 구성된다. 위치 센서(6.1)는 바람직하게는 위치 샘플링 윈도우 내에서 일련의 위치 포인트를 측정하도록 구성된다. 위치 샘플링 윈도우는 과제의 적어도 일부가 해결되는 시간 윈도우에 대응한다. 위치 샘플링 윈도우에서 위치 포인트가 기록될 때의 시점을 위치 샘플링 포인트라고 호칭한다. 위치 샘플링 포인트는 위치 샘플링 빈도로 측정되고/되거나 일정한 위치 샘플링 스텝(step)으로 주기적으로 측정될 수 있다. 따라서 위치 포인트는 위치 샘플링 포인트에서의 모바일 디바이스(2)의 위치를 준다. 바람직하게는, 위치 센서(6.1)는 모바일 디바이스(2)의 위치 변화를 검출하기 위한 관성 측정 유닛(inertial measurement unit; IMU)이다. 위치 센서(6.1) 및/또는 IMU는 바람직하게는 (모바일 디바이스(2)의 로케이션 변화를 측정하기 위한)가속도계 및/또는 (모바일 디바이스(2)의 배향 변경을 측정하기 위한) 자이로스코프를 포함한다. IMU 측정치는 위치 샘플 포인트에서 변환되거나, IMU에 의해 측정된 대로의 증분(incremental) 가속 포인트로 직접 사용될 수 있다. 바람직하게는, 위치 센서(6.1) 및/또는 IMU는 (지구의 자기장에 기초하여) 모바일 디바이스(2)의 절대 배향(orientation)을 검출하기 위한 자력계(magnetometer)를 포함한다. 그러나, 위치 센서(6.1)는 위치를 검출하기 위한 다른 수단을 추가적으로 또는 대안적으로 포함할 수 있다. 예를 들어 삼각측량(triangulation) 센서가 있다. 삼각 측량 센서는 위성(예: GPS)으로부터 또는 휴대 전화 기지국으로부터 전송된 상이한 신호에 기초하여 위치를 측정할 수 있다. 위치 센서(6.1)가 제1 카메라(3)에 의해 구현되는 것도 가능하다. 바람직하게는, 위치 포인트는 IMU와 제1 카메라(3)의 조합에 의해 결정된다. 위치 센서(6.1)는 바람직하게는 모바일 디바이스(2)에 배치된다. 그러나, 위치 센서(6.1')를 완전히 또는 부분적으로 모바일 디바이스(2) 외부에 배치하는 것도 가능할 것이다, 예를 들어 모바일 디바이스(2)로부터 전송된 신호에 기초하여 위치를 감지하는 센서.
경로 수단(6)은 바람직하게는 경로 수단을 포함한다. 경로 수단(6.2)은 위치 센서(6.1)의 측정에 기초하여 경로를 결정하도록 구성된다. 바람직하게는, 경로 수단(6.2)은 모바일 디바이스(2)에 배치된다. 경로 수단(6.2)은 (예를 들어, 위치 센서(6.1) 내에) 전문화된 칩으로 및/또는 중앙 프로세싱 유닛(CPU)으로 및/또는 임의의 다른 프로세싱 유닛으로 모바일 디바이스(2) 내에 구현될 수 있다. 그러나 경로 수단(6.2)을 완전히 또는 부분적으로 이동 장치(2) 외부에(예를 들어, 서버(11)에 또는 위치 센서(6.1')의 동일 디바이스에) 배치하는 것도 가능하다.
모바일 디바이스(2)는 제2 카메라(4) 및/또는 마이크로폰(13)을 포함한다.
제2 카메라(4)는 제2 뷰 방향(4.1)의 이미지가 기록되도록 제2 뷰 방향(4.1)을 향한다. 제2 뷰 방향(4.1) 및/또는 제2 카메라(4)의 배향(orientation)은, 제2 뷰 방향(4.1) 또는 상기 배향이 제1 뷰 방향(3.1)과 (바람직하게는 평행하게) 대향(opposed)하고/하거나 광학 출력 수단의 출력 뷰 방향(12)와 동일한 방향이도록, 및/또는 사용자가 광학 출력 수단(5.1)을 들여다볼 때 제2 카메라(4)에 의해 기록된 이미지가 사용자가 (특히 사용자의 얼굴이) 위치한 방향으로 향하도록 하는 것이다. 다시 말해서, 제2 카메라(4)는 사용자가 광학 출력 수단(5.1)에 의해 출력되는 정보를 보는 위치에 있는 동안 사용자를 포착한다. 제2 카메라(4)는, 사용자가 모바일 디바이스(2)로 과제(의 적어도 일부)를 해결하는 동안, 사용자가 있는 이미지를 기록하도록 구성된다. 제2 카메라(4)는 바람직하게는 이미지 샘플링 윈도우에서 일련의 이미지를 측정하도록 구성된다. 이미지 샘플링 윈도우는 과제(의 적어도 일부)가 해결되는 시간 윈도우에 대응한다. 이미지 샘플링 윈도우에서 이미지가 기록될 때의 시점을 이미지 샘플링 포인트라고 호칭한다. 이미지 샘플링 포인트는 이미지 샘플링 빈도로 측정되고/측정되거나 두 개의 연이은 이미지 샘플링 포인트 사이에서 일정한 이미지 샘플링 스텝으로 주기적으로 측정될 수 있다. 따라서 이미지는 이미지 샘플링 포인트에서의 모바일 디바이스(2)의 이미지를 준다.
마이크로폰(13)은 모바일 디바이스(2)의 환경의 오디오 신호를 기록하도록 구성된다. 마이크로폰(13)은, 사용자가 모바일 디바이스(2)로 과제(의 적어도 일부)를 해결하는 동안, 사용자의 오디오 신호를 기록하도록 구성된다. 마이크로폰(13)은 바람직하게는 오디오 샘플링 윈도우에서 일련의 오디오 포인트를 측정하도록 구성된다. 오디오 샘플링 윈도우는 과제(의 적어도 일부)가 해결되는 시간 윈도우에 대응한다. 오디오 샘플링 윈도우에서 오디오 포인트가 기록될 때의 시점을 오디오 샘플링 포인트라고 호칭한다. 오디오 샘플링 포인트는 오디오 샘플링 빈도로 측정되고/측정되거나 두 개의 연이은 오디오 샘플링 포인트 사이에서 일정한 오디오 샘플링 스텝으로 주기적으로 측정될 수 있다. 따라서 오디오 포인트는 오디오 샘플링 포인트에서의 모바일 디바이스(2) 주변의 사운드를 나타낸다.
위치 샘플링 윈도우, 이미지 샘플링 윈도우, 및/또는 오디오 샘플링 윈도우는 바람직하게는 동일한 시간 윈도우 및/또는 (단지) 부분적으로 중첩되는 시간 윈도우다. 그러나, 덜 바람직한 실시예에서, 위치 샘플링 윈도우, 이미지 샘플링 윈도우, 및/또는 오디오 샘플링 윈도우가 중첩되지 않는 것, 즉 측정치가 상이한 시간 윈도우에서 나오는 것도 가능하다. 위치 샘플링 윈도우, 이미지 샘플링 윈도우. 및/또는 오디오 샘플링 윈도우는 바람직하게는 중단 없는(uninterrupted) 시간 윈도우에 대응한다. 그러나 샘플링 휴지기간(break)을 갖는 시간 윈도우를 사용하는 것도 가능하다. 위치 샘플링 빈도, 이미지 샘플링 빈도, 및/또는 오디오 샘플링 빈도는 동일하거나 상이할 수 있다. 위치 샘플링 포인트, 이미지 샘플링 포인트, 및/또는 오디오 샘플링 포인트는 동시적(contemporaneous)이거나 시간상 상이한 포인트에 있을 수 있다. 위치 샘플링 윈도우, 이미지 샘플링 윈도우, 및/또는 오디오 샘플링 윈도우는 바람직하게는 사용자/모바일 디바이스(2)가 적어도 하나의 정의된 목표 위치에 정의된 문턱값 보다 더 근접하는 시간 윈도우 및/또는 적어도 하나의 목표 위치 각각을 사용자가 찾기 전 일정 시간 기간 또는 경로 길이에 대응하는 시간 윈도우에 대응한다. 과제가 다수의 정의된 목표 위치를 포함하는 경우, 위치 샘플링 윈도우, 이미지 샘플링 윈도우, 및/또는 오디오 샘플링 윈도우는 바람직하게는 정의된 목표 위치 중 하나에 각각 대응하는 하위 시간 윈도우(sub time window)의 병합(concatenation)에 대응한다, 즉 각 하위 시간 윈도우는 사용자/모바일 디바이스(2)가 이 하위 시간 윈도우에 대응하는 정의된 목표 위치에 정의된 문턱값 보다 더 근접하는 시간 윈도우 및/또는 사용자가 이 하위 시간 윈도우에 대응하는 목표 위치를 찾기 전 일정 시간 기간 또는 경로 길이에 대응하는 시간 윈도우에 대응한다.
사용자 특징 수단(8)은 사용자가 과제를 해결하는 동안 추가 카메라(4)에 의해 기록된 이미지에 기초하여 및/또는 사용자가 과제를 해결하는 동안 마이크로폰(13)에 의해 기록된 오디오 신호에서 적어도 하나의 사용자 특징을 결정하도록 구성된다.
추가 카메라(4)에 의해 기록된 이미지에 기초하여 결정된 적어도 하나의 사용자 특징은 바람직하게는 사용자의 적어도 하나의 얼굴 특징이다. 그러므로, 사용자 특징 수단(8)은 사용자가 과제를 해결하는 동안 기록된 이미지 중 적어도 일부의 이미지 각각에서 사용자의 얼굴을 검출하고, 이미지의 검출된 얼굴로부터 적어도 하나의 얼굴 특징을 검출하도록 구성된다. 얼굴 특징의 예는 동공 확장(pupil dilation), 입 모양, 눈이 열린 상태, 눈썹 상태, 눈이 보는 방향 등일 수 있다. 그러나 기록된 이미지로부터 다른 사용자 특징을 검출하는 것이 가능하다. 제2 카메라(4)에 의해 기록된 이미지에 기초하여 결정된 적어도 하나의 사용자 특징은 바람직하게는 사용자의 적어도 하나의 가시적 특징(바람직하게는 사용자의 적어도 하나의 얼굴 특징)의 움직임이다. 그러므로, 사용자 특징 수단(8)은, 사용자가 과제를 해결하는 동안 기록된 이미지 중 적어도 일부의 이미지 각각에서 신체, 특히 사용자의 얼굴을 검출하고, 이미지의 검출된 얼굴로부터 적어도 하나의 신체 또는 얼굴 특징의 움직임을 검출하도록 구성된다. 바람직한 실시예에서, 동공 확장은 제2 카메라에 의해 기록된 이미지로부터 추출된 사용자 특징으로서 사용된다. 과제를 해결할 때의 사용자의 동공(들)의 크기는 제2 카메라(4)로 촬영된 이미지로부터 추출된다 (결과적으로 사용자가 과제를 해결할 때 샘플 윈도우 동안의 동공 크기(들)의 시계열이 얻어짐). 동공 크기는 하나의 눈(1 차원) 또는 양쪽 눈(2 차원)의 동공 크기 또는 양쪽 눈의 동공 크기 조합(1 차원) 또는 사용자의 하나의 또는 양쪽 눈의 동공 크기로부터 유도된 다른 측정치를 포함할 수 있다. 동공 크기는 사용자의 기준 동공 크기에 대해 정규화될 수 있다. 기준 동공 크기는 예를 들어 사용자의 평균 동공 크기, 예를 들어 과제가 사용자에게 인지를 요구하지 않는 시간 기간 동안의 평균 동공 크기일 수 있다. 정규화된 동공 크기 및/또는 정규화된 동공 크기의 변이(variation)는 예를 들어 동공 확장에 대한 사용자 특징으로서 사용될 수 있다.
마이크로폰에 의해 기록된 오디오 신호에 기초하여 결정된 적어도 하나의 사용자 특징은 바람직하게는 사용자의 입 또는 코에 의해 생산된 사운드다. 이는 예를 들어 사용자의 말하기(스피치)로부터 추출된 특징일 수 있다. 예를 들어 과제는 사용자가 말을 하도록 할 수 있다. 다른 예에서 이것은 예를 들어 호흡일 수 있다. 그러나 기록된 오디오 신호로부터 다른 사용자 특징을 검출하는 것이 가능하다. 바람직한 실시예에서, 스피치의 규칙성(regularity)이 사용자 특징으로 사용된다. 스피치의 규칙성은 다음 스피치 파라미터 중 하나 또는 조합을 측정함으로써 측정될 수 있다: (특정 주파수 또는 모든 주파수에 대한) 스피치의 사운드의 크기(amplitude) 또는 세기(power), 스피치의 속도, 단어 사이의 휴지(pause), 억양 등. 그런 다음, 스피치 파라미터(들)는 사용자의 기준 스피치 파라미터(들)로 정규화된다. 기준 스피치 파라미터(들)는 예를 들어 사용자의 평균 스피치 파라미터, 예를 들어 과제가 사용자에게 인지를 요구하지 않는 시간 기간 동안의 평균 스피치 파라미터(들)일 수 있다. 정규화된 스피치 파라미터 중 하나 또는 조합 또는 정규화된 스피치 파라미터 중 하나 또는 조합의 변이/변동(variation/fluctuation)이 사용자 특징으로 사용될 수 있다.
적어도 하나의 사용자 특징은 이미지에 기초하여 또는 마이크로폰에 기초하여 또는 둘 모두에 기초하여 결정될 수 있다. 바람직한 실시예에서, 적어도 하나의 사용자 특징은 둘 모두에 대해 결정되거나 적어도 이미지에 기초한 적어도 하나의 사용자 특징을 포함한다. 바람직한 실시예에서, 사용자 특징은, 사용자가 과제를 해결하는 동안 촬영된 제2 카메라(4)의 이미지로부터 추출된 동공 확장과 사용자가 과제를 해결하는 동안 마이크로폰(5)에 의해 기록된 오디오 신호로부터 추출된 스피치 규칙성의 조합이다. 이러한 결합된 사용자 특징은 예를 들어 동공 확장과 관련된 하나 이상의 차원 및 스피치 규칙성과 관련된 하나 이상의 차원을 포함하는 2차원 이상의 벡터일 수 있다.
일 실시예에서, 사용자 특징 수단(8)은 사용자가 과제를 해결하는 동안 모바일 디바이스(2)의 위치 경로에도 추가로 기초하여 적어도 하나의 사용자 특징을 결정하도록 구성된다. 바람직하게는, 적어도 하나의 사용자 특징은 그 경우에 적어도 하나의 제1 사용자 특징 및 적어도 하나의 제2 사용자 특징을 포함한다. 적어도 하나의 제1 사용자 특징은 사용자가 과제를 해결하는 동안 추가 카메라(4)에 의해 기록된 이미지 및/또는 사용자가 과제를 해결하는 동안 마이크로폰(13)에 의해 기록된 오디오 신호에 기초한다. 적어도 하나의 제2 사용자 특징은 사용자가 과제를 해결하는 동안의 모바일 디바이스(2)의 위치 경로 및/또는 사용자가 과제를 해결하는 동안 마이크로폰(13)에 의해 기록된 오디오 신호에 기초한다. 그러나, 위치 경로에 의존하는 그리고 이미지 및 오디오 신호 중 적어도 하나의, 결합된 사용자 특징을 결정하는 것도 가능하다. 모바일 디바이스(2)의 위치 경로에 기초한 적어도 하나의 (제2) 사용자 특징은 모바일 디바이스의 위치의 순간적인 가변성(momentary variability)일 수 있다. 이는 예를 들어 이 가변성에 대한 빈도 또는 임의의 다른 측정치일 수 있다.
바람직하게는, 사용자 특징 수단(8)은 사용자 특징 샘플링 윈도우 동안 사용자 특징 포인트의 시퀀스를 결정하도록 구성된다. 사용자 특징 포인트의 시퀀스는 이미지 샘플링 윈도우의 이미지 포인트 및/또는 오디오 샘플링 윈도우의 오디오 포인트에 의존한다. 사용자 특징 포인트의 시퀀스는 위치 샘플링 윈도우의 위치 포인트에도 추가로 의존할 수 있다. 사용자 특징 샘플링 윈도우는, 사용자가 전술한 과제를 (적어도 부분적으로) 해결하는 시간 윈도우다. 바람직하게는, 사용자 특징 샘플링 윈도우는, 위치 샘플링 윈도우와 이미지 샘플링 윈도우 및 오디오 샘플링 윈도우 중 하나 또는 둘 모두가 중첩되는 시간 윈도우에 대응한다. 사용자 특징 포인트가 연관된 시점을 사용자 특징 샘플링 포인트라고 호칭한다.
사용자 특징 수단(8)은 바람직하게는 모바일 디바이스(2)에 배치된다. 그러나, 사용자 특징 수단(8')을 완전히 또는 부분적으로 모바일 디바이스(2) 외부에(예를 들어, 추가 디바이스(11)에) 배치하는 것도 가능할 것이다.
모바일 디바이스(2)의 이동 뿐 아니라 과제 해결 동안의 사용자의 신체의 다른 특징도 사용자의 인지 상태를 검출하는 데 크게 도움이 되는 것으로 밝혀졌다.
인지 상태 수단(9)은 사용자가 과제를 해결하는 동안 결정된 모바일 디바이스(2)의 위치 경로에 기초하여 그리고 사용자가 과제를 해결하는 동안 결정된 적어도 하나의 사용자 특징에 기초하여 사용자의 인지 상태를 결정하도록 구성된다. 인지 상태 수단(9)은 바람직하게는, 위치 샘플링 윈도우에서의 모바일 디바이스(2)의 위치 경로 (또는 위치 포인트의 시퀀스)에 기초하여 그리고 사용자 특징 샘플링 윈도우의 사용자 특징 포인트의 시퀀스에 기초하여 사용자의 인지 상태를 결정하도록 구성된다. 인지 상태 수단(9)은 바람직하게는 측정 샘플링 윈도우 동안의 측정 포인트에 기초하여 사용자의 인지 상태를 결정하도록 구성된다. 측정 샘플링 윈도우의 측정 포인트는 측정/위치 샘플링 윈도우 동안의 위치 경로 및 측정/오디오/이미지 샘플링 윈도우 동안 기록된 이미지 및/또는 오디오 신호에 의존한다. 측정 샘플링 윈도우의 측정 포인트는 측정/위치 샘플링 윈도우 동안의 위치 경로 및 측정/사용자 특징 샘플링 윈도우 동안 결정된 사용자 특징에 의존한다. 측정 샘플링 윈도우는 사용자가 전술한 과제를 (적어도 부분적으로) 해결하는 시간 윈도우다. 측정 포인트가 연관된 시점을 측정 샘플링 포인트라고 호칭한다. 측정 샘플링 포인트는 측정 샘플링 빈도 및/또는 두 개의 연이은 측정 샘플링 포인트 사이의 측정 샘플링 스텝을 가진다. 사용자 특징 윈도우의 사용자 특징 포인트가 이미 위치 샘플링 윈도우의 위치 포인트에 의존하는 경우, 측정 샘플링 윈도우의 측정 포인트 및/또는 인지 상태가 사용자 특징 샘플링 윈도우의 사용자 특징 포인트만을 기초로 하는 것도 가능하다. 따라서 인지 상태 수단(9)은 입력을 수신하여 그로부터 사용자의 인지 상태를 결정한다. 인지 상태의 입력은:
- 사용자가 과제를 해결하는 동안 결정된 모바일 디바이스(2)의 위치 경로 및 사용자가 과제를 해결하는 동안 결정된 적어도 하나의 사용자 특징,
- 위치 샘플링 윈도우에서의 모바일 디바이스(2)의 위치 경로 (또는 위치 포인트의 시퀀스) 및 사용자 특징 샘플링 윈도우의 사용자 특징 포인트의 시퀀스, 및/또는
- 측정 샘플링 윈도우 동안의 측정 포인트다. 인지 상태 수단(9)은 입력 데이터로부터 하나 이상의 특징을 추출할 수 있다. 예를 들어, 사용자 특징과 조합하여 인지 상태를 검출하기 위해, 보행 속도, 특히 보폭 시간(stride time) 가변성(variability)이 모바일 디바이스(2)의 위치 경로로부터 추출될 수 있다. 보행 속도(또는 걸음 빈도(walking frequency)라고도 호칭됨)는 모바일 디바이스(2)의 낮은 빈도의 수직 움직임으로부터 추출될 수 있다. 이러한 보행 속도 및/또는 위치 경로로부터 추출된 다른 특징은, 그리고/또는 위치 경로 데이터 자체 또한, 인지 상태를 검출하는 데 사용할 수 있다. 그러나, 당해 기술분야에서 잘 알려진 바와 같이 보행 속도가 특히 유리하다. 물론, 인지 상태 수단(9)이 보행 속도에서 직접 인지 상태를 검출하도록, 경로 수단(6)에서 보행 속도를 위치 경로 데이터로서 직접 검출하는 것도 가능하다. 사용자 특징 수단(8)에서 보행 속도를 검출하는 것도 가능하다.
결정된 인지 상태 결과는 바람직하게는 다수의 이산적(discrete) 인지 상태 중 하나다. 바람직하게는, 이산적 인지 상태는 하나의 인지 특징을 의미하고 이산적 인지 상태는 인지 특징의 값 또는 강도(strength)에 대응한다. 바람직하게는, 인지 특징 또는 인지 상태는 사용자의 뇌의 건강 상태에 대응한다. 사용자의 뇌의 건강 상태는 바람직하게는 하나의 뇌 질환 또는 하나의 뇌 손상을 의미한다. 이러한 뇌 질환 또는 뇌 손상의 예는 다음과 같다: 알츠하이머 질환(Alzheimer's disease) 및/또는 전임상 알츠하이머 병리학적 변화(preclinical Alzheimer's pathological change), 전두엽 치매(frontal temporal dementia), 외상성 뇌 손상(traumatic brain injury)(예: 뇌진탕(concussion)), 파킨슨 병(Parkinson's,), 수술 후 인지 장애(Post-Operative Cognitive Disorder), 후방 피질 위축(Posterior Cortical Atrophy), 운동 장애(Movement Disorders), 신경 퇴행 장애(Neurodegeneration disorders), 인지 장애(Cognitive Impairment), 우울증(Depression). 인지 상태 수단(9)은 그 경우에 적어도 두 개의 이산적 인지 상태 중 하나를 제공(give out)하도록 구성된다. 적어도 2 개의 이산적 인지 상태는, 인지 특징이 충족됨을 명시하는 제1 이산적 인지 상태 및 인지 특징이 충족되지 않음을 명시하는 제2 이산적 인지 상태를 포함한다. 인지 상태가 건강 상태인 경우, 제1 이산적 인지 상태(제1 이산적 건강 상태)는 사용자가 뇌 질환 또는 뇌 손상을 가지고 있음을 명시하고, 제2 이산적 인지 상태(제2 이산적 건강 상태)는 사용자가 뇌 질환 또는뇌 손상과 관련하여 건강함을 명시한다. 사용자가 인지 상태를 충족하고/충족하거나 뇌 질환 또는 뇌 손상을 가질 어느 정도의 위험을 가지고 있음을 명시하는 적어도 하나의 제3 이산적 인지/건강 상태가 있을 수도 있다.
바람직하게는, 인지 상태는 기계 학습 데이터에도 추가로 기초하여 결정된다. 기계 학습 데이터는 대응하는 제1 이산적 인지 상태에 대한 제1 조건 세트를 포함한다. 바람직하게는, 인지 상태 수단(9)은 인지 상태 수단(9)의 입력이 제1 조건 세트를 충족하는지 확인하도록 구성된다. 만약 그렇다면, 인지 상태 수단(9)은 사용자가 제1 이산적 인지 상태의 인지 특징을 가지고 있다고 결론 짓는다. 두 개 보다 많은 이산적 인지 상태가 존재하는 경우, 제3 또는 다른 이산적 인지 상태의 존재를 확인하기 위해 다른 조건 세트가 확인될 수 있다. 만약 그렇지 않다면, 사용자는 제2 인지 상태를 갖게 된다. 기계 학습 데이터는 다수의 사용자의 사용자 데이터 세트에 기초한 기계 학습으로 획득된다. 각 사용자의 사용자 데이터 세트는, 사용자의 알려진 인지 상태 또는 건강 상태 및 과제가 해결되는 동안 인지 상태 수단(9)을 위해 준비된 입력에 대응한다. 바람직하게는, 기계 학습 데이터는 판정 트리(decision tree)를 포함한다. 인지 상태 수단(9)은 판정 트리를 거치며(go through), 각 노드에서 사용자의 데이터에 기초하여 판정 트리의 진행할 다음 노드로의 입력을 판정하도록 구성된다. 사용자의 데이터는 적어도 모바일 디바이스(2)의 위치 경로 및 사용자 특징을 포함한다. 사용자의 데이터는 연령, 젠더 등과 같은 추가 사용자 데이터를 포함할 수 있다. 판정 트리에 대한 조건, 즉 조건 세트는 훈련 데이터에 기초하여 기계 학습 페이즈(phase)에서 훈련된다. 일 실시예에서, 적어도 하나의 노드는 위치 경로에 기초하여 적어도 하나의 특징을 검사한다. 한 노드는 예를 들어 (하나 이상의 하위 기간 동안의) 보행 속도가 (기준 하위 기간 동안의) 기준 보행 속도에서 문턱값 보다 많이 차이가 있는지(vary) 확인할 수 있다. 상이한 노드가 상이한 하위 기간에 대해 동일한 특징을 확인할 수 있다. 하위 기간은 바람직하게는 사용자가 과제를 해결하는 시간의 하위 기간, 특히 과제에 사용자의 주의(attention)가 더 많이 요구되는 하위 기간을 의미한다. 이러한 하위 기간은 바람직하게는 사용자가 탐색해야 하는 오브젝트에 접근할 때다. 기준 기간은 예를 들어 사용자가 과제를 해결하는 시간의 하위 기간, 특히 앞서 언급된 하위 기간보다 과제에 더 적은 주의가 요구되는 시간 기간이다. 상이한 노드는, 그것의 평균, 그것의 분산 등과 같은 위치 경로 또는 보행 속도의 상이한 특징을 확인할 수 있다. 일 실시예에서, 적어도 하나의 노드는 사용자 특징에 기초하여, 바람직하게는 동공 확장 및/또는 스피치 규칙성에 기초하여, 적어도 하나의 특징을 확인한다. 예를 들어 한 노드는 (하나 이상의 하위 기간 동안의) 사용자 특징이 (기준 하위 기간 동안의) 기준 사용자 특징에서 문턱값 보다 많이 차이가 있는지 확인할 수 있다. 상이한 노드가 상이한 하위 기간에 대해 동일한 특징을 확인할 수 있다. 상이한 노드는, 그것의 평균, 그것의 분산 등과 같은 사용자 특징의 상이한 특징을 확인할 수 있다.
바람직하게는, 사용자의 인지 상태가 장치(1)로부터 제공(give out)된다. 바람직하게는, 사용자의 인지 상태는 모바일 디바이스(2)의 출력 수단(5)을 통해 제공된다.
인지 상태 수단(9)은 바람직하게는 인지 상태 수단(9)의 입력을 수신하기 위해 모바일 디바이스(2)와 통신하는 추가 디바이스(11)에 배치된다. 결국, 인지 상태 수단(9)은 결정된 사용자의 인지 상태를 모바일 디바이스(2)에 통신하여, 모바일 디바이스(2)가 결정된 인지 상태를 제공하도록 한다. 그러나, 인지 상태 수단(9')을 완전히 또는 부분적으로 모바일 디바이스(2)에 배치하는 것도 가능할 것이다.
과제 수단(7)에 의해 공급되는 과제는 사용자의 주의(attention)를 요한다. 사용자의 이동, 특히 경로 수단(6)을 통해 기록된 걸음(walking), 및 사용자 주의가 취해지는 시간 동안(즉 과제를 해결하는 동안) 추가 카메라(4), 마이크로폰(5), 및/또는 사용자 특징 수단(8)을 통해 기록된 사용자 특징은, 사용자의 많은 상이한 인지 상태에 대한 신뢰할 만하고 간단한 지표(indicator)로 밝혀졌다. 이것은 경로 수단(6)에 의해 기록된 사용자의 이동에 대해 이미 알려져 있었다. 하지만, 사용자 특징 수단(8)으로 결정된 사용자 특징도 고려함으로써 결과가 크게 향상되었다.
도 2는 사용자의 인지 상태를 결정하기 위한 실시예를 도시한다.
단계 S1에서, 모바일 디바이스(2)는 사용자에게 과제를 해결하도록 요청(invite)한다. 이 요청(invitation)은 모바일 디바이스(2)에 의해 개시될 수도 있다. 이것은 예를 들어 특정 과제를 해결하도록 모바일 디바이스의 광학 출력 장치(5.1) 상에 표시된 메시지에 의해 구현될 수 있다. 대안적으로, 요청은 모바일 디바이스의 애플리케이션을 열거나 과제를 해결하기를 선택함으로써 사용자에 의해 개시될 수 있다. 전술한 바람직한 과제에서, 적어도 하나의(바람직하게는 적어도 두 개의) 정의된 목표 위치는 모바일 디바이스(2)의 AR 환경에서 사용자에 의해 정의되고/정의되거나 (적어도 하나의 연관된 시각화 오브젝트를 통해) 모바일 디바이스(2)의 AR 환경에서 사용자에게 보여진다. 그 다음, (예를 들어, 탐색될 정의된 목표 위치와 연관된 시각화 오브젝트를 보여줌으로써) 사용자는 적어도 하나의 정의된 목표 위치를 탐색하도록/찾아내도록 요청된다.
단계 S2에서, 과제(의 적어도 일부)가 해결되는 동안 모바일 디바이스(2)의 경로가 기록된다.
단계 S3에서, 과제(의 적어도 일부)가 해결되는 동안 제2 카메라(4)의 이미지 및/또는 마이크로폰(4)의 오디오 신호가 기록된다. 사용자의 적어도 하나의 사용자 특징은, 과제(의 적어도 일부)가 해결되는 동안 기록된 이미지 및/또는 오디오 신호에 기초하여 결정된다.
단계 S1과, 단계 S2의 위치 경로, 단계 S3의 이미지 및/또는 오디오 신호의 기록은, 바람직하게는 동시적으로(contemporaneously) 수행된다(즉, 적어도 단계 S2 및 S3의 측정은 시간적으로 단계 S1과 적어도 부분적으로 중첩됨).
단계 S4에서, 사용자의 인지 상태는, 단계 S2에서 결정된 모바일 디바이스(2)의 위치 경로 및 단계 S3에서 결정된 사용자의 적어도 하나의 특징에 기초한 입력에 기초하여 결정된다.
도 3은 사용자의 인지 상태를 결정하기 위한 기계 학습 데이터를 결정하기 위한 장치(100)를 도시한다. 장치(100)는 장치(1)의 인지 상태 수단(9)에 대한 위에서 정의된 입력을 결정하기 위한 적어도 하나의 장치(101)를 포함한다. 따라서, 장치(101)는 모바일 디바이스(200), 모바일 디바이스(2)에서의 제1 카메라(3)로 작동하는 모바일 디바이스(200)에서의 제1 카메라, 모바일 디바이스(2)에서의 제2 카메라(4) 및/또는 마이크로폰(13)으로 작동하는 모바일 디바이스(200)에서의 제2 카메라 및/또는 마이크로폰(13), 모바일 디바이스(2)에서의 출력 수단(5)으로 작동하는 모바일 디바이스(200)에서의 출력 수단(5), 경로 수단(6)으로 작동하는 경로 수단(6), 도 1에서의 과제 수단(7)으로 작동하는 과제 수단(7), 도 1에서의 사용자 특징 수단(8)으로 작동하는 사용자 특징 수단(8), 바람직하게는, 도 1에서의 사용자 입력 수단(10)으로 작동하는 사용자 입력 수단(10), 및 인지 상태 수단(9) 대신의 입력 준비 수단(19 또는 19')을 포함한다. 입력 준비 수단은, 위에서 정의되고/정의되거나 장치(1)의 인지 상태 수단(9)에 입력되는, 입력을 준비하도록 구성된다. 이 입력은 사용자가 과제를 해결하는 동안 결정된 모바일 디바이스의 위치 경로 및 사용자가 과제를 해결하는 동안 결정된 적어도 하나의 사용자 특징을 기초로 한다.
장치(101)는 바람직하게는 2개의 구성(configuration)을 가진 도 1의 장치(1)에 대응한다. 도 1에서 설명된 바와 같이 사용자의 인지 상태를 결정하기 위한 제1 구성. 이전 단락에서 설명된 바와 같이 사용자에 대한 입력을 결정하기 위한 제2 구성.
장치(100)는, 다수의 (바람직하게는 상이한) 사용자 각각에 대해 사용자 데이터 세트를 수신하도록 구성된 기계 학습 데이터 수단(109)을 더 포함한다. 사용자의 사용자 데이터 세트는 사용자가 과제를 해결했던 동안 적어도 하나의 장치(101) 중 하나에서 생성된 입력 및 사용자의 인지 상태를 포함한다. 기계 학습 데이터 수단(109)은 또한, 다수의 사용자에 대한 사용자 데이터 세트에 기초하여, 사용자에 대한 입력에 대해 인지 상태를 결정하기 위한 기계 학습 데이터를 결정하도록 구성된다. 일 실시예에서, 기계 학습 데이터 수단(109)은 모든 사용자에 대해 사용자 데이터 세트를 수신하고 기계 학습 데이터를 결정한다 (단 한번만). 일 실시예에서, 기계 학습 데이터 수단(109)은 하나 또는 다른 정의된 수의 사용자(들)의 사용자 데이터 세트(들)를 수신할 때마다 기계 학습 데이터를 업데이트하도록 구성된다. 이 실시예에서, 기계 학습 데이터는 재귀적으로(recursively) 결정된다. 바람직하게는, 기계 학습 데이터 수단(109)은 사용자 데이터 세트(들)에 기초하여 판정 트리의 판정 파라미터를 결정하도록 구성된다. 바람직하게는, 기계 학습 데이터 수단(109)은 부스팅에 기초하여 기계 학습 데이터를 결정하도록 구성된다.
기계 학습 데이터 수단(109)은 바람직하게는 추가 디바이스(11)에 배치된다. 그러나, 기계 학습 데이터 수단(109)은 (부분적으로 또는 완전히) 모바일 디바이스(200) 또는 다른 장치에 있을 수 있다.

Claims (16)

  1. 장치(1)의 모바일 디바이스(2)의 사용자의 인지 상태를 결정하기 위한 장치(1)에 있어서,
    모바일 디바이스(2);
    사용자에게 정보를 제공(giving out)하기 위한, 상기 모바일 디바이스(2) 내의 출력 수단(5) - 상기 출력 수단(5)은 상기 사용자에게 정보를 광학적으로 제공하기 위한 광학 출력 수단(5.1)을 포함함 - ;
    상기 모바일 디바이스(2)의 환경의 제1 뷰 방향(3.1)에서 이미지를 기록하기 위한, 상기 모바일 디바이스(2) 내의 카메라(3);
    상기 환경에서의 상기 모바일 디바이스(2)의 위치 경로를 결정하도록 구성된 경로 수단(6);
    상기 사용자가 광학 출력 수단(5.1)을 통해 보여지는 증강 현실 환경을 사용하여 그리고 상기 카메라(3)에 의해 포착된 상기 모바일 디바이스(2)의 환경에 기초하여 과제(task)를 해결하게 하기 위해, 상기 출력 수단(5)을 통해 상기 사용자와 상호작용하기 위한 과제 수단(7, 7');
    상기 사용자가 상기 과제를 해결하는 동안 결정된 상기 모바일 디바이스의 위치 경로에 기초하여 상기 사용자의 인지 상태를 결정하기 위한 인지 상태 수단(9, 9');
    제2 뷰 방향(4.1)에서 이미지를 기록하기 위한 상기 모바일 디바이스(10) 내의 추가 카메라(4) 및/또는 오디오 신호를 기록하기 위한 마이크로폰(13); 및
    상기 사용자가 상기 과제를 해결하는 동안 상기 추가 카메라(4)에 의해 기록된 이미지에서 및/또는 상기 사용자가 상기 과제를 해결하는 동안 상기 마이크로폰(13)에 의해 기록된 오디오 신호에서 상기 사용자의 적어도 하나의 특징을 검출 및/또는 추적하기 위한 사용자 특징 수단(8, 8')
    을 포함하고,
    상기 인지 상태 수단(9, 9')은 상기 사용자의 적어도 하나의 특징에도 추가로 기초하여 상기 사용자의 인지 상태를 결정하도록 구성되는 것인, 장치.
  2. 제1항에 있어서,
    상기 추가 카메라(4)는 상기 사용자가 상기 과제를 해결하는 동안 일련의 이미지를 촬영하도록 구성되고,
    상기 사용자 특징 수단(8, 8')은 상기 일련의 이미지에서 상기 사용자의 적어도 하나의 특징을 검출하도록 그리고 상기 일련의 이미지에서 검출된 적어도 하나의 특징의 시계열(time series)을 결정하도록 구성되고,
    상기 인지 상태 수단(9, 9')은 상기 사용자의 적어도 하나의 특징의 시계열에도 추가로 기초하여 상기 사용자의 인지 상태를 결정하도록 구성되는 것인, 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 사용자가 상기 과제를 해결하는 동안 상기 추가 카메라(4)에 의해 기록된 이미지에서 검출 및/또는 추적되는 상기 사용자의 적어도 하나의 특징은, 상기 사용자의 눈의 동공 확장을 포함하는 것인, 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    샘플링 윈도우는 시간의 흐름에 따른(over time) 복수의 샘플링 스텝(step)을 포함하고,
    상기 경로 수단(6)은 상기 모바일 디바이스(2)의 적어도 하나의 위치를 각 샘플링 스텝에서 기록하도록 구성되고,
    상기 추가 카메라(4)는 각 샘플링 스텝에서 적어도 하나의 이미지를 기록하도록 구성되고,
    상기 사용자 특징 수단(8, 8')은 각 샘플링 스텝에 대해, 상기 추가 카메라(4)에 의해 상기 샘플링 스텝에서 기록된 적어도 하나의 이미지에서 상기 사용자의 적어도 하나의 특징을 검출하도록 구성되고,
    상기 인지 상태 수단(9, 9')은, 상기 샘플링 윈도우 - 상기 샘플링 윈도우는 각 샘플링 스텝에 대해, 이 샘플링 스텝에서 검출된 상기 사용자의 적어도 하나의 특징에 기초하고 이 샘플링 스텝에서 결정된 상기 모바일 디바이스(2)의 적어도 하나의 위치에 기초한 샘플링 포인트를 포함함 - 에서의 시계열에 기초하여 상기 사용자의 인지 상태를 결정하도록 구성되는 것인, 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 광학 출력 수단(5.1)은 상기 모바일 디바이스(2)의 제1 면 상에 배치된 디스플레이를 포함하고,
    상기 추가 카메라(4)는 상기 모바일 디바이스(2)의 제1 면 상에 배치되고/배치되거나 상기 제2 뷰 방향이 상기 디스플레이의 표면의 법선 벡터와 동일한 방향으로 보이도록 배치되고,
    상기 카메라(3)는 상기 제1 면에 대향하는 상기 모바일 디바이스(2)의 제2 면 상에 배치되고/배치되거나 상기 제1 뷰 방향이 상기 디스플레이의 표면의 법선 벡터와 대향하는 방향으로 보이도록 배치되는 것인, 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 모바일 디바이스(2)는 휴대용 핸드헬드 모바일 디바이스(2)인 것인, 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 과제 수단(7)은, 상기 사용자가 상기 환경에서 상기 모바일 디바이스(2)를 가지고 걷게 하기 위해, 상기 출력 수단(5)을 통해 상기 사용자와 상호작용하도록 구성되는 것인, 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 과제 수단(7)은,
    상기 증강 현실 환경에서 적어도 하나의 목표 위치를 정의하도록 그리고
    상기 적어도 하나의 목표 위치 각각에 대해
    상기 증강 현실 환경에서 상기 각각의 목표 위치를 찾도록 상기 사용자에게 요청(invite)하는 단계;
    상기 사용자가 상기 모바일 디바이스(2)를 상기 환경 내의 위치 - 상기 위치에서 상기 적어도 하나의 목표 위치가 상기 카메라(3)에 의해 포착되어, 아마도 특정 조건 하에서 상기 광학 출력 수단(5.1) 상에 보여짐 - 에 이동시켰을 때, 상기 각각의 목표 위치가 상기 증강 현실 환경에서 찾아진 것으로 간주하는 단계
    를 수행하도록 구성되는 것인, 장치.
  9. 제8항에 있어서,
    상기 과제 수단(7, 7')은 상기 모바일 디바이스(2)의 사용자 입력에 기초하여 상기 증강 현실에서 상기 적어도 하나의 목표 위치를 정의하도록 구성되는 것인, 장치.
  10. 제8항 또는 제9항에 있어서,
    상기 적어도 하나의 목표 위치는 적어도 두 개의 목표 위치를 포함하고,
    상기 과제 수단(7, 7')은,
    상기 적어도 두 개의 목표 위치 각각을, 상기 각각의 목표 위치가 상기 증강 현실 환경에서 정의되고/정의되거나 보여질 때, 상기 출력 수단에 의해 상기 사용자에게 출력되는 상이한 피처(feature)와 연관시키도록 - 상기 출력 수단(5)에 의해 상기 적어도 두 개의 목표 위치 중 하나의 목표 위치와 연관된 피처를 출력함으로써, 상기 사용자는 상기 증강 현실 환경에서 상기 하나의 목표 위치를 찾도록 요청(invite)됨 - 및/또는
    상기 적어도 두 개의 목표 위치 중 하나의 목표 위치가 찾아진 것으로 간주된 후에 상기 사용자가 상기 적어도 두 개의 목표 위치 중 후속 목표 위치를 찾도록 요청되게, 상기 사용자에게 상기 적어도 두 개의 목표 위치를 찾게 연이어서 요청하도록
    구성되는 것인, 장치.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 과제 수단(7, 7')은, 상기 과제를 해결하는 동안 및/또는 상기 적어도 하나의 목표 위치 각각을 찾는 동안 상기 사용자의 주의를 빼앗기(distracting) 위한 복수의 자극(stimulus)을 상기 출력 수단(5)을 통해 제공하도록 구성되는 것인, 장치.
  12. 제11항에 있어서,
    상기 과제 수단(7, 7')은, 각 자극 후 상기 사용자에게, 상기 과제를 해결하는 것 및/또는 찾도록 요청된 각각의 타겟 위치를 찾는 것을 계속하기 전에 하위 과제를 해결할 것을 요구하도록 구성되는 것인, 장치.
  13. 제12항에 있어서,
    사용자 입력 수단(10)을 포함하고,
    상기 과제 수단(7, 7')은, 상기 사용자 입력 수단(10)을 통해 특정 사용자 입력을 수신할 때 상기 하위 과제가 해결된 것으로 간주하도록 구성되는 것인, 장치.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서,
    상기 인지 상태는 적어도 하나의 뇌 질병 또는 뇌 손상에 대한 건강 상태인 것인, 장치.
  15. 모바일 디바이스(2)의 사용자의 인지 상태를 결정하기 위한 컴퓨터 프로그램으로서, 명령어를 포함하고, 상기 명령어는 상기 모바일 디바이스(2)의 프로세서 상에서 실행될 때,
    사용자가 증강 현실 환경을 사용하여 과제를 해결하게 하기 위해, 상기 모바일 디바이스(2)의 출력 수단(5)을 통해 상기 사용자와 상호작용하는 단계 - 상기 증강 현실은 상기 출력 수단(5)의 광학 출력 수단(5.1)을 통해 보여지고, 상기 모바일 디바이스(2)의 카메라(3)에 의해 포착된 상기 모바일 디바이스(2)의 환경에 기초한 것이고, 상기 카메라(3)는 상기 모바일 디바이스(2)의 환경의 제1 뷰 방향(3.1)에서 이미지를 기록하기 위하여 상기 모바일 디바이스(2)에 배치됨 - ;
    상기 사용자가 상기 모바일 디바이스(2)로 상기 과제를 해결할 때 수행된 상기 모바일 디바이스(2)의 위치 경로를 수신하는 단계;
    상기 사용자가 상기 모바일 디바이스(2)로 상기 과제를 해결할 때 상기 모바일 디바이스(2)의 추가 카메라(4) - 상기 추가 카메라(4)는 제2 뷰 방향(4.1)에서 이미지를 기록하기 위해 상기 모바일 디바이스(2)에 배치됨 - 를 통해 기록된 이미지, 및/또는
    상기 사용자가 상기 모바일 디바이스(2)로 상기 과제를 해결할 때 마이크로폰을 통해 기록된 오디오 신호
    중 적어도 하나로부터 추출된 적어도 하나의 사용자 특징을 수신하는 단계;
    상기 수신된 모바일 디바이스(2)의 위치 경로 및 상기 수신된 적어도 하나의 사용자 특징에 기초하여, 상기 사용자의 인지 상태를 결정하는 단계
    를 수행하도록 구성되는 것인, 컴퓨터 프로그램.
  16. 모바일 디바이스의 사용자의 인지 상태를 결정하기 위한 방법에 있어서,
    사용자가 증강 현실 환경을 사용하여 과제를 해결하게 하기 위해, 모바일 디바이스(2)가 상기 모바일 디바이스(2)의 출력 수단(5)을 통해 상기 사용자와 상호작용하는 단계 - 상기 증강 현실은 상기 출력 수단(5)의 광학 출력 수단(5.1)을 통해 보여지고, 상기 모바일 디바이스(2)의 카메라(3)에 의해 포착된 상기 모바일 디바이스(2)의 환경에 기초한 것이고, 상기 카메라(3)는 상기 모바일 디바이스(2)의 환경의 제1 뷰 방향(3.1)에서 이미지를 기록하기 위하여 상기 모바일 디바이스(2)에 배치됨 - ;
    상기 사용자가 상기 모바일 디바이스(2)로 상기 과제를 해결하고 있는 동안 상기 모바일 디바이스(2)에 의해 수행된 위치 경로를 결정하는 단계;
    상기 사용자가 상기 모바일 디바이스(2)로 상기 과제를 해결하고 있는 동안 상기 모바일 디바이스(2)의 추가 카메라(4) - 상기 추가 카메라(4)는 제2 뷰 방향(4.1)에서 이미지를 기록하기 위해 상기 모바일 디바이스(2)에 배치됨 - 를 통해 이미지를 기록하는 단계, 및/또는 상기 사용자가 상기 모바일 디바이스(2)로 상기 과제를 해결하는 동안 상기 모바일 디바이스(2)의 마이크로폰을 통해 오디오 신호를 기록하는 단계;
    기록된 상기 이미지 및/또는 상기 오디오 신호에 기초하여, 시간의 흐름에 따라 적어도 하나의 사용자 특징을 결정하는 단계; 및
    상기 결정된 모바일 디바이스(2)의 위치 경로 및 상기 시간의 흐름에 따라 결정된 적어도 하나의 사용자 특징에 기초하여, 상기 사용자의 인지 상태를 결정하는 단계
    를 포함하는, 방법.
KR1020217010053A 2018-09-05 2019-09-04 모바일 디바이스의 사용자의 인지 상태를 결정하는 장치, 방법 및 프로그램 KR20210055074A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP18192686 2018-09-05
EP18192686.6 2018-09-05
EP19174607.2A EP3621276A1 (en) 2018-09-05 2019-05-15 Apparatus, method and program for determining a cognitive state of a user of a mobile device
EP19174607.2 2019-05-15
PCT/IB2019/057436 WO2020049470A1 (en) 2018-09-05 2019-09-04 Apparatus, method and program for determining a cognitive state of a user of a mobile device

Publications (1)

Publication Number Publication Date
KR20210055074A true KR20210055074A (ko) 2021-05-14

Family

ID=63528524

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217010053A KR20210055074A (ko) 2018-09-05 2019-09-04 모바일 디바이스의 사용자의 인지 상태를 결정하는 장치, 방법 및 프로그램

Country Status (11)

Country Link
US (1) US20210196174A1 (ko)
EP (2) EP3621276A1 (ko)
JP (1) JP2022500801A (ko)
KR (1) KR20210055074A (ko)
CN (1) CN112673608A (ko)
AU (1) AU2019334195A1 (ko)
BR (1) BR112021003953A2 (ko)
CA (1) CA3111974A1 (ko)
IL (1) IL281249A (ko)
MX (1) MX2021002562A (ko)
WO (1) WO2020049470A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102395234B1 (ko) * 2021-09-30 2022-05-09 주식회사 인피아이 음주상태 예측시스템 및 예측방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210159979A1 (en) * 2019-11-25 2021-05-27 Eugene M. ODonnell Method and apparatus for optical communication
WO2022162602A1 (en) 2021-01-28 2022-08-04 Altoida Inc. Apparatus, method and computer program for providing information relating to a cognitive state of an individual
EP4355200A1 (en) 2021-06-17 2024-04-24 Altoida Inc. Method and system for obtaining measurement of cognitive performance
CN113810133B (zh) * 2021-09-29 2023-08-18 上海兴容信息技术有限公司 一种用户活动状态的识别方法和系统
US20240077983A1 (en) * 2022-09-01 2024-03-07 Lei Zhang Interaction recording tools for creating interactive ar stories
US20240079031A1 (en) * 2022-09-01 2024-03-07 Lei Zhang Authoring tools for creating interactive ar experiences

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080280276A1 (en) * 2007-05-09 2008-11-13 Oregon Health & Science University And Oregon Research Institute Virtual reality tools and techniques for measuring cognitive ability and cognitive impairment
US9256711B2 (en) * 2011-07-05 2016-02-09 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for providing health information to employees via augmented reality display
WO2017127571A1 (en) * 2016-01-19 2017-07-27 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
JP6721818B2 (ja) * 2016-04-05 2020-07-15 渡 倉島 瞳孔径拡大による脳活動量判定装置およびプログラム
WO2017222997A1 (en) * 2016-06-20 2017-12-28 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
JP2018015139A (ja) * 2016-07-26 2018-02-01 ヤンマー株式会社 認知症検査システム
JP6579584B2 (ja) * 2016-08-23 2019-09-25 株式会社Ｍｓｄ 処置評価システムおよびプログラム
AU2017347975B2 (en) * 2016-10-24 2023-08-03 Akili Interactive Labs, Inc. Cognitive platform configured as a biomarker or other type of marker

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102395234B1 (ko) * 2021-09-30 2022-05-09 주식회사 인피아이 음주상태 예측시스템 및 예측방법

Also Published As

Publication number Publication date
MX2021002562A (es) 2021-09-08
WO2020049470A1 (en) 2020-03-12
EP3847795A1 (en) 2021-07-14
EP3621276A1 (en) 2020-03-11
CA3111974A1 (en) 2020-03-12
US20210196174A1 (en) 2021-07-01
BR112021003953A2 (pt) 2021-05-25
JP2022500801A (ja) 2022-01-04
AU2019334195A1 (en) 2021-03-25
CN112673608A (zh) 2021-04-16
IL281249A (en) 2021-04-29

Similar Documents

Publication Publication Date Title
KR20210055074A (ko) 모바일 디바이스의 사용자의 인지 상태를 결정하는 장치, 방법 및 프로그램
US11563700B2 (en) Directional augmented reality system
JP6664512B2 (ja) アイブレインインターフェースシステムのキャリブレーション方法、及びシステム内のスレーブデバイス、ホストデバイス
Ashiq et al. CNN-based object recognition and tracking system to assist visually impaired people
CN110167421A (zh) 整体地测量视觉功能的临床参数的系统
EP2509070A1 (en) Apparatus and method for determining relevance of input speech
JP7064952B2 (ja) 情報処理装置、情報処理方法およびプログラム
Dietz et al. Automatic detection of visual search for the elderly using eye and head tracking data
Trujillo-Guerrero et al. Accuracy comparison of CNN, LSTM, and Transformer for activity recognition using IMU and visual markers
KR20160024733A (ko) 글라스형 웨어러블 디바이스를 이용한 실내 전자기기 제어방법 및 제어프로그램
KR20210070119A (ko) 스마트폰 전면 카메라와 인공지능 자세 분석을 이용한 명상 가이드 시스템
KR20190047644A (ko) 운동에 대한 피드백을 제공하는 웨어러블 디바이스 및 방법
JP2024073551A (ja) モバイル装置のユーザの認知状態を判定するための装置、方法、及びプログラム
KR20180116044A (ko) 증강현실용 디바이스와 그 증강현실 출력 방법
Cimorelli et al. Validation of portable in-clinic video-based gait analysis for prosthesis users
US11270451B2 (en) Motion parallax in object recognition
JP2007133531A (ja) 注目状態検出装置、及び注目状態検出方法
WO2023042343A1 (ja) 手指の動きを計測処理する計測処理端末、方法およびコンピュータプログラム
JP2024505038A (ja) 個人の認知状態に関する情報を提供するための装置、方法、およびコンピュータプログラム
KR102264772B1 (ko) 호흡 패턴을 이용한 경도인지 장애 진단 및 훈련 시스템
WO2023244267A1 (en) Systems and methods for human gait analysis, real-time feedback and rehabilitation using an extended-reality device
ROMÁN-NIEMES et al. Accuracy Comparison of CNN, LSTM, and Transformer for Activity Recognition Using IMU and Visual Markers
WO2019216000A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2024023752A (ja) データ生成装置、映像システム、及びデータ生成方法
WO2022258647A1 (en) Method and device for determining a visual performance

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application