KR20190009383A - 실제 세계 사용자의 인지 및 기분 상태들을 가상 세계 활동의 함수로서 평가하기 위한 시스템 및 방법 - Google Patents

실제 세계 사용자의 인지 및 기분 상태들을 가상 세계 활동의 함수로서 평가하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20190009383A
KR20190009383A KR1020187037548A KR20187037548A KR20190009383A KR 20190009383 A KR20190009383 A KR 20190009383A KR 1020187037548 A KR1020187037548 A KR 1020187037548A KR 20187037548 A KR20187037548 A KR 20187037548A KR 20190009383 A KR20190009383 A KR 20190009383A
Authority
KR
South Korea
Prior art keywords
user
virtual world
processor
memory
person
Prior art date
Application number
KR1020187037548A
Other languages
English (en)
Other versions
KR102458643B1 (ko
Inventor
조셉 바부토
캐서린 베텐코트
카린 브로우일론
가브리엘 브룬
알렉산드라 크레이머
조에 만프레도니아
후세이니 만지
케네스 모스카
마크 샙
박달레나 쇼엔네이
Original Assignee
얀센 파마슈티카 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 얀센 파마슈티카 엔.브이. filed Critical 얀센 파마슈티카 엔.브이.
Publication of KR20190009383A publication Critical patent/KR20190009383A/ko
Application granted granted Critical
Publication of KR102458643B1 publication Critical patent/KR102458643B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/744—Displaying an avatar, e.g. an animated cartoon character
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162—Testing reaction times
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7465—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network
    • A61B5/747—Arrangements for interactive communication between patient and care services, e.g. by using a telephone network in case of emergency, i.e. alerting emergency services
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Educational Technology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Business, Economics & Management (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Administration (AREA)
  • Physiology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Cardiology (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Entrepreneurship & Innovation (AREA)

Abstract

실제 세계 사람의 인지 및 기분 상태들은 사람이 상호작용하는 가상 세계 환경에서의 활동에 따라 평가된다. 가상 세계는 사람의 인지 및/또는 기분 상태들을 평가하기 위한 상호작용 경험들을 제공하도록 구성된다. 시스템은 사람의 기분 상태에 대한 당시의 통찰을 제공하기 위해 각각의 가상 세계 세션 동안 세션 아바타의 구성을 요구한다. 시스템은 사람의 상태를 반영하는 아바타의 구성을 요구할 수 있다. 시스템은 사람의 기분 상태에 대한 당시의 통찰을 제공하기 위해 각각의 가상 세션 동안 가상 세계 환경을 구성하도록 사람에게 요구한다. 시스템은 사람의 선택들 및/또는 수행에 따라 사람의 인지 및/또는 기분 상태들에 대한 통찰을 제공하기 위해 사용자가 목적지들에 방문하고, 태스크들을 수행하고, 환경에 포함된 게임들을 플레이하도록 허용한다.

Description

실제 세계 사용자의 인지 및 기분 상태들을 가상 세계 활동의 함수로서 평가하기 위한 시스템 및 방법
관련 출원과의 상호 참조
본 출원은, 2016년 5월 27일자로 출원된 미국 가특허 출원 제62/342,358호에 대해 35 U.S.C. §119(e) 하에서 우선권 이익을 주장하며, 이로써 상기 출원의 전체 개시내용은 참조로 본 명세서에 통합된다.
기술분야
본 발명은 일반적으로 컴퓨팅 및 컴퓨터 게임들의 분야들에 관한 것으로, 보다 상세하게는 실제 세계 시스템 사용자의 인지 및 기분 상태들을 컴퓨터화된 시스템에 의해 제공되는 가상 세계에서 사용자의 활동의 함수로서 평가하기 위한 컴퓨터화된 시스템에 관한 것이다. 이와 같이, 시스템은 진단, 개입, 또는 다른 목적들을 위해 환자 또는 다른 사람을 모니터링, 평가 및/또는 그와 상호작용하려고 하는 건강 관리 전문가용 도구로서 작용한다.
많은 상황들에서, 진단, 개입, 또는 다른 목적들을 위해 사람들을 모니터링, 평가 및/또는 그와 상호작용할 필요가 있다. 예를 들어, 건강 관리 전문가는 환자의 인지 및/또는 기분 상태들을 평가하기 위해 특정 환자를 모니터링, 평가 또는 그와 상호작용하기를 원할 수 있다. 상이한 상황에서, 직원들, 군사 요원들, 청소년들 등과 같은 특정 그룹 또는 부류의 사람들(반드시 환자들은 아님)을 모니터링, 평가 또는 그와 상호작용하는 것이 바람직할 수 있다. 예를 들어, 청소년들 및 젊은 성인들이 우울증의 증가하는 유병률을 나타낸다는 것이 인식되는 것으로 여겨진다. 그러나, 청소년들 및 젊은 성인들에 대한 연간 물리적 조사들은 전형적으로 잠재적인 우울 상태들을 스크리닝하지 않는다. 또한, 즉석(ad hoc) 정신과 평가들은 인지된 스티그마, 환자/후견인 거부 등으로 인해 발생할 가능성이 없다. 또한, 임의의 그러한 평가는 임의의 장기 모니터링 없이 본질적으로 적시의 스냅샷이다.
연령에 관계없이, 환자들은 종종 자신들의 "상태"에 위협이 될 때 정신과 방문을 고려하는 것으로 관찰되었다. 그 결과, 건강 관리 전문가와 환자의 토론 및 상호작용이 종종 감시된다. 따라서, 그러한 상호작용들은 개방되고 솔직하지 않은 경향이 있으며, 이는 부정확한 평가들로 이어질 수 있다. 또한, 그러한 방문들은 종종 미리 스케줄링되는 주에 스케줄링되는 약속들인 경향이 있으며, 따라서 장기간에 걸쳐 지속되거나 일정하지 않을 수 있는 산발적인 기분 상태들을 캡처 및 평가하는 데 효과적이지 않은 경향이 있다.
또한 여전히, 암시적 연관성에 대한 연구는, 환자들이 임상의와의 전통적인/직접적 인터뷰에 비해 온라인 환경에서 더 빈번하게 그리고 자유롭게 자신들의 웰빙 상태에 대한 질문들에 응답한다는 것을 보여주었음이 이해된다.
실시간으로 그리고 장기간에 걸쳐 모니터링 및/또는 평가를 제공하고, 개방되고 솔직한 상호작용을 촉진하여 정확한 평가들을 지원하고/하거나, 특히 청소년들 및 젊은 성인들에 대해 정신과 평가와 연관된 임의의 인지된 스티그마를 회피하는, 액세스가능하고 방해받지 않는 사람의 인지 및 기분 상태들을 평가하기 위한 시스템 및 방법 이 요구된다.
본 발명은 실제 세계 사용자의 인지 및 기분 상태들을 가상 세계 환경에서 활동의 함수로서 평가하기 위한 시스템 및 방법을 제공한다. 가상 세계 환경은 알려진 우울증의 부산물인 인지 편향을 측정하기 위한 상호작용 경험들을 제공하기 위해 사용될 수 있다. 따라서, 가상 세계 환경 애플리케이션에서 그러한 상호작용 경험들의 사용은 우울증을 포함한 전체 평가 인지 및 기분 상태들의 일부로서 사용될 수 있는 추가적인 데이터 요소들을 생성한다. 또한, 비디오 게임 플랫폼 상에서 플레이가능한 비디오 게임(video game)으로서 가상 세계 환경을 구성하는 것은, 특히 청소년들 및 젊은 성인들에 대해, 정신과 의사와의 직접적인 방문보다 덜 겁나고 더 액세스가능한 것을 허용한다. 이는 특히 청소년들 및 젊은 성인들에 대해, 정확한 평가들을 지원하고/하거나 정신과 평가와 연관된 임의의 인지된 스티그마를 회피하는 개방되고 솔직한 상호작용을 촉진한다. 따라서, 본 시스템 및 방법은 MADRS(Montgomery-Asberg Depressing Rating Scale)의 각각의 요소들에 의해 측정되는 바와 같이, 우울증 중증도를 반영할 수 있는 환자의 슬픔 및 비관적 생각들의 정도를 캡처할 수 있는 가상 세계 환경을 제공한다.
또한, 데스크톱, 랩톱, 또는 태블릿 컴퓨터, 또는 스마트폰과 같은 개인용 컴퓨팅 디바이스 상에서 실행가능한 소프트웨어 애플리케이션을 통해 그러한 가상 세계 환경을 제공하는 것은 방해받지 않는 방식으로 용이한 액세스를 허용하고, 실시간으로, 그리고 장기간에 걸쳐 모니터링 및/또는 평가를 가능하게 하고, 이는 더 강건하고 정확한 데이터에 기초한 평가들의 수행을 허용하며, 따라서 더 정확한 인지 및/또는 기분 상태 평가들을 지원한다.
첨부된 도면들을 참조하여 하기의 설명의 이해가 용이하게 될 것이다.
도 1은 본 발명에 따른, 실제 세계 사용자의 인지 및 기분 상태들을 가상 세계 활동의 함수로서 평가하기 위한 시스템들 및 방법들을 구현하는 예시적인 네트워크화된 컴퓨팅 환경의 개략도이다.
도 2는 본 발명에 따른 가상 세계 환경을 제공하는 예시적인 정신적 상태 모니터링 시스템의 개략도이다.
도 3은 본 발명에 따른 가상 세계 환경에서 수집된 상호작용 데이터를 프로세싱하기 위한 예시적인 정신적 상태 평가 시스템의 개략도이다.
도 4는 본 발명에 따른, 실제 세계 사용자의 인지 및 기분 상태들을 반영하는 데이터를 가상 세계 활동의 함수로서 수집하기 위한 예시적인 방법을 도시하는 흐름도이다.
도 5는 본 발명에 따른, 실제 세계 사용자의 인지 및 기분 상태들을 가상 세계 활동의 함수로서 평가하기 위한 예시적인 방법을 도시하는 흐름도이다.
도 6은 본 발명에 따른, 아바타에 대한 사용자 선택가능 성별 및 체형 옵션들의 예시적인 메뉴를 도시한다.
도 7은 본 발명에 따른, 아바타에 대한 사용자 선택가능 얼굴 표정 옵션들의 예시적인 메뉴를 도시한다.
도 8은 본 발명에 따른, 아바타에 대한 사용자 선택가능 헤어 스타일 옵션들의 예시적인 메뉴를 도시한다.
도 9는 본 발명에 따른, 아바타에 대한 사용자 선택가능 세팅 옵션들의 예시적인 메뉴를 도시한다.
도 10은 본 발명에 따른, 인지 성능 및 기분 표시자들을 디스플레이하는 예시적인 그래픽 사용자 인터페이스를 도시한다.
도 11은 본 발명에 따른, 추천된 액션을 디스플레이하는 예시적인 그래픽 사용자 인터페이스를 도시한다.
도 12는 본 발명에 따른, 가상 세계 아바타 디스플레이를 디스플레이하는 예시적인 그래픽 사용자 인터페이스를 도시한다.
본 발명은 실제 세계 시스템 사용자의 인지 및/또는 기분(집합적으로, "정신적") 상태들을 컴퓨터화된 시스템에 의해 제공되는 가상 세계 환경에서 사용자의 활동의 함수로서 평가하기 위한 컴퓨터화된 시스템 및 방법을 제공한다. 본 명세서에 사용되는 바와 같이, 용어 "가상 세계"는 시스템의 사용자가 컴퓨터화된 시스템을 통해 사용자에게 디스플레이되는 사용자 선택가능 특성들을 갖는 캐릭터로 표현되고/되거나 환경의 특성들이 사용자 선택가능하고, 사용자 선택 특성들이 컴퓨터화된 시스템을 통해 사용자에게 디스플레이되는 임의의 컴퓨터 생성 환경을 포함한다. 따라서, 가상 세계 환경은 실제 세계와 닮은 2차원 또는 3차원 컴퓨터 시뮬레이션된 환경일 수 있고, 사용자의 아바타의 2차원 또는 3차원 그래픽 표현에 의해 탐색가능하다. 가상 세계의 탐색은 컴퓨터 게임을 플레이하는 것의 일부일 수 있거나 그렇지 않을 수 있다. 대안적으로, 본 명세서에 사용되는 바와 같은 가상 세계 환경은 그러한 아바타 탐색가능 세계를 포함하지 않을 수 있지만, 오히려 단순히 텍스트/통신 애플리케이션, 단순한 비디오 게임, 생산성 소프트웨어, 또는 사용자의 컴퓨팅 디바이스에서 시스템 사용자의 디스플레이된 표현을 단순히 포함하는 다른 애플리케이션을 포함할 수 있다. 가상 세계 및/또는 아바타는 본 발명에 따른 소프트웨어에 의해 사용자의 컴퓨팅 디바이스에서 사용자에게 디스플레이된다.
본 발명의 일 태양에 따르면, 사용자는 가상 세계와의 상호작용의 각각의 세션 동안, 예를 들어, 사용자가 가상 세계 환경 내에서 사용자의 아바타의 탐색을 수반하는 게임 플레이를 시작하기 위해 사용자가 "앱"을 열 때마다 사용자의 아바타 및/또는 가상 세계 환경을 구성하기 위한 사용자 입력을 제공하도록 요구받는다. 사용자의 입력은 우울증을 포함한 기분 상태의 평가와 관련된 사용자 선택가능 파라미터들에 대해 요구된다. 따라서, 사용자의 선택들은 동일한 관련 파라미터들에 대해 다수의 세션들에 걸쳐 시간 경과에 따라 수집되며, 따라서 사용자는 그 선택들의 함수로서 실시간으로 시간 경과에 따라 모니터링될 수 있다. 예를 들어, 아바타가 사용자를 나타내고 사용자가 아바타의 특성들을 선택하는 것이 허용되는 정도까지, 사용자의 선택들은 사용자의 당시의 기분 상태에 대한 통찰을 제공한다. 유사하게, 가상 환경과 관련된 특성들의 사용자의 선택은 사용자의 당시의 기분 상태에 대한 유사한 통찰들을 제공한다.
본 발명의 제2 태양에 따르면, 가상 세계는 사용자가 사용자의 당시의 기분 상태에 대한 통찰을 제공하는 가상 세계 활동들에 참여하도록 허용하기 위해 미리결정된 로직에 따라 구성되고, 가상 세계와의 사용자의 상호작용이 시스템에 의해 추적된다. 예를 들어, 가상 세계는 정신과 의사 또는 상담자의 사무실, 또는 바를 포함할 수 있고, 그러한 위치들에 대한 사용자의 탐색 및/또는 그러한 위치들에서의 상호작용들이 추적되고 사용자의 당시의 기분 상태의 평가를 지원하는 데 사용될 수 있다.
본 발명의 제3 태양에 따르면, 가상 세계는 인지 및/또는 기분 상태를 평가하는 목적을 위해 임상 또는 다른 세팅들에서 통상적으로 사용되는 유형의 태스크들을 사용자가 수행할 수 있도록 구성된다. 예를 들어, 이것은, 개인적 건강 설문지의 완성, 인지 기능/기분/우울증을 평가하기 위한 임상 세팅들에서 전통적으로 사용되는 유형의 질문들의 세트들을 질문하는 것, 게임들을 플레이하는 것, 또는 기억 태스크들, 하노이의 탑 태스크, 반사작용 시간을 캡처하는 태스크들과 같은 인지 기능을 테스트하기 위해 통상적으로 사용되는 태스크들을 수행하는 것을 수반할 수 있다. 시스템은 가상 세계 환경 내에서 또는 외부에서 이들 태스크들을 제공할 수 있다.
사용자는 시스템을 사용하기 위해 (건강 관리 제공자에 의해 또는 시스템에 의해) 지시받을 수 있고, 가상 세계 환경과 상호작용하고/하거나 반복적으로, 예컨대, 8 주 동안 2X/주마다 하나 이상의 태스크들을 수행할 수 있어서, 베이스라인이 확립될 수 있고, 이어서 성능이 베이스라인에 비교될 수 있고/있거나 시간 경과에 따른 변화들이 식별될 수 있다. 사용자의 상호작용들을 표현하는 데이터는 건강 관리 제공자에 의한 인지 및/또는 기분 상태 평가를 지원하기 위해 건강 관리 제공자에게 제공되는 보고를 생성하고, 시스템에 의해 데이터의 자동화된 분석의 결과로서 건강 관리 제공자에게 경보를 트리거하기 위해 사용될 수 있고/있거나 시스템이 미리결정된 규칙들 및/또는 로직에 따라 인지 및/또는 기분 상태의 자기 자신의 자동화된 평가를 렌더링하도록 시스템에 의해 분석될 수 있다.
이제 도 1을 참조하면, 실제 세계 사용자의 인지 및 기분 상태들을 가상 세계 활동의 함수로서 평가하기 위한 시스템들 및 방법들을 구현하기 위한 예시적인 네트워크화된 컴퓨팅 환경(10)의 개략도가 도시되어 있다. 도 1에 도시된 바와 같이, 사용자(또는 플레이어)(20)는 본 발명에 따른 정신적 상태 모니터링 시스템(MSMS)(100)을 통해 제공되는 가상 세계 환경과 상호작용한다. MSMS(100)는, 본 명세서에 설명된 특수 목적 MSMS로서 범용 컴퓨팅 디바이스들을 구성하는 특수 목적 소프트웨어를 저장 및 실행하는, 데스크톱, 랩톱, 노트북 컴퓨터(100a), 태블릿 PC(100c), 스마트폰(100b), 또는 종래의 컴퓨터 게이밍 시스템(100d), 예컨대, 소니 코포레이션(Sony Corporation)에 의해 제조 및/또는 배포되는 소니 플레이스테이션 또는 마이크로소프트 코포레이션(Microsoft Corporation)에 의해 제조 및/또는 배포되는 마이크로소프트 엑스박스일 수 있는 사용자의 개인용 컴퓨팅 디바이스를 포함할 수 있다. MSMS는 독립형 방식으로 본 명세서에 설명된 가상 세계 기반 시스템을 제공하도록 실행가능한 소프트웨어를 수신 및 저장할 수 있다. 대안적으로, MSMS는 통신 네트워크(50)를 통해 통신하는 클라이언트 디바이스로서 작용할 수 있는데, 이때 시스템(200)은 사용자가 상호작용할 수 있는 가상 세계를 제공하는 클라이언트 디바이스에서 그래픽 사용자 인터페이스의 디스플레이를 야기하도록 서버로서 작용한다. 어느 경우든, 데이터는 본 명세서에 설명된 바와 같이 추가 프로세싱, 분석 및/또는 저장을 위해 MSMS(100)로부터 네트워크를 통해 시스템(200)으로 통신될 수 있다.
네트워크화된 환경(10)의 컴포넌트들은 임의의 적합한 유형의 접속 및 종래의 통신 하드웨어 및 소프트웨어를 사용하여 임의의 적합한 구성으로 상호접속될 수 있다. 컴포넌트들은 임의의 적합한 네트워크일 수 있는 네트워크(50)를 통해 또는 직접 접속될 수 있다. 예를 들어, 네트워크(50)의 하나 이상의 부분들은 애드혹 네트워크, 인트라넷, 익스트라넷, 가상 사설 네트워크(VPN), 로컬 영역 네트워크(LAN), 무선 LAN(WLAN), 광역 네트워크(WAN), 무선 WAN(WWAN), 메트로폴리탄(metropolitan) 영역 네트워크(MAN), 인터넷의 일부분, 공중 교환 전화 네트워크(PSTN)의 일부분, 셀룰러 전화 네트워크, 다른 유형의 네트워크, 또는 둘 이상의 그러한 네트워크들의 조합일 수 있다.
네트워크화된 환경(10)의 컴포넌트들은 임의의 적합한 통신 접속들을 사용하여 서로 접속될 수 있다. 예를 들어, 적합한 접속들은 유선(예컨대, DSL 또는 DOCSIS), 무선(예컨대, WiMAX), 및 광학(예컨대, SONET SDH) 접속들을 포함한다. 예를 들어, 하나 이상의 접속들은 인트라넷, 익스트라넷, VPN, LAN, WAN, 셀룰러 전화 네트워크 또는 다른 유형의 접속 또는 접속들의 조합을 포함할 수 있다.
도 2는 본 발명의 예시적인 실시예에 따른 예시적인 MSMS(100)를 도시하는 블록도이다. 도 2로부터 인식될 바와 같이, MSMS(100)는 일반적인 동작을 위한 종래의 하드웨어 및 소프트웨어를 포함한다는 점에서 일반적으로 종래의 것이다. 그러나, MSMS(100)는 운영 체제 소프트웨어(120) 및 네트워크 통신 소프트웨어(130)와 같은 범용 컴퓨팅 시스템의 동작을 가능하게 하는 종래의 소프트웨어 및 본 발명에 따른 적어도 하나의 방법을 수행하기 위한 특수 목적 컴퓨팅 시스템으로서 범용 하드웨어를 구성하기 위한 특수 구성 컴퓨터 소프트웨어 둘 모두를 저장 및 실행하는, 예를 들어, 하나 이상의 프로세서들, 메모리 등과 같은 종래의 하드웨어를 포함하는 특수 목적 컴퓨터 시스템이다.
따라서, 도 2의 MSMS(100)는 공지된 기술들에 따라 프로세서(102)와 프리젠테이션 시스템의 컴포넌트들을 접속시키고 그 사이의 통신을 가능하게 하기 위해 이용되는 마이크로프로세서(CPU)(102)및 버스(104)와 같은 범용 프로세서를 포함한다. 예시적인 MSMS(100)는 버스(104)를 통해 프로세서(102)를, 터치 감응형 스크린, 디지털화된 엔트리 패드 등과 같은 임의의 사용자 인터페이스 디바이스일 수 있는 하나 이상의 인터페이스 디바이스들, 예컨대 키보드(108), 마우스(110), 및/또는 다른 인터페이스 디바이스들(112)에 접속시키는 사용자 인터페이스 어댑터(106)를 포함한다. 버스(104)는 또한 디스플레이 어댑터(116)를 통해 LCD 스크린 또는 모니터와 같은 디스플레이 디바이스(114)를 프로세서(102)에 접속시킨다. 버스(104)는 또한, 솔리드 스테이트 메모리, 하드 드라이브, 디스켓 드라이브, 테이프 드라이브 등을 포함할 수 있는 메모리(118)에 프로세서(102)를 접속시킨다.
MSMS(100)는 예를 들어 통신 채널, 네트워크 카드 또는 모뎀(122)을 통해 다른 컴퓨터들 또는 컴퓨터들의 네트워크들과 통신할 수 있다. MSMS(100)는 로컬 영역 네트워크(LAN)또는 광역 네트워크(WAN) 내의 이러한 다른 컴퓨터들과 연관될 수 있고, 다른 컴퓨터 등과의 클라이언트/서버 배열에서 클라이언트로서 동작할 수 있다. 그러한 구성뿐만 아니라 적절한 통신 하드웨어 및 소프트웨어는 당업계에 공지되어 있다.
이러한 예시적인 실시예에서, 시스템 아키텍처는 본 발명에 따라 MSMS(100)를 특별히 구성하기 위해 MSMS(100)에서 실행가능 소프트웨어 애플리케이션을 이용한다. 따라서, 도 2에 도시된 바와 같이, MSMS(100)는 본 명세서에 설명된 방법들을 수행하기 위해 메모리에 저장된 컴퓨터 판독가능, 프로세서 실행가능 명령어들을 포함하는 가상 세계 엔진(VWE) 애플리케이션(150)을 포함한다. 또한, 메모리는 하나 이상의 하드웨어 또는 소프트웨어 컴포넌트들에서 임의의 특정 실시예와 무관하게, 예시적인 목적들을 위해 예를 들어, 도 2에 논리적으로 도시된 데이터베이스 또는 다른 데이터 저장소(140)에 소정의 데이터를 저장한다. 선택적으로, 다른 소프트웨어 및/또는 데이터가 메모리(118)의 대응하는 데이터 저장소(140)에 저장될 수 있다.
VWE(150)는 사용자(20)가 상호작용할 수 있고 사용자(20)가 입력을 제공할 수 있는 가상 세계 환경을 사용자(20)에게 제공하기 위해 MSMS(100)를 통해 가상 세계의 상태를 효과적으로 생성, 디스플레이 및 달리 관리한다. 가상 세계 상태는 아바타 상태, 비-플레이어 캐릭터(NPC) 상태, 세계 내 객체 상태, 세계 상태(예컨대, 내부 게임 클록들, 세계 환경 세팅들 및 파라미터들), 및 다른 가상 세계 파라미터들을 포함하는 모든 가상 세계 파라미터들을 포함한다. 각각의 사용자(20)는 적어도 가상 세계 내의 사용자의 아바타를 제어하고, MSMS(100)의 입력 하드웨어 및 소프트웨어를 통해 시스템 및 VWE에 입력을 제공한다. 일반적으로, VWE(150)는 사용자(10)로부터 입력들을 수신하고 가상 세계 인터페이스의 디스플레이를 야기한다. 비제한적인 예로서, MSMS(100)는 시스템(200)과 같은 원격 서버가 클라이언트 컴포넌트들에 대한 백엔드 지원을 제공하는 동안 국부적으로 실행되는 온라인 또는 서버 지원 가상 세계의 클라이언트 컴포넌트들을 다운로드하도록 클라이언트 역할로 작용할 수 있고, 게임의 애플리케이션 데이터를 유지하는 것, 사용자로부터의 입력들을 프로세싱하는 것, 가상 세계 로직 및/또는 하나 이상의 사용자들로부터의 입력에 기초하여 게임 상태를 업데이트 및/또는 동기화하는 것, 및 명령어들을 MSMS(100)에 송신하는 것을 담당할 수 있다. 다른 비제한적인 예로서, 사용자(20)가 (예를 들어, 키보드 상에서 타이핑하거나, 마우스 버튼을 클릭하거나, 터치스크린을 탭하거나 MSMS(100)의 조이스틱을 동작시킴으로써) MSMS(100)를 통해 가상 세계에 입력을 제공하기 위해 상호작용할 때마다, VWE의 클라이언트 컴포넌트들은 아래에서 더 상세히 논의되는 바와 같이, 사용자의 입력을 시스템(200)으로 송신할 수 있다.
특히, VWE(150)는 사용자 선택가능 옵션들을 포함하는 가상 세계 경험을 제공하기 위해 본 발명에 따라 특수하게 구성되거나, 사용자의 인지 및/또는 기분 상태를 제시하는 것으로 간주되는 사용자 입력에 대한 기회들을 요청 또는 제시한다. 따라서, 이러한 방식으로, 사용자의 입력은 단지 가상 세계 환경으로 입력되는 것이 아니라, 오히려 사용자의 인지 및/또는 기분 상태들을 평가하는 목적들로 사용될 수 있는 입력이다. 따라서, 본 발명에 따르면, 가상 세계 환경은 사용자의 인지 및/또는 기분 상태들의 평가와 관련된 정보를 수집함으로써, 진단 도구로서 기능하도록 특수하게 구성된다는 점에서 종래의 가상 세계 환경들과 다르다.
본 발명과 일관되게, VWE(150)는 적어도 3개의 로직 컴포넌트들, 즉 아바타 관리 엔진(Avatar Management Engine)(160), 상호작용 엔진(Interaction Engine)(170), 및 태스크 엔진(Task Engine)(180)을 포함한다. 이들 엔진들은 본 발명에 따른, 가상 세계 경험의 소정 태양들을 제어하는 것을 담당하는 로직 컴포넌트들이다.
아바타 관리 엔진(AME)(160)은 사용자가 가상 세계와 상호작용하는 각각의 세션 동안 사용자를 표현하는 아바타를 생성(또는 수정 또는 업데이트)하도록 사용자에게 프롬프트, 및 바람직하게는 요구하도록 동작가능하다. 따라서, 사용자의 아바타는 정적이지 않으며, 다수의 상호작용 세션들에 걸쳐 지속되지 않고, 오히려, 종종 재생성되어, 각각의 재생성은 사용자의 당시의 기분 상태에 대한 통찰을 제공하는 다른 데이터 포인트로서 기능한다. 아래에서 더 상세히 논의되는 바와 같이, AME(160)는 사용자에게 프롬프트하고, MSMS(100)를 통해 AME(160)에 의해 사용자에게 디스플레이되는 그래픽 사용자 인터페이스들을 통해 사용자 입력을 수신한다. 그래픽 사용자 인터페이스는 다양한 아바타 특성들에 대해 사용자로부터의 입력을 요청한다. AME(160)는 그래픽 사용자 인터페이스를 통해 각각의 특성에 대한 다수의 다른 선택들을 포함하는 사용자 선택가능 옵션들의 시각적 또는 텍스트 메뉴를 제시할 수 있다. AME(160)는, 입력이 요청되는 특정 특성들이 사용자의 기분 상태를 평가하는데 유용한 것들로 선택되도록 본 발명에 따라 특수하게 구성된다. 그러한 특성들의 예들은 사용자 명칭, 성별(Gender), 피부색(Skin Tone), 체형/형상(Shape), 키, 얼굴 표정(Facial Expression), 눈 색상(Eye Color), 헤어 스타일(Hair Style), 헤어 색상(Hair Color), 의류 아웃피트(Clothing Outfit), 및 의류 색상(Clothing Color)을 포함한다.
이러한 요소들, 및 그에 응답한 사용자들의 선택들, 및 특히 사용자가 선택할 수 있는 옵션들의 메뉴는, 아래에서 논의되는 바와 같이, 사용자의 당시의 기분 상태를 제시하는 것으로 간주된다. 예를 들어, 성별 선택은 현재의 정신적 또는 감정적 상태를 반영할 수 있다. 예를 들어, 반대 성별의 아바타는 사용자의 실제 성별의 스테레오타입에 비해 사용자가 더 강하거나 더 약하게 보이고 느껴지게 하도록 선택될 수 있다. 추가의 예로서, 체형/형상 선택은 사용자가 물리적으로 어떻게 느끼는지를 반영할 수 있으며, 그 느낌은 크기 값들(키 및 체중)을 통해 투사된다. 이들의 크기 및 강도의 주관적인 감각은 우울을 느낄 때 변경될 수 있다. 우울증의 사람들은, 자신들의 자체-이미지 및 자신들의 바람직하지 않은(예를 들어, 너무 뚱뚱한, 너무 짧은 또는 추하게/기괴하게 보이는) 문제들을 표현하는 "뚱뚱한", "짧은" 또는 "기괴하게 보이는" 아바타들을 비현실적으로 생성하기 더 쉬운 것으로 관찰되었다. 추가의 예로서, 피부, 눈, 헤어 색상 선택들은 정보제공형일 수 있고, 실제 세계 발생들에 매핑하지 않는 옵션들이 포함될 수 있다. 예를 들어, 행복 및 슬픔(예를 들어, "우울한 느낌"에 대한 청색, 또는 "명랑 또는 행복"한 느낌에 대한 황색 등)뿐만 아니라 일부 추상적인 색상들(자주색, 녹색)의 통상적 표현들에 맞는 색상들이 사용자 선택가능 옵션들로서 포함될 수 있다. 색상 중요도(및 기분에 대한 이의 연결)는 "피부" 선택과 가장 관련이 있고, 또한 의류 선택에 관련이 있는 것으로 이해된다. 또한, 의류 선택은 제시적이다. 예를 들어, 우울하거나 슬픈 여성은 배기 탑(baggy top), 청바지, 및 스웨트 셔츠 또는 점퍼를 착용할 가능성이 더 큰 것으로 관찰되었다. 대조적으로, 행복하거나 적극적인 여성은 선호하는 드레스, 보석, 및 청바지를 착용할 가능성이 더 크다. 이러한 의류 선택들은, 울적한 여성이 자신들이 착용하고 있는 것에 덜 노력하거나 또는 아마도 사라지기를 원하고, 좋은 기분인 여성이 자신들의 기분에 매칭하려 시도하고 더 좋게 보이려는 경향이 있음을 의미하는 것으로 간주된다. 로버트 플루트키크(Robert Plutchik)의 감정들에서 반영되는 바와 같이, 로버트 플루트키크의 기본적(기쁨, 신뢰, 공포, 놀람) 및 기본적 반대(슬픔, 혐오, 분노, 예상) 감정들에 대응하는 추가적 의류 색상 옵션들이 제공될 것이다. 따라서, 사용자의 선택들은 사용자의 당시의 기분 상태를 반영할 수 있다. 또한 추가로, 사용자에게는, 인식가능하게는 분노, 혐오, 공포, 행복, 슬픔, 경멸 및 놀람을 표시하는, 1976년에 공개되고 1990년에 개정된 POFA(Paul's Ekman Pictures of Facial Affect) 자극 세트에 적어도 부분적으로 기초할 수 있는 얼굴 표정들의 사용자 선택가능 옵션들이 제시될 것이다.
상호작용 엔진(170)(IE)은 사용자가 가상 세계와 상호작용하는 각각의 세션 동안 환경적 입력들을 제공하도록 사용자에게 프롬프트, 및 바람직하게는 요구하도록 동작가능하다. IE(170)는, 입력이 요구되는 특정 환경적 옵션들이 사용자의 기분 상태를 평가하는데 유용한 것들로 선택되도록 본 발명에 따라 특수하게 구성된다. 따라서, 사용자의 가상 세계 환경은 정적이지 않으며, 다수의 상호작용 세션들에 걸쳐 지속되지 않고, 오히려, 종종 재구성되어, 각각의 재구성은 사용자의 당시의 기분 상태에 대한 통찰을 제공하는 다른 데이터 포인트로서 기능한다. 아래에서 더 상세히 논의되는 바와 같이, IE(170)는 사용자에게 프롬프트하고, MSMS를 통해 IE(170)에 의해 사용자에게 디스플레이되는 그래픽 사용자 인터페이스들을 통해 사용자 입력을 수신한다. 그래픽 사용자 인터페이스들은 다양한 환경적 특성들에 대해 사용자로부터의 입력을 요청한다. 입력이 요청되는 특정 특성들은 사용자의 기분 상태를 평가하는 데 유용한 것들로 선택된다. 그러한 특성들의 예들은 세팅(Setting), 날씨(Weather), 및 배경 음악(Background Music)을 포함한다. IE(170)는 그래픽 사용자 인터페이스를 통해 각각의 특성에 대한 다수의 다른 선택들을 포함하는 사용자 선택가능 옵션들의 시각적 또는 텍스트 메뉴를 제시할 수 있다.
예를 들어, 사용자들은 특정 감정들에 링크된 세팅들을 포함하는 자신들의 아바타에 대해 상이한 가상 세계 환경들을 제시받을 수 있다. 예를 들어, 도시는 고독을 추구하거나 그러한 환경이 제시하는 모든 상호작용들 및 비즈니스를 다루려 하지 않거나 다룰 수 없는 사람들에 의해 선택되지 않을 것이다. "혼자되도록" 탈출할 장소를 찾고 있는 개인들은 열대의 섬, 숲, 또는 고대의 폐허와 같은 장소를 선택할 가능성이 더 클 것이다. 천국의 환경, 무서운 환경 및 다른 세계의 우주 정거장과 같은 다른 더 추상적인 환경 옵션들이 또한 제공될 수 있다.
추가적으로, IE(170)는 가상 세계 환경과의 사용자의 상호작용들을 추적하도록 동작가능하다. 아바타 탐색가능 가상 세계 환경에서, 가상 세계 환경은 바람직하게는 사용자의 기분 상태를 평가하는데 유용한 사용자 선택 활동들에 대한 기회들을 제공하도록 설계된다. 예를 들어, 가상 세계 환경은 정신과 의사 또는 상담자의 사무실, 또는 바와 같은 (예를 들어, 탐색을 통해) 사용자 선택가능 세팅들을 제공하도록 설계된다. 가상 세계와의 사용자의 상호작용들은 IE(170)에 의해 추적된다. 예를 들어, 사용자가 정신과 의사/상담자 또는 바로 탐색하고/하거나 달리 그와 상호작용했음을 IE(170)가 관찰하면, 그러한 관찰들은 사용자의 기분 상태를 평가하는 데 사용될 수 있다. 추가의 예로서, IE(170)는 가상 세계 내의 사용자의 경로를 추적할 수 있고, 사용자의 인지 및/또는 기분 상태들의 평가를 지원하여 예측 또는 자발적 거동을 분석할 수 있다.
태스크 엔진(180)(TE)은 사용자가 시스템과 상호작용하는 하나 이상의 세션들 동안, 예컨대, 가상 세계 환경 내에서 다양한 태스크들을 수행함으로써 사용자가 시스템에 추가적인 입력을 제공하도록 허용, 프롬프트 및/또는 요구하도록 동작가능하다. TE(180)는 허용되고, 촉구되고/되거나 요구되는 특정 입력이 사용자의 인지 및/또는 기분 상태를 평가하는 데 유용한 항목들로 선택되도록 본 발명에 따라 특수하게 구성된다. 아래에서 더 상세히 논의되는 바와 같이, TE(180)는 MSMS를 통해 TE(180)에 의해 사용자에게 디스플레이되는 그래픽 사용자 인터페이스들을 통해 사용자 입력을 수신한다. 그래픽 사용자 인터페이스들은 특정한 미리 정의된 태스크들의 수행과 관련하여 사용자로부터의 입력을 요청한다. 연구는 우울증의 개인들이 주의력, 작동 기억, 실행 기능, 동기 및 처리 속도가 손상된 것을 보여주었다. 따라서, 태스크들은 자신들의 우울증 또는 다른 기분 상태가 인지 프로세스들에 어떻게 영향을 미치는지에 대한 통찰을 개발하도록 선택된다. 따라서, 입력이 요청되는 특정 태스크들은 사용자의 기분 상태 및/또는 사용자의 인지 상태를 평가하는 데 유용한 것들로 선택될 수 있고, 따라서 다양한 표준 인지 테스트들을 모방할 수 있다. 예를 들어, 이것은 TE가 개인적 건강 설문지의 디스플레이, 기분/우울증을 평가하기 위한 임상적 세팅들에서 전통적으로 사용되는 유형의 질문들의 세트, 또는 기억 태스크들, 반사작용 시간을 캡처하는 태스크들 등과 같은 인지 기능을 테스트하는 데 통상적으로 사용되는 유형의 게임 또는 태스크 기반 경험의 전달을 야기하는 것을 수반할 수 있다. TE(180)는 그래픽 사용자 인터페이스를 통해 텍스트 또는 그래픽 기반 시퀀스를 제시하여 그러한 경험들을 전달할 수 있다. 그러한 게임들 또는 태스크들(집합적으로, "태스크들")의 예들이 아래에 설명된다.
간략하게, 아바타 및 가상 세계 환경을 생성 및/또는 구성하기 위한 옵션들의 사용자의 선택들, 및 가상 세계의 사용자 탐색, 게임들의 플레이, 태스크들의 수행, 및 가상 세계와의 및/또는 가상 세계 내의 다른 상호작용들이 VWE(150)에 의해 추적되고, 연관된 데이터가 MSMS(100)의 메모리(118)의 데이터 저장소(140)에 저장(로그)된다. 이어서, 그러한 데이터는, 상호작용 데이터의 함수로서, 추가 분석을 허용하고/하거나 사용자의 인지 및/또는 기분 상태들의 평가를 수행하도록 프로세싱된다. 일부 실시예들에서, 그러한 추가 프로세싱, 또는 그의 적어도 일부분이 MSMS(100)에서 발생할 수 있지만, 시스템의 이러한 예시적인 실시예에서, 그러한 상호작용 데이터는 도 1에 도시된 통신 네트워크(50)를 통해 MSMS(100)에 의해 정신적 상태 평가 시스템(MSAS)(200)으로 송신되며, 여기서 그러한 추가 프로세싱은 아래에서 더 상세히 설명되는 바와 같이 수행된다. 도 3은 본 발명에 따라 MSMS(100)에 의해 제공되는 가상 세계 환경과의 사용자의 상호작용의 결과로서 MSMS(100)에 의해 수집된 상호작용 데이터를 프로세싱하기 위한 예시적인 정신적 상태 평가 시스템(MSAS)(200)의 개략도이다.
게임에서 사용자에 의해 수행되는 모든 상호작용은 "이벤트 기반 아키텍처"에 수집 및 저장된다. 모든 액션은 개별적 이벤트로서 저장된다. 각각의 이벤트 및 모든 이벤트는 최소 4개의 정보 조각들("파라미터들"로 지칭됨), 즉 (1) 이벤트가 발생했을 때(액션이 수행될 때)를 나타내는 날짜/시간 스탬프, (2) 사용자가 게임을 실행하기 위해 사용하고 있는 물리적 디바이스에 고유한 범용 고유 식별자(UUID), (3) 저장된 이벤트의 유형을 나타내는 이벤트 유형 및 (4) 그 이벤트의 고유 인스턴스를 나타내는 이벤트 ID로 저장된다. 이들 4개의 파라미터들과는 별도로, 각각의 이벤트는 이벤트의 유형에 따라 추가적인 파라미터들을 저장할 것이다. 예를 들어, "CustomizationHairChange" 이벤트는 또한 아바타 생성 동안 사용자가 선택한 헤어의 유형을 저장한다.
이제 도 4를 참조하면, 본 발명에 따른, 실제 세계 사용자의 인지 및 기분 상태를 가상 세계 활동의 함수로서 평가하기 위한 예시적인 방법을 도시하는 흐름도(400)가 제공된다. 도 4에 도시된 바와 같이, 이러한 예시적인 방법은 402에 도시된 바와 같이, 사용자에게 액세스가능한 정신적 상태 모니터링 시스템(100)에서 사용자 상호작용 가상 세계(VW) 환경을 제공하는 것으로 시작한다. 이것은 미리 구성된 MSMS(100)를 사용자에게 제공하는 것을 수반할 수 있지만, 바람직하게는 사용자의 MSMS(100a, 100b, 100c, 100d)에 다운로드될 수 있고, MSMS(100)의 디스플레이 디바이스(116)를 통해 미리 구성된 VW 환경을 디스플레이하고, MSMS의 입력 디바이스들(108, 110, 112 등)을 통해 사용자 입력을 수신하고, MSMS의 메모리(118)의 데이터 저장소(140)에 수집된 상호작용 데이터를 저장하고, 수집된 상호작용 데이터를 통신 채널(122)을 통해 적절하게 송신하기 위해 실행될 수 있는, "앱 스토어"를 통해 분배가능한 "앱"과 같은 가상 세계 엔진 소프트웨어(150)를 제공하는 것을 수반한다.
일 실시예에서, 미리 구성된 VW 환경은 아바타 탐색가능 세계를 포함하고, 제공된 환경은 사용자가 가상 세계 환경 내에서 사용자 맞춤형 아바타로 표현되는 단일 사용자 경험이다. 위에서 논의된 바와 같이, 사용자는 프리-로움 용량(free-roam capacity)에서 가상 세계를 탐색하고, 비-인간 캐릭터들과 상호작용하고, 표준화된 건강 및 다른 질문들에 대답하고, 게임들을 플레이하고/하거나 태스크들을 수행할 수 있다.
다음으로, 404 및 406에 도시된 바와 같이, MSMS(100)는 사용자가 새로운 VW 세션을 개시할 때까지 기다린다. 예로서, 사용자는 VWE 소프트웨어(150)를 실행함으로써, 예컨대 VWE 소프트웨어 앱을 새로운 상호작용, 예를 들어, 게임플레이, 세션으로 열어서 새로운 VW 세션을 개시할 수 있다.
사용자가 404에서 새로운 세션을 개시했다고 MSMS(100)가 결정한 후, MSMS(100)는, 408에 도시된 바와 같이, 사용자를 표현하고 개시된 VW 세션 동안 사용자 및 VWE(150)에 의해 사용될 세션 아바타를 구성하기 위한 사용자 선택가능 옵션들의 그래픽 및/또는 텍스트 메뉴들을 포함하는 하나 이상의 그래픽 사용자 인터페이스들을 (자신의 디스플레이 디바이스를 통해) 디스플레이한다. 이는 VWE(150)의 아바타 관리 엔진(160) 컴포넌트의 제어 하에서 수행된다.
사용자는, 건강 관리 제공자에 의해 지향되는 바와 같이, 즉석으로 또는 스케줄링 기반으로 새로운 세션을 개시하기 위해 애플리케이션을 사용할 수 있다. 예를 들어, 사용자를 케어하는 건강 관리 제공자는 할당된 스케줄에 따라 미리 정해진 횟수만큼 세션들에 참여하도록 환자를 처방 또는 "주문"할 수 있다. 바람직하게는, 스케줄은 여러 주의 기간에 걸쳐 복수의 세션들, 및 바람직하게는 6 주 초과에 걸쳐 6개 초과의 세션들을 포함한다. 애플리케이션은 전체로서 애플리케이션에 대한 스케줄링 기반으로 액세스를 제한하도록, 또는 사용자가 게임들 중 하나 이상을 플레이할 수 있기 전에 최소 시간양이 경과하도록 요구하는 것과 같은, 가상 세계의 특정 요소들에의 액세스를 제한하도록 구성될 수 있다.
본 발명과 일관되게, 개시된 VW 환경 세션을 통해 진행하고 그에 참여하기 위해, 사용자는 메뉴들로부터의 옵션들을 선택함으로써 MSMS에 입력을 제공하여 세션 아바타를 먼저 생성하도록 요구되고, 그러한 선택들은 단계(410)에 도시된 바와 같이 아바타 관리 엔진(160)에 의해 데이터 저장소(140)에 로그, 즉 기록 및 저장된다. 예를 들어, 사용자에게는 세션 아바타의 성별, 기분의 얼굴 표정, 헤어 색상, 눈 색상, 피부색, 의류, 및 체형을 선택할 기회가 주어진다. 사용자는 아바타의 머리 및 신체의 비율들을 조정할 수 있다. 도 6은 본 발명에 따른, 아바타에 대한 사용자 선택가능 성별 및 체형 옵션들의 예시적인 메뉴를 도시한다. 도 7은 본 발명에 따른, 아바타에 대한 사용자 선택가능 얼굴 표정 옵션들의 예시적인 메뉴를 도시한다. 도 8은 본 발명에 따른, 아바타에 대한 사용자 선택가능 헤어 스타일 옵션들의 예시적인 메뉴를 도시한다.
VWE(150) 및 세션 아바타를 구성하기 위한 사용자 선택가능 옵션들이 VWE 생성 동안 선택되어 상이한 가능한 사용자 기분 상태들에 대응하는 옵션들을 제공하기 때문에, 세션 시간의 사용자의 특정 선택은 세션 시간에 사용자의 기분 상태에 대한 통찰을 제공한다. 사용자가 장기간(예컨대, 적어도 6 주)에 걸쳐 다수의 세션들에 참여하도록 요구하는 것은, 사용자들의 기분 상태를 반영하는 복수의 데이터 포인트들을 제공하고, 기분 평가에 유용한 종방향 뷰를 제공한다.
다음으로, 이러한 예시적인 실시예에서, 412에 도시된 바와 같이, MSMS(100)는 사용자를 표현하는 이상적인 아바타를 생성하기 위한 사용자 선택가능 옵션들의 메뉴들을 디스플레이한다. 특히, 시스템은 이상적인 상태에서 사용자를 반영하는 "이상적인" 아바타를 생성하도록 사용자에게 프롬프트한다. 또한, 시스템은 414에 도시된 바와 같이 사용자가 세션을 통해 계속하고 진행하도록 사용자가 이상적인 아바타의 생성을 완료할 것을 요구한다. 유사한 메뉴들 및 사용자 선택가능 메뉴 옵션들이 제공되고, 사용자의 선택들은 유사하게 아바타 관리 엔진(160)의 제어 하에서 데이터 저장소 내에 로그된다. 이러한 방식으로, 사용자의 현재 상태와 사용자의 이상적인 상태 사이의 불일치들이 캡처될 수 있다. 예를 들어, 현재 상태에 대한 사용자의 선택들은 슬픈 기분을 나타낼 수 있지만, 이상적인 상태에 대한 사용자의 선택들은 행복한 기분을 나타낼 수 있고, 이는 기분 평가 프로세스에서 유용할 수 있다.
다음으로, 이러한 예시적인 실시예에서, 416에 도시된 바와 같이, MSMS(100)는 개시된 VW 세션에 대한 가상 세계 환경을 구성하기 위한 사용자 선택가능 옵션들의 메뉴들을 디스플레이한다. 또한, MSMS(100)는 개시된 VW 세션에 대한 VW 환경을 구성하기 위해 메뉴들로부터 특성을 선택하고, 418에 도시된 바와 같이 데이터 저장소(140)에 선택들을 저장함으로써 선택들을 로그하도록 사용자에게 요구한다. 이는 VWE의 상호작용 엔진(170)에 의해 수행된다. 예를 들어, 사용자에게 가상 세계에 대한 세팅(예컨대, 도시 거리, 숲, 또는 사막), 가상 세계에 대한 날씨 세팅(예컨대, 햇빛, 비, 또는 눈), 가상 세계에 대한 배경 음악(예컨대, 업비트(upbeat) 튠, 또는 우울한 노래)를 선택하는 메뉴가 제시될 수 있다. 도 9는 본 발명에 따른 사용자 선택가능 VW 세팅들의 예시적인 메뉴를 도시한다. 아바타 옵션들에서와 마찬가지로, VW 환경을 구성하기 위한 사용자 선택가능 옵션들은 VWE 생성 동안 선택되어 상이한 가능한 사용자 기분 상태들에 대응하는 옵션들을 제공한다. 따라서, 세션 시간에 사용자의 특정 선택들은 세션 시간에 사용자의 기분 상태에 대한 통찰을 제공한다.
선택적으로, 상호작용 엔진(170)은 옵션들의 추가적인 사용자 선택가능 메뉴들을 제시할 수 있고, VW 세션으로 진행하기 전에 데이터 저장소(140)에 로그 및 저장되는 추가적인 사용자 입력을 요구할 수 있다. 예를 들어, 일 실시예에서, 가상 세계를 통해 사용자를 따라갈 동반자 캐릭터에 대한 비-플레이어 캐릭터(NPC) 옵션들의 메뉴가 사용자에게 제시된다. 동반자 선택들은 사용자에 의해 보호될 필요가 있을 수 있는 종속적으로 보이는 캐릭터(예컨대, 작은 애완동물같은 캐릭터), 사용자를 보호할 수 있는 지배적 피규어(예컨대, 불을 뿜는 드래곤), 또는 중립적 피규어(예컨대, 로봇)로 선택된다. VW 환경을 구성하기 위한 사용자 선택가능 옵션들은 VWE 생성 동안 선택되어 상이한 가능한 사용자 기분 상태들에 대응하는 옵션들을 제공한다. 따라서, 세션 시간에 사용자의 특정 선택들은 세션 시간에 사용자의 기분 상태에 대한 통찰을 제공한다.
VWE(150) 설계에 따라 "요구된" 입력들에 대한 데이터를 수집한 후, 다음으로, MSMS(100)는 420에 도시된 바와 같이, 예를 들어, 세션 동안 사용자 구성된 VW 환경에서 사용자의 생성된 세션 아바타를 사용자에게 디스플레이함으로써, 사용자가 VW 상호작용을 진행하도록 허용한다. 이것은 MSMS(100)의 디스플레이 하드웨어를 통해 그래픽 사용자 인터페이스를 제공함으로써 VWE에 의해 수행된다. 임의의 선택된 동반자가 유사하게 디스플레이된다. 바람직하게는, 이상적인 아바타는 VW 상호작용 동안 VW 환경 내에 디스플레이되지 않고, 오히려 이상적인 아바타 생성 프로세스의 일부로서만 디스플레이된다. 도 12는 본 발명에 따른, 가상 세계 환경에서 세션 아바타를 디스플레이하는 예시적인 그래픽 사용자 인터페이스를 도시한다. 바람직하게는, (사용자의 사전 선택들에 따른) 사용자의 세션 아바타는 제3자의 뷰로 렌더링된다. 임의의 동반자가 또한 가시적이고 사용자의 세션 아바타 근처에 배향된다.
일 실시예에서, 사용자의 아바타는 가상 세계 환경 전체에 걸쳐 자유롭게 이동할 수 있다. 소정 실시예들에서, 사용자가 따를 수 있는 경로가 경치 내에 제공되거나 또는 사용자는 경로를 벗어나 탐험하도록 선택할 수 있다. VW 환경은 사용자의 인지 및/또는 기분 상태들을 평가하는 데 유용한 상호작용들에 대한 기회들을 제공하도록 설계된다.
따라서, MSMS(100)는 VW 환경 내에서 사용자 지향 활동/상호작용들을 모니터링하고, 데이터 저장소(140)에 데이터를 저장함으로써 활동을 로그한다. 이는 VWE의 상호작용 엔진(170)에 의해 수행된다.
사용자(사용자의 아바타)가 가상 세계를 횡단함에 따라, 아바타는 그가 픽업할 수 있는 코인들에 직면한다. 이러한 코인들/값 토큰들은 가상 세계 환경 내의 아이템들을 구매하는 데 사용될 수 있다. 경로의 미리결정된 부분들은 특정한 미리결정된 태스크들과 연관되어, 그러한 부분들에 도달하는 것은 연관된 태스크를 개시한다. 특정 태스크들은 사용자의 인지 또는 기분 상태에 대한 통찰을 제공하도록 제공된다. 예를 들어, 미리결정된 부분에 디스플레이된 악보는 경험 내의 배경 음악을 변경하도록 하는 사용자에 대한 프롬프트를 개시할 수 있다. "오디오 기분"을 전달할 수 있는 몇몇 노래 옵션들이 있는데, 이들 각각은 사용자의 기분 상태에 대한 통찰을 제공한다. 대안적으로, 미리결정된 부분에 디스플레이된 쇼핑 카트는 경험 내의 아이템들을 구매하도록 하는 사용자에 대한 프롬프트를 개시할 수 있다. 사용자는 사용자의 아바타에 대한 또는 동반자 캐릭터에 대한 음식, 사용자의 아바타에 대한 의류를 구매하거나 아무 것도 구매하지 않는 것으로 선택할 수 있고, 이들 각각은 사용자의 기분 상태에 대한 통찰을 제공한다. 또한, 미리결정된 부분에 디스플레이된 별은 게임을 플레이하거나 태스크를 수행하도록 하는 사용자에 대한 프롬프트를 개시할 수 있고, 이들 각각은 사용자의 기분 상태에 대한 통찰을 제공한다. 또한 추가로, 미리결정된 부분에 디스플레이된 물음표는 환자의 건강 질문에 대답하거나 사용자의 아바타의 외관을 변경하도록 하는 사용자에 대한 프롬프트를 개시할 수 있고, 이들 각각은 사용자의 기분 상태에 대한 통찰을 제공한다. 그러한 태스크들의 제공은 태스크 엔진(180)에 의해 제어되고, 그러한 태스크들과 관련하여 제공되는 사용자의 입력은 태스크 엔진(180)에 의해 데이터 저장소(140)에 로그 및 저장된다.
소정 실시예들에서, 사용자가 VW 환경과 상호작용함에 따라, 사용자에 의해 수행되는 각각의 상호작용은 "이벤트-기반 아키텍처"에 수집 및 저장된다. 모든 액션은 개별적 이벤트로서 저장된다. 각각의 이벤트는 최소 4개의 정보 조각들("파라미터들"로 지칭됨), 즉 (1) 이벤트가 발생했을 때(액션이 수행될 때)를 나타내는 날짜/시간 스탬프, (2) 사용자가 게임을 실행하기 위해 사용하고 있는 물리적 디바이스에 고유한 범용 고유 식별자(UUID), (3) 저장된 이벤트의 유형을 나타내는 이벤트 유형 및 (4) 그 이벤트의 고유 인스턴스를 나타내는 이벤트 ID로 저장된다. 이들 4개의 파라미터들과는 별도로, 각각의 이벤트는 이벤트의 유형에 따라 추가적인 파라미터들을 저장할 것이다. 예를 들어, "CustomizationHairChange" 이벤트는 또한 아바타 생성 동안 사용자가 선택한 헤어의 유형을 저장한다.
예시적인 이벤트들의 작은 샘플 및 각자의 저장된 파라미터들이 아래의 표 1에 제공되어 있다. 파라미터 값들은 데이터 크기 및 복잡성을 감소시키기 위해 "ID들" 로서 저장된다(즉, 모자 선택에 대해 "큰 모자(남성)"를 저장하기 보다는, 나중에 상호참조될 수 있는 룩업 값 ID인 값 "12" 가 저장된다). 파라미터 값 ID의 예시적인 표가 표 2 에 제공되어 있다.
[표 1]
Figure pct00001
[표 2]
Figure pct00002
이러한 예시적인 실시예에서, MSMS(100)는 국부적으로 장기간 데이터를 저장하지 않고, 오히려 (데이터 저장소(140)에서) 메모리 내에 이벤트들의 큐를 구축하고, 적절한 셀 또는 Wi-Fi 또는 다른 통신 채널 신호가 있는 한, 미리결정된 주파수 상에서 정보의 패킷들을 송신한다. 적절한 채널/신호가 없는 경우, MSMS(100)는 하나가 있을 때까지 정보를 메모리에 보유할 것이다. 이어서, MSMS(100)는 도 1에 도시된 바와 같이 통신 네트워크(50)를 통해 정보 패킷을 정보제공형 상태 평가 시스템(200)으로 전송한다. 보다 구체적으로, 데이터는, 인증 및 정확한 데이터 포맷화에 기초하여 정보를 수용 또는 거부하는 게이트키퍼(gatekeeper)로서 작용하고 이어서 이를 적절히 애플리케이션 데이터베이스 및 JSON(JavaScript Object Notation, 원시 이벤트 데이터를 저장하는 데 사용되는 포맷) 데이터 레이크(lake)에 기록하는 클라우드 호스팅된 API(application programmable interface)에 전송된다. 이후에, 다양한 서비스들은 데이터 레이크로부터의 그 데이터를 호스팅된 데이터베이스로 복사하는데, 여기서 데이터는 더 상세히 후술되는 바와 같이, 적합한 데이터 분석 플랫폼을 사용하여 데이터 과학자 및 통계학자에 의해 더 강건하게 분석될 수 있다. 이는 MSMS(100)에 대한 전형적인 개인용 컴퓨팅 하드웨어를 사용하여 제공될 수 있는 것보다 더 강건한 분석을 허용한다.
이제 도 3을 참조하면, 예시적인 정신적 상태 평가 시스템(MSAS)(200)의 개략도가 도시되어 있다. MSAS(200)는 본 발명에 따라 MSMS(100)에 의해 가상 세계 환경에서 수집된 상호작용 데이터를 프로세싱한다. 도 3은 설명의 용이함을 위해 하드웨어의 디스패리티(disparity), 상업적으로 구매가능한 서비스들/하드웨어/소프트웨어의 사용 등과 무관하게 다수의 로직 컴포넌트들을 도시한다. 이제 도 3을 참조하면, MSAS(200)는 본 발명에 따른 통신 엔진(210)을 포함한다. 통신 엔진(210)은 MSDS(100)와의 통신 네트워크를 통한 통신을 담당하여, MSDS(100)의 VWE(150)로부터 상호작용 데이터, 예컨대 이벤트 데이터를 수신한다. 통신 엔진(210)은, VWE(150)를 인증하고 이러한 실시예에서 기준 이벤트 기반 아키텍처에서 포맷화되는 상호작용 데이터를 포함하는 송신된 데이터 패킷들을 수용하기 위한 인증 엔진(212)을 포함한다. 비제한적인 예로서, 통신 엔진(210)은 적어도 부분적으로, node.js로 기록된 클라우드 호스팅된(예컨대, Apigee) API 서비스에 의해 구현될 수 있다. 통신 엔진은 이벤트 추적 엔진(214)및 프로파일 생성 엔진(216)을 포함한다. 프로파일 생성 엔진(216)은 사용자가 최초로 데이터 저장소(220)에서 연관된 사용자 프로파일 데이터(222)를 플레이 및 저장할 때 새로운 사용자를 생성한다. 프로파일 생성 엔진(216)은 적어도 부분적으로 createUser API 서비스에 의해 구현될 수 있다.
이벤트 추적 엔진(214)은 상호작용 데이터를 추적하고, 데이터 저장소(220)에 원시 데이터(224)로서 원시(예컨대, JSON) 상호작용 데이터를 저장한다. 이벤트 추적 엔진(214)은 적어도 부분적으로, trackEvent API 서비스에 의해 구현될 수 있다. 예를 들어, 원시 데이터(224)는 원시 포맷으로 API trackEvent 서비스를 통해 VWE 앱으로부터 전달된 JSON 이벤트들을 저장하는 클라우드 호스팅된(예컨대, Apigee) 카산드라(Cassandra) 데이터베이스에 기록될 수 있다. 또한, 이러한 실시예에서, 이벤트 추적 엔진(214), 예를 들어 trackEvent 서비스는 원시(예컨대, JSON) 데이터를 S3 JSON 레이크와 같은 이벤트 데이터 데이터 저장소(226)에 기록한다. 이벤트 데이터 데이터 저장소(226)는 API 서비스에 의한 보안 인증을 통해 외부에 있는 외부 네트워크들로부터 액세스가능한 VWE의 가상 사설 클라우드(VPCx) 환경의 유일한 부분이다. 이벤트 데이터는 카산드라 앱 데이터베이스에 기록되는 것과 동시에 API trackEvent 서비스에 의해 이러한 스테이징 그라운드에 원시 JSON 포맷으로 기록된다.
MSAS(200)는 또한 데이터 변환 엔진(230)을 포함한다. 데이터 변환 엔진(230)은 ETL(추출, 변환, 로드) 서비스(예를 들어, 람다(Lambda) ETL)로서 구현될 수 있는데, 이는 이벤트 데이터 데이터 저장소(226) 내의 새로운 데이터를 스케줄링 기반으로 검색하여, 발견된 때 새로운 데이터가 예를 들어, 원시 JSON 포맷으로부터 관계형 데이터베이스(예컨대, 아마존 레드시프트 데이터 웨어하우스)에 기록될 수 있는 포맷으로 변환되게 하는데, 이는 이러한 관계형 데이터베이스가 예를 들어, JSON보다 더 큰 통계적 분석 능력들을 허용하기 때문이다. 그러한 데이터 변환들을 수행하기 위한 시스템들 및 방법들은 본 기술 분야에 그리고 본 발명의 범주 밖에서 잘 알려져 있다. 데이터 변환 엔진(230)은, 변환된 데이터를 이벤트 데이터 웨어하우스(232)에 추가로 기록하며, 이벤트 데이터 웨어하우스(232)는 아바타 이벤트 데이터를 원시 JSON 포맷 대신에 관계형(표) 포맷으로 저장한다. 이벤트 데이터 웨어하우스에서, 그리고 관계형 데이터베이스 포맷에서, 단일 사용자 및 많은 사용자들에 대한 상호작용 데이터는, 예를 들어, 단일 사용자에 대한 및/또는 다수의 사용자들에 대한 및/또는 사용자들에 걸친 인지 및 기분 상태 평가들을 수행하기 위해, 추가 데이터 프로세싱에 매우 적합한 포맷으로 저장된다.
MSAS(200)는 특징부 추출 엔진(234)을 추가로 포함한다. 특징부 추출 엔진(234)은 공통 데이터 과학 관습에서와 같이, 실질적 분석 전에 자동화된 차원성 감소를 수행하기 위해 데이터를 전처리한다. 선택적으로, 특징부 추출 엔진(234)은 파이썬(Python)에 기록된 일련의 스케줄링된(자동화된) '특징부 추출기들'을 실행하도록 셋업되는 AWS(Amazon Web Services) EC2(Elastic Compute Cloud) 엔진을 통해 구현될 수 있다. 특징부 추출 엔진(234)에 의한 프로세싱의 최종 결과는, 데이터가, 원시 데이터로부터, 분석을 수행하는 데이터 과학자들/건강 관리 전문가들이 관심있는 데이터의 특징부들만을 포함하는 데이터의 서브세트로 변환된다는 것이다. 전처리는 더 관리가능하고 관심있는 정보만을 포함하는 더 작은 데이터 세트를 생성한다.
또한, MSAS(200)는 데이터 분석 엔진(236)을 포함한다. 데이터 분석 엔진(236)은 원하는 실질적 데이터 분석을 수행한다. 선택적으로, 데이터 분석 엔진(236)은 데이터 과학자들 및 통계학자들에 의한 원격 로그인을 위해 셋업되는 공유된 AWS EC2 엔진의 성질에서 데이터 과학 가상 기계로서 구현될 수 있고, 데이터 과학 팀들에 의한 계획된 및 즉석 분석들 또는 데이터 가상화들을 수행하기 위해 요구되는 소프트웨어 및 툴들을 구비할 수 있다. 이러한 EC2 엔진은 개인용 데스크톱 또는 랩톱 시스템들보다 훨씬 더 강력하며, 따라서 로컬 기계들보다 더 짧은 시간양으로 더 복잡한 분석들을 수행할 수 있다. 이는 또한 레드시프트 DB 및 S3 JSON 레이크와 동일한 VPCx 인스턴스 내에 존재하며, 이는 분석될 이벤트 데이터에 직접 그리고 신속한 액세스를 갖는다는 것을 의미한다.
소정 실시예들에서, 데이터 분석 엔진(236)은, 가상 세계 환경(아바타 생성/수정, 가상 세계 탐색, 게임들, 태스크들 등을 포함함)과의 사용자의 상호작용 동안 그 사용자의 MSMS(100)에 의해 수집되는 상호작용 데이터에 따라 그 사용자의 인지 및 기분 상태들의 자동화된 평가들을 수행하는 본 발명에 따른 미리 구성된 소프트웨어를 포함한다. 데이터 분석 엔진(236) 내부의 미리결정된 로직에 따라, DAE는 미리결정된 규칙에 따라, 건강 관리 제공자의 통지를 요구하는 평가를 할 수 있다. 이는, 예를 들어, 사용자의 특정 인지 또는 기분 상태를 고려하여 개입이 요구되거나 권고가능한 경우일 수 있다. 그 경우에, 데이터 분석 엔진은 통지 엔진(238)과 통신하며, 통지 엔진(238)은 사용자별 또는 조직별로 후속하는 미리결정된 통지 규칙들을 수행함으로써 경보, 보고, 또는 이메일 통지를 송신할 수 있다. 데이터 분석 엔진이 결론에 도달하지만 개입이 요구되거나 권고가능하다고 결정하지 않는 경우, 데이터 분석 엔진은 이어서 보고 엔진(240)과 통신하며, 보고 엔진(240)은 사용자별 또는 조직별로 미리결정된 규칙들에 따라 암호화된 이메일 또는 다른 지정된 보안 데이터 송신 포맷을 통해 보고를 송신할 수 있다.
이제 도 5를 참조하면, 본 발명에 따른, 실제 세계 사람의 인지 및 기분 상태를 가상 세계 활동의 함수로서 평가하기 위한 예시적인 방법을 도시하는 흐름도(500)가 도시되어 있다. 이제 도 5를 참조하면, 방법은 502에 도시된 바와 같이 가상 세계 환경과의 사용자의 상호작용으로부터 인지/기분 평가 관련 상호작용 데이터를 수집하기 위한 특수하게 구성된 가상 세계 환경을 제공하기 위한 가상 세계 엔진(150)을 포함하는 정신적 상태 모니터링 시스템(MSMS)(100)을 제공하는 것으로 시작한다. 이는 도 4를 참조하여 위에서 상세히 설명되었다.
방법은, 504에 도시된 바와 같이, MSMS(100)에 의해 수집된 상호작용 데이터를 프로세싱하기 위한 정신적 상태 평가 시스템(MSAS)(200)을 제공하는 단계를 추가로 포함한다. 예시적인 MSAS(200)는 도 3을 참조하여 전술되었다.
다음으로, 방법은, 506에 도시된 바와 같이, 예컨대 통신 네트워크(50)를 통해, 사용자 동작 MSMS(100)에 의해 수집 및 로그된 사용자에 대한 상호작용 데이터를 MSAS(200)에서 수신하는 단계를 포함한다.
다음으로, 방법은 508 및 510에 도시된 바와 같이, 사용자의 인지 및/또는 기분 상태를 평가하기 위해 상호작용 데이터를 프로세싱하는 단계를 포함한다. 이는 도 3을 참조하여 전술된 바와 같이 수행될 수 있다. 특히, 사용자의 인지 및/또는 기분 상태를 결정하기 위한 프로세싱은 사용자 선택 옵션들을 식별하기 위해, 사용자 선택 옵션들과 연관되는 연관된 기분 표시자들을 식별하기 위해, 인지 성능 테스트들에 대한 인지 성능을 평가하기 위해, 사용자의 기분의 표시자들과의 이러한 상호작용들의 연관성에 따라 기분 및/또는 인지 상태들을 가상 세계에서 사용자의 상호작용들의 함수로서 평가하기 위해 상호작용 데이터를 프로세싱하는 것을 수반한다. 이러한 단계는 MSAS(200)의 하나 이상의 로직 컴포넌트들에 의해 수행될 수 있고, 이러한 예시적인 실시예에서, 미리결정된 규칙들 및 로직에 따라 데이터 분석 엔진(236)에 의해 수행된다. 임의의 적합한 규칙들 및 로직이 이러한 목적을 위해 사용될 수 있다.
다음으로, MSAS(200)는 512에 도시된 바와 같이 개입이 보장되는지 여부를 결정한다. 이는 데이터 분석 엔진(236)의 내부에 있는 미리결정된 규칙들 및 로직에 따라 데이터 분석 엔진(236)에 의해 수행된다. 개입이 보장되면, 데이터 분석 엔진(236)은 전술된 바와 같이 통지 엔진(238)이 건강 관리 제공자에게 경보를 발행하게 하기 위해 통지 엔진(238)과 통신한다. 개입이 보장되지 않으면, 이어서 데이터 분석 엔진(236)은 보고 엔진(240)과 통신하여, 사용자의 인지 및/또는 기분 상태들의 자동화된 평가, 및/또는 사용자의 인지 및/또는 기분 상태들의 독립적인 평가를 수행하기 위해 건강 관리 제공자에 의해 사용될 수 있는 정보를 포함하는 보고를 발행한다.
따라서, 본 명세서에 설명된 시스템들 및 방법은 현대 생활에 적합한, 향상된 툴들의 세트에 의한 환자/의사 경험을 제공한다. 결합된 전달 방법을 넘어서, 데이터 수집 및 분석이 또한 유익하다. 보다 구체적으로, 가상 세계 상호작용의 변수들의 미리결정된 세트가 추적되고 수집되어, 분석되고, 진단 기구를 생성하기 위한 표준 임상 시험에서 잠재적으로 연구된다. 또한, 가상 세계 환경은, 스티그마를 회피하고, 개방되고 솔직한 토론을 촉진하는 방식으로, 가상 세계 세션을 통해/동안 환자를 건강 관리 제공자에게 연결하기 위한 연결 인터페이스로서 사용될 수 있다.
가상 세계 세션들/상호작용들(및 연관된 소프트웨어)은 건강 관리 제공자, 1차 케어 의사 또는 정신과 의사에 의해 환자에게 처방될 수 있다. 가상 세계와 상호작용함으로써, 다양한 속성들이 수집된다. 이들 속성은 속도, 기억, 유연성, 문제 해결 및 기분을 포함한다. 또한, 표준 건강 질문들은 일반적으로 수용하는 관습 PHQ-9에 따라 질문될 수 있다. 또한, 환자는 달성 배지들을 수집함으로써 가상 세계 세션들을 계속하도록 장려된다. 가상 세계 세션 상호작용들을 통해, 직접적 환자-의사 건강 방문들을 보조하기 위한 보고들이 생성된다. 환자/사용자 수행 통계들이 로그되고, 보고에서 환자 또는 건강 관리 제공자에게 제공될 수 있다. 도 10 및 도 11을 참조한다.
또한, 수집된 벌크 데이터는 값을 갖는다. 데이터 웨어하우스들에 저장된 벌크 데이터는 더 큰 건강 관리 기관들에 적용될 수 있고, 전달은 구독 기반일 수 있다. 건강 관리 기관은 게임에 대한 환자 라이센스들의 수를 선택하고 플레이할 환자들에 대해 처방할 수 있다. 수집된 데이터는 맞춤가능한 방식으로 건강 관리 기관에 송신될 수 있다. 또한, 데이터는 가상 세계 세션들을 추가로 향상시키고 가상 세계 치료법에서 연속적인 개선을 생성하기 위해 추가의 알고리즘 데이터 마이닝(mining)을 목적으로 사용될 수 있다.
원격의료 플랫폼: 우울증은 많은 젊은 사람들에게 미진단되는데, 그 이유는 그들이 자신들의 감정들에 관해 건강 관리 제공자와 대화를 하는 것이 어려움을 발견하기 때문이다. 그 결과 이들의 증상이 악화되어 자신들 및 다른 사람들에게 위험이 될 수 있다. 우울증을 앓고 있는 환자들은 부정적인 결과들을 예상하여 얼굴들에 대한 부정적인 반응이 통상적이며, 소위 '부정적 주의 편향'으로 지칭된다. 주요 우울 장애(MDD)를 갖는 추가적 환자들은 진정 시에도 모든 사람을 위협적으로 보며 아플 때에는 더 심각하다. 따라서, 시스템은 환자가 게임을 통해 말함으로써 건강 관리 제공자와 '실시간' 연결되도록 허용하는 원격의료 플랫폼으로서 사용될 수 있다. 건강 관리 제공자는 게임에서 다른 아바타로서 또는 동반 사용자로서 마스킹될 수 있다. 환자 또는 HCP는 우울증 재발점(point of depression relapse)에서 말하기 위한 매체로서 가상 세계 환경을 사용하여 언제든지 대화를 개시할 수 있다. 아바타들의 사용은 얼굴들, 즉, 부정적 주의 편향의 제거를 제공하며, 확립된 원격의료 네트워크들을 통해 24-7-365 접촉을 허용한다.
게임들 및 태스크들의 예들
버블 팝 게임: 이러한 게임에서, 사용자들은 MSMS의 디스플레이 스크린에서 버블들이 떨어지기 전에 다양한 색상들의 버블들을 터뜨려야 한다. 각각의 색상의 버블은 이들을 터뜨리기 위해 상이한 유형의 액션(예컨대, 단일 탭, 스와이프, 더블 탭)을 요구한다. 각각의 게임은 오직 하나의 색상의 버블이 존재하는 것으로 시작되며; 플레이가 계속됨에 따라 한번에 하나씩 추가적인 색상들이 추가된다. 게임은 사용자가 10개의 에러(누락된 탭들, 버블에 있지 않은 탭들, 또는 잘못된 유형의 탭)를 행한 후에 종료된다. 이러한 게임은 현재 사용 중인 많은 다른 태스크/규칙 스위칭 태스크들과 유사하다. 이는 태스크들/규칙들 사이에서 스위칭하는 사용자의 능력뿐만 아니라 작동 기억(규칙 대 색상 매핑을 기억함), 억제, 및 운동 속도를 측정한다. 임의의 에러들의 유형을 포함하는 각각의 버블에 대한 반응 시간 및 정확도가 TE(180)에 의해 추적된다. 각각의 액션에 대한 스크린 상에서 각각의 유형의 버블들의 수 및 총 플레이 시간이 또한 TE(180)에 의해 추적되고 데이터 저장소(140)에 저장된다.
두더지 잡기 게임: 이러한 게임에서, 두더지들이 구멍들 밖으로 나오고, 사용자는 장난감 망치로 이들을 잡아야 한다. 이러한 게임에서, 두더지 또는 포큐핀 중 어느 하나가 나올 수 있는 3개의 구멍이 있는 3개의 행들에 9개의 구멍들이 있다. 사용자들은 모든 두더지들을 탭해야 하지만, 포큐핀들을 터치해서는 안된다. 동물들은 게임 전체에 걸쳐 가변 위치들에 및 가변 시간들에 나온다. 스크린 상의 동물들의 출현 속도 및 횟수는 플레이기 계속됨에 따라 증가한다. 이러한 게임은 주의적 경계, 억제, 및 운동 속도를 측정한다. 반응 시간, 각각의 동물에 대한 정확도, 각각의 탭에서 스크린 상의 동물들의 수, 및 스크린 상의 동물들의 최고 수가 TE(180)에 의해 추적되고 데이터 저장소(140)에 저장된다.
정확한 타일 게임: 이러한 게임은 계속 변하는 규칙에 따라 착색된 정사각형들(적색, 청색 또는 오렌지색)을 탭하는 것을 수반한다. 전체 벽이 좌측으로 스크롤됨에 따라 3개의 타일들의 열들이 우측에 추가된다. 어떤 색상의 정사각형이 탭되어야 하는지를 나타내기 위해 착색된 막대들이 산발적으로 출현한다. 정사각형들은 좌측에서 우측으로 순서대로 탭되어야 한다. 타일들의 스크롤 속도를 증가시킴으로써 게임 동안 난이도 레벨이 증가된다. 게임 플레이는 잘못된 색상 또는 잘못된 위치 중 어느 하나의 5개의 잘못된 타일들이 탭될 때까지 계속된다. 이러한 태스크는 사용자들이 태스크에 대한 규칙들을 스위칭하고 업데이트하는 능력, 새로운 타겟들을 검출하기 위한 자신들의 주의적 경계, 무효인(가능하게는 이전에 유효인 것을 통한) 타일들에 대한 자신들의 억제, 및 운동 속도를 측정한다. 이러한 게임에서, 반응 시간, 각각의 타일에 대한 정확도, 규칙 변경 후의 보속증(perseveration)의 양, 및 모든 에러들(색상 또는 위치)에 대한 에러 유형, 및 각각의 액션 포인트에서 타일들의 속력이 TE(180)에 의해 추적되고 데이터 저장소(140)에 저장된다.
속도 포장 게임: 이러한 게임에서, 사용자들은 닫히기 위해 서로 접힐 필요가 있는 상이한 층들을 갖는 슈트케이스를 제공받는다. 각각의 층은 그리드로 레이아웃되고, 그 안에 객체들의 세트(책들, 머그들 등)를 갖는다. 닫기 위해, 각각의 객체는, 닫힐 때, 임의의 다른 객체들에 의해 점유되지 않을 공간에 있어야 한다. 각각의 레벨은 황색으로 착색되고 유효 공간에 있지 않은 하나의 객체를 포함하는 하나의 층을 갖는다. 사용자들은 이러한 강조된 객체를 황색 층 내의 다른 공간들 중 하나로 이동시켜야 한다. 그들이 객체를 유효 공간(즉, 슈트케이스가 닫힐 때 임의의 다른 객체들에 의해 점유되지 않을 것임)으로 이동시키는 경우, 슈트케이스는 자동으로 닫힐 것이고 새로운 슈트케이스가 출현할 것이다. 무효인 공간이 선택되면 아무것도 발생하지 않는다. 사용자들은 자신들이 할 수 있는 한 많은 슈트케이스들을 완료하기 위한 소정 시간양을 갖는다. 각각의 층에 추가적인 층들 또는 더 많은 객체들을 추가함으로써 게임이 진행함에 따라 슈트케이스들의 복잡성이 증가된다. 이러한 태스크는 공간적 계획, 의사 결정, 및 정신적 회전(작동 기억의 하위 기능)을 측정한다. 반응 시간, 사용자가 행하려 시도한 각각의 이동에 대한 정확도, 각각의 레벨에서 완료된 슈트케이스의 난이도, 및 성공적으로 완료된 슈트케이스들의 총 개수가 TE(180)에 의해 추적되고 데이터 저장소(140)에 저장된다.
하노이의 탑 게임: 이러한 게임에서, 사용자들은 한 세트의 페그(peg)들 및 한 세트의 상이한 크기의 디스크들을 제시받고, 이들 모두는 하나의 PEG 상에 크기 순서(가장 작은 것이 상부)로 적층된다. 이들의 태스크는 시작 페그로부터 상이한 페그로 디스크들의 스택을 이동시키는 것이다. 사용자들은 한 번에 오직 하나의 디스크를 이동시킬 수 있고, 더 작은 디스크의 상부에 더 큰 디스크를 둘 수 없다. 이러한 태스크는 실행 기능, 공간적 계획, 및 의사 결정을 측정한다. 각각의 이동에 대한 반응 시간, (알려진 최소 횟수와 비교하여) 각각의 레벨에 대한 총 이동 횟수, 시도된 불법 이동들의 횟수, 보속적 이동들의 횟수(동일한 2개의 페그들로부터 앞뒤로 이동함), 및 완료까지의 전체 시간이 TE(180)에 의해 추적되고 데이터 저장소(140)에 저장된다.
카드 시퀀스 게임: 이러한 게임은 심리적 및 인지 문헌에서 n-백 태스크로 알려진 직렬 기억 태스크이다. 사용자들은 한 번에 하나씩 일련의 카드들을 제시받고, 현재 카드가, 자신들이 이전에 n 개의 공간들(예를 들어, 1, 2, 3개의 공간들)을 본 것과 매칭하는지 여부를 각각의 포인트에서 질문받는다. 사용자들은 각각의 카드에 대해 예 또는 아니오를 탭한다. 사용자들은 1-백(back)에서 시작하고, 현재 카드가 이전 카드와 매칭하는지 여부를 보고한다. 플레이가 진행됨에 따라, 사용자가 기억할 필요가 있는 카드들의 수는 증가한다. 각각의 n-백 레벨은 각각의 증가 후 시작을 기억할 새로운 일련의 카드들을 이용하여 게임에서 별도의 레벨로서 취급된다. 사용자는 3개의 실수가 행해질 때까지 플레이한다. 이는 개인이 특징성(아이덴티티) 정보를 얼마나 잘 저장할 수 있는지 뿐만 아니라 이들이 게임의 태스크/규칙들에서 시프트들에 얼마나 잘 적응할 수 있는지를 측정하는 전통적인 시각적 단기(또는 작동) 기억 태스크이다. 각각의 카드에 대한 반응 시간, 각각의 카드에서의 정확도, 및 임의의 에러들에 대해, 에러의 유형(오류 알람, 미스, 이전 규칙에 대한 보속증 등)이 TE(180)에 의해 추적되고 데이터 저장소(140)에 저장된다.
카드 기억 게임: 이러한 게임은 사용자가 보고 기억할 일련의 카드들이 위로 펼쳐져 있는 전통적인 게임에 기초한다. 카드들 상에 다수의 상이한 이미지들이 있지만(여기서는 6개의 상이한 카드 유형들을 가짐), 각각의 카드는 세트 내에서 동일한 매칭을 갖는다. 짧은 시간 후에, 이어서 모든 카드들은 뒤집히고, 사용자는 매칭된 쌍들을 찾아야 한다. 각각의 턴마다 사용자는 하나의 카드를 클릭하고, 이어서 이 카드가 보이도록 뒤집혀진다. 사용자들은 이어서 제2 카드를 클릭하고, 이는 또한 뒤집혀진다. 이러한 제2 카드가 매칭되는 경우, 카드들 둘 모두가 사라지고; 그렇지 않으면, 둘 모두는 다시 뒤집힌다. 모든 매칭들이 발견될 때까지 플레이가 계속된다. 이러한 게임은 특징성(아이덴티티) 및 공간(위치) 정보 둘 모두를 기억하는 것을 요구하는 표준 시각적 단기 기억(작동 기억으로도 알려짐) 태스크이다. 각각의 카드를 선택하기 위한 반응 시간, 각각의 턴의 정확성, 및 보속증(동일한 카드(들)의 계속적인 선택)의 양이 TE(180)에 의해 추적되고 데이터 저장소(140)에 저장된다.
장애물 회피 게임: 이러한 게임에서, 사용자들은 "장애물들(obstacles)"(즉, 회색 볼) 중 임의의 것에 충돌하는 것을 방지하기 위해 보드 주위에서 자신들의 아바타를 이동시켜야 한다. 볼들의 수는 시간이 지남에 따라 증가된다. 게임은 사용자가 3회 충돌했을 때(패배), 또는 플레이 동안 출현하는 코인을 수집하기 위해 아바타를 이동시킬 때(승리) 끝난다. 이러한 게임은 시각적 주의를 평가하는 데 사용되는 다중 객체 추적(MOT) 태스크들에 기초한다. 많은 다른 시각적 주의 태스크들과 달리, 이것은 초점을 분할하고 다수의 아이템들에 동시에 주의할 것을 요구한다. 사용자들이 또한 볼들에 의한 충돌을 방지하기 위해 자신들의 아바타를 이동시켜야 하기 때문에, 이러한 태스크는 또한 공간적 계획의 척도로서 기능할 수 있다. 이러한 게임에서, 생존한 시간 길이, 게임의 승리/패배 상태, 스크린 상에서 가장 많은 수의 볼들, 충돌 횟수, 및 각각의 충돌에 대한 스크린 상의 볼들의 수, 뿐만 아니라 사용자에 의한 아바타의 이동이 추적 및 데이터 저장소(140)에 저장되고 TE(180)에 의해 데이터 저장소(140)에 저장된다.
설문지 태스크: 이러한 태스크에서, 일련의 질문들이 제시되고, 사용자의 응답이 요청 및 저장된다. 질문들은 환자의 현재 기분 및 우울증 증상에 관련된 데이터를 도출하도록 선택된다. 환자의 우울증의 중증도는 잘 검증된 MDD 메트릭인 PHQ9로부터의 질문들을 사용하여 평가될 것이다. TE(180)에 의해 응답들이 추적되고 데이터 저장소(140)에 저장된다.
느낌 태스크: 이러한 태스크에서, 일련의 애니메이션화된 이미지들이 사용자 선택가능 메뉴에서 사용자에게 디스플레이된다. 각각의 이미지는 상이한 감정 상태를 나타내도록 선택된다. TE(180)는 사용자의 현재 기분 상태에 대응하는 이미지에 대한 사용자의 입력을 요청한다. TE(180)에 의해 응답들이 추적되고 데이터 저장소(140)에 저장된다.
추가적으로, 상기 식별된 방법 단계들을 수행하기 위한 컴퓨터 판독가능 코드를 저장하는 컴퓨터 판독가능 매체가 제공된다. 컴퓨터 판독가능 매체는 전술된 방법들을 수행하기 위한 서브프로세스들을 수행하기 위한 코드를 저장한다.
상기 식별된 방법 단계들을 수행하기 위한 컴퓨터 판독가능 매체 상에 기록된 컴퓨터 프로그램 제품이 제공된다. 컴퓨터 프로그램 제품은 전술된 방법들을 수행하기 위한 컴퓨터 판독가능 수단을 포함한다.
따라서 본 발명의 몇몇 특정 실시예들을 설명하였지만, 다양한 변경들, 수정들 및 개선들이 당업자에게 용이하게 착안될 것이다. 본 개시내용에 의해 명백한 바와 같은 그러한 변경들, 수정들 및 개선들은 본 명세서에 명시적으로 기술되지 않지만 본 설명의 일부인 것으로 의도되며, 본 발명의 사상 및 범주 내에 있는 것으로 의도된다. 따라서, 전술한 설명은 단지 예시적이며 제한적이 아니다. 본 발명은 오직 하기의 청구범위 및 그 등가물에 정의된 바와 같이 제한된다.

Claims (20)

  1. 사람의 정신적 상태를 평가하기 위한 컴퓨터화된 평가 시스템으로서,
    프로세서;
    디스플레이 디바이스;
    메모리; 및
    상기 메모리에 저장되고, 상기 디스플레이 디바이스를 통해 비디오 게임 경험 세션을 사람에게 제공하기 위해 상기 사람의 제어 하에서 아바타에 의해 탐색가능한 가상 세계를 제공하도록 상기 프로세서에 의해 실행가능한 명령어들;
    상기 메모리에 저장되고,
    상기 아바타, 상기 가상 세계 및 상기 비디오 게임 경험 세션 중 적어도 하나의 적어도 하나의 태양을 구성하기 위한 대안적인 옵션들의 메뉴를 상기 디스플레이 디바이스를 통해 디스플레이하고;
    상기 메뉴를 통해 디스플레이되는 상기 대안적인 옵션들 중에서 선택된 적어도 하나의 사용자 선택 옵션을 상기 사람으로부터 수신하고;
    상기 적어도 하나의 사용자 선택 옵션에 따라 상기 비디오 게임 경험 세션, 상기 디스플레이 디바이스를 통해 디스플레이되는 상기 아바타 및 상기 디스플레이 디바이스를 통해 디스플레이되는 상기 가상 세계 중 적어도 하나를 수정하도록 상기 프로세서에 의해 실행가능한 명령어들;
    상기 메모리에 저장되고, 상기 적어도 하나의 사용자 선택 옵션의 함수로서 상기 사람의 정신적 상태를 평가하도록 상기 프로세서에 의해 실행가능한 명령어들을 포함하며;
    상기 시스템은 상기 아바타, 상기 가상 세계 및 상기 비디오 게임 경험 세션 중 적어도 하나의 태양들의 구성에 대한 옵션들의 상기 사람의 선택의 함수로서 상기 사람의 정신적 상태의 자동 평가를 수행하는, 컴퓨터화된 평가 시스템.
  2. 제1항에 있어서,
    상기 메모리에 저장되고, 복수의 비디오 게임 경험 세션들 각각에 대한 상기 적어도 하나의 사용자 선택 옵션을 상기 메모리에 저장하도록 상기 프로세서에 의해 실행가능한 명령어들을 더 포함하고;
    상기 메모리에 저장되고, 상기 사람의 정신적 상태를 평가하도록 상기 프로세서에 의해 실행가능한 명령어들은 상기 복수의 비디오 게임 경험 세션들에 대한 상기 적어도 하나의 사용자 선택 옵션의 함수로서 상기 사람의 정신적 상태를 평가하도록 구성되는, 컴퓨터화된 평가 시스템.
  3. 제1항에 있어서,
    상기 메모리에 저장되고, 상기 디스플레이 디바이스를 통해 상기 사람의 평가된 정신적 상태의 표시를 디스플레이하도록 상기 프로세서에 의해 실행가능한 명령어들을 더 포함하는, 컴퓨터화된 평가 시스템.
  4. 제1항에 있어서,
    상기 메모리에 저장되고, 다른 사람의 통신 디바이스와의 통신 세션을 자동으로 설정하기 위해 사용자 선택가능한 링크를 상기 디스플레이 디바이스를 통해 디스플레이하도록 상기 프로세서에 의해 실행가능한 명령어들을 더 포함하는, 컴퓨터화된 평가 시스템.
  5. 제1항에 있어서,
    상기 메모리에 저장되고, 상기 사람의 평가된 정신적 상태를 식별하는 경보를 통신 네트워크를 통해 건강 관리 제공자 컴퓨팅 시스템에 송신하도록 상기 프로세서에 의해 실행가능한 명령어들을 더 포함하는, 컴퓨터화된 평가 시스템.
  6. 제1항에 있어서,
    상기 메모리에 저장된 복수의 액션들 - 상기 복수의 액션들 각각은 복수의 정신적 상태 평가들 중 적어도 하나와 연관됨 -;
    상기 메모리에 저장되고, 상기 사람의 상기 평가된 정신적 상태에 대응하는 적어도 하나의 추천 액션을 식별하도록 상기 프로세서에 의해 실행가능한 명령어들;
    상기 메모리에 저장되고, 상기 추천 액션을 수행하도록 상기 사람에게 지시하는 정보를 상기 디스플레이 디바이스를 통해 디스플레이하도록 상기 프로세서에 의해 실행가능한 명령어들을 더 포함하는, 컴퓨터화된 평가 시스템.
  7. 사람의 정신적 상태를 평가하기 위한 컴퓨터화된 평가 시스템으로서,
    프로세서;
    메모리;
    디스플레이 디바이스;
    입력 디바이스; 및
    상기 메모리에 저장되고,
    세션 아바타를 구성하기 위한 사용자 선택가능 옵션들의 메뉴를 디스플레이하고 - 상기 사용자 선택가능 옵션들 각각은 각자의 기분 상태를 반영함 -;
    상기 세션 아바타를 구성하기 위해 사용자 입력을 상기 입력 디바이스를 통해 요구하고;
    가상 세계 세션 동안, 상기 세션 아바타를 포함하는 가상 세계 환경을 상기 디스플레이 디바이스를 통해 디스플레이하고;
    상기 세션 아바타에 대한 사용자 선택 옵션들의 함수로서 상기 사용자의 기분을 평가하도록 상기 프로세서에 의해 실행가능한 명령어들을 포함하는, 시스템.
  8. 제7항에 있어서, 상기 메모리에 저장되고 상기 세션 아바타를 구성하기 위한 사용자 선택가능 옵션들의 메뉴를 디스플레이하도록 상기 프로세서에 의해 실행가능한 명령어들은 얼굴 표정들에 대한 옵션들을 디스플레이하기 위한 명령어들을 포함하는, 시스템.
  9. 제7항에 있어서, 상기 메모리에 저장되고,
    이상적인 아바타를 구성하기 위한 사용자 선택가능 옵션들의 메뉴를 디스플레이하고 - 상기 사용자 선택가능 옵션들 각각은 각자의 기분 상태를 반영함 -;
    상기 이상적인 아바타를 구성하기 위해 사용자 입력을 상기 입력 디바이스를 통해 요구하고;
    상기 세션 아바타에 대한 사용자 선택 옵션들과 상기 이상적인 아바타에 대한 사용자 선택 옵션들 사이의 차이들의 함수로서 상기 사용자의 기분을 평가하도록 상기 프로세서에 의해 실행가능한 명령어들을 더 포함하는, 시스템.
  10. 제7항에 있어서, 상기 메모리에 저장되고,
    가상 세계 환경을 구성하기 위한 사용자 선택가능 옵션들의 메뉴를 디스플레이하고 - 상기 사용자 선택가능 옵션들 각각은 각자의 기분 상태를 반영함 -;
    상기 가상 세계 환경을 구성하기 위해 사용자 입력을 상기 입력 디바이스를 통해 요구하고;
    상기 가상 세계 환경에 대한 사용자 선택 옵션들의 함수로서 상기 사용자의 기분을 평가하도록 상기 프로세서에 의해 실행가능한 명령어들을 더 포함하는, 시스템.
  11. 제10항에 있어서, 상기 메모리에 저장되고 상기 가상 세계 환경을 구성하기 위한 사용자 선택가능 옵션들의 메뉴를 디스플레이하도록 상기 프로세서에 의해 실행가능한 명령어들은 복수의 상이한 환경 세팅 옵션들을 디스플레이하기 위한 명령어들을 포함하는, 시스템.
  12. 제10항에 있어서, 상기 메모리에 저장되고 상기 가상 세계 환경을 구성하기 위한 사용자 선택가능 옵션들의 메뉴를 디스플레이하도록 상기 프로세서에 의해 실행가능한 명령어들은, 복수의 상이한 음악 옵션들을 디스플레이하는 것을 포함하는 가상 세계 환경을 구성하기 위한 사용자 선택가능 옵션들의 메뉴를 디스플레이하기 위한 명령어들을 포함하는, 시스템.
  13. 제10항에 있어서, 상기 메모리에 저장되고 상기 가상 세계 환경을 구성하기 위한 사용자 선택가능 옵션들의 메뉴를 디스플레이하도록 상기 프로세서에 의해 실행가능한 명령어들은, 복수의 상이한 날씨 옵션들을 디스플레이하는 것을 포함하는 가상 세계 환경을 구성하기 위한 사용자 선택가능 옵션들의 메뉴를 디스플레이하기 위한 명령어들을 포함하는, 시스템.
  14. 제7항에 있어서, 상기 메모리에 저장되고 가상 세계 환경을 디스플레이하도록 상기 프로세서에 의해 실행가능한 명령어들은 각자의 기분 상태들에 대응하는 목적지들을 디스플레이하기 위한 명령어들을 포함하고, 상기 시스템은, 상기 메모리에 저장되고,
    상기 가상 세계 환경 목적지들과의 사용자 지향 상호작용들을 모니터링하고;
    상기 사용자의 세션 아바타에 의해 방문된 목적지들의 함수로서 상기 사용자의 기분을 평가하도록 상기 프로세서에 의해 실행가능한 명령어들을 더 포함하는, 시스템.
  15. 제7항에 있어서, 상기 메모리에 저장되고 가상 세계 환경을 디스플레이하도록 상기 프로세서에 의해 실행가능한 명령어들은 상기 사용자의 기분 상태를 제시하는 정보를 제공하는 태스크들을 디스플레이하기 위한 명령어들을 포함하고, 상기 시스템은 상기 메모리에 저장되고,
    적어도 하나의 태스크의 수행에서 상기 가상 세계 환경과의 사용자 지향 상호작용들을 모니터링하고;
    상기 적어도 하나의 태스크의 상기 사용자의 수행의 함수로서 상기 사용자의 기분을 평가하도록 상기 프로세서에 의해 실행가능한 명령어들을 더 포함하는, 시스템.
  16. 제15항에 있어서, 상기 메모리에 저장되고 상기 사용자의 기분 상태를 제시하는 정보를 제공하는 태스크들을 디스플레이하도록 상기 프로세서에 의해 실행가능한 명령어들은 사용자 응답을 요청하는 적어도 하나의 질문을 포함하는 태스크를 디스플레이하기 위한 명령어들을 포함하는, 시스템.
  17. 제7항에 있어서, 상기 메모리에 저장되고 가상 세계 환경을 디스플레이하도록 상기 프로세서에 의해 실행가능한 명령어들은 상기 사용자의 인지 상태를 제시하는 정보를 제공하는 태스크들을 디스플레이하기 위한 명령어들을 포함하고, 상기 시스템은 상기 메모리에 저장되고,
    적어도 하나의 태스크의 수행에서 상기 가상 세계 환경과의 사용자 지향 상호작용들을 모니터링하고;
    상기 적어도 하나의 태스크의 상기 사용자의 수행의 함수로서 상기 사용자의 기분을 평가하도록 상기 프로세서에 의해 실행가능한 명령어들을 더 포함하는, 시스템.
  18. 제17항에 있어서, 상기 메모리에 저장되고 상기 사용자의 인지 상태를 제시하는 정보를 제공하는 태스크들을 디스플레이하도록 상기 프로세서에 의해 실행가능한 명령어들은 게임 인터페이스를 디스플레이하기 위한 명령어들을 포함하는, 시스템.
  19. 사람의 정신적 상태를 평가하기 위한 컴퓨터화된 평가 시스템으로서,
    프로세서;
    디스플레이 디바이스;
    메모리; 및
    상기 메모리에 저장되고, 가상 세계 환경 및 상기 사람과 연관된 아바타를 제공하여 가상 세계 세션을 상기 디스플레이 디바이스를 통해 상기 사람에게 제공하도록 상기 프로세서에 의해 실행가능한 명령어들;
    상기 메모리에 저장되고,
    상기 아바타, 상기 가상 세계 환경 및 상기 가상 세계 세션 중 적어도 하나의 적어도 하나의 태양을 구성하기 위한 사용자 선택가능 옵션들의 메뉴를 상기 디스플레이 디바이스를 통해 디스플레이하고;
    상기 메뉴를 통해 디스플레이되는 대안적인 옵션들 중에서 선택된 적어도 하나의 사용자 선택 옵션을 상기 사람으로부터 요구하고;
    상기 적어도 하나의 사용자 선택 옵션에 따라 상기 디스플레이 디바이스를 통해 디스플레이되는 상기 아바타, 상기 가상 세계 환경 및 상기 디스플레이 디바이스를 통해 디스플레이되는 상기 가상 세계 세션 중 적어도 하나를 수정하도록 상기 프로세서에 의해 실행가능한 명령어들; 및
    상기 메모리에 저장되고, 상기 적어도 하나의 사용자 선택 옵션의 함수로서 상기 사람의 정신적 상태를 평가하도록 상기 프로세서에 의해 실행가능한 명령어들을 포함하며;
    상기 시스템은 상기 아바타, 상기 가상 세계 환경 및 상기 가상 세계 세션 중 적어도 하나의 태양들의 구성에 대한 옵션들의 상기 사람의 선택의 함수로서 상기 사람의 정신적 상태의 자동 평가를 수행하는, 컴퓨터화된 평가 시스템.
  20. 사람의 정신적 상태를 평가하기 위한 컴퓨터화된 평가 시스템으로서,
    정신적 상태 모니터링 시스템; 및
    정신적 상태 평가 시스템을 포함하고,
    상기 정신적 상태 모니터링 시스템은,
    프로세서;
    디스플레이 디바이스;
    메모리; 및
    상기 메모리에 저장되고, 가상 세계 환경 및 상기 사람과 연관된 아바타를 제공하여 가상 세계 세션을 상기 디스플레이 디바이스를 통해 상기 사람에게 제공하도록 상기 프로세서에 의해 실행가능한 명령어들;
    상기 메모리에 저장되고,
    상기 아바타 및 상기 가상 세계 환경 중 적어도 하나의 적어도 하나의 태양을 구성하기 위한 사용자 선택가능 옵션들의 메뉴를 상기 디스플레이 디바이스를 통해 디스플레이하고;
    상기 아바타 및 상기 가상 세계 환경 중 상기 적어도 하나의 각각에 대한 메뉴를 통해 디스플레이되는 대안적인 옵션들 중에서 선택된 적어도 하나의 사용자 선택 옵션을 상기 사람으로부터 요구하도록 상기 프로세서에 의해 실행가능한 명령어들; 및
    상기 메모리에 저장되고 상기 가상 세계 세션 내의 사용자 지향 활동을 모니터링하도록 상기 프로세서에 의해 실행가능한 명령어들; 및
    상기 메모리에 저장되고, 상기 사람의 기분 상태와 연관된 기록된 상호작용들을 나타내는 데이터를 송신하도록 상기 프로세서에 의해 실행가능한 명령어들을 포함하고;
    상기 정신적 상태 평가 시스템은,
    제2 프로세서;
    메모리; 및
    상기 메모리에 저장되고,
    상기 아바타 및 상기 가상 세계 환경 중 적어도 하나의 태양들의 구성에 대한 옵션들의 상기 사람의 선택 및 상기 가상 세계 세션과 상기 사람의 모니터링된 활동을 포함하는, 상기 사람의 기분 상태와 연관된 기록된 상호작용들을 나타내는 수신된 데이터의 함수로서 상기 사람의 정신적 상태의 자동 평가를 수행하도록 상기 프로세서에 의해 실행가능한 명령어들을 포함하는, 컴퓨터화된 평가 시스템.
KR1020187037548A 2016-05-27 2017-05-25 실제 세계 사용자의 인지 및 기분 상태들을 가상 세계 활동의 함수로서 평가하기 위한 시스템 및 방법 KR102458643B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662342358P 2016-05-27 2016-05-27
US62/342,358 2016-05-27
PCT/US2017/034514 WO2017205647A1 (en) 2016-05-27 2017-05-25 System and method for assessing cognitive and mood states of a real world user as a function of virtual world activity

Publications (2)

Publication Number Publication Date
KR20190009383A true KR20190009383A (ko) 2019-01-28
KR102458643B1 KR102458643B1 (ko) 2022-10-24

Family

ID=60412610

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187037548A KR102458643B1 (ko) 2016-05-27 2017-05-25 실제 세계 사용자의 인지 및 기분 상태들을 가상 세계 활동의 함수로서 평가하기 위한 시스템 및 방법

Country Status (9)

Country Link
US (2) US11615713B2 (ko)
EP (1) EP3463065A4 (ko)
JP (1) JP7036743B2 (ko)
KR (1) KR102458643B1 (ko)
CN (1) CN109688909B (ko)
AU (2) AU2017269386A1 (ko)
CA (1) CA3025483A1 (ko)
MA (1) MA45180A (ko)
WO (1) WO2017205647A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102114907B1 (ko) 2018-12-28 2020-05-25 (주) 비전웍스 인지 자극을 이용한 인지적 편향 수정 방법 및 장치

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017205647A1 (en) 2016-05-27 2017-11-30 Barbuto Joseph System and method for assessing cognitive and mood states of a real world user as a function of virtual world activity
US11158060B2 (en) 2017-02-01 2021-10-26 Conflu3Nce Ltd System and method for creating an image and/or automatically interpreting images
US11298062B2 (en) * 2017-02-01 2022-04-12 Conflu3Nce Ltd Multi-purpose interactive cognitive platform
US11176675B2 (en) 2017-02-01 2021-11-16 Conflu3Nce Ltd System and method for creating an image and/or automatically interpreting images
US11412968B2 (en) * 2017-09-12 2022-08-16 Get Together, Inc System and method for a digital therapeutic delivery of generalized clinician tips (GCT)
US11663182B2 (en) * 2017-11-21 2023-05-30 Maria Emma Artificial intelligence platform with improved conversational ability and personality development
JP6748170B2 (ja) * 2018-10-04 2020-08-26 株式会社スクウェア・エニックス ビデオゲーム処理プログラム、ビデオゲーム処理装置及びビデオゲーム処理方法
US10678264B2 (en) * 2018-10-10 2020-06-09 Midea Group Co., Ltd. Method and system for providing remote robotic control
JP2021057002A (ja) * 2019-06-06 2021-04-08 パナソニックＩｐマネジメント株式会社 コンテンツ選択方法、コンテンツ選択装置及びコンテンツ選択プログラム
US11816757B1 (en) * 2019-12-11 2023-11-14 Meta Platforms Technologies, Llc Device-side capture of data representative of an artificial reality environment
CN111292831A (zh) * 2020-01-21 2020-06-16 浙江连信科技有限公司 基于人机交互的戒毒人员心理建设方法、装置及电子设备
JP7089546B2 (ja) * 2020-04-09 2022-06-22 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理制御方法
TWI755132B (zh) * 2020-10-31 2022-02-11 長庚大學 高齡者心智訓練系統及其運作方法
US11309086B1 (en) * 2021-09-09 2022-04-19 Safe Kids LLC Methods and systems for interactively counseling a user with respect to supervised content
US20230082732A1 (en) * 2021-09-12 2023-03-16 Sony Interactive Entertainment Inc. Using data from a game metadata system to create actionable in-game decisions
CN113741702B (zh) * 2021-11-03 2022-03-04 北京智精灵科技有限公司 基于情绪监测的认知障碍人机交互方法及系统
USD1028113S1 (en) * 2021-11-24 2024-05-21 Nike, Inc. Display screen with icon

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008129805A (ja) 2006-11-20 2008-06-05 Ricoh Co Ltd メンタルヘルス支援装置及びメンタルヘルス支援システム
US20120148998A1 (en) 2010-12-08 2012-06-14 Ray Faulkenberry Computer generated environment for user assessment
US20140200463A1 (en) 2010-06-07 2014-07-17 Affectiva, Inc. Mental state well being monitoring

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6229533B1 (en) * 1996-08-02 2001-05-08 Fujitsu Limited Ghost object for a virtual world
JPH1176608A (ja) * 1997-09-04 1999-03-23 Konami Co Ltd 遊技者の性格を反映したゲームの展開制御方法、ビデオゲーム装置及び記録媒体
WO2001067319A1 (fr) 2000-03-10 2001-09-13 Que Corporation Dispositif et procede de fourniture d'informations
JP4707877B2 (ja) 2001-06-11 2011-06-22 パイオニア株式会社 ドライブ候補地提示装置及び方法、ナビゲーション装置及びコンピュータプログラム
WO2003043483A2 (en) 2001-11-20 2003-05-30 Avi Peled System and method for diagnosis of mental disorders
US20070113181A1 (en) 2003-03-03 2007-05-17 Blattner Patrick D Using avatars to communicate real-time information
US7468729B1 (en) 2004-12-21 2008-12-23 Aol Llc, A Delaware Limited Liability Company Using an avatar to generate user profile information
WO2007076513A2 (en) 2005-12-27 2007-07-05 Bonnie Johnson Virtual counseling practice
JP2008027064A (ja) 2006-07-19 2008-02-07 Namco Bandai Games Inc プログラム、情報記録媒体および画像生成システム
US20090177976A1 (en) * 2008-01-09 2009-07-09 Bokor Brian R Managing and presenting avatar mood effects in a virtual world
US20120246585A9 (en) 2008-07-14 2012-09-27 Microsoft Corporation System for editing an avatar
US9386139B2 (en) 2009-03-20 2016-07-05 Nokia Technologies Oy Method and apparatus for providing an emotion-based user interface
US8661353B2 (en) * 2009-05-29 2014-02-25 Microsoft Corporation Avatar integrated shared media experience
US20110169927A1 (en) * 2010-01-13 2011-07-14 Coco Studios Content Presentation in a Three Dimensional Environment
US20110250575A1 (en) 2010-04-13 2011-10-13 enVie Interactive LLC System And Method For Providing A Visual Representation Of A User Personality Within A Virtual Environment
KR20130122535A (ko) * 2010-06-07 2013-11-07 어펙티바,아이엔씨. 웹서비스들을 이용한 심리 상태 분석
JP2014504460A (ja) * 2010-09-30 2014-02-20 アフェクティヴァ，インコーポレイテッド ウェブ対応アプリケーションに対する感情データの測定
WO2012054924A1 (en) * 2010-10-22 2012-04-26 Yale University Systems and methods for assessing behavioral patterns and promoting behavioral change by comparing gaming performance to aspirational attributes
US8937620B1 (en) * 2011-04-07 2015-01-20 Google Inc. System and methods for generation and control of story animation
CN103826711A (zh) * 2011-07-22 2014-05-28 格里奇索弗特公司 用于游戏环境的游戏辅助系统
TW201322045A (zh) 2011-11-16 2013-06-01 Pixart Imaging Inc 生理反饋控制系統及方法
US8808093B1 (en) * 2012-01-23 2014-08-19 Zynga Inc. Asynchronous social events in computer-implemented games
US20130344968A1 (en) 2012-06-05 2013-12-26 Knack.It Corp. System and method for extracting value from game play data
US20140004948A1 (en) * 2012-06-28 2014-01-02 Oliver (Lake) Watkins, JR. Systems and Method for Capture and Use of Player Emotive State in Gameplay
US20140019878A1 (en) * 2012-07-12 2014-01-16 KamaGames Ltd. System and method for reflecting player emotional state in an in-game character
US20170004260A1 (en) * 2012-08-16 2017-01-05 Ginger.io, Inc. Method for providing health therapeutic interventions to a user
US20210391083A1 (en) * 2012-08-16 2021-12-16 Ginger.io, Inc. Method for providing health therapeutic interventions to a user
WO2014145228A1 (en) 2013-03-15 2014-09-18 Affectiva, Inc. Mental state well being monitoring
KR20150055528A (ko) * 2013-11-13 2015-05-21 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US9573063B2 (en) 2014-03-03 2017-02-21 International Business Machines Corporation Reflecting status in a virtual environment
KR101540544B1 (ko) * 2014-09-05 2015-07-30 서용창 캐릭터를 이용한 메시지 서비스 방법, 상기 방법을 수행하는 사용자 단말, 상기 방법을 포함하는 메시지 애플리케이션
US10290222B2 (en) * 2015-09-21 2019-05-14 Visautact Llc Interactive tutorial with integrated escalating prompts
EP3371778A4 (en) * 2015-11-06 2019-06-26 Mursion, Inc. CONTROL SYSTEM FOR VIRTUAL FIGURES
WO2017205647A1 (en) 2016-05-27 2017-11-30 Barbuto Joseph System and method for assessing cognitive and mood states of a real world user as a function of virtual world activity

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008129805A (ja) 2006-11-20 2008-06-05 Ricoh Co Ltd メンタルヘルス支援装置及びメンタルヘルス支援システム
US20140200463A1 (en) 2010-06-07 2014-07-17 Affectiva, Inc. Mental state well being monitoring
US20120148998A1 (en) 2010-12-08 2012-06-14 Ray Faulkenberry Computer generated environment for user assessment

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102114907B1 (ko) 2018-12-28 2020-05-25 (주) 비전웍스 인지 자극을 이용한 인지적 편향 수정 방법 및 장치

Also Published As

Publication number Publication date
WO2017205647A1 (en) 2017-11-30
EP3463065A1 (en) 2019-04-10
US20230419850A1 (en) 2023-12-28
AU2017269386A1 (en) 2018-12-13
AU2022204343A1 (en) 2022-07-14
MA45180A (fr) 2019-04-10
KR102458643B1 (ko) 2022-10-24
JP7036743B2 (ja) 2022-03-15
CA3025483A1 (en) 2017-11-30
JP2019526093A (ja) 2019-09-12
EP3463065A4 (en) 2020-02-19
CN109688909A (zh) 2019-04-26
US20200388178A1 (en) 2020-12-10
CN109688909B (zh) 2022-07-01
US11615713B2 (en) 2023-03-28

Similar Documents

Publication Publication Date Title
KR102458643B1 (ko) 실제 세계 사용자의 인지 및 기분 상태들을 가상 세계 활동의 함수로서 평가하기 위한 시스템 및 방법
EP2907557B1 (en) Information sharing system, program, and information sharing method
CN109979587A (zh) 患者健康护理交互设备及其实施方法
JP2013528851A (ja) 仮想環境においてユーザのパーソナリティの視覚的表示を提供するシステム及び方法
KR20220007064A (ko) 동물 데이터의 수익화
Wang et al. Design and effects of personal visualizations
WO2021225028A1 (ja) バーチャル疾患体験システム、バーチャル疾患体験方法、及びプログラム
Safikhani et al. The influence of In-VR questionnaire design on the user experience
Egliston Quantified play: Self-tracking in videogames
Nacke et al. LAIF: A logging and interaction framework for gaze-based interfaces in virtual entertainment environments
Koulouris et al. An IoT-enabled platform for the assessment of physical and mental activities utilizing augmented reality exergaming
Kleinman et al. " What Happened Here!?" A Taxonomy for User Interaction with Spatio-Temporal Game Data Visualization
Hirsch et al. My Heart Will Go On: Implicitly Increasing Social Connectedness by Visualizing Asynchronous Players’ Heartbeats in VR Games
Wade et al. Process measures of dyadic collaborative interaction for social skills intervention in individuals with autism spectrum disorders
US20220068158A1 (en) Systems and methods to provide mental distress therapy through subject interaction with an interactive space
Baranowski et al. Using what's learned in the game for use in real life
Nam et al. Evaluation of human–agent user interfaces in multi-agent systems
JP5309612B2 (ja) フロー体験支援方法、フロー体験支援装置、フロー体験支援サーバ、フロー体験支援システムおよびプログラム
Cepero et al. Social Presence Awareness Visualization in a Collaborative Videogame
Rocha Gameplay Analytics for Game Design Insights
US20240100294A1 (en) Methods and systems for interactive delivery of digital content responsive to emotional state
Meenaakshisundaram The Ethics of Extended Realities: Insights from a Systematic Literature Review
Colon Ubiquitous learning laboratory for pediatric nursing: a cultural algorithm approach
Geyer Enhancing understanding of digital traces
Falcão Duarte Insight. me: Enabling a collaborative use of healthcare data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant