KR20200078319A - 생체 반응 가상 현실 시스템 및 그것의 동작 방법 - Google Patents

생체 반응 가상 현실 시스템 및 그것의 동작 방법 Download PDF

Info

Publication number
KR20200078319A
KR20200078319A KR1020190145578A KR20190145578A KR20200078319A KR 20200078319 A KR20200078319 A KR 20200078319A KR 1020190145578 A KR1020190145578 A KR 1020190145578A KR 20190145578 A KR20190145578 A KR 20190145578A KR 20200078319 A KR20200078319 A KR 20200078319A
Authority
KR
South Korea
Prior art keywords
emotional state
user
virtual reality
processor
bio
Prior art date
Application number
KR1020190145578A
Other languages
English (en)
Inventor
알리레자 알리아미리
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20200078319A publication Critical patent/KR20200078319A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A61B5/0476—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/378—Visual stimuli
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02444—Details of sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502—User interfaces, e.g. screens or keyboards
    • A61M2205/507—Head Mounted Displays [HMD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Dermatology (AREA)
  • Computing Systems (AREA)
  • Cardiology (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Educational Technology (AREA)

Abstract

본 발명의 실시 예에 따른 생체 반응 가상 현실 시스템은 디스플레이 장치를 포함하고 디스플레이 장치에 3차원 가상 현실 환경을 표시하도록 구성된 헤드-마운트 디스플레이, 복수의 생체 반응 센서들, 및 헤드-마운트 디스플레이 및 복수의 생체 반응 센서들과 연결된 프로세서를 포함하되, 프로세서는 각성도 및 정서가 레벨들을 나타내는 신호들을 수신하고, 신경망을 교정하여 사용자의 각성도 및 정서가 레벨들과 사용자의 정서 상태를 상관시키며, 신호들을 기반으로 사용자의 정서 상태를 계산하고, 그리고 사용자의 계산된 정서 상태에 응답하여 헤드-마운트 디스플레이에 표시된 3차원 가상 현실 환경을 변화시켜 목표 정서 상태를 유도하도록 구성된다.

Description

생체 반응 가상 현실 시스템 및 그것의 동작 방법{BIORESPONSIVE VIRTUAL REALITY SYSTEM AND METHOD OF OPERATING THE SAME}
본 발명의 실시 예에 따르면, 생체 반응 가상 현실 시스템 및 그것의 동작 방법이 제공된다.
가상 현실 시스템은 최근에 대중화 되었다. 가상 현실 시스템은 일반적으로 가상 현실 환경을 표시하는 디스플레이 장치, 디스플레이 장치를 구동하는 프로세서, 디스플레이 장치 상에 표시될 정보를 저장하는 메모리, 및 가상 현실 환경에서 사용자의 모션을 제어하는 입력 장치를 포함한다. 가상 현실 시스템은 종종 사용자에게 몰입형 환경을 제공하도록 의도되기 때문에, 가상 현실 시스템의 구성 요소들은 헤드셋과 같이 사용자의 머리 위에 앉히고 사용자와 함께 이동하는 하우징(housing)에 수납될 수 있고, 입력 장치는 헤드셋 내의 하나 이상의 자이로 스코프 및/또는 가속도계일 수 있다. 이러한 시스템은 종종 헤드-마운트 디스플레이(HMD; Head-Mounted Display)로 언급된다.
디스플레이 장치는 겉보기에 3차원 가상 현실 환경과 같은 컨텐츠를 사용자에게 표시함으로써 사용자에게 몰입 효과를 제공하도록 구성될 수 있다. 예를 들어, 가상 현실 시스템은 디스플레이 장치에 의해 표시되는 하나 이상의 2 차원 영상이 사용자에게 3차원 가상 현실 환경으로 나타나도록 디스플레이 장치와 사용자의 눈 사이에 배열된 하나 이상의 렌즈를 포함할 수 있다. 본 명세서에서, “영상(이미지)” 및 “영상들”이라는 용어는 영화들, 비디오들 등과 같은 동영상(moving image)들 그리고 스틸 이미지(still image, 정지 영상)들을 모두 포함하는 것으로 의도된다.
사용자에게 3차원 영상을 제공하는 방법으로, 두 개의 디스플레이 장치들 (또는, 예시적인 실시 예에서, 두 개의 다른 영상들을 표시하도록 구성된 하나의 디스플레이 장치) 및 디스플레이 장치로부터 사용자의 눈까지의 거리를 보상하는 하나 이상의 확대 렌즈를 포함하는 입체 디스플레이를 사용하는 방법이 있다.
예시적인 실시 예에서, 헤드-마운트 디스플레이(HMD)는 헤드-트래킹 기능(head-tracking functionality)을 제공하기 위해서 자이로 스코프, 가속도계, 및/또는 이와 같은 것들을 포함할 수 있다. 사용자의 머리 움직임을 트래킹(추적)함으로써, 사용자에게 완전 몰입형 환경이 제공 될 수 있고, 사용자는 단순히 머리를 움직여서 가상 현실 환경을 둘러 볼 수 있다. 대안적으로, 자이로 스코프 및/또는 가속도계를 조합하여, 사용자가 가상 현실 환경 주위를 "이동"할 수 있도록 하는 컨트롤러(예를 들어, 핸드 헬드(손에 들고 쓰는) 컨트롤러)가 제공될 수 있다. 또한, 컨트롤러는 사용자가 가상 현실 환경과 상호 작용(또는 가상 현실 환경 내에서 객체 및/또는 캐릭터와 상호 작용)하도록 할 수 있다.
본 발명의 목적은 생체 반응 가상 현실 시스템 및 그것의 동작 방법을 제공하는데 있다.
본 발명의 실시 예에 따르면, 생체 반응 가상 현실 시스템은 디스플레이 장치를 포함하고, 상기 디스플레이 장치 상에 3차원 가상 현실 환경을 표시하도록 구성된 헤드-마운트 디스플레이, 복수의 생체 반응 센서들, 및 상기 헤드-마운트 디스플레이 및 상기 복수의 생체 반응 센서들과 연결된 프로세서를 포함하되, 상기 프로세서는 상기 생체 반응 센서들로부터 사용자의 각성도(arousal) 및 정서가(valence) 레벨들을 나타내는 신호들을 수신하고, 신경망을 교정하여 상기 사용자의 각성도 및 정서가 레벨들과 사용자의 정서 상태를 상관시키며, 상기 신호들을 기반으로 상기 사용자의 정서 상태를 계산하고, 그리고 상기 사용자의 계산된 정서 상태에 응답하여 상기 헤드-마운트 디스플레이에 표시된 상기 3차원 가상 현실 환경을 변화시켜 목표 정서 상태를 유도하도록 구성된다.
상기 생체 반응 센서들은 뇌파 센서, 갈바닉 피부 반응 센서, 및 심박수 센서 중 적어도 하나를 포함할 수 있다.
상기 생체 반응 가상 현실 시스템은 컨트롤러를 더 포함할 수 있다.
상기 갈바닉 피부 반응 센서는 상기 컨트롤러의 일부일 수 있다.
상기 생체 반응 가상 현실 시스템은 전극 캡을 더 포함하되, 상기 전극 캡은 상기 뇌파 센서를 포함할 수 있다.
상기 신경망을 교정하는 상기 프로세서는 예상 정서 상태로 주석이 달린 컨텐츠를 표시하고, 상기 사용자의 계산된 정서 상태와 상기 컨텐츠의 상기 주석을 비교하고, 그리고 상기 사용자의 계산된 정서 상태와 상기 컨텐츠의 상기 주석이 다르면 상기 신경망을 수정하여 상기 신호들을 상기 컨텐츠의 상기 주석과 상관시키도록 더 구성될 수 있다.
상기 3차원 가상 현실 환경을 변화시켜 상기 목표 정서 상태를 유도하는 프로세서는 심층 강화 학습을 이용하여 상기 사용자의 계산된 정서 상태에 응답하여 상기 3차원 가상 현실 환경을 변화시킬 시점을 결정하도록 더 구성될 수 있다.
본 발명의 실시 예에 따르면, 생체 반응 가상 현실 시스템은 프로세서, 상기 프로세서에 연결된 메모리, 디스플레이 장치를 포함하고 사용자에게 3차원 가상 현실 환경을 표시하도록 구성된 헤드-마운트 디스플레이, 및 상기 프로세서에 연결된 복수의 생체 반응 센서들을 포함하되, 상기 메모리는 명령어들을 저장하고, 상기 명령어들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서가 상기 생체 반응 센서들로부터 신호들을 수신하고, 정서 상태 분류 네트워크를 교정하며, 상기 정서 상태 분류 네트워크를 사용하여 사용자의 정서 상태를 계산하고, 그리고 상기 사용자의 계산된 정서 상태를 기반으로 상기 사용자에게 표시된 상기 3차원 가상 현실 환경을 변화시키도록 한다.
상기 정서 상태 분류 네트워크는 복수의 컨볼루션 신경망들, 상기 신호들 각각에 대한 하나의 컨볼루션 신경망, 및 이러한 신경망들을 조합하여 멀티-모달(multi-modal) 동작을 달성하는 최종 네트워크를 포함할 수 있다.
상기 정서 상태 분류 네트워크는 완전 연결된 캐스케이드 신경망을 더 포함할 수 있고, 상기 컨볼루션 신경망은 상기 완전 연결된 캐스케이드 신경망으로 출력하도록 구성될 수 있으며, 그리고 상기 완전 연결된 캐스케이드 신경망은 상기 컨볼루션 신경망의 출력을 기반으로 상기 사용자의 정서 상태를 계산하도록 구성될 수 있다.
상기 정서 상태 분류 네트워크를 교정하는 상기 메모리는 상기 명령어들을 저장할 수 있고, 상기 명령어들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서가 일반 대중을 기반으로 하는 기준선 모델을 입력하고, 상기 헤드-마운트 디스플레이를 사용하여 주석이 달린 컨텐츠를 상기 사용자에게 표시하고, 상기 사용자의 계산된 정서 상태와 상기 주석의 정서 상태를 비교하고, 그리고 상기 사용자의 계산된 정서 상태 및 상기 주석의 상기 정서 상태 간 차이가 값보다 크면 상기 기준선 모델을 수정하여 상기 주석의 상기 정서 상태와 상기 수신된 신호들을 상관시키도록 하며, 상기 주석은 상기 주석이 달린 컨텐츠와 관련된 정서 상태를 나타낸다.
상기 3차원 가상 현실 환경을 변화시키는 상기 메모리는 상기 명령어들을 저장할 수 있고, 상기 명령어들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서가 상기 사용자의 계산된 정서 상태와 목표 정서 상태를 비교하고, 그리고 상기 사용자의 계산된 정서 상태 및 상기 목표 정서 상태 간 차이가 값보다 크면 상기 3차원 가상 현실 환경을 변화시켜 상기 사용자를 상기 목표 정서 상태로 이동시킨다.
상기 3차원 가상 현실 환경을 변화시키는 상기 메모리는 상기 명령어들을 저장할 수 있고, 상기 명령어들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서가 심층 강화 학습 방법을 이용하여 상기 3차원 가상 현실 환경의 변화들과 상기 사용자의 계산된 정서 상태의 변경들을 상관시킨다.
상기 심층 강화 학습 방법은 수학식 1을 가치 함수(value function)로 사용하고, 상기 수학식 1은
Figure pat00001
이고,
Figure pat00002
는 상기 사용자의 계산된 정서 상태이며,
Figure pat00003
는 상기 목표 정서 상태이고,
Figure pat00004
는 상기 3차원 가상 현실 환경의 상기 변화들이며,
Figure pat00005
는 상기 사용자의 계산된 정서 상태와 상기 3차원 가상 현실 환경의 상기 변화들의 매핑이고,
Figure pat00006
는 상기 사용자의 예상 결과 상태이며, 그리고
Figure pat00007
는 할인 요소이다.
본 발명의 실시 예에 따르면, 생체 반응 가상 현실 시스템의 동작 방법은 정서 상태 분류 네트워크를 교정하는 단계, 상기 교정된 정서 상태 분류 네트워크를 사용하여 사용자의 정서 상태를 계산하는 단계, 및 상기 사용자의 계산된 정서 상태가 목표 정서 상태와 다르면 상기 사용자에게 표시되는 3차원 가상 현실 환경을 변화시키는 단계를 포함한다.
상기 사용자의 정서 상태를 계산하는 단계는 복수의 생체 생리적 센서들로부터 신호들을 수신하는 단계, 상기 수신된 신호들을 복수의 컨볼루션 신경망들에 입력하는 단계, 및 사용자의 각성도 및/또는 정서가 레벨들을 신경망에 입력하는 단계를 포함할 수 있고, 상기 컨볼루션 신경망들은 상기 사용자의 각성도 및/또는 정서가 레벨들을 나타내는 상기 신호들을 분류하도록 구성되고, 상기 신경망들은 상기 사용자의 각성도 및/또는 정서가 레벨들을 기반으로 상기 사용자의 정서 상태를 계산하도록 구성된다.
상기 생체 생리적 센서들은 뇌파 센서, 갈바닉 피부 반응 센서, 및 심박수 센서 중 적어도 하나를 포함할 수 있다.
상기 정서 상태 분류 네트워크를 교정하는 단계는 주석을 포함하는 3차원 가상 현실 환경을 상기 사용자에게 표시하는 단계, 상기 사용자의 계산된 정서 상태와 상기 주석의 정서 상태를 비교하는 단계, 및 상기 사용자의 계산된 정서 상태 및 상기 주석의 상기 정서 상태 간 차이가 임계 값(threshold value)보다 크면 상기 정서 상태 분류 네트워크를 수정하여 상기 생체 생리적 센서들로부터 수신된 상기 신호들과 상기 주석의 상기 정서 상태를 상관시키는 단계를 포함할 수 있고, 상기 주석은 상기 3차원 가상 현실 환경과 관련된 정서 상태를 나타낸다.
상기 3차원 가상 현실 환경을 변화시키는 단계는 상기 목표 정서 상태를 수신하는 단계, 상기 사용자의 계산된 정서 상태와 상기 목표 정서 상태를 비교하는 단계, 상기 사용자의 계산된 정서 상태 및 상기 목표 정서 상태 간 차이가 임계 값보다 크면 상기 3차원 가상 현실 환경을 변화시키는 단계, 상기 3차원 가상 현실 환경을 변화시킨 후 상기 사용자의 정서 상태를 재계산 하는 단계; 및 상기 사용자의 재계산된 정서 상태와 상기 목표 정서 상태를 비교하는 단계를 포함할 수 있다.
딥-큐(Deep-Q) 네트워크는 상기 사용자의 계산된 정서 상태와 상기 목표 정서 상태를 비교하는데 사용될 수 있다.
본 발명의 실시 예에 따르면, 사용자의 정서 상태를 기반으로 3차원 가상 현실 환경을 변화시켜 목표 정서 상태를 유도하는 생체 반응 가상 현실 시스템 및 그것의 동작 방법이 제공된다.
도 1은 본 발명의 실시 예에 따른, 사용자의 헤드-마운트 디스플레이를 포함하는 생체 반응 가상 현실 시스템의 예시적인 도면이다.
도 2a 내지 도 2c는 도 1의 생체 반응 가상 현실 시스템의 예시적인 도면들이다.
도 2d는 본 발명의 다른 실시 예에 따른 생체 반응 가상 현실 시스템의 예시적인 도면이다.
도 3은 사용자의 상이한 감정 상태들을 나타내는 뇌파도(EEG; electroencephalography)의 출력을 예시적으로 보여주는 도면이다.
도 4는 본 발명의 실시 예에 따른, 생체 피드백 반응(“생체 반응”) 가상 현실 시스템의 양상들의 예시적인 도면이다.
도 5는 핵심 정서적 영향들을 예시적으로 나타내는 도면이다.
도 6은 도 4의 생체 반응 가상 현실 시스템의 정서 분류 신경망을 예시적으로 보여주는 도면이다.
도 7은 도 4의 생체 반응 가상 현실 시스템의 제어 신경망을 예시적으로 보여주는 도면이다.
도 8은 본 발명의 실시 예에 따른 정서 분류 신경망의 교정 방법을 예시적으로 나타내는 순서도이다.
본 발명에서 생체 반응 가상 현실 시스템 및 그것의 동작 방법에 대한 다양한 실시 예가 제공된다. 본 발명의 실시 예에 따르면, 생체 반응 가상 현실 시스템은 사용자에게 3차원 가상 현실 환경을 제공하는 헤드-마운트 디스플레이 장치, 가상 현실 환경과 상호 작용하는 컨트롤러, 및 사용자의 각성도(arousal) 및/또는 정서가(valence) 레벨들을 감시하는 복수의 생체 생리적 센서(biophysiological sensor)들을 포함할 수 있다. 사용하는 동안, 생체 반응 가상 현실 시스템은 생체 생리적 센서들의 출력을 감시하여 사용자의 정서 상태를 계산하고, 제시된(또는 표시된) 가상 현실 환경을 변화시켜 사용자를 목표 정서 상태로 이동시킬 수 있다.
이하, 첨부된 도면들을 참조하여, 본 발명의 실시 예들이 보다 상세하게 설명될 것이다. 그러나, 본 발명은 여러 상이한 형태들로 구현될 수 있으며, 여기서 설명되는 실시 예들로만 제한적으로 해석되지 않는다. 오히려, 실시 예들이 예시로서 제공됨으로써, 본 발명의 특징이 당업자에게 철저하고 완전하게 전달될 것이다. 따라서, 본 발명의 특징의 완전한 이해를 위해서, 당업자에게 불필요한 프로세스, 요소, 및 기술은 설명되지 않을 수 있다. 달리 언급되지 않는 한, 유사한 참조 부호는 첨부된 도면 및 기재된 설명 전체에 걸쳐서 유사한 요소를 나타내므로, 그 설명은 반복되지 않을 수 있다.
비록 여기에서 제1, 제2, 제3 등의 용어들은 다양한 요소들, 성분들, 영역들, 및/또는 층들을 설명하기 위해 사용되지만, 이러한 요소들, 성분들, 및/또는 층들은 이러한 용어들로 인해 제한되지 않는 것으로 이해될 것이다. 이러한 용어들은 하나의 요소, 성분, 또는 층을 다른 요소, 성분, 또는 층으로부터 구별하기 위해 사용된다. 따라서, 후술되는 제1 요소, 성분, 또는 층은 본 발명의 사상 및 범위를 벗어나지 않고, 제2 요소, 성분, 또는 층으로 지칭될 수 있다.
요소 또는 성분이 다른 요소 또는 성분에 “연결된” 또는 “결합된”것으로 언급될 때, 그것은 다른 요소 또는 성분에 직접 연결된 또는 결합된 것일 수 있고, 하나 또는 그 이상의 개입 요소 또는 성분이 그들 사이에 존재하는 것일 수 있다. 요소 또는 성분이 다른 요소 또는 성분에 “직접 연결된” 또는 “직접 결합된”것으로 언급될 때, 그들 사이에 개입 요소 또는 성분이 존재하지 않는 것으로 이해되어야 한다. 예를 들어, 제1 요소가 제2 요소에 “연결된” 또는 “결합된”것으로 언급될 때, 제1 요소는 제2 요소에 직접적으로 연결 또는 결합된 것일 수 있고, 또는 하나 이상의 개입 요소를 통해서 제1 요소는 제2 요소에 간접적으로 연결 또는 결합된 것일 수 있다.
본 명세서에서 사용된 용어들은 특정한 실시 예들을 기술하기 위한 목적으로 사용되며, 본 발명을 한정하는 의도로 사용되지 않는다. 문맥상 명백히 다르게 지시하지 않는 한 단수 형태는 복수의 형태를 포함하는 의도로 사용된다. 그리고 “포함하는” 또는 “포함하며 한정되지 않는”의 용어가 본 명세서에 사용되는 경우, 기술된 특징들, 숫자들, 단계들, 동작들, 요소들, 및/또는 성분들의 존재를 명시하지만, 하나 이상의 다른 특징, 숫자, 단계, 동작, 요소, 성분, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않는다. 즉, 본 명세서에서 기술된 프로세스들, 방법들, 및 알고리즘들은 지시된 동작들로 제한되지 않고 추가 동작들을 포함하거나 일부 동작들을 생략할 수 있고, 동작들의 순서는 일부 실시 예에 따라서 변동될 수 있다. 본 명세서에서 사용된 용어 “및/또는”은 하나 이상의 관련된 열거 항목들의 임의의 모든 조합들이 포함될 수 있음을 의미한다.
본 명세서에서 사용된 바와 같이, “대체로”, “약” 그리고 이와 유사한 용어들은 정도의 용어들이 아닌 근사치의 용어들로서 사용되며, 본 발명의 당업자에 의해 식별되는 측정된 또는 계산된 값들의 고유한 변동을 고려하기 위한 것이다. 또한, 본 발명의 실시 예들을 기술할 때 "할 수 있다"의 사용은 "본 발명의 하나 이상의 실시 예들"을 의미한다. 본 명세서에서 사용된 바와 같이, “사용”, “사용하는”, 그리고 “사용된”은 “이용”, “이용하는”, 그리고 “이용된”의 동의어로 각각 간주될 수 있다. 또한, 용어 "예시"는 예 또는 설명을 지칭할 수 있다.
다르게 정의되지 않는 한, 본 명세서에서 사용되는 모든 용어들(기술 및 과학 용어들을 포함)은 본 발명이 속하는 기술 분야에서 통상의 기술자에 의해서 일반적으로 이해되는 것과 동일한 의미를 가질 것이다. 더불어, 사전적 의미로 정의된 용어들은 관련된 기술 및/또는 본 발명의 설명에 따라 해석되어야 하며, 본 명세서에서 다르게 정의되지 않는 한 이상적으로 이해되거나 과도하게 형식적인 의미로 이해되지 않아야 한다.
본 발명의 실시 예에 따른 프로세서, 중앙 처리 장치(CPU; central processing unit), 그래픽 처리 장치(GPU; graphics processing unit), 및/또는 임의의 다른 관련 장치들 또는 구성 요소들은 임의의 적합한 하드웨어(예를 들어, 응용 프로그램 별 집적 회로), 펌웨어, 소프트웨어 및/또는 소프트웨어, 펌웨어, 및 하드웨어의 적합한 조합을 이용하여 구현될 수 있다. 예를 들어, 프로세서, CPU, 및/또는 GPU의 다양한 구성 요소들은 하나의 집적 회로(IC; integrated circuit) 칩 또는 별도의 IC 칩들에 형성(또는 구현)될 수 있다. 또한, 프로세서, CPU, 및/또는 GPU의 다양한 구성 요소들은 플렉서블 인쇄 회로 필름(flexible printed circuit film), 테이프 캐리어 패키지(TCP; tape carrier package), 인쇄 회로 기판(printed circuit board)에 구현되거나, 프로세서, CPU, 및/또는 GPU와 동일한 기판에 형성될 수 있다. 또한, 기술된 동작들은 하나 이상의 컴퓨팅 장치 내 하나 이상의 프로세서(예를 들어, 하나 이상의 CPU, GPU 등)에서 실행되고, 컴퓨터 프로그램 명령어들을 처리하며, 본 명세서에서 개시된 다양한 기능들을 수행하기 위해 다른 시스템 구성 요소들과 상호 작용하는 프로세서 또는 스레드(thread)일 수 있다. 컴퓨터 프로그램 명령어들은 메모리에 저장될 수 있고, 예를 들어 렌덤 엑세스 메모리(RAM; random access memory)와 같은 표준 메모리 장치를 사용하여 컴퓨팅 장치에서 구현될 수 있다. 또한, 컴퓨터 프로그램 명령어들은 예를 들어, CD-ROM(compact disk read only memory), 플래시 드라이브(flash drive), HDD(hard disk drive), SSD(solid state drive), 또는 이와 같은 비-일시적 컴퓨터 판독가능 매체에 저장될 수 있다. 또한, 본 발명의 기술적 사상을 벗어나지 않는 한도에서, 통상의 기술자는 다양한 컴퓨팅 장치들의 기능이 하나의 컴퓨팅 장치에 결합 또는 통합될 수 있고 또는 특정 컴퓨팅 장치의 기능이 하나 이상의 다른 컴퓨팅 장치에 분산될 수 있음을 인식해야 한다.
도 1은 본 발명의 실시 예에 따른 생체 반응 가상 현실 시스템을 사용하는 사용자(1)를 도시한다. 도 1에서, 사용자(1)는 생체 반응 가상 현실 시스템의 헤드-마운트 디스플레이(Head-Mounted Display; HMD)(10)를 착용하는 것으로 도시된다. HMD(10)는 디스플레이 장치(또는 '2'개의 디스플레이 장치들과 같은, 복수의 디스플레이 장치들) 및 하나 이상의 렌즈가 수납된 하우징(housing)을 포함할 수 있다. 예를 들어, 하우징은 플라스틱 및/또는 금속으로 만들어질 수 있고, 사용자(1)의 머리 둘레에 장착되도록 스트랩(strap)이 부착될 수 있다.
예시적인 실시 예에서, 디스플레이 장치는 스마트 폰 등일 수 있고, 사용자(1)는 HMD(10) 및 생체 반응 가상 현실 시스템과 독립적으로 디스플레이 장치를 사용하기 위해 하우징에서 디스플레이 장치를 제거할 수 있으며 생체 반응 가상 현실 시스템을 사용하고자 할 때 디스플레이 장치를 HMD(10)에 장착할 수 있다. HMD(10)가 착탈식(removable) 디스플레이 장치를 포함하는 경우, 디스플레이 장치는 디스플레이 장치가 스마트 폰 등인 경우와 같이 디스플레이 장치를 구동하는 프로세서 및 메모리를 포함할 수 있다. 디스플레이 장치가 HMD(10)에 고정적으로 장착된 실시 예에서, HMD(10)는 디스플레이 장치와 별도로 프로세서 및 메모리를 더 포함할 수 있다. 양쪽의 실시 예에 따라서, HMD(10)는 디스플레이 장치, 프로세서, 및 메모리에 전력을 공급하는 배터리 팩(예를 들어, 재충전 가능한 배터리 팩)을 포함할 수 있다. 예시적인 실시 예에서, HMD(10)는 장기간의 중단 없는 시청을 위해서 외부 전원 공급 장치에 연결되도록 구성될 수 있다. 메모리는 그 안에 명령어들을 저장할 수 있고, 명령어들은 프로세서에 의해 실행될 때, 프로세서가 몰입형 가상 현실 환경을 위한 영상들과 같은 컨텐츠를 디스플레이 장치로 표시하도록 할 수 있다.
또한, HMD(10)(또는 스마트 폰 등인 경우 디스플레이 장치)는 하나 이상의 자이로 스코프, 가속도계 등을 포함할 수 있다. 이러한 장치들은 사용자(1)의 머리의 움직임을 추적하는데 이용될 수 있고, 생체 반응 가상 현실 시스템은 사용자 머리의 움직임을 기반으로 표시된 영상들을 업데이트할 수 있다.
상술된 바와 같이, HMD(10)는 예를 들어 스테레오 이미징('스테레오스코피(stereoscopy)'라고도 함)을 사용함으로써 3차원 영상(예를 들어, 가상 현실 환경)을 사용자(1)에게 제시(또는 표시)할 수 있다. 스테레오 이미징은 서로 약간 다른 두 개의 영상들을 사용자의 눈에 제시함으로써 3차원 깊이를 갖는 영상을 사용자(1)에게 제공한다. 예를 들어, 두 개의 영상들은 동일하거나 실질적으로 유사한 장면들이지만 각도들이 약간 다를 수 있다. 두 개의 서로 다른 영상들이 사용자의 뇌에서 결합되고, 사용자의 뇌는 제시된 영상 정보를 이해하려고 시도하며, 이 과정에서, 두 개의 영상들 사이의 약간의 차이로 인해서 깊이 정보가 제시된 영상들에 첨부된다.
도 2a 내지 도 2c를 참조하면, 가상 현실 시스템은 전극 캡(11) 및/또는 컨트롤러(15)를 더 포함할 수 있다. 전극 캡(11)은 복수의 전극들(예를 들어, EGG 전극들)(12.1, 12.2, 및 12.3)이 내장된 옷 캡(또는 모자) 등일 수 있다. 사용자(1)는 전극 캡(11)을 머리에 착용할 수 있다. 예시적인 실시 예에서, 전극 캡(11)은 HMD(10)에 부착될 수 있지만, 본 발명은 이에 제한되지 않는다. 예를 들어, 도 2d에 도시된 것과 같이, 전극 캡(11)은 HMD(10)에서 분리될 수 있어서, 사용자(1)는, 이하의 설명에 기초하여 이해되는 바와 같이, 기능에 대응하는 감소와 함께 전극 캡(11) 없이 생체 반응 가상 현실 시스템을 사용하기로 결정할 수 있다. 이러한 실시 예에서, 전극 캡(11)은 커넥터(예를 들어, 물리적 연결을 통해)에 의해서 HMD(10)와 전기적으로 연결될 수 있고, 또는 예를 들어 블루투스(bluetooth)나 통상의 기술자에게 알려진 다른 적절한 무선 연결을 통해서 HMD(10)와 무선으로 연결될 수 있다. 전극 캡(11)은 야구 모자로 구현되어 전극 캡(11) 내에 복수의 전극들(12.1, 12.2, 및 12.3)을 숨김으로써 미적 외관을 제공할 수 있다.
전극 캡(11) 내의 전극들(12.1, 12.2, 및 12.3)은 사용자(1)의 뇌의 전기적 활동을 감시할 수 있다. 예시적인 실시 예에서, 전극 캡(11)은 뇌파도(EEG; electroencephalogram) 캡일 수 있다. 뇌파도(EEG)는 사용자(1)의 뇌의 전기적 활동을 감시하여 뇌파를 감지하는 테스트일 수 있다. 사용자(1)의 뇌의 다른 영역에서 뇌파 활동을 감시함으로써, 사용자(1)의 감정 상태의 양상이 결정될 수 있다. 도 3은 사용자(1)의 상이한 감정 상태들을 나타내는 뇌파도(EEG) 결과들을 보여준다.
HMD(10)는 오디오 출력용 헤드폰(14) 및 헤드폰(14) 근처에 배열된 심박수 센서(16)를 포함할 수 있다. 예시적인 실시 예에서, 컨트롤러(15)는 사용자(1)의 심박수를 더 감시할 수 있다. 심박수 센서(16)는 사용자(1)의 심박수를 감시하도록 구성된 광 센서(optical sensor)일 수 있다. 예를 들어, 광 심박수 센서는 사용자(1)의 피부로부터 반사된 광의 변화들을 측정하는 광 검출기 및 발광 다이오드(LED; light-emitting diode)를 포함하는 광용적맥파(PPG; photoplethysmogram) 센서일 수 있고, 이러한 광의 변화들은 사용자(1)의 심박수를 결정하는데 사용될 수 있다.
또한, HMD(10)는 사용자(1)가 언제 깜박(blink)이는지 결정하도록 구성된 블링크 검출기(13)를 포함할 수 있다.
사용자(1)는 컨트롤러(15)를 이용하여 표시된 가상 현실 환경과 상호 작용할 수 있다. 예를 들어, 컨트롤러(15)는 하나 이상의 자이로 스코프(또는 가속도계), 버튼 등을 포함할 수 있다. 컨트롤러(15)의 자이로 스코프 및/또는 가속도계는 사용자(1)의 팔(또는 두 개의 컨트롤러(15)들이 존재할 때 양팔)의 움직임을 추적하는데 사용될 수 있다. 컨트롤러(15)는 무선 연결, 예를 들어, 블루투스 연결에 의해서 HMD(10)에 연결될 수 있다. 자이로 스코프 및/또는 가속도계의 출력을 사용함으로써, HMD(10)는 사용자(1)의 팔의 가상 표현을 표시된 가상 현실 환경에 투사할 수 있다. 또한, 사용자(1)는 컨트롤러(15)의 버튼을 이용하여, 예를 들어, 가상 현실 환경에서의 객체들과 상호 작용할 수 있다.
컨트롤러(15)는 갈바닉 피부 반응(GSR; galvanic skin response) 센서(17)를 더 포함할 수 있다. 예시적인 실시 예에서, 컨트롤러(15)는 장갑으로 구현될 수 있고, GSR 센서(17)는 사용자(1)의 상이한 손가락들과 각각 접촉하는 복수의 전극들을 포함할 수 있다. 장갑으로 구현됨으로써, 사용자(1)는 전극을 손가락에 의식적으로 부착시킬 필요가 없고, 대신에 전극을 손가락과 접촉시키기 위해서 장갑을 착용할 수 있다. 컨트롤러(15)가 핸드 헬드(handheld) 컨트롤러인 경우, 사용자(1)가 자연스럽게 자신의 손가락들을 두 개의 전극들에 위치시키도록 컨트롤러(15)는 오목한 부분들에 두 개의 분리된 핑거팁(figertip) 전극들을 포함할 수 있다.
갈바닉 피부 반응(GSR)(전극 활동(EDA; electrodermal activity) 및 피부 컨덕턴스(SC; skin conductance)라고도 함) 센서는, 발한으로 인한 컨덕턴스 변화와 같은, 사용자(1)의 피부의 전기적 특성 변화를 측정한다. 예시적인 실시 예에서, 땀샘 활동 증가로 인한 피부 컨덕턴스 증가는 자율 신경계의 각성의 결과일 수 있다.
생체 반응 가상 현실 시스템은 심전도(ECG 또는 ECK; electrocardiogram) 센서 및/또는 근전도(EMG; electromyography) 센서와 같은 다른 유형의 센서를 더 포함할 수 있다. 본 발명은 임의의 특정 센서들의 조합으로 제한되지 않으며, 임의의 적합한 생체 생리적 센서(들)이 생체 반응 가상 현실 시스템에 포함되는 것으로 고려된다.
도 4를 참조하면, EEG, GSR, 및 심박수 센서들(총칭하여 “센서들”)의 출력(예를 들어, 측정)은 생체 반응 가상 현실 시스템의 프로세서(30)에 입력될 수 있다. 예시적인 실시 예에서, 상술된 바와 같이, 스마트 폰이 착탈식 디스플레이로 사용될 때와 같이, 프로세서(30)는 디스플레이 장치와 일체형일 수 있거나, 다른 예시적인 실시 예에서, 프로세서(30)는 디스플레이 장치로부터 분리될 수 있고 HMD(10)에 수납될 수 있다.
프로세서(30)는 센서들로부터 출력된 로우(raw) 데이터를 수신하고 로우 데이터를 처리하여 의미 있는 정보를 제공할 수 있다. 또는, 센서들은 로우 데이터를 자체적으로 처리하고 의미 있는 정보를 프로세서(30)로 전송할 수 있다. 즉, 예시적인 실시 예에서, 일부 또는 모든 센서들은, 수신된 데이터를 처리하고 의미 있는 정보를 출력하기 위해서, 디지털 신호 처리 장치(DSP; digital signal processor)와 같은 프로세서를 자체적으로 포함할 수 있다.
후술되는 바와 같이, 프로세서(30)는 센서들의 출력을 수신하고, 수신된 센서 신호들을 기반으로 사용자(1)의 정서 상태를 계산(예를 들어, 측정 및/또는 특성화)하고(예를 들어, 사용자(1)의 계산된 정서 상태를 결정), 그리고 표시된 컨텐츠(예를 들어, 표시된 가상 현실 환경, 시각 자극, 및/또는 표시된 영상들)를 수정하여 사용자(1)를 목표 정서 상태에 두거나 사용자(1)를 목표 정서 상태로 유지한다. 사용자(1)로부터의 생체 생리적 피드백을 기반으로 표시된 가상 현실 환경을 수정하는 이 방법은 생체 반응 가상 현실로 지칭될 수 있다.
생체 반응 가상 현실 시스템은 몇 가지 예들로써 비디오 게임뿐만 아니라 웰빙 및 의료 애플리케이션(application)에도 적용될 수 있다. 예를 들어, 게임 환경에서, 사용자(1)가 지나치게 고통스러운(예를 들어, 도 5 참조) 것을 방지하기 위해서, 수신된 센서 신호들(예를 들어, 사용자의 생체 생리적 피드백)에 의해서 결정되는 사용자(1)의 계산된 정서 상태를 기반으로, 사용자(1)에게 표시되는 적의 수가 변할 수 있다. 다른 예로서, 웰빙 애플리케이션에서, 사용자(1)를 침착한 또는 고요한(예를 들어, 도 5 참조) 상태로 유지하기 위해서, 사용자(1)의 계산된 정서 상태를 기반으로, 표시된 가상 현실 환경의 밝기가 변할 수 있다. 그러나, 본 발명은 이러한 실시 예들로 제한되지 않으며, 표시된 가상 현실 환경은 사용자(1)의 계산된 정서 상태를 기반으로 다양한 방법들로 적절하게 변화될 수 있는 것으로 이해되어야 한다.
도 5를 참조하면, 서로 다른 감정(또는 정서) 상태들이 휠(wheel) 그래프에 도시된다. 현대 심리학에서, 감정들은 두 개의 핵심 정서들(각성도 및 정서가)에 의해서 표현될 수 있다. 각성도(arousal)는 사용자의 흥분 정도일 수 있고, 정서가(valence)는 사용자의 긍정 또는 부정 감각일 수 있다. 각성도 및 정서가를 모두 고려하여, 사용자의 정서 상태가 결정될 수 있다. 예시적인 실시 예에서, EEG 신호는 사용자의 정서가를 결정하는데 사용될 수 있고, GSR 신호는 사용자의 각성도를 결정하는데 사용될 수 있다. 심박수 신호는 사용자의 감정 및/또는 인지 상태를 결정하는데 사용될 수 있다.
도 6을 참조하면, 정서 상태 분류 네트워크(50)(예를 들어, 정서 상태 분류 신경망)가 예시적으로 도시된다. 정서 상태 분류 네트워크(50)는 가상 현실 시스템의 프로세서(30)(예를 들어, 도 4 참조)의 일부일 수 있다. 정서 상태 분류 네트워크(50)는 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 및/또는 텐서 플로우 처리 장치(TPU; tensorflow processing unit) 등과 같은 특수한 머신 러닝 하드웨어에서 실행될 수 있다. (예를 들어, 프로세서(30)가 CPU, GPU, 및/또는 머신 러닝 하드웨어일 수 있고, 또는 프로세서(30)가 CPU, GPU, 및/또는 머신 러닝 하드웨어를 포함할 수 있다.)
정서 상태 분류 네트워크(50)는 각각의 센서 입력(51)마다 하나씩 복수의 컨볼루션 신경망(CNN; convolution neural network)(52)을 포함할 수 있고, CNN(52)은 완전 연결된 캐스케이드(FCC; fully connected cascade) 신경망과 같은 신경망(53)으로 데이터를 출력할 수 있으며, 신경망(53)은 CNN(52)의 출력을 기반으로 사용자의 정서 상태(54)(예를 들어, 사용자의 계산된 정서 상태)를 계산 및 출력할 수 있다. 정서 상태 분류 네트워크(50)는 멀티-모달 심층 신경망(DNN; deep neural network) 또는 멀티-모탈 네트워크일 수 있다.
정서 상태 분류 네트워크(50)는 일반 대중에 대해서 사전 훈련될 수 있다. 예를 들어, 정서 상태 분류 네트워크(50)에는 사용자들의 일반 대중을 기반으로 예비(또는 기준선) 훈련 템플릿이 로딩될 수 있다. 신경망(들)의 훈련은 아래에서 보다 상세히 기술될 것이다.
CNN(52)은 센서 입력(51)을 수신하고, 각각의 센서 입력(51)이 나타내는 바와 같이 사용자의 각성도 및 정서가를 나타내는 수신된 센서 입력(51)을 기반으로 차이 점수를 출력할 수 있다. 예를 들어, GSR 센서 입력(51)에 대응하는 CNN(52)은 일정 기간 동안 GSR 센서로부터의 출력을 수신할 수 있고, GSR 센서로부터 수신된 출력을 기반으로 하나의 차이 값을 출력할 수 있다. 예를 들어, CNN(52)은 사용자의 각성도 레벨을 나타내는 하나의 수치 값을 출력할 수 있다. 유사하게, EEG 센서 입력(51)에 대응하는 CNN(52)은 사용자의 정서가 레벨을 나타내는 하나의 수치 값을 출력할 수 있다.
신경망(53)은 CNN(52)으로부터 사용자의 각성도 레벨 및/또는 정서가 레벨을 나타내는 수치 값들을 수신하고, 사용자의 정서 상태(54)(예를 들어, 사용자의 계산된 정서 상태)를 나타내는 하나의 수치 값을 출력한다. 신경망(53)은 일반 대중에 대해서 사전 훈련될 수 있다. 즉, 다수의 일반 대중의 구성원 또는 다수의 예상 사용자들(예를 들어, 생체 반응 가상 현실 시스템을 이용할 것으로 예상되는 일반 대중의 구성원)에 대한 훈련으로부터 도출된 예비(또는 기준선) 바이어스가 신경망(53)에 로딩될 수 있다. 상술된 방법으로 신경망(53)을 사전 훈련함으로써, CNN(52)으로부터의 상이한 입력들을 기반으로 합리적이고 근사하게 계산된 정서 상태(54)가 신경망(53)에서 출력될 수 있다.
도 7을 참조하면, 생체 반응 가상 현실 시스템의 제어 신경망(100)(예를 들어, 폐루프 제어 신경망)이 예시적으로 도시된다. 제어 신경망(100)은 프로세서(30)(예를 들어, 도 4 참조)의 일부일 수 있다. 예를 들어, 이하에서 더 설명되는 바와 같이, 딥-큐 네트워크(DQN; Deep-Q Network)(110)는 프로세서(30)의 일부일 수 있고, 일반적인 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU)에서 실행될 수 있으며, 또는 텐서 플로우 처리 장치(TPU) 등과 같은 특수한 머신 러닝 하드웨어에서 실행될 수 있다.
제어 신경망(100)은 정서 상태 분류 네트워크(50)에 의해서 결정된 사용자의 계산된 정서 상태(54)를 기반으로, HMD(10)를 통해서 사용자에게 표시되는 가상 현실 환경(10.1)을 수정(예를 들어, 가상 현실 환경(10.1)의 시각 자극을 변경)하기 위해서 DQN(110)을 사용할 수 있다.
제어 신경망(100)에서, DQN(110)은 정서 상태 분류 네트워크(50)에서 출력되는 정서 상태(54)(예를 들어, 사용자의 계산된 정서 상태) 및 현재 표시되는 가상 현실 환경(10.1)(예를 들어, HMD(10)에서 표시되는 가상 현실 환경)을 수신한다. 사용자를 목표 정서 상태로 이동시키거나 사용자를 목표 정서 상태로 유지하기 위해서 가상 현실 환경(10.1)의 형태로 사용자에게 제시되는 시각적 자극이 업데이트(또는 수정)될 필요가 있는지 여부를 결정하기 위해서, DQN(110)은 심층 강화 학습을 이용할 수 있다.
예를 들어, 수치 값으로 표현될 수 있는 목표 정서 상태는 현재 표시된 가상 현실 환경(10.1) 및 사용자의 현재 계산된 정서 상태(54)와 함께 DQN(110)에 입력될 수 있다. DQN(110)은 정서 상태 분류 네트워크(50)에 의해 결정된 사용자의 현재 계산된 정서 상태(54)와 목표 정서 상태를 비교할 수 있다. 목표 정서 상태와 사용자의 현재 계산된 정서 상태(54)가 다른 경우(또는 목표 값보다 큰 차이를 갖는 경우), DQN(110)은 사용자를 목표 정서 상태로 이동시키기 위해서 시각 자극이 업데이트될 필요가 있다고 결정할 수 있다. 목표 정서 상태와 사용자의 현재 계산된 정서 상태(54)가 동일한 경우(또는 목표 값 이하의 차이를 갖는 경우), DQN(110)은 시각 자극이 업데이트될 필요가 없다고 결정할 수 있다. 예시적인 실시 예에서, DQN(110)은 사용자의 현재 계산된 정서 상태(54)가 목표 정서 상태로부터 멀어진다고(예를 들어, 목표 정서 상태와 사용자의 현재 계산된 정서 상태(54) 간 차이가 증가) 판단할 수 있다. 이에 응답하여, 사용자를 목표 정서 상태로 유지하기 위해서, 목표 정서 상태와 사용자의 현재 계산된 정서 상태(54) 간 차이가 목표 값보다 커지기 전에 DQN(110)은 시각 자극을 업데이트 할 수 있다.
DQN(110)은 사용자의 현재 계산된 정서 상태(54)의 변경을 기반으로 시각 자극 변경들(또는 업데이트들)을 다르게 할 수 있다. 예를 들어, DQN(110)은 사용자를 목표 정서 상태로 유지시키기 위해서 가상 현실 환경(10.1)의 밝기를 증가시킬 수 있다. DQN(110)이 가상 현실 환경(10.1)의 밝기가 변경된 후에도 사용자의 현재 계산된 정서 상태(54)가 계속해서 목표 정서 상태를 벗어나는 것으로 판단하면, DQN(110)은 밝기를 이전 레벨로 되돌림 및/또는 채도와 같은 가상 현실 환경(10.1)의 다른 양상을 조절할 수 있다. 상술된 과정은 사용자가 생체 반응 가상 현실 시스템을 사용하는 동안 지속적으로 반복될 수 있다. 또한, 예시적인 실시 예에서, 목표 정서 상태는 가상 현실 환경(10.1)을 기반으로 변경될 수 있다. 예를 들어, 가상 현실 환경이 영화인 경우, DQN(110)에 입력된 목표 정서 상태는 영화의 다른 장면에 대응하도록 변경될 수 있다. 예를 들어, 목표 정서 상태는 긴장감 넘치는 장면 등에서 긴장한/초조한(예를 들어, 도 5 참조)으로 변경될 수 있다. 이러한 방식으로, 사용자를 목표 정서 상태로 유지하기 위해서 DQN(110)은 지속적으로 시각 자극을 변경할 수 있고, 목표 정서 상태는 시간에 따라 변화할 수 있으며, 시각 자극의 변경이 더 필요할 수 있다.
제어 신경망(100)은 상이한 컨텐츠 및/또는 시각 자극에 대한 사용자의 개별 정서 상태 응답들에 더 잘 대응하도록 훈련될 수 있다. 기준선 모델(예를 들어, 사전 훈련된 또는 예비 모델) 또는 가치 함수(value function)로, 정서 상태 분류 네트워크(50)는 일반 대중에 대해서 훈련(예를 들어, 사전 훈련)될 수 있다. 일반 대중을 기반으로 제어 신경망(100)을 훈련시키기 위해서, 이러한 사용자들이 생체 반응 가상 현실 시스템을 착용하는 동안 본 명세서에서 “제어 컨텐츠”라고도 지칭되는 컨텐츠 집합(예를 들어, 시각 자극)은 비교적 다수의 일반 대중에게 표시된다. 센서 입력(51)은 상이한 제어 컨텐츠를 보는 각 개인의 정서 상태를 계산하는 정서 상태 분류 네트워크(50)(예를 들어, 도 6 참조)에 입력된다. 그 후, 일반 대중의 구성원은 각 제어 컨텐츠를 보는 동안에 또는 그 다음에 그들의 실제 정서 상태를 가리킬 것이며, 센서 입력(51)과 실제 정서 상태를 상관시킴으로써 정서 상태 분류 네트워크(50)가 더 정확하게 계산된 정서 상태(54)를 계산하도록 훈련시키기 위해서, 실제 정서 상태가 사용될 수 있다. 일반 대중으로부터 수집된 데이터에서 패턴이 형성되기 시작하면, 제어 컨텐츠는 추정 정서 상태로 주석이(또는 태그가) 달릴 것이다. 예를 들어, 제1 제어 컨텐츠가 특정 각성도 및 정서가 응답을 유발하는 경향이 있으면, 제1 제어 신호는 이러한 특정 각성도 및 정서가 응답으로 주석이 달릴 것이다.
예를 들어, 제1 제어 컨텐츠가 빠른 속도의 정신 없는 가상 현실 환경이면, 일반 대중의 구성원은 제1 제어 컨텐츠를 볼 때 긴장/초조를 느끼는 경향이 있을 수 있다. 일반 대중(또는 적어도 일반 대중의 대다수)의 구성원은 제1 제어 컨텐츠를 볼 때 긴장/초조의 감정을 보고하고, 그러면 정서 상태 분류 네트워크(50)는 일반 대중의 구성원이 제1 제어 컨텐츠를 보는 동안 수신된 센서 입력(51)과 긴장/초조 정서 상태를 상관시킨다. 그러나, 일반 대중의 모든 구성원이 동일한 가상 현실 환경(10.1)에 대해 동일한 정서 상태 반응을 가질 가능성은 낮으므로, 따라서 센서 입력(51)과 일반 대중의 구성원에 의해서 보고된 실제 정서 상태를 상관시키기 위해서, 정서 상태 분류 네트워크(50)는 일반 대중의 구성원이 제1 제어 컨텐츠(다른 제어 컨텐츠를 더 포함할 수 있다)에 응답하는 방식의 패턴 또는 경향을 결정할 수 있고, 따라서 제1 제어 컨텐츠에 주석을 달 수 있다.
상술된 방법을 통해서 정서 상태 분류 네트워크(50)에 대한 기준선 모델이 제공될 수 있으나, 하나의 특정 사용자는 가상 현실 환경에 대해서 일반 대중의 평균 구성원과 다른 생체 생리적 반응을 가질 수 있으므로, 특정 사용자(이하, “제1 사용자”로 지칭됨)에 대해서 정확(예를 들어, 완전히 정확)하지 않을 수 있다. 따라서, 도 8에서 도시된 바와 같이, 교정 방법(200)(예를 들어, 훈련 방법)이 정서 상태 분류 네트워크(50)를 제1 사용자에게 교정(또는 훈련)하기 위해서 사용될 수 있다.
우선, S201 단계에서, 주석이 달린 컨텐츠(예를 들어, 주석이 달린 컨텐츠 장면 또는 주석이 달린 자극)가 HMD(10)를 통해서 제1 사용자에게 표시된다. 예를 들어, 주석이 달린 컨텐츠는 일반 대중 훈련의 결과를 기반으로 주석이 달리거나, 예상 정서 상태를 기반으로 주석이 달린 제어 컨텐츠일 수 있다. S202 단계에서, 제1 사용자가 HMD(10)에서 주석이 달린 컨텐츠를 보는 동안, 정서 상태 분류 네트워크(50)에 의해서 EEG, GSR, 및 심박수 센서들과 같은 생체 생리적 센서들로부터의 센서 입력(51)이 수신된다. S203 단계에서, 정서 상태 분류 네트워크(50)는 기준선 모델을 이용하여 제1 사용자의 정서 상태를 계산한다. S204 단계에서, DQN(110)은 일반 대중 훈련을 기반으로 예상 정서 상태에 대응하는 주석이 달린 컨텐츠의 주석들을 제1 사용자의 계산된 정서 상태와 비교한다. S205 단계에서, 제1 사용자의 계산된 정서 상태와 주석이 달린 컨텐츠의 주석들이 일치하지 않는(또는 특정 값의 범위 내에 있지 않는) 경우와 같이, DQN(110)이 제1 사용자의 계산된 정서 상태와 주석이 달린 컨텐츠의 주석들 사이에 오류가 존재한다고 판단한 경우, 센서 입력(51)을 기반으로 한 제1 사용자의 검출된 생체 생리적 반응들과 주석이 달린 컨텐츠의 주석들을 상관시키기 위해서, DQN(110)은 정서 상태 분류 네트워크(50)의 기준선 모델을 업데이트할 것이다. 그리고, 제1 사용자의 계산된 정서 상태와 주석이 달린 컨텐츠의 주석들이 일치하는(또는 특정 값의 범위 내에 있는) 경우와 같이, DQN(110)이 제1 사용자의 계산된 정서 상태와 주석이 달린 컨텐츠의 주석들 사이에 오류가 존재하지 않는다고 판단한 경우, DQN(110)은 정서 상태 분류 네트워크(50)를 변경하지 않을 것이다.
교정 방법(200)은 다수의(예를 들어, 모든) 주석이 달린 컨텐츠들이 제1 사용자에게 표시될 때까지, 주석이 달린 컨텐츠를 후속하여 제1 사용자에게 표시함으로써 계속된다. 예를 들어, 교정 방법(200)은 주석이 달린 컨텐츠 모두가 제1 사용자에게 표시될 때까지 실행되도록 구성될 수 있다.
정서 상태 분류 네트워크(50)가 특정 사용자(예를 들어, 상술된 실시 예의 제1 사용자)에게 교정된 후, 제어 신경망(100)과 같은 생체 반응 가상 현실 시스템은 사용자가 다른 컨텐츠를 시청함에 따라 사용자의 정서 상태를 감시 및 계산을 시작할 수 있고, 상술된 목표 정서 상태를 달성(또는 유지)하도록 사용자에게 보여지는 컨텐츠를 조정(예를 들어, 변경 또는 수정)할 수 있다.
또한, 표시된 시각 자극을 더 정확하게 변경하기 위해서, DQN(110)은 시각 자극에 대한 변경이 사용자의 계산된 정서 상태에 미치는 영향을 학습(예를 들어, 지속적으로 학습)할 수 있다. 예를 들어, DQN(110)은 수학식 1과 같은 강화 학습 알고리즘(예를 들어, 가치 함수)을 실행하여 목표 정서 상태를 달성할 수 있다.
Figure pat00008
이 때,
Figure pat00009
는 정서 상태 분류 네트워크(50)에서 출력된 사용자의 계산된 정서 상태이고,
Figure pat00010
는 보상(예를 들어, 목표 정서 상태)이며,
Figure pat00011
는 행동(예를 들어, 사용자의 정서 상태를 변경하기 위해서 사용되는 시각 자극의 변경)이고,
Figure pat00012
는 기능을 최대화하는 정책(예를 들어, 사용자의 계산된 정서 상태에서 시각 자극의 변화들과 같은 행동들로의 매핑)이며,
Figure pat00013
는 예상된 전체 보상(예를 들어, 사용자의 예상 정서 상태)이고, 그리고
Figure pat00014
는 할인 요소이다.
각 단계에서, 수학식 1과 같은 가치 함수는 각각의 동작 또는 상태가 양호한 정도를 나타낸다. 따라서, 가치 함수는 센서 입력(51)에 기초한 사용자의 계산된 정서 상태 및 할인 요소가 적용된 상술된 훈련 정책에 기초하여 사용자에게 제시된 가상 현실 환경(10.1)을 기반으로 사용자의 예상 정서 상태를 제공한다.
최적 가치(예를 들어, 최대로 달성 가능한 가치) 함수는 수학식 2로 표현된다.
Figure pat00015
최적 가치 함수를 달성하는 행동은 수학식 3으로 표현된다.
Figure pat00016
예시적인 실시 예에서, 확률적 경사 하강법(stochastic gradient descent)을 사용하여 가치 함수를 최적화할 수 있다.
본 발명의 실시 예에 따르면, 제어 신경망(100)은 심층 신경망(예를 들어, DQN(110))이 모델, 정책, 및 가치 함수를 나타내고 학습하는 심층 강화 학습 모델(예를 들어, 심층 강화 머신 러닝 모델)을 사용할 수 있다.
비록, 실시 예들을 참조하여 본 발명이 설명되었으나, 통상의 기술자는 본 발명의 기술적 사상을 벗어나지 않고 상술된 실시 예들에 대한 다양한 변형 및 수정이 이루어질 수 있음을 이해할 것이다. 또한, 다양한 기술 분야에서의 통상의 기술자는 본 발명이 다른 과제 해결 수단을 제시하고 다른 응용들에 대한 적용을 제시할 수 있음을 이해할 것이다. 본 발명의 청구 범위는 이러한 모든 용도를 포괄하는 것으로 의도되며, 본 발명의 실시 예에서 특정한 목적을 위해서 적용될 수 있는 변형 및 수정은 모두 본 발명의 기술적 사상을 벗어나지 않는 것으로 이해되어야 한다. 따라서, 본 발명에서 개시되는 실시 예들은 모든 측면에서 제한적인 것이 아니라 예시적인 것으로 이해되어야 하며, 본 발명의 기술적 사상은 청구 범위 및 이에 대한 균등 범위까지 포함하는 것으로 의도된다.

Claims (10)

  1. 디스플레이 장치를 포함하고, 상기 디스플레이 장치 상에 3차원 가상 현실 환경을 표시하도록 구성된 헤드-마운트 디스플레이;
    복수의 생체 반응 센서들; 및
    상기 헤드-마운트 디스플레이 및 상기 복수의 생체 반응 센서들과 연결된 프로세서를 포함하되,
    상기 프로세서는:
    상기 생체 반응 센서들로부터 사용자의 각성도(arousal) 및 정서가(valence) 레벨들을 나타내는 신호들을 수신하고,
    신경망을 교정하여 상기 사용자의 각성도 및 정서가 레벨들과 상기 사용자의 정서 상태를 상관시키며,
    상기 신호들을 기반으로 상기 사용자의 정서 상태를 계산하고, 그리고
    상기 사용자의 계산된 정서 상태에 응답하여 상기 헤드-마운트 디스플레이에 표시된 상기 3차원 가상 현실 환경을 변화시켜 목표 정서 상태를 유도하도록 구성된 생체 반응 가상 현실 시스템.
  2. 제 1 항에 있어서,
    상기 생체 반응 센서들은 뇌파 센서, 갈바닉 피부 반응 센서, 및 심박수 센서 중 적어도 하나를 포함하는 생체 반응 가상 현실 시스템.
  3. 제 2 항에 있어서,
    컨트롤러를 더 포함하되,
    상기 갈바닉 피부 반응 센서는 상기 컨트롤러의 일부인 생체 반응 가상 현실 시스템.
  4. 제 2 항에 있어서,
    전극 캡을 더 포함하되,
    상기 전극 캡은 상기 뇌파 센서를 포함하는 생체 반응 가상 현실 시스템.
  5. 제 2 항에 있어서,
    상기 신경망을 교정하는 상기 프로세서는:
    예상 정서 상태로 주석이 달린 컨텐츠를 표시하고,
    상기 사용자의 계산된 정서 상태와 상기 컨텐츠의 상기 주석을 비교하고, 그리고
    상기 사용자의 계산된 정서 상태와 상기 컨텐츠의 상기 주석이 다르면, 상기 신경망을 수정하여 상기 신호들을 상기 컨텐츠의 상기 주석과 상관시키도록 더 구성된 생체 반응 가상 현실 시스템.
  6. 제 2 항에 있어서,
    상기 3차원 가상 현실 환경을 변화시켜 상기 목표 정서 상태를 유도하는 프로세서는 심층 강화 학습을 이용하여 상기 사용자의 계산된 정서 상태에 응답하여 상기 3차원 가상 현실 환경을 변화시킬 시점을 결정하도록 더 구성된 생체 반응 가상 현실 시스템.
  7. 프로세서;
    상기 프로세서에 연결된 메모리;
    디스플레이 장치를 포함하고, 사용자에게 3차원 가상 현실 환경을 표시하도록 구성된 헤드-마운트 디스플레이; 및
    상기 프로세서에 연결된 복수의 생체 반응 센서들을 포함하되,
    상기 메모리는 명령어들을 저장하고, 상기 명령어들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서가:
    상기 생체 반응 센서들로부터 신호들을 수신하고,
    정서 상태 분류 네트워크를 교정하며,
    상기 정서 상태 분류 네트워크를 사용하여 상기 사용자의 정서 상태를 계산하고, 그리고
    상기 사용자의 계산된 정서 상태를 기반으로 상기 사용자에게 표시된 상기 3차원 가상 현실 환경을 변화시키도록 하는 생체 반응 가상 현실 시스템.
  8. 제 7 항에 있어서,
    상기 정서 상태 분류 네트워크는 복수의 컨볼루션 신경망들, 상기 신호들 각각에 대한 하나의 컨볼루션 신경망, 및 상기 컨볼루션 신경망들을 서로 연결하는 멀티-모달 네트워크를 포함하는 생체 반응 가상 현실 시스템.
  9. 제 8 항에 있어서,
    상기 정서 상태 분류 네트워크를 교정하는 상기 메모리는 상기 명령어들을 저장하고, 상기 명령어들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서가:
    일반 대중을 기반으로 하는 기준선 모델을 입력하고,
    상기 헤드-마운트 디스플레이를 사용하여 주석이 달린 컨텐츠를 상기 사용자에게 표시하고,
    상기 사용자의 계산된 정서 상태와 상기 주석의 정서 상태를 비교하고, 그리고
    상기 사용자의 계산된 정서 상태 및 상기 주석의 상기 정서 상태 간 차이가 값보다 크면, 상기 기준선 모델을 수정하여 상기 주석의 상기 정서 상태와 상기 수신된 신호들을 상관시키도록 하며,
    상기 주석은 상기 주석이 달린 컨텐츠와 관련된 정서 상태를 나타내는 생체 반응 가상 현실 시스템.
  10. 제 8 항에 있어서,
    상기 3차원 가상 현실 환경을 변화시키는 상기 메모리는 상기 명령어들을 저장하고, 상기 명령어들은, 상기 프로세서에 의해 실행될 때, 상기 프로세서가:
    상기 사용자의 계산된 정서 상태와 목표 정서 상태를 비교하고, 그리고
    상기 사용자의 계산된 정서 상태 및 상기 목표 정서 상태 간 차이가 값보다 크면, 상기 3차원 가상 현실 환경을 변화시켜 상기 사용자를 상기 목표 정서 상태로 이동시키는 생체 반응 가상 현실 시스템.
KR1020190145578A 2018-12-20 2019-11-14 생체 반응 가상 현실 시스템 및 그것의 동작 방법 KR20200078319A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862783129P 2018-12-20 2018-12-20
US62/783,129 2018-12-20
US16/280,457 US20200201434A1 (en) 2018-12-20 2019-02-20 Bioresponsive virtual reality system and method of operating the same
US16/280,457 2019-02-20

Publications (1)

Publication Number Publication Date
KR20200078319A true KR20200078319A (ko) 2020-07-01

Family

ID=71098473

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190145578A KR20200078319A (ko) 2018-12-20 2019-11-14 생체 반응 가상 현실 시스템 및 그것의 동작 방법

Country Status (3)

Country Link
US (1) US20200201434A1 (ko)
KR (1) KR20200078319A (ko)
CN (1) CN111352502A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102421379B1 (ko) * 2022-02-11 2022-07-15 (주)돌봄드림 생체 정보에 기반한 심리 상태 케어 방법 및 이를 수행하는 장치
WO2024096391A1 (ko) * 2022-11-01 2024-05-10 삼성전자 주식회사 생체 신호 획득 장치 및 방법

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018152685A1 (en) * 2017-02-22 2018-08-30 Tencent Technology (Shenzhen) Company Limited Image processing in a vr system
US11307650B1 (en) 2019-06-25 2022-04-19 Apple Inc. Modifying virtual content to invoke a target user state
WO2021226726A1 (es) * 2020-05-13 2021-11-18 Cornejo Acuna Eduardo Alejandro Sistema que proporciona una intervención o inmersión para la prevención del síndrome de estrés laboral (burnout) y la reducción del ausentismo laboral
CN112215962B (zh) * 2020-09-09 2023-04-28 温州大学 一种虚拟现实情感刺激系统及其创建方法
US20220091671A1 (en) * 2020-09-22 2022-03-24 Hi Llc Wearable Extended Reality-Based Neuroscience Analysis Systems
US11789533B2 (en) 2020-09-22 2023-10-17 Hi Llc Synchronization between brain interface system and extended reality system
WO2022212052A1 (en) * 2021-03-31 2022-10-06 Dathomir Laboratories Llc Stress detection
CN113349778B (zh) * 2021-06-03 2023-02-17 杭州回车电子科技有限公司 基于经颅直流电刺激的情绪分析方法、装置和电子装置
CN113759841B (zh) * 2021-08-26 2024-01-12 山东师范大学 一种多目标优化的机床柔性车间调度方法及系统
CN114530230B (zh) * 2021-12-31 2022-12-02 北京津发科技股份有限公司 基于虚拟现实技术的人员能力测试与反馈训练方法、装置、设备及存储介质
US20240070045A1 (en) * 2022-08-29 2024-02-29 Microsoft Technology Licensing, Llc Correcting application behavior using user signals providing biological feedback
CN115381403A (zh) * 2022-08-29 2022-11-25 天津科技大学 一种基于脑机接口的头戴智能监测仪
US20240094801A1 (en) * 2022-09-21 2024-03-21 International Business Machines Corporation Contextual virtual reality rendering and adopting biomarker analysis
CN116594511B (zh) * 2023-07-17 2023-11-07 天安星控(北京)科技有限责任公司 基于虚拟现实的场景体验方法、装置、计算机设备和介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102421379B1 (ko) * 2022-02-11 2022-07-15 (주)돌봄드림 생체 정보에 기반한 심리 상태 케어 방법 및 이를 수행하는 장치
WO2023153604A1 (ko) * 2022-02-11 2023-08-17 (주)돌봄드림 생체 정보에 기반한 심리 상태 케어 방법 및 이를 수행하는 장치
WO2024096391A1 (ko) * 2022-11-01 2024-05-10 삼성전자 주식회사 생체 신호 획득 장치 및 방법

Also Published As

Publication number Publication date
US20200201434A1 (en) 2020-06-25
CN111352502A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
KR20200078319A (ko) 생체 반응 가상 현실 시스템 및 그것의 동작 방법
US11822720B2 (en) Wearable computing device with electrophysiological sensors
US11071515B2 (en) Augmented reality systems and methods for user health analysis
CN110520824B (zh) 多模式眼睛跟踪
KR102324735B1 (ko) 생체 정보를 이용하여 적응적 제어가 가능한 웨어러블 장치, 이를 포함하는 시스템, 및 이의 동작 방법
US10791938B2 (en) Smartglasses for detecting congestive heart failure
US20170293356A1 (en) Methods and Systems for Obtaining, Analyzing, and Generating Vision Performance Data and Modifying Media Based on the Vision Performance Data
KR20210045467A (ko) 딥 신경 네트워크들에 기초한 정신적 거동 속성들의 인식을 위한 전자 디바이스
US20150079560A1 (en) Wearable Monitoring and Training System for Focus and/or Mood
US9814423B2 (en) Method and system for monitoring pain of users immersed in virtual reality environment
JP2017535388A (ja) 感情状態を伝えるためのモジュラウェアラブルデバイス
US11782508B2 (en) Creation of optimal working, learning, and resting environments on electronic devices
JP2009101057A (ja) 生体情報処理装置、生体情報処理方法及びプログラム
WO2018222589A1 (en) System and method for treating disorders with a virtual reality system
KR20200101195A (ko) 전자 장치 및 그 제어 방법
Gao et al. Wearable Technology for Signal Acquisition and Interactive Feedback in Autism Spectrum Disorder Intervention: A Review
US20230418372A1 (en) Gaze behavior detection
Hondrou et al. Affective Natural Interaction Using EEG: Technologies, Applications and Future Directions
CN117120958A (zh) 压力检测
CN116964545A (zh) 用于信号传递认知状态转换的系统和方法
CN116569124A (zh) 基于眼睛注视的生物反馈
Esteban Clua A cybersickness review: causes, strategies, and classification
KR20120136648A (ko) 생체 신호를 이용한 장치 제어 시스템 및 방법