KR102595088B1 - 가상현실 컨텐츠 제어 시스템 및 이를 이용한 가상현실 컨텐츠 제어 방법 - Google Patents
가상현실 컨텐츠 제어 시스템 및 이를 이용한 가상현실 컨텐츠 제어 방법 Download PDFInfo
- Publication number
- KR102595088B1 KR102595088B1 KR1020220174092A KR20220174092A KR102595088B1 KR 102595088 B1 KR102595088 B1 KR 102595088B1 KR 1020220174092 A KR1020220174092 A KR 1020220174092A KR 20220174092 A KR20220174092 A KR 20220174092A KR 102595088 B1 KR102595088 B1 KR 102595088B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- virtual reality
- unit
- reality content
- module
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Human Computer Interaction (AREA)
- Developmental Disabilities (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Hematology (AREA)
- Child & Adolescent Psychology (AREA)
- Neurosurgery (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Dentistry (AREA)
Abstract
본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템은 헤드 마운티드 디스플레이(HMD: head mounted display)를 통해 사용자에게 가상현실 컨텐츠가 제공되는 컨텐츠제공부, 가상현실 컨텐츠와 동기화되어 구동되는 모션의자부, 사용자에게 제공되는 가상현실 컨텐츠 및 모션의자부의 구동에 대응하여 변화되는 사용자의 생체신호가 측정되는 생체신호측정부, 측정된 생체신호를 기초로 사용자의 심리상태가 분석되는 생체신호분석부 및 분석된 사용자의 심리상태에 따라 컨텐츠제공부 및 모션의자부 중 적어도 어느 하나를 제어하는 제어부가 포함될 수 있다.
Description
본 발명은 가상현실 컨텐츠 제어 시스템 및 이를 이용한 가상현실 컨텐츠 제어 방법에 관한 것으로, 더욱 상세하게는 사용자에게 가상현실(Virtual Reality) 컨텐츠를 통한 태스크를 수행하고, 가상현실 컨텐츠에 동기화되어 구동되는 모션의자에 탑승한 상태에서 사용자에 대한 생체 신호를 측정하여, 측정된 결과를 분석함으로써 사용자의 심리 상태가 어떤 상태인지 파악하고, 파악된 사용자의 심리 상태에 맞추어 가상현실 컨텐츠의 종류, 자극 정도 및 모션의자의 동작을 제어함으로써 사용자 심리 치료가 수행되는 가상현실 컨텐츠 제어 시스템 및 이를 이용한 가상현실 컨텐츠 제어 방법에 관한 것이다.
현대를 살아가는 사람들 중 우울한 감정을 느끼지 못할 정도로 바쁘게 살아가는 사람들도 많고, 때로는 본인 또는 가족이 우울증임에도 불구하고 우울증인지도 모르고 혹은 우울증이 어떠한 증세를 호소하는지도 몰라서 방치하고 있는 경우도 존재한다.
이러한 우울증 등 각종 정신 질환은 생물학적 요인뿐 아니라 심리적 혹은 사회적인 요인이 복합적으로 작용하여 발생되는 경우가 대부분이며, 이러한 복합적으로 발생되는 정신 질환을 치료하기 위한 다양한 방법들이 제시되고 있다.
그 중, 가상현실(VR: Virtual Reality)은 상기 정신 질환 중에서 고소공포증이나 밀실공포증 등의 공포증을 겪고 있는 사람의 치료를 위해서 사용되고 있는 추세이다. 즉, 겪고 있는 공포감을 조성하는 상황 혹은 물건 등에 사람이 노출되도록 하여 그 상황 속에서 스스로 벗어나려고 노력하는 훈련을 하는 것이다.
그러나 정신질환 치료를 위해 가상현실을 이용함에 있어서 치료의 경과를 판단하기가 어려워 향후 치료 계획을 수정하거나 치료 방법을 바꾸는 등의 적절한 대응 및 부작용을 발견하기 어려운 실정이다.
이에 따라, 가상현실 컨텐츠에 대한 사용자의 실제감을 높이기 위해 가상현실 컨텐츠와 동기화되어 움직임이 제공되는 모션의자(motion chair)에 탑승하여 사용자의 혈압, 체온 등의 각종 생체신호의 변화를 분석함으로써 사용자의 심리상태가 판단되는 기술에 대한 개발이 더욱이 요구되고 있다.
본 발명은 전술한 바와 같은 기술 개발 요구에 따라 안출된 것으로서, 상세하게는 가상현실을 체험함에 있어서 가상현실 컨텐츠와 동기화된 모션의자에 탑승하도록 하여 실제감을 높이고자 함에 그 목적이 있다.
또한, 사용자의 생체신호의 양상을 실시간으로 측정하여 생체신호에 따른 사용자의 심리상태를 판단하고자 함에 그 목적이 있다.
본 발명에서 이루고자 하는 기술적 목적들은 이상에서 언급한 사항들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 이하 설명할 본 발명의 실시 예들로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 고려될 수 있다.
본 발명의 일 실시 예로써, 가상현실 컨텐츠 제어 시스템이 제공될 수 있다.
본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템은 헤드 마운티드 디스플레이(HMD: head mounted display)를 통해 사용자에게 가상현실 컨텐츠가 제공되는 컨텐츠제공부, 가상현실 컨텐츠와 동기화되어 구동되고, 사용자의 발바닥이 놓여지는 발판부, 사용자의 손바닥 및 하박의 적어도 일부가 놓여지는 팔걸이부 및 사용자의 복부와 접촉되는 벨트부를 포함하는 모션의자부, 사용자에게 제공되는 가상현실 컨텐츠 및 모션의자부의 구동에 대응하여 변화되는 사용자의 생체신호가 측정되되, 사용자의 혈류량 및 심박 변이도를 측정하는 제1 센서모듈, 사용자 신체의 온도, 습도 및 임피던스를 측정하는 제2 센서모듈 및 사용자의 움직임 정보를 측정하는 제3 센서모듈을 포함하는 생체신호측정부, 측정된 생체신호를 기초로 사용자의 심리상태가 분석되는 생체신호분석부 및 분석된 사용자의 심리상태에 따라 컨텐츠제공부 및 모션의자부 중 적어도 어느 하나를 제어하는 제어부가 포함되고, 생체신호분석부는, 측정된 생체신호에 대하여 전처리가 수행되고 전처리부, 전처리가 수행된 생체신호에 대하여 성분분석 알고리즘을 이용하여 노이즈가 필터링되는 노이즈 필터링부, 필터링된 생체신호에 대한 평균, 표준편차 및 상관계수에 기초하여 추출된 정규분포 상 확률위치(z-score)에 기초하여 상황 별 유의성 지수가 계산되는 유의성지수계산부를 더 포함하며, 생체신호에는 사용자의 뇌로부터 발생되는 뇌전도(EEG: electroencephalogram) 신호 및 기능적 근적외선 분광법(fNIRS: functional near-infrared spectroscopy)을 이용하여 측정되는 사용자의 뇌 활성 신호가 더 포함되고, 헤드 마운티드 디스플레이(HMD)에는 사용자의 두부에 착용되도록 하기 위한 착용부가 더 포함되며, 착용부에는 뇌전도 신호를 측정하기 위한 뇌전도 센싱모듈, 뇌 활성 신호를 측정하기 위한 근적외선 방출 모듈 및 근적외선 검출 모듈이 소정의 위치에 배치되고, 발판부에는 제1 내지 제3 센서모듈이 교번하여 배치되는 5개의 라인이 배치되고, 팔걸이부에는 제1 내지 제3 센서모듈이 교번하여 배치되는 3개의 라인이 배치되고, 벨트부에는 사용자의 몸이 움직이는 속도 및 가속도의 변화를 측정하기 위한 제3 센서모듈이 배치될 수 있다.
본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템의 제어부에서는 분석된 사용자의 심리상태에 대응되는 가상현실 컨텐츠에 대하여 딥러닝 알고리즘에 따라 미리 학습된 제어모델에 기초하여 컨텐츠제공부가 제어될 수 있다.
본 발명의 일 실시 예로써, 가상현실 컨텐츠 제어 시스템을 이용한 가상현실 컨텐츠 제어 방법이 제공될 수 있다.
본 발명의 일 실시예에 따른 가상현실 컨텐츠 제어 시스템을 이용한 가상현실 컨텐츠 제어 방법은 컨텐츠 제공부의 헤드 마운티드 디스플레이(HMD: head mounted display)를 통해 사용자에게 가상현실 컨텐츠가 제공되는 단계, 제어부에 의해, 사용자의 발바닥이 놓여지는 발판부, 사용자의 손바닥 및 하박의 적어도 일부가 놓여지는 팔걸이부 및 사용자의 복부와 접촉되는 벨트부를 포함하는 모션의자부가 가상현실 컨텐츠와 동기화되어 구동되는 단계, 사용자의 혈류량 및 심박 변이도를 측정하는 제1 센서모듈, 사용자 신체의 온도, 습도 및 임피던스를 측정하는 제2 센서모듈 및 사용자의 움직임 정보를 측정하는 제3 센서모듈을 포함하는 생체신호 측정부에 의해 사용자에게 제공되는 가상현실 컨텐츠 및 모션의자부의 구동에 대응하여 변화되는 사용자의 생체신호가 측정되는 단계, 생체신호 분석부에 의해 측정된 생체신호를 기초로 사용자의 심리상태가 분석되는 단계 및 분석된 사용자의 심리상태에 따라, 제어부에 의해 가상현실 컨텐츠의 제공 및 모션의자부의 구동 중 적어도 어느 하나가 제어되는 단계가 포함되고, 사용자의 심리상태가 분석되는 단계는, 측정된 생체신호에 대하여 전처리가 수행되는 단계, 전처리가 수행된 생체신호에 대하여 성분분석 알고리즘을 이용하여 노이즈가 필터링되는 단계 및 필터링된 생체신호에 대한 평균, 표준편차 및 상관계수에 기초하여 추출된 정규분포 상 확률위치(z-score)에 기초하여 상황 별 유의성 지수가 계산되는 단계가 더 포함되며, 생체신호에는, 사용자의 뇌로부터 발생되는 뇌전도(EEG: electroencephalogram) 신호 및 기능적 근적외선 분광법(fNIRS: functional near-infrared spectroscopy)을 이용하여 측정되는 사용자의 뇌 활성 신호가 더 포함되고, 생체신호가 측정되는 단계는, 발판부에 형성되어 제1 내지 제3 센서모듈이 교번하여 배치되는 5개의 라인을 통해 생체신호가 측정되는 단계, 팔걸이부에 형성되어 제1 내지 제3 센서모듈이 교번하여 배치되는 3개의 라인을 통해 생체신호가 측정되는 단계 및 벨트부에 형성된 제3 센서모듈을 통해 사용자의 몸이 움직이는 속도 및 가속도의 변화를 측정되는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 가상현실 컨텐츠의 제어 방법의 분석된 사용자의 심리상태에 따라 가상현실 컨텐츠의 제공 및 모션의자부의 구동 중 적어도 어느 하나가 제어되는 단계에서는 분석된 사용자의 심리상태에 대응되는 가상현실 컨텐츠에 대하여 딥러닝 알고리즘에 따라 미리 학습된 제어모델에 기초하여 컨텐츠의 제공에 대한 제어가 수행될 수 있다.
본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 방법의 분석된 사용자의 심리상태에 따라 가상현실 컨텐츠의 제공 및 모션의자부의 구동 중 적어도 어느 하나가 제어되는 단계에서는 분석된 사용자의 심리상태에 대응되는 가상현실 컨텐츠에 대하여 딥러닝 알고리즘에 따라 미리 학습된 제어모델에 기초하여 컨텐츠의 제공에 대한 제어가 수행될 수 있다.
본 발명의 일 실시 예로써, 전술한 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체가 제공될 수 있다.
본 발명의 일 실시 예로서 제공되는 가상현실 컨텐츠 제어 시스템에 따르면, 가상현실을 체험함에 있어서 가상현실 컨텐츠와 동기화된 모션의자에 탑승하도록 하여 실제감을 높일 수 있다.
또한, 사용자의 생체신호의 양상을 실시간으로 측정하여 생체신호에 따른 사용자의 심리상태를 정확하게 판단함으로써 사용자의 우울감을 감소시키기 위한 가상현실 컨텐츠 및 모션의자의 제어가 수행될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템을 나타낸 예시도이다.
도 2는 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템의 모션의자부를 나타낸 예시도이다.
도 3은 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템에 있어서, 센서모듈들이 배치된 형태를 나타낸 예시도이다.
도 4는 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템에 있어서, 기능적 근적외선 분광법(fNIRS)을 통해 사용자의 뇌 활성 신호가 측정되는 상태를 나타낸 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템에 있어서, 헤드 마운티드 디스플레이(HMD)에 뇌전도 센싱 모듈, 근적외선 방출모듈 및 근적외선 검출 모듈이 배치된 상태를 나타낸 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템의 컨텐츠제공부에 의해 제공되는 가상현실 컨텐츠를 나타낸 예시도이다.
도 7 및 도 8은 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 방법을 나타낸 순서도이다.
도 2는 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템의 모션의자부를 나타낸 예시도이다.
도 3은 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템에 있어서, 센서모듈들이 배치된 형태를 나타낸 예시도이다.
도 4는 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템에 있어서, 기능적 근적외선 분광법(fNIRS)을 통해 사용자의 뇌 활성 신호가 측정되는 상태를 나타낸 예시도이다.
도 5는 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템에 있어서, 헤드 마운티드 디스플레이(HMD)에 뇌전도 센싱 모듈, 근적외선 방출모듈 및 근적외선 검출 모듈이 배치된 상태를 나타낸 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템의 컨텐츠제공부에 의해 제공되는 가상현실 컨텐츠를 나타낸 예시도이다.
도 7 및 도 8은 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 방법을 나타낸 순서도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 구성을 사이에 두고" 연결되어 있는 경우도 포함한다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
본 발명의 일 실시 예로써, 가상현실 컨텐츠 제어 시스템이 제공될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템을 나타낸 예시도이고, 도 2는 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템의 모션의자부(200)를 나타낸 예시도이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템은 헤드 마운티드 디스플레이(HMD: head mounted display)를 통해 사용자에게 가상현실 컨텐츠가 제공되는 컨텐츠제공부(100), 가상현실 컨텐츠와 동기화되어 구동되는 모션의자부(200), 사용자에게 제공되는 가상현실 컨텐츠 및 모션의자부(200)의 구동에 대응하여 변화되는 사용자의 생체신호가 측정되는 생체신호측정부(300), 측정된 생체신호를 기초로 사용자의 심리상태가 분석되는 생체신호분석부(400) 및 분석된 사용자의 심리상태에 따라 컨텐츠제공부(100) 및 모션의자부(200) 중 적어도 어느 하나를 제어하는 제어부(500)가 포함될 수 있다.
본 발명에서 '사용자'란 심리적 불안 혹은 우울 증세 등 정신 질환을 호소하는 환자뿐만 아니라, 상기와 같은 정신 질환을 겪고 있지는 않지만 스트레스 등의 정신적 압박을 겪고 있거나 자신의 심리 상태를 분류하고자 하는 일반인도 포함될 수 있다. 즉, 본 발명의 생체 신호 분석 시스템은 정신질환을 겪는 환자를 대상으로 하는 의료 시스템 혹은 치료 시스템이 아니라, 개인의 생체 현상을 측정 및 분석하거나 일상건강관리를 위해 의료 정보를 제공하기 위한 건강관리 시스템 또는 웰니스(wellness) 시스템에 해당될 수 있다.
본 발명의 일 실시 예에 따른 컨텐츠제공부(100)에서는 헤드 마운티드 디스플레이(HMD: head mounted display)를 통해 사용자에게 가상현실 컨텐츠가 제공되는데, 상기 헤드 마운티드 디스플레이(HMD)는 고글처럼 착용하여 영상을 표시할 수 있는 모니터를 칭하는 것으로 본 발명의 도면에 도시된 헤드 마운티드 디스플레이(20) 형태에 제한되지 않고 다양한 형태로 형성될 수 있다. 가상현실 컨텐츠는 컴퓨터로 만들어 놓은 가상의 세계에서 사람이 실제와 같은 체험을 할 수 있도록 하는 컨텐츠를 칭할 수 있으며, 상기 가상현실 컨텐츠는 현실의 이미지나 배경에 3차원 가상의 이미지를 겹쳐서 하나의 영상으로 보여주는 증강현실(AR: Augmented Reality) 컨텐츠도 포함될 수 있다.
본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템에 있어서, 가상현실 컨텐츠의 카테고리에는 사용자의 설문 데이터에 기초한 가상의 시나리오가 제공됨으로써 사용자의 심리 상태 요인을 파악하기 위한 진단용컨텐츠, 사용자의 심리 상태를 안정시키게 하기 위한 안정용컨텐츠 및 사용자로 하여금 스스로 심리 상태 요인을 인지할 수 있도록 하기 위한 유도용컨텐츠뿐만 아니라 상기 진단용컨텐츠, 안정용컨텐츠 및 유도용컨텐츠가 모두 결합된 통합컨텐츠가 더 포함될 수 있다.
상기 진단용컨텐츠에는 예를 들어 'Holmes-Rahe Life Stress Inventory'에 기반하여 사용자에게 스트레스를 유발할 수 있는 사건들 혹은 환경적인 요인들을 가상현실 컨텐츠를 통해 사용자가 체험할 수 있도록 하기 위한 컨텐츠가 포함될 수 있다.
도 6은 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템의 컨텐츠제공부(100)에 의해 제공되는 가상현실 컨텐츠를 나타낸 예시도이다.
도 6을 참조하면, 상기 안정용컨텐츠에는 사용자의 스트레스를 완화시키거나 사용자의 심리 상태를 안정시키게 하기 위한 자연 감상 컨텐츠, 공연 감상 컨텐츠, 레저 체험 컨텐츠 등 가상현실 컨텐츠로 표현할 수 있는 컨텐츠는 모두 포함될 수 있으며, 그 종류에는 제한이 없다. 예를 들어, 상기 자연 감상 컨텐츠에는 바다, 강, 숲, 초원 등 자연 경관을 사용자로 하여금 감상할 수 있도록 하기 위한 자연 감상 컨텐츠를 제공할 수 있다. 상기 자연 감상 컨텐츠는 가상현실에 기반을 둔 것으로 사용자로 하여금 실제로 바다 위, 숲 속 등을 날아다니는 것처럼 입체감 및 현실감을 느끼도록 할 수 있다. 또한, 자연 감상 컨텐츠는 가상현실 영상에 맞추어 바람 소리, 파도 소리 등 자연음향이 함께 제공될 수 있다. 상기 공연 감상 컨텐츠를 통해서 사용자의 긴장을 완화시키거나 사용자의 심리 안정을 위한 공연을 가상현실을 통해 체험하도록 할 수 있다. 상기 공연 감상 컨텐츠에는 오케스트라, 콘서트, 연주회, 마술 공연 등 다양한 공연의 감상을 위한 가상현실 컨텐츠가 포함될 수 있다. 또한, 상기 상기 레저 체험 컨텐츠에는 패러글라이딩, 스쿠버다이빙, 스노쿨링 등 다양한 가상현실 레저 컨텐츠가 포함될 수 있다.
상기 유도용컨텐츠에는 사용자 스스로 우울이나 불안의 요인을 인지하여 사용자 자신을 객관적으로 바라볼 수 있도록 유도가 가능한 컨텐츠가 포함될 수 있다. 즉, 외부 환경적 요인이나 유전, 노화, 트라우마 등 내부 환경적 요인은 물론 신체적, 심리적이든 사용자의 우울 혹은 불안을 일으키는 요인을 인지하여 이를 치유하기 위하여 사용자로 하여금 적극적으로 참여하도록 하기 위한 컨텐츠가 포함될 수 있다.
본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템의 모션의자부(200)는 사용자의 신체를 받쳐서 지지하되, 가상현실 컨텐츠와 동기화(Synchronization)되어 사용자로 하여금 가상현실 공간에서 실제 현장(Ex. 자연, 공연장 등)에서 보고 느끼는 체험을 전달하도록 하기 위해 다양한 움직임을 위한 액츄에이터부(actuator module)가 포함된 장치 혹은 기기를 지칭할 수 있다. 상기 액츄에이터부는 모션의자부(200)가 전후축(x축) 회전운동 하도록 하기 위한 롤(roll), 수평축(y축) 회전운동 하도록 하기 위한 피치(pitch), 상하축(z축) 회전운동 하도록 하기 위한 요우(yaw), 전후축(x축) 앞뒤 왕복운동을 위한 서지(surge), 수평축(y축) 좌우 왕복운동을 위한 스웨이(sway) 및 상하축(z축) 위아래 왕복운동을 위한 히브(heave) 동작으로 구동되도록 할 수 있다. 뿐만 아니라 모션의자부(200)는 가상현실 컨텐츠에 맞추어 진동(vibration)하도록 할 수 있다. 즉, 본 발명의 일 실시 예에 따른 모션의자부(200)는 가상현실 컨텐츠의 각 장면에 맞게 모션의자부(200)가 롤(roll), 피치(pitch), 요우(yaw), 서지(surge), 스웨이(sway), 히브(heave) 및 진동(vibration) 등의 동작을 함으로써 컨텐츠와 동기화되어 구동될 수 있다.
본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템의 생체신호측정부(300)에는 사용자의 혈류량 및 심박 변이도를 측정하기 위한 제 1 센서모듈, 사용자 신체의 온도, 습도 및 임피던스 측정을 위한 제 2 센서모듈 및 사용자의 움직임 정보를 감지하기 위한 제 3 센서모듈이 포함될 수 있다. 또한, 본 가상현실 컨텐츠 제어 시스템에는 상기 제 1 센서모듈, 제 2 센서모듈 및 제 3 센서모듈을 통해 측정된 데이터들을 저장하기 위한 데이터베이스(미도시)가 더 포함될 수 있다.
상기 제 1 센서모듈은 혈류량 및 심박 변이도 뿐 아니라 심박 출량, 산소운반능력, 혈압, 혈관 탄성 정도, 혈류 속도 및 산소 포화도 등을 측정하기 위한 광혈류 센서모듈(PPG sensor module: photoplethysmography sensor module)을 지칭할 수 있다. 상기 제 2 센서모듈에서는 사용자 피부의 온도, 습도 및 피부임피던스 뿐만 아니라 피부 전도도도 측정될 수 있다. 상기 제 3 센서모듈은 모션의자부(200)의 구동에 따라 사용자의 몸의 움직이는 속도 및 가속도의 변화를 측정하기 위한 센서모듈로, 상기 제 3 센서모듈은 가속도 센싱모듈, 자이로스코프(gyroscope) 및 지자기센싱 모듈이 포함된 관성측정장치 모듈(IMU: Inertial Measurement Unit)을 지칭할 수 있다.
즉, 본 명세서에서 생체신호는 전술한 제 1 센서모듈 내지 제 3 센서모듈에 의해서 측정되는 사용자의 광혈류(PPG), 피부 온도, 피부 임피던스, 몸의 움직임 정보 등을 지칭할 수 있다. 또한, 후술하는 바와 같이 뇌파(EEG) 및 뇌활성 신호 등도 상기 생체신호에 더 포함될 수 있다.
본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템에 있어서, 모션의자부(200)의 레그부, 팔걸이부(50) 및 벨트부(40) 중 적어도 어느 하나에는 제 1 센서모듈, 제 2 센서모듈 및 제 3 센서모듈이 소정의 형태로 배치될 수 있다.
즉, 도 2에 도시된 바와 같이 모션의자부(200)의 소정의 위치에 사용자의 생체신호를 측정하기 위한 센서모듈들이 구비되어 있다. 특히, 사용자의 신체와 접촉되는 모션의자부(200)의 구조(레그부, 팔걸이부, 벨트부 등)에 소정의 형태로 배치된 센서모듈들이 구비되어 있다.
구체적으로, 레그부는 모션의자부(200)에서 사용자의 착석 시 발판(60)이 마련되어 사용자의 발을 지지하는 부분으로, 사용자의 발바닥과 접촉되는 발판(60)에는 전술한 제 1 센서모듈, 제 2 센서모듈 및 제 3 센서모듈이 소정의 형태로 배치되어 내장(embedded)되어 형성될 수 있다. 또한, 사용자의 팔과 접촉되는 팔걸이부(50)에도 마찬가지로 제 1 센서모듈, 제 2 센서모듈 및 제 3 센서모듈이 소정의 형태로 배치되어 내장(embedded)되어 형성될 수 있다. 사용자의 복부와 접촉되는 벨트부(40)에는 모션의자부(200)의 구동에 따라 사용자의 몸의 움직이는 속도 및 가속도의 변화를 측정하기 위한 제 3 센서모듈이 부착되어 형성될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템에 있어서, 센서모듈들이 배치된 형태를 나타낸 예시도이다. 도 3의 (a) 및 (b)에 도시된 바와 같이 제 1 센서모듈, 제 2 센서모듈 및 제 3 센서모듈은 모션의자부(200)의 레그부, 팔걸이부(50), 벨트부 등 구조에 따라 각기 다른 패턴으로 배치될 수 있다. 예를 들면, 모션의자부(200)의 레그부의 발판(60)에는 도 3의 (a)와 같이 다섯 줄로 제 1 센서모듈, 제 2 센서모듈 및 제 3 센서모듈이 배치된 형태로 구비될 수 있으며, 이와는 달리 모션의자부(200)의 팔걸이부(50)에는 도 3의 (b)와 같이 세 줄로 제 1 센서모듈, 제 2 센서모듈 및 제 3 센서모듈이 배치된 형태로 구비될 수 있다.
이하에서는, 본 가상현실 컨텐츠 제어 시스템의 생체신호분석부(400)에서 사용자의 심리상태가 분석되는 내용을 설명한다. 이하에서의 분석 과정을 통해 상기와 같은 분석을 통해 사용자의 심리 상태는 정상, 우울 및 불안뿐만 아니라, 광장 공포증, 비행 공포증, 폐쇄 공포증, 고소 공포증, 공황 장애, 정신 분열증, 외상 후 스트레스 장애, 중독증, 불면증, 거식증, 폭식증, 강박증 등 다양한 심리 상태로 분류될 수 있다.
본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템의 생체신호분석부(400)에서는 측정된 생체신호에 대한 평균, 표준편차 및 상관계수 중 적어도 어느 하나에 기초하여 심리상태 별 유의성 지수가 계산될 수 있다.
또한, 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템의 생체신호분석부(400)에는 측정된 생체신호에 대하여 전처리가 수행되는 전처리부, 전처리가 수행된 생체신호에 대하여 성분분석 알고리즘을 이용하여 노이즈가 필터링되는 노이즈필터링부, 필터링된 생체신호에 대한 평균, 표준편차 및 상관계수 중 적어도 어느 하나에 기초하여 추출된 정규분포 상 확률위치(z-score)에 기초하여 유의성 지수가 계산되는 유의성지수계산부가 더 포함될 수 있다.
상기 전처리부에서는 사용자의 측정된 생체 신호 별 퓨리에 변환을 이용하여 주파수 영역에서 저주파 필터(LPF: Low Pass Filter), 고주파 필터(HPF: High Pass Filter) 등 주파수 필터링 과정을 통해 생체 신호 주파수 이외의 성분(Ex. 다른 생리 현상, 센서모듈 동작을 위한 신호 등)이 필터링될 수 있다.
상기 노이즈필터링부에서는 전처리된 생체 신호에 대하여 독립 성분 분석(ICA: Independent Component Analysis)와 같은 성분 분석 알고리즘을 이용하여 생체 신호에 추가적으로 포함될 수 있는 노이즈(noise)가 필터링될 수 있다.
상기 유의성지수계산부에서는 시계열적 상황(Ex. 제 1 상황, 제 2상황 ? 제 n 상황 등) 별 생체 신호에 대하여 제트 스코어(z-score) 계산을 통해 각 상황 별 유의성 지수가 계산될 수 있는데, 상기 계산된 상황 별 유의성 지수의 값이 작을수록 해당 상황과의 유의성 정도가 높은 것으로 판단될 수 있다.
이하에서는 상기 전처리부 및 노이즈필터링부에서 각각 전처리 및 필터링되어 유의성지수계산부로 전달된 사용자 생체신호에 대하여 유의성 지수가 계산되는 과정을 예를 들어 설명한다.
상기 시계열적 상황(Ex. 제 1 상황, 제 2상황 ? 제 n 상황 등) 별 사용자의 생체신호는 (i= 1, 2, … , n)와 같이 표현할 수 있다. 는 사용자가 가상현실 컨텐츠를 체험하는 시간을 지칭하며, 는 상기 시간 동안 사용자의 생체신호가 본 발명의 생체신호측정부(300)에서의 기록될 때의 시간을 지칭할 수 있고, 아래와 같이 [수학식 1]로 표현할 수 있으며, k= 1, 2, …, m 이다.
[수학식 1]
*
여기에서 제 1 상황 내지 제 n 상황에서의 생체신호의 평균()은 다음의 [수학식 2]와 같이 나타낼 수 있다.
[수학식 2]
또한, 제 1 상황 내지 제 n 상황에서의 생체신호의 표준편차() 및 제 1 상황 내지 제 n 상황에서의 생체신호 간 상관계수()는 각각 다음의 [수학식 3] 및 [수학식 4]와 같이 나타낼 수 있다.
[수학식 3]
[수학식 4]
이하에서는 상기 생체신호의 평균, 표준편차 및 상관계수에 따라 각각 달리 산출되는 제트스코어(z-score)를 설명한다.
먼저, 평균으로부터 산출되는 제 1 제트스코어를 도출한다.
데이터베이스에 미리 저장되어 있는 기준 상황 별(제 1 상황 내지 제 p 상황) 생체신호의 평균()에 대한 평균은 와 같이 나타낼 수 있고, 데이터베이스에 미리 저장되어 있는 기준 상황 별(제 1 상황 내지 제 p 상황) 생체신호의 평균()에 대한 표준편차는 와 같이 나타낼 수 있다. 상기 평균 및 표준편차를 이용하면 제 1 제트스코어는 아래 [수학식 5]와 같이 나타낼 수 있다.
[수학식 5]
상기 [수학식 5]에서 제 1 제트스코어()는 전술한 바와 같이 본 발명의 생체신호측정부(300)에서 측정된 제 1 상황 내지 제 n 상황 별 생체신호()의 평균에 기초하여 도출된 기준 상황 별 표준점수를 나타낸다.
다음으로, 표준편차로부터 산출되는 제 2 제트스코어를 도출한다.
데이터베이스에 미리 저장되어 있는 기준 상황 별(제 1 상황 내지 제 p 상황) 생체신호의 표준편차()에 대한 평균은 와 같이 나타낼 수 있고, 데이터베이스에 미리 저장되어 있는 기준 상황 별(제 1 상황 내지 제 p 상황) 생체신호의 표준편차()에 대한 표준편차는 와 같이 나타낼 수 있다. 상기 평균 및 표준편차를 이용하면 제 2 제트스코어는 아래 [수학식 6]와 같이 나타낼 수 있다.
[수학식 6]
상기 [수학식 6]에서 제 2 제트스코어()는 전술한 바와 같이 본 발명의 생체신호측정부(300)에서 측정된 제 1 상황 내지 제 n 상황 별 생체신호()의 표준편차에 기초하여 도출된 기준 상황 별 표준점수를 나타낸다.
다음으로, 상관계수로부터 산출되는 제 3 제트스코어를 도출한다.
데이터베이스에 미리 저장되어 있는 기준 상황 별(제 1 상황 내지 제 p 상황) 생체신호의 상관계수()에 대한 평균은 와 같이 나타낼 수 있고, 데이터베이스에 미리 저장되어 있는 기준 상황 별(제 1 상황 내지 제 p 상황) 생체신호의 상관계수()에 대한 표준편차는 와 같이 나타낼 수 있다. 상기 평균 및 표준편차를 이용하면 제 3 제트스코어는 아래 [수학식 7]와 같이 나타낼 수 있다.
[수학식 7]
상기 [수학식 7]에서 제 3 제트스코어()는 전술한 바와 같이 본 발명의 생체신호측정부(300)에서 측정된 제 1 상황 내지 제 n 상황 별 생체신호()의 상관계수에 기초하여 도출된 기준 상황 별 표준점수를 나타낸다.
상기에서 산출된 제 1 제트스코어(), 제 2 제트스코어() 및 제 3 제트스코어()에 기초하여 상황(제 1 상황 내지 제 p 상황) 별 유의성 지수 값이 다음의 [수학식 8]과 같이 도출될 수 있다.
[수학식 8]
즉, 상기 유의성 지수()는 상기 [수학식 8]과 같이 제 1 제트스코어(), 제 2 제트스코어() 및 제 3 제트스코어() 합의 평균을 상황 별로 도출한 값에 해당할 수 있다. 전술한 바와 같이 유의성 지수는 그 값이 작을수록 해당 상황과의 유의성 정도가 높다고 할 수 있으며, 유의성 지수를 통해 사용자의 심리상태가 판단될 수 있다.
또한, 후술하는 바와 같이 생체신호에는 뇌전도(EEG) 신호 및 뇌 활성 신호가 더 포함될 수 있고, 생체신호는 전술한 제 1 센서모듈 내지 제 3 센서모듈에 의해서 측정되는 사용자의 광혈류(PPG), 피부 온도, 피부 임피던스, 몸의 움직임 정보 등을 나타내는 제 1 생체신호 및 후술하는 뇌전도 신호 및 뇌 활성 신호를 나타내는 제 2 생체신호로 구분할 수 있으며, 제 2 생체신호에도 마찬가지로 전술한 바와 같은 유의성 지수를 구하기 위한 과정(Ex. 전처리, 노이즈필터링, 유의성지수 계산 등)들이 적용될 수 있다.
즉, 유의성 지수는 제 1 생체신호에 기초하여 전술한 과정에 의해 도출된 제 1 유의성 지수() 및 제 2 생체신호에 기초하여 도출된 제 2 유의성 지수(,)를 지칭할 수 있다. 상기 제 1 유의성 지수() 및 제 2 유의성 지수()에 따르면, 사용자의 심리상태가 제 2 생체신호(뇌전도 및 뇌 활성 신호)와 유의한지 여부가 판단될 수 있다. 다시 말하면, 현재 사용자의 심리상태와 뇌 활성 신호와 같은 뇌와 관련하여 측정된 신호와 어떠한 연관 관계가 있는지 판단될 수 있다.
상기와 같은 과정을 통해서 도출된 상황 별 유의성 지수 값에 따라 제어부(500)에서는 가상현실 컨텐츠의 종류, 레벨, 시간 및 주기 등을 변경하거나 모션의자부(200)의 동작을 제어할 수 있다.
또한, 제어부(500)에서 상기와 같이 제공될 가상현실 컨텐츠 및 모션의자부의 동작이 제어됨으로써 사용자로부터 피드백되어 측정되는 생체신호 및 이에 따른 유의성 지수에 기초하여 생체신호분석부(400)에서는 사용자의 상태변화가 판단될 수 있다.
즉, 상기 피드백된 생체신호 또는 유의성 지수가 이전 시점의 생체신호 또는 유의성 지수에 비해 소정의 기준 비율만큼 변화가 생긴 경우에는 사용자의 상태가 호전되었거나 악화되었음을 추가로 확인할 수 있다. 예를 들면, t1 시점에 측정된 사용자의 생체신호에 비하여 t2 시점에 측정된 생체신호가 15% 정도의 변화가 생긴 것으로 판단된다면 t1 시점에 비하여 사용자의 상태가 변화된 것으로 판단될 수 있다. 다만 전술한 15% 비율은 예시적인 것에 불과하고 이에 제한되지 않는다.
도 5는 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템에 있어서, 헤드 마운티드 디스플레이(HMD)에 뇌전도 센싱 모듈, 근적외선 방출모듈 및 근적외선 검출 모듈이 배치된 상태를 나타낸 예시도이다.
도 5를 참조하면, 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템에 있어서, 생체신호에는 사용자의 뇌로부터 발생되는 뇌전도(EEG: electroencephalogram) 신호 및 기능적 근적외선 분광법(fNIRS: functional near-infrared spectroscopy)을 이용하여 측정되는 사용자의 뇌 활성 신호가 더 포함되고, 헤드 마운티드 디스플레이(HMD)에는 사용자의 두부에 착용되도록 하기 위한 착용부(21)가 더 포함되며, 착용부에는 뇌전도 신호를 측정하기 위한 뇌전도 센싱모듈, 뇌 활성 신호를 측정하기 위한 근적외선 방출 모듈 및 근적외선 검출 모듈이 소정의 위치에 배치될 수 있다. 즉, 본 발명의 생체신호측정부(300)에는 뇌전도 센싱모듈, 근적외선 방출 모듈 및 근적외선 검출 모듈이 더 포함될 수 있다.
상기 헤드 마운티드 디스플레이(HMD)는 다양한 형태로 형성될 수 있음은 전술한 바와 같다. 마찬가지로, 사용자의 두부에 착용되어 두부에 헤드 마운티드 디스플레이(20)가 고정되도록 하기 위한 헤드 마운티드 디스플레이(HMD)의 착용부(21)도 밴드(band), 헬멧 형태 등 다양한 형태로 형성될 수 있다. 도 5를 참조하면, 상기 착용부(21)는 사용자의 뒤통수를 감싸는 밴드부 및 상기 밴드부의 일 부분으로부터 사용자 두부의 정수리를 거쳐 헤드 마운티드 디스플레이(HMD)의 사용자에게 가상현실 컨텐츠가 제공되는 디스플레이부의 일 부분까지 연장되도록 형성될 수 있다.
상기 착용부(21)에서 사용자의 두부와 접촉되는 소정의 위치에는 적어도 하나의 근적외선 방출 모듈(221), 근적외선 검출 모듈(222), 뇌전도 센싱 모듈이 소정의 형태로 배치될 수 있다. 상기 소정의 위치는 사용자의 두부 중 상기 근적외선 방출 모듈(221) 및 근적외선 검출 모듈(222)이 사용자의 전두엽 영역으로부터 뇌 활성 신호를 추출할 수 있도록 하기 위한 위치가 포함될 수 있다.
상기 뇌전도 센싱모듈에서 뇌전도(EEG)는 사람의 대뇌에서 일어나는 전위변동 또는 상기 전위변동으로 인한 뇌전류(brain current)를 두피(頭皮) 상에서 유도하여 기록한 전기기록도에 해당될 수 있다. 상기 뇌전도 센싱모듈에는 복수개의 뇌전도 채널(225) 및 노이즈(noise)의 영향을 최소화하기 위한 신호증폭기 및 필터가 더 포함될 수 있다.
도 5를 참조하면, 상기 헤드 마운티드 디스플레이(20)의 착용부(21)의 일 부분에 본 발명의 생체신호측정부(300)의 근적외선 방출 모듈(221), 근적외선 검출 모듈(222) 및 뇌전도 채널(225)이 소정 형태로 배치되어 있다.
구체적으로, 근적외선 방출 모듈(221)과 근적외선 검출 모듈(222)은 서로 교차적으로 배치가 되어 두 개의 선을 이루고 있다. 즉, 근적외선 방출 모듈(221)과 근적외선 검출 모듈(222)이 하나씩 번갈아가면서 배치된 두 개의 선이 있고, 상기 두 개의 선 각각에서 근적외선 방출 모듈(221) 및 근적외선 검출 모듈(222)은 서로 엇갈리게 배치되어 있다. 다시 말하면, 도 4에 점선으로 형성된 사각형의 배치모듈(25)이 도시되어 있는데, 도시된 배치모듈(25) 상에는 근적외선 방출 모듈(221) 및 근적외선 검출 모듈(222)이 교차적으로 배치되어 같은 모듈끼리 대각선 상에 위치하도록 배치되어 있다. 또한, 뇌전도 채널(225)은 상기 두 개의 선 가운데에 일정 간격을 두고 배치되어 있다.
전술한 배치모듈(25)을 기초로 빛이 조사되는 과정에 대하여 살펴본다. 하나의 배치모듈(25)에는 두 개의 근적외선 방출 모듈(221) 및 두 개의 근적외선 검출 모듈(222)이 포함되어 있다. 각 근적외선 방출 모듈(221)에서는 근적외선 파장만 방출되는 것이 아니라 적외선이 포함된 파장 영역의 듀얼 파장이 방출될 수 있다. 즉, 근적외선 방출 모듈(221)에서는 적외선 파장(1) 및 근적외선 파장(2) 모두 방출될 수 있다. 상기 근적외선 방출 모듈(221)에서는 적외선 파장(1)이 방출되고 근적외선 파장(2)이 방출될 수 있다. 예를 들면, 도 4의 배치모듈(25) 상에서 근적외선 방출 모듈(L1, L2)로부터 빛이 조사되는 순서는 'L1(1) -> L1(2) -> L2(1) -> L2(2) -> Dark -> L1(1) -> ...' 또는 'L1(1) -> L1(2) -> L2(1) -> L2(2) -> L1(1) -> L1(2) -> L2(1) -> L2(2) -> Dark -> L1(1) -> ...'와 같이 방출될 수 있다. 근적외선 검출 모듈(D1, D2)는 'Dark'인 경우를 제외하고 근적외선 방출 모듈(L1 및 L2)로부터 방출된 빛을 검출할 수 있다. 즉, 근적외선 방출 모듈(221)로부터 빛이 방출되지 않은 경우(Dark) 근적외선 검출 모듈(222)에서는 빛을 검출할 수 없다. 본 발명의 생체신호측정부(300)에서 근적외선 방출 모듈(221), 근적외선 검출 모듈(222) 및 뇌전도 채널(225)의 배치 형태는 도 5에 제한되지 않으며, 배치 간격도 다양하게 정해질 수 있다.
도 4는 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템에 있어서, 기능적 근적외선 분광법(fNIRS)을 통해 사용자의 뇌 활성 신호가 측정되는 상태를 나타낸 예시도이다.
도 4를 참조하면, 도 4는 사용자의 뇌 활성 신호를 측정하기 위한 기능적 근적외선 분광법(fNIRS)을 나타낸 것으로, 기능성 근적외선 분광법(fNIRS)은 650nm-950nm의 근적외선 영역에서의 산화 헤모글로빈과 탈산화 헤모글로빈의 흡수율 차이를 이용하여 국부적인 뇌 활성 신호가 추출될 수 있는 생체 신호 측정법을 지칭할 수 있다. 즉, 기능적 근적외선 분광법(fNIRS)을 통해 근적외선 흡수율에 따른 혈류산소포화도를 통해 뇌의 뉴런 활동 및 뇌 활동에 대한 혈류학적 정보의 획득이 가능하다. 도 4에 도시된 바와 같이, 근적외선 방출 모듈(221)에서는 사용자의 뇌로 근적외선을 방출할 수 있으며, 근적외선 검출 모듈(222)에서는 근적외선 방출 모듈(221)로부터 방출되어 사용자의 뇌를 투과한 근적외선을 검출할 수 있다.
또한, 전술한 생체신호분석부(400)에서 사용자의 심리상태가 분석되는 내용은 뇌 활성 신호 및 뇌전도 신호가 더 포함된 생체신호에도 동일하게 적용될 수 있다.
본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 시스템의 제어부(500)에서는 분석된 사용자의 심리상태에 대응되는 가상현실 컨텐츠에 대하여 딥러닝 알고리즘에 따라 미리 학습된 제어모델에 기초하여 컨텐츠제공부(100)가 제어될 수 있다.
즉, 제어부(500)에서는 사용자의 심리상태에 가장 적합한 가상현실 컨텐츠를 결정하기 위해서 심리상태의 변화를 일으키는 가상현실 컨텐츠에 관하여 딥러닝 알고리즘을 이용하여 제어모델을 학습시키고, 학습된 제어모델에 기초하여 최적의 가상현실 컨텐츠가 제공되도록 할 수 있다.
본 발명의 일 실시 예로써, 가상현실 컨텐츠 제어 시스템을 이용한 가상현실 컨텐츠 제어 방법이 제공될 수 있다. 이하에서 설명하는 가상현실 컨텐츠 제어 방법과 관련하여 전술한 가상현실 컨텐츠 제어 시스템과 동일한 내용은 생략하였다.
도 7은 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 방법을 나타낸 순서도이다.
도 7을 참조하면, 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 방법은 헤드 마운티드 디스플레이(HMD: head mounted display)를 통해 사용자에게 가상현실 컨텐츠가 제공되는 단계, 가상현실 컨텐츠와 동기화되어 모션의자부(200)가 구동되는 단계, 사용자에게 제공되는 가상현실 컨텐츠 및 모션의자부(200)의 구동에 대응하여 변화되는 사용자의 생체신호가 측정되는 단계, 측정된 생체신호를 기초로 사용자의 심리상태가 분석되는 단계 및 분석된 사용자의 심리상태에 따라 가상현실 컨텐츠의 제공 및 모션의자부(200)의 구동 중 적어도 어느 하나가 제어되는 단계가 포함될 수 있다.
본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 방법의 사용자의 심리상태가 분석되는 단계에서는 측정된 생체신호에 대한 평균, 표준편차 및 상관계수 중 적어도 어느 하나에 기초하여 심리상태 별 유의성 지수가 계산될 수 있다.
도 8은 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 방법을 나타낸 순서도이다.
도 8을 참조하면, 본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 방법의 사용자의 심리상태가 분석되는 단계에서는 측정된 생체신호에 대하여 전처리가 수행되는 단계, 전처리가 수행된 생체신호에 대하여 성분분석 알고리즘을 이용하여 노이즈가 필터링되는 단계, 필터링된 생체신호에 대한 평균, 표준편차 및 상관계수 중 적어도 어느 하나에 기초하여 추출된 정규분포 상 확률위치(z-score)에 기초하여 유의성 지수가 계산되는 단계가 포함될 수 있다.
본 발명의 일 실시 예에 따른 가상현실 컨텐츠 제어 방법에 있어서, 분석된 사용자의 심리상태에 따라 가상현실 컨텐츠의 제공 및 모션의자부(200)의 구동 중 적어도 어느 하나가 제어되는 단계에서는 분석된 사용자의 심리상태에 대응되는 가상현실 컨텐츠에 대하여 딥러닝 알고리즘에 따라 미리 학습된 제어모델에 기초하여 컨텐츠의 제공에 대한 제어가 수행될 수 있다.
한편, 본 발명의 일 실시 예로써, 전술한 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체가 제공될 수 있다.
또한, 전술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 프로그램이나 코드를 기록하는 기록 매체는, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
20: 헤드 마운티드 디스플레이 40: 벨트부
50: 팔걸이부 60: 발판
100: 컨텐츠제공부 200: 모션의자부
300: 생체신호측정부 400: 생체신호분석부
500: 제어부
50: 팔걸이부 60: 발판
100: 컨텐츠제공부 200: 모션의자부
300: 생체신호측정부 400: 생체신호분석부
500: 제어부
Claims (5)
- 가상현실 컨텐츠 제어 시스템에 있어서,
헤드 마운티드 디스플레이(HMD: head mounted display)를 통해 사용자에게 가상현실 컨텐츠가 제공되는 컨텐츠제공부;
상기 가상현실 컨텐츠와 동기화되어 구동되고, 상기 사용자의 발바닥이 놓여지는 발판부, 상기 사용자의 손바닥 및 하박의 적어도 일부가 놓여지는 팔걸이부 및 상기 사용자의 복부와 접촉되는 벨트부를 포함하는 모션의자부;
상기 사용자에게 제공되는 가상현실 컨텐츠 및 모션의자부의 구동에 대응하여 변화되는 사용자의 생체신호가 측정되되, 상기 사용자의 혈류량 및 심박 변이도를 측정하는 제1 센서모듈;, 상기 사용자 신체의 온도, 습도 및 임피던스를 측정하는 제2 센서모듈; 및 상기 사용자의 움직임 정보를 측정하는 제3 센서모듈;을 포함하는 생체신호측정부;
상기 측정된 생체신호를 기초로 상기 사용자의 심리상태가 분석되는 생체신호분석부; 및
상기 분석된 사용자의 심리상태에 따라 상기 컨텐츠제공부 및 모션의자부 중 적어도 어느 하나를 제어하는 제어부;가 포함되고,
상기 생체신호분석부는,
상기 측정된 생체신호에 대하여 전처리가 수행되고 전처리부;
전처리가 수행된 생체신호에 대하여 성분분석 알고리즘을 이용하여 노이즈가 필터링되는 노이즈 필터링부;
필터링된 생체신호에 대한 평균, 표준편차 및 상관계수에 기초하여 추출된 정규분포 상 확률위치(z-score)에 기초하여 상황 별 유의성 지수가 계산되는 유의성지수계산부를 더 포함하며,
상기 생체신호에는 사용자의 뇌로부터 발생되는 뇌전도(EEG: electroencephalogram) 신호 및 기능적 근적외선 분광법(fNIRS: functional near-infrared spectroscopy)을 이용하여 측정되는 사용자의 뇌 활성 신호가 더 포함되고,
상기 헤드 마운티드 디스플레이(HMD)에는 상기 사용자의 두부에 착용되도록 하기 위한 착용부가 더 포함되며, 상기 착용부에는 상기 뇌전도 신호를 측정하기 위한 복수의 뇌전도 채널을 포함하는 뇌전도 센싱모듈, 상기 뇌 활성 신호를 측정하기 위한 근적외선 방출 모듈 및 근적외선 검출 모듈이 소정의 위치에 배치되고,
상기 근적외선 방출 모듈 및 근적외선 검출 모듈은 교차 배치되어 두 개의 선을 이루고, 상기 뇌전도 채널은 상기 두개의 선 사이에 배치되고,
상기 근적외선 방출 모듈은 적외선 파장 및 근적외선 파장을 순차적으로 방출하는 듀얼 파장 모듈이고,
상기 발판부에는 상기 제1 내지 제3 센서모듈이 교번하여 배치되는 5개의 라인이 배치되고, 상기 팔걸이부에는 상기 제1 내지 제3 센서모듈이 교번하여 배치되는 3개의 라인이 배치되고, 상기 벨트부에는 사용자의 몸이 움직이는 속도 및 가속도의 변화를 측정하기 위한 제3 센서모듈이 배치되고,
상기 제3 센서모듈은 모션의자부의 구동에 따라 사용자의 몸의 움직이는 속도 및 가속도의 변화를 측정하기 위해 가속도 센싱모듈, 자이로스코프(gyroscope) 및 지자기센싱 모듈이 포함된 관성측정장치 모듈(IMU: InertialMeasurement Unit)로 구성되는, 가상현실 컨텐츠 제어 시스템.
- 제 1 항에 있어서,
상기 제어부에서는 상기 분석된 사용자의 심리상태에 대응되는 가상현실 컨텐츠에 대하여 딥러닝 알고리즘에 따라 미리 학습된 제어모델에 기초하여 상기 컨텐츠제공부가 제어되는 가상현실 컨텐츠 제어 시스템.
- 가상현실 컨텐츠 제어 시스템을 이용한 가상현실 컨텐츠 제어 방법에 있어서,
컨텐츠 제공부의 헤드 마운티드 디스플레이(HMD: head mounted display)를 통해 사용자에게 가상현실 컨텐츠가 제공되는 단계;
제어부에 의해, 상기 사용자의 발바닥이 놓여지는 발판부, 상기 사용자의 손바닥 및 하박의 적어도 일부가 놓여지는 팔걸이부 및 상기 사용자의 복부와 접촉되는 벨트부를 포함하는 모션의자부가 상기 가상현실 컨텐츠와 동기화되어 구동되는 단계;
상기 사용자의 혈류량 및 심박 변이도를 측정하는 제1 센서모듈;, 상기 사용자 신체의 온도, 습도 및 임피던스를 측정하는 제2 센서모듈; 및 상기 사용자의 움직임 정보를 측정하는 제3 센서모듈;을 포함하는 생체신호 측정부에 의해 상기 사용자에게 제공되는 가상현실 컨텐츠 및 모션의자부의 구동에 대응하여 변화되는 사용자의 생체신호가 측정되는 단계;
생체신호 분석부에 의해 상기 측정된 생체신호를 기초로 상기 사용자의 심리상태가 분석되는 단계; 및
상기 분석된 사용자의 심리상태에 따라, 상기 제어부에 의해 상기 가상현실 컨텐츠의 제공 및 상기 모션의자부의 구동 중 적어도 어느 하나가 제어되는 단계;가 포함되고,
상기 사용자의 심리상태가 분석되는 단계는,
상기 측정된 생체신호에 대하여 전처리가 수행되는 단계;
상기 전처리가 수행된 생체신호에 대하여 성분분석 알고리즘을 이용하여 노이즈가 필터링되는 단계; 및
상기 필터링된 생체신호에 대한 평균, 표준편차 및 상관계수에 기초하여 추출된 정규분포 상 확률위치(z-score)에 기초하여 상황 별 유의성 지수가 계산되는 단계가 더 포함되며,
상기 생체신호에는, 사용자의 뇌로부터 발생되는 뇌전도(EEG: electroencephalogram) 신호 및 기능적 근적외선 분광법(fNIRS: functional near-infrared spectroscopy)을 이용하여 측정되는 사용자의 뇌 활성 신호가 더 포함되고,
상기 헤드 마운티드 디스플레이(HMD)에는 상기 사용자의 두부에 착용되도록 하기 위한 착용부가 더 포함되며, 상기 착용부에는 상기 뇌전도 신호를 측정하기 위한 복수의 뇌전도 채널을 포함하는 뇌전도 센싱모듈, 상기 뇌 활성 신호를 측정하기 위한 근적외선 방출 모듈 및 근적외선 검출 모듈이 소정의 위치에 배치되고,
상기 근적외선 방출 모듈 및 근적외선 검출 모듈은 교차 배치되어 두 개의 선을 이루고, 상기 뇌전도 채널은 상기 두개의 선 사이에 배치되고,
상기 근적외선 방출 모듈은 적외선 파장 및 근적외선 파장을 순차적으로 방출하는 듀얼 파장 모듈이고,
상기 생체신호가 측정되는 단계는,
상기 발판부에 형성되어 상기 제1 내지 제3 센서모듈이 교번하여 배치되는 5개의 라인을 통해 생체신호가 측정되는 단계;
상기 팔걸이부에 형성되어 상기 제1 내지 제3 센서모듈이 교번하여 배치되는 3개의 라인을 통해 생체신호가 측정되는 단계; 및
상기 벨트부에 형성된 상기 제3 센서모듈을 통해 사용자의 몸이 움직이는 속도 및 가속도의 변화를 측정되는 단계를 포함하고,
상기 제3 센서모듈은 모션의자부의 구동에 따라 사용자의 몸의 움직이는 속도 및 가속도의 변화를 측정하기 위해 가속도 센싱모듈, 자이로스코프(gyroscope) 및 지자기센싱 모듈이 포함된 관성측정장치 모듈(IMU: InertialMeasurement Unit)로 구성되는 가상현실 컨텐츠 제어 방법.
- 제 3 항에 있어서,
상기 분석된 사용자의 심리상태에 따라 상기 가상현실 컨텐츠의 제공 및 상기 모션의자부의 구동 중 적어도 어느 하나가 제어되는 단계에서는 상기 분석된 사용자의 심리상태에 대응되는 가상현실 컨텐츠에 대하여 딥러닝 알고리즘에 따라 미리 학습된 제어모델에 기초하여 상기 컨텐츠의 제공에 대한 제어가 수행되는 가상현실 컨텐츠 제어 방법.
- 제 3 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220174092A KR102595088B1 (ko) | 2019-04-02 | 2022-12-13 | 가상현실 컨텐츠 제어 시스템 및 이를 이용한 가상현실 컨텐츠 제어 방법 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190038397A KR20200117089A (ko) | 2019-04-02 | 2019-04-02 | 가상현실 컨텐츠 제어 시스템 및 이를 이용한 가상현실 컨텐츠 제어 방법 |
| KR1020220174092A KR102595088B1 (ko) | 2019-04-02 | 2022-12-13 | 가상현실 컨텐츠 제어 시스템 및 이를 이용한 가상현실 컨텐츠 제어 방법 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190038397A Division KR20200117089A (ko) | 2019-04-02 | 2019-04-02 | 가상현실 컨텐츠 제어 시스템 및 이를 이용한 가상현실 컨텐츠 제어 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220167792A KR20220167792A (ko) | 2022-12-21 |
| KR102595088B1 true KR102595088B1 (ko) | 2023-10-27 |
Family
ID=72847076
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190038397A KR20200117089A (ko) | 2019-04-02 | 2019-04-02 | 가상현실 컨텐츠 제어 시스템 및 이를 이용한 가상현실 컨텐츠 제어 방법 |
| KR1020220174092A KR102595088B1 (ko) | 2019-04-02 | 2022-12-13 | 가상현실 컨텐츠 제어 시스템 및 이를 이용한 가상현실 컨텐츠 제어 방법 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190038397A KR20200117089A (ko) | 2019-04-02 | 2019-04-02 | 가상현실 컨텐츠 제어 시스템 및 이를 이용한 가상현실 컨텐츠 제어 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR20200117089A (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102269428B1 (ko) * | 2020-10-29 | 2021-06-29 | 주식회사 엑스알텍 | 인공지능과 빅데이터를 기반으로 하고 가상 현실을 활용한 치매 및 뇌질환 진단, 예방 치료 시스템 및 솔루션 |
| KR102502930B1 (ko) | 2020-12-30 | 2023-02-23 | 숭실대학교 산학협력단 | fNIRS 데이터에서 다항회귀를 활용한 뇌 활성화 지역 추출 방법, 이를 수행하기 위한 기록 매체 및 장치 |
| KR102379132B1 (ko) * | 2021-06-30 | 2022-03-30 | 액티브레인바이오(주) | 디지털 컨텐츠 기반 치료 정보 제공 장치 및 방법 |
| FR3124937A1 (fr) * | 2021-07-12 | 2023-01-13 | Commissariat à l'Energie Atomique et aux Energies Alternatives | Dispositif de détermination d’une réponse cérébrale à un stimulus sensoriel |
| KR20230040093A (ko) * | 2021-09-15 | 2023-03-22 | 사회복지법인 삼성생명공익재단 | 영상 컨텐츠를 이용한 바이오피드백 방법, 컴퓨터 프로그램 및 시스템 |
| KR102591907B1 (ko) * | 2021-09-15 | 2023-10-20 | 사회복지법인 삼성생명공익재단 | 영상 컨텐츠와 모션 체어를 연동하는 방법, 컴퓨터 프로그램 및 시스템 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101765151B1 (ko) * | 2016-04-04 | 2017-08-04 | 삼성물산 주식회사 | 체험자의 신체 정보를 기초로 가상 현실 컨텐츠를 제어하는 장치 및 방법 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100698599B1 (ko) | 2005-07-25 | 2007-03-22 | 장영준 | 시각 장애우용 안전한 샤워기 |
-
2019
- 2019-04-02 KR KR1020190038397A patent/KR20200117089A/ko active Application Filing
-
2022
- 2022-12-13 KR KR1020220174092A patent/KR102595088B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101765151B1 (ko) * | 2016-04-04 | 2017-08-04 | 삼성물산 주식회사 | 체험자의 신체 정보를 기초로 가상 현실 컨텐츠를 제어하는 장치 및 방법 |
Non-Patent Citations (1)
| Title |
|---|
| 이충기, "생체신호를 이용한 감정상태 검출 알고리즘에 대한 연구," 연세대학교 대학원 석사학위 논문, 2006.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220167792A (ko) | 2022-12-21 |
| KR20200117089A (ko) | 2020-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102595088B1 (ko) | 가상현실 컨텐츠 제어 시스템 및 이를 이용한 가상현실 컨텐츠 제어 방법 | |
| US11974851B2 (en) | Systems and methods for analyzing brain activity and applications thereof | |
| US11224717B2 (en) | Method and apparatus for virtual-reality-based mindfulness therapy | |
| KR102378278B1 (ko) | 생체 신호 분석 시스템 및 이를 이용한 생체 신호 분석 방법 | |
| KR100616370B1 (ko) | 생리적인 코히어런스 및 자율신경 평형을 촉진하는 방법및 장치 | |
| US20100010371A1 (en) | Device, system, and method for treating psychiatric disorders | |
| KR102388596B1 (ko) | 동하는 상태에서 뇌와 관련된 신호를 수집하고, 디지털 컨텐츠 기반 치료 정보를 제공하는 장치 및 방법 | |
| KR20220136973A (ko) | 사용자의 심리가 안정화되도록 사용자에게 긴장이완 훈련을 위한 가상 현실 컨텐츠를 제공하는 시스템 및 방법 | |
| KR102235716B1 (ko) | 가상현실을 이용한 학습장애 진단/치유장치, 및 그 방법 | |
| KR20200019403A (ko) | 스트레스 이완 시스템 및 이를 이용한 스트레스 이완 방법 | |
| Jillich | Acquisition, analysis and visualization of data from physiological sensors for biofeedback applications | |
| Ban et al. | Development of the Biological Sensing Head Mounted Display | |
| US11951355B2 (en) | Health-related data collection system for healthcare diagnostics and treatment platforms | |
| US11791026B2 (en) | Cloud-based healthcare diagnostics and treatment platform | |
| US20220273233A1 (en) | Brain Activity Derived Formulation of Target Sleep Routine for a User | |
| KR20220012139A (ko) | 사용자의 심리가 안정화되도록 사용자에게 인지행동 훈련을 위한 가상 현실 컨텐츠를 제공하는 시스템 및 방법 | |
| Babo-Rebelo | Anchoring the self in the neural monitoring of visceral signals: how heartbeat-evoked responses encode the self | |
| JP2021081864A (ja) | 表示プログラム、表示方法、ヘッドマウントディスプレイ、及び、情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |