KR102295422B1 - 가상 체험의 현실감 측정 장치 및 방법 - Google Patents
가상 체험의 현실감 측정 장치 및 방법 Download PDFInfo
- Publication number
- KR102295422B1 KR102295422B1 KR1020190078218A KR20190078218A KR102295422B1 KR 102295422 B1 KR102295422 B1 KR 102295422B1 KR 1020190078218 A KR1020190078218 A KR 1020190078218A KR 20190078218 A KR20190078218 A KR 20190078218A KR 102295422 B1 KR102295422 B1 KR 102295422B1
- Authority
- KR
- South Korea
- Prior art keywords
- reality
- biometric data
- virtual
- hmds
- change
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000008859 change Effects 0.000 claims description 84
- 238000004891 communication Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 12
- 230000006641 stabilisation Effects 0.000 claims description 10
- 238000011105 stabilization Methods 0.000 claims description 10
- 238000005259 measurement Methods 0.000 claims description 9
- 230000000087 stabilizing effect Effects 0.000 claims 2
- 238000000691 measurement method Methods 0.000 claims 1
- 238000007654 immersion Methods 0.000 abstract description 6
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 25
- 238000005516 engineering process Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 206010040914 Skin reaction Diseases 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000035483 skin reaction Effects 0.000 description 4
- 231100000430 skin reaction Toxicity 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 235000019988 mead Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
- A61B5/0531—Measuring skin impedance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Public Health (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Cardiology (AREA)
- Dermatology (AREA)
- Software Systems (AREA)
- Neurosurgery (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Physiology (AREA)
- Computer Hardware Design (AREA)
- Neurology (AREA)
- Computer Graphics (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Psychology (AREA)
- Psychiatry (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 화재 상황 체험에 관련된 것으로, 특히 원자력 발전소의 주제어실의 화재 상황을 체험하기 위한 장치 및 방법에 관한 것으로, 선택된 체험 시나리오에 따른 가상현실 컨텐츠를 출력하는 출력부와, 사용자로부터 적어도 하나의 생체 신호를 감지하는 센싱부와, 상기 가상현실 컨텐츠가 출력되면, 상기 감지된 생체 신호에 근거하여 상기 가상현실 컨텐츠에 대한 사용자의 몰입도를 측정하고, 측정된 몰입도에 근거하여 사용자의 주의를 환기시키기 위한 추가 이벤트를 생성하는 제어부를 포함하는 것을 특징으로 한다.
Description
본 발명은 가상 현실 체험에 대한 것으로, 특히 가상 현실을 체험하는 사용자의 현실감을 객관적으로 측정학 위한 것이다.
일반적으로 가상 현실(Virtual Reality)은 컴퓨터 등을 사용한 인공적인 기술로 만들어낸 실재와 유사하지만 실재가 아닌 어떤 특정한 환경이나 상황 혹은 그 기술자체를 의미하며, 3차원의 공간성, 실시간의 상호 작용성, 몰입을 필요로 한다.
그리고 증강현실(Augmented Reality)은 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술로 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 기술이다. 이러한 증강현실은 현실의 이미지와 가상의 이미지를 결합한 것으로 실시간으로 상호작용이 가능한 것이며, 3차원의 공간 안에 놓인 것 등으로 정의될 수 있다.
이러한 가상현실, 증강현실, 혼합현실에 대한 최근까지의 정의들은 매우 다양하지만, 인터랙션, 가상화, 위치기반, 가상과 현실의 동기, 몰입도, 현실감 등에 대한 고려를 바탕으로 대부분 정의하고 있다.
가상현실의 현실감(level of presence)은 가상현실이 얼마나 현실적인가에 대한 사용자의 주관적인 느낌으로 현실감에 큰 영향을 미치는 요소를 의미한다. 이러한 현실감은 몰입감(immersion)으로 이해될 수도 있다. 또한 현실감은 공간적 현실감(spatial presence)과 실제감(realism)에 영향을 받는 것으로 알려져 있다.
한편 요즈음에는 각종 센서 기술과 인터랙션 기술이 발달하여 몰입형, 체감형 현실이 가능해지고 있다. 가상현실, 결국, 증강현실, 혼합현실 기술은 표현기술, 상호작용기술, 객체인식 및 트래킹기술, 저작기술 등으로 구성되어 있으며, 핵심 목표는 현실감의 증대 및 최대화라고 할 수 있다. 현실감이 높은 가상현실 기술은 모든 활용분야에서 사용자의 만족도를 향상시킬 수 있으며. 교육훈련용 가상현실시스템의 경우, 현실감이 높을수록 교육훈련 효과가 높아질 수 있다.
그런데 이러한 현실감은 사용자의 주관적인 느낌에 크게 좌우될 수 있다. 따라서 이러한 현실감은 사용자의 주관적 판단에 의존할 수밖에 없다는 문제가 있으며, 측정 시점에서 사용자의 상황에 따라 다르게 측정될 수 있으므로, 객관적인 현실감의 측정이 어렵다는 문제가 있다.
본 발명은 전술한 문제 및 다른 문제를 해결하는 것을 목적으로 하는 것으로, 가상현실을 체험하는 사용자의 현실감을 정량화하여 객관적으로 각 사용자의 현실감을 측정할 수 있는 가상 현실 현실감 측정 장치 및 그 측정 방법을 제공하는 것이다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 가상 현실 현실감 측정 장치는, 가상 현실 컨텐츠를 재생하여 가상 영상을 생성하는 가상 영상 생성부와, 적어도 하나의 HMD(Head Mounted Display)와 연결되며, 상기 가상 영상을 상기 적어도 하나의 HMD에 제공하고, 상기 적어도 하나의 HMD 각각으로부터 생체 신호들을 수신하는 통신부와, 수신된 생체 신호들로부터 분석된 생체 데이터들의 변화량을 검출하는 변화량 검출부 및, 특정 시점의 가상 영상이 상기 적어도 하나의 HMD에 전송될 때 수신된 생체 신호로부터 분석된 생체 데이터의 변화량에 따른 변화량 비율을 산출하고, 산출된 변화량 비율과 기 설정된 현실감 지표의 비율을 산출하여, 상기 특정 시점의 가상 영상에 대한 정량화된 사용자의 현실감을 측정하는 제어부를 포함하며, 상기 현실감 지표는, 상기 특정 시점의 가상 영상에 대해, 복수회 수집된 생체 신호들 각각으로부터 분석된 생체 데이터들의 변화량에 따라 산출된 변화량의 비율을 정규화한 값임을 특징으로 한다.
일 실시 예에 있어서, 상기 통신부는, 복수의 HMD와 연결되며, 상기 가상 영상을 상기 복수의 HMD에 동시에 제공하고, 상기 복수의 HMD 각각으로부터 생체 신호들을 수신하며, 상기 변화량 검출부는, 각 HMD 별로, 수신된 생체 신호로부터 분석된 생체 데이터의 변화량들을 검출하고, 상기 제어부는, 상기 특정 시점의 가상 영상이 상기 복수의 HMD에 동시에 전송될 때, 각 HMD 별로 검출된 생체 데이터의 변화량에 따른 변화량의 비율들을 산출하고, 산출된 각 HMD 별 변화량 비율들을 정규화하여 상기 특정 시점의 가상 영상에 대한 현실감 지표를 산출하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 변화량 검출부는, 상기 특정 시점의 가상 영상이 상기 적어도 하나의 HMD에 전송될 때 수신된 생체 신호로부터 분석된 생체 데이터의 변화량과, 기 설정된 표준 상태의 생체 데이터 값의 비율을 산출하여 상기 변화량 비율을 산출하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 기 설정된 표준 상태의 생체 데이터 값은, 상기 분석된 생체 데이터의 변화량이 기 설정된 수준 이하인 생체 데이터들의 대푯값임을 특징으로 한다.
일 실시 예에 있어서, 상기 기 설정된 표준 상태의 생체 데이터 값은, 안정적인 사용자의 상체 데이터 획득을 위해 기 설정된 안정화 가상 영상이, 상기 적어도 하나의 HMD에 전송되는 동안 획득된 생체 데이터값들의 대푯값이며, 상기 제어부는, 상기 특정 시점의 가상 영상 이전에 상기 안정화 가상 영상을 상기 적어도 하나의 HMD에 전송하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 특정 시점은, 기 설정된 이벤트가 발생하는 시점 또는 특정 가상 콘텐츠가 출력되거나 사용자의 생체 신호 변화가 유발될 수 있는 장면 변화가 발생하는 시점임을 특징으로 한다.
일 실시 예에 있어서, 상기 HMD는, 사용자의 생체 신호를 감지하기 위한 복수의 동일한 센서를 포함하며, 상기 복수의 동일한 센서는, 배치되는 위치에 따라 감지되는 생체 신호를 각각 다른 종류의 생체 데이터에 대한 생체 신호로 센싱하는 것을 특징으로 한다.
상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 가상 현실 현실감 측정 방법은, 가상 현실 컨텐츠를 재생함에 따라 적어도 하나의 HMD(Head Mounted Display)에서 가상 영상이 출력되는 제1 단계와, 상기 적어도 하나의 HMD 각각으로부터 생체 신호들을 수신하는 제2 단계와, 특정 시점에 대응하는 가상 영상이 상기 HMD에서 출력되는 경우, 수신된 생체 신호들로부터 생체 데이터들의 변화량을 검출하는 제3 단계와, 기 설정된 표준 상태에 대한 상기 검출된 생체 데이터들의 변화량의 비율을 산출하는 제3 단계 및, 산출된 변화량 비율과 기 설정된 현실감 지표의 비율을 산출하여, 상기 특정 시점의 가상 영상에 대한 정량화된 사용자의 현실감을 측정하는 제4 단계를 포함하며, 상기 현실감 지표는, 상기 특정 시점의 가상 영상에 대해, 복수회 수집된 생체 신호들 각각으로부터 분석된 생체 데이터들의 변화량에 따라 산출된 변화량의 비율을 정규화한 값임을 특징으로 한다.
일 실시 예에 있어서, 복수의 HMD에 상기 가상 영상을 동시에 제공하고, 상기 복수의 HMD 각각으로부터 생체 신호들을 수신하는 a 단계와, 각 HMD 별로, 수신된 생체 신호로부터 분석된 생체 데이터의 변화량들을 검출하는 b 단계와, 상기 특정 시점의 가상 영상이 상기 복수의 HMD에 동시에 제공되는 경우, 각 HMD 별로 검출된 생체 데이터의 변화량에 따른 변화량의 비율들을 산출하는 c 단계 및, 각 HMD 별로 산출된 변화량 비율들을 정규화하여 상기 특정 시점의 가상 영상에 대한 현실감 지표를 산출하는 d 단계를, 상기 제1 단계 이전에 더 포함하는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 제3 단계는, 상기 특정 시점의 가상 영상이 상기 적어도 하나의 HMD에 전송될 때 수신된 생체 신호로부터 분석된 생체 데이터의 변화량과, 기 설정된 표준 상태의 생체 데이터 값의 비율을 산출하여 상기 변화량 비율을 산출하는 단계임을 특징으로 한다.
일 실시 예에 있어서, 상기 기 설정된 표준 상태의 생체 데이터 값은, 상기 분석된 생체 데이터의 변화량이 기 설정된 수준 이하인 생체 데이터들의 대푯값임을 특징으로 한다.
일 실시 예에 있어서, 상기 기 설정된 표준 상태의 생체 데이터 값은, 안정적인 사용자의 상체 데이터 획득을 위해 기 설정된 안정화 가상 영상이, 상기 적어도 하나의 HMD에 전송되는 동안 획득된 생체 데이터값들의 대푯값이며, 상기 안정화 가상 영상은, 상기 특정 시점의 가상 영상 이전에 상기 적어도 하나의 HMD에 전송되는 것을 특징으로 한다.
일 실시 예에 있어서, 상기 특정 시점은, 기 설정된 이벤트가 발생하는 시점 또는 특정 가상 콘텐츠가 출력되거나 사용자의 생체 신호 변화가 유발될 수 있는 장면 변화가 발생하는 시점임을 특징으로 한다.
본 발명에 따른 가상 현실 현실감 측정 장치 및 측정 방법의 효과에 대해 설명하면 다음과 같다.
본 발명의 실시 예들 중 적어도 하나에 의하면, 본 발명은 동일한 가상 현실 컨텐츠의 체크 포인트에서 검출된 복수의 생체 신호 변화량에 근거하여 정량화된 현실감 지표를 산출하고, 산출된 현실감 지표와 사용자의 생체 신호 변화량에 근거하여 현실감을 산출할 수 있도록 한다.
이에 상기 가상 현실 컨텐츠를 체험하는 사용자의 현실감을 정량화하여 상기 가상 현실 컨텐츠에 대한 사용자의 현실감을 객관화된 값으로 산출할 수 있다는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 가상 현실 현실감 측정 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 실시 예에 따른 가상 현실 현실감 측정 장치에 연결되는 HMD의 예를 도시한 예시도이다.
도 3은 본 발명의 실시 예에 따른 가상 현실 현실감 측정 장치에서, 동일한 가상 현실 컨텐츠에 대해 복수의 생체 신호를 획득 및 획득된 생체 신호들로부터 현실감 지표를 설정하는 과정을 도시한 흐름도이다.
도 4는 본 발명의 실시 예에 따른 가상 현실 현실감 측정 장치에서, 현실감 지표에 근거하여 가상 현실 컨텐츠에 대한 사용자의 현실감을 산출하는 과정을 도시한 흐름도이다.
도 2는 본 발명의 실시 예에 따른 가상 현실 현실감 측정 장치에 연결되는 HMD의 예를 도시한 예시도이다.
도 3은 본 발명의 실시 예에 따른 가상 현실 현실감 측정 장치에서, 동일한 가상 현실 컨텐츠에 대해 복수의 생체 신호를 획득 및 획득된 생체 신호들로부터 현실감 지표를 설정하는 과정을 도시한 흐름도이다.
도 4는 본 발명의 실시 예에 따른 가상 현실 현실감 측정 장치에서, 현실감 지표에 근거하여 가상 현실 컨텐츠에 대한 사용자의 현실감을 산출하는 과정을 도시한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 동일하거나 유사한 구성요소에는 동일, 유사한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 실시 예에 따른 가상 현실 현실감 측정 장치(10)의 구성을 도시한 블록도이다. 그리고 도 2는 본 발명의 실시 예에 따른 가상 현실 현실감 측정 장치에 연결되는 HMD의 예를 도시한 예시도이다.
먼저 도 1을 참조하여 살펴보면, 본 발명의 실시 예에 따른 가상 현실 현실감 측정 장치(10)는, 제어부(100) 및 상기 제어부(100)에 연결되는 통신부(110), 가상 영상 생성부(120), 생체 신호 처리부(130), 메모리(140) 및 변화량 검출부(150)를 포함하여 구성될 수 있다.
먼저 가상 영상 생성부(120)는 현재 선택된 가상 체험 컨텐츠에 따른 가상 영상을 재생할 수 있다. 그리고 가상 영상이 재생되면 재생된 가상 영상은 통신부(110)에 입력되고, 통신부(110)를 통해 상기 통신부(110)와 연결된 복수의 HMD(20)에 전송될 수 있다. 이에 상기 복수의 HMD(20)에서는 동일한 가상 영상이 출력될 수 있다.
통신부(110)는 상기 복수의 HMD(Mead Mounted Display : 20)와 무선 통신을 통해 연결될 수 있다. 통신부(110)는 연결된 복수의 HMD(20)에 가상 현실 체험을 위한 가상 현실 영상(가상 현실 컨텐츠, 이하 가상 영상)을 전송할 수 있으며, 상기 복수의 HMD(20)에서 획득되는 생체 신호들을 수신할 수 있다.
상기 HMD(20)는, 사용자의 두부(頭部, head)에 장착될 수 있으며, 수신되는 가상 영상을 1인칭 시점으로 표시할 수 있다. 뿐만 아니라 상기 HMD(20)는 사용자의 움직임을 감지할 수 있는 복수의 센서를 구비할 수 있으며, 상기 복수의 센서로부터 감지되는 시선 방향 또는 두부의 움직임은 사용자의 입력으로 처리될 수 있다.
한편 상기 복수의 HMD(20) 각각은 생체 신호를 감지하기 위한 센서를 복수개 포함할 수 있다. 예를 들어 상기 생체 신호 센서는 사용자의 심전도를 측정하기 위한 심전도(electrocardiogram, ECG) 센서 또는 뇌파도(또는 뇌파)(electroencephalogram, EEG) 센서일 수 있다. 또는 전기피부반응(GSR; galvanic skin reflex) 센서일 수 있다.
여기서 ECG 센서는 사용자로부터 광용정맥파(PPG; photoplethysmogram)를 감지하여 간접적으로 사용자의 심전도를 측정할 수 있으며, EEG 센서는 두 지점의 전위차에 근거하여 사용자의 뇌파도를 측정할 수 있다. 그리고 GSR 센서는 두 지점의 온도를 검출하고 검출된 온도의 차에 근거하여 피부반응을 측정할 수 있다.
도 2는 이러한 본 발명의 실시 예에 따른 가상 현실 현실감 측정 장치(10)에 연결되는 HMD의 예를 도시한 예시도이다.
도 2를 참조하여 살펴보면, HMD(20)는 몸체(200), 패딩부(210)를 포함하여 구성될 수 있다. 여기서 몸체(200)는 본 발명의 실시 예에 따른 가상 현실 현실감 측정 장치(10)의 가상 영상을 수신하고 센싱된 생체 신호들을 전송할 수 있는 적어도 하나의 통신 모듈을 포함할 수 있다. 그리고 렌즈들이 바라보는 방향과 수직하게 상기 수신된 가상 영상을 표시할 수 있는 적어도 하나의 디스플레이부를 포함할 수 있다.
한편 패딩부(210)는 사용자의 안면에 접촉되는 부분일 수 있다. 상기 패딩부(210)는 도 2에서 보이고 있는 바와 같이 3쌍의 생체 신호 센서들(211, 212, 213)을 포함할 수 있다.
한편 상기 생체 신호 센서들 중 제1 센서들(211)은 ECG 센서일 수 있다. 이 경우 상기 제1 센서들(211)은 광용적맥파를 감지하기 위한 센서(PPG 센서)일 수 있다. 그리고 제2 센서들(212)은 뇌파도를 감지하기 위한 EEG 센서들일 수 있다. 그리고 제3 센서들(213)은 피부온도값을 감지하기 위한 GSR 센서들일 수 있다.
한편 뇌파, 심전도, 전기피부반응 등의 신호는 신체에서 발생하는 전기 신호일 수 있다. 이에 상기 3쌍의 생체 신호 센서들(211, 212, 213)은 세 가지 생체 신호 모두를 측정 가능한 범용 생체 전위 측정 센서일 수 있다. 즉 상기 3쌍의 생체 신호 센서들(211, 212, 213)은 동일한 센서들일 수 있으며, 다만 측정하는 생체 신호의 종류에 따라 패딩부(210)에서 배치되는 위치가 다른 센서들일 수 있다.
한편 상기 복수의 생체 신호 센서로부터 획득되는 사용자의 생체 신호는 상기 복수의 HMD(20) 각각으로부터 통신부(110)로 전송될 수 있다. 그러면 생체 신호 처리부(130)는 상기 복수의 HMD(20) 각각으로부터 수신된 생체 신호들을 처리 및 분석할 수 있다.
예를 들어 생체 신호 처리부(130)는 복수의 ECG 센서로부터 측정된 생체 신호에 근거하여 사용자의 심전도를 분석할 수 있다. 이 경우 심전도는 심박변이도(heart rate variabiliy, HRV) 및 SDNN(standard deviation of all normal R-R intervals) 분석을 위해 이용될 수 있다. 여기서 HRV는 스트레스 지수를, SDNN은 스트레스 저항도를 측정하는 값으로 이용될 수 있다.
한편 생체 신호 처리부(130)는 복수의 EEG 센서로부터 측정된 생체 신호에 근거하여 사용자의 뇌파도를 분석할 수 있다. 이 경우 뇌파도는 RSMT(ratio of (SMR-Mid Beta) to Theta) 및 RAHB(ratio of Alpha to high Beta) 분석에 이용될 수 있다. 여기서 RSMT는 집중도를, RAHB는 각성도를 측정하는 값으로 이용될 수 있다.
또한 생체 신호 처리부(130)는 복수의 GSR 센서로부터 측정된 온도들에 근거하여 사용자의 피부반응을 측정할 수 있다. 이 경우 생체 신호 처리부(130)는 두 지점의 온도차를 고려하여, 상기 측정된 온도들의 평균값으로 피부반응을 측정할 수 있다.
여기서 상기 심전도 분석 결과에 따라 측정되는 HRV 지수와 SDNN 지수, 심전도 분석 결과에 따라 측정되는 HRV 지수와 SDNN 지수, 그리고 GSR 센서들의 측정 결과로부터 검출되는 피부 온도값은, ECG 센서나 EEG 센서, 또는 GSR 센서로부터 획득된 생체 신호에 근거하여 분석된 생체 데이터일 수 있다. 따라서 상기 HRV 지수와 SDNN 지수, HRV 지수와 SDNN 지수, 그리고 상기 피부 온도값을 이하에서는 생체 데이터라고 하기로 한다.
한편 변화량 검출부(150)는 생체 신호 처리부(130)에서 처리 및 분석된 생체 데이터의 변화량을 검출할 수 있다. 즉, 변화량 검출부(150)는 생체 신호 처리부(130)의 심전도 분석 결과에 따라 측정되는 HRV 지수와 SDNN 지수의 변화량을 검출할 수 있다. 또는 뇌파도 분석 결과에 따라 측정되는 RSMT 지수와 RAHB 지수의 변화량을 검출할 수 있다. 또는 GSR 센서들의 측정 결과로부터 검출되는 피부 온도값의 변화량을 검출할 수 있다.
여기서 변화량 검출부(150)는 기 산출된 표준 상태에 근거하여 상기 변화량을 검출할 수 있다. 예를 들어 변화량 검출부(150)는 생체 데이터들의 변화량이 기 설정된 수준 이하인 경우 감지된 생체 데이터들의 평균값에 근거하여 표준 상태를 검출할 수 있다.
여기서 상기 기 설정된 수준은 생체 데이터가 안정된 상태인지 여부를 판단하기 위한 기준 범위일 수 있다. 즉, 상기 생체 데이터의 변화량이 상기 기 설정된 수준 이하인 경우 제어부(100)는 사용자의 상태가 변경되지 않은 것으로 판단할 수 있다.
또는 상기 표준 상태의 검출을 위해 기 설정된 안정화 시간동안에 획득되는 생체 신호에 근거하여 분석되는 생체 데이터들의 평균값에 근거하여 표준 상태를 검출할 수 있다. 이러한 표준 상태는 각 생체 데이터의 종류별로 검출될 수 있다. 일 예로 상기 안정화 시간은, 가상 현실 체험 전에, 안정적인 사용자의 생체 데이터를 획득하기 위한 가상 영상 또는 가상 컨텐츠가 제공되는 시간일 수 있다.
한편 제어부(100)는 연결된 각 구성 요소를 제어할 수 있다. 그리고 본 발명의 실시 예에 따른 가상 현실 현실감 측정 장치(10)의 전반적인 동작을 제어할 수 있다.
먼저 제어부(100)는 가상 영상 생성부(120)를 제어하여 가상 현실 컨텐츠를 재생하고, 재생된 가상 영상을 통신부(110)에 연결된 각 HMD(20)에 전송할 수 있다. 그리고 통신부(110)를 통해 각 HMD(20)에서 센싱된 생체 신호들을 수신할 수 있다. 그리고 생체 신호 처리부(130)를 제어하여 수신된 생체 신호들을 처리 및 분석하여 생체 데이터들로 가공할 수 있다.
한편 생체 신호 처리부(130)를 통해 생체 데이터들이 분석되면, 제어부(100)는 분석된 생체 데이터들에 근거하여 현실감 측정을 위한 표준 지표(이하 '현실감 지표'라고 하기로 한다. )를 결정할 수 있다. 여기서 현실감 지표는 상기 변화량 검출부(150)에서 검출된 생체 데이터의 변화량에 근거하여 결정될 수 있다.
예를 들어 제어부(100)는 현실감 지표 설정을 위해 재생되는 가상 영상을 각 HMD(20)에 전송하는 중에, 기 설정된 체크 포인트에 도달하였는지 여부를 판단할 수 있다. 여기서 기 설정된 체크 포인트는, 가상 현실을 체험하는 사용자의 현실감을 측정하기 위해 기 설정된 이벤트가 발생하는 시점 또는 특정 가상 콘텐츠가 출력되거나 사용자의 생체 신호 변화가 유발될 수 있는 장면 변화가 발생하는 시점일 수 있다.
즉 가상 현실 컨텐츠의 하이라이트 장면과 같이 사용자의 몰입이 유발되는 컨텐츠의 재생 시점이 상기 체크 포인트로 결정될 수 있다. 이러한 체크 포인트는 사용자에 의해 미리 결정되거나 또는 HMD(20)에서 출력되는 영상의 변화 또는 컨텐츠에 근거하여 제어부(100)가 상기 가상 현실 컨텐츠의 재생 전에 미리 결정할 수도 있다. 그리고 가상 영상의 재생 시점이 상기 체크 포인트에 도달하게 되면, 제어부(100)는 연결된 복수의 HMD(20) 각각으로부터 획득된 생체 신호에 근거하여 생체 데이터의 변화량을 검출할 수 있다.
이 경우 도 1에서 보이고 있는 바와 같이, 본 발명의 실시 예에 따른 가상 현실 현실감 측정 장치(10)에는 복수의 HMD(20)가 연결될 수 있다. 따라서 가상 영상의 재생 시점이 상기 체크 포인트에 도달하게 되면, 상기 복수의 HMD(20)에 동일하게 상기 체크 포인트의 시점에 대응하는 가상 영상이 출력될 수 있다.
이에 복수의 HMD(20) 각각으로부터 획득되는 생체 신호는, 상기 체크 포인트의 시점에 대응하는 가상 영상에 대해 반응하는 사용자의 생체 신호 변화를 포함할 수 있다.
그러면 제어부(100)는 변화량 검출부(150)를 통해, 기 검출된 생체 데이터들의 표준 상태 대비, 변화된 생체 신호에 따른 생체 데이터의 변화량 비율을 검출할 수 있다. 그리고 복수의 HMD(20) 모두에서 생체 데이터의 변화량 비율들이 검출되면, 검출된 생체 데이터 변화량의 비율들을 정규화할 수 있다.
예를 들어 제어부(100)는 검출된 생체 데이터 변화량 비율들의 평균 또는 편차등의 대표 수치를 산출하여 상기 정규화를 수행할 수 있다. 이 경우 상기 정규화된 생체 데이터 변화량 비율은 각 생체 데이터의 종류별로 산출될 수 있다.
한편 제어부(100)는 정규화된 생체 데이터 변화량 비율을, 해당 체크 포인트에 대한 현실감 지표로서 설정할 수 있다. 이 경우 가상 영상에 대해 체크 포인트가 다수 인 경우, 상기 현실감 지표 역시 각 체크 포인트마다 다수개 설정될 수 있다.
이처럼 현실감 지표가 설정되면 제어부(100)는, 설정된 현실감 지표에 근거하여 가상 현실 컨텐츠를 체험하는 사용자의 현실감을 측정할 수 있다. 일 예로 제어부(100)는 가상 영상을 재생 중 현실감 지표가 설정된 체크 포인트에 도달하면, 상기 체크 포인트에 대응하는 가상 영상이 재생될 때 사용자가 착용한 HMD(20)로부터 센싱되는 생체 정보로부터 생체 데이터의 변화량 비율을 검출할 수 있다.
그리고 검출된 변화량 비율과 상기 체크 포인트에 설정된 현실감 지표의 비에 근거하여, 현재 재생되는 가상 현실 컨텐츠에 대한 사용자의 현실감을 측정할 수 있다.
한편 메모리(140)는 본 발명의 실시 예에 따른 가상 현실 현실감 측정 장치(10)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(140)는 가상 현실 현실감 측정 장치(10)에서 구동되는 다수의 응용 프로그램(application program), 가상 현실 현실감 측정 장치(10)의 동작을 위한 데이터들 및 명령어들을 저장할 수 있다. 예를 들어 메모리(140)는 복수의 가상 현실 컨텐츠와, 각 가상 현실 컨텐츠에 각각 설정되는 복수의 체크 포인트에 대한 정보들, 그리고 각 체크 포인트에 대응하여 설정된 현실감 지표에 대한 정보들을 저장할 수 있다.
한편 상술한 설명에서는, 본 발명의 실시 예에 따른 가상 현실 현실감 측정 장치(10)에 연결된 복수의 HMD(20)로부터 각각 센싱되는 생체 정보들에 근거하여 현실감 지표가 설정되는 예를 설명하였으나, 이에 본 발명이 한정되는 것이 아님은 물론이다. 즉 하나의 HMD(20)로부터 센싱되는 생체 정보들에 근거하여 현실감 지표가 설정될 수도 있음은 물론이다. 다만 이 경우 동일한 가상 현실 컨텐츠 및 동일한 체크 포인트에 대하여 생체 신호가 복수회 센싱 및 센싱된 복수의 생체 신호에 따라 복수의 생체 데이터가 분석되어야 한다.
이 경우 제어부(100)는 기 설정된 기간 동안 사용자의 생체 신호를 수집할 수 있으며, 상기 기 설정된 기간은 상기 사용자의 생체 리듬의 변화 주기의 n 배수에 대응하는 기간일 수 있다.
한편 도 3은 이러한 본 발명의 실시 예에 따른 가상 현실 현실감 측정 장치(10)에서, 동일한 가상 현실 컨텐츠에 대해 복수의 생체 신호를 획득 및 획득된 생체 신호들로부터 현실감 지표를 설정하는 과정을 도시한 흐름도이다.
이하의 설명에서는 설명의 편의상 복수의 HMD(20)로부터 획득되는 생체 신호들에 근거하여 현실감 지표가 설정되는 것을 가정하기로 한다.
도 3을 참조하여 살펴보면, 먼저 제어부(100)는 현실감 지표 설정을 위해 가상 영상을 생성(가상 체험 컨텐츠 재생) 및 생성된 가상 영상을 복수의 HMD(20)에 전송할 수 있다(S300). 이 경우 동일한 가상 영상이 상기 복수의 HMD(20)에 전송되고, 상기 복수의 HMD(20)에서는 동일한 가상 영상이 출력될 수 있다.
그러면 제어부(100)는 각 HMD(20) 별로 생체 데이터를 획득할 수 있다. 그리고 획득된 생체 데이터들로부터 표준 상태를 검출할 수 있다(S302).
여기서 표준 상태는, 사용자가 안정된 상태에서 획득되는 생체 데이터를 의미할 수 있다. 즉, 생체 데이터의 변화가 거의 없는 안정된 상태를 의미할 수 있으며, 상기 표준 상태는 기 설정된 수준 획득되는 변화량이 기 설정된 수준 이하인 동종의 생체 데이터들의 값에 대한 대푯값(예 : 평균)으로 검출될 수 있다.
한편 제어부(100)는 가상 현실 컨텐츠의 재생 중에, 기 설정된 체크 포인트에 도달하였는지 여부를 판단할 수 있다(S304). 여기서 체크 포인트는 가상 현실을 체험하는 사용자의 현실감을 측정하기 위해 기 설정된 이벤트가 발생하는 시점 또는 특정 가상 콘텐츠가 출력되거나 사용자의 생체 신호 변화가 유발될 수 있는 장면 변화가 발생하는 시점일 수 있다.
상기 S304 단계의 판단 결과 체크 포인트에 도달하지 않은 경우라면 제어부(100)는 S300 단계로 진행하여 가상 영상을 생성 및 전송하고, S302 단계에서, 각 HMD(20)로부터 획득되는 생체 데이터들에 근거하여 표준 상태를 검출할 수 있다.
반면 상기 S304 단계의 판단 결과 체크 포인트에 도달한 경우라면 제어부(100)는 각 HMD(20) 별로, 상기 체크 포인트에 대응하는 시점에 획득된 생체 데이터의 변화량을 검출할 수 있다. 그리고 현재까지 검출된 표준 상태에 대한 상기 생체 데이터의 변화량 비율을 산출할 수 있다(S306).
그리고 제어부(100)는 각 HMD(20) 별로 산출된 생체 데이터의 변화량 비율들을 정규화할 수 있다(S308). 예를 들어 제어부(100)는 검출된 생체 데이터 변화량 비율들의 평균 또는 편차등의 대표 수치를 산출하여 상기 정규화를 수행할 수 있다. 이 경우 상기 정규화된 생체 데이터 변화량 비율은 각 생체 데이터의 종류별로 산출될 수 있다.
한편 생체 데이터의 변화량 비율들이 정규화되면, 제어부(100)는 생체 데이터 변화량 비율들의 정규화 결과를, 현재 체크 포인트에 대응하는 현실감 지표로 설정할 수 있다(S312). 그리고 제어부(100)는 현실감 지표 설정이 완료되었는지 여부를 판단하고(S312), 완료되지 않은 경우 상기 S300 단계에서 S310 단계에 이르는 과정을 반복할 수 있다.
상기 S312 단계에서 제어부(100)는, 현재 재생 중인 가상 현실 컨텐츠에 설정된 모든 체크 포인트에 대한 현실감 지표들이 설정된 경우, 또는 현재 재생 중인 가상 현실 컨텐츠의 재생이 완료된 경우, 현실감 지표 설정이 완료된 것으로 판단할 수 있다.
한편 도 4는, 본 발명의 실시 예에 따른 가상 현실 현실감 측정 장치(10)에서, 현재 재생 중인 가상 현실 컨텐츠에 대해 현실감 지표가 설정된 경우, 설정된 현실감 지표에 근거하여 상기 가상 현실 컨텐츠에 대한 사용자의 현실감을 측정하는 과정을 도시한 흐름도이다.
도 4를 참조하여 살펴보면, 먼저 제어부(100)는 가상 현실 컨텐츠를 재생하고, 가상 영상을 사용자의 HMD(20)에 전송할 수 있다(S400).
그러면 제어부(100)는 HMD(20)로부터 수신되는 생체 신호에 근거하여 사용자의 생체 데이터를 획득할 수 있다. 그리고 획득된 생체 데이터들로부터 사용자의 표준 상태를 검출할 수 있다(S402).
여기서 표준 상태는, 사용자가 안정된 상태에서 획득되는 생체 데이터를 의미할 수 있다. 예를 들어 제어부(100)는 사용자로부터 획득된 생체 데이터의 변화량이 기 설정된 수준 이하인 경우, 획득되는 생체 데이터들의 대푯값(예 : 평균)을 상기 사용자의 표준 상태로 검출할 수 있다.
그리고 제어부(100)는 가상 현실 컨텐츠의 재생 중에, 기 설정된 체크 포인트에 도달하였는지 여부를 판단할 수 있다(S404). 여기서 체크 포인트는 가상 현실을 체험하는 사용자의 현실감을 측정하기 위해 기 설정된 이벤트가 발생하는 시점 또는 특정 가상 콘텐츠가 출력되거나 사용자의 생체 신호 변화가 유발될 수 있는 장면 변화가 발생하는 시점일 수 있다.
상기 S404 단계의 판단 결과 체크 포인트에 도달하지 않은 경우라면 제어부(100)는 S400 단계로 진행하여 가상 영상을 생성 및 전송하고, S402 단계에서, 사용자의 HMD(20)로부터 획득되는 생체 데이터들에 근거하여 표준 상태를 검출할 수 있다.
반면 상기 S404 단계의 판단 결과 체크 포인트에 도달한 경우라면 제어부(100)는 사용자의 HMD(20)로부터 상기 체크 포인트에 대응하는 시점에 획득된 생체 데이터의 변화량을 검출할 수 있다. 그리고 상기 S402 단계에서 검출된 표준 상태에 대해 상기 생체 데이터의 변화량의 비율을 산출할 수 있다(S406).
한편 상기 S406 단계에서 사용자의 표준 상태에 대한 생체 데이터의 변화량의 비율이 산출되면, 제어부(100)는 산출된 비율과 현재 체크 포인트에 대해 설정된 현실감 지표의 비율을 산출할 수 있다. 그리고 산출된 값을 현재 체크 포인트에 대응하는 사용자의 현실감으로 산출할 수 있다(S408).
이 경우 현실감 지표보다 생체 데이터 변화율이 더 큰 경우, 제어부(100)는 사용자가 현실감 지표, 즉 통상의 사용자들이 느끼는 현실감보다 사용자가 현실감을 더 높게 느끼는 것으로 판단할 수 있다. 반면 현실감 지표보다 생체 데이터 변화율이 더 작은 경우, 제어부(100)는 사용자가 통상의 사용자들이 느끼는 현실감보다 사용자가 느끼는 현실감이 더 낮은 것으로 판단할 수 있다. 즉, 본 발명의 실시 예에 따른 가상 현실 현실감 측정 장치(10)는 현실감 지표에 근거하여 사용자가 느끼는 현실감을 정량화하여 객관화된 수치로 산출할 수 있다.
한편 가상 현실 컨텐츠가 체크 포인트를 복수개 포함하는 경우, 제어부(100)는 각 체크 포인트마다 산출되는 사용자의 현실감에 근거하여 가상 현실 컨텐츠 전체에 대한 사용자의 현실감을 정량적으로 평가할 수도 있음은 물론이다. 이 경우 제어부(100)는 각 체크 포인트마다 산출되는 사용자의 현실감 수치를 모두 합산하여 상기 가상 현실 컨텐츠 전체에 대한 사용자의 정량적인 현실감을 산출할 수도 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 가상 현실 현실감 측정 장치(10)의 제어부(100)를 포함할 수도 있다.
따라서 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
10 : 가상 현실 현실감 측정 장치
100 : 제어부 110 : 통신부
120 : 가상 영상 생성부 130 : 생체 신호 처리부
140 : 메모리 150 : 변화량 검출부
20 : HMD
100 : 제어부 110 : 통신부
120 : 가상 영상 생성부 130 : 생체 신호 처리부
140 : 메모리 150 : 변화량 검출부
20 : HMD
Claims (13)
- 가상 현실 컨텐츠를 재생하여 가상 영상을 생성하는 가상 영상 생성부;
복수의 HMD(Head Mounted Display)와 연결되며, 상기 가상 영상을 상기 복수의 HMD에 제공하고, 상기 복수의 HMD 각각으로부터 생체 신호들을 수신하는 통신부;
수신된 생체 신호들로부터 분석된 생체 데이터들의 변화량들을 검출하는 변화량 검출부; 및,
특정 시점의 가상 영상이 상기 복수의 HMD에 전송될 때 각 HMD에서 수신된 생체 신호로들부터 분석된 생체 데이터의 변화량에 따른 각 HMD 별 변화량 비율들을 산출하고, 산출된 각 HMD 별 변화량 비율들의 대표값을 정규화하여 상기 특정 시점의 가상 영상에 대한 현실감 지표를 생성 및, 상기 변화량 비율들과 상기 현실감 지표 간의 비율을 산출하여, 상기 특정 시점의 가상 영상에 대한 정량화된 사용자의 현실감을 측정하는 제어부를 포함하며,
상기 제어부는,
상기 가상 영상을 상기 복수의 HMD 각각에 제공하기 이전에, 기 설정된 안정화 시간 동안 각 HMD 사용자의 생체 데이터를 안정시키기 위한 안정화 가상 컨텐츠를 상기 복수의 HMD 각각에 전송하여, 상기 복수의 HMD 각각의 사용자들로부터 안정화된 생체 데이터들을 획득하고, 획득된 안정화된 생체 데이터들의 대푯값을 표준 상태 생체 데이터 값으로 설정하며,
상기 변화량 검출부는,
상기 특정 시점의 가상 영상이 상기 복수의 HMD에 전송될 때 수신된 생체 신호로부터 분석된 생체 데이터의 변화량과 상기 표준 상태 생체 데이터 값의 비율을 산출하여 상기 변화량 비율을 산출하는 것을 특징으로 하는 가상 현실 현실감 측정 장치. - 삭제
- 삭제
- 제1항에 있어서, 상기 기 설정된 표준 상태의 생체 데이터 값은,
상기 분석된 생체 데이터의 변화량이 기 설정된 수준 이하인 생체 데이터들의 대푯값임을 특징으로 하는 가상 현실 현실감 측정 장치. - 삭제
- 제1항에 있어서, 상기 특정 시점은,
기 설정된 이벤트가 발생하는 시점 또는 특정 가상 콘텐츠가 출력되거나 사용자의 생체 신호 변화가 유발될 수 있는 장면 변화가 발생하는 시점임을 특징으로 하는 가상 현실 현실감 측정 장치. - 제1항에 있어서,
상기 복수의 HMD 각각은,
사용자의 생체 신호를 감지하기 위한 복수의 동일한 센서를 포함하며,
상기 복수의 동일한 센서는,
배치되는 위치에 따라 감지되는 생체 신호를 각각 다른 종류의 생체 데이터에 대한 생체 신호로 센싱하는 것을 특징으로 하는 가상 현실 현실감 측정 장치. - 사용자의 생체 데이터를 안정시키기 위한 안정화 가상 컨텐츠를 안정화 시간 동안 복수의 HMD(Head Mounted Display) 각각에 제공하는 제1 단계;
상기 안정화 시간 동안 제공된 안정화 가상 컨텐츠에 의해 안정화된 상기 복수의 HMD 각각의 사용자들의 생체 데이터들을 획득하고, 획득한 안정화된 생체 데이터들의 대푯값을 표준 상태에 대응하는 데이터값으로 설정하는 제2 단계;
상기 안정화 가상 컨텐츠와 다른 가상 현실 컨텐츠를 재생함에 따라 상기 복수의 HMD에 상기 가상 현실 컨텐츠에 따른 가상 영상이 출력되도록 하는 제3 단계;
상기 복수의 HMD(Head Mounted Display)로부터 수신되는 복수의 생체 신호에 근거하여 상기 가상 영상의 특정 시점에 대한 현실감 지표를 생성하는 제4 단계;
상기 현실감 지표가 설정된 경우, 상기 복수의 HMD 각각으로부터 생체 신호들을 수신하는 제5 단계;
상기 특정 시점에 대응하는 가상 영상이 상기 복수의 HMD에서 출력될 때, 수신된 생체 신호들로부터 분석된 생체 데이터들의 변화량들과 상기 표준 상태에 대응하는 생체 데이터 값의 비율을 산출하여 상기 변화량 비율들을 산출하는 제6 단계; 및,
산출된 변화량 비율들과 상기 현실감 지표 간의 비율을 산출하여, 상기 특정 시점의 가상 영상에 대한 정량화된 각 사용자의 현실감을 측정하는 제7 단계를 포함하며,
상기 제4 단계는,
상기 특정 시점의 가상 영상이 상기 복수의 HMD에 제공될 때, 각 HMD 별로 검출된 생체 데이터의 변화량에 따른 변화량 비율들을 산출하는 제4-1 단계, 및
각 HMD 별 변화량 비율들의 대표값을 정규화하여 상기 특정 시점의 가상 영상에 대한 현실감 지표를 산출하는 제4-2 단계를 포함하는 것을 특징으로 하는 가상 현실 현실감 측정 방법. - 삭제
- 삭제
- 제8항에 있어서,
상기 기 설정된 표준 상태의 생체 데이터 값은,
상기 분석된 생체 데이터의 변화량이 기 설정된 수준 이하인 생체 데이터들의 대푯값임을 특징으로 하는 가상 현실 현실감 측정 방법. - 삭제
- 제8항에 있어서, 상기 특정 시점은,
기 설정된 이벤트가 발생하는 시점 또는 특정 가상 콘텐츠가 출력되거나 사용자의 생체 신호 변화가 유발될 수 있는 장면 변화가 발생하는 시점임을 특징으로 하는 가상 현실 현실감 측정 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190078218A KR102295422B1 (ko) | 2019-06-28 | 2019-06-28 | 가상 체험의 현실감 측정 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190078218A KR102295422B1 (ko) | 2019-06-28 | 2019-06-28 | 가상 체험의 현실감 측정 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210001721A KR20210001721A (ko) | 2021-01-07 |
| KR102295422B1 true KR102295422B1 (ko) | 2021-08-31 |
Family
ID=74126613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190078218A KR102295422B1 (ko) | 2019-06-28 | 2019-06-28 | 가상 체험의 현실감 측정 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102295422B1 (ko) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20020068825A (ko) * | 2001-02-23 | 2002-08-28 | 학교법인 한양학원 | 가상 현실과 바이오 피드백을 이용한 집중력 향상 시스템및 방법 |
| KR101535432B1 (ko) * | 2013-09-13 | 2015-07-13 | 엔에이치엔엔터테인먼트 주식회사 | 콘텐츠 평가 시스템 및 이를 이용한 콘텐츠 평가 방법 |
-
2019
- 2019-06-28 KR KR1020190078218A patent/KR102295422B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210001721A (ko) | 2021-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3384437B1 (en) | Systems, computer medium and methods for management training systems | |
| KR101535432B1 (ko) | 콘텐츠 평가 시스템 및 이를 이용한 콘텐츠 평가 방법 | |
| US20220222687A1 (en) | Systems and Methods for Assessing the Marketability of a Product | |
| US20160302680A1 (en) | Biological information processing system, biological information processing device, terminal device, method for generating analysis result information, and biological information processing method | |
| EP1609418A1 (en) | Apparatus for estimating the psychological state of a subject and video/sound reproduction apparatus | |
| CN106163387A (zh) | 用于检测用户的心率的变化的系统和方法 | |
| TW201538127A (zh) | 睡眠檢測系統和方法 | |
| Hernandez et al. | Wearable motion-based heart rate at rest: A workplace evaluation | |
| KR20200071647A (ko) | 가상/증강현실 콘텐츠 및 생체신호에 기반한 정신질환 진단 및 치유를 위한 바이오피드백 방법 | |
| KR102216899B1 (ko) | 실시간 영상 및 음성 맵핑을 통해 개인화된 상담이 가능한 심리 상담 방법 | |
| US10420514B2 (en) | Detection of chronotropic incompetence | |
| KR102295422B1 (ko) | 가상 체험의 현실감 측정 장치 및 방법 | |
| KR101338352B1 (ko) | 생체신호 화면 표시 방법 | |
| KR20190061826A (ko) | 외상 후 스트레스 장애 및 공황장애 치료를 위한 복합 생체 정보 검출 시스템 및 방법 | |
| JP2015188649A (ja) | 複数の生理指標および視線の分析支援装置、プログラム | |
| WO2020139108A1 (ru) | Способ проведения когнитивных исследований с использованием системы нейровизуализации и механизма обратной связи | |
| KR102545129B1 (ko) | 원격 상담 서비스 제공 방법 및 시스템 | |
| KR102216904B1 (ko) | 개인화된 영상 제공을 통해 심리 변화 추적이 가능한 심리 상담 방법 | |
| van Drunen et al. | Exploring workload and attention measurements with uLog mouse data | |
| KR20220160131A (ko) | 인공지능 기반의 vr 심리검사 서비스 제공 장치 및 방법 | |
| KR20220047187A (ko) | 피처 결합을 이용한 인지 기능 검사 방법 및 서버 | |
| KR102216905B1 (ko) | 개인화된 영상 및 음성 제공을 통해 심리 변화 추적이 가능한 심리 상담 방법 | |
| KR102277894B1 (ko) | 개인화된 영상 제공을 통해 심리 변화 추적이 가능한 심리 상담 방법 | |
| CN116269390B (zh) | 孤独症评估方法、设备、电子设备和存储介质 | |
| US20210295730A1 (en) | System and method for virtual reality mock mri |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |