KR102233099B1 - 기계학습에 기반한 가상 현실 콘텐츠의 사이버 멀미도 예측 모델 생성 및 정량화 조절 장치 및 방법 - Google Patents

기계학습에 기반한 가상 현실 콘텐츠의 사이버 멀미도 예측 모델 생성 및 정량화 조절 장치 및 방법 Download PDF

Info

Publication number
KR102233099B1
KR102233099B1 KR1020170166134A KR20170166134A KR102233099B1 KR 102233099 B1 KR102233099 B1 KR 102233099B1 KR 1020170166134 A KR1020170166134 A KR 1020170166134A KR 20170166134 A KR20170166134 A KR 20170166134A KR 102233099 B1 KR102233099 B1 KR 102233099B1
Authority
KR
South Korea
Prior art keywords
viewing fatigue
viewing
fatigue
virtual reality
reality content
Prior art date
Application number
KR1020170166134A
Other languages
English (en)
Other versions
KR20190066428A (ko
Inventor
손욱호
남승우
오희석
이범렬
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170166134A priority Critical patent/KR102233099B1/ko
Priority to US16/140,210 priority patent/US10725534B2/en
Publication of KR20190066428A publication Critical patent/KR20190066428A/ko
Application granted granted Critical
Publication of KR102233099B1 publication Critical patent/KR102233099B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4884Other medical applications inducing physiological or psychological stress, e.g. applications for stress testing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Graphics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Operations Research (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Psychiatry (AREA)

Abstract

기계학습에 기반한 가상 현실 콘텐츠의 시청 피로도 예측 모델 생성 방법에 있어서, 가상 현실 콘텐츠를 디스플레이부에 표시하는 단계, 센서를 이용하여 가상 현실 콘텐츠를 시청하는 사용자의 제1 시청 피로도 정보를 검출하는 단계, 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청에 대응하여 사용자로부터 입력되는 사용자 입력을 이용하여 제2 시청 피로도 정보를 결정하는 단계, 가상 현실 콘텐츠의 시청 피로도 유발 요소, 제1 시청 피로도 정보 및 제2 시청 피로도 정보를 이용하여 지도학습 기반의 기계학습을 수행하는 단계 및 수행된 기계학습의 결과를 기초로 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 결정하는 단계를 포함하는, 시청 피로도 예측 모델 생성 방법이 개시된다.

Description

기계학습에 기반한 가상 현실 콘텐츠의 사이버 멀미도 예측 모델 생성 및 정량화 조절 장치 및 방법{APPARATUS AND METHOD FOR MACHINE LEARNING BASED PREDICTION MODEL AND QUANTITATIVE CONTROL OF VIRTUAL REALITY CONTENTS’ CYBER SICKNESS}
본 개시는 기계학습에 기반한 가상 현실 콘텐츠의 시청 피로도 예측 모델 생성 장치 및 방법에 관한 것으로, 보다 구체적으로는 지도학습 기반의 기계학습을 수행하여 가상 현실 콘텐츠의 시청 피로도 유발 요소와 가상 현실 콘텐츠의 시청 피로도간의 상관관계 모델을 생성하는 장치 및 방법에 관한 것이다.
가상 현실(virtual reality, VR) 기술은 실제 구축에는 비용과 시간이 들거나 위험이 수반되는 현실 상황을 가상 환경을 통하여 실감나게 재현하는 기술로써, 국방, 의료, 제조 등의 다양한 응용 분야에서 훈련 목적으로 활용되거나, 게임, 테마파크, 영화 등의 엔터테인먼트 분야에 적용되는 등 다양한 적용성을 가진 첨단 기술이다. 최근, 헤드 마운티드 디스플레이(head mounted display, HMD)의 대중적 확대 보급에 따라, 가상 현실 기술의 활용성이 한층 증대되고 있는 실정이며, 이러한 가상현실 기술의 시장성과 실생활에서의 활용도를 높이기 위해서는, 특히 가상 현실 콘텐츠를 시청하는 사용자에게 유발될 수 있는 멀미 등과 같은 시청 피로도를 해결하여 장시간 사용성이 보장되어야 할 것이다.
VR HMD 상에서 영상 시청 시 발생할 수 있는 멀미, 피로감 등의 해결을 위해, 기본적으로는 VR 지연(latency)를 줄여야 하는데 통상적으로 VR 지연이 20ms 이하가 될 경우에는 VR 시청 피로도가 상당부분 완화된다고 실험적/이론적으로 알려져 있다. VR 지연 시간은 PC기반의 VR HMD의 경우 헤드트래킹 정보 처리 시간과 VR 영상의 렌더링 시간으로 이루어져 있으며, 핸드폰과 같은 모바일 타입의 경우에는 네트워크 전송(transmission)에 의한 지연 시간도 고려되어야 한다. 구체적으로, HMD 헤드트래킹은 하드웨어 의존적이며 사용 제품별로 그 성능이 정해져 있으며 VR 렌더링은 가상환경의 복잡도 및 시스템 사양에 의존적이다.
또한, VR HMD 영상 콘텐츠 자체의 특성은 VR 지연 시간 외에 VR 시청 피로도에 큰 영향을 미치는 요소로 알려져 있으며, 구체적으로, 카메라 움직임, 그래픽 객체 움직임, 해상도, 시야각(field of view), 양안시차, 텍스처, 특수효과 등의 다양한 VR 시스템 파라미터들에 의하여 결정될 수 있다.
한편, VR 콘텐츠를 시청함으로써 발생되는 시청 피로도 정도를 평가하기 위한 방법론으로는 기존의 3D 스테레오 영상에 대한 피로감 발생 원인 규명을 위한 설문조사 및 생체신호 측정 기반의 피로도 평가를 기초로 하고 있다. 구체적으로, 생체신호 측정 등에 기반한 객관적 평가 방법은 VR 콘텐츠를 시청하기 전, 후뿐만 아니라 시청 중에도 계속 사용자로부터 발생되는 신호를 센싱하여 사용자에게 발생하는 변화를 분석하는 방법이다. 한편, 설문조사 등을 이용한 주관적 방법은 일반적으로 VR 콘텐츠에 의해 시각적으로 자극이 되기 전의 사전 설문조사와 VR 콘텐츠 시청 및 체험이 완료된 후의 VR 콘텐츠에 대한 시청 피로도 조사를 포함하는 방법이다. 그러나, VR 영상에 대한 피로감 발생 원인 규명을 위한 종래의 방법론은 임상실험 등에 의해 획득된 결과와 VR 영상에 대한 피로감간의 정성적인 상관관계를 통계적인 수치(예를 들어, ANOVA 분석)에 의해 상대적으로 분석하는데 그치고 있기 때문에, 실제 산업 현장에서 VR 응용 개발 시 요구되는 VR 멀미, 피로감 유발도 조절 기능을 실현하는데 간접적인 참고자료로만 활용되는 문제가 있다. 그러나, 게임, 테마파크, 광고, 영화, 국방 시뮬레이션, 가상 의료, 가상 제조 등의 다양한 분야에서 솔루션 형태로 개발되는 VR 응용의 시장성 및 대중성 확보를 위해 VR 멀미, 피로감을 줄일 수 있는 방법이 요구되며, 이를 위해서는 인지/뇌신경과적인 이해 및 임상적인 근거를 통해 VR 멀미, 피로감 유발에 관여하는 다양한 요소들을 보다 정확하게 조정해야 한다.
한편, 최근 인공지능과 기계학습 기술이 주목 받고 있는데, 기계학습이란 데이터를 이용해서 컴퓨터를 학습시키는 방법론을 의미하며, 기계학습 알고리즘은 크게 지도학습(supervised learning)과 비지도학습(unsupervised learning), 강화학습(reinforcement learning)으로 구분할 수 있다. 특히 지도학습은 데이터에 대한 레이블, 즉 명시적인 정답이 주어진 상태로 시스템을 학습시키는 방법으로서, 구체적으로 ‘데이터와 레이블 세트(set)’의 형태로 학습이 이루어지며, 이렇게 구성된 트레이닝 데이터 세트로 학습이 끝나면 레이블이 지정되지 않은 테스트 데이터 세트를 이용하여 학습된 알고리즘에 의해 얼마나 정확하게 예측되는지를 측정할 수 있다.
본 개시의 기술적 과제는 HMD와 같은 영상표시장치를 통해 가상 현실 콘텐츠를 시청하는 사용자의 시청 피로도와 시청 피로도 유발 요소간의 관계를 기계학습을 이용하여 정량적으로 분석하는 장치 및 방법을 제공하는 것이다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 양상에 따르면, 가상 현실 콘텐츠를 디스플레이부에 표시하는 단계; 센서를 이용하여 상기 가상 현실 콘텐츠를 시청하는 사용자의 제1 시청 피로도 정보를 검출하는 단계; 상기 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청에 대응하여 상기 사용자로부터 입력되는 사용자 입력을 이용하여 제2 시청 피로도 정보를 결정하는 단계; 가상 현실 콘텐츠의 시청 피로도 유발 요소, 상기 제1 시청 피로도 정보 및 상기 제2 시청 피로도 정보를 이용하여 지도학습 기반의 기계학습을 수행하는 단계; 및 상기 수행된 기계학습의 결과를 기초로 상기 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 결정하는 단계를 포함하는, 시청 피로도 예측 모델 생성 방법이 제공될 수 있다.
본 개시의 다른 양상에 따르면, 기계학습에 기반한 가상 현실 콘텐츠의 시청 피로도 예측 모델 생성 장치에 있어서, 가상 현실 콘텐츠를 표시하는 디스플레이부; 사용자 입력부; 및 센서를 이용하여 상기 가상 현실 콘텐츠를 시청하는 사용자의 제1 시청 피로도 정보를 검출하고, 상기 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청에 대응하여 상기 사용자 입력부에 입력되는 사용자 입력을 이용하여 제2 시청 피로도 정보를 결정하고, 가상 현실 콘텐츠의 시청 피로도 유발 요소, 상기 제1 시청 피로도 정보 및 상기 제2 시청 피로도 정보를 이용하여 지도학습 기반의 기계학습을 수행하고, 상기 수행된 기계학습의 결과를 기초로 상기 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 결정하는, 시청 피로도 예측 모델 생성 장치가 제공될 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, HMD와 같은 영상표시장치를 통해 가상 현실 콘텐츠를 시청하는 사용자의 시청 피로도와 시청 피로도 유발 요소간의 관계를 기계학습을 이용하여 정량적으로 분석하는 장치 및 방법이 제공될 수 있다.
또한, 본 개시에 따르면, 가상 현실 콘텐츠의 시청 피로도 유발 요소와 사용자의 시청 피로도간의 상관관계를 이용하여 가상 현실 응용 콘텐츠 제작 시 사전에 가상 현실 멀미/피로도가 정량화되어 조절될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시예에 따른 센서 및 사용자 입력을 이용하여 가상 현실 콘텐츠의 시청 피로도 정보를 획득하는 시스템을 나타내는 도면이다.
도 2 및 3은 일 실시예에 따른 기계학습에 기반한 가상 현실 콘텐츠의 시청 피로도 예측 모델 생성 장치의 구성을 나타내는 블록도이다.
도 4 및 5는 일 실시예에 따른 기계학습을 수행하여 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 결정하는 과정을 나타내는 도면이다.
도 6은 일 실시예에 따른 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계가 그래픽 사용자 인터페이스를 이용하여 표시되는 일례를 나타내는 도면이다.
도 7은 일 실시예에 따른 기계학습에 기반한 가상 현실 콘텐츠의 시청 피로도 예측 모델 생성 장치의 동작방법을 나타내는 흐름도이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.
이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.
도 1은 일 실시예에 따른 센서 및 사용자 입력을 이용하여 가상 현실 콘텐츠의 시청 피로도 정보를 획득하는 시스템을 나타내는 도면이다.
일 실시예에 따른 기계학습에 기반한 가상 현실 콘텐츠의 시청 피로도 예측 모델 생성 장치는 가상 현실 콘텐츠를 디스플레이에 표시하고, 센서를 이용하여 가상 현실 콘텐츠를 시청하는 사용자의 제1 시청 피로도 정보를 검출하고, 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청에 대응하여, 사용자로부터 입력된 사용자 입력을 이용하여 제2 시청 피로도를 결정할 수 있다.
일 실시예에 따른 센서는 영상 촬영 센서(또는 관찰형 센서) 또는 생체신호 검출 센서(또는 착용형 센서)를 포함할 수 있다.
도 1을 참조하면, 헤드 마운티드 디스플레이(head mounted display, HMD)와 같은 영상표시장치(20)를 착용한 사용자(40)가 영상표시장치(20)에서 표시되는 가상 현실 콘텐츠를 시청하고 있다고 하면, 기계학습에 기반한 가상 현실 콘텐츠의 시청 피로도 예측 모델 생성 장치는 관찰형 센서(50)를 이용하여 사용자(40)의 자세, 상태, 눈동자, 표정, 제스처, 음성 등의 변화를 트래킹할 수 있다. 일 실시예에 따를 때, 관찰형 센서(50)는 MRI, FMRI, 이미지 센서, 적외선 센서 등을 포함하나, 이에 제한되지 않으며, 사용자의 동작 변화 등을 트래킹할 수 있는 센서를 포함할 수 있다. 또한, 기계학습에 기반한 가상 현실 콘텐츠의 시청 피로도 예측 모델 생성 장치는 착용형 센서(30)를 이용하여 사용자(40)의 뇌파(EEG), 심전도(ECG), 맥파(PPG), 피부전도도(GSR), 구토측정 등의 생체신호를 검출할 수 있는 센서를 포함할 수 있다. 영상 촬영 센서로부터 획득된 사용자의 영상 또는 생체신호 검출 센서로부터 획득된 사용자의 생체신호의 크기를 제1 시청 피로도 정보(또는 객관적 시청 피로도 정보)라 할 수 있다. 또한 일 실시예에 따를 때, 시청 피로도 예측 모델 생성 장치는 제1 시청 피로도 정보를 기초로 기계학습을 수행하기 위한 특징 벡터를 획득할 수 있으며, 예를 들어, 제1 시청 피로도 정보를 시간축 상에서 추출하여 특징 벡터 형태로 생성할 수 있다.
또한, 가상 현실 콘텐츠의 시청 피로도 예측 모델 생성 장치는 사용자에게 가상 현실 콘텐츠를 제공(또는 노출)하기 전후 또는 제공 중에, 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청에 대응하여, 사용자로부터 시청 피로도 세기를 입력 받을 수 있다. 일 실시예에 따른 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청은 미리 정해진 시간 간격에 따라 사용자에게 요청될 수 있다. 또한, 일 실시예에 따른 사용자 입력은 디스플레이부에 표시되는 사용자 인터페이스를 통한 입력 또는 시청 피로도 예측 모델 생성 장치에 구비된 입력 장치로부터의 입력일 수 있다. 또한, 일 실시예에 따른 가상 현실 콘텐츠는 시청 피로도 유발 요소들 각각의 값이 제어된 복수의 개별 가상 현실 콘텐츠들의 집합일 수 있다. 한편, 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청에 대응하여 사용자로부터 획득된 정보를 제2 시청 피로도 정보(또는 주관적 시청 피로도 정보)라 하며, 이와 관련된 내용들은 후술하기로 한다.
일 실시예에 따른 시청 피로도 예측 모델 생성 장치는 가상 현실 콘텐츠의 시청 피로도 유발 요소, 제1 시청 피로도 정보 및 제2 시청 피로도 정보를 이용하여 지도학습 기반의 기계학습을 수행하고, 수행된 기계학습의 결과를 기초로 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 결정할 수 있다. 예를 들어, 시청 피로도 예측 모델 생성 장치는 가상 현실 콘텐츠의 시청 피로도 유발 요소의 값을 변경함에 따라 시청 피로도 리스트 항목들의 크기가 단계적으로 변경되도록 대응시킴으로써, 시청 피로도 유발 요소와 시청 피로도 리스트의 정량적인 상관관계를 결정할 수 있다.
일 실시예에 따를 때, 시청 피로도 유발 요소(또는 VR 휴먼팩터 파라미터)는 카메라 움직임, 객체 움직임, 재생정보, 해상도, 양안 시차, 깊이감, 시야각, 영상 특징, 특수효과 또는 텍스처 효과일 수 있으나, 이에 제한되지 않으며, 콘텐츠 자체의 특성 또는 콘텐츠 외부의 특성(예를 들어, 객체의 움직임, 카메라의 움직임 등)의 변화 등 가상 현실 콘텐츠를 시청하는 사용자에게 멀미 등의 시청 피로도를 유발시킬 수 있는 요인들이 포함될 수 있다.
또한, 일 실시예에 따를 때, 가상 현실 콘텐츠에 대한 사용자의 시청 피로도 리스트(또는 VR 멀미증상)는 해당 가상 현실 콘텐츠 및 사용자에 대한 시청 피로도 리스트 항목과 각 항목별 크기를 포함하는 정보로서, 일 실시예에 따른 시청 피로도 리스트 항목은 불쾌감, 피로감, 두통, 눈피로감, 난초점, 발한, 메스꺼움, 난집중, 머리 막힘, 시야감, 현기증, 환각, 배탈, 멀미, 트림 또는 기타 증상을 포함할 수 있으나, 이에 제한되지 않으며, 가상 현실 콘텐츠를 시청함으로써 유발될 수 있는 구체적인 증상을 포함할 수 있다.
한편, 일 실시예에 따른 제2 시청 피로도 정보는 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청에 대응하여 사용자로부터 입력되는 시청 피로도 리스트 항목들에 대한 세기일 수 있다. 예를 들어, 시청 피로도 예측 모델 생성 장치는, A라는 가상 현실 콘텐츠 시청 중에 시청 피로도 세기 입력 요청에 대응하여, 사용자로부터 입력되는 두통, 메스꺼움 및 현기증 항목 각각에 대한 세기를 획득할 수 있다. 또한, 일 실시예에 따른 제2 시청 피로도 정보는 디스플레이부에 표시되는 사용자 인터페이스를 통해 입력되거나 시청 피로도 예측 모델 생성 장치에 구비된 입력 장치로부터 입력되거나 사후 설문지(simulation sickness questionnaire) 작성 결과를 이용하여 획득될 수 있다. 일 실시예에 따를 때, 시청 피로도 예측 모델 생성 장치에 구비된 입력 장치는 컨트롤러와 같은 사용자 인터페이스 도구일 수 있으나, 이에 제한되지 않는다.
한편, 일 실시예에 따른 시청 피로도 예측 모델 생성 장치는 제1 시청 피로도 정보를 이용하여 획득된 특징 벡터를 지도학습 기반의 기계학습에서의 데이터(data)로서 결정하고, 제2 시청 피로도 정보를 지도학습 기반의 기계학습에서의 데이터에 대한 레이블(label)로서 결정하고, 데이터 및 데이터에 대한 레이블을 이용하여 지도학습 기반의 기계학습을 수행할 수 있다. 또한, 일 실시예에 따른 시청 피로도 예측 모델 생성 장치는 기계학습 결과를 기초로 임의의 가상 현실 콘텐츠에 대한 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 예측할 수 있다.
도 2 및 3은 일 실시예에 따른 기계학습에 기반한 가상 현실 콘텐츠의 시청 피로도 예측 모델 생성 장치의 구성을 나타내는 블록도이다.
도 2를 참조하면, 일 실시예에 따른 기계학습에 기반한 가상 현실 콘텐츠의 시청 피로도 예측 모델 생성 장치(200)는 디스플레이부(210), 제어부(220) 및 사용자 입력부(230)를 포함할 수 있다. 다만, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 시청 피로도 예측 모델 생성 장치(200)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다.
예를 들어, 도 3을 참조하면, 시청 피로도 예측 모델 생성 장치(300)는 VR 멀미평가 임상 처리부(310), VR 휴먼팩터 상관맵 생성부(320) 및 VR 휴먼팩터 파라미터 기반 멀미/피로도 조절부(330)를 더 포함할 수 있다. 도 3의 시청 피로도 예측 모델 생성 장치(300)는 도 2의 시청 피로도 예측 모델 생성 장치(200)에 대응될 수 있다.
도 2를 참조하면, 디스플레이부(210)는 제어부(220)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이부(210)는 통신부 또는 입/출력부를 통해 입력되는 콘텐츠(예를 들어, 동영상)를 표시할 수 있다. 디스플레이부(210)는 제어부(220)의 제어에 의해 저장부에 저장된 영상을 출력할 수 있다. 또한, 디스플레이부(210)는 음성 인식에 대응되는 음성 인식 태스크를 수행하기 위한 음성 UI(user interface: 예를 들어, 음성 명령어 가이드를 포함하는) 또는 모션 인식에 대응되는 모션 인식 태스크를 수행하기 위한 모션 UI(예를 들어, 모션 인식을 위한 사용자 모션 가이드를 포함)를 표시할 수 있다. 또한, 디스플레이부(210)는 시청 피로도 예측 모델 생성 장치(200)에서 처리되는 정보를 표시 출력할 수 있다. 예를 들어, 디스플레이부(210)는, 가상 이미지, 가상 이미지를 선택하기 위한 사용자 인터페이스 또는 가상 이미지의 동작을 설정하기 위한 사용자 인터페이스를 디스플레이할 수 있다. 또한, 디스플레이부(210)는 HMD 장치 또는 몰입형 외부 가상 현실 영상 장치에서 처리되는 정보를 디스플레이할 수 있다.
일 실시예에 따른 디스플레이부(210)는 가상 현실 콘텐츠를 표시할 수 있다. 또한 일 실시예에 따른 디스플레이부(210)는 기계학습을 수행하여 결정된 가상 현실 콘텐츠에 대한 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 그래픽 사용자 인터페이스(graphical user interface, GUI)를 이용하여 표시할 수 있다.
제어부(220)는 가상 현실 콘텐츠의 시청 피로도 예측 모델 생성 장치(200)의 전반적인 동작 및 가상 현실 콘텐츠의 시청 피로도 예측 모델 생성 장치(200)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(220)는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 저장부에 저장된 다양한 애플리케이션을 실행할 수 있다. 도 2의 제어부(220)는 도 3의 VR 멀미평가 임상 처리부(310), VR 휴먼팩터 상관맵 생성부(320) 및 VR 휴먼팩터 파라미터 기반 멀미/피로도 조절부(330)를 포함할 수 있으나, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 제어부(220)에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다.
일 실시예에 따른 제어부(220)는 센서를 이용하여 가상 현실 콘텐츠를 시청하는 사용자의 제1 시청 피로도 정보를 검출하고, 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청에 대응하여 사용자 입력부(230)에 입력되는 사용자 입력을 이용하여 제2 시청 피로도 정보를 결정하고, 가상 현실 콘텐츠의 시청 피로도 유발 요소, 제1 시청 피로도 정보 및 제2 시청 피로도 정보를 이용하여 지도학습 기반의 기계학습을 수행하고, 수행된 기계학습의 결과를 기초로 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 결정할 수 있다.
또한 일 실시예에 따른 제어부(220)는 가상 현실 콘텐츠의 시청 피로도 유발 요소의 값을 변경함에 따라 시청 피로도 리스트 항목들의 크기가 변경되도록 대응시킬 수 있다.
또한 일 실시예에 따른 제어부(220)는 제1 시청 피로도 정보를 이용하여 획득된 특징 벡터를 지도학습 기반의 기계학습에서의 데이터로서 결정하고, 제2 시청 피로도 정보를 지도학습 기반의 기계학습에서의 데이터에 대한 레이블로서 결정하고, 데이터 및 데이터에 대한 레이블을 이용하여 지도학습 기반의 기계학습을 수행할 수 있다. 또한 일 실시예에 따른 제어부(220)는 기계학습의 결과를 기초로 임의의 가상 현실 콘텐츠에 대한 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 예측할 수 있다.
사용자 입력부(230)는 사용자가 가상 현실 콘텐츠의 시청 피로도 예측 모델 생성 장치(200)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(230)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나, 이에 제한되지 않는다.
일 실시예에 따른 사용자 입력부(230)는 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청에 대응한 사용자 입력을 수신할 수 있다. 또한, 사용자 입력은 디스플레이부(210)에 표시되는 사용자 인터페이스를 통한 입력 또는 시청 피로도 예측 모델 생성 장치(200)에 구비된 입력 장치로부터의 입력일 수 있다. 일 실시예에 따를 때 시청 피로도 예측 모델 생성 장치(200)에 구비된 입력 장치는 컨트롤러와 같은 사용자 인터페이스 도구일 수 있으나, 이에 제한되지 않는다.
후술하는 바와 같이 도 3 내지 6을 참조하여 기계학습에 기반한 가상 현실 콘텐츠의 시청 피로도 예측 모델 생성 장치(300)의 동작을 살펴보도록 하겠다.
일 실시예에 따른 시청 피로도 예측 모델 생성 장치(300)는 VR 멀미평가 임상 처리부(310), VR 휴먼팩터 상관맵 생성부(320) 및 VR 휴먼팩터 파라미터 기반 멀미/피로도 조절부(330)를 포함할 수 있다.
일 실시예에 따른 VR 멀미평가 임상 처리부(310)는 레퍼런스 VR 콘텐츠를 사용하여 다수의 사용자들을 대상으로 VR 멀미/피로도 평가를 수행한 평가결과를 테이블 형태의 데이터베이스(database, DB)로 구축할 수 있다. 구체적으로, 도 3을 참조하면, VR 멀미평가 임상 처리부(310)는 VR HMD 장치 등의 영상표시장치를 통해 VR 멀미/피로도 평가 수행을 위한 표준 레퍼런스 VR 콘텐츠를 시청하는 사용자의 생체신호 측정/분석 결과(도 3의 객관적 평가 디스플레이단) 및 시청 피로도 세기 입력 요청에 대응하여 사용자로부터 입력되는 설문조사 등의 결과(도 3의 주관적 평가 디스플레이단)를 이용하여 VR 휴먼팩터 파라미터(또는 시청 피로도 유발 요소)와 VR 멀미도 평가점수(또는 제2 시청 피로도 정보)의 관계를 테이블 형태의 데이터베이스로 구축할 수 있다.
또한 일 실시예에 따른 VR 휴먼팩터 상관맵 생성부(320)는 VR 멀미평가 임상 처리부(310)로부터 구축된 VR 임상실험 데이터베이스에 대해 수학적 분석(예를 들어, 통계처리, 기계학습)을 적용하여 VR 휴먼팩터 파라미터(또는 시청 피로도 유발 요소)와 VR 멀미증상(또는 시청 피로도 리스트)의 상관관계를 결정(즉, 정량화된 상관맵을 결정)할 수 있다. 구체적으로, 도 3 및 4를 참조하면, VR 휴먼팩터 상관맵 생성부(320)는 VR 멀미평가 임상 처리부(310)로부터 구축된 VR 임상실험 데이터베이스에 대해 SVM 또는 신경망 회로 등 수학적인 상관성 분석 방식을 이용하여 지도학습 기반의 기계학습을 수행할 수 있으며, 센서를 통해 획득된 정보(즉, 제1 시청 피로도 정보)를 이용하여 획득된 특징 벡터를 지도학습 기반의 기계학습에서의 데이터로서 이용하고, 주관적 평가로부터 획득된 결과(즉, 제2 시청 피로도 정보)를 지도학습 기반의 기계학습에서의 데이터에 대한 레이블로서 이용할 수 있다. 일 실시예에 따를 때, 지도학습 기반의 기계학습 수행 시 내부 파라미터들을 튜닝함으로써, 각 VR 휴먼팩터 파라미터(또는 시청 피로도 유발 요소)와 각각의 VR 멀미증상(또는 각각의 시청 피로도 리스트 항목)의 개별적 상관분석 결과가 0과 1 사이의 값으로 정규화(normalized)된 가중치(Wij)로 표현될 수 있고, 전체적인 결과는 가중치 상관맵(weighted associative map) 형태로 표현될 수 있고, 따라서 해당 결과는 매트릭스 형태의 자료 구조로 저장될 수 있다. 도 5는 일 실시예에 따른 기계학습을 수행하여 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 결정하는 과정을 나타내는 도면으로서, 도 5를 참조하면, 기계학습의 수행 결과, 각각의 시청 피로도 유발 요소에 대해 각각의 시청 피로도 리스트 항목들의 대응관계 및 각각의 시청 피로도 리스트 항목별 크기가 획득됨을 확인할 수 있다.
또한 일 실시예에 따른, VR 휴먼팩터 파라미터 기반 멀미/피로도 조절부(330)는 VR 휴먼팩터 상관맵 생성부(320)로부터 결정된 VR 휴먼팩터 상관맵을 이용하여 VR 휴먼팩터 파라미터(또는 시청 피로도 유발 요소)들을 GUI상에서 직관적으로 제어하고, VR 멀미증상(또는 시청 피로도 리스트)을 정량적으로 레벨화하여 조절할 수 있다. 구체적으로, 도 3 및 6을 참조하면, VR 휴먼팩터 파라미터 기반 멀미/피로도 조절부(330)는 VR 휴먼팩터 상관맵 중계기, n개(예를 들어, 시청 피로도 리스트 항목의 개수)의 VR 멀미증상 레벨 표시단 및 VR 휴먼팩터 파라미터 조작단을 포함할 수 있으며, 일 실시예에 따른 VR 휴먼팩터 파라미터 조작단은 GUI 상에서 VR 휴먼팩터 파라미터를 직관적으로 조작하고 속성을 부여할 수 있고, 일 실시예에 따른 VR 휴먼팩터 상관맵 중계기는 VR 휴먼팩터 파라미터 조작단과 각각의 VR 멀미증상 레벨 표시단의 정량적 연동 표시 기능을 중계하여 처리할 수 있다. 도 6을 참조하면, VR 휴먼팩터 파라미터(또는 시청 피로도 유발 요소)들과 VR 멀미증상(또는 시청 피로도 리스트)의 상관관계가 GUI를 이용하여 디스플레이에 표시된 것을 확인할 수 있다.
도 7은 일 실시예에 따른 기계학습에 기반한 가상 현실 콘텐츠의 시청 피로도 예측 모델 생성 장치의 동작방법을 나타내는 흐름도이다.
S700 단계에서 시청 피로도 예측 모델 생성 장치는 가상 현실 콘텐츠를 디스플레이부에 표시할 수 있다.
일 실시예에 따른 시청 피로도 예측 모델 생성 장치는 가상 이미지, 가상 이미지를 선택하기 위한 사용자 인터페이스 또는 가상 이미지의 동작을 설정하기 위한 사용자 인터페이스를 디스플레이부에 표시할 수 있다. 또한, 시청 피로도 예측 모델 생성 장치는 HMD 장치 또는 몰입형 외부 가상 현실 영상 장치에서 처리되는 정보를 디스플레이할 수 있다.
S710 단계에서 시청 피로도 예측 모델 생성 장치는 센서를 이용하여 가상 현실 콘텐츠를 시청하는 사용자의 제1 시청 피로도 정보를 검출할 수 있다.
일 실시예에 따른 제1 시청 피로도 정보는 영상 촬영 센서로부터 획득된 사용자의 영상 또는 생체신호 검출 센서로부터 획득된 사용자의 생체신호의 크기일 수 있다.
S720 단계에서 시청 피로도 예측 모델 생성 장치는 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청에 대응하여 사용자로부터 입력되는 사용자 입력을 이용하여 제2 시청 피로도 정보를 결정할 수 있다.
일 실시예에 따른 시청 피로도 입력 요청은 미리 정해진 시간 간격에 따라 사용자에게 요청될 수 있으며, 또한, 일 실시예에 따른 사용자 입력은 디스플레이부에 표시되는 사용자 인터페이스를 통한 입력 또는 시청 피로도 예측 모델 생성 장치에 구비된 입력 장치로부터의 입력일 수 있다.
일 실시예에 따른 제2 시청 피로도 정보는 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청에 대응하여 사용자로부터 입력되는 시청 피로도 리스트 항목들에 대한 세기일 수 있으며, 일 실시예에 따를 때 시청 피로도 리스트 항목은 불쾌감, 피로감, 두통, 눈피로감, 난초점, 발한, 메스꺼움, 난집중, 머리 막힘, 시야감, 현기증, 환각, 배탈, 멀미, 트림 또는 기타 증상을 포함할 수 있으나, 이에 제한되지 않으며, 가상 현실 콘텐츠를 시청함으로써 유발될 수 있는 구체적인 증상을 포함할 수 있다.
S730 단계에서 시청 피로도 예측 모델 생성 장치는 가상 현실 콘텐츠의 시청 피로도 유발 요소, S710 단계에서 검출된 제1 시청 피로도 정보 및 S720 단계에서 결정된 제2 시청 피로도 정보를 이용하여 지도학습 기반의 기계학습을 수행할 수 있다.
일 실시예에 따른 시청 피로도 유발 요소(또는 VR 휴먼팩터 파라미터)는 카메라 움직임, 객체 움직임, 재생정보, 해상도, 양안 시차, 깊이감, 시야각, 영상 특징, 특수효과 또는 텍스처 효과일 수 있으나, 이에 제한되지 않으며, 콘텐츠 자체의 특성 또는 콘텐츠 외부의 특성(예를 들어, 객체의 움직임, 카메라의 움직임 등)의 변화 등 가상 현실 콘텐츠를 시청하는 사용자에게 멀미 등의 시청 피로도를 유발시킬 수 있는 요인들이 포함될 수 있다.
또한 일 실시예에 따른 시청 피로도 예측 모델 생성 장치는 제1 시청 피로도 정보를 이용하여 획득된 특징 벡터를 지도학습 기반의 기계학습에서의 데이터(data)로서 결정하고, 제2 시청 피로도 정보를 지도학습 기반의 기계학습에서의 데이터에 대한 레이블(label)로서 결정하고, 데이터 및 데이터에 대한 레이블을 이용하여 지도학습 기반의 기계학습을 수행할 수 있다.
S740 단계에서 시청 피로도 예측 모델 생성 장치는 S730 단계에서 수행된 기계학습의 결과를 기초로 상기 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 결정할 수 있다.
일 실시예에 따른 시청 피로도 예측 모델 생성 장치는 가상 현실 콘텐츠의 시청 피로도 유발 요소의 값을 변경함에 따라 시청 피로도 리스트 항목들의 크기가 변경되도록 대응시킬 수 있다.
또한, 일 실시예에 따른 시청 피로도 예측 모델 생성 장치는 기계학습 결과를 기초로 임의의 가상 현실 콘텐츠에 대한 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 예측할 수 있다.
또한, 일 실시예에 따른 시청 피로도 예측 모델 생성 장치는 제1 시청 피로도 정보 및 제2 시청 피로도 정보를 기초로 가상 현실 콘텐츠에 대한 사용자의 시청 피로도 리스트를 결정할 수 있으며, 예를 들어, 시청 피로도 예측 모델 생성 장치는 제2 시청 피로도 정보로부터 획득된 시청 피로도 리스트 항목들 중 적어도 하나의 세기에 대해 제1 시청 피로도 정보를 이용하여 획득된 소정의 가중치를 적용하여, 시청 피로도 리스트에 포함되는 시청 피로도 리스트 항목들의 크기를 결정할 수 있다.
이상 도 1 내지 도 7을 참고하여, 본 개시의 일 실시 예에 따른 가상 현실 콘텐츠의 시청 피로도 예측 모델 생성 장치의 동작방법에 대해 설명하였다.
본 개시에 따르면, HMD와 같은 영상표시장치를 통해 가상 현실 콘텐츠를 시청하는 사용자의 시청 피로도와 시청 피로도 유발 요소간의 관계를 기계학습을 이용하여 정량적으로 분석하는 장치 및 방법이 제공될 수 있다.
또한, 본 개시에 따르면, 가상 현실 콘텐츠의 시청 피로도 유발 요소와 사용자의 시청 피로도간의 상관관계를 이용하여 가상 현실 응용 콘텐츠 제작 시 사전에 가상 현실 멀미/피로도가 정량화되어 조절될 수 있다.
또한, 본 개시에 따르면, 기존의 주어진 VR 콘텐츠의 멀미 유발 정도를 주관적 설문평가 및 생체신호 변화 추이 관찰을 통해 단순히 분석하는 수준을 벗어나, 능동적으로 VR 콘텐츠의 멀미/피로도가 정량적으로 조절될 수 있다.
또한, 본 개시에 따르면, 다수의 사용자에 대한 VR 멀미 임상 실험을 통해 데이터베이터가 구축될 수 있으며, 구축된 데이터베이스를 이용하여 지도학습 기반의 기계학습을 통한 비선형적인 데이터 분석을 실시하여 VR 사용자에 대한 VR 휴먼팩터 파라미터와 VR 멀미증상의 정량화된 상관맵이 획득될 수 있다.
또한, 본 개시에 따르면, VR 휴먼팩터 파라미터 제어에 의한 VR 멀미/피로도 조절 기능이 VR 콘텐츠 생성 및 편집 단계에서 파라미터 조절 버튼 및 VR 멀미유발 표시버튼 등에 의해 GUI 상에서 사용자 친화적인 직관적인 인터페이스로 구현될 수 있다.
또한, 본 개시에 따르면, VR 응용 콘텐츠 제작 시 오프라인으로 VR멀미/피로도를 사전에 정량화하여 조절할 수 있는 SW툴이 구현될 수 있으며, 또한 기존의 상용 VR 게임엔진(Unity, Unreal 등) 지원을 Plug-In형태 또는 일반 독립적인 VR 응용 콘텐츠를 위한 stand-alone 형태의 휴먼팩터 기반의 VR콘텐츠 저작툴로 구현될 수 있다.
또한, 본 개시에 따르면, VR 멀미/피로도가 완화된 VR 응용 제작을 위해 산업계에서 적용 가능한 VR 가이드라인(best practices) 개발에 활용될 수 있다.
한편, 본 개시의 일 양상에 따르면 시청 피로도 예측 모델 생성 장치의 동작방법을 수행하기 위해 실행가능한 명령들(executable instructions)을 가지는 소프트웨어 또는 컴퓨터-판독가능한 매체(computer-readable medium)가 제공될 수 있다. 상기 실행가능한 명령들은, 가상 현실 콘텐츠를 디스플레이부에 표시하는 단계, 센서를 이용하여 상기 가상 현실 콘텐츠를 시청하는 사용자의 제1 시청 피로도 정보를 검출하는 단계, 상기 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청에 대응하여 상기 사용자로부터 입력되는 사용자 입력을 이용하여 제2 시청 피로도 정보를 결정하는 단계, 가상 현실 콘텐츠의 시청 피로도 유발 요소, 상기 제1 시청 피로도 정보 및 상기 제2 시청 피로도 정보를 이용하여 지도학습 기반의 기계학습을 수행하는 단계 및 상기 수행된 기계학습의 결과를 기초로 상기 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 결정하는 단계를 포함할 수 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.
200 : 시청 피로도 예측 모델 생성 장치
210 : 디스플레이부
220 : 제어부
230 : 사용자 입력부

Claims (16)

  1. 가상 현실 콘텐츠를 디스플레이부에 표시하는 단계;
    센서를 이용하여 상기 가상 현실 콘텐츠를 시청하는 사용자의 제1 시청 피로도 정보를 검출하는 단계;
    상기 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청에 대응하여 상기 사용자로부터 입력되는 사용자 입력을 이용하여 제2 시청 피로도 정보를 결정하는 단계;
    가상 현실 콘텐츠의 복수의 시청 피로도 유발 요소, 상기 제1 시청 피로도 정보 및 상기 제2 시청 피로도 정보를 이용하여 지도학습 기반의 기계학습을 수행하는 단계;
    상기 수행된 기계학습의 결과를 기초로 상기 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 결정하는 단계;
    상기 결정된 복수의 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 그래픽 사용자 인터페이스(graphical user interface, GUI)를 이용하여 상기 디스플레이부에 표시하는 단계를 포함하고,
    상기 복수의 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 결정하는 단계는,
    상기 가상 현실 콘텐츠의 복수의 시청 피로도 유발 요소의 값을 변경함에 따라 상기 시청 피로도 리스트 항목들 중 적어도 하나의 크기가 단계적으로 변경되도록 대응시킴으로써, 상기 복수의 시청 피로도 유발 요소와 시청 피로도 리스트의 정량적인 상관관계를 결정하는 단계를 포함하고,
    상기 결정된 복수의 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 그래픽 사용자 인터페이스(graphical user interface, GUI)를 이용하여 상기 디스플레이부에 표시하는 단계를 더 포함하는,
    상기 GUI는,
    불쾌감, 피로감, 두통, 눈피로감, 난초점, 발한, 메스꺼움, 난집중, 머리 막힘, 시야감, 현기증, 환각, 배탈, 멀미, 트림 및 기타 증상 중 적어도 하나를 포함하는 복수의 VR 멀미증상에 대한 수치 크기를 각각 표시하는 복수의 GUI를 포함하는 시청 피로도 예측 모델 생성 방법.
  2. 제1항에 있어서,
    상기 가상 현실 콘텐츠의 시청 피로도 유발 요소는,
    카메라 움직임, 객체 움직임, 재생정보, 해상도, 양안 시차, 깊이감, 시야각, 영상 특징, 특수효과 및 텍스처 효과 중 적어도 하나를 포함하는, 시청 피로도 예측 모델 생성 방법.
  3. 제1항에 있어서,
    상기 시청 피로도 리스트는,
    시청 피로도 리스트 항목으로서 불쾌감, 피로감, 두통, 눈피로감, 난초점, 발한, 메스꺼움, 난집중, 머리 막힘, 시야감, 현기증, 환각, 배탈, 멀미, 트림 및 기타 증상 중 적어도 하나를 포함하는, 시청 피로도 예측 모델 생성 방법.
  4. 삭제
  5. 제3항에 있어서,
    상기 센서는 영상 촬영 센서 및 생체신호 검출 센서 중 적어도 하나를 포함하고,
    상기 제1 시청 피로도 정보는, 상기 영상 촬영 센서로부터 획득된 상기 사용자의 영상 및 상기 생체신호 검출 센서로부터 획득된 상기 사용자의 생체신호의 크기 중 적어도 하나이고,
    상기 제2 시청 피로도 정보는,
    상기 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청에 대응하여 상기 사용자로부터 입력되는, 상기 시청 피로도 리스트 항목들 중 적어도 하나의 세기인 것인, 시청 피로도 예측 모델 생성 방법.
  6. 제5항에 있어서,
    상기 지도학습 기반의 기계학습을 수행하는 단계는,
    상기 제1 시청 피로도 정보를 이용하여 획득된 특징 벡터를 상기 지도학습 기반의 기계학습에서의 데이터로서 결정하는 단계;
    상기 제2 시청 피로도 정보를 상기 지도학습 기반의 기계학습에서의 상기 데이터에 대한 레이블로서 결정하는 단계; 및
    상기 데이터 및 상기 데이터에 대한 레이블을 이용하여 지도학습 기반의 기계학습을 수행하는 단계를 포함하는, 시청 피로도 예측 모델 생성 방법.
  7. 삭제
  8. 제1항에 있어서,
    상기 수행된 기계학습의 결과를 기초로 임의의 가상 현실 콘텐츠에 대한 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 예측하는 단계를 더 포함하는, 시청 피로도 예측 모델 생성 방법.
  9. 가상 현실 콘텐츠를 표시하는 디스플레이부;
    사용자 입력부; 및
    센서를 이용하여 상기 가상 현실 콘텐츠를 시청하는 사용자의 제1 시청 피로도 정보를 검출하고, 상기 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청에 대응하여 상기 사용자 입력부에 입력되는 사용자 입력을 이용하여 제2 시청 피로도 정보를 결정하고, 가상 현실 콘텐츠의 복수의 시청 피로도 유발 요소, 상기 제1 시청 피로도 정보 및 상기 제2 시청 피로도 정보를 이용하여 지도학습 기반의 기계학습을 수행하고, 상기 수행된 기계학습의 결과를 기초로 상기 복수의 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 결정하는 제어부를 포함하고,
    상기 제어부는,
    상기 가상 현실 콘텐츠의 복수의 시청 피로도 유발 요소의 값을 변경함에 따라 상기 시청 피로도 리스트 항목들 중 적어도 하나의 크기가 단계적으로 변경되도록 대응시킴으로써, 상기 복수의 시청 피로도 유발 요소와 시청 피로도 리스트의 정량적인 상관관계를 결정하고,
    상기 결정된 복수의 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 그래픽 사용자 인터페이스(graphical user interface, GUI)를 이용하여 상기 디스플레이부에 표시하되, 상기 GUI는, 불쾌감, 피로감, 두통, 눈피로감, 난초점, 발한, 메스꺼움, 난집중, 머리 막힘, 시야감, 현기증, 환각, 배탈, 멀미, 트림 및 기타 증상 중 적어도 하나를 포함하는 복수의 VR 멀미증상에 대한 수치 크기를 각각 표시하는 복수의 GUI를 포함하는 시청 피로도 예측 모델 생성 장치.
  10. 제9항에 있어서,
    상기 가상 현실 콘텐츠의 시청 피로도 유발 요소는,
    카메라 움직임, 객체 움직임, 재생정보, 해상도, 양안 시차, 깊이감, 시야각, 영상 특징, 특수효과 및 텍스처 효과 중 적어도 하나를 포함하는, 시청 피로도 예측 모델 생성 장치.
  11. 제9항에 있어서,
    상기 시청 피로도 리스트는,
    시청 피로도 리스트 항목으로서 불쾌감, 피로감, 두통, 눈피로감, 난초점, 발한, 메스꺼움, 난집중, 머리 막힘, 시야감, 현기증, 환각, 배탈, 멀미, 트림 및 기타 증상 중 적어도 하나를 포함하는, 시청 피로도 예측 모델 생성 장치.
  12. 삭제
  13. 제11항에 있어서,
    상기 센서는 영상 촬영 센서 및 생체신호 검출 센서 중 적어도 하나를 포함하고,
    상기 제1 시청 피로도 정보는, 상기 영상 촬영 센서로부터 획득된 상기 사용자의 영상 및 상기 생체신호 검출 센서로부터 획득된 상기 사용자의 생체신호의 크기 중 적어도 하나이고,
    상기 제2 시청 피로도 정보는,
    상기 가상 현실 콘텐츠에 대한 시청 피로도 세기 입력 요청에 대응하여 상기 사용자 입력부에 입력되는, 상기 시청 피로도 리스트 항목들 중 적어도 하나의 세기인 것인, 시청 피로도 예측 모델 생성 장치.
  14. 제13항에 있어서,
    상기 제어부는,
    상기 제1 시청 피로도 정보를 이용하여 획득된 특징 벡터를 상기 지도학습 기반의 기계학습에서의 데이터로서 결정하고, 상기 제2 시청 피로도 정보를 상기 지도학습 기반의 기계학습에서의 상기 데이터에 대한 레이블로서 결정하고, 상기 데이터 및 상기 데이터에 대한 레이블을 이용하여 지도학습 기반의 기계학습을 수행하는 것인, 시청 피로도 예측 모델 생성 장치.
  15. 삭제
  16. 제9항에 있어서,
    상기 제어부는,
    상기 수행된 기계학습의 결과를 기초로 임의의 가상 현실 콘텐츠에 대한 시청 피로도 유발 요소와 시청 피로도 리스트의 상관관계를 예측하는 것인, 시청 피로도 예측 모델 생성 장치.
KR1020170166134A 2017-12-05 2017-12-05 기계학습에 기반한 가상 현실 콘텐츠의 사이버 멀미도 예측 모델 생성 및 정량화 조절 장치 및 방법 KR102233099B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170166134A KR102233099B1 (ko) 2017-12-05 2017-12-05 기계학습에 기반한 가상 현실 콘텐츠의 사이버 멀미도 예측 모델 생성 및 정량화 조절 장치 및 방법
US16/140,210 US10725534B2 (en) 2017-12-05 2018-09-24 Apparatus and method of generating machine learning-based cyber sickness prediction model for virtual reality content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170166134A KR102233099B1 (ko) 2017-12-05 2017-12-05 기계학습에 기반한 가상 현실 콘텐츠의 사이버 멀미도 예측 모델 생성 및 정량화 조절 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190066428A KR20190066428A (ko) 2019-06-13
KR102233099B1 true KR102233099B1 (ko) 2021-03-29

Family

ID=66658436

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170166134A KR102233099B1 (ko) 2017-12-05 2017-12-05 기계학습에 기반한 가상 현실 콘텐츠의 사이버 멀미도 예측 모델 생성 및 정량화 조절 장치 및 방법

Country Status (2)

Country Link
US (1) US10725534B2 (ko)
KR (1) KR102233099B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019152980A (ja) * 2018-03-01 2019-09-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR102205691B1 (ko) * 2018-11-23 2021-01-21 주식회사 쓰리디아이 Vr 모션 플랫폼을 위한 멀미저감 방법 및 장치
KR102284266B1 (ko) * 2018-12-13 2021-08-02 한국과학기술원 신경 불일치 모델을 고려한 가상현실 멀미 평가 방법 및 그 장치
CN110852284A (zh) * 2019-11-14 2020-02-28 北京格如灵科技有限公司 一种基于虚拟现实环境预测用户专注度的系统及实现方法
KR102419322B1 (ko) 2019-12-06 2022-07-11 아주대학교산학협력단 산업 근로 환경 관련 질환요인에 대한 노출 위험도 기반 산업재해 진단 시뮬레이터 시스템
KR102178294B1 (ko) * 2020-05-15 2020-11-12 가자마 이엔티 (주) 가상현실 기반의 어지럼증 치료장치 및 그 장치의 구동방법
KR20220085481A (ko) 2020-12-15 2022-06-22 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100443552B1 (ko) * 2002-11-18 2004-08-09 한국전자통신연구원 가상 현실 구현 시스템 및 방법
US7128705B2 (en) * 2002-11-26 2006-10-31 Artis Llc Motion-coupled visual environment for prevention or reduction of motion sickness and simulator/virtual environment sickness
KR101102004B1 (ko) * 2005-12-30 2012-01-04 삼성전자주식회사 3차원 입체 영상에 대한 피로도를 정량화하는 방법 및시스템
KR101505060B1 (ko) * 2010-08-24 2015-03-26 한국전자통신연구원 가상 현실 연동 서비스 제공 시스템 및 그 방법
KR102153606B1 (ko) * 2013-08-13 2020-09-08 삼성전자주식회사 동영상 콘텐트에 대한 사용자 피로도 예측 장치 및 방법
KR102233223B1 (ko) * 2014-01-20 2021-03-29 소니 주식회사 화상 표시 장치 및 화상 표시 방법, 화상 출력 장치 및 화상 출력 방법과, 화상 표시 시스템
US9999835B2 (en) * 2015-02-05 2018-06-19 Sony Interactive Entertainment Inc. Motion sickness monitoring and application of supplemental sound to counteract sickness
KR20170055135A (ko) 2015-11-11 2017-05-19 엘지전자 주식회사 가상현실 단말기 및 그 제어방법
KR101717379B1 (ko) 2015-12-07 2017-03-20 주식회사 에이스엠이 휴먼팩터 기반의 입체영상 후보정 처리 시스템
US20170255258A1 (en) * 2016-03-02 2017-09-07 The Trustees Of Columbia University In The City Of New York Imperceptible Automatic Field-of-View Restrictors to Combat VR Sickness and Cybersickness
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US10565777B2 (en) * 2016-09-30 2020-02-18 Sony Interactive Entertainment Inc. Field of view (FOV) throttling of virtual reality (VR) content in a head mounted display
US10275918B2 (en) * 2017-08-02 2019-04-30 Wipro Limited Method and system for detecting virtual reality sickness causing content in virtual reality motion simulators
JP6393387B1 (ja) * 2017-10-17 2018-09-19 株式会社コロプラ 仮想体験を提供するためのプログラム、コンピュータ、および方法
US10832483B2 (en) * 2017-12-05 2020-11-10 Electronics And Telecommunications Research Institute Apparatus and method of monitoring VR sickness prediction model for virtual reality content

Also Published As

Publication number Publication date
KR20190066428A (ko) 2019-06-13
US10725534B2 (en) 2020-07-28
US20190171280A1 (en) 2019-06-06

Similar Documents

Publication Publication Date Title
KR102233099B1 (ko) 기계학습에 기반한 가상 현실 콘텐츠의 사이버 멀미도 예측 모델 생성 및 정량화 조절 장치 및 방법
US20210295025A1 (en) Classifying facial expressions using eye-tracking cameras
Adhanom et al. Eye tracking in virtual reality: a broad review of applications and challenges
US20210064128A1 (en) Human-computer interface using high-speed and accurate tracking of user interactions
US11436625B2 (en) Head mounted display system configured to exchange biometric information
Islam et al. Cybersickness prediction from integrated hmd’s sensors: A multimodal deep fusion approach using eye-tracking and head-tracking data
US10832483B2 (en) Apparatus and method of monitoring VR sickness prediction model for virtual reality content
KR102055486B1 (ko) 움직임 불일치의 딥 러닝 분석을 이용한 vr 콘텐츠 멀미 평가 장치 및 그 방법
CN114175045B (zh) 利用亮度变化来确定用户特征
Saravanan et al. Convolutional Neural Networks-based Real-time Gaze Analysis with IoT Integration in User Experience Design
Lemley et al. Eye tracking in augmented spaces: A deep learning approach
KR102468345B1 (ko) 가상 현실 콘텐츠의 시청 피로도 분석 장치 및 방법
KR102468346B1 (ko) 가상 현실 콘텐츠의 시청 피로도 예측 모델에 관한 모니터링 장치 및 방법
Bisogni et al. Gaze analysis: A survey on its applications
WO2023037714A1 (en) Information processing system, information processing method and computer program product
Vinyals One-shot Interaction for Emotion Recognition using Physiological Signals
Argelaguet The “Infinite Loop” Towards Adaptive 3D User Interfaces
Takacs et al. Sensing user needs: recognition technologies and user models for adaptive user interfaces
Porciuncula et al. Mixed Reality Laptops: A Protocol to Evaluate Enhanced Viewing Experiences on Consumer Laptops Using Parallax Engine
Beebe A Complete Bibliography of ACM Transactions on Applied Perception
CN117980867A (zh) 基于对照明的生理响应的交互事件
Schwarz et al. Objective Metrics for Point Cloud Quality Assessment
KR20210114777A (ko) 가상 현실 콘텐츠의 경험 품질 평가 장치 및 방법
Shimizu et al. Mona Lisa might be displeased?

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant