KR20190021812A - Vr 피로로유발인자의 딥 러닝 분석을 사용하는 vr 컨텐츠 체감 품질 정량적 평가 장치 및 방법 - Google Patents

Vr 피로로유발인자의 딥 러닝 분석을 사용하는 vr 컨텐츠 체감 품질 정량적 평가 장치 및 방법 Download PDF

Info

Publication number
KR20190021812A
KR20190021812A KR1020170107073A KR20170107073A KR20190021812A KR 20190021812 A KR20190021812 A KR 20190021812A KR 1020170107073 A KR1020170107073 A KR 1020170107073A KR 20170107073 A KR20170107073 A KR 20170107073A KR 20190021812 A KR20190021812 A KR 20190021812A
Authority
KR
South Korea
Prior art keywords
content
fatigue
sensory
analyzing
quality
Prior art date
Application number
KR1020170107073A
Other languages
English (en)
Other versions
KR102055481B1 (ko
Inventor
노용만
김학구
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020170107073A priority Critical patent/KR102055481B1/ko
Publication of KR20190021812A publication Critical patent/KR20190021812A/ko
Application granted granted Critical
Publication of KR102055481B1 publication Critical patent/KR102055481B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Abstract

본 발명에 따른 VR 컨테츠 체감 품질 평가 방법은 딥 러닝을 기반으로 하여, 체감 VR 컨텐츠로부터 적어도 하나의 피로 유발 인자를 분석하는 단계; 및 딥 러닝을 기반으로 하여, 상기 분석된 적어도 하나의 피로 유발 인자로부터 상기 체감 VR 컨텐츠에 대한 시청자의 체감 품질 지수를 정량적으로 예측하는 단계를 포함할 수 있다.

Description

VR 피로로유발인자의 딥 러닝 분석을 사용하는 VR 컨텐츠 체감 품질 정량적 평가 장치 및 방법{METHOD AND APPARATUS FOR QUANTITATIVE EVALUATION ASSESSMENT OF VR CONTENT PERCEPTUAL QUALITY USING DEEP RUNNING ANALYSIS OF VR SICKNESS FACTORS}
본 발명은 가상 현실(Virtual Reality) 컨텐츠를 시청하는 사용자가 체감하는 피로도를 평가하기 위한 발명으로서, 구체적으로 딥 러닝을 통하여 특정 가상 현실 컨텐츠가 유발하는 피로도의 원인을 분석하고, 피로도를 정량적으로 평가하는 발명과 관련된다.
최근 3D display, head mount display (HMD) 등 디스플레이의 발전과 함께 가상현실 (virtual reality, VR) 컨텐츠에 대한 관심이 커지면서 게임, 방송, 엔터테인먼트 등 다양한 분야로 VR 관련 시장이 크게 확대되고 있다.
VR 컨텐츠란 시청자가 지금 보고 있는 영상을 실제로 자신이 체험하는 것 같은 몰입감을 주는 컨텐츠를 말한다. 실제와 같은 몰입감을 시청자에게 제공하기 위해 촬영 및 제작된 VR 컨텐츠는 일반적으로 스테레오 형식, 360도 영상정보, 빠르고 많은 움직임 등의 특성을 가진다.
하지만 이러한 특성 때문에 몰입감이 높은 VR 컨텐츠를 시청할 때, 약 70~80%의 시청자는 심한 피로 또는 사이버멀미(Cybersickness)를 느낀다고 알려져 있다. 그리고 VR 컨텐츠를 시청할 때, 피로나 멀미를 느낀 대부분의 시청자들은 시청 이후에도 이러한 증상이 지속되는 현상을 경험한다고 알려져 있다.
따라서, 이러한 부작용을 막고 안전한 VR 컨텐츠 시청 및 제작을 위해 VR 컨텐츠의 체감 품질을 평가하는 기술 개발이 매우 시급하다.
본 발명의 일 실시예는 VR 컨텐츠를 시청한 뒤에 시청자에게 발생할 수 있는 심한 피로 또는 사이버 멀미 등을 사전에 방지할 수 있도록 VR 컨텐츠의 체감 품질 지수를 예측하는 VR 컨텐츠 체감 품질 평가 방법 및 장치를 제공한다.
본 발명의 일 실시예에 따른 VR 컨텐츠 체감 품질 평가 방법은 딥 러닝을 기반으로 하여, 체감 VR 컨텐츠로부터 적어도 하나의 피로 유발 인자를 분석하는 단계; 및 딥 러닝을 기반으로 하여, 상기 분석된 적어도 하나의 피로 유발 인자로부터 상기 체감 VR 컨텐츠에 대한 시청자의 체감 품질 지수를 정량적으로 예측하는 단계를 포함할 수 있다.
상기 피로 유발 인자를 분석하는 단계는 참고 정보를 획득하는 단계;
상기 참고 점보를 원본 VR 컨텐츠에 반영하여 체감 VR 컨텐츠를 구성하는 단계; 및 상기 체감 VR 컨텐츠로부터 상기 적어도 하나의 피로 유발 인자를 분석하는 단계를 포함할 수 있다.
상기 피로 유발 인자를 분석하는 단계는 딥 러닝을 기반으로 하여, 상기 체감 VR 컨텐츠로부터 사용자에게 피로를 느끼게 하는 공간적 인자 및 시간적 인자를 분석하는 단계를 포함할 수 있다.
나아가, 상기 공간적 인자 및 시간적 인자를 분석하는 단계는 합성곱 신경망(Convolutional Neural Network; CNN) 또는 auto encoder를 기반으로 하여 공간적 인자를 분석하고, 순환 신경망(Recurrent Neural Network; RNN) 또는 LSTM(Long Short Term Memory)를 기반으로 하여 시간적 인자를 분석하는 단계를 포함할 수 있다.
상기 피로 유발 인자를 분석하는 단계는 사용자가 상기 체감 VR 컨텐츠에 대한 피로도를 주관적으로 평가하여 제공한 제공 평가 품질 지수와 딥 러닝을 기반으로 상기 체감 VR 컨텐츠에 대한 피로도를 정량적으로 예측한 예측 품질 지수 간의 비용 함수를 사용하여 학습하는 단계를 포함할 수 있다.
상기 피로 유발 인자를 분석하는 단계는 상기 체감 VR 컨텐츠를 시청하는 사용자의 생체 정보와 딥 러닝을 기반으로 상기 체감 VR 컨텐츠에 대해 측정된 측정 생체 정보 간의 비용 함수를 사용하여 학습하는 단계를 포함할 수 있다.
상기 체감 품질 지수를 정량적으로 예측하는 단계는 상기 체감 VR 컨텐츠를 시청하는 사용자의 생체 정보로부터 상기 체감 VR 컨텐츠에 대한 시청자의 체감 품질 지수를 정량적으로 예측하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 VR 컨텐츠 체감 품질 평가 장치는 딥 러닝을 기반으로 하여, 체감 VR 컨텐츠로부터 적어도 하나의 피로 유발 인자를 분석하는 분석부; 및 딥 러닝을 기반으로 하여, 상기 분석된 적어도 하나의 피로 유발 인자 또는 상기 체감 VR 컨텐츠를 시청하는 사용자의 생체 정보로부터 상기 체감 VR 컨텐츠에 대한 시청자의 체감 품질 지수를 정량적으로 예측하는 예측부를 포함할 수 있다.
상기 분석부는 참고 정보를 획득하고, 상기 참고 정보를 원본 VR 컨텐츠에 반영하여 체감 VR 컨텐츠를 구성하고, 상기 체감 VR 컨텐츠로부터 상기 적어도 하나의 피로 유발 인자를 분석할 수 있다.
상기 분석부는 딥 러닝을 기반으로 하여, 상기 체감 VR 컨텐츠로부터 사용자에게 피로를 느끼게 하는 공간적 인자 및 시간적 인자를 분석할 수 있다.
상기 분석부는 사용자가 상기 체감 VR 컨텐츠에 대한 피로도를 주관적으로 평가하여 제공한 제공 평가 품질 지수와 딥 러닝을 기반으로 상기 체감 VR 컨텐츠에 대한 피로도를 정량적으로 예측한 예측 품질 지수 간의 비용 함수를 사용하여 학습할 수 있다.
상기 분석부는 상기 체감 VR 컨텐츠를 시청하는 사용자의 생체 정보와 딥 러닝을 기반으로 상기 체감 VR 컨텐츠에 대해 측정된 측정 생체 정보 간의 비용 함수를 사용하여 학습할 수 있다.
본 발명의 일 실시예는에 따른 VR 컨텐츠 체감 품질 평가 방법 및 장치는 VR 컨텐츠를 시청한 뒤에 시청자에게 발생할 수 있는 심한 피로 또는 사이버 멀미 등을 사전에 방지할 수 있도록 VR 컨텐츠의 체감 품질 지수를 예측할 수 있다.
도 1은 일 실시예에 따른 VR 컨텐츠 체감 품질 평가 장치를 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 딥 러닝 기반의 분석부를 설명하기 위한 도면이다.
도 3은 사용자의 머리 움직임을 반영하여 체감 VR 컨텐츠를 획득하는 과정을 설명하기 위한 도면이다.
도 4는 VR 재생 장치의 재생 속도를 반영하여 체감 VR 컨텐츠를 획득하는 과정을 설명하기 위한 도면이다.
도 5는 피로 유발 인자를 분석하는 과정을 설명하기 위한 도면이다.
도 6은 분석부가 제공된 체감 품질 지수를 사용하여 기계 학습하는 과정을 설명하기 위한 도면이다.
도 7은 분석부가 제공된 체감 품질 지수 및 생체 정보를 사용하여 기계 학습하는 과정을 설명하기 위한 도면이다.
도 8 및 도9는 피로 유발 인자를 기반으로 체감 품질 지수를 예측하는 과정을 설명하기 위한 도면이다.
도 10은 예측부가 피로 유발 인자 뿐만 아니라 생체 정보를 기반으로 하여 체감 품질 지수를 예측하는 과정을 설명하기 위한 도면이다.
도 11은 여러 피로 유발 인자를 고려하여 체감 품질 지수를 예측하는 예측부의 구조를 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 VR 컨텐츠 체감 품질 평가 방법을 설명하기 위한 흐름도이다.
도 13은 피로 유발 인자를 분석하는 단계(S1210)를 설명하기 위한 흐름도이다.
이하, 본 발명의 여러가지 실시예 중 특정 실시예를 첨부된 도면에 도시하여 상세하게 설명한다. 그러나 이러한 특정 실시예가 본 발명을 제한하거나 한정하는 것은 아니다. 도면의 부호에 관계없이 동일한 참조 번호는 동일한 구성요소를 나타내며, 중복되는 설명은 생략한다.
도 1은 일 실시예에 따른 VR 컨텐츠 체감 품질 평가 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 VR 컨텐츠 체감 품질 평가 장치는 분석부(170) 및 예측부(180)를 포함한다.
분석부(170)는 딥 러닝을 기반으로 VR 컨텐츠 중에서 피로를 유발하는 인자를 분석한다. 예측부(180)는 딥 러닝을 기반으로 VR 컨텐츠에 대해 사용자가 체감하는 피로도, 즉 체감 품질을 정량적으로 예측한다.
VR 컨텐츠 체감 품질 평가 장치는 VR 재생 장치(110), 사용자(120), 원본 VR 컨텐츠(130)로부터 정보를 얻어서 VR 컨텐츠에 대한 체감 품질 지수를 예측하기 위해 기계 학습할 수 있다.
VR 컨텐츠 체감 품질 평가 장치의 기계 학습 과정(191)에서, 사용자(120)는 VR 재생 장치(110)를 통하여 원본 VR 컨텐츠(130)를 시청할 수 있다.
VR 재생 장치(110)는 원본 VR 컨텐츠(130)에 대한 참고 정보(140)를 VR 컨텐츠 체감 품질 평가 장치로 보낼 수 있다. VR 재생 장치(110)는 예를 들어, 머리 착용 디스플레이(Head Mounted Display; HMD)일 수 있다. 참고 정보(140)는 원본 VR 컨텐츠(130)에 반영되어 사용자가 체감하는 체감 VR 컨텐츠를 구성하기 위해 사용되는 정보이다. 참고 정보(140)는 예를 들어, 사용자가 VR 컨텐츠를 시청할 때의 머리 움직임 정도, 사용자의 시청 자세, 사용자 초점의 이동 정도, 원본 VR 컨텐츠(130)를 재생하는 재생 속도(초 당 프레임 수), 원본 VR 컨텐츠와 체감 VR 컨텐츠 간의 시간 딜레이, 시야 각, VR 컨텐츠 렌더링 정보 등이 될 수 있다.
사용자(120)가 VR 재생 장치(110)를 통해 원본 VR 컨텐츠(130)를 시청하면서 관찰되는 생체 정보(150)는 VR 컨텐츠 체감 품질 평가 장치로 보내질 수 있다. 생체 정보(150)는 원본 VR 컨텐츠(130)에 대해 사용자(120)가 어느 정도 피로도를 느끼는지 판단하는 데 사용되는 정보로서, 체감 품질 지수를 예측하는 데 사용될 수 있다. 생체 정보(150)는 뇌파, 심박 수, 체온, 호흡 수 등이 될 수 있다.
사용자(120)는 VR 재생 장치(110)를 통해 체감한 VR 컨텐츠의 피로도 대하여 체감 품질 지수를 제공할 수 있으며, 제공된 체감 품질 지수(160)는 VR 컨텐츠 체감 품질 평가 장치로 보내질 수 있다. 제공된 체감 품질 지수(160)는 VR 컨텐츠 체감 품질 평가 장치가 예측한 체감 품질 지수가 얼마나 정확한지 판단하는 데 기준이 된다. VR 컨텐츠 체감 품질 평가 장치는 제공된 체감 품질 지수(160)와 예측한 체감 품질 지수의 차이가 최소가 되도록 하는 기계 학습을 수행할 수 있다.
기계 학습 과정(191)에서, 분석부(170)는 피로 유발 인자를 분석하기 위해 참고 정보(140), 생체 정보(150), 제공된 체감 품질 지수(160), 원본 VR 컨텐츠(130)를 사용하여 딥 러닝을 기반으로 기계 학습할 수 있다. 피로 유발 인자는 사용자(120)가 원본 VR 컨텐츠(130)를 시청하면서 체감한 피로도의 원인이 되는 인자이다.
기계 학습 과정(191)에서, 예측부(180)는 사용자(120)가 제공한 체감 품질 지수와 최대한 가까운 체감 품질 지수를 예측하기 위하여 피로 유발 인자 및/또는 생체 정보(150)를 사용하여 딥 러닝을 기반으로 기계 학습할 수 있다.
VR 컨텐츠 체감 품질 평가 장치의 평가 과정(192)은 기계 학습 과정(191)을 통해서 체감 품질 평가 장치가 임계값 이상의 신뢰도를 얻게된 이후의 과정일 수 있다. 예를 들어, 기계 학습 과정(191)을 통해 체감 품질 평가 장치가 예측한 예측한 체감 품질 지수가 제공된 체감 품질 지수와 5% 내외의 오차를 보이는 경우, 평가 과정(192)이 진행될 수 있다.
학습된 체감 품질 평가 장치는 원본 VR 컨텐츠(130)를 획득하여 사용자가 체감할 피로도, 즉 체감 품질 지수를 예측하여 출력할 수 있다.
시청자는 피로나 사이버멀미를 유발할 가능성이 높은 VR 컨텐츠를 예측 체감 품질 지수를 통해 쉽게 확인할 수 있고, VR 컨텐츠 제작자는 자신이 만든 VR 컨텐츠가 얼마나 피로나 사이버멀미를 유발하는지 정량적으로 파악할 수 있다. 즉, 예측 체감 품질 지수는 보다 안전한 VR 컨텐츠를 제작할 수 있도록 도움을 주는 VR 컨텐츠 제작 가이드 라인으로 활용될 수 있다.
도 2는 일 실시예에 따른 딥 러닝 기반의 분석부를 설명하기 위한 도면이다.
도 2를 참조하면, 분석부(170)는 VR 재생 장치(110), 사용자(120), 원본 VR 컨텐츠(130)로부터 정보를 받아 인공 신경망을 통해 기계 학습하고 피로 유발 인자를 분석한다. 피로 유발 인자는 사용자(120)가 원본 VR 컨텐츠(130)를 시청하면서 체감한 피로도의 원인이 되는 인자이다. 피로 유발 인자는 예를 들어, VR 컨텐츠에서 오브젝트의 움직임 속도, VR 컨텐츠 영상의 회전 움직임, 영상 스티칭(stitching)에 따른 영상 왜곡일 수 있다.
분석부(170)는 미리 정해진 알고리즘들에 따라 피로 유발 인자를 분석할 수 있다. 알고리즘들 각각은 서로 다른 피로 유발 인자를 분석하기 위해 정해지며, 분석부로 하여금 각 피로 유발 인자에 대한 기계 학습을 가능하게 한다. 각 알고리즘은 예를 들어, 합성곱 신경망(Convolutional Neural Netwrok; CNN), 순환 신경망(Recurrent Neural Network; RNN), LSTM(Long Short Term Memory), GRU(Gated Recurrent Unit), FCN(Fully Convolutional Network) 등의 인공 신경망(Artificial Neural Network; ANN) 중 적어도 하나를 포함할 수 있다.
분석부(170)는 사용자(120)가 VR 재생 장치(110)인 HMD를 착용하고 원본 VR 컨텐츠(130)를 시청하는 경우, VR 재생 장치(110)로부터 시청자의 머리 움직임 정보를 받아서 시청자의 시선에 따라 재생된 체감 VR 컨텐츠를 구성하고, 이를 기반으로 피로 유발 인자를 분석할 수 있다.
분석부(170)는 분석한 피로 유발 인자 또는 사용자의 생체 정보(150)와 제공된 체감 품질 지수(160) 간의 관계를 비교함으로써 좀 더 정확한 피로 유발 인자를 분석해내기 위한 기계 학습을 할 수 있다.
사용자(120)가 VR 재생 장치(110)를 통해 원본 VR 컨텐츠(130)를 시청하는 경우, 체감 VR 컨텐츠는 시청 환경에 영향을 받아 원본 VR 컨텐츠(130)와 다를 수 있다. 예를 들어, 사용자(120)가 머리 장착 디스플레이(HMD)를 통해 VR 컨텐츠를 시청하는 경우, 사용자(120)가 머리를 움직이는 행동을 하면, 사용자(120)의 시각에서 바라보는 체감 VR 컨텐츠는 원본 VR 컨텐츠(130)와 비교할 때 시야, 각도, 초점 등이 달라질 수 있다. 다른 예로, 원본 VR 컨텐츠(130)는 90Hz의 재생 속도를 갖는 반면에 VR 재생 장치(110)는 30Hz 또는 60Hz의 재생 속도로 원본 VR 컨텐츠(130)를 재생한다면, 체감 VR 컨텐츠는 원본 VR 컨텐츠(130)와 비교할 때 재생 속도가 느릴 수 있다.
VR 컨텐츠의 체감 품질은 실제 시청자가 보고 있는 체감 VR 컨텐츠에 따라 결정된다. 따라서, VR 컨텐츠 체감 품질 평가 장치는 VR 재생 장치(110)를 통해 VR 컨텐츠의 참고 정보(140)를 제공받고, 참고 정보(140)를 원본 VR 컨텐츠(130)에 반영하여 체감 VR 컨텐츠를 획득한 뒤, 획득한 체감 VR 컨텐츠를 기반으로 피로도를 유발하는 인자가 무엇인지 분석해야 한다.
도 3은 사용자의 머리 움직임을 반영하여 체감 VR 컨텐츠를 획득하는 과정을 설명하기 위한 도면이다.
도 3을 참조하면, 분석부(170)는 VR 재생 장치(110)를 머리에 착용한 사용자(120)의 머리 움직임 정보를 원본 VR 컨텐츠(130)에 반영하여 체감 VR 컨텐츠(310)를 획득할 수 있다.
원본 VR 컨텐츠의 특정 프레임 중 특정 지점의 좌표가 VR(x,y,z)로 나타낼 수 있고, 사용자(120)가 원본 VR 컨텐츠를 시청하면서 머리를 움직인 벡터 좌표를 (mx,my,mz)로 나타낼 수 있다고 한다면, 시청자의 시선에서 특정 지점의 좌표는 VR'(x,y,z) = VR(x-mx,y-my,z-mz)로 나타낼 수 있다.
예를 들어, 축구와 관련된 원본 VR 컨텐츠의 특정 프레임의 중앙에 축구공이 위치할 때, 사용자가 머리를 움직여서 시선을 위쪽으로 옮긴다면, 사용자의 시선에서 바라본 체감 VR 컨텐츠에서의 축구공은 특정 프레임의 아래쪽에 위치하게 된다.
도 4는 VR 재생 장치의 재생 속도를 반영하여 체감 VR 컨텐츠를 획득하는 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 분석부(170)는 원본 VR 컨텐츠(130)의 재생 속도와 VR 재생 장치(110)의 재생 가능 속도를 반영하여 체감 VR 컨텐츠(310)를 획득할 수 있다.
원본 VR 컨텐츠(130)의 초 당 프레임 수, 즉 재생 속도가 빠르다고 하더라도 VR 재생 장치(110)가 더 낮은 재생 속도로 사용자(120)에게 VR 컨텐츠를 제공한다면, 사용자(120)가 체감하는 체감 VR 컨텐츠(310)의 재생 속도는 원본 VR 컨텐츠(130)와 달라진다.
예를 들어, 원본 VR 컨텐츠(130)의 재생 속도가 90Hz 이더라도, VR 재생 장치(110)의 재생 속도가 30Hz에 불과한 경우, 체감 VR 컨텐츠(310)의 재생 속도는 원본 VR 컨텐츠(130)의 재생 속도보다 느린 30Hz이다. 이 때, 분석부(170)는 샘플링 간격 90Hz/30Hz = 3을 고려하여 피로 유발 인자를 분석할 수 있다.
분석부(170)는 재생 속도 외에도, 영상 렌더링 및 시간 딜레이 등의 참고 정보(160)를 원본 VR 컨텐츠(130)에 반영하여 체감 VR 컨텐츠(310)를 획득할 수 있다.
도 5는 피로 유발 인자를 분석하는 과정을 설명하기 위한 도면이다.
도 5를 참조하면, 분석부(170)는 피로 유발 인자(550)를 분석하기 위해, 참고정보(140)를 반영한 체감 VR 컨텐츠(310)의 각 프레임(510a 내지 510n)에 대하여 공간적 알고리즘(530) 및 시간적 알고리즘(540)을 적용할 수 있다. 사용자(120)가 VR 컨텐츠를 시청하여 느끼는 피로도 또는 사이버 멀미(cybersickness)는 공간적 인자 및 시간적 인자와 밀접한 연관이 있다.
공간적 인자는 여러 각도의 영상을 이어 붙이는 스티칭(stitching) 과정에 의한 영상 왜곡 또는 시야각 문제와 같이 공간적인 특성을 가지며 피로를 유발시키는 피로 유발 인자이고, 시간적 인자는 영상 내 빠른 움직임 또는 빠른 화전과 같이 시간적인 특성을 가지며 피로를 유발시키는 피로 유발 인자이다.
공간적 인자와 시간적 인자는 서로 관련되어 사용자(120)에게 피로도를 유발한다. 예를 들어, VR 컨텐츠 내 어느 한 프레임에서만 영상 왜곡 또는 빠른 움직임이 발생했을 경우, 사용자가 그것에 의해 극심한 피로나 사이버 멀미를 체감할 가능성은 낮다. 하지만, 영상 왜곡 또는 빠른 움직임이 실질적으로 연속된 여러 프레임들에서 발생한다면 사용자가 체감하는 VR 컨텐츠의 품질을 매우 낮아질 것이다. 따라서, 분석부(170)는 체감 VR 컨텐츠(310) 내 피로를 유발할 수 있는 공간적 인자와 시간적 인자를 모두 고려해야 한다.
도 5에서는 체감 VR 컨텐츠의 공간적 인자를 추출하기 위한 알고리즘(530)으로 합성곱 신경망(Convolutional Neural Netwrok; CNN)을 사용하였으나, auto encoder 등 공간적 특징 또는 짧은 시간적 특징을 학습하는 데에 유용한 딥 러닝 알고리즘을 사용할 수도 있다.
도 5에서는 체감 VR 컨텐츠의 시간적 인자를 추출하기 위한 알고리즘(540)으로 LSTM(Long Short Term Memory)을 사용하였으나, 순환 신경망(Recurrent Neural Network; RNN), GRU(Gated Recurrent Unit) 등 시간적 특징을 학습하는 데에 유용한 딥 러닝 알고리즘을 사용할 수도 있다.
도 6은 분석부가 제공된 체감 품질 지수를 사용하여 기계 학습하는 과정을 설명하기 위한 도면이다.
도 6을 참조하면, 분석부(170)는 사용자가 VR 컨텐츠를 시청하고 제공한 제공된 체감 품질 지수(160)를 이용하여 보다 정확한 체감 품질 지수 예측을 하기 위한 기계 학습할 수 있다. 예를 들어, 분석부(170)는 제공된 체감 품질 지수와 예측한 체감 품질 지수를 기반으로 하여 비용 함수를 최소화시키는 방향으로 기계 학습할 수 있다.
분석부(170)는 관계식 1의 비용함수
Figure pat00001
를 최소화하는 방향으로 기계 학습할 수 있다.
[관계식 1]
Figure pat00002
관계식 1에서
Figure pat00003
는 VR 컨텐츠 체감 품질 평가 장치가 예측한 체감 품질 지수이고,
Figure pat00004
는 사용자(120)가 VR 컨텐츠를 시청하고 제공한 체감 품질 지수이고,
Figure pat00005
는 예를 들어, cross-entropy loss, L1- norm 또는 L2-norm등의 에러 계산 방법일 수 있으나 이에 국한되지 않는다.
예를 들어, 0과 10 사이의 점수로 체감 품질 지수를 평가할 수 있고 지수가 낮을수록 피로도가 심한 것일 경우, 사용자가 VR 컨텐츠를 시청하고 3이라는 체감 품질 지수를 제공했으나 VR 컨텐츠체감 품질 평가 장치는 5라는 체감 품질 지수를 예측했다면, 분석부(170)는 3과 5를 비용 함수의 변수로 보고 기계 학습할 수 있다.
도 7은 분석부가 제공된 체감 품질 지수 및 생체 정보를 사용하여 기계 학습하는 과정을 설명하기 위한 도면이다.
체감 VR 컨텐츠의 총 프레임이 n개인 경우, 각 프레임의 시각과 동기화된 생체 정보(150)는 체감 품질 지수를 예측하기 위한 기계 학습에 사용될 수 있다. 생체 정보(150)는 뇌파 세기, 심박 수, 체온, 호흡 수 등이 될 수 있다.
이 때, 생체 정보(150)를 이용하는 관계식 2의 비용 함수
Figure pat00006
는 매 프레임 또는 짧은 시간의 시각적 특징을 기계 학습할 수 있도록 도와줄 수 있다.
[관계식 2]
Figure pat00007
관계식 2에서, n은 총 프레임 개수이며,
Figure pat00008
는 VR 컨텐츠 체감 품질 평가 장치가 예측한 t번 째 프레임에서의 생체 정보,
Figure pat00009
는 t번 째 프레임에서 측정된 사용자(120)의 생체 정보(150)이다.
생체 정보에 대한 기계 학습을 수행하는 것은 분석부(170)로 하여금 사용자(120)가 VR 컨텐츠를 시청했을 때의 생체 정보를 정확하게 예측하는 데 도움을 줄 수 있다. 생체 정보(150)를 이용한 기계 학습은 VR 컨텐츠의 전반적인 품질을 개선하려는 목적보다는 VR 컨텐츠의 매 프레임에 대한 품질을 개선하려는 데에 목적이 있다.
분석부(170)는 생체 정보(150) 및 제공된 체감 품질 지수(160)를 기반으로 기계 학습할 수 있다. 예를 들어, 관계식 3의 비용 함수
Figure pat00010
은 관계식 1 및 관계식 2의 비용 함수인
Figure pat00011
,
Figure pat00012
, 가중치 파라미터인
Figure pat00013
를 사용하여 정의할 수 있다.
[관계식 3]
Figure pat00014
Figure pat00015
Figure pat00016
도 8 또는 9에 도시된 바와 같이, 예측부는 하나의 피로 유발 인자 또는 여러 피로 유발 인자로부터 체감 품질 지수를 예측할 수 있다. 하나의 피로 유발 인자만을 고려하여 체감 품질 지수를 예측하면 기계 학습하는 시간을 단축하고 알고리즘을 구성하는 데 소요되는 비용이 줄어들게 된다. 그러나, 여러 피로 유발 인자를 고려하여 체감 품질 지수를 예측하는 경우보다 정확성이 떨어질 수 있으므로, 정확성과 비용 간의 trade-off 관계를 고려하여 설계해야 한다.
도 10은 예측부가 피로 유발 인자 뿐만 아니라 생체 정보를 기반으로 하여 체감 품질 지수를 예측하는 과정을 설명하기 위한 도면이다.
분석부(170)가 분석한 피로 유발 인자는 정확도가 높은 체감 품질 지수가 획득되도록 기계 학습되어 있는 것이며, 생체 정보(150)는 체감 VR 컨텐츠(310)에 대해 객관적인 피로도 정보를 나타내는 것이므로, 피로 유발 인자 및 생체 정보를 이용하여 기계 학습을 한다면 높은 정확도의 체감 품질 지수를 예측할 수 있다.
도 11은 여러 피로 유발 인자를 고려하여 체감 품질 지수를 예측하는 예측부의 구조를 설명하기 위한 도면이다.
예측부의 구조는 예를 들어, 심층 신경망(Deep Neural Network; DNN)과 같은 딥 러닝 구조일 수 있다.
각 피로 유발 인자 정보(1110a 내지 1110n)는 예를 들어, 오브젝트의 움직임 속도, VR 컨텐츠 영상의 회전 움직임, 영상 스티칭(stitching)에 따른 영상 왜곡 등이 체감 품질 지수에 미치는 가중치가 고려된 벡터 데이터를 포함할 수 있다. 각 피로 유발 인자 정보(1110a 내지 1110n)가 포함하는 데이터가 심층 신경망을 거치면서 원본 VR 컨텐츠에 대한 체감 품질 지수가 예측될 수 있다. 특정 피로 유발 인자 정보가 체감 품질 지수에 미치는 가중치가 적다고 판단되면, drop out, pruning 등의 regularization 기법을 통하여 측정부(180)의 성능을 높일 수 있다.
도 12는 일 실시예에 따른 VR 컨텐츠 체감 품질 평가 방법을 설명하기 위한 흐름도이다.
도 12를 참조하면, VR 컨텐츠 체감 품질 평가 방법은 딥 러닝을 기반으로 하여, 체감 VR 컨텐츠로부터 적어도 하나의 피로 유발 인자를 분석하는 단계를 포함할 수 있다(S1210).
일 예에서, VR 컨텐츠 체감 품질 평가 방법은 피로 유발 인자로서 공간적 인자 및 시간적 인자를 분석할 수 있다.
공간적 인자는 여러 각도의 영상을 이어 붙이는 스티칭(stitching) 과정에 의한 영상 왜곡 또는 시야각 문제와 같이 공간적인 특성을 가지며 피로를 유발시키는 피로 유발 인자이고, 시간적 인자는 영상 내 빠른 움직임 또는 빠른 화전과 같이 시간적인 특성을 가지며 피로를 유발시키는 피로 유발 인자이다.
공간적 인자와 시간적 인자는 서로 관련되어 사용자(120)에게 피로도를 유발한다. 예를 들어, VR 컨텐츠 내 어느 한 프레임에서만 영상 왜곡 또는 빠른 움직임이 발생했을 경우, 사용자가 그것에 의해 극심한 피로나 사이버 멀미를 체감할 가능성은 낮다. 하지만, 영상 왜곡 또는 빠른 움직임이 실질적으로 연속된 여러 프레임들에서 발생한다면 사용자가 체감하는 VR 컨텐츠의 품질을 매우 낮아질 것이다. 따라서, 체감 VR 컨텐츠 내 피로를 유발할 수 있는 공간적 인자와 시간적 인자를 모두 고려해야 한다.
체감 VR 컨텐츠의 공간적 인자를 추출하기 위한 알고리즘으로 합성곱 신경망(Convolutional Neural Netwrok; CNN), auto encoder 등 공간적 특징 또는 짧은 시간적 특징을 학습하는 데에 유용한 딥 러닝 알고리즘을 사용할 수 있다.
체감 VR 컨텐츠의 시간적 인자를 추출하기 위한 알고리즘으로 LSTM(Long Short Term Memory), 순환 신경망(Recurrent Neural Network; RNN), GRU(Gated Recurrent Unit) 등 시간적 특징을 학습하는 데에 유용한 딥 러닝 알고리즘을 사용할 수 있다.
S1210 단계를 기계 학습하기 위하여, 사용자가 VR 컨텐츠를 시청하고 제공한 제공된 체감 품질 지수 및 예측한 체감 품질 지수를 이용할 수 있다. 예를 들어, 제공된 체감 품질 지수와 예측한 체감 품질 지수를 기반으로 하여 비용 함수를 최소화시키는 방향으로 기계 학습할 수 있다.
예를 들어, 관계식 1의 비용함수
Figure pat00017
를 최소화하는 방향으로 기계 학습할 수 있다.
S1210 단계를 기계 학습하기 위하여, 생체 정보를 사용할 수 있다.
체감 VR 컨텐츠의 총 프레임이 n개인 경우, 각 프레임의 시각과 동기화된 생체 정보는 체감 품질 지수를 예측하기 위한 기계 학습에 사용될 수 있다. 생체 정보는 뇌파 세기, 심박 수, 체온, 호흡 수 등이 될 수 있다.
S1210 단계는 측정된 생체 정보와 예측한 생체 정보 간의 차이를 최소화시키는 방향으로 학습될 수 있다.
이 때, 생체 정보(150)를 이용하는 비용 함수는 예를 들어, 관계식 2의
Figure pat00018
와 같을 수 있다.
[관계식 2]
Figure pat00019
관계식 2에서, n은 총 프레임 개수이며,
Figure pat00020
는 VR 컨텐츠 체감 품질 평가 장치가 예측한 t번 째 프레임에서의 생체 정보,
Figure pat00021
는 t번 째 프레임에서 사용자로부터 측정된 생체 정보이다.
S1210 단계는, 생체 정보(150) 및 제공된 체감 품질 지수(160)를 기반으로 기계 학습할 수 있다. 예를 들어, 관계식 3의 비용 함수
Figure pat00022
은 관계식 1 및 관계식 2의 비용 함수인
Figure pat00023
,
Figure pat00024
, 가중치 파라미터인
Figure pat00025
를 사용하여 정의할 수 있다.
[관계식 3]
Figure pat00026
Figure pat00027
Figure pat00028
VR 컨텐츠 체감 품질 평가 방법은 딥 러닝에 기반하여 VR 컨텐츠에 대한 체감 품질 지수를 예측하는 단계를 포함한다(S1220).
S1220 단계에서, 하나의 피로 유발 인자 또는 여러 피로 유발 인자로부터 체감 품질 지수를 예측할 수 있다. 피로 유발 인자와 체감 품질 지수 간의 관계를 딥 러닝을 통해 기계 학습하면 비교적 정확한 체감 품질 지수를 예측할 수 있다.
하나의 피로 유발 인자만을 고려하여 체감 품질 지수를 예측하면 기계 학습하는 시간을 단축하고 알고리즘을 구성하는 데 소요되는 비용이 줄어들게 된다. 그러나, 여러 피로 유발 인자를 고려하여 체감 품질 지수를 예측하는 경우보다 정확성이 떨어질 수 있으므로, 정확성과 비용 간의 trade-off 관계를 고려하여 설계해야 한다.
S1210 단계에서 분석한 피로 유발 인자는 정확도가 높은 체감 품질 지수가 획득되도록 기계 학습되어 있는 것이며, 생체 정보는 체감 VR 컨텐츠에 대해 객관적인 피로도 정보를 나타내는 것이므로, 피로 유발 인자 및 생체 정보를 이용하여 기계 학습을 한다면 높은 정확도의 체감 품질 지수를 예측할 수 있다.
즉, 생체 정보와 체감 품질 지수 간의 관계를 딥 러닝을 통해 기계 학습하면 피로 유발 인자만을 고려했을 때 보다 더 정확한 체감 품질 지수를 예측할 수 있다.
S1220 단계를 기계 학습하기 위하여, 심층 신경망(Deep Neural Network; DNN)과 같은 딥 러닝 구조를 이용할 수 있다.
각 피로 유발 인자 정보(1110a 내지 1110n)는 예를 들어, 오브젝트의 움직임 속도, VR 컨텐츠 영상의 회전 움직임, 영상 스티칭(stitching)에 따른 영상 왜곡 등이 체감 품질 지수에 미치는 가중치가 고려된 벡터 데이터를 포함할 수 있다. 각 피로 유발 인자 정보(1110a 내지 1110n)가 포함하는 데이터가 심층 신경망을 거치면서 원본 VR 컨텐츠에 대한 체감 품질 지수가 예측될 수 있다. 특정 피로 유발 인자 정보가 체감 품질 지수에 미치는 가중치가 적다고 판단되면, drop out, pruning 등의 regularization 기법을 통하여 예측 성능을 높일 수 있다.
도 13은 피로 유발 인자를 분석하는 단계(S1210)를 설명하기 위한 흐름도이다.
VR 컨텐츠의 체감 품질은 실제 시청자가 보고 있는 체감 VR 컨텐츠에 따라 결정된다. 따라서, VR 재생 장치(110)로부터 VR 컨텐츠의 참고 정보(140)를 획득하고(S1310), 참고 정보(140)를 원본 VR 컨텐츠(130)에 반영하여 체감 VR 컨텐츠를 구성한 뒤(S1320), 획득한 체감 VR 컨텐츠를 기반으로 피로도를 유발하는 인자가 무엇인지 분석해야 한다(S1330).
따라서, 피로 유발 인자를 분석하는 단계(S1210)는 참고 정보를 획득하는 단계를 포함할 수 있다(S1310).
참고 정보(140)는 원본 VR 컨텐츠(130)에 반영되어 사용자가 체감하는 체감 VR 컨텐츠를 구성하기 위해 사용되는 정보이다. 참고 정보(140)는 VR 재생 장치(110)로부터 획득할 수 있다. 참고 정보(140)는 예를 들어, 사용자가 VR 컨텐츠를 시청할 때의 머리 움직임 정도, 사용자의 시청 자세, 사용자 초점의 이동 정도, 원본 VR 컨텐츠(130)를 재생하는 재생 속도(초 당 프레임 수), 원본 VR 컨텐츠와 체감 VR 컨텐츠 간의 시간 딜레이, 시야 각, VR 컨텐츠 렌더링 정보 등이 될 수 있다.
S1310 단계 이후, 참고 정보를 기반으로 체감 VR 컨텐츠를 구성하는 단계를 포함할 수 있다(S1320).
일 예로, VR 재생 장치(110)를 머리에 착용한 사용자(120)의 머리 움직임 정보를 원본 VR 컨텐츠(130)에 반영하여 체감 VR 컨텐츠(310)를 구성할 수 있다.
원본 VR 컨텐츠의 특정 프레임 중 특정 지점의 좌표가 VR(x,y,z)로 나타낼 수 있고, 사용자(120)가 원본 VR 컨텐츠를 시청하면서 머리를 움직인 벡터 좌표를 (mx,my,mz)로 나타낼 수 있다고 한다면, 시청자의 시선에서 특정 지점의 좌표는 VR'(x,y,z) = VR(x-mx,y-my,z-mz)로 나타냄으로써 체감 VR 컨텐츠를 구성할 수 있다.
머리 움직임 외에도, 재생 속도, 영상 렌더링 및 시간 딜레이 등의 참고 정보(160)를 원본 VR 컨텐츠(130)에 반영하여 체감 VR 컨텐츠(310)를 구성할 수 있다.
S1320 단계 이후, 체감 VR 컨텐츠로부터 피로 유발 인자를 분석할 수 있다(S1330). 피로 유발 인자를 분석하는 단계는 상기에서 서술한 바 생략한다.
이상과 같이 한정된 실시예를 들어 본 발명을 구체적으로 설명하였으나, 본 발명은 상술한 실시예에 한정되지 않는다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 청구 범위 및 발명의 설명을 보고 용이하게 변경, 수정하여 실시할 수 있으며 그러한 실시까지 본 발명의 청구범위의 기재 범위에 속하게 된다.

Claims (12)

  1. 딥 러닝을 기반으로 하여, 체감 VR 컨텐츠로부터 적어도 하나의 피로 유발 인자를 분석하는 단계; 및
    딥 러닝을 기반으로 하여, 상기 분석된 적어도 하나의 피로 유발 인자로부터 상기 체감 VR 컨텐츠에 대한 시청자의 체감 품질 지수를 정량적으로 예측하는 단계;
    를 포함하는 VR 컨텐츠 체감 품질 평가 방법.
  2. 제1항에 있어서,
    상기 피로 유발 인자를 분석하는 단계는
    참고 정보를 획득하는 단계;
    상기 참고 정보를 원본 VR 컨텐츠에 반영하여 체감 VR 컨텐츠를 구성하는 단계; 및
    상기 체감 VR 컨텐츠로부터 상기 적어도 하나의 피로 유발 인자를 분석하는 단계
    를 포함하는 것을 특징으로 하는 VR 컨텐츠 체감 품질 평가 방법.
  3. 제1항에 있어서,
    상기 피로 유발 인자를 분석하는 단계는
    딥 러닝을 기반으로 하여, 상기 체감 VR 컨텐츠로부터 사용자에게 피로를 느끼게 하는 공간적 인자 및 시간적 인자를 분석하는 단계;
    를 포함하는 것을 특징으로 하는 VR 컨텐츠 체감 품질 평가 방법.
  4. 제3항에 있어서,
    상기 공간적 인자 및 시간적 인자를 분석하는 단계는
    합성곱 신경망(Convolutional Neural Network; CNN) 또는 auto encoder를 기반으로 하여 공간적 인자를 분석하고, 순환 신경망(Recurrent Neural Network; RNN) 또는 LSTM(Long Short Term Memory)를 기반으로 하여 시간적 인자를 분석하는 단계
    를 포함하는 것을 특징으로 하는 VR 컨텐츠 체감 품질 평가 방법.
  5. 제1항에 있어서,
    상기 피로 유발 인자를 분석하는 단계는
    사용자가 상기 체감 VR 컨텐츠에 대한 피로도를 주관적으로 평가하여 제공한 제공 평가 품질 지수와 딥 러닝을 기반으로 상기 체감 VR 컨텐츠에 대한 피로도를 정량적으로 예측한 예측 품질 지수 간의 비용 함수를 사용하여 학습하는 단계
    를 포함하는 것을 특징으로 하는 VR 컨텐츠 체감 품질 평가 방법.
  6. 제1항에 있어서,
    상기 피로 유발 인자를 분석하는 단계는
    상기 체감 VR 컨텐츠를 시청하는 사용자의 생체 정보와 딥 러닝을 기반으로 상기 체감 VR 컨텐츠에 대해 측정된 측정 생체 정보 간의 비용 함수를 사용하여 학습하는 단계
    를 포함하는 것을 특징으로 하는 VR 컨텐츠 체감 품질 평가 방법.
  7. 제1항에 있어서,
    상기 체감 품질 지수를 정량적으로 예측하는 단계는
    상기 체감 VR 컨텐츠를 시청하는 사용자의 생체 정보로부터 상기 체감 VR 컨텐츠에 대한 시청자의 체감 품질 지수를 정량적으로 예측하는 단계
    를 더 포함하는 것을 특징으로 하는 VR 컨텐츠 체감 품질 평가 방법.
  8. 딥 러닝을 기반으로 하여, 체감 VR 컨텐츠로부터 적어도 하나의 피로 유발 인자를 분석하는 분석부; 및
    딥 러닝을 기반으로 하여, 상기 분석된 적어도 하나의 피로 유발 인자 또는 상기 체감 VR 컨텐츠를 시청하는 사용자의 생체 정보로부터 상기 체감 VR 컨텐츠에 대한 시청자의 체감 품질 지수를 정량적으로 예측하는 예측부;
    를 포함하는 VR 컨텐츠 체감 품질 평가 장치.
  9. 제8항에 있어서,
    상기 분석부는
    참고 정보를 획득하고, 상기 참고 점보를 원본 VR 컨텐츠에 반영하여 체감 VR 컨텐츠를 구성하고, 상기 체감 VR 컨텐츠로부터 상기 적어도 하나의 피로 유발 인자를 분석하는 것을 특징으로 하는 VR 컨텐츠 체감 품질 평가 장치.
  10. 제8항에 있어서,
    상기 분석부는
    딥 러닝을 기반으로 하여, 상기 체감 VR 컨텐츠로부터 사용자에게 피로를 느끼게 하는 공간적 인자 및 시간적 인자를 분석하는 것을 특징으로 하는 VR 컨텐츠 체감 품질 평가 장치.
  11. 제8항에 있어서,
    상기 분석부는
    사용자가 상기 체감 VR 컨텐츠에 대한 피로도를 주관적으로 평가하여 제공한 제공 평가 품질 지수와 딥 러닝을 기반으로 상기 체감 VR 컨텐츠에 대한 피로도를 정량적으로 예측한 예측 품질 지수 간의 비용 함수를 사용하여 학습하는 것을 특징으로 하는 VR 컨텐츠 체감 품질 평가 장치.
  12. 제8항에 있어서,
    상기 분석부는
    상기 체감 VR 컨텐츠를 시청하는 사용자의 생체 정보와 딥 러닝을 기반으로 상기 체감 VR 컨텐츠에 대해 측정된 측정 생체 정보 간의 비용 함수를 사용하여 학습하는 것을 특징으로 하는 VR 컨텐츠 체감 품질 평가 장치.
KR1020170107073A 2017-08-24 2017-08-24 Vr 피로로유발인자의 딥 러닝 분석을 사용하는 vr 컨텐츠 체감 품질 정량적 평가 장치 및 방법 KR102055481B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170107073A KR102055481B1 (ko) 2017-08-24 2017-08-24 Vr 피로로유발인자의 딥 러닝 분석을 사용하는 vr 컨텐츠 체감 품질 정량적 평가 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170107073A KR102055481B1 (ko) 2017-08-24 2017-08-24 Vr 피로로유발인자의 딥 러닝 분석을 사용하는 vr 컨텐츠 체감 품질 정량적 평가 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190021812A true KR20190021812A (ko) 2019-03-06
KR102055481B1 KR102055481B1 (ko) 2019-12-12

Family

ID=65761502

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170107073A KR102055481B1 (ko) 2017-08-24 2017-08-24 Vr 피로로유발인자의 딥 러닝 분석을 사용하는 vr 컨텐츠 체감 품질 정량적 평가 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102055481B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991471A (zh) * 2019-08-01 2020-04-10 南京航空航天大学 一种高速列车牵引系统故障诊断方法
KR102222915B1 (ko) 2019-10-28 2021-03-04 한국표준과학연구원 모듈 전환형 ｖｒ 또는 ａｒ 기기 광영상 측정시스템 및 측정방법
KR102229604B1 (ko) 2019-10-28 2021-03-18 한국표준과학연구원 교정이 가능한 ｖｒ 또는 ａｒ 기기 광영상 측정시스템 및 측정방법
KR102240190B1 (ko) 2019-11-29 2021-04-14 한국표준과학연구원 Ｖｒ 또는 ａｒ 기기용 렌즈와 광학계 광학특성 측정시스템
KR20210114230A (ko) 2020-03-10 2021-09-23 한국표준과학연구원 Ｖｒ 또는 ａｒ 기기용 렌즈의 왜곡 측정방법
CN114403878A (zh) * 2022-01-20 2022-04-29 南通理工学院 一种基于深度学习的语音检测疲劳度方法
KR20220055579A (ko) * 2020-10-27 2022-05-04 광운대학교 산학협력단 증강현실기기의 시각적 복잡도 완화방법, 및 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체
KR20220101836A (ko) 2021-01-12 2022-07-19 한국전자통신연구원 확장 현실 콘텐츠에 대한 상호작용 만족도 정량화 장치 및 방법
US11652853B2 (en) 2020-06-01 2023-05-16 Electronics And Telecommunications Research Institute Integrated core network of 5G and ATSC 3.0, control plane entity and method for transmitting multimedia content in control plane entity

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100085628A (ko) * 2009-01-21 2010-07-29 광운대학교 산학협력단 3차원 디스플레이 유발 피로감을 삼차원 영상 컨텐츠의 고유 요인별로 체계적으로 측정할 수 있는 방법 및 장치
KR20110139020A (ko) * 2010-06-22 2011-12-28 연세대학교 산학협력단 깊이 영상에 기반한 3차원 영상의 피로도 측정 방법 및 장치
KR20120109160A (ko) * 2011-03-28 2012-10-08 한국과학기술원 3차원 영상의 시각 피로감 측정 장치 및 유발 요인 추출 장치, 그리고 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100085628A (ko) * 2009-01-21 2010-07-29 광운대학교 산학협력단 3차원 디스플레이 유발 피로감을 삼차원 영상 컨텐츠의 고유 요인별로 체계적으로 측정할 수 있는 방법 및 장치
KR20110139020A (ko) * 2010-06-22 2011-12-28 연세대학교 산학협력단 깊이 영상에 기반한 3차원 영상의 피로도 측정 방법 및 장치
KR20120109160A (ko) * 2011-03-28 2012-10-08 한국과학기술원 3차원 영상의 시각 피로감 측정 장치 및 유발 요인 추출 장치, 그리고 그 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991471A (zh) * 2019-08-01 2020-04-10 南京航空航天大学 一种高速列车牵引系统故障诊断方法
KR102222915B1 (ko) 2019-10-28 2021-03-04 한국표준과학연구원 모듈 전환형 ｖｒ 또는 ａｒ 기기 광영상 측정시스템 및 측정방법
KR102229604B1 (ko) 2019-10-28 2021-03-18 한국표준과학연구원 교정이 가능한 ｖｒ 또는 ａｒ 기기 광영상 측정시스템 및 측정방법
KR102240190B1 (ko) 2019-11-29 2021-04-14 한국표준과학연구원 Ｖｒ 또는 ａｒ 기기용 렌즈와 광학계 광학특성 측정시스템
KR20210114230A (ko) 2020-03-10 2021-09-23 한국표준과학연구원 Ｖｒ 또는 ａｒ 기기용 렌즈의 왜곡 측정방법
US11652853B2 (en) 2020-06-01 2023-05-16 Electronics And Telecommunications Research Institute Integrated core network of 5G and ATSC 3.0, control plane entity and method for transmitting multimedia content in control plane entity
KR20220055579A (ko) * 2020-10-27 2022-05-04 광운대학교 산학협력단 증강현실기기의 시각적 복잡도 완화방법, 및 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체
KR20220101836A (ko) 2021-01-12 2022-07-19 한국전자통신연구원 확장 현실 콘텐츠에 대한 상호작용 만족도 정량화 장치 및 방법
CN114403878A (zh) * 2022-01-20 2022-04-29 南通理工学院 一种基于深度学习的语音检测疲劳度方法
CN114403878B (zh) * 2022-01-20 2023-05-02 南通理工学院 一种基于深度学习的语音检测疲劳度方法

Also Published As

Publication number Publication date
KR102055481B1 (ko) 2019-12-12

Similar Documents

Publication Publication Date Title
KR20190021812A (ko) Vr 피로로유발인자의 딥 러닝 분석을 사용하는 vr 컨텐츠 체감 품질 정량적 평가 장치 및 방법
US20230388586A1 (en) System and Method for Displaying a Stream of Images
Kim et al. Vrsa net: Vr sickness assessment considering exceptional motion for 360 vr video
CN110167421B (zh) 整体地测量视觉功能的临床参数的系统
US10255715B2 (en) Field of view (FOV) throttling of virtual reality (VR) content in a head mounted display
KR102055486B1 (ko) 움직임 불일치의 딥 러닝 분석을 이용한 vr 콘텐츠 멀미 평가 장치 및 그 방법
US6623428B2 (en) Digital image sequence display system and method
JP6282769B2 (ja) エンゲージメント値処理システム及びエンゲージメント値処理装置
CN112567287A (zh) 具有帧调制功能的增强现实显示
US10088896B2 (en) Queasiness management for virtual reality systems
KR20210032553A (ko) 사용자 거동에 관한 눈 추적 기반 정보를 제공하기 위한 방법 및 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품
US10725534B2 (en) Apparatus and method of generating machine learning-based cyber sickness prediction model for virtual reality content
US10832483B2 (en) Apparatus and method of monitoring VR sickness prediction model for virtual reality content
Kim et al. VR sickness versus VR presence: A statistical prediction model
KR20170104846A (ko) 가상현실 콘텐츠 분석 방법 및 장치
WO2020069976A1 (en) Concepts for improved head motion prediction and efficient encoding of immersive video
KR20200073109A (ko) 신경 불일치 모델을 고려한 가상현실 멀미 평가 방법 및 그 장치
JP6583996B2 (ja) 映像評価装置、及びプログラム
Elwardy et al. Evaluation of simulator sickness for 360 videos on an hmd subject to participants’ experience with virtual reality
KR20170105905A (ko) 가상현실 콘텐츠 분석 방법 및 장치
KR102114946B1 (ko) 가상현실(vr) 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 시스템 및 방법
US10755088B2 (en) Augmented reality predictions using machine learning
Kim et al. Modern trends on quality of experience assessment and future work
Lee et al. A study on virtual reality sickness and visual attention
KR102141740B1 (ko) 가상현실 콘텐츠 시청 시 사용자가 느끼는 피로도 예측 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right