KR20190069684A - 움직임 불일치의 딥 러닝 분석을 이용한 vr 콘텐츠 멀미 평가 장치 및 그 방법 - Google Patents

Abstract

본 발명은 움직임 불일치의 딥 러닝 분석을 이용한 VR 콘텐츠 멀미 평가 장치 및 그 방법에 관한 것으로, VR 콘텐츠 시청 시 발생하는 시각인지정보와 자세인지정보 간 움직임 불일치 현상을 딥 러닝을 이용하여 분석하고, 움직임 특징 간 차이로부터 VR 멀미의 정도를 예측 및 평가할 수 있다.

Description

움직임 불일치의 딥 러닝 분석을 이용한 VR 콘텐츠 멀미 평가 장치 및 그 방법{APPARATUS FOR SICKNESS ASSESSMENT OF VR CONTENTS USING DEEP LEARNING BASED ANALYSIS OF VISUAL­VESTIBULAR MISMATCH AND THE METHOD THEREOF}

본 발명은 움직임 불일치의 딥 러닝 분석을 이용한 VR 콘텐츠 멀미 평가 장치 및 그 방법에 관한 것으로, 보다 상세하게는 딥 러닝을 기반으로 VR 콘텐츠 시청 시 발생하는 움직임 불일치 현상을 분석하여 멀미를 예측 및 평가하는 기술에 관한 것이다.

최근 가상현실(Virtual Reality; VR) 콘텐츠가 연구자들, 산업계, 소비자들로부터 실제 현실과 같은 차세대 콘텐츠로 주목받고 있다. 특히, VR 콘텐츠는 게임, 방송, 엔터테인먼트, 트레이닝 등 다양한 어플리케이션으로의 활용 가능성이 높아 관련 시장 규모가 빠르게 확대되고 있다.

VR 콘텐츠는 원형 공간으로 촬영된 360도 영상을 제공함으로써, 사용자에게 마치 실제 영상 공간 속에 존재하는 것과 같은 몰입감과 현실감을 제공할 수 있다. 따라서, 사용자는 넓은 시야각의 영상을 인지할 수 있고, 몸을 움직여 원형 공간으로 촬영된 360도 영상을 모두 둘러볼 수도 있다.

다만, VR 콘텐츠에 대한 관심이 높아질수록 사용자들의 시청 안전에 대한 우려도 함께 증폭되고 있다.

예를 들면, 사용자가 몰입감이 높은 VR 콘텐츠를 시청할 때, 대부분의 사용자는 심한 피로와 함께 사이버 멀미(Cybersickness) 또는 VR 멀미(VR sickness)를 느낀다고 알려져 있다. 또한, VR 콘텐츠를 시청할 때, 피로나 멀미를 느낀 대부분의 시청자들은 시청 이후에도 증상이 한동안 지속된다고 알려져 있다.

이 때, VR 멀미를 유발하는 원인으로는 넓은 시야각, 영상왜곡, 낮은 프레임율 등 다양한 요인들이 있다. 그 중에서도 가장 중요한 요인 중 하나는 VR 콘텐츠의 움직임, 즉 시뮬레이션 움직임과 사용자의 실제 움직임간 불일치이다.

이하에서는, 도 1을 참조하여 VR 멀미를 유발하는 원인에 대하여 상세히 설명하고자 한다.

도 1은 움직임 간 불일치에 의해 발생하는 VR 멀미의 예를 도시한 것이다.

일반적으로 VR 콘텐츠는 사용자에게 생생한 몰입감을 제공하기 위해 빠르고 다양한 움직임을 갖는 경우가 많다. 예를 들면, VR 콘텐츠는 360도 롤러코스터 영상, 360도 레이싱 영상 등이 많다. 반면에, 사용자는 대부분 헤드 마운티드 디스플레이(Head­Mounted Display; HMD)를 착용할 채 의자에 앉거나 또는 서서 큰 움직임 없이 VR 콘텐츠를 시청한다.

이 때, 사용자가 눈을 통해 받아들이는 움직임 정보(또는 시각인지정보)와 몸의 움직임과 자세를 인지하는 전정기관을 통해 받아들이는 움직임 정보(또는 자세인지정보) 간 불일치가 발생하게 된다.

사람의 뇌는 몸의 움직임을 판단할 때, 시각인지정보, 자세인지정보, 그리고 감각정보를 통하여 최종적으로 움직임을 판단한다. 하지만, 빠르고 다양한 움직임을 갖는 VR 콘텐츠를 시청할 때, 눈을 통해 인지되는 움직임은 매우 빠르게 움직이나 전정기관을 통해 인지되는 움직임은 매우 정적인 상태가 된다. 결과적으로, 시각인지정보와 자세인지정보 간 움직임 불일치로 인하여 뇌는 움직임 판단에 혼란을 느끼게 되고, 이로 인해 사용자는 VR 멀미 증상을 느끼게 된다.

이러한 VR 콘텐츠의 시청 안전 문제를 해결하기 위해, VR 콘텐츠 및 사용자의 움직임을 분석하고, 이를 바탕으로 VR 멀미를 정량적으로 자동 평가하는 기술이 요구된다.

그러나, 기존에는 사용자가 일정시간 동안 VR 콘텐츠를 시청한 후, VR 멀미에 대한 설문지를 작성하는 주관적 평가연구 또는 VR 콘텐츠 시청 중 생체신호를 측정하는 연구가 대부분이다. 이러한 주관적 평가연구 또는 생체신호 측정 연구는 많은 시간과 인력이 필요하여 실용성이 매우 떨어진다는 한계가 존재하였다.

이에 따라서, 본 발명은 시각인지정보와 자세인지정보 간 움직임 불일치와 같은 주요 VR 멀미 유발요인을 자동으로 분석하고, 이를 기반으로 VR 멀미의 정도를 정량적으로 예측 및 평가할 수 있는 실용적인 VR 콘텐츠의 VR 멀미 자동 평가 기술을 제안한다.

본 발명의 목적은 VR 콘텐츠 시청 시, 발생하는 시각인지정보와 자세인지정보 간 움직임 불일치 현상을 딥 러닝을 이용하여 분석하고, 움직임 특징 간 차이로부터 VR 멀미의 정도를 예측 및 평가하는 기술을 제공하고자 한다.

본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치는 VR(Virtual Reality; 가상현실) 콘텐츠의 움직임 변화에 기초하여 시각인지 움직임 특징에 따른 시각인지정보를 분석하는 시각인지 분석부, 감지 모듈로부터 수신되는 사용자의 움직임 변화에 기초하여 자세인지 움직임 특징에 따른 자세인지정보를 분석하는 자세인지 분석부 및 상기 시각인지정보 및 상기 자세인지정보 간 차이로부터 상기 VR 콘텐츠에 의해 유발되는 멀미의 정도를 판단하는 평가 판단부를 포함한다.

상기 시각인지 분석부는 컨볼루션 신경망(Convolutional Neural Network; CNN) 및 conv LSTM(convolutional Long Short­Term Memory)를 이용하여, 사용자가 눈을 통해 인지하는 상기 VR 콘텐츠의 움직임 변화를 분석하고, 시간적 인자 및 공간적 인자의 상기 시각인지 움직임 특징에 따른 움직임 정보의 상기 시각인지정보를 추출할 수 있다.

상기 자세인지 분석부는 LSTM(Long Short­Term Memory)를 이용하여, 사용자의 움직임 정보를 획득하는 움직임감지센서 및 사용자가 착용하는 VR 재생장치 중 적어도 어느 하나 이상을 포함하는 상기 감지 모듈로부터 수신되는 머리 위치정보에 대한 시간적 변화를 분석하여 상기 자세인지 움직임 특징을 추출할 수 있다.

상기 자세인지 분석부는 상기 사용자의 움직임 변화에 따라 상기 감지 모듈로부터 수신되는 3차원 공간좌표의 시간적 변화 특성과, 상기 자세인지 움직임 특징을 분석하여 움직임 정보의 상기 자세인지정보를 추출할 수 있다.

상기 시각인지 분석부는 상기 추출된 시각인지 움직임 특징으로부터 움직임 특징 지도(motion map)인 시각인지 움직임 특징 지도를 생성하고, 상기 자세인지 분석부는 상기 추출된 자세인지 움직임 특징으로부터 움직임 특징 지도(motion map)인 자세인지 움직임 특징 지도를 생성할 수 있다.

상기 평가 판단부는 상기 시각인지 움직임 특징 지도 및 상기 자세인지 움직임 특징 지도 간 차이를 통해 움직임 불일치 지도를 생성할 수 있다.

상기 평가 판단부는 상기 생성된 움직임 불일치 지도와 실제 움직임 불일치 지도를 판별하며, 상기 생성된 움직임 불일치 지도에 대한 실제 움직임 또는 가상 움직임을 판별할 수 있다.

상기 평가 판단부는 상기 시각인지정보 및 상기 자세인지정보의 차이 데이터로부터 획득되는 멀미 정도와, 상기 생성된 움직임 불일치 지도로부터 획득되는 멀미 정도를 정량화하여 평가할 수 있다.

본 발명의 실시예에 따른 VR(Virtual Reality; 가상현실) 콘텐츠 멀미 평가 장치의 동작 방법에 있어서, VR 콘텐츠의 움직임 변화에 기초하여 시각인지 움직임 특징에 따른 시각인지정보를 분석하는 단계, 감지 모듈로부터 수신되는 사용자의 움직임 변화에 기초하여 자세인지 움직임 특징에 따른 자세인지정보를 분석하는 단계 및 상기 시각인지정보 및 상기 자세인지정보 간 차이로부터 상기 VR 콘텐츠에 의해 유발되는 멀미의 정도를 판단하는 단계를 포함한다.

상기 시각인지정보를 분석하는 단계는 컨볼루션 신경망(Convolutional Neural Network; CNN) 및 conv LSTM(convolutional Long Short­Term Memory)를 이용하여, 사용자가 눈을 통해 인지하는 상기 VR 콘텐츠의 움직임 변화를 분석하고, 시간적 인자 및 공간적 인자의 상기 시각인지 움직임 특징에 따른 움직임 정보의 상기 시각인지정보를 추출할 수 있다.

상기 자세인지정보를 분석하는 단계는 LSTM(Long Short­Term Memory)를 이용하여, 사용자의 움직임 정보를 획득하는 움직임감지센서 및 사용자가 착용하는 VR 재생장치 중 적어도 어느 하나 이상을 포함하는 상기 감지 모듈로부터 수신되는 머리 위치정보에 대한 시간적 변화를 분석하여 상기 자세인지 움직임 특징을 추출할 수 있다.

상기 자세인지정보를 분석하는 단계는 상기 사용자의 움직임 변화에 따라 상기 감지 모듈로부터 수신되는 3차원 공간좌표의 시간적 변화 특성과, 상기 자세인지 움직임 특징을 분석하여 움직임 정보의 상기 자세인지정보를 추출할 수 있다.

상기 VR 콘텐츠에 의해 유발되는 멀미의 정도를 판단하는 단계는 시각인지 움직임 특징 지도 및 자세인지 움직임 특징 지도 간 차이를 통해 움직임 불일치 지도를 생성하는 단계, 상기 생성된 움직임 불일치 지도와 실제 움직임 불일치 지도를 판별하는 단계 및 상기 시각인지정보 및 상기 자세인지정보의 차이 데이터로부터 획득되는 멀미 정도와, 상기 생성된 움직임 불일치 지도로부터 획득되는 멀미 정도를 정량화하여 평가하는 단계를 포함할 수 있다.

상기 생성된 움직임 불일치 지도와 실제 움직임 불일치 지도를 판별하는 단계는 상기 생성된 움직임 불일치 지도에 대한 실제 움직임 또는 가상 움직임을 판별할 수 있다.

본 발명의 실시예에 따르면, VR 콘텐츠 시청 시 발생하는 시각인지정보와 자세인지정보 간 움직임 불일치 현상을 딥 러닝을 이용하여 분석하고, 움직임 특징 간 차이로부터 VR 멀미의 정도를 예측 및 평가할 수 있다.

또한, 본 발명의 실시예에 따르면, VR 콘텐츠를 시청한 뒤에 사용자에게 발생할 수 있는 심한 피로 또는 사이버 멀미 등을 사전에 방지할 수 있다.

또한, 본 발명의 실시예에 따르면, 해당 VR 콘텐츠가 사용자에게 어느 정도의 멀미를 유발하는지 정량적으로 파악할 수 있으므로, VR 콘텐츠 제작 시 제작 가이드라인으로 활용될 수 있다.

또한, 본 발명의 실시예에 따르면, VR 콘텐츠와 사용자의 움직임을 분석하여 VR 멀미를 정량적으로 예측 및 평가함으로써, 디지털 콘텐츠 제작, 가상현실, 방송 및 영화, 엔터테인먼트, 시청안전표준화 등의 VR 시장 전반에 걸쳐 활용될 수 있다.

도 1은 움직임 간 불일치에 의해 발생하는 VR 멀미의 예를 도시한 것이다.
도 2는 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치의 세부 구성을 블록도로 도시한 것이다.
도 3은 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치의 개념도를 도시한 것이다.
도 4a 및 도 4b는 본 발명의 실시예에 따른 체감 VR 콘텐츠를 획득하는 과정을 설명하기 위해 도시한 것이다.
도 5는 본 발명의 실시예에 따른 시각인지 움직임 특징 분석 및 추출을 위한 딥 네트워크의 구조 예를 도시한 것이다.
도 6은 본 발명의 실시예에 따른 자세인지 움직임 특징 분석 및 추출을 위한 딥 네트워크의 구조 예를 도시한 것이다.
도 7은 본 발명의 실시예에 따른 딥 러닝 기반의 VR 콘텐츠 멀미 평가 장치의 개념도를 도시한 것이다.
도 8a 및 도 8b는 본 발명의 실시예에 따른 VR 멀미 점수를 정량적으로 예측 및 평가하기 위한 딥 네트워크의 구조 예를 도시한 것이다.
도 9는 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 방법의 흐름도를 도시한 것이다.

이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 2는 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치의 세부 구성을 블록도로 도시한 것이다.

도 2를 참조하면, 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치는 딥 러닝을 기반으로 VR 콘텐츠 시청 시 발생하는 움직임 불일치 현상을 분석하여 멀미를 예측 및 평가한다.

이를 위해, 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치(200)는 시각인지 분석부(210), 자세인지 분석부(220) 및 평가 판단부(230)를 포함한다.

시각인지 분석부(210)는 VR(Virtual Reality; 가상현실) 콘텐츠의 움직임 변화에 기초하여 시각인지 움직임 특징에 따른 시각인지정보를 분석한다.

시각인지 분석부(210)는 컨볼루션 신경망(Convolutional Neural Network; CNN) 및 conv LSTM(convolutional Long Short­Term Memory)를 이용하여, 사용자가 눈을 통해 인지하는 VR 콘텐츠의 움직임 변화를 분석하고, 시간적 인자 및 공간적 인자의 시각인지 움직임 특징에 따른 움직임 정보의 시각인지정보를 추출할 수 있다.

예를 들면, 시청자는 VR 콘텐츠를 시청할 때, 콘텐츠에 대한 공간적 정보와 시간에 따른 공간적 정보의 변화를 모두 인지한다. 따라서, 시각 인지를 통해 획득되는 움직임 정보를 분석하고 추출하기 위해서는 VR 콘텐츠의 공간적 인자와 시간적 인자를 모두 고려해야 한다. 이에 따라서, 본 발명의 실시예에 따른 시각인지 분석부(210)는 시각인지 움직임 특징의 분석 및 추출을 위한 딥 네트워크 환경에서, VR 콘텐츠의 공간적 인자 학습에 유용한 Convolutional Neural Network(CNN), Convolutional Auto­Encoder, Residual Network(ResNet)와, 시간적 인자 학습에 유용한 Recurrent Neural Network(RNN), Long Short Term Memory(LSTM), convolutional LSTM(conv LSTM) 중 적어도 어느 하나 이상을 사용할 수 있다.

이에 따라서, 시간인지 분석부(210)는 딥 네트워크 환경에서, 추출되는 시각인지 움직임 특징에 따른 움직임 정보의 시각인지정보를 추출할 수 있다.

이 때, 상기 공간적 인자는 여러 각도의 영상을 이어 붙이는 스티칭(stitching) 과정에 의한 영상 왜곡 또는 시야각 문제와 같이 공간적인 특성을 가지며 멀미를 유발시키는 멀미 유발 인자이고, 상기 시간적 인자는 영상 내 빠른 움직임 또는 빠른 회전과 같이 시간적인 특성을 가지며 멀미를 유발시키는 멀미 유발 인자이다.

공간적 인자와 시간적 인자는 서로 관련되어 사용자에게 피로도 및 멀미를 유발한다. 예를 들어, VR 콘텐츠 내 어느 한 프레임에서만 영상 왜곡 또는 빠른 움직임이 발생했을 경우, 사용자가 그것에 의해 극심한 피로나 사이버 멀미를 체감할 가능성은 낮다. 하지만, 영사 왜곡 또는 빠른 움직임이 실질적으로 연속된 여러 프레임들에서 발생한다면 사용자가 체감하는 VR 콘텐츠의 품질은 매우 낮아질 것이다. 따라서, 시각인지 분석부(210)는 VR 콘텐츠 내 멀미를 유발할 수 있는 공간적 인자와 시간적 인자를 모두 고려해야 한다.

자세인지 분석부(220)는 감지 모듈로부터 수신되는 사용자의 움직임 변화에 기초하여 자세인지 움직임 특징에 따른 자세인지정보를 분석한다.

자세인지 분석부(220)는 사용자의 움직임 정보를 획득하는 움직임감지센서 및 사용자가 착용하는 VR 재생장치 중 적어도 어느 하나 이상을 포함하는 감지 모듈로부터 수신되는 머리 위치정보에 대한 시간적 변화를 분석하여 자세인지 움직임 특징을 추출할 수 있다. 보다 구체적으로, 자세인지 분석부(220)는 사용자가 VR 콘텐츠를 시청할 때의 머리 움직임 정도, 사용자의 시청 자세 및 사용자 초점의 이동 정도 중 적어도 어느 하나 이상의 정보와 3차원 공간좌표를 수신할 수 있으며, LSTM(Long Short­Term Memory)를 이용하여 수신된 정보로부터 시간적 변화 특성과 자세인지 움직임 특징을 분석하고, 분석 결과로부터 움직임 정보의 자세인지정보를 추출할 수 있다. 이 때, VR 재생장치는 헤드 마운티드 디스플레이(Head Mounted Display; HMD)일 수 있고, 움직임감지센서는 자이로 센서일 수 있다.

자세인지 분석부(220)는 시간에 따른 사용자의 머리 움직임 또는 자세 변화에 대한 3차원 공간 좌표를 감지 모듈로부터 수신할 수 있다. 다만, 사용자의 자세 정보 예를 들면, 머리 정보로부터 자세인지 움직임 특징을 분석 및 추출하기 위해서는 수신된 공간정보 및 자세정보에 대한 시간적 인자를 학습해야 한다. 이를 위해, 본 발명의 실시예에 따른 자세인지 분석부(220)는 자세인지 움직임 특징의 분석 및 추출을 위한 딥 네트워크 환경에서, 시간적 인자 학습에 유용한 Recurrent Neural Network(RNN) 및 Long Short Term Memory(LSTM) 중 적어도 어느 하나 이상을 사용할 수 있다.

이에 따라서, 자세인지 분석부(220)는 딥 네트워크 환경에서, 추출되는 자세인지 움직임 특징에 따른 자세인지정보를 추출할 수 있다.

평가 판단부(230)는 시각인지정보 및 자세인지정보 간 차이로부터 VR 콘텐츠에 의해 유발되는 멀미의 정도를 판단한다.

사용자가 VR 재생장치인 헤드 마운티드 디스플레이(Head Mounted Display; HMD)를 착용하고 VR 콘텐츠를 시청하는 경우, 평가 판단부(230)는 VR 콘텐츠의 움직임 변화에 기초하여 분석된 시각인지정보와 사용자의 움직임 변화에 기초하여 분석된 자세인지정보 간의 차이를 비교함으로써, VR 멀미 정도를 예측 및 평가할 수 있다.

예를 들면, 평가 판단부(230)는 딥 러닝(Deep Learning) 기반의 딥 생성모델(Generative model) 및 적대적 학습(Adversarial learning)을 이용하는 딥 네트워크 환경에서, 시각인지 움직임 특징 지도 및 자세인지 움직임 특징 지도 간 차이를 통해 움직임 불일치 지도를 생성할 수 있다. 이 때, 상기 시각인지 움직임 특징 지도는 시각인지 분석부(210)로부터 생성될 수 있고, 상기 자세인지 움직임 특징 지도는 자세인지 분석부(220)로부터 생성될 수 있으며, 시각인지 움직임 특징 및 자세인지 움직임 특징에 따른 움직임 특징 지도(motion map)일 수 있다.

이후, 평가 판단부(230)는 생성된 움직임 불일치 지도와 실제 움직임 불일치 지도를 판별하며, 생성된 움직임 불일치 지도에 대한 실제 움직임(Real) 또는 가상 움직임(Fake)을 판별할 수 있다. 또한, 평가 판단부(230)는 시각인지정보 및 자세인지정보의 차이 데이터로부터 획득되는 멀미 정도와 생성된 움직임 불일치 지도로부터 획득되는 멀미 정도를 정량화하여 평가할 수 있다.

평가 판단부(230)는 멀미 점수 간의 관계를 학습할 수 있다. 예를 들면, 0과 10 사이의 점수로 멀미의 정도를 평가할 수 있으며, 사용자는 지수가 낮을수록 VR 멀미를 덜 느끼고, 지수가 높을수록 VR 멀미를 심하게 느끼는 것일 수 있다. 다만, 실시예에 따라서, 평가 판단부(230)는 멀미의 정도에 대한 정량적인 수치 값 외에(또는 수치 값과 동시에) 퍼센트, 영상, 그림, 그래프, 메시지 및 음성 중 적어도 어느 하나를 제공할 수 있으며, 다른 실시예에 따라서는 경고메시지, 알람, 음성, 불빛 및 진동 중 적어도 어느 하나의 알림 신호를 출력할 수도 있다.

도 3은 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치의 개념도를 도시한 것이다.

보다 상세하게는, 도 3은 본 발명의 실시예에 따른 딥 러닝 분석을 통해 시각인지정보와 자세인지정보의 불일치에 대한 VR 멀미의 정도를 예측 및 평가하는 장치의 개념도를 도시한 것이다.

본 발명에서 제안하는 기술은 딥 러닝 기반의 시각인지 움직임 분석 모듈 및 자세인지 움직임 분석 모듈과, 분석된 움직임 특징 간 차이를 기반으로 한 VR 멀미 예측 및 평가모듈로 구성된다. 도 3을 참조하면, 시각인지 분석부(312)는 시각인지 움직임 분석 모듈을 포함하고, 자세인지 분석부(322)는 자세인지 움직임 분석 모듈을 포함하며, 평가 판단부(330)는 VR 멀미 예측 및 평가모듈을 포함한다.

본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치는 VR 콘텐츠(예컨대 360도 비디오, 311) 및 VR 콘텐츠를 재생하는 감지 모듈(예컨대 HMD, 321)로부터 획득된 VR 콘텐츠의 움직임 변화와 사용자의 자세 및 움직임 변화에 대한 데이터를 이용하여 학습할 수 있다.

시각인지 분석부(312)는 VR 콘텐츠(311)의 움직임 변화를 분석하여 시각인지 움직임 특징을 추출하는 딥 네트워크를 학습한다. 즉, 시각인지 분석부(312)는 사용자가 눈을 통해 인지하는 움직임 정보를 딥 네트워크를 통해 분석하고, 시각인지 움직임 특징에 따른 시각인지정보를 추출한다.

자세인지 분석부(322)는 감지 모듈(321)로부터 수신되는 사용자의 움직임 변화에 기초하여 VR 콘텐츠를 시청하는 동안의 움직임 정보(또는 머리 움직임)를 분석하고, 자세인지 움직임 특징을 추출하는 딥 네트워크를 학습한다. 결과적으로, 자세인지 분석부(322)는 사용자의 실제 물리적인 움직임, 즉 전정기관이 인지하는 움직임 정보를 딥 네트워크를 통해 분석하고, 자세인지 움직임 특징에 따른 자세인지정보를 추출한다.

이후, 평가 판단부(330)는 추출된 서로 다른 움직임 정보 즉, 딥 시각인지 움직임 특징(또는 시각인지정보)과 딥 자세인지 움직임 특징(또는 자세인지정보) 간 불일치(차이)로부터 VR 멀미의 정도 간의 관계를 학습하여 VR 멀미 점수(331)를 산출한다. 예를 들면, 0과 10 사이의 점수로 멀미의 정도를 평가할 수 있으며, 사용자는 시각인지 움직임 특징에 따른 시각인지정보와 자세인지 움직임 특징에 따른 자세인지정보 간 불일치 정도 또는 지수가 낮을수록 VR 멀미를 덜 느끼고, 불일치 정도 또는 지수가 높을수록 VR 멀미를 심하게 느낄 수 있다.

즉, 정량화된 VR 멀미 점수(331)는 보다 안전한 VR 콘텐츠를 제작할 수 있도록 도움을 주는 VR 콘텐츠 제작 가이드 라인으로 활용될 수 있다.

도 4a 및 도 4b는 본 발명의 실시예에 따른 체감 VR 콘텐츠를 획득하는 과정을 설명하기 위해 도시한 것이다.

보다 상세하게는, 도 4a는 사용자의 머리 움직임을 반영하여 체감 VR 콘텐츠를 획득하는 과정을 설명하기 위한 도면이고, 도 4b는 VR 재생장치의 재생 속도를 반영하여 체감 VR 콘텐츠를 획득하는 과정을 설명하기 위한 도면이다.

도 4a를 참조하면, 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치는 VR 재생장치(410)를 머리에 착용한 사용자의 머리 움직임 정보를 원본 VR 콘텐츠(420)에 반영하여 체감 VR 콘텐츠(430)를 획득할 수 있다.

원본 VR 콘텐츠(420)의 특정 프레임 중 특정 지점의 좌표를 VR(x, y, z)로 나타낼 수 있고, 사용자가 원본 VR 콘텐츠(420)를 시청하면서 머리를 움직인 벡터 좌표를 (mx, my, mz)로 나타낼 수 있다고 한다면, 사용자의 시선에서 특정 지점의 좌표는 VR'(x, y, z) = VR(x­mx, y­my, z­mz)로 나타낼 수 있다.

예를 들어, 축구와 관련된 원본 VR 콘텐츠(420)의 특정 프레임의 중앙에 축구공이 위치할 때, 사용자가 머리를 움직여서 시선을 위쪽으로 옮긴다면, 사용자의 시선에서 바라본 체감 VR 콘텐츠(430)에서의 축구공은 특정 프레임의 아래쪽에 위치하게 된다.

도 4b를 참조하면, 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치는 원본 VR 콘텐츠(420)의 재생 속도와 VR 재생장치(410)의 재생 가능 속도를 반영하여 체감 VR 콘텐츠(430)를 획득할 수 있다.

원본 VR 콘텐츠(420)의 초 당 프레임 수, 즉 재생 속도가 빠르다고 하더라도 VR 재생장치(410)가 더 낮은 재생 속도로 사용자에게 VR 콘텐츠를 제공한다면, 사용자가 체감하는 체감 VR 콘텐츠(430)의 재생 속도는 원본 VR 콘텐츠(420)와 달라진다.

예를 들어, 원본 VR 콘텐츠(420)의 재생 속도가 90Hz 이더라도, VR 재생장치(410)의 재생 속도가 30Hz에 불과한 경우, 체감 VR 콘텐츠(430)의 재생 속도는 원본 VR 콘텐츠(420)의 재생 속도보다 느린 30Hz이다. 이 때, 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치는 샘플링 간격 90Hz/30Hz = 3을 고려하여 멀미의 정도를 판단할 수 있다.

실시예에 따라서, 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치는 재생 속도 외에도, 영상 렌더링 및 시간 딜레이 등을 원본 VR 콘텐츠(420)에 반영하여 체감 VR 콘텐츠(430)를 획득할 수도 있다.

도 5는 본 발명의 실시예에 따른 시각인지 움직임 특징 분석 및 추출을 위한 딥 네트워크의 구조 예를 도시한 것이다.

도 5를 참조하면, 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치의 시각인지 분석부(500)는 시각인지 움직임 특징에 따른 시각인지정보(또는 딥 시각인지 움직임 특징 추출)를 분석하기 위해, VR 콘텐츠(510)의 각 프레임(520₁ 내지 520_N)에 대하여 공간적 알고리즘(530) 및 시간적 알고리즘(540)을 적용할 수 있다. 예를 들면, 일반적으로 사용자는 VR 콘텐츠(510)를 시청하면서 공간적 정보와 시간에 따른 공간적 정보의 변화를 모두 인지한다. 따라서, 시각 인지를 통해 획득되는 움직임 정보를 분석하고 추출하기 위해서는 VR 콘텐츠(510)의 공간적 인자와 시간적 인자를 모두 고려해야 한다. 나아가, 사용자가 VR 콘텐츠를 시청하여 유발되는 사이버 멀미(cybersickness) 또는 VR 멀미(VR sickness)는 공간적 인자 및 시간적 인자와 밀접한 연관이 있다.

공간적 인자는 여러 각도의 영상을 이어 붙이는 스티칭(stitching) 과정에 의한 영상 왜곡 또는 시야각 문제와 같이 공간적인 특성을 가지며 멀미를 유발시키는 멀미 유발 인자이고, 시간적 인자는 영상 내 빠른 움직임 또는 빠른 회전과 같이 시간적인 특성을 가지며 멀미를 유발시키는 멀미 유발 인자이다.

공간적 인자와 시간적 인자는 서로 관련되어 사용자에게 멀미를 유발한다. 예를 들어, VR 콘텐츠 내 어느 한 프레임에서만 영상 왜곡 또는 빠른 움직임이 발생했을 경우, 사용자가 그것에 의해 극심한 피로나 사이버 멀미를 체감할 가능성은 낮다. 하지만, 영상 왜곡 또는 빠른 움직임이 실질적으로 연속된 여러 프레임들에서 발생한다면 사용자가 체감하는 VR 콘텐츠의 품질은 매우 낮아질 것이다. 따라서, 시각인지 분석부(500)는 VR 콘텐츠(510) 내 멀미를 유발할 수 있는 공간적 인자와 시간적 인자를 모두 고려해야 한다.

도 5에서는 VR 콘텐츠(510)의 공간적 인자를 추출하기 위한 알고리즘(530)으로 컨볼루션 신경망 네트워크(Convolutional Neural Network; CNN)를 사용하였으나, 컨볼루션 오토인코더(Convolutional Auto­Encoder), 레지듀얼 네트워크(Residual Network; ResNet) 등 공간적 특징 또는 짧은 시간적 특징을 학습하는 데에 유용한 딥 러닝 알고리즘을 사용할 수도 있다.

또한, VR 콘텐츠(510)의 시간적 인자를 추출하기 위한 알고리즘(540)으로 conv LSTM(convolutional Long Short­Term Memory)을 사용하였으나, 순환 신경망(Recurrent Neural Network; RNN), Long Short­Term Memory(LSTM), GRU(Gated Recurrent Unit) 등 시간적 특징을 학습하는 데에 유용한 딥 러닝 알고리즘을 사용할 수도 있다.

도 6은 본 발명의 실시예에 따른 자세인지 움직임 특징 분석 및 추출을 위한 딥 네트워크의 구조 예를 도시한 것이다.

도 6을 참조하면, 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치의 자세인지 분석부(600)는 자세인지 움직임 특징에 따른 자세인지정보(또는 딥 자세인지 움직임 특징 추출)를 분석하기 위해, 감지 모듈(610)로부터 획득되는 공간정보 및 자세정보의 각 프레임(620₁ 내지 620_N)에 대하여 시간적 알고리즘(630)을 적용할 수 있다.

자세인지 분석부(600)는 VR 재생장치 또는 움직임감지센서로부터 시간에 따른 사용자의 머리 움직임 또는 자세 변화에 대한 공간정보 예를 들면, 3차원 공간좌표를 수신할 수 있다. 다만, 자세인지 분석부(600)는 수신된 3차원 공간좌표로부터 자세인지 움직임 특징을 분석 및 추출하기 위해 머리 위치 정보의 시간적 변화 특성을 학습해야 한다. 이 때, 사용자의 움직임 변화에 따른 머리 움직임 및 자세 변화로부터 유발되는 사이버 멀미(cybersickness) 또는 VR 멀미(VR sickness)는 시간적 인자와 밀접한 연관이 있다.

도 6에서는 감지 모듈(610)로부터 수신되는 공간정보(예를 들면, 3차원 공간좌표) 및 자세정보(예를 들면, 사용자의 머리 위치 정보)의 시간적 인자를 추출하기 위한 알고리즘(630)으로 LSTM (Long Short­Term Memory)을 사용하였으나, 순환 신경망(Recurrent Neural Network; RNN), conv LSTM(convolutional Long Short­Term Memory), GRU(Gated Recurrent Unit) 등 시간적 특징을 학습하는 데에 유용한 딥 러닝 알고리즘을 사용할 수도 있다.

도 7은 본 발명의 실시예에 따른 딥 러닝 기반의 VR 콘텐츠 멀미 평가 장치의 개념도를 도시한 것이다.

보다 상세하게는, 도 7은 딥 생성모델(Generative model)과 적대적 학습(Adversarial learning)을 이용한 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치의 개념도를 도시한 것이다. 도 7을 이용하여 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치는 보다 우수한 시각인지 움직임 특징, 자세인지 움직임 특징과 움직임 불일치 특징을 분석할 수 있다.

도 7을 참조하면, 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치는 인코더 및 디코더로 구성된 생성모델로부터 획득되는 각각의 시각인지 움직임 특징 지도(714)와 자세인지 움직임 특징 지도(724)를 이용하여 움직임 불일치 지도를 생성(731)하고, 평가 판단부(Discriminator, 733)를 이용하여 생성된 움직임 불일치 지도(731)와 실제 움직임 불일치 지도(732)를 적대적 학습(Adversarial learning)하여 실제 움직임(Real) 또는 가상 움직임(Fake)에 대해 평가 및 판단할 수 있다.

도 7을 참조하면, 시각인지 움직임 특징 인코더(711), 딥 시각인지 움직임 특징(712) 및 시각인지 움직임 특징 디코더(713)는 도 2에 도시된 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치의 시각인지 분석부(또는 시각인지 생성 모델, 210)를 나타내며, 자세인지 움직임 특징 인코더(721), 딥 자세인지 움직임 특징(722) 및 자세인지 움직임 특징 디코더(723)는 도 2에 도시된 자세인지 분석부(또는 자세인지 생성 모델, 220)를 나타낼 수 있다. 아울러, 평가 판단부(733)는 도 2에 도시된 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치의 평가 판단부(230)일 수 있다.

시각인지 움직임 특징 인코더(711) 및 자세인지 움직임 특징 인코더(721)는 VR 콘텐츠(710)의 움직임 변화 및 감지 모듈(720)로부터 수신되는 사용자의 움직임 변화로부터 딥 시각인지 움직임 특징(f_vis, 712) 및 딥 자세인지 움직임 특징(f_vesti, 722)을 추출할 수 있다. 시각인지 움직임 특징 디코더(713) 및 자세인지 움직임 특징 디코더(723) 각각은 인코더(711, 721)에서 추출된 딥 움직임 특징(712, 722)으로부터 움직임 특징 지도(motion map)인 시각인지 움직임 특징 지도(714) 및 자세인지 움직임 특징 지도(724)를 예측 및 생성할 수 있다.

이에 따라서, 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치는 시각인지 움직임 특징 지도(f_map_vis, 714)와 자세인지 움직임 특징 지도(f_map_vesti, 724)의 차이를 통해 두 인지된 움직임 간의 불일치 지도(conf_map', 731)을 생성할 수 있다. 또한, 생성된 움직임 불일치 지도(conf_map', 731)와 실제 실측 자료(ground truth)인 실제 움직임 불일치 지도(conf_map, 732)를 입력으로 평가 판단부(Discriminator, 733)를 구성할 수 있다.

평가 판단부(733)는 생성된 움직임 불일치 지도(conf_map', 731)와 실제 움직임 불일치 지도(conf_map, 732)를 비교 분석함으로써, 생성된 움직임 불일치 지도(conf_map', 731)가 실제 움직임(real)인지 또는 가상 움직임(fake)인지 판단할 수 있다.

즉, 적대적 학습(Adversarial learning)을 통해, 시각인지 생성 모델 및 자세인지 생성 모델은 보다 정확하게 생성된 움직임 불일치 지도(conf_map', 731)를 추출하도록 학습되고, 평가 판단부(733)는 실제 움직임 불일치 지도(conf_map, 732)와 생성된 움직임 불일치 지도(conf_map', 731)를 보다 정확하게 구별하도록 학습될 수 있다. 결과적으로, 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치는 생성모델(예를 들면 시각인지 생성 모델 및 자세인지 생성 모델, Generative model)과 적대적 학습(Adversarial learning)을 이용하여 딥 네트워크 구조의 움직임 불일치 지도 예측 및 생성 성능을 향상시키고, 더 정확하게 예측된 움직임 불일치 정보를 기반으로 VR 멀미 예측 및 평가의 정확도 역시 향상시킬 수 있다.

도 8a 및 도 8b는 본 발명의 실시예에 따른 VR 멀미 점수를 정량적으로 예측 및 평가하기 위한 딥 네트워크의 구조 예를 도시한 것이다.

본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치는 시각인지 움직임 특징과 자세인지 움직임 특징 간의 차이 정보로부터 VR 멀미점수를 정량적으로 예측 및 평가할 수 있다. 이를 위해, 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치는 추출된 시각인지정보 및 자세인지정보 간의 움직임 특징 차이와 VR 멀미 점수 간의 관계를 학습할 수 있다. 이 때, 도 7에서 추출된 딥 시각인지 움직임 특징(f_vis, 712, 810) 및 딥 자세인지 움직임 특징(f_vesti, 722, 820)의 차이 값(|f_vis ­ f_vesti|) 또는 생성모델(Generative model)과 적대적 학습(Adversarial learning)을 통해 획득된 움직임 불일치 지도(conf_map', 731, 830) 정보가 사용될 수 있다.

본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치의 평가 판단부의 구조는 예를 들어, 심층 신경망(Deep Neural Network; DNN)과 같은 딥 러닝 구조일 수 있다.

도 8a 및 도 8b에 도시된 바와 같이, 멀미 유발 인자는 예를 들어, VR 콘텐츠의 움직임 속도, VR 콘텐츠 영상의 회전 움직임, 영상 스티칭(stitching), 사용자의 머리 움직임, 자세 변화에 따른 영상 왜곡 등의 체감 품질 지수에 미치는 가중치가 고려된 벡터 데이터를 포함할 수 있다. 각 멀미 유발 인자가 포함하는 데이터는 심층 신경망을 거치면서 VR 콘텐츠에 대한 VR 멀미 지수로 예측될 수 있다. 실시예에 따라서, 학습된 딥 네트워크의 일반화 성능을 높이기 위해 드롭 아웃(drop out) 또는 프루닝(pruning) 등의 정규화 기법을 활용하여 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치의 평가 판단부의 성능을 높일 수도 있다.

도 8a를 참조하면, 딥 시각인지 움직임 특징(f_vis, 810) 및 딥 자세인지 움직임 특징(f_vesti, 820)의 차이 벡터로부터 VR 멀미에 대한 정량적인 지수를 측정할 수 있으며, 도 8b를 참조하면, 생성된 움직임 불일치 지도(conf_map', 830)로부터 VR 멀미에 대한 정량적인 지수를 측정할 수 있다. 즉, 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치는 VR 멀미 점수 간의 관계를 학습할 수 있다.

실시예에 따라서, 사전 피험자 실험을 통해 획득되는 실제 움직임(Real)에 대한 VR 멀미 점수가 존재하지 않는 경우, 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 장치는 움직임 특징 벡터들(810, 820) 간의 차이 또는 움직임 불일치 지도(830)로부터 움직임 불일치의 크기를 연산 및 정규화하여 상대적으로 VR 멀미 점수를 예측 및 평가할 수 있다.

도 9는 본 발명의 실시예에 따른 VR 콘텐츠 멀미 평가 방법의 흐름도를 도시한 것이다.

도 9에 도시된 방법은 도 2에 도시된 본 발명의 실시예에 따른 VR(Virtual Reality; 가상현실) 콘텐츠 멀미 평가 장치에 의해 수행된다.

단계 910에서, VR 콘텐츠의 움직임 변화에 기초하여 시각인지 움직임 특징에 따른 시각인지정보를 분석한다.

단계 910은 컨볼루션 신경망(Convolutional Neural Network; CNN) 및 conv LSTM(convolutional Long Short­Term Memory)를 이용하여, 사용자가 눈을 통해 인지하는 VR 콘텐츠의 움직임 변화를 분석하고, 시간적 인자 및 공간적 인자의 시각인지 움직임 특징에 따른 움직임 정보의 시각인지정보를 추출하는 단계일 수 있다.

예를 들면, 시청자는 VR 콘텐츠를 시청할 때, 콘텐츠에 대한 공간적 정보와 시간에 따른 공간적 정보의 변화를 모두 인지한다. 따라서, 시각 인지를 통해 획득되는 움직임 정보를 분석하고 추출하기 위해서는 VR 콘텐츠의 공간적 인자와 시간적 인자를 모두 고려해야 한다. 이에 따라서, 단계 910은 VR 콘텐츠의 공간적 인자 학습에 유용한 Convolutional Neural Network(CNN), Convolutional Auto­Encoder, Residual Network(ResNet)와, 시간적 인자 학습에 유용한 Recurrent Neural Network(RNN), Long Short Term Memory(LSTM), convolutional LSTM(conv LSTM) 중 적어도 어느 하나 이상을 사용하여 시각인지 움직임 특징에 따른 시각인지정보를 추출할 수 있다.

단계 920에서, 감지 모듈로부터 수신되는 사용자의 움직임 변화에 기초하여 자세인지 움직임 특징에 따른 자세인지정보를 분석한다.

단계 920은 LSTM(Long Short­Term Memory)를 이용하여, 사용자의 움직임 정보를 획득하는 움직임감지센서 및 사용자가 착용하는 VR 재생장치 중 적어도 어느 하나 이상을 포함하는 감지 모듈로부터 수신되는 머리 위치정보에 대한 시간적 변화를 분석하여 자세인지 움직임 특징을 추출하는 단계일 수 있다. 이 때, VR 재생장치는 헤드 마운티드 디스플레이(Head Mounted Display; HMD)일 수 있고, 움직임감지센서는 자이로 센서일 수 있다.

또한, 단계 920은 사용자의 움직임 변화에 따라 감지 모듈로부터 수신되는 3차원 공간좌표의 시간적 변화 특성과, 자세인지 움직임 특징을 분석하여 움직임 정보의 자세인지정보를 추출하는 단계일 수 있다.

단계 930에서, 시각인지정보 및 자세인지정보 간 차이로부터 VR 콘텐츠에 의해 유발되는 멀미의 정도를 판단한다.

단계 930은 시각인지 움직임 특징 지도 및 자세인지 움직임 특징 지도 간 차이를 통해 움직임 불일치 지도를 생성하는 단계, 생성된 움직임 불일치 지도와 실제 움직임 불일치 지도를 판별하는 단계, 및 시각인지정보 및 자세인지정보의 차이 데이터로부터 획득되는 멀미 정도와, 생성된 움직임 불일치 지도로부터 획득되는 멀미 정도를 정량화하여 평가하는 단계를 포함할 수 있다.

이 때, 상기 생성된 움직임 불일치 지도와 실제 움직임 불일치 지도를 판별하는 단계는 생성된 움직임 불일치 지도에 대한 실제 움직임(Real) 또는 가상 움직임(Fake)을 판별하는 단계일 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD­ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기­광 매체(magneto­optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

1. VR(Virtual Reality; 가상현실) 콘텐츠의 움직임 변화에 기초하여 시각인지 움직임 특징에 따른 시각인지정보를 분석하는 시각인지 분석부;
   감지 모듈로부터 수신되는 사용자의 움직임 변화에 기초하여 자세인지 움직임 특징에 따른 자세인지정보를 분석하는 자세인지 분석부; 및
   상기 시각인지정보 및 상기 자세인지정보 간 차이로부터 상기 VR 콘텐츠에 의해 유발되는 멀미의 정도를 판단하는 평가 판단부
   를 포함하는 VR 콘텐츠 멀미 평가 장치.
2. 제1항에 있어서,
   상기 시각인지 분석부는
   컨볼루션 신경망(Convolutional Neural Network; CNN) 및 conv LSTM(convolutional Long Short­Term Memory)를 이용하여, 사용자가 눈을 통해 인지하는 상기 VR 콘텐츠의 움직임 변화를 분석하고, 시간적 인자 및 공간적 인자의 상기 시각인지 움직임 특징에 따른 움직임 정보의 상기 시각인지정보를 추출하는 VR 콘텐츠 멀미 평가 장치.
3. 제1항에 있어서,
   상기 자세인지 분석부는
   LSTM(Long Short­Term Memory)를 이용하여, 사용자의 움직임 정보를 획득하는 움직임감지센서 및 사용자가 착용하는 VR 재생장치 중 적어도 어느 하나 이상을 포함하는 상기 감지 모듈로부터 수신되는 머리 위치정보에 대한 시간적 변화를 분석하여 상기 자세인지 움직임 특징을 추출하는 VR 콘텐츠 멀미 평가 장치.
4. 제3항에 있어서,
   상기 자세인지 분석부는
   상기 사용자의 움직임 변화에 따라 상기 감지 모듈로부터 수신되는 3차원 공간좌표의 시간적 변화 특성과, 상기 자세인지 움직임 특징을 분석하여 움직임 정보의 상기 자세인지정보를 추출하는 VR 콘텐츠 멀미 평가 장치.
5. 제1항에 있어서,
   상기 시각인지 분석부는
   상기 추출된 시각인지 움직임 특징으로부터 움직임 특징 지도(motion map)인 시각인지 움직임 특징 지도를 생성하고,
   상기 자세인지 분석부는
   상기 추출된 자세인지 움직임 특징으로부터 움직임 특징 지도(motion map)인 자세인지 움직임 특징 지도를 생성하는 VR 콘텐츠 멀미 평가 장치.
6. 제5항에 있어서,
   상기 평가 판단부는
   상기 시각인지 움직임 특징 지도 및 상기 자세인지 움직임 특징 지도 간 차이를 통해 움직임 불일치 지도를 생성하는 VR 콘텐츠 멀미 평가 장치.
7. 제6항에 있어서,
   상기 평가 판단부는
   상기 생성된 움직임 불일치 지도와 실제 움직임 불일치 지도를 판별하며, 상기 생성된 움직임 불일치 지도에 대한 실제 움직임 또는 가상 움직임을 판별하는 것을 특징으로 하는 VR 콘텐츠 멀미 평가 장치.
8. 제7항에 있어서,
   상기 평가 판단부는
   상기 시각인지정보 및 상기 자세인지정보의 차이 데이터로부터 획득되는 멀미 정도와, 상기 생성된 움직임 불일치 지도로부터 획득되는 멀미 정도를 정량화하여 평가하는 VR 콘텐츠 멀미 평가 장치.
9. VR(Virtual Reality; 가상현실) 콘텐츠 멀미 평가 장치의 동작 방법에 있어서,
   VR 콘텐츠의 움직임 변화에 기초하여 시각인지 움직임 특징에 따른 시각인지정보를 분석하는 단계;
   감지 모듈로부터 수신되는 사용자의 움직임 변화에 기초하여 자세인지 움직임 특징에 따른 자세인지정보를 분석하는 단계; 및
   상기 시각인지정보 및 상기 자세인지정보 간 차이로부터 상기 VR 콘텐츠에 의해 유발되는 멀미의 정도를 판단하는 단계
   를 포함하는 VR 콘텐츠 멀미 평가 방법.
10. 제9항에 있어서,
    상기 시각인지정보를 분석하는 단계는
    컨볼루션 신경망(Convolutional Neural Network; CNN) 및 conv LSTM(convolutional Long Short­Term Memory)를 이용하여, 사용자가 눈을 통해 인지하는 상기 VR 콘텐츠의 움직임 변화를 분석하고, 시간적 인자 및 공간적 인자의 상기 시각인지 움직임 특징에 따른 움직임 정보의 상기 시각인지정보를 추출하는 VR 콘텐츠 멀미 평가 방법.
11. 제9항에 있어서,
    상기 자세인지정보를 분석하는 단계는
    LSTM(Long Short­Term Memory)를 이용하여, 사용자의 움직임 정보를 획득하는 움직임감지센서 및 사용자가 착용하는 VR 재생장치 중 적어도 어느 하나 이상을 포함하는 상기 감지 모듈로부터 수신되는 머리 위치정보에 대한 시간적 변화를 분석하여 상기 자세인지 움직임 특징을 추출하는 VR 콘텐츠 멀미 평가 방법.
12. 제11항에 있어서,
    상기 자세인지정보를 분석하는 단계는
    상기 사용자의 움직임 변화에 따라 상기 감지 모듈로부터 수신되는 3차원 공간좌표의 시간적 변화 특성과, 상기 자세인지 움직임 특징을 분석하여 움직임 정보의 상기 자세인지정보를 추출하는 VR 콘텐츠 멀미 평가 방법.
13. 제9항에 있어서,
    상기 VR 콘텐츠에 의해 유발되는 멀미의 정도를 판단하는 단계는
    시각인지 움직임 특징 지도 및 자세인지 움직임 특징 지도 간 차이를 통해 움직임 불일치 지도를 생성하는 단계;
    상기 생성된 움직임 불일치 지도와 실제 움직임 불일치 지도를 판별하는 단계; 및
    상기 시각인지정보 및 상기 자세인지정보의 차이 데이터로부터 획득되는 멀미 정도와, 상기 생성된 움직임 불일치 지도로부터 획득되는 멀미 정도를 정량화하여 평가하는 단계
    를 포함하는 VR 콘텐츠 멀미 평가 방법.
14. 제13항에 있어서,
    상기 생성된 움직임 불일치 지도와 실제 움직임 불일치 지도를 판별하는 단계는
    상기 생성된 움직임 불일치 지도에 대한 실제 움직임 또는 가상 움직임을 판별하는 것을 특징으로 하는 VR 콘텐츠 멀미 평가 방법.
15. 제9항 내지 제14항 중 어느 한 항의 방법을 수행하기 위하여 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.

Images