KR102114946B1 - 가상현실(vr) 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 시스템 및 방법 - Google Patents

Abstract

본 발명의 실시예에 따른 가상현실(VR) 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 시스템 및 방법은, 모니터링 장치에서 가상현실 콘텐츠를 시청하는 시청자의 안구 및 바이오 정보를 수신하여 상기 가상현실 콘텐츠의 퀄리티를 평가하는 방법으로서, 상기 가상현실 콘텐츠 시청에 따른 시청자의 안구 및 바이오 정보를 획득하는 단계; 상기 획득된 안구 및 바이오 정보를 기반으로 콘텐츠 평가 화면을 출력하는 단계; 상기 안구 및 바이오 정보를 딥러닝 뉴럴 네트워크에 입력하여 상기 가상현실 콘텐츠에 대한 콘텐츠 퀄리티 정보를 획득하는 단계; 및 상기 획득된 콘텐츠 퀄리티 정보를 표시하는 단계를 포함한다.

Description

가상현실(VR) 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 시스템 및 방법{SYSTEM AND METHOD FOR EVALUATING CONTENT QUALITY BASED ON BIOMETRIC CHANGING INFORMATION ACCORDING TO WATCHING VIRTUAL REALITY(VR) CONTENT}

본 발명은 가상현실(VR, Virtual Reality) 콘텐츠 시청에 따른 시청자의 안구 및 바이오 정보에 기초하여 콘텐츠 퀄리티(Content quality)를 평가하는 시스템 및 방법에 관한 것이다.

보다 상세하게는, 딥러닝 뉴럴 네트워크를 이용하여 가상현실(VR) 콘텐츠의 퀄리티를 평가하는 시스템 및 방법에 관한 것이다.

가상현실(VR)이란, 컴퓨터 등을 사용한 인공적인 기술로 만들어낸 실제와 유사하지만 실제가 아닌 어떤 특정한 환경이나 상황 혹은 그 기술 자체를 의미한다.

이때, 만들어진 가상 환경이나 상황 등은 사용자의 오감을 자극하며 실제와 유사한 공간적, 시간적 체험을 가능하게 한다.

또한, 가상현실(VR)을 체험하는 시청자는, 가상현실(VR)에 단순히 몰입할 뿐만 아니라 실재하는 디바이스를 이용해 조작이나 명령을 가하는 등 가상현실(VR) 속에 구현된 것들과 상호작용이 가능하다.

즉, 가상현실(VR)은, 시청자와 상호작용이 가능하고 시청자의 경험을 창출한다는 점에서 일방적으로 구현된 시뮬레이션과는 구분된다.　

한편, 정보통신기술(ICT, Information & Communication Technology)의 발전에 따라, 이러한 가상현실(VR)을 구현하는 기기를 통하여 가상현실(VR) 콘텐츠(Content)를 시청하는 사용자가 급증하는 추세이다.

여기서, 가상현실(VR) 콘텐츠란, 게임, 영상, 교육, 방송/광고, 의료 및/또는 제조/산업 등의 다양한 분야에서 가상현실(VR) 기술을 기반으로 제작한 각종 콘텐츠를 의미한다.

예를 들어, 가상현실(VR) 콘텐츠는, 가상현실(VR)로 구현되는 콘솔(Console) 게임 콘텐츠, 직업 훈련 콘텐츠, 가상 시뮬레이션 정신치료 콘텐츠, 3D(Three Dimensions) 영상 콘텐츠, 가상 전시관 콘텐츠 및/또는 가상 자율주행체험 콘텐츠 등을 포함할 수 있다.

그러나, 이러한 가상현실(VR) 콘텐츠의 수요량이 증가함에도 불구하고, 해당 콘텐츠가 목표로 하는 효과가 시청자에게서 제대로 구현되는지를 정확하게 판단할 수 있는 객관적 지표가 미비하여, 가상현실(VR) 콘텐츠의 퀄리티를 파악하고 부족한 점을 개선하기 어렵다는 문제가 있다.

즉, 가상현실(VR) 콘텐츠 시청자의 다양한 반응정보를 포함하는 피드백을 객관적인 데이터로 획득하여 콘텐츠의 퀄리티를 측정하고 콘텐츠의 개선 방향을 제시할 수 있는 시스템 및 방법이 요구되고 있다.

JP 2003-72010 A

본 발명은, 객관적인 데이터를 기반으로 가상현실(VR) 콘텐츠의 퀄리티를 파악하고 개선 방향을 도출하기 위하여, 가상현실(VR) 콘텐츠를 시청하는 시청자들의 반응에 대한 정확한 분석 모델을 통해 가상현실(VR) 콘텐츠의 퀄리티를 평가할 수 있는 시스템 및 방법을 제공하는 것을 목적으로 한다.

다만, 본 발명 및 본 발명의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

본 발명의 실시예에 따른 가상현실(VR) 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 시스템 및 방법은, 모니터링 장치에서 가상현실 콘텐츠를 시청하는 시청자의 안구 및 바이오 정보를 수신하여 상기 가상현실 콘텐츠의 퀄리티를 평가하는 방법으로서, 상기 가상현실 콘텐츠 시청에 따른 시청자의 안구 및 바이오 정보를 획득하는 단계; 상기 획득된 안구 및 바이오 정보를 기반으로 콘텐츠 평가 화면을 출력하는 단계; 상기 안구 및 바이오 정보를 딥러닝 뉴럴 네트워크에 입력하여 상기 가상현실 콘텐츠에 대한 콘텐츠 퀄리티 정보를 획득하는 단계; 및 상기 획득된 콘텐츠 퀄리티 정보를 표시하는 단계를 포함한다.

이때, 상기 가상현실 콘텐츠 시청에 따른 시청자의 안구 및 바이오 정보를 획득하는 단계는, 상기 가상현실 콘텐츠를 출력하는 가상현실 기기에서 센싱한 상기 안구 정보와 상기 바이오 정보를 수신하는 단계를 포함한다.

또한, 상기 콘텐츠 평가 화면을 출력하는 단계는, 실시간 가상현실 콘텐츠 타임라인, 사운드 정보 타임라인, 안구 정보 타임라인 및 바이오 정보 타임라인 중 적어도 어느 하나 이상의 타임라인을 표시하는 단계를 포함한다.

또한, 상기 콘텐츠 평가 화면을 출력하는 단계는, 상기 시청자의 시선이 머무른 분포를 상기 가상현실 콘텐츠와 매칭하여 표시하는 안구 정보 표시창 또는 복수의 시청자의 시선분포를 상기 가상현실 콘텐츠와 매칭하여 표시하는 다중 아이트래킹 정보 표시창을 표시하는 단계를 포함한다.

또한, 상기 가상현실 콘텐츠에 대한 콘텐츠 퀄리티 정보를 획득하는 단계는, 딥러닝 서버의 콘텐츠 평가 딥러닝 뉴럴 네트워크를 이용하여 상기 콘텐츠 퀄리티 정보를 구성하는 평가지표를 출력하는 단계를 포함하고, 상기 평가지표는, 집중도 평가 딥러닝 뉴럴 네트워크를 통해 출력된 집중도 평가지표, 반응도 평가 딥러닝 뉴럴 네트워크를 통해 출력된 반응도 평가지표, 감정 평가 딥러닝 뉴럴 네트워크를 통해 출력된 감정 평가지표 및 완성도 평가 딥러닝 뉴럴 네트워크를 통해 출력된 완성도 평가지표 중 어느 하나 이상을 포함한다.

또한, 상기 가상현실 콘텐츠에 대한 콘텐츠 퀄리티 정보를 획득하는 단계는, 복수의 시청자에 대한 상기 안구 및 바이오 정보와 상기 가상현실 콘텐츠의 콘텐츠 구성 데이터를 상기 콘텐츠 평가 딥러닝 뉴럴 네트워크에 입력하고, 상기 콘텐츠 평가 딥러닝 뉴럴 네트워크에서 출력된 상기 콘텐츠 퀄리티 정보를 획득하는 단계를 더 포함한다.

또한, 상기 획득된 콘텐츠 퀄리티 정보를 표시하는 단계는, 콘텐츠 퀄리티 타임라인 그래프를 표시하는 단계를 포함하고, 상기 콘텐츠 퀄리티 타임라인 그래프를 표시하는 단계는, 집중도 평가지표, 반응도 평가지표, 감정 평가지표 및 완성도 평가지표 중 적어도 둘 이상의 각 평가지표를 타임라인 그래프의 형식으로 일괄 표시하는 단계를 포함한다.

본 발명의 실시예에서 가상현실(VR) 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 시스템 및 방법은, 가상현실(VR) 콘텐츠를 시청하는 유저들의 반응을 객관적으로 평가할 수 있는 분석 모델을 제공함으로써, 명확한 근거에 기반한 가상현실(VR) 콘텐츠의 퀄리티 평가가 구현되게 할 수 있고, 이를 통해 가상현실(VR) 콘텐츠 개선 방향을 제시할 수 있는 효과가 있다.

또한, 본 발명의 실시예에서 가상현실(VR) 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 시스템 및 방법은, 시청자가 착용한 가상현실(VR) 기기를 통해 시청자 안구 및 바이오 반응을 감지하여 활용함으로써, 별도의 장치가 없어도 효과적으로 시청자의 반응정보를 수집할 수 있는 효과가 있다.

또한, 본 발명의 실시예에서 가상현실(VR) 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 시스템 및 방법은, 획득된 시청자의 안구 및 바이오 정보를 기반으로 콘텐츠에 대한 시청자의 반응을 타임라인으로 표시하는 그래픽 이미지를 생성해 제공함으로써, 가상현실(VR) 콘텐츠에 대한 시청자의 반응정보를 직관적으로 확인하게 할 수 있다.

또한, 본 발명의 실시예에서 가상현실(VR) 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 시스템 및 방법은, 딥러닝 뉴럴 네트워크를 이용하여 시청자 반응과 콘텐츠에 대한 평가지표를 출력해 제공함으로써, 인공지능에 기초한 빠르고 효율적인 자동화 데이터 처리를 할 수 있다.

또한, 본 발명의 실시예에서 가상현실(VR) 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 시스템 및 방법은, 딥러닝 뉴럴 네트워크에서 출력된 복수의 평가지표를 타임라인 형식으로 일괄 확인할 수 있는 그래프를 생성해 제공함으로써, 가상현실(VR) 콘텐츠에 대한 평가 결과를 직관적·효과적으로 확인하게 할 수 있다.

또한, 본 발명의 실시예에서 가상현실(VR) 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 시스템 및 방법은, 복수의 시청자에 대한 데이터를 종합적으로 분석하는 기능을 제공함으로써, 보다 정확한 가상현실(VR) 콘텐츠 퀄리티 평가를 수행할 수 있다.

다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 명확하게 이해될 수 있다.

도 1은 본 발명의 실시예에 따른 가상현실(VR) 콘텐츠 시청자의 안구 및 바이오 정보를 기반으로 콘텐츠 퀄리티를 평가하는 시스템의 개념도이다.
도 2는 본 발명의 실시예에 따른 가상현실(VR) 기기의 분해 사시도이다.
도 3은 본 발명의 실시예에 따른 가상현실(VR) 기기의 내부 블록도이다.
도 4는 본 발명의 실시예에 따른 모니터링 장치의 내부 블록도와 주변 장치를 나타낸다.
도 5는 본 발명의 실시예에 따른 딥러닝 서버를 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 가상현실(VR) 콘텐츠 시청자의 안구 및 바이오 정보를 기반으로 콘텐츠 퀄리티를 평가하는 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 실시예에 따른 모니터링 장치에서 실시간 콘텐츠 평가 화면을 출력하는 일례이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 가상현실(VR) 콘텐츠 시청자의 안구 및 바이오 정보를 기반으로 콘텐츠 퀄리티를 평가하는 시스템의 개념도이다.

도 1을 참조하면, 본 발명의 실시예에서 가상현실(VR) 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 시스템 및 방법은, 가상현실(VR) 기기(100), 모니터링 장치(300) 및 딥러닝 서버(400)를 포함할 수 있다.

여기서, 도 1의 각 구성요소는, 네트워크(Network)를 통해 연결될 수 있다. 네트워크는 가상현실(VR) 기기(100), 모니터링 장치(300) 및 딥러닝 서버(400) 등과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

이하, 시청자의 안구 및 바이오 정보를 기반으로 가상현실(VR) 콘텐츠 퀄리티를 평가하는 시스템을 구성하는 각 구성요소에 대하여 상세히 설명하기로 한다.

- 가상현실(VR) 기기

먼저, 본 발명의 실시예에서 가상현실(VR) 기기(100)는, 시청자의 머리에 착용되어 시청자의 양쪽 눈들의 앞에 각각의 디스플레이를 둘 수 있는 임의의 디바이스일 수 있으며, 헬멧 또는 안경(eyeglasses)과 같은 다양한 형태들을 취할 수 있다.

자세히, 실시예에 따른 가상현실(VR) 기기(100)는, 모니터링 장치(300) 및/또는 외부의 서버로부터 가상현실(VR) 콘텐츠를 수신하여 출력할 수 있고, 출력된 가상현실(VR) 콘텐츠에 대한 시청자의 안구 반응 및/또는 바이오(즉, 생체) 반응을 감지하여 데이터로 획득할 수 있다.

그리고 가상현실(VR) 기기(100)는, 획득된 반응 데이터를 모니터링 장치(300) 및/또는 딥러닝 서버(400)로 송신할 있으며, 송신된 반응 데이터는 가상현실(VR) 콘텐츠 퀄리티에 대한 평가 결과를 도출하는데 이용될 수 있다.

이러한 가상현실(VR) 기기(100)는, 시청자의 안구 반응에 대한 정보인 안구 정보와 생체 반응에 대한 정보인 바이오 정보를 자체적으로 획득하여 제공함으로써, 별도의 장치가 없어도 시청자 반응정보(즉, 안구 및 바이오 정보)를 획득할 수 있다.

한편, 가상현실(VR) 기기(100)는, 웨어러블 컴퓨터로 구현되거나 또는 웨어러블 컴퓨터(또한 웨어러블 컴퓨팅 디바이스(wearable computing device)로 지칭되는)의 형태를 취할 수 있다.

예시적 실시예에서 웨어러블 컴퓨터는, 헤드 마운터블 디스플레이(head-mountable display, HMD)의 형태를 취하거나 또는 헤드 마운터블 디스플레이(HMD)를 포함할 수 있다.

도 2는 본 발명의 실시예에 따른 가상현실(VR) 기기(100)의 분해 사시도이고, 도 3은 본 발명의 실시예에 따른 가상현실(VR) 기기(100)의 내부 블록도이다.

도 2 및 3을 참조하면, 실시예에 따른 가상현실(VR) 기기(100)는, 메인바디(200)와, 메인바디(200)의 후면에 순차적으로 수납되는 디스플레이부(130), 검안유닛(210), 광학유닛(220), 광학홀더(230), 하우징(240) 및 고정밴드(250)를 포함할 수 있다.

다만, 도 2 및 3에 도시된 구성들은, 가상현실(VR) 기기(100)의 필수 구성요소는 아니여서, 실시예에 따라서 생략되는 구성이 있을 수 있다.

여기서, 메인바디(200) 후면은 개구부가 형성되며 시청자의 얼굴이 접촉되는 방향을 가리키고, 메인바디(200)의 전면은 시청자의 시선방향을 의미한다.

먼저, 메인바디(200)는, 플라스틱 및/또는 금속의 단단한 구조(solid structure)로 형성되거나, 또는 배선 및 컴포넌트가 가상현실(VR) 기기(100)를 통해 내부적으로 라우팅되기 위해 상호 연결되도록 유사한 물질의 속이 빈 구조(hollow structure)로 형성될 수 있다.

도면에서 도시한 120은 사용자 입력부(120)이다. 사용자 입력부(120)는, 가상현실(VR) 기기(100)를 (on)/오프(off)하거나, 가상현실(VR) 콘텐츠와 관련된 시청자의 입력을 감지할 수 있다.

예를 들어, 사용자 입력부(120)는, 가상현실(VR) 기기(100)와 외부 시스템 사이의 통신을 진행하도록 하는 시청자의 입력이나, 가상현실(VR) 콘텐츠의 진행과 관련된 시청자의 입력 등을 감지할 수 있다.

또한, 경우에 따라서 사용자 입력부(120)는, 가상현실(VR) 콘텐츠가 진행되고 있는 상태 또는 가상현실(VR) 콘텐츠가 종료된 상태를 외부에서 인식할 수 있도록 알람 형태의 LED 조명을 더 포함할 수 있다.

이와 별도로, 가상현실(VR) 기기(100)는, 유/무선으로 가상현실(VR) 기기(100)와 연결되는 입력유닛를 더 포함할 수 있다.

다음으로, 디스플레이부(130)는, 모니터링 장치(300) 및/또는 외부의 서버로부터 수신된 가상현실(VR) 콘텐츠를 3차원 그래픽 이미지(3D graphic image)로 디스플레이할 수 있다.

이때, 디스플레이부(130)의 패널이 단일 표시패널로 제공될 경우, 시청자의 좌안과 우안에 각각 대응되는 분리 영상들을 구현할 수 있다. 경우에 따라서 적어도 2개 이상으로 분리된 표시패널로 구성될 수 있다.

이러한 디스플레이부(130)는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

다음으로, 검안유닛(210)은, 시청자의 다양한 안구 반응을 획득할 수 있도록 복수개의 센서, 복수개의 카메라, 가상현실(VR) 기기(100)의 제어부 및 외부 시스템과 통신할 수 있는 회로모듈 등을 포함할 수 있다.

이러한 검안유닛(210)은, 가상현실(VR) 콘텐츠를 시청하는 시청자의 안구를 추적하는 아이트래킹(Eye tracking) 기능을 제공할 수 있다.

이를 위해, 검안유닛(210) 내에는 시청자의 동공 움직임을 추적할 수 있는 카메라들이 실장될 수 있다.

또한, 검안유닛(210)을 통해 촬영된 시청자의 안구 영상은, 시청자 반응 데이터에 포함되어 모니터링 장치(300) 및/또는 딥러닝 서버(400)로 송신될 수 있으며, 송신된 반응 데이터는 가상현실(VR) 콘텐츠 퀄리티의 평가 결과의 기초가 될 수 있다.

다음으로, 광학유닛(220)은, 검안유닛(210)과 하우징(240) 사이에 위치하여 획득하려는 시청자 안구 반응정보의 종류에 대응되는 적합한 광학렌즈를 제공할 수 있다.

예를 들어, 광학유닛(220)은, 시청자의 아이트래킹 반응정보를 획득하려는 경우, 수정체의 움직임을 측정하기 용이한 광학렌즈로 선택적 교환 체결할 수 있다.

또한, 광학유닛(220)은, 시청자의 동공 반응정보를 획득하려는 경우, 카메라에 의해 동공 움직임을 정밀하게 분석할 수 있는 광학렌즈로 선택적 교환 체결을 할 수 있다.

또한, 광학유닛(220)은, 편광 특성이 있는 다수의 렌즈들이 적층된 구조의 광학렌즈일 수 있다.

이러한 광학유닛(220)은, 광학홀더(230)에 고정되며, 획득하려는 시청자의 안구 반응정보의 종류에 따라 필요한 광학렌즈가 광학홀더(230)에 탈부착되는 방식으로 교체될 수 있다.

다음으로, 하우징(240)은, 메인바디(200)의 개구부 방향으로 삽입되어, 디스플레이부(130), 검안유닛(210), 광학유닛(220), 광학홀더(230) 또는/및 메인바디(200) 등을 광학적 얼라인을 유지시키면서 고정하는 기능을 한다.

또한, 하우징(240)은, 시청자가 가상현실(VR) 기기(100)를 착용할 경우, 가상현실(VR) 콘텐츠를 시청할 수 있는 디스플레이와 시청자의 양안 사이의 공간을 제공한다.

또한, 하우징(240)의 내부면은, 원활한 가상현실(VR) 콘텐츠의 시청을 위하여 광반사가 낮고 광흡수율이 높은 재료로 코팅될 수 있다.

다음으로, 고정밴드(250)는, 두 개의 고정밴드부로 도시하였지만, 이에 한정된 것이 아니다.

즉, 고정밴드(250)는, 메인바디(200)를 시청자의 얼굴에 고정할 수 있도록 하는 헬멧 형태 또는 시청자의 머리를 감싸는 복수의 밴드들로 구성된 형태 등으로 다양하게 구현될 수 있다.

또한, 도 3를 참조하면, 기능적인 측면에서 보았을 때 실시예에 따른 가상현실(VR) 기기(100)는, 통신부(110), 사용자 입력부(120), 디스플레이부(130), 카메라 모듈(140), 센싱부(150), 배터리(160), 저장부(170) 및 제어부(180)를 포함할 수 있다.

다만, 도 3에 도시된 구성요소들 또한 필수적인 것이 아니어서, 그보다 많은 구성요소들을 갖거나 그 보다 적은 구성요소들로 가상현실(VR) 기기(100)가 구현될 수 있다. 이하, 구성요소들에 대해 차례로 살펴본다.

먼저, 통신부(110)는, 외부 시스템인 모니터링 장치(300) 및/또는 딥러닝 서버(400) 등과 유/무선 통신을 가능하게 한다. 여기서 외부 시스템은, 다른 가상현실(VR) 기기(100)를 포함하는 개념일 수 있다.

이러한 통신부(110)는, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈 및 위치정보 모듈 등을 포함할 수 있다.

또한, 카메라 모듈(140)은, 화상 또는 촬영 모드에서 이미지 센서에 의해 촬영된 정지영상 또는 동영상 등의 이미지 프레임을 처리한다.

이때, 처리된 이미지 프레임은, 저장부(170)에 저장되거나 통신부(110)를 통하여 외부 시스템인 모니터링 장치(300) 및/또는 딥러닝 서버(400) 등으로 전송될 수 있다.

이러한 카메라 모듈(140)은, 획득하려는 시청자 안구 반응정보의 종류에 따라 적어도 2개 이상 구비될 수 있다.

예를 들어, 카메라 모듈(140)은, 시청자의 아이트래킹 반응정보를 획득하려는 경우, 안구 움직임 궤적을 따라 촬영을 수행할 수 있는 카메라를 동작할 수 있고, 시청자의 동공 반응정보를 획득하려는 경우, 동공 모니터링 기능을 구현할 수 있는 카메라를 작동할 수 있다.

또한, 센싱부(150)는, 가상현실(VR) 기기(100)의 주변 환경을 감지하는 자이로 센서, 가속 센서 및/또는 근접 센서 등을 포함할 수 있다.

특히, 본 발명의 가상현실(VR) 기기(100)에서 센싱부(150)는, 시청자의 생체 반응정보인 바이오 정보를 획득할 수 있는 바이오 센서를 더 포함할 수 있다.

자세히, 센싱부는(150)는, 바이오 정보를 획득할 수 있는 바이오 센서에 심박수 측정센서(151)와 뇌파 측정센서(152)를 포함할 수 있다.

여기서, 심박수 측정센서(151)는, 시청자의 맥파(Pulse wave), 맥박의 속도 및/또는 규칙성 등을 측정하여 심박수 데이터의 생성을 보조할 수 있다.

이때, 심박수 측정센서(151)는, 시청자의 맥파/맥박을 측정하는 과정에서 발생하는 딜레이(Delay)까지 고려해 시청자의 맥파/맥박을 센싱하여, 보다 정확한 심박수 데이터를 생성하게 할 수 있다.

이러한 심박수 측정센서(151)는, 가상현실(VR) 기기(100) 상에 어디에든 장착되어 동작할 수 있으나, 일반적으로 인간의 머리 측면(즉, 관자놀이측)에서 심박수를 측정하는 것이 가장 효과적이므로, 가상현실(VR) 기기(100)를 착용한 시청자의 머리 측면과 가까운 위치에 장착됨이 바람직할 것이다.

한편, 뇌파 측정센서(152)는, 시청자의 뇌파(Brain wave)의 진폭, 크기 및/또는 규칙성 등을 측정하여 뇌파 데이터의 생성을 보조할 수 있다.

이때, 뇌파 측정센서(152)는, 심신이 안정된 상태인 8~12Hz의 주파수를 가지는 알파파를 집중적으로 센싱하여 시청자의 감정(예컨대, 편안함, 좋음 등)을 효과적으로 파악하게 할 수 있다.

또한, 배터리(160)는, 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

예를 들어, 배터리(160)는, 배터리 본체, 연결포트, 전원공급 제어부 및 충전 모니터링부를 포함할 수 있다.

또한, 저장부(170)는, 제어부(180)의 처리 및 제어를 위한 어플리케이션이 저장될 수도 있고, 입/출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다.

마지막으로, 제어부(180: Controller)는, 통상적으로 가상현실(VR) 기기(100)가 포함하는 각 구성요소의 전반적인 동작을 제어한다.

예를 들어, 통신부(110)를 제어하여 각종 신호를 송수신할 수 있고, 사용자 입력부(120)를 통해 입력된 데이터를 처리할 수 있으며, 디스플레이부(130) 내에 배치될 수 있는 영상출력부, 음향출력부를 제어하여 가상현실(VR) 콘텐츠를 시청자에게 제공할 수 있다.

이러한 제어부(180)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

- 모니터링 장치

다음으로, 본 발명의 실시예에서 모니터링 장치(300)는, 가상현실(VR) 기기(100) 및/또는 딥러닝 서버(400) 등과 연동하여 시청자의 안구 및 바이오 정보에 기초하여 가상현실(VR) 콘텐츠 퀄리티를 평가하는 서비스의 전반적인 진행을 컨트롤할 수 있다.

도 4는 본 발명의 실시예에 따른 모니터링 장치(300)의 내부 블록도와 주변 장치를 나타낸다.

자세히, 도 4를 참조하면, 모니터링 장치(300)는, 컴퓨팅 장치(301), 디스플레이 장치 및 입력 장치를 포함할 수 있다.

먼저, 컴퓨팅 장치(301)는, 디스플레이 장치(600) 및/또는 입력장치(500) 등을 제어할 수 있고, 가상현실(VR) 기기(100) 및/또는 딥러닝 서버(400) 등과 연동할 수 있는 메인 프로세서(360)를 포함할 수 있다.

자세히, 실시예에 따른 컴퓨팅 장치(301)는, 통신유닛(370), 입력부(310), 인터페이스부(320), 메모리(330), 출력부(340), 전원부(350) 및 프로세서(360)를 포함할 수 있다.

먼저, 통신유닛(370)은, 외부 시스템 특히, 가상현실(VR) 기기(100) 및/또는 딥러닝 서버(400)와 통신하여 시청자의 안구 및 바이오 정보에 기초하여 가상현실(VR) 콘텐츠 퀄리티를 평가하는 서비스에 필요한 데이터들을 네트워크를 통해 송수신할 수 있다.

예를 들어, 통신유닛(370)은 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등), WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) 등에 따라 구축된 네트워크망 상 무선 신호를 송수신하거나, RFID, NFC 등의 근거리 통신으로 무선 신호를 송수신할 수 있다.

다음으로, 입력부(310)는, 컴퓨팅 장치(301)의 전원을 온(on)/오프(off)하는 입력부(310)일 수 있으며, 예컨대 버튼일 수 있다.

또한, 인터페이스부(320)는, 디스플레이 장치(600), 입력장치(500), 가상현실(VR) 기기(100) 및/또는 딥러닝 서버(400)와 같은 외부장치와 데이터 통신을 하는 데이터 통로일 수 있다.

자세히, 인터페이스부(320)는, 각종 포트 및/또는 케이블과 유선으로 연결되어, 외부 장치들과 컴퓨팅 장치(301)를 연결할 수 있다.

또한, 인터페이스부(320)는, 블루투스나 와이파이 등과 같은 근거리 무선 통신 모듈로서, 근거리 무선 통신을 통해 외부장치와 데이터 통신할 수도 있다.

다음으로, 메모리(330)는, 실시예에 따른 시청자 안구 및 바이오 정보에 기초하여 가상현실(VR) 콘텐츠 퀄리티를 평가하는 서비스의 기능 동작에 필요한 응용 프로그램, 데이터 및 명령어 중 어느 하나 이상을 저장할 수 있다.

이러한 메모리(330)는, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기 일 수 있고, 인터넷(internet)상에서 상기 메모리(330)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.

마지막으로, 프로세서(360)는, 시청자의 안구 및 바이오 정보에 기초하여 가상현실(VR) 콘텐츠 퀄리티를 평가하는 서비스를 제공하기 위하여 전술한 각 유닛의 전반적인 동작을 컨트롤할 수 있다.

이러한 프로세서(360)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

다음으로, 입력장치(500)는, 컴퓨팅 장치(301)와 유/무선 인터페이스로 연결되어, 시청자의 안구 및 바이오 정보에 기초하여 가상현실(VR) 콘텐츠 퀄리티를 평가하는 서비스의 진행을 위한 입력을 감지할 수 있고, 감지된 입력 정보를 컴퓨팅 장치(301)로 송신할 수 있다.

예를 들어, 입력장치(500)는, 키보드, 마우스, 조이스틱, 태블릿, 라이트펜 및/또는 터치패드 등을 포함할 수 있다.

마지막으로, 디스플레이 장치(600)는, 시청자의 안구 및 바이오 정보에 기초하여 가상현실(VR) 콘텐츠 퀄리티를 평가하는 서비스를 진행하기 위한 그래픽 이미지를 출력할 수 있다.

자세히, 디스플레이 장치(600)는, 가상현실(VR) 콘텐츠 퀄리티의 평가를 진행하기 위해 필요한 인터페이스나, 시청자 반응정보의 결과, 가상현실(VR) 콘텐츠 평가 결과 및/또는 가상현실(VR) 기기(100)의 컨트롤을 위한 관련 그래픽 이미지 등을 출력할 수 있다.

즉, 실시예에 따른 디스플레이 장치(600)는, 입력장치(500)와 더불어 시청자의 안구 및 바이오 정보에 기초하여 가상현실(VR) 콘텐츠 퀄리티를 평가하는 서비스와 관련된 그래픽 유저 인터페이스를 제공할 수 있다.

이러한 디스플레이 장치(600)는, 컴퓨팅 장치(301)의 제어에 따라 필요한 그래픽 이미지를 출력할 수 있으며, 이를 위해 디스플레이 장치(600)는 컴퓨팅 장치(301)와 유/무선 연결될 수 있다.

그리고 디스플레이 장치(600)는, 표시패널 상에 터치 입력센서를 더 배치하여 사용자의 터치 입력을 감지하는 입출력 인터페이스를 제공함으로써, 좀 더 빠르고 직관적인 검사진행을 제공할 수 있다.

이러한 디스플레이 장치(600)는, 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉서블 디스플레이(flexible display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.

- 　딥러닝 서버

한편, 본 발명의 실시예에 따른 딥러닝 서버(400)는, 가상현실(VR) 콘텐츠 시청에 따른 시청자의 안구 및 바이오 정보에 기초하여 콘텐츠 퀄리티를 평가하기 위해 필요한 데이터 처리의 일부를 딥러닝(Deep learning)을 통해 수행할 수 있다.

자세히, 딥러닝 서버(400)는, 가상현실(VR) 기기(100) 및/또는 모니터링 장치(300)로부터 가상현실(VR) 콘텐츠의 퀄리티 평가와 관련된 각종 데이터를 수신할 수 있고, 수신된 데이터를 딥러닝 뉴럴 네트워크에 입력하여 출력 데이터를 생성할 수 있다.

그리고 딥러닝 서버(400)는, 생성된 출력 데이터를 가상현실(VR) 기기(100) 및/또는 모니터링 장치(300)로 송신할 수 있다.

즉, 딥러닝 서버(400)는, 가상현실(VR) 콘텐츠의 퀄리티를 평가하기 위해 필요한 데이터 처리를 딥러닝 뉴럴 네트워크로 수행하여 제공함으로써, 인공지능 기반의 고품질 데이터를 활용한 가상현실(VR) 콘텐츠 퀄리티 평가 서비스를 구현할 수 있다.

보다 자세히, 딥러닝 서버(400)는, 별도의 클라우드 서버나 컴퓨터 장치를 포함하여 딥러닝 뉴럴 네트워크와 기타 알고리즘을 통해 딥러닝을 수행할 수 있다.

이러한 딥러닝 서버(400)는, 실시예에 따라서 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 서비스를 제공하는 메인 서버(즉, 컴퓨팅 장치(301))에 직접 설치되거나, 가상현실(VR) 기기(100) 내에 장착되어 실행되는 시스템일 수 있다.

다만, 빅데이터를 보다 효과적으로 처리하기 위해서는 컴퓨팅 장치(301) 또는 가상현실(VR) 기기(100)와 별도의 장치로서 동작하는 것이 가장 바람직하므로, 이하 본 발명의 실시예에서 딥러닝 서버(400)는, 가상현실(VR) 기기(100) 및/또는 모니터링 장치(300)로부터 데이터를 수신하고 수신된 데이터를 기반으로 딥러닝을 수행하는 실시예에 한정하여 설명한다.

도 5는 본 발명의 실시예에 따른 딥러닝 서버(400)를 설명하기 위한 도면이다.

도 5를 참조하면, 이러한 딥러닝 서버(400)는, 데이터 송수신부(410), 데이터 처리부(420) 및 데이터베이스(430)를 포함할 수 있다.

먼저, 데이터 송수신부(410)는, 가상현실(VR) 기기(100) 및/또는 외부 장치와 시청자 안구 및 바이오 정보를 기반으로 가상현실(VR) 콘텐츠 퀄리티를 평가하는 서비스를 제공하기 위한 각종 데이터를 네트워크를 통해 주고받을 수 있다.

또한, 데이터 처리부(420)는, 시청자 안구 및 바이오 정보를 기반으로 가상현실(VR) 콘텐츠 퀄리티를 평가하는 서비스를 제공하기 위한 일련의 데이터 처리를 수행할 수 있다.

특히, 데이터 처리부(420)는, 콘텐츠 평가 딥러닝 뉴럴 네트워크와 연동하여 시청자 안구 및 바이오 정보에 기반한 딥러닝 데이터 처리를 수행할 수 있다.

이때, 콘텐츠 평가 딥러닝 뉴럴 네트워크는, 가상현실(VR) 기기(100) 및/또는 모니터링 장치(300)로부터 수신된 데이터를 입력하면, 가상현실(VR) 콘텐츠의 퀄리티를 평가하기 위해 필요한 각종 데이터를 출력하는 딥러닝 뉴럴 네트워크이다.

자세히, 데이터 처리부(420)는, 이러한 콘텐츠 평가 딥러닝 뉴럴 네트워크를 구동할 수 있는 프로그램을 데이터베이스(430)로부터 독출할 수 있다.

또한, 데이터 처리부(420)는, 독출된 콘텐츠 평가 딥러닝 뉴럴 네트워크 구동 프로그램의 시스템에 따라 하기 기술하는 딥러닝을 수행할 수 있다.

여기서, 도 5를 참조하면, 콘텐츠 평가 딥러닝 뉴럴 네트워크는, 집중도 평가 딥러닝 뉴럴 네트워크, 반응도 평가 딥러닝 뉴럴 네트워크, 감정 평가 딥러닝 뉴럴 네트워크 및/또는 완성도 평가 딥러닝 뉴럴 네트워크를 포함할 수 있다.

먼저, 집중도 평가 딥러닝 뉴럴 네트워크는, 시청자 반응정보를 입력 데이터로 수신할 수 있다.

자세히, 집중도 평가 딥러닝 뉴럴 네트워크는, 집중도를 평가하기에 적합한 생체 정보만을 추출하기 위해 정제된 시청자 반응정보를 수신할 수 있다.

여기서, 정제된 시청자 반응정보는, 데이터 처리부(420)가 가상현실(VR) 기기(100) 및/또는 모니터링 장치(300)로부터 수신한 복수의 정보 중에서, 각 딥러닝 뉴럴 네트워크에 매칭되는 입력 데이터로서 적합한 정보만을 추출한 정보를 의미한다.

또한, 집중도 평가 딥러닝 뉴럴 네트워크는, 수신된 입력 데이터를 기반으로 시청자가 가상현실(VR) 콘텐츠에 집중한 정도를 나타내는 지표인 집중도 평가지표를 출력할 수 있다.

또한, 반응도 평가 딥러닝 뉴럴 네트워크는, 시청자 반응정보를 입력 데이터로 수신할 수 있고, 수신된 입력 데이터를 기반으로 시청자가 가상현실(VR) 콘텐츠에 반응한 정도를 나타내는 지표인 반응도 평가지표를 출력할 수 있다.

또한, 감정 평가 딥러닝 뉴럴 네트워크는, 시청자 반응정보를 입력 데이터로 수신할 수 있고, 수신된 입력 데이터를 기반으로 가상현실(VR) 콘텐츠를 시청하는 과정에서 발생되는 시청자의 감정(예컨대, 편안함-불편함, 좋음-나쁨 등) 상태를 나타내는 지표인 감정 평가지표를 출력할 수 있다.

마지막으로, 완성도 평가 딥러닝 뉴럴 네트워크는, 상기 기술된 집중도 평가지표, 반응도 평가지표 및/또는 감정 평가지표를 포함할 수 있는 시청자 반응 평가지표와, 가상현실(VR) 콘텐츠를 구성하는 적어도 하나 이상의 구성요소에 대한 정보인 콘텐츠 구성 데이터를 입력 데이터로 수신할 수 있다.

그리고 완성도 평가 딥러닝 뉴럴 네트워크는, 수신된 시청자 반응 평가지표와 콘텐츠 구성 데이터를 기반으로 가상현실(VR) 콘텐츠의 완성 정도(예컨대, 영상, 소리, 컨셉 및/또는 이벤트 등이 의도대로 구현되었는지 여부 등)를 나타내는 지표인 완성도 평가지표를 출력할 수 있다.

한편, 이러한 콘텐츠 평가 딥러닝 뉴럴 네트워크와 연동하는 데이터 처리부(420)는, ASICs (application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세스(microprocessors), 기타 기능 수행을 위한 전기적 유닛 중 적어도 하나를 이용하여 구현될 수 있다.

또한, 실시예에 따라서 딥러닝 서버(400)는, 전체 유닛들을 제어하는 메인 데이터 처리부(420)와, 딥러닝에 따라 뉴럴 네트워크 구동 시 필요한 대용량의 연산을 처리하는 복수의 그래픽 데이터 처리부(420)(Graphics Processing Unit, GPU)를 포함하도록 구성될 수 있다.

마지막으로, 데이터베이스(430)는, 시청자 안구 및 바이오 정보를 기반으로 가상현실(VR) 콘텐츠 퀄리티를 평가하는 서비스와 관련된 각종 데이터를 저장할 수 있으며, 딥러닝을 수행하기 위해 구축된 콘텐츠 평가 딥러닝 뉴럴 네트워크 구동 프로그램을 포함할 수 있다.

이러한 데이터베이스(430)는, ROM, RAM, EPROM, 플래시 드라이브, 하드 드라이브 등과 같은 다양한 저장기기일 수 있고, 인터넷(internet)상에서 상기 데이터베이스(430)의 저장 기능을 수행하는 웹 스토리지(web storage)일 수도 있다.

- 가상현실(VR) 콘텐츠 퀄리티를 평가하는 방법

이하, 첨부된 도면을 참조하여 가상현실(VR) 콘텐츠를 시청하는 시청자의 안구 및 바이오 정보를 기반으로 가상현실(VR) 콘텐츠의 퀄리티를 평가하는 방법에 대하여 상세히 설명하고자 한다.

도 6은 본 발명의 실시예에 따른 가상현실(VR) 콘텐츠 시청자의 안구 및 바이오 정보를 기반으로 콘텐츠 퀄리티를 평가하는 방법을 설명하기 위한 흐름도이다.

도 6을 참조하면, 먼저 모니터링 장치(300)는, 전원을 실행하고 가상현실(VR) 기기(100) 및/또는 딥러닝 서버(400)와의 연결을 확인할 수 있다. (S101)

또한, 모니터링 장치(300)는, 연결을 확인한 이후 가상현실(VR) 기기(100) 및/또는 딥러닝 서버(400)와의 연동을 활성화할 수 있다.

한편, 모니터링 장치(300)와 연동되어 활성화된 가상현실(VR) 기기(100)는, 가상현실(VR) 콘텐츠를 디스플레이부를 통해 출력할 수 있다. (S103)

이때, 가상현실(VR) 콘텐츠란, 게임, 영상, 교육, 방송/광고, 의료 및/또는 제조/산업 등의 다양한 분야에서 가상현실(VR) 기기용으로 제작한 각종 콘텐츠를 의미한다.

예를 들어, 가상현실(VR) 콘텐츠는, 가상현실(VR) 기기로 구현되는 콘솔(Console) 게임 콘텐츠, 직업 훈련 콘텐츠, 가상 시뮬레이션 정신치료 콘텐츠, 3D(Three Dimensions) 영상 콘텐츠, 가상 전시관 콘텐츠 및/또는 가상 자율주행체험 콘텐츠 등을 포함할 수 있다.

자세히, 본 발명의 실시예에서 가상현실(VR) 콘텐츠는, 가상현실(VR) 기기에서 출력되는 2차원(2D, Two-dimensional space) 또는 3차원(3D, Three-dimensional space) 영상을 포함할 수 있다.

예컨대, 가상현실(VR) 콘텐츠는, 가상현실(VR) 기기에서 2차원 또는 3차원 영상으로 출력되는 영화, 애니메이션 및/또는 광고 등의 콘텐츠일 수 있다.

즉, 본 발명의 실시예에서, 가상현실(VR) 콘텐츠를 시청하는 시청자의 안구 및 바이오 정보를 기반으로 가상현실(VR) 콘텐츠의 퀄리티를 평가하는 방법은, 가상현실(VR) 기기에서 출력되는 모든 콘텐츠에 대해 적용이 가능할 수 있다. 다만, 본 발명의 기술적 특징에 의해 3차원 가상현실(VR) 영상에서 특히 효과적일 수 있다.

또한, 이러한 가상현실(VR) 콘텐츠는, 가상현실(VR) 기기(100)에서 모니터링 장치(300)의 지시에 의해 실행될 수도 있다.

계속해서, 가상현실(VR) 콘텐츠를 출력한 가상현실(VR) 기기(100)는, 가상현실(VR) 기기(100)를 사용하여 가상현실(VR) 콘텐츠를 시청하는 시청자의 실시간 반응정보(이하, 시청자 반응정보)를 감지할 수 있다. (S105)

여기서, 시청자 반응정보란, 가상현실(VR) 콘텐츠를 시청함으로써 발생하는 시청자의 실시간 안구 정보의 변화와 바이오 정보의 변화를 포함할 수 있다.

이때, 안구 정보는, 시청자의 아이트래킹(Eye tracking) 데이터, 블링크(Blink) 데이터 및 동공 데이터 중 어느 하나 이상을 포함할 수 있다.

자세히, 아이트래킹 데이터란, 가상현실(VR) 콘텐츠 시청에 따른 시청자의 안구 움직임을 추적한 정보(예컨대, 시선의 위치 또는 방향 전환 등)를 의미한다.

또한, 블링크 데이터란, 가상현실(VR) 콘텐츠 시청에 따른 시청자의 안구 깜박임과 관련된 정보(예컨대, 안구를 깜박이는 횟수 및/또는 속도 등)를 의미한다.

또한, 동공 데이터란, 가상현실(VR) 콘텐츠 시청에 따른 시청자의 동공 변화와 관련된 정보(예컨대, 동공의 크기 변화 등)를 의미한다.

이러한 데이터들을 포함하는 시청자의 안구 정보는, 가상현실(VR) 기기(100)의 카메라 모듈, 광학렌즈 등을 기반으로 획득될 수 있다.

한편, 바이오 정보는, 시청자의 심박수 데이터 및 뇌파 데이터 중 어느 하나 이상을 포함할 수 있다.

자세히, 심박수 데이터란, 가상현실(VR) 콘텐츠 시청에 따른 시청자의 맥파/맥박과 관련된 정보(예컨대, 시청자의 맥파, 맥박의 속도 및/또는 규칙성 등)를 의미한다.

또한, 뇌파 데이터란, 가상현실(VR) 콘텐츠 시청에 따른 시청자의 뇌파와 관련된 정보(예컨대, 시청자 뇌파의 진폭, 크기, 안정도 및/또는 규칙성 등)를 의미한다.

이러한 데이터들을 포함하는 시청자의 바이오 정보는, 가상현실(VR) 기기(100)의 센싱부 즉, 심박수 측정센서 및/또는 뇌파 측정센서 등을 기반으로 획득될 수 있다.

이와 같이, 가상현실(VR) 기기(100)는, 시청자 안구 및 바이오 정보를 직접적으로 측정하여 제공함으로써, 별도의 장치가 없어도 시청자 반응정보를 편리하게 수집하여 활용하게 할 수 있다.

계속해서, 가상현실(VR) 콘텐츠 시청에 따른 실시간 시청자 반응정보를 감지한 가상현실(VR) 기기(100)는, 감지된 시청자 반응정보를 모니터링 장치(300)로 송신할 수 있다.

본 발명의 실시예에서는, 모니터링 장치(300) 없이 가상현실(VR) 기기(100)에서 가상현실(VR) 콘텐츠 시청에 따른 시청자 반응정보에 기초한 콘텐츠 퀄리티 평가를 진행할 수도 있다. 다만, 복수의 시청자에 대한 데이터를 기반으로 종합적으로 콘텐츠 퀄리티 평가를 수행하기 위하여, 컨트롤 타워(Control tower)의 역할을 수행할 수 있는 모니터링 장치(300)가 있는 것이 더욱 바람직할 것이다.

다시 설명으로 돌아와서, 가상현실(VR) 기기(100)로부터 실시간 가상현실(VR) 콘텐츠의 진행에 따른 시청자 반응정보를 수신한 모니터링 장치(300)는, 수신된 시청자 반응정보를 기반으로 콘텐츠 타임라인(Contents timeline)을 생성할 수 있고, 생성된 콘텐츠 타임라인을 실시간 콘텐츠 평가 화면으로 출력할 수 있다. (S107)

자세히, 도 7을 참조하면, 먼저 콘텐츠 타임라인(10)이란, 가상현실(VR) 기기(100)에서 실시간 출력되고 있는 가상현실(VR) 콘텐츠와, 콘텐츠 시청에 따른 반응 정보와, 반응 정보에 따른 콘텐츠 평가지표 등과 관련된 각종 정보를 시간의 흐름에 따른 타임라인 형식의 그래픽 이미지로 생성하여 출력한 것을 의미한다.

실시예에서, 이러한 콘텐츠 타임라인(10)은, 가상현실(VR) 콘텐츠를 구성하는 적어도 하나 이상의 구성요소에 대한 정보인 콘텐츠 구성 데이터를 포함하는 실시간 가상현실(VR) 콘텐츠를 타임라인으로 표시할 수 있고, 콘텐츠 평가 화면에 출력되는 각종 정보의 가상현실(VR) 콘텐츠 전체에 대한 출력시점을 표시할 수 있다.

또한, 콘텐츠 타임라인(10)은, 가상현실(VR) 콘텐츠 출력시점 시의 사운드를 출력할 수 있으며, 실시간 콘텐츠 타임라인(10)과 매칭되는 타임라인을 가지는 사운드 정보 타임라인(즉, 사운드 웨이브(Sound wave))를 표시할 수 있다.

더하여, 콘텐츠 타임라인(10)은, 실시간 콘텐츠 타임라인(10)과 매칭되는 타임라인을 가지는 안구 정보 타임라인 및/또는 바이오 정보 타임라인을 표시할 수 있다.

이때, 안구 정보 타임라인은, 수신된 아이트래킹 데이터에 기반하여 생성될 수 있으며, 시간의 흐름에 따른 시청자의 안구 정보가 그래프 형식으로 표시될 수 있다.

또한, 바이오 정보 타임라인은, 수신된 심박수 데이터 및/또는 뇌파 데이터에 기반하여 생성될 수 있으며, 시간의 흐름에 따른 시청자의 바이오 정보가 심박수 웨이브 그래프 및/또는 브레인 웨이브 그래프 형식으로 표시될 수 있다.

즉, 콘텐츠 타임라인(10)은, 실시간 가상현실(VR) 콘텐츠 타임라인(10), 가상현실(VR) 콘텐츠 전체에 대한 출력시점, 사운드 정보 타임라인, 안구 정보 타임라인 및/또는 바이오 정보 타임라인 중 적어도 어느 하나 이상을 표시할 수 있다.

한편, 콘텐츠 평가 화면이란, 실시간 출력되는 가상현실(VR) 콘텐츠에 대하여 시청자 반응정보에 기초한 콘텐츠 퀄리티 평가 시스템을 통해 도출된 콘텐츠 퀄리티 평가에 대한 다양한 결과정보를 그래픽 이미지로 출력하는 화면을 의미한다.

도 7을 참조하면, 이러한 콘텐츠 평가 화면은, 콘텐츠 타임라인(10), 안구 정보 표시창(20), 바이오 정보 표시창(30) 및 다중 아이트래킹 정보 표시창(40) 중 적어도 하나 이상을 포함할 수 있다.

이때, 안구 정보 표시창(20)이란, 가상현실(VR) 콘텐츠 시청자의 안구를 카메라로 촬영한 영상을 실시간으로 출력하는 화면일 수 있다.

예를 들어, 안구 정보 표시창(20)은, 적외선 안구 촬영영상 및/또는 동공 하이라이트(Highlight) 표식 영상 등을 출력할 수 있다.

또한, 안구 정보 표시창(20)은, 시간에 따라 시청자의 시선이 머무른 분포 정보를 가상현실(VR) 콘텐츠와 매칭하여 표시할 수 있다. 자세히, 안구 정보 표시창(20)은, 가상현실(VR) 콘텐츠를 표시하고 영상의 씬(scene) 별로 시선이 머무른 분포를 감지한 후 이를 표시할 수 있다.

이때, 안구 정보 표시창(20)은, 좌안과 우안을 구분하여 시선이 머무른 분포를 표시할 수 있다.

예를 들어, 안구 정보 표시창(20)은, 타임라인에서 특정 시점을 선택하면, 특정 시점에 대한 씬을 표시하고, 상기 씬이 출력될 때 시청자의 시선이 머문 분포를 산출한 후 상기 분포에 따라서 채도를 달리하여 표시함으로써, 모니터링자가 상기 씬에 대해 시청자가 어떠한 영역에 집중하는지 파악하도록 제공할 수 있다.

또한, 바이오 정보 표시창(30)이란, 가상현실(VR) 콘텐츠 시청자의 바이오 정보를 보다 디테일(Detail)한 정보까지 포함하여 출력하는 화면일 수 있다.

예를 들어, 바이오 정보 표시창(30)은, 콘텐츠 타임라인(10)에 표시된 바이오 정보 타임라인보다 세밀한 시간 간격을 가지는 바이오 정보 타임라인, 해당 타임라인과 매칭되는 바이오 정보 기반 이미지 및/또는 텍스트 등을 출력할 수 있다.

또한, 다중 아이트래킹 정보 표시창(40)이란, 동일한 가상현실(VR) 콘텐츠를 시청하는 복수의 시청자에 대한 아이트래킹 데이터를 하나로 통합하여 하나의 화면으로 출력할 수 있다.

실시예로, 다중 아이트래킹 정보 표시창(40)은, 동일한 가상현실(VR) 콘텐츠에 대하여 복수의 시청자가 집중하고 있는 영역을 기설정된 기준(예컨대, 명도 차 등)에 따라 표시할 수 있다.

자세히, 다중 아이트래킹 정보 표시창(40)은, 일 시점의 가상현실(VR) 콘텐츠가 표시될 때, 복수의 시청자의 시선이 어느 영역에 집중되어 있는지를 나타내는 창일 수 있다.

예를 들어, 다중 아이트래킹 정보 표시창(40)은, 가상현실(VR) 콘텐츠에서 일 시점을 선택하면, 일 시점의 씬이 표시되고 상기 씬이 표시될 때 복수의 시청자들이 주시한 영역을 분석한 후, 많은 시청자들이 주시한 영역을 적색으로 표시하고 적게 주시한 영역을 청색으로 표시할 수 있다.

즉, 모니터링 장치(300)는, 수신된 시청자 반응정보를 다양한 형식의 그래픽 이미지로 생성하여 제공함으로써, 평가자가 가상현실(VR) 콘텐츠에 대한 시청자의 반응정보를 보다 손쉽고 직관적으로 확인하게 할 수 있다.

계속해서, 콘텐츠 타임라인(10)을 생성하고 콘텐츠 평가 화면을 출력한 모니터링 장치(300)는, 생성된 콘텐츠 타임라인(10) 정보를 딥러닝 서버(400)로 송신할 수 있다.

본 발명의 실시예에서는, 별도의 딥러닝 서버(400)가 없어도 모니터링 장치(300) 및/또는 가상현실(VR) 기기(100)에서 자체적으로 딥러닝을 수행하여 가상현실(VR) 콘텐츠 퀄리티를 평가할 수도 있다. 다만, 별도의 딥러닝 서버(400)를 통해 딥러닝을 수행하는 것이 빅데이터 기반의 딥러닝을 수행함에 있어 가장 바람직한 실시예이므로, 이하에서는 모니터링 장치(300) 및/또는 가상현실(VR) 기기(100)와는 별도의 딥러닝 서버(400)가 딥러닝 뉴럴 네트워크를 통해 딥러닝을 수행하는 것으로 설명한다.

다시 돌아와서, 모니터링 장치(300)가 콘텐츠 타임라인(10) 정보를 딥러닝 서버(400)로 송신한 이후, 콘텐츠 타임라인(10) 정보를 수신한 딥러닝 서버(400)는, 수신된 콘텐츠 타임라인(10) 정보를 기반으로 딥러닝에 필요한 정보를 추출할 수 있다. (S109)

자세히, 딥러닝 서버(400)는, 먼저 수신된 콘텐츠 타임라인(10) 정보로부터 콘텐츠 평가 딥러닝 뉴럴 네트워크에 입력할 입력 데이터로 사용할 정보 즉, 시청자 반응정보(안구 정보 및 바이오 정보) 및/또는 콘텐츠 구성 데이터 정보를 추출할 수 있다.

이때, 콘텐츠 평가 딥러닝 뉴럴 네트워크는, 입력된 데이터를 기반으로 가상현실(VR) 콘텐츠의 퀄리티를 평가하기 위해 필요한 각종 평가지표를 출력하는 딥러닝 뉴럴 네트워크들을 포함할 수 있다.

이러한 콘텐츠 평가 딥러닝 뉴럴 네트워크는, 집중도 평가 딥러닝 뉴럴 네트워크, 반응도 평가 딥러닝 뉴럴 네트워크, 감정 평가 딥러닝 뉴럴 네트워크 및/또는 완성도 평가 딥러닝 뉴럴 네트워크를 포함할 수 있다.

다시 돌아와서, 시청자 반응정보 및/또는 콘텐츠 구성 데이터 정보를 추출한 딥러닝 서버(400)는, 추출된 시청자 반응정보로부터 각 딥러닝 뉴럴 네트워크의 입력 데이터에 적합한 데이터만을 선별하여 각 딥러닝 뉴럴 네트워크에 매칭되는 정제된 시청자 반응정보를 생성할 수 있다.

실시예로, 딥러닝 서버(400)는, 시청자 반응정보로부터 아이트래킹 데이터, 동공 데이터, 블링크 데이터 및/또는 뇌파 데이터를 선별하여 집중도 평가 딥러닝 뉴럴 네트워크에 입력할 정제된 시청자 반응정보 입력 데이터를 생성할 수 있다.

또한, 딥러닝 서버(400)는, 시청자 반응정보로부터 블링크 데이터, 동공 데이터, 심박수 데이터 및/또는 뇌파 데이터를 선별하여 반응도 평가 딥러닝 뉴럴 네트워크에 입력할 정제된 시청자 반응정보 입력 데이터를 생성할 수 있다.

또한, 딥러닝 서버(400)는, 시청자 반응정보로부터 블링크 데이터, 동공 데이터, 심박수 데이터 및/또는 뇌파 데이터를 선별하여 감정 평가 딥러닝 뉴럴 네트워크에 입력할 정제된 시청자 반응정보 입력 데이터를 생성할 수 있다.

이와 같이, 딥러닝 서버(400)는, 각 평가요소 별 딥러닝 뉴럴 네트워크에 입력하기 적합한 데이터를 선별하여 선별된 데이터에 기반한 입력 데이터를 생성함으로써, 보다 정확하고 효과적인 딥러닝을 수행할 수 있다.

계속해서, 각 딥러닝 뉴럴 네트워크에 매칭되는 선별된 시청자 반응정보를 생성한 딥러닝 서버(400)는, 선별된 시청자 반응정보 각각을 매칭되는 딥러닝 뉴럴 네트워크에 입력하여 콘텐츠 퀄리티 정보를 출력할 수 있다. (S111)

여기서, 콘텐츠 퀄리티 정보란, 시청자 반응 평가지표 및/또는 콘텐츠 평가지표를 포괄하는 정보를 의미한다.

이때, 시청자 반응 평가지표는, 집중도 평가지표, 반응도 평가지표 및 감정 평가지표 중 적어도 하나 이상을 포함할 수 있다.

자세히, 집중도 평가지표란, 집중도 평가 딥러닝 뉴럴 네트워크가 해당 딥러닝 뉴럴 네트워크에 매칭되어 있는 시청자 반응정보를 입력받아 출력한 출력 데이터로서, 시청자가 가상현실(VR) 콘텐츠에 집중한 정도를 나타내는 지표이다.

실시예에서, 이러한 집중도 평가지표는, 아이트래킹 데이터의 시선의 위치 및/또는 방향 전환 정보, 동공 데이터의 동공 크기변화 정보, 블링크 데이터의 안구를 깜박이는 횟수 및/또는 속도 정보 및 뇌파 데이터의 뇌파의 규칙성 정보 중 적어도 어느 하나 이상의 정보를 기반으로 딥러닝을 통해 출력될 수 있다.

또한, 반응도 평가지표란, 반응도 평가 딥러닝 뉴럴 네트워크가 해당 딥러닝 뉴럴 네트워크에 매칭되어 있는 시청자 반응정보를 입력받아 출력한 출력 데이터로서, 시청자가 실시간 가상현실(VR) 콘텐츠 진행에 따라 반응한 정도를 나타내는 지표이다.

즉, 반응도 평가지표는, 가상현실(VR) 콘텐츠 진행에 따라 시청자가 실시간으로 반응한 정도를 나타내는 지표일 수 있다.

이러한 반응도 평가지표는, 일반적인 가상현실(VR) 콘텐츠의 스토리 진행 상황에서의 시청자의 반응 정도와, 특정 이벤트 발생 시의 시청자의 반응 정도의 차이를 파악할 수 있어, 평가자가 콘텐츠의 퀄리티를 파악하기 적합한 지표일 수 있다.

실시예에서, 이러한 반응도 평가지표는, 블링크 데이터의 안구를 깜박이는 횟수 및/또는 속도 정보, 동공 데이터의 동공 크기변화 정보, 심박수 데이터의 맥파/맥박의 속도 정보, 뇌파 데이터의 뇌파의 진폭 정보 중 적어도 어느 하나 이상의 정보를 기반으로 딥러닝을 통해 출력될 수 있다.

또한, 감정 평가지표란, 감정 평가 딥러닝 뉴럴 네트워크가 해당 딥러닝 뉴럴 네트워크에 매칭되어 있는 정제된 시청자 반응정보를 입력받아 출력한 출력 데이터로서, 가상현실(VR) 콘텐츠를 시청하는 과정에서 발생되는 시청자의 감정(예컨대, 편안함-불편함, 좋음-나쁨 등) 상태를 나타내는 지표이다.

실시예에서, 이러한 감정 평가지표는, 블링크 데이터의 안구를 깜박이는 횟수 및/또는 속도 정보, 동공 데이터의 동공 크기변화 정보, 심박수 데이터의 맥파/맥박의 규칙성 정보 및 뇌파 데이터의 뇌파의 안정도 정보 중 적어도 하나 이상의 정보를 기반으로 딥러닝을 통해 출력될 수 있다.

한편, 콘텐츠 평가지표는 완성도 평가지표를 기반으로 출력되며, 여기서 완성도 평가지표란, 완성도 평가 딥러닝 뉴럴 네트워크가 상기 기술된 시청자 반응 평가지표(즉, 집중도, 반응도 및 감정 평가지표 중 적어도 하나 이상을 포함하는 평가지표)와, 수신된 콘텐츠 타임라인(10) 정보로부터 추출된 콘텐츠 구성 데이터 정보를 입력받아 출력한 출력 데이터이다.

이때, 추출된 콘텐츠 구성 데이터는, 실시간 출력되는 가상현실(VR) 콘텐츠의 이벤트 정보(예를 들면, 돌발 알람 출력 이벤트 등)를 포함하는 정보일 수 있다.

좀더 자세히, 콘텐츠 구성 데이터는, 가상현실(VR) 콘텐츠의 구성에 대한 데이터와, 상기 가상현실(VR) 콘텐츠의 구성에 따른 시청자의 반응을 콘텐츠 제작자가 사전에 예측한 지표를 포함할 수 있다.

예를 들어, 콘텐츠 구성 데이터는, 가상현실(VR) 콘텐츠의 타임라인 별 스토리 구성, 스토리 진행 시점별 예측 감정 평가지표, 이벤트 발생 시점 및 이벤트 발생에 따른 예측 반응도 평가지표 등을 포함할 수 있다.

완성도 평가지표는, 이러한 콘텐츠 구성 데이터와, 시청자 반응정보를 기반으로 콘텐츠의 완성 정도(예컨대, 영상, 소리, 컨셉 및/또는 이벤트 등에 따른 시청자의 반응이 의도대로 구현되었는지 여부 등)를 나타내는 지표일 수 있다.

예를 들어, 이러한 완성도 평가지표는, 실시간 가상현실(VR) 콘텐츠의 이벤트 정보, 실시간 시청자 반응정보에 기반하여 출력된 실시간 집중도, 반응도 및/또는 감정 평가지표를 기반으로 딥러닝을 통해 출력된 출력 데이터일 수 있다.

이와 같이 출력된 완성도 평가지표는, 제작자의 의도대로 가상현실(VR) 콘텐츠 시청에 따라 시청자가 특정 감정을 느꼈는지, 반응을 하였는지, 전체적으로 집중도가 높은지 등을 포괄적으로 파악하여, 콘텐츠의 전체적인 퀄리티를 파악할 수 있는 지표일 수 있다.

이와 같이, 딥러닝 서버(400)는, 콘텐츠 평가 딥러닝 뉴럴 네트워크를 이용하여 시청자 반응과 콘텐츠에 대한 다양한 평가지표를 출력해 제공함으로써, 인공지능에 기초한 빠르고 효율적인 자동화 데이터 처리를 수행할 수 있고, 시청자 반응정보에 기반한 가상현실(VR) 콘텐츠 퀄리티 평가 서비스를 원활하게 구현할 수 있다.

한편, 딥러닝 서버(400)는, 완성도 평가 딥러닝 뉴럴 네트워크를 이용하여 콘텐츠 평가지표(즉, 완성도 평가지표)를 출력할 때, 복수의 시청자에 대한 시청자 반응 평가지표를 활용할 수 있다.

자세히, 딥러닝 서버(400)는, 복수의 시청자 반응정보에 기초한 콘텐츠 평가지표를 출력하기 위하여, 완성도 평가 딥러닝 뉴럴 네트워크에 복수의 시청자 반응정보를 기반으로 딥러닝을 통해 출력된 복수의 시청자 반응 평가지표와, 콘텐츠 구성 데이터를 입력할 수 있다.

그리고 복수의 시청자 반응 평가지표와 콘텐츠 구성 데이터를 입력 데이터로 수신한 완성도 평기 딥러닝 뉴럴 네트워크는, 수신된 입력 데이터에 기초하여 복수의 시청자 반응정보에 기반하여 분석된 콘텐츠의 완성 정도(예컨대, 영상, 소리, 컨셉 및/또는 이벤트 등이 의도대로 구현되었는지 여부 등)를 완성도 평가지표로 출력할 수 있다.

즉, 딥러닝 서버(400)는, 복수의 시청자에 대한 시청자 반응정보를 종합적으로 분석하여 콘텐츠 평가지표를 제공함으로써, 가상현실(VR) 콘텐츠 퀄리티 평가의 정확도를 향상시킬 수 있다.

또한, 딥러닝 서버(400)는, 콘텐츠 평가 딥러닝 뉴럴 네트워크에서 출력된 시청자 반응 평가지표 및/또는 콘텐츠 평가지표를 포괄하여 콘텐츠 퀄리티 정보를 생성할 수 있다.

계속해서, 콘텐츠 퀄리티 정보를 생성한 딥러닝 서버(400)는, 생성된 콘텐츠 퀄리티 정보를 모니터링 장치(300)로 송신할 수 있다.

그리고 딥러닝 서버(400)로부터 콘텐츠 퀄리티 정보를 수신한 모니터링 장치(300)는, 수신된 콘텐츠 퀄리티 정보를 기반으로 콘텐츠 퀄리티 타임라인 그래프(50)를 생성하여 출력할 수 있다. (S113)

자세히, 모니터링 장치(300)는, 타임라인에 따른 콘텐츠 퀄리티 정보를 딥러닝 서버(400)로부터 수신할 수 있다.

또한, 모니터링 장치(300)는, 수신된 콘텐츠 퀄리티 정보가 포함하는 복수의 평가지표(즉, 시청자 반응 평가지표와 콘텐츠 평가지표)를 타임라인에 따라 일괄적으로 표시할 수 있는 콘텐츠 퀄리티 타임라인 그래프(50)를 생성할 수 있다.

보다 상세히, 도 7을 참조하면, 실시예에서 콘텐츠 퀄리티 타임라인 그래프(50)는, 가상현실(VR) 콘텐츠 시청자 반응정보에 기반한 복수의 각 평가지표를 가상현실(VR) 콘텐츠의 타임라인과 매칭되는 타임라인에 따라 그래픽 이미지로 표시할 수 있다.

이때, 콘텐츠 퀄리티 타임라인 그래프(50)는, 다양한 형태의 그래프 형식으로 복수의 평가지표를 일괄 표시할 수 있으며, 예를 들면, 복수의 평가지표를 직관적으로 확인하기 용이한 원형 그래프의 형식으로 구현될 수 있다.

또한, 실시예에서 콘텐츠 퀄리티 타임라인 그래프(50)는, 타임라인 그래프 형식으로 일괄 표시된 복수의 평가지표 각각을 효과적으로 표시하기 위하여, 각각의 평가지표 타임라인 그래프를 채도, 명도 및/또는 색상을 달리하여 표시할 수 있다.

자세히, 실시예로 콘텐츠 퀄리티 타임라인 그래프(50)는, 각 평가지표(즉, 집중도 평가지표, 반응도 평가지표, 감정 평가지표 및/또는 완성도 평가지표) 간의 구분을 용이하게 하기 위하여 각 평가지표 타임라인 그래프의 색상을 서로 다르게 설정할 수 있다.

또한, 콘텐츠 퀄리티 타임라인 그래프(50)는, 각 평가지표 타임라인 그래프 내에서의 데이터 변화를 효과적으로 표시하기 위하여, 각 평가지표 타임라인 그래프의 데이터 변화에 따라 각 그래프 색상의 채도 및/또는 명도를 변경하여 표시할 수 있다.

즉, 콘텐츠 퀄리티 타임라인 그래프(50)는, 각 평가지표 타임라인 그래프의 색상, 채도 및/또는 명도를 달리해 표시하여, 복수의 평가지표를 일괄 표시하는 콘텐츠 퀄리티 타임라인 그래프(50)의 직관성을 향상시킬 수 있다.

한편, 이러한 콘텐츠 퀄리티 타임라인 그래프(50)를 생성한 모니터링 장치(300)는, 생성된 콘텐츠 퀄리티 타임라인 그래프(50)를 콘텐츠 평가 화면에 포함하여 출력할 수 있다.

이와 같이, 모니터링 장치(300)는, 딥러닝 뉴럴 네트워크에서 출력된 복수의 평가지표를 타임라인 형식으로 일괄 확인할 수 있는 콘텐츠 퀄리티 타임라인 그래프(50)를 생성해 제공함으로써, 가상현실(VR) 콘텐츠에 대한 종합적인 평가 결과를 직관적으로 용이하게 확인하도록 할 수 있다.

이상, 본 발명의 실시예에서 가상현실(VR) 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 시스템 및 방법은, 가상현실(VR) 콘텐츠를 사용하는 시청자의 반응을 객관적으로 평가할 수 있는 분석 모델을 제공함으로써, 명확한 근거에 기반한 가상현실(VR) 콘텐츠의 퀄리티 평가가 구현되게 할 수 있고, 이를 통해 가상현실(VR) 콘텐츠 개선 방향을 제시할 수 있는 효과가 있다.

또한, 본 발명의 실시예에서 가상현실(VR) 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 시스템 및 방법은, 시청자가 착용한 가상현실(VR) 기기(100)를 통해 시청자 안구 및 바이오 정보를 직접 획득하여 활용함으로써, 별도의 장치가 없어도 효과적으로 시청자의 반응정보를 수집할 수 있는 효과가 있다.

또한, 본 발명의 실시예에서 가상현실(VR) 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 시스템 및 방법은, 획득된 시청자의 안구 및 바이오 정보를 기반으로 콘텐츠에 대한 시청자의 반응을 타임라인으로 표시하는 그래픽 이미지를 생성해 제공함으로써, 가상현실(VR) 콘텐츠에 대한 시청자의 반응정보를 직관적으로 확인하게 할 수 있다.

또한, 본 발명의 실시예에서 가상현실(VR) 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 시스템 및 방법은, 딥러닝 뉴럴 네트워크를 이용하여 시청자 반응과 콘텐츠에 대한 평가지표를 출력해 제공함으로써, 인공지능에 기초한 빠르고 효율적인 자동화 데이터 처리를 할 수 있다.

또한, 본 발명의 실시예에서 가상현실(VR) 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 시스템 및 방법은, 딥러닝 뉴럴 네트워크에서 출력된 복수의 평가지표를 타임라인 형식으로 일괄 확인할 수 있는 그래프를 생성해 제공함으로써, 가상현실(VR) 콘텐츠에 대한 평가 결과를 직관적·효과적으로 확인하게 할 수 있다.

또한, 본 발명의 실시예에서 가상현실(VR) 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 콘텐츠 퀄리티를 평가하는 시스템 및 방법은, 복수의 시청자에 대한 데이터를 종합적으로 분석하는 기능을 제공함으로써, 보다 정확한 가상현실(VR) 콘텐츠 퀄리티 평가를 수행할 수 있다.

또한, 이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

Claims (7)

1. 모니터링 장치에서 가상현실 콘텐츠를 시청하는 시청자의 안구 및 바이오 정보를 수신하여 상기 가상현실 콘텐츠의 퀄리티를 평가하는 방법으로서,
   상기 가상현실 콘텐츠 시청에 따른 시청자의 안구 및 바이오 정보를 획득하는 단계;
   상기 획득된 안구 및 바이오 정보를 기반으로 콘텐츠 평가 화면을 출력하는 단계;
   상기 안구 및 바이오 정보를 딥러닝 뉴럴 네트워크에 입력하여 상기 가상현실 콘텐츠에 대한 콘텐츠 퀄리티 정보를 획득하는 단계; 및
   상기 획득된 콘텐츠 퀄리티 정보를 표시하는 단계를 포함하는 고,
   상기 획득된 콘텐츠 퀄리티 정보를 표시하는 단계는,
   콘텐츠 퀄리티 타임라인 그래프를 표시하는 단계를 포함하고,
   상기 콘텐츠 퀄리티 타임라인 그래프를 표시하는 단계는,
   집중도 평가지표, 반응도 평가지표, 감정 평가지표 및 완성도 평가지표 중 적어도 둘 이상의 각 평가지표를 타임라인 그래프의 형식으로 일괄 표시하는 단계를 포함하는
   가상현실 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 가상현실 콘텐츠 퀄리티를 평가하는 방법.
2. 제 1 항에 있어서,
   상기 가상현실 콘텐츠 시청에 따른 시청자의 안구 및 바이오 정보를 획득하는 단계는,
   상기 가상현실 콘텐츠를 출력하는 가상현실 기기에서 센싱한 상기 안구 정보와 상기 바이오 정보를 수신하는 단계를 포함하는
   가상현실 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 가상현실 콘텐츠 퀄리티를 평가하는 방법.
3. 제 1 항에 있어서,
   상기 콘텐츠 평가 화면을 출력하는 단계는,
   실시간 가상현실 콘텐츠 타임라인, 사운드 정보 타임라인, 안구 정보 타임라인 및 바이오 정보 타임라인 중 적어도 어느 하나 이상의 타임라인을 표시하는 단계를 포함하는
   가상현실 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 가상현실 콘텐츠 퀄리티를 평가하는 방법.
4. 제 1 항에 있어서,
   상기 콘텐츠 평가 화면을 출력하는 단계는,
   상기 시청자의 시선이 머무른 분포를 상기 가상현실 콘텐츠와 매칭하여 표시하는 안구 정보 표시창 또는 복수의 시청자의 시선분포를 상기 가상현실 콘텐츠와 매칭하여 표시하는 다중 아이트래킹 정보 표시창을 표시하는 단계를 포함하는
   가상현실 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 가상현실 콘텐츠 퀄리티를 평가하는 방법.
5. 모니터링 장치에서 가상현실 콘텐츠를 시청하는 시청자의 안구 및 바이오 정보를 수신하여 상기 가상현실 콘텐츠의 퀄리티를 평가하는 방법으로서,
   상기 가상현실 콘텐츠 시청에 따른 시청자의 안구 및 바이오 정보를 획득하는 단계;
   상기 획득된 안구 및 바이오 정보를 기반으로 콘텐츠 평가 화면을 출력하는 단계;
   상기 안구 및 바이오 정보를 딥러닝 뉴럴 네트워크에 입력하여 상기 가상현실 콘텐츠에 대한 콘텐츠 퀄리티 정보를 획득하는 단계; 및
   상기 획득된 콘텐츠 퀄리티 정보를 표시하는 단계를 포함하는 고,제 1 항에 있어서,
   상기 가상현실 콘텐츠에 대한 콘텐츠 퀄리티 정보를 획득하는 단계는,
   딥러닝 서버의 콘텐츠 평가 딥러닝 뉴럴 네트워크를 이용하여 상기 콘텐츠 퀄리티 정보를 구성하는 평가지표를 출력하는 단계를 포함하고,
   상기 평가지표는,
   집중도 평가 딥러닝 뉴럴 네트워크를 통해 출력된 집중도 평가지표, 반응도 평가 딥러닝 뉴럴 네트워크를 통해 출력된 반응도 평가지표, 감정 평가 딥러닝 뉴럴 네트워크를 통해 출력된 감정 평가지표 및 완성도 평가 딥러닝 뉴럴 네트워크를 통해 출력된 완성도 평가지표 중 어느 하나 이상을 포함하는
   가상현실 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 가상현실 콘텐츠 퀄리티를 평가하는 방법.
6. 제 5 항에 있어서,
   상기 가상현실 콘텐츠에 대한 콘텐츠 퀄리티 정보를 획득하는 단계는, 복수의 시청자에 대한 상기 안구 및 바이오 정보와 상기 가상현실 콘텐츠의 콘텐츠 구성 데이터를 상기 콘텐츠 평가 딥러닝 뉴럴 네트워크에 입력하고, 상기 콘텐츠 평가 딥러닝 뉴럴 네트워크에서 출력된 상기 콘텐츠 퀄리티 정보를 획득하는 단계를 더 포함하는
   가상현실 콘텐츠 시청에 따른 생체 정보 변화에 기초하여 가상현실 콘텐츠 퀄리티를 평가하는 방법.
7. 삭제

Images