KR102291257B1 - 가상현실 컨텐츠 체감피로도 저감 장치 및 그 방법 - Google Patents

가상현실 컨텐츠 체감피로도 저감 장치 및 그 방법 Download PDF

Info

Publication number
KR102291257B1
KR102291257B1 KR1020190166575A KR20190166575A KR102291257B1 KR 102291257 B1 KR102291257 B1 KR 102291257B1 KR 1020190166575 A KR1020190166575 A KR 1020190166575A KR 20190166575 A KR20190166575 A KR 20190166575A KR 102291257 B1 KR102291257 B1 KR 102291257B1
Authority
KR
South Korea
Prior art keywords
motion sickness
virtual reality
score
motion
reality content
Prior art date
Application number
KR1020190166575A
Other languages
English (en)
Other versions
KR20200073160A (ko
Inventor
노용만
김학구
이상민
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020190166575A priority Critical patent/KR102291257B1/ko
Publication of KR20200073160A publication Critical patent/KR20200073160A/ko
Priority to US16/985,333 priority patent/US11252371B2/en
Application granted granted Critical
Publication of KR102291257B1 publication Critical patent/KR102291257B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

가상현실 컨텐츠 체감피로도 저감 장치 및 그 방법이 개시된다. 본 발명의 일 실시예에 따른 가상현실 컨텐츠 멀미 저감 장치는 가상현실 컨텐츠의 분석을 통해 미리 설정된 멀미유발인자들 각각에 대한 특징 정보를 추출하는 제1 모듈; 및 상기 추출된 멀미유발인자들 각각에 대한 특징 정보에 기초하여 상기 멀미유발인자들 중 멀미 저감이 필요한 멀미유발인자를 결정하고, 상기 결정된 멀미유발인자 각각에 대해 미리 학습된 딥 러닝 뉴럴 네트워크를 이용하여 해당 특징 정보에 대한 멀미 저감을 수행함으로써, 상기 가상현실 컨텐츠를 미리 설정된 기준 멀미 점수 이하의 멀미 점수를 가지는 가상현실 컨텐츠로 생성하는 제2 모듈을 포함한다.

Description

가상현실 컨텐츠 체감피로도 저감 장치 및 그 방법 {Apparatus and method for virtual reality sickness reduction based on virtual reality sickness assessment}
본 발명은 가상현실(VR) 컨텐츠의 사이버 멀미를 저감시키는 기술에 관한 것으로, 보다 상세하게는 멀미유발인자 특징 정보에 대한 분석 기반으로 VR 컨텐츠의 사이버 멀미를 저감시킬 수 있는 장치 및 그 방법에 관한 것이다.
최근 3D display, head mount display(HMD) 등 디스플레이의 발전과 함께 가상현실(virtual reality, VR) 컨텐츠에 대한 관심이 커지면서 게임, 방송, 엔터테인먼트 등 다양한 분야로 VR 관련 시장이 크게 확대되고 있다.
VR 컨텐츠란 시청자가 지금 보고 있는 영상을 실제로 자신이 체험하는 것 같은 몰입감을 주는 컨텐츠를 말한다. 실제와 같은 몰입감을 시청자에게 제공하기 위해 촬영 및 제작된 VR 컨텐츠는 일반적으로 스테레오 형식, 360도 영상정보, 빠르고 많은 움직임 등의 특성을 가진다. 하지만 이러한 특성 때문에 몰입감이 높은 VR 컨텐츠를 시청할 때, 약 70~80%의 시청자는 심한 피로 또는 사이버 멀미(Cybersickness)를 느낀다고 알려져 있다.
그리고, VR 컨텐츠를 시청할 때, 피로나 멀미를 느낀 대부분의 시청자들은 시청 이후에도 이러한 증상이 지속되는 현상을 경험한다고 알려져 있다. 이러한 부작용을 막고 안전한 VR 컨텐츠 시청 및 제작을 위해 VR 컨텐츠의 사이버 멀미를 저감하는 기술 개발이 매우 시급하다.
VR 컨텐츠 시청자의 경우, VR 컨텐츠 멀미 저감 기술을 통해 제작된 안전한 VR 컨텐츠를 제공받을 수 있다. VR 컨텐츠 제작자의 경우, VR 컨텐츠 멀미 저감 기술을 통해, 멀미 유발이 심한 VR 컨텐츠의 멀미 정도를 조절함으로써 보다 안전한 VR 컨텐츠를 제작할 수 있다. 그러나 현재는 VR의 멀미 요소를 분석하고 이를 저감하는 연구가 거의 없다.
VR 컨텐츠를 시청할 때 피로와 멀미를 유발하는 요인에는 다양한 VR 컨텐츠 특성들이 존재하는데, 예를 들어, 빠르고 복잡한 움직임과 영상의 낮은 해상도, 영상의 낮은 프레임 레이트 등이 있다.
따라서, VR 컨텐츠로부터 VR 멀미 분석 및 평가 모듈에 의해 분석된 피로 등을 유발할 수 있는 요인들을 자동으로 저감할 수 있는 VR 컨텐츠 멀미 저감 기술이 필요하다.
본 발명의 실시예들은, 멀미유발인자 특징 정보에 대한 분석 기반으로 VR 컨텐츠의 사이버 멀미를 저감시킬 수 있는 장치 및 그 방법을 제공한다.
구체적으로, 본 발명의 실시예들은, VR 컨텐츠 분석을 통해 멀미유발인자들 각각의 특징 정보를 추출하고, 추출된 특징 정보에 기반한 딥 러닝 뉴럴 네트워크를 이용하여 해당 VR 컨텐츠의 멀미 유발 특징을 저감시킬 수 있는 장치 및 그 방법을 제공한다.
본 발명의 일 실시예에 따른 가상현실 컨텐츠 멀미 저감 장치는 가상현실 컨텐츠의 분석을 통해 미리 설정된 멀미유발인자들 각각에 대한 특징 정보를 추출하는 제1 모듈; 및 상기 추출된 멀미유발인자들 각각에 대한 특징 정보에 기초하여 상기 멀미유발인자들 중 멀미 저감이 필요한 멀미유발인자를 결정하고, 상기 결정된 멀미유발인자 각각에 대해 미리 학습된 딥 러닝 뉴럴 네트워크를 이용하여 해당 특징 정보에 대한 멀미 저감을 수행함으로써, 상기 가상현실 컨텐츠를 미리 설정된 기준 멀미 점수 이하의 멀미 점수를 가지는 가상현실 컨텐츠로 생성하는 제2 모듈을 포함한다.
상기 제1 모듈은 딥 러닝 기반으로 상기 가상현실 컨텐츠에 대한 분석을 수행하고, 움직임 특징, 해상도 특징과 프레임레이트 특징을 포함하는 상기 멀미유발인자들 각각에 대한 특징 정보를 추출할 수 있다.
상기 제2 모듈은 상기 결정된 멀미유발인자 각각의 특징 정보에 대한 멀미 저감을 상기 가상현실 컨텐츠에 대해 순차적으로 수행함으로써, 상기 가상현실 컨텐츠를 미리 설정된 기준 멀미 점수 이하의 멀미 점수를 가지는 가상현실 컨텐츠로 생성할 수 있다.
상기 제2 모듈은 상기 멀미유발인자들 각각의 특징 정보에 기초하여 상기 가상현실 컨텐츠의 멀미 점수를 계산하고, 상기 계산된 멀미 점수에 대한 각 특징 정보에서의 그래디언트(gradient) 크기를 계산하며, 상기 계산된 그래디언트 크기에 기초하여 상기 멀미 점수에 대한 상기 특징 정보 각각의 영향력 정보를 분석함으로써, 상기 멀미 저감이 필요한 멀미유발인자로 결정할 수 있다.
상기 제2 모듈은 상기 가상현실 컨텐츠가 미리 설정된 기준 멀미 점수 이상의 움직임 특징을 가지는 경우 상기 가상현실 컨텐츠의 프레임을 미리 설정된 기준 움직임 이하의 프레임으로 생성하는 제1 딥 뉴럴 네트워크, 상기 가상현실 컨텐츠가 상기 기준 멀미 점수 이상의 해상도를 가지는 경우 상기 가상현실 컨텐츠의 프레임에 대한 해상도를 미리 설정된 고해상도로 업스케일링하는 제2 딥 뉴럴 네트워크와 상기 가상현실 컨텐츠가 상기 기준 멀미 점수 이상의 프레임레이트를 가지는 경우 상기 가상현실 컨텐츠의 프레임들에 대한 보간 프레임을 생성하는 제3 딥 뉴럴 네트워크를 포함할 수 있다.
본 발명의 일 실시예에 따른 가상현실 컨텐츠 멀미 저감 방법은 가상현실 컨텐츠의 분석을 통해 미리 설정된 멀미유발인자들 각각에 대한 특징 정보를 추출하는 단계; 상기 추출된 멀미유발인자들 각각에 대한 특징 정보에 기초하여 상기 멀미유발인자들 중 멀미 저감이 필요한 멀미유발인자를 결정하는 단계; 및 상기 결정된 멀미유발인자 각각에 대해 미리 학습된 딥 러닝 뉴럴 네트워크를 이용하여 해당 특징 정보에 대한 멀미 저감을 수행함으로써, 상기 가상현실 컨텐츠를 미리 설정된 기준 멀미 점수 이하의 멀미 점수를 가지는 가상현실 컨텐츠로 생성하는 단계를 포함한다.
상기 추출하는 단계는 딥 러닝 기반으로 상기 가상현실 컨텐츠에 대한 분석을 수행하고, 움직임 특징, 해상도 특징과 프레임레이트 특징을 포함하는 상기 멀미유발인자들 각각에 대한 특징 정보를 추출할 수 있다.
상기 생성하는 단계는 상기 결정된 멀미유발인자 각각의 특징 정보에 대한 멀미 저감을 상기 가상현실 컨텐츠에 대해 순차적으로 수행함으로써, 상기 가상현실 컨텐츠를 미리 설정된 기준 멀미 점수 이하의 멀미 점수를 가지는 가상현실 컨텐츠로 생성할 수 있다.
상기 결정하는 단계는 상기 멀미유발인자들 각각의 특징 정보에 기초하여 상기 가상현실 컨텐츠의 멀미 점수를 계산하고, 상기 계산된 멀미 점수에 대한 각 특징 정보에서의 그래디언트(gradient) 크기를 계산하며, 상기 계산된 그래디언트 크기에 기초하여 상기 멀미 점수에 대한 상기 특징 정보 각각의 영향력 정보를 분석함으로써, 상기 멀미 저감이 필요한 멀미유발인자로 결정할 수 있다.
상기 생성하는 단계는 상기 가상현실 컨텐츠가 미리 설정된 기준 멀미 점수 이상의 움직임 특징을 가지는 경우 상기 가상현실 컨텐츠의 프레임을 미리 설정된 기준 움직임 이하의 프레임으로 생성하는 제1 딥 뉴럴 네트워크, 상기 가상현실 컨텐츠가 상기 기준 멀미 점수 이상의 해상도를 가지는 경우 상기 가상현실 컨텐츠의 프레임에 대한 해상도를 미리 설정된 고해상도로 업스케일링하는 제2 딥 뉴럴 네트워크와 상기 가상현실 컨텐츠가 상기 기준 멀미 점수 이상의 프레임레이트를 가지는 경우 상기 가상현실 컨텐츠의 프레임들에 대한 보간 프레임을 생성하는 제3 딥 뉴럴 네트워크를 이용하여 상기 해당 특징 정보에 대한 멀미 저감을 수행할 수 있다.
본 발명의 실시예들에 따르면, VR 컨텐츠 분석을 통해 멀미유발인자들 각각의 특징 정보를 추출하고, 추출된 특징 정보에 기반한 딥 러닝 뉴럴 네트워크를 이용하여 해당 VR 컨텐츠의 멀미 유발 특징을 저감시킬 수 있다. 즉, 본 발명은 딥 러닝 뉴럴 네트워크를 이용하여 VR 컨텐츠 내 피로와 사이버 멀미를 유발하는 멀미유발인자들 각각의 특징 정보를 분석하고, 분석된 특징 정보를 이용하여 VR 컨텐츠의 멀미 요소를 적정 수준으로 저감시킬 수 있다.
본 발명의 실시예들에 따르면, 시청자와 VR 컨텐츠 제작자들이 멀미를 유발하는 VR 컨텐츠에 대해 효과적으로 대응하게 하여 안전한 시청 환경을 조성하도록할 수 있다.
본 발명은 자동으로 VR 컨텐츠를 분석하여 멀미 요소를 저감하는 기술을 제안함으로써, 디지털 컨텐츠 제작, 디지털 컨텐츠 제공 플랫폼, 가상현실, 의료시설, 방송 및 멀티미디어, 엔터테인먼트, 시청 안전 표준화 등의 VR 시장 전반에 걸쳐 활용될 수 있다.
VR 컨텐츠는 사용자에게 실제와 같은 뛰어난 몰입감을 제공하는 것이 가능한 반면 컨텐츠 상 물체 및 카메라 움직임, 해상도, 프레임레이트 등에 의해서도 시청자에게 피로를 유발할 수 있다. 따라서, VR 컨텐츠 제작 업체는 컨텐츠의 몰입감과 사용자가 느낄 수 있는 피로도 간에 균형 있는 VR 컨텐츠를 제작하는 것이 필요하다. 본 발명을 이용하는 경우 VR 컨텐츠 제작 업체에서는 노동력이나 긴 시간을 소비하지 않고 빠르고 효율적으로 업체에서 제작한 VR 컨텐츠들의 멀미를 원하는 수준으로 저감할 수 있다.
본 발명을 이용하여 극심한 피로를 유발할 가능성이 있는 컨텐츠의 경우, 멀미유발인자 예를 들어, 낮은 해상도를 조절함으로써, 사용자에게 안전한 VR 컨텐츠를 제작할 수 있다.
VR 컨텐츠 플랫폼 업체에서는 VR 컨텐츠 시청자들에게 멀미 저감 기능을 제공함으로써, 시청자들이 직접 원하는 수준으로 멀미를 저감하게 하여 개인의 취향에 맞는 적절한 몰입감과 피로도의 균형을 가진 VR 컨텐츠 시청을 가능하게 할 수 있다.
본 발명을 이용하여 VR 멀미에 민감한 시청자의 경우, VR 컨텐츠 플랫폼 업체에서 제공한 저감 기능을 사용하여 VR 멀미 유발 수준을 낮게 조절함으로써, 안전한 VR 컨텐츠를 시청할 수 있다.
VR 장비 업체에서는 VR 재생 장비를 통해 VR 컨텐츠를 재생할 때, 해당 컨텐츠가 극심한 피로도를 유발하는 영상일 경우, 본 발명을 통해 파악된 멀미 요소를 재생장치에서 저감 예를 들어, 해상도와 프레임 레이트 등을 높게하여 사용자에게 멀미유발인자가 완화된 VR 컨텐츠를 보여주는 시청 안전 기능을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 VR 컨텐츠 멀미 저감 시스템에 대한 구성을 나타낸 것이다.
도 2는 본 발명의 시스템에 대한 동작을 설명하기 위한 일 예시도를 나타낸 것이다.
도 3은 급격한 움직임으로 인한 멀미 유발 저감을 위한 움직임 안정화 딥 뉴럴 네트워크에 대한 일 예시도를 나타낸 것이다.
도 4는 낮은 해상도로 인한 멀미 유발 저감을 위한 고해상도화 딥 뉴럴 네트워크에 대한 일 예시도를 나타낸 것이다.
도 5는 낮은 프레임레이트로 인한 멀미 유발 저감을 위한 프레임 보간 딥 뉴럴 네트워크에 대한 일 예시도를 나타낸 것이다.
도 6은 본 발명의 일 실시예에 따른 VR 컨텐츠 멀미 저감 방법에 대한 동작 흐름도를 나타낸 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형 태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하고자 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
본 발명의 실시예들은, 멀미유발인자 분석 기반으로 VR 컨텐츠의 사이버 멀미를 저감시키는 것을 그 요지로 한다.
이 때, 본 발명은 VR 컨텐츠의 분석을 통해 VR 멀미유발인자 예를 들어, 움직임 특징, 해상도 특징, 프레임레이트 특징 등을 분석하고, 분석된 VR 멀미유발인자를 미리 설정된 영상 처리 기술 예를 들어, 딥 러닝 뉴럴 네트워크 등을 이용하여 시간적 멀미 요소와 공간적 멀미 요소를 미리 설정된 수준으로 줄임으로써, VR 컨텐츠의 사이버 멀미를 저감시킬 수 있다.
본 발명은 VR 멀미 분석 및 평가 모듈에 의해 측정된 멀미 정도에 따라 원하는 멀미 유발 수준까지 저감을 반복 수행하는 재귀적 멀미 저감 프레임워크와 분석된 VR 컨텐츠 영상의 멀미유발인자 특징 정보를 기반으로 다양한 딥 러닝 영상처리 기술을 활용하여 각 멀미 유발 특징을 저감하는 VR 멀미 저감 모듈을 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 VR 컨텐츠 멀미 저감 시스템에 대한 구성을 나타낸 것이다.
도 1을 참조하면, 본 발명의 실시예에 따른 VR 컨텐츠 멀미 저감 시스템은 딥 러닝 기반 VR 멀미 분석 및 평가 모듈과 딥 러닝 기반 VR 멀미 저감 모듈을 포함한다.
VR 멀미 분석 및 평가 모듈은 멀미를 저감시키기 위한 VR 컨텐츠 예를 들어, 360도 VR 비디오 영상이 입력 또는 수신되면 딥 러닝 기반으로 입력된 VR 컨텐츠를 분석하여 VR 멀미유발인자들 각각에 대한 특징 정보를 추출하고, 추출된 특징 정보에 기초하여 평가된 VR 멀미 점수가 저감하기 원하는 수준의 기준 점수 이하인지 판단한다. 여기서, 평가된 VR 멀미 점수가 기준 점수보다 높은 경우에는 멀미 저감이 필요한 것이므로, VR 멀미 저감 모듈로 추출된 각각의 멀미유발인자의 특징 정보를 제공한다. 반면, 평가된 VR 멀미 점수가 기준 점수 이하인 경우에는 원하는 수준까지 멀미 저감이 이루어졌다 판단하여 멀미 요소가 저감된 최종 VR 컨텐츠로 저장된다. 이렇게 멀미 요소가 저감된 최종 VR 컨텐츠는 컨텐츠 시청자의 VR 컨텐츠 시청과 컨텐츠 제작자의 VR 컨텐츠 제작에 도움을 줄 수 있다. 예를 들어, 컨텐츠 시청자는 피로나 사이버멀미를 유발할 가능성이 높은 컨텐츠에서 멀미 정도를 적정 수준으로 저감하여 개인의 특성에 맞는 안전한 컨텐츠를 시청할 수 있고, VR 컨텐츠 제작자는 자신이 만든 VR 컨텐츠의 피로나 사이버멀미를 정도를 적정 수준으로 조절하여 보다 안전한 VR 컨텐츠를 제작하는데 도움을 줄 수 있다.
VR 멀미 저감 모듈은 딥 러닝 기반으로 VR 컨텐츠의 멀미유발인자를 저감시킴으로써, 멀미 요소가 저감된 VR 컨텐츠를 생성한다.
이 때, VR 멀미 저감 모듈은 VR 멀미 분석 및 평가 모듈로부터 수신된 멀미유발인자 각각의 특징 정보에 기초하여 딥 러닝 기반으로 멀미유발인자 각각을 저감시킴으로써, 멀미유발인자 각각의 저감을 통해 멀미 요소가 저감된 VR 컨텐츠를 생성할 수 있다.
멀미 요소가 저감된 VR 컨텐츠는 다시 VR 멀미 분석 및 평가 모듈을 거쳐 멀미 점수가 기준 점수에 미치는지 판단하게 되고 원하는 수준으로 저감이 되었다고 판단되면 저감 과정을 종료하고 그렇지 않다면 저감 과정을 반복하게 된다. VR 멀미 저감 시스템을 이용하여 VR 컨텐츠의 멀미 요소를 저감하는 과정은 자동으로 이루어진다.
나아가, VR 멀미 저감 모듈은 멀미유발인자 각각의 특징 정보에 기초하여 VR 컨텐츠의 멀미 점수를 계산하고, Guided backpropagation 등의 알고리즘을 사용하여 멀미 점수에 대한 각 특징 정보에서의 그래디언트(gradient) 크기를 계산하여 멀미 점수에 대한 특징 정보 각각의 영향력 정도를 분석함으로써, 특징의 영향력 정도가 미리 설정된 기준치를 넘었을 때 해당 특징에 대해 저감을 수행한다고 판별하고, 판별된 멀미유발인자의 특징 정보를 저감켜 VR 컨텐츠의 멀미를 저감시킬 수 있다.
여기서, VR 멀미 저감 모듈은 각 멀미유발인자의 특징 정보에 해당하는 특징 벡터들을 concatenation한 뒤 완전 연결 레이어(fully connected layers)를 적용하여 멀미 점수로 회귀하는 방법을 사용함으로써, VR 컨텐츠의 멀미 점수를 계산할 수 있다.
도 2는 본 발명의 시스템에 대한 동작을 설명하기 위한 일 예시도를 나타낸 것으로, 도 1에 도시된 각 모듈에서의 동작을 상세하기 설명하기 위한 일 예시도를 나타낸 것이다.
도 2에 도시된 바와 같이, VR 멀미 분석 및 평가 모듈은 딥 러닝 기반으로 VR 컨텐츠의 멀미유발인자들 예를 들어, 움직임 정도, 해상도 정도, 프레임레이트 정도 각각을 분석하고, 각각의 특징 정보를 추출한다. 즉, VR 멀미 분석 및 평가 모듈은 VR 컨텐츠의 분석을 통해 미리 설정된 멀미유발인자들 예를 들어, VR 멀미유발인자1 내지 VR 멀미유발인자N 각각에 대하여 분석하고 추출함으로서, VR 멀미유발인자1 내지 VR 멀미유발인자N 각각의 특징 정보를 추출한다. 예컨대, VR 멀미 분석 및 평가 모듈은 VR 컨텐츠로부터 VR 멀미유발인자1의 특징을 분석하고 추출함으로써, VR 멀미유발특징1 예를 들어, 급격한 움직임을 추출하고, VR 컨텐츠로부터 VR 멀미유발인자2의 특징을 분석하고 추출함으로써, VR 멀미유발특징2 예를 들어, 기준 해상도보다 낮은 해상도를 추출하며, VR 컨텐츠로부터 VR 멀미유발인자N의 특징을 분석하고 추출함으로써, VR 멀미유발특징N 예를 들어, 기준 프레임레이트보다 낮은 프레임레이트를 추출한다. 그리고, 이렇게 추출된 멀미유발인자들 각각의 특징 정보를 이용하여 VR 컨텐츠의 멀미 점수를 계산할 수 있다. 여기서, VR 멀미 분석 및 평가 모듈은 VR 컨텐츠의 분석을 통해 멀미유발인자들 각각에 대한 프레임 정보와 특징 정보를 결과물로 제공할 수 있으며, 이렇게 제공된 결과물을 이용하여 VR 멀미 점수를 계산할 수 있으며, 또한 VR 멀미 저감 모듈의 입력 정보로 사용될 수 있다.
VR 멀미 저감 모듈은 멀미 유발 인자 저감 여부를 판별하는 부분과 각 멀미유발특징에 대해 저감을 수행하는 부분으로 구성된다. 딥 러닝 기반 VR 멀미 저감 모듈은 VR 멀미 분석 및 평가 모듈에 의해 추출된 멀미유발인자들 각각의 특징 정보와 VR 컨텐츠를 입력으로 받는다.
이 때, 멀미유발인자들 각각의 특징 정보는 급격한 움직임, 낮은 해상도과 낮은 프레임레이트 등이 있을 수 있으며, 멀미유발인자들이 상술한 내용으로 한정되지 않으며, VR 멀미를 발생시킬 수 있는 모든 멀미유발인자들을 포함할 수 있다.
멀미 유발 인자 저감 여부를 판별하는 판별부에서는 VR 멀미 분석 및 평가 모듈에 의해 추출된 멀미유발인자들 각각의 특징 정보를 입력으로 받아 해당 특징에 대한 저감을 수행할지 여부를 결정한다. 각 특징에 대해 저감 필요 여부 판별을 위해서는 높은 멀미 점수에 대해 각 멀미 유발 특징이 얼마나 영향을 미치는지가 고려되어야 한다.
이 때, 판별부는 Guided backpropagation 등의 알고리즘을 사용하여 예측된 높은 VR 멀미 점수에 대해 각 멀미 유발 특징들이 얼마나 영향을 미쳤는지 분석할 수 있으며, 특징의 영향력 정도가 미리 설정된 기준치
Figure 112019128995514-pat00001
를 넘었을 때 해당 특징에 대해 저감을 수행한다고 판별할 수 있다. 예컨대, 판별부는 멀미유발인자 각각의 특징 정보에 기초하여 VR 컨텐츠의 멀미 점수를 계산하고, 각각의 특징 정보에 대하여 계산된 멀미 점수의 비중을 분석하여 멀미유발인자 각각의 특징 정보에 비중이 미리 설정된 기준치 이상인 멀미유발인자를 판별할 수 있다.
각 특징에 대한 저감을 수행하는 저감부에서는 VR 컨텐츠와 판별부에서 판별된 해당 특징에 대한 저감 여부를 고려하여 딥 러닝 기반으로 멀미유발인자들 각각의 특징 정보에 대하여 멀미 저감을 수행한다.
이 때, 저감부는 판별부에 의해 판별된 멀미 저감을 수행하기 위한 멀미유발인자 각각에 대하여, 저감을 수행하기 위한 미리 모델링된 학습 모델의 뉴럴 네트워크 예를 들어, 딥 러닝 뉴럴 네트워크를 이용하여 해당 멀미유발인자의 특징 정보를 저감시킬 수 있으며, 이러한 저감 수행 과정을 멀미 저감을 수행하기 위한 멀미유발인자들 각각에 대하여 순차적으로 수행할 수 있다.
예를 들어, 도 2에서 멀미유발특징1, 멀미유발특징2와 멀미유발특지N이 멀미 저감을 수행하기 위한 멀미유발인자로 결정되면, 저감부는 VR 컨텐츠에 대하여 딥 러닝 기반 뉴럴 네트워크 예를 들어, 도 3에 도시된 움직임 안정화 딥 뉴럴 네트워크를 이용하여 VR 멀미유발특징1의 멀미 요소를 저감시키고, VR 멀미유발특징1의 멀미 요소가 저감된 VR 컨텐츠에 대하여 딥 러닝 기반 뉴럴 네트워크 예를 들어, 도 4에 도시된 고해상도화 딥 뉴럴 네트워크를 이용하여 VR 멀미유발특징2의 멀미 요소를 저감시키며, VR 멀미유발특징1의 멀미 요소와 VR 멀미유발특징2의 멀미 요소가 저감된 VR 컨텐츠에 대하여 딥 러닝 기반 뉴럴 네트워크 예를 들어, 도 5에 도시된 프레임 보간 딥 뉴럴 네트워크를 이용하여 VR 멀미유발특징N의 멀미 요소를 저감시킴으로써, 멀미 요소가 저감된 VR 컨텐츠를 생성한다.
이러한 저감부는 해당 특징에 대해 저감이 필요하다고 판별된 경우에만 저감을 수행하여 효율성을 제공할 수 있다. 이 때, 저감부에서는 급격한 움직임, 낮은 해상도, 낮은 프레임레이트 등의 멀미 유발 특징들을 완화하기 위해 움직임 안정화, 고해상도화 그리고 프레임보간 딥 뉴럴 네트워크 구조가 사용될 수 있다.
도 3은 급격한 움직임으로 인한 멀미 유발 저감을 위한 움직임 안정화 딥 뉴럴 네트워크에 대한 일 예시도를 나타낸 것으로, 도 3에 도시된 바와 같이 움직임 안정화를 위한 딥 네트워크는 VR 컨텐츠의 공간적 특징 추출을 위한 공간적 특징 인코더인 딥 네트워크 예를 들어, 컨볼루션 뉴럴 네트워크(CNN), VR 컨텐츠의 시간적 특징 추출을 위한 시간적 특징 인코더인 딥 네트워크 예를 들어, Conv LSTM(Long Short-Term Memory)과 추출된 특징에서 움직임이 안정화된 프레임 생성을 위한 딥 네트워크 예를 들어, 디컨볼루션 뉴럴 네트워크(DeCNN)를 포함하도록 구성할 수 있다.
여기서, 각각의 딥 네트워크는 VR 컨텐츠의 움직임 정보에 대한 트레이닝을 통해 움직임 안정화를 위한 학습 모델이 생성될 수 있으며, 이렇게 생성된 각각의 학습 모델 기반의 딥 네트워크를 이용하여 VR 컨텐츠에 대하여 움직임이 안정화된 프레임들을 생성할 수 있다.
즉, 도 3은 VR 컨텐츠가 기준 멀미 점수 이상의 움직임 특징을 가지는 경우 VR 컨텐츠의 프레임을 미리 설정된 기준 움직임 이하 또는 기준 멀미 점수 이하의 멀미 점수를 가지도록 움직임 특징을 저감시킨 프레임으로 생성할 수 있다.
도 4는 낮은 해상도로 인한 멀미 유발 저감을 위한 고해상도화 딥 뉴럴 네트워크에 대한 일 예시도를 나타낸 것으로, 도 4에 도시된 바와 같이 고해상도화를 위한 딥 네트워크는 VR 컨텐츠의 공간적 특징 추출을 위한 딥 네트워크 예를 들어, 컨볼루션 뉴럴 네트워크(CNN)와 추출된 특징에서 입력 해상도보다 더 높은 고해상도의 프레임 생성을 위한 딥 네트워크 예를 들어, 디컨볼루션 뉴럴 네트워크(DeCNN)를 포함하도록 구성할 수 있다. 도 4의 딥 뉴럴 네트워크는 입력 영상의 해상도가 K×K인 경우 2K×2K의 해상도로 업스케일하여 고해상도의 프레임 각각을 생성함으로써, 고해상도의 VR 컨텐츠를 생성하고 이를 통해 낮은 해상도로 인하여 발생될 수 있는 멀미 유발 인자를 저감시킬 수 있다.
여기서, 각각의 딥 네트워크는 VR 컨텐츠의 고해상도화를 위한 트레이닝을 통해 프레임 각각을 업스케일링하는 학습 모델이 생성될 수 있으며, 이렇게 생성된 각각의 학습 모델 기반의 딥 네트워크를 이용하여 VR 컨텐츠에 대하여 해상도가 업스케일링된 프레임들을 생성할 수 있다.
즉, 도 4는 VR 컨텐츠가 기준 멀미 점수 이상의 해상도 특징을 가지는 경우 VR 컨텐츠의 프레임에 대한 해상도를 미리 설정된 고해상도로 업스케일할 수 있다.
도 5는 낮은 프레임레이트로 인한 멀미 유발 저감을 위한 프레임 보간 딥 뉴럴 네트워크에 대한 일 예시도를 나타낸 것으로, 도 5에 도시된 바와 같이 프레임 보간를 위한 딥 네트워크는 VR 컨텐츠의 공간적 특징 추출을 위한 공간적 특징 인코더인 딥 네트워크 예를 들어, 컨볼루션 뉴럴 네트워크(CNN), VR 컨텐츠의 두 프레임의 특징 융합을 위한 딥 네트워크 예를 들어, Concatenation 및 CNN 그리고 추출된 특징에서 보간 프레임 생성을 위한 딥 네트워크 예를 들어, 디컨볼루션 뉴럴 네트워크(DeCNN)를 포함하도록 구성할 수 있다.
여기서, 각각의 딥 네트워크는 VR 컨텐츠의 프레임레이트를 향상시키기 위한 트레이닝을 통해 보간 프레임 생성을 위한 학습 모델이 생성될 수 있으며, 이렇게 생성된 각각의 학습 모델 기반의 딥 네트워크를 이용하여 VR 컨텐츠에 대하여 보간 프레임을 생성하고, 이를 통해 VR 컨텐츠의 프레임레이트를 향상시킬 수 있다.
즉, 도 5는 VR 컨텐츠가 기준 멀미 점수 이상의 프레임레이트 특징을 가지는 경우 VR 컨텐츠가 미리 설정된 기준 움직임 이하 또는 기준 멀미 점수 이하의 멀미 점수를 가지도록 보간 프레임을 생성할 수 있다.
도 3 내지 도 5에서 설명한 멀미유발인자를 저감시키기 위한 각각의 저감 네트워크 구성은 상술한 특정 딥 네트워크 구조에 한정되지 않으며, 해당 기능 즉, 멀미유발인자를 저감시킬 수 있는 기능의 뉴럴 네트워크 구조를 모두 사용할 수 있다.
상술한 바와 같이, VR 멀미 저감 모듈은 VR 컨텐츠의 움직임을 부드럽게 하고, 해상도를 높이며, 프레임을 보간하는 등 각 멀미 유발 인자에 해당하는 멀미 요소 저감을 수행할 수 있다.
이와 같이, 본 발명의 실시예들에 따른 시스템 또는 장치는 VR 컨텐츠 분석을 통해 멀미유발인자들 각각의 특징 정보를 추출하고, 추출된 특징 정보에 기반한 딥 러닝 뉴럴 네트워크를 이용하여 해당 VR 컨텐츠의 멀미 유발 특징을 저감시킬 수 있다.
종래 기술에서는 최종 멀미 점수를 기준으로 각 멀미 유발 인자들을 모두 저감하여 실제 멀미를 유발하지 않는 요소에서도 저감이 적용되는 비효율성이 있었으나, 본 발명은 실제 멀미에 영향을 미치는 유발 특징을 분석하는 저감 여부 판별 과정을 추가하여 특정 멀미 유발 특징에 대해서만 저감이 진행되도록 구성함으로써 효율성을 향상시킬 수 있다.
또한, 본 발명의 실시예들에 따른 시스템 또는 장치는 시청자와 VR 컨텐츠 제작자들이 멀미를 유발하는 VR 컨텐츠에 대해 효과적으로 대응하게 하여 안전한 시청 환경을 조성하도록할 수 있다. 에컨대, 본 발명은 극심한 피로를 유발할 가능성이 있는 컨텐츠의 경우 멀미유발인자 예를 들어, 낮은 해상도를 조절함으로써, 사용자에게 안전한 VR 컨텐츠를 제작할 수도 있고, VR 멀미에 민감한 시청자의 경우 VR 컨텐츠 플랫폼 업체에서 제공한 저감 기능을 사용하여 VR 멀미 유발 수준을 낮게 조절함으로써, 안전한 VR 컨텐츠를 시청할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 VR 컨텐츠 멀미 저감 방법에 대한 동작 흐름도를 나타낸 것으로, 상기 도 1 내지 도 5의 장치 또는 시스템에서의 동작 흐름도를 나타낸 것이다.
도 6을 참조하면, 본 발명의 실시예에 따른 방법은 VR 컨텐츠의 분석을 통해 멀미유발인자들 각각의 특징 정보를 추출한다(S610).
여기서, 단계 S610은 VR 컨텐츠가 입력되면 입력된 VR 컨텐츠를 딥 러닝 기반으로 분석하여 멀미유발인자들 예를 들어, 움직임 특징, 해상도 특징, 프레임레이트 특징 각각을 분석하고, 각각의 특징 정보를 추출할 수 있다.
단계 S610에 의해 멀미유발인자들 각각의 특징 정보가 추출되면 추출된 멀미유발인자들 각각의 특징 정보에 기초하여 저감이 필요한 멀미유발인자를 결정한다(S620).
이 때, 단계 S620은 멀미유발인자들 각각의 특징 정보에 기초하여 VR 컨텐츠의 멀미 점수를 계산하고, 각각의 특징 정보에 대하여 계산된 멀미 점수의 비중을 분석 또는 계산하여 멀미유발인자 각각의 특징 정보에 비중이 미리 설정된 기준치 이상인 멀미유발인자를 저감이 필요한 멀미유발인자로 결정할 수 있다.
단계 S620에 의해 저감이 필요한 멀미유발인자가 결정되면 저감이 결정된 멀미유발인자의 특징 정보를 딥 러닝 기반으로 저감시킴으로써, 멀미가 저감된 VR 컨텐츠를 생성한다(S630).
이 때, 단계 S630은 결정된 멀미유발인자 각각에 대해 미리 학습된 딥 러닝 뉴럴 네트워크를 이용하여 해당 특징 정보에 대한 멀미 저감을 수행함으로써, VR 컨텐츠를 미리 설정된 기준 멀미 점수 이하의 멀미 점수를 가지는 VR 컨텐츠로 생성할 수 있다.
여기서, 단계 S630은 결정된 멀미유발인자 각각의 특징 정보에 대한 멀미 저감을 VR 컨텐츠에 대해 순차적으로 수행할 수 있으며, 미리 설정된 기준 움직임 이상의 움직임을 포함하는 VR 컨텐츠의 프레임을 상기 기준 움직임 이하의 프레임으로 생성하는 제1 딥 뉴럴 네트워크, VR 컨텐츠의 프레임에 대한 해상도를 미리 설정된 고해상도로 업스케일링하는 제2 딥 뉴럴 네트워크와 VR 컨텐츠의 프레임레이트가 미리 설정된 기준 프레임레이트보다 낮은 경우 VR 컨텐츠의 프레임들에 대한 보간 프레임을 생성하는 제3 딥 뉴럴 네트워크를 이용하여 해당 특징 정보에 대한 멀미 저감을 수행할 수 있다.
비록, 도 6의 방법에서 그 설명이 생략되었더라도, 도 6의 방법은 도 1 내지 도 5의 장치 또는 시스템에서 설명한 모든 내용을 포함할 수 있으며, 이는 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에서 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 가상현실 컨텐츠의 분석을 통해 미리 설정된 멀미유발인자들 각각에 대한 특징 정보를 추출하는 제1 모듈; 및
    상기 추출된 멀미유발인자들 각각에 대한 특징 정보에 기초하여 상기 멀미유발인자들 중 멀미 저감이 필요한 멀미유발인자를 결정하고, 상기 결정된 멀미유발인자 각각에 대해 미리 학습된 딥 러닝 뉴럴 네트워크를 이용하여 해당 특징 정보에 대한 멀미 저감을 수행함으로써, 상기 가상현실 컨텐츠를 미리 설정된 기준 멀미 점수 이하의 멀미 점수를 가지는 가상현실 컨텐츠로 생성하는 제2 모듈
    을 포함하며,
    상기 제1 모듈은
    딥 러닝 기반으로 상기 가상현실 컨텐츠에 대한 분석을 수행하고, 움직임 특징, 해상도 특징과 프레임레이트 특징을 포함하는 상기 멀미유발인자들 각각에 대한 특징 정보를 추출하고,
    상기 제2 모듈은
    상기 멀미유발인자들 각각의 특징 정보에 기초하여 상기 가상현실 컨텐츠의 멀미 점수를 계산하고, 상기 계산된 멀미 점수에 대한 각 특징 정보에서의 그래디언트(gradient) 크기를 계산하며, 상기 계산된 그래디언트 크기에 기초하여 상기 멀미 점수에 대한 상기 특징 정보 각각의 영향력 정보를 분석하고, 영향력 정도가 미리 설정된 기준치를 넘는 멀미유발인자를 상기 멀미 저감이 필요한 멀미유발인자로 결정하고,
    상기 제2 모듈은
    상기 결정된 멀미유발인자 각각의 특징 정보에 대한 멀미 저감을 상기 가상현실 컨텐츠에 대해 순차적으로 수행함으로써, 상기 가상현실 컨텐츠를 미리 설정된 기준 멀미 점수 이하의 멀미 점수를 가지는 가상현실 컨텐츠로 생성하며,
    상기 제2 모듈은
    상기 미리 설정된 멀미유발인자들 각각에 대하여 미리 학습된 딥 러닝 뉴럴 네트워크 중 상기 결정된 멀미유발인자에 대한 딥 러닝 뉴럴 네트워크만을 활성화시켜 상기 결정된 멀미유발인자 각각의 특징 정보에 대한 멀미 저감을 상기 가상현실 컨텐츠에 대해 순차적으로 수행하는 가상현실 컨텐츠 멀미 저감 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 제2 모듈은
    상기 가상현실 컨텐츠가 미리 설정된 기준 멀미 점수 이상의 움직임 특징을 가지는 경우 상기 가상현실 컨텐츠의 프레임을 미리 설정된 기준 움직임 이하의 프레임으로 생성하는 제1 딥 뉴럴 네트워크, 상기 가상현실 컨텐츠가 상기 기준 멀미 점수 이상의 해상도를 가지는 경우 상기 가상현실 컨텐츠의 프레임에 대한 해상도를 미리 설정된 고해상도로 업스케일링하는 제2 딥 뉴럴 네트워크와 상기 가상현실 컨텐츠가 상기 기준 멀미 점수 이상의 프레임레이트를 가지는 경우 상기 가상현실 컨텐츠의 프레임들에 대한 보간 프레임을 생성하는 제3 딥 뉴럴 네트워크를 포함하는 것을 특징으로 하는 가상현실 컨텐츠 멀미 저감 장치.
  6. 가상현실 컨텐츠의 분석을 통해 미리 설정된 멀미유발인자들 각각에 대한 특징 정보를 추출하는 단계;
    상기 추출된 멀미유발인자들 각각에 대한 특징 정보에 기초하여 상기 멀미유발인자들 중 멀미 저감이 필요한 멀미유발인자를 결정하는 단계; 및
    상기 결정된 멀미유발인자 각각에 대해 미리 학습된 딥 러닝 뉴럴 네트워크를 이용하여 해당 특징 정보에 대한 멀미 저감을 수행함으로써, 상기 가상현실 컨텐츠를 미리 설정된 기준 멀미 점수 이하의 멀미 점수를 가지는 가상현실 컨텐츠로 생성하는 단계
    를 포함하고,
    상기 추출하는 단계는
    딥 러닝 기반으로 상기 가상현실 컨텐츠에 대한 분석을 수행하고, 움직임 특징, 해상도 특징과 프레임레이트 특징을 포함하는 상기 멀미유발인자들 각각에 대한 특징 정보를 추출하고,
    상기 결정하는 단계는
    상기 멀미유발인자들 각각의 특징 정보에 기초하여 상기 가상현실 컨텐츠의 멀미 점수를 계산하고, 상기 계산된 멀미 점수에 대한 각 특징 정보에서의 그래디언트(gradient) 크기를 계산하며, 상기 계산된 그래디언트 크기에 기초하여 상기 멀미 점수에 대한 상기 특징 정보 각각의 영향력 정보를 분석하고, 영향력 정도가 미리 설정된 기준치를 넘는 멀미유발인자를 상기 멀미 저감이 필요한 멀미유발인자로 결정하고,
    상기 생성하는 단계는
    상기 결정된 멀미유발인자 각각의 특징 정보에 대한 멀미 저감을 상기 가상현실 컨텐츠에 대해 순차적으로 수행함으로써, 상기 가상현실 컨텐츠를 미리 설정된 기준 멀미 점수 이하의 멀미 점수를 가지는 가상현실 컨텐츠로 생성하며,
    상기 생성하는 단계는
    상기 미리 설정된 멀미유발인자들 각각에 대하여 미리 학습된 딥 러닝 뉴럴 네트워크 중 상기 결정된 멀미유발인자에 대한 딥 러닝 뉴럴 네트워크만을 활성화시켜 상기 결정된 멀미유발인자 각각의 특징 정보에 대한 멀미 저감을 상기 가상현실 컨텐츠에 대해 순차적으로 수행하는 가상현실 컨텐츠 멀미 저감 방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 제6항에 있어서,
    상기 생성하는 단계는
    상기 가상현실 컨텐츠가 미리 설정된 기준 멀미 점수 이상의 움직임 특징을 가지는 경우 상기 가상현실 컨텐츠의 프레임을 미리 설정된 기준 움직임 이하의 프레임으로 생성하는 제1 딥 뉴럴 네트워크, 상기 가상현실 컨텐츠가 상기 기준 멀미 점수 이상의 해상도를 가지는 경우 상기 가상현실 컨텐츠의 프레임에 대한 해상도를 미리 설정된 고해상도로 업스케일링하는 제2 딥 뉴럴 네트워크와 상기 가상현실 컨텐츠가 상기 기준 멀미 점수 이상의 프레임레이트를 가지는 경우 상기 가상현실 컨텐츠의 프레임들에 대한 보간 프레임을 생성하는 제3 딥 뉴럴 네트워크를 이용하여 상기 해당 특징 정보에 대한 멀미 저감을 수행하는 것을 특징으로 하는 가상현실 컨텐츠 멀미 저감 방법.
KR1020190166575A 2018-12-13 2019-12-13 가상현실 컨텐츠 체감피로도 저감 장치 및 그 방법 KR102291257B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190166575A KR102291257B1 (ko) 2018-12-13 2019-12-13 가상현실 컨텐츠 체감피로도 저감 장치 및 그 방법
US16/985,333 US11252371B2 (en) 2019-12-13 2020-08-05 Apparatus and method for virtual reality sickness reduction based on virtual reality sickness assessment

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180160720 2018-12-13
KR20180160720 2018-12-13
KR1020190166575A KR102291257B1 (ko) 2018-12-13 2019-12-13 가상현실 컨텐츠 체감피로도 저감 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200073160A KR20200073160A (ko) 2020-06-23
KR102291257B1 true KR102291257B1 (ko) 2021-08-20

Family

ID=71138074

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190166575A KR102291257B1 (ko) 2018-12-13 2019-12-13 가상현실 컨텐츠 체감피로도 저감 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102291257B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102535639B1 (ko) * 2020-10-27 2023-05-23 광운대학교 산학협력단 증강현실기기의 시각적 복잡도 완화방법, 및 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체
KR102505272B1 (ko) * 2022-09-16 2023-03-09 주식회사 금강바이오 신규의 네오리조비움 sp. FWR7 및 이를 이용한 퇴비

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016126522A1 (en) 2015-02-05 2016-08-11 Sony Computer Entertainment Inc. Motion sickness monitoring and application of supplemental sound to counteract sickness
WO2018057980A1 (en) 2016-09-23 2018-03-29 Apple Inc. Immersive virtual display

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170105905A (ko) * 2016-03-11 2017-09-20 주식회사 그루크리에이티브랩 가상현실 콘텐츠 분석 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016126522A1 (en) 2015-02-05 2016-08-11 Sony Computer Entertainment Inc. Motion sickness monitoring and application of supplemental sound to counteract sickness
WO2018057980A1 (en) 2016-09-23 2018-03-29 Apple Inc. Immersive virtual display

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
문성철 외 4인, 가상현실 미디어 기술동향과 VR 멀미저감 방안, 방송공학회논문지 제23권 제6호, 2018.11.

Also Published As

Publication number Publication date
KR20200073160A (ko) 2020-06-23

Similar Documents

Publication Publication Date Title
US11523103B2 (en) Providing a three-dimensional preview of a three-dimensional reality video
US10440407B2 (en) Adaptive control for immersive experience delivery
US10681341B2 (en) Using a sphere to reorient a location of a user in a three-dimensional virtual reality video
US10405009B2 (en) Generating videos with multiple viewpoints
US10440398B2 (en) Probabilistic model to compress images for three-dimensional video
CN107534796B (zh) 视频处理系统和数字视频分发系统
CN111178191B (zh) 信息播放方法、装置、计算机可读存储介质及电子设备
US9774887B1 (en) Behavioral directional encoding of three-dimensional video
US8984406B2 (en) Method and system for annotating video content
US11025879B2 (en) Image processing apparatus, image processing method, and storage medium storing program
KR102291257B1 (ko) 가상현실 컨텐츠 체감피로도 저감 장치 및 그 방법
US11032535B2 (en) Generating a three-dimensional preview of a three-dimensional video
US11245887B2 (en) Electronic device and operation method therefor
KR20170104846A (ko) 가상현실 콘텐츠 분석 방법 및 장치
CA2902123A1 (en) 3d mobile and connected tv ad trafficking system
CN109167989B (zh) 一种vr视频处理方法及系统
KR102550305B1 (ko) 머신 러닝 기반의 영상 자동 편집 방법 및 시스템
KR20170105905A (ko) 가상현실 콘텐츠 분석 방법 및 장치
Sassatelli et al. A new adaptation lever in 360° video streaming
EP3096291B1 (en) Method and device for bounding an object in a video
US11252371B2 (en) Apparatus and method for virtual reality sickness reduction based on virtual reality sickness assessment
CN112911373B (zh) 视频字幕的生成方法、装置、设备和存储介质
CN111095922B (zh) 电子设备及其操作方法
KR101831138B1 (ko) 비디오를 이용한 애니메이션 스티커 제작 방법 및 장치
KR102284913B1 (ko) 360도 영상에서의 사용자 시야각 선택 방법 및 그 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right