KR102381096B1

KR102381096B1 - Vr 멀티미디어의 경험 품질을 결정하기 위한 방법 및 장치

Info

Publication number: KR102381096B1
Application number: KR1020197036182A
Authority: KR
Inventors: 이 리; 하오핑 위
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2017-05-08
Filing date: 2017-12-31
Publication date: 2022-03-30
Also published as: EP3614231A4; US20210350518A1; JP2020521212A; KR20200004388A; KR20220044386A; JP6949998B2; EP3614231A1; US11138715B2; JP7267368B2; JP2022003555A; CN110996097B; US20200090324A1; CN108881894A; KR102480709B1; WO2018205643A1; CN108881894B; CN110996097A; US11694316B2

Abstract

본 출원은 VR 기술 분야에 관한 것이며, VR 멀티미디어의 경험 품질을 결정하기 위한 방법 및 장치를 개시한다. 이 방법은, VR 멀티미디어를 재생하는 과정에서, VR 멀티미디어의 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터를 획득하는 단계 ― 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터는 적어도 2개의 동일한 지각적 차원에 따라 개별적으로 샘플링을 수행함으로써 획득되고, 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터는 각각 충실도 경험, 즐거움 경험 및 상호작용 경험에 영향을 미치는 파라미터임 ―; 및 VR 멀티미디어의 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터에 기초하여 VR 멀티미디어의 MOS를 결정하는 단계를 포함한다. 제3 감각 파라미터가 상호작용 경험에 영향을 미치는 파라미터이기 때문에, 본 출원에서 제3 감각 파라미터에 기초하여 VR 멀티미디어의 MOS가 결정되는 경우, VR 멀티미디어의 상호작용 특징이 고려된다. 따라서, VR 멀티미디어의 결정된 경험 품질이 더 정확하다.

Description

VR 멀티미디어의 경험 품질을 결정하기 위한 방법 및 장치

본 출원은 가상 현실(Virtual Reality, VR) 기술 분야에 관한 것으로, 구체적으로는 VR 멀티미디어의 경험 품질을 결정하기 위한 방법 및 장치에 관한 것이다.

VR 멀티미디어는 복수의 카메라 및 음성 캡처 장치가 실제 환경의 파노라마 캡처 및 재생을 수행하는 데 사용되거나 또는 컴퓨터 애니메이션(Computer Animation, CG) 또는 가상 엔진과 같은 기술이 3차원 공간에서 디스플레이 기능을 구현하기 위해 실제 환경과 비교하여 가상 환경을 생성하는 데 사용되는 멀티미디어이다. 사용자가 VR 멀티미디어를 시청하는 경우, 사용자는 VR 장치에서 VR 멀티미디어를 재생하기 위해 사용되는 단말을 배치하고, 사용자가 착용한 VR 장치를 사용하여 상하 좌우와 같은 임의의 각도에서 비디오 이미지를 시청할 수 있으며, 또한 VR 멀티미디어와 동기식으로 재생되는 오디오를 청취할 수 있다. VR 멀티미디어를 즐기는 과정에서, 사용자는 실제 환경에서와 같이 VR 멀티미디어의 가상 환경에 완전히 몰입할 수 있다. 또한, VR 멀티미디어에 의해 제공되는 비디오 이미지 및 동기식으로 재생되는 오디오는 신체 자세 또는 사용자의 행동이 변화함에 따라 변화한다. 구체적으로, 신체 자세 또는 사용자의 행동이 변화되는 경우, 단말은 대응하는 행동 파라미터를 획득하고, 행동 파라미터를 처리할 수 있다. 따라서, VR 멀티미디어에 의해 제공되는 비디오 이미지 및 동기식으로 재생되는 오디오는 처리 결과에 기초하여 실시간으로 조정된다. 따라서, 기존의 멀티미디어와 달리, VR 멀티미디어는 상호작용, 몰입 및 멀티 센스 통합의 특징을 갖는다는 것을 알 수 있다. 실제 응용에서, VR 멀티미디어의 사용자 경험을 보다 향상시키기 위해, VR 멀티미디어의 사용자 경험 품질이 결정될 필요가 있다.

관련 기술에서, 종래의 멀티미디어의 경험 품질을 결정하기 위한 방법은 VR 멀티미디어의 경험 품질을 결정하는 데 사용된다. 구체적으로, 한편으로는, 평균 의견 점수 비디오(Mean Opinion Score Video, MOSV)는 VR 멀티미디어의 컨텐츠 복잡도, 픽셀 당 비트 레이트, 코딩 유형, 해상도, 비디오 일시 정지 레이트 및 패킷 손실률과 같은 파라미터에 기초한 계산을 통해 획득된다. 다른 한편으로, 평균 의견 점수 오디오(Mean Opinion Score Audio, MOSA)는 오디오의 비트 레이트, 코딩 유형 및 패킷 손실률과 같은 파라미터에 기초한 계산을 통해 획득된다. MOSV와 MOSA가 계산을 통해 획득된 후, 상이한 가중치에 기초하여 MOSV 및 MOSA에 대해 가중치 연산이 수행된다. 이러한 방식으로, VR 멀티미디어의 평균 의견 점수가 획득되고, VR 멀티미디어의 경험 품질은 계산을 통해 획득된 평균 의견 점수에 기초하여 결정된다.

그러나, VR 멀티미디어가 종래의 멀티미디어와 다른 특징을 가지기 때문에, 종래의 멀티미디어의 경험 품질을 결정하기 위한 방법에 따라 VR 멀티미디어의 경험 품질을 결정하는 정확도는 비교적 낮으므로, VR 멀티미디어의 사용자 경험은 더 향상될 수 없다.

관련 기술에서 VR 멀티미디어의 경험 품질을 결정하는 정확도가 비교적 낮다는 문제를 해결하기 위해, 본 출원은 VR 멀티미디어의 경험 품질을 결정하기 위한 방법 및 장치를 제공한다. 기술적 해결수단은 다음과 같다.

제1 측면에 따르면, VR 멀티미디어의 경험 품질을 결정하기 위한 방법이 제공되며, 이 방법은,

VR 멀티미디어를 재생하는 과정에서, 상기 VR 멀티미디어의 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터를 획득하는 단계 ― 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터는 적어도 2개의 동일한 지각적 차원(perceptual dimension)에 따라 개별적으로 샘플링을 수행함으로써 획득되고, 상기 적어도 2개의 지각적 차원은 시각적 차원 및 음향적 차원를 포함하며, 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터는 각각 충실도 경험(fidelty experience), 즐거움 경험(enjoyment experience) 및 상호작용 경험(interaction experience)에 영향을 미치는 파라미터임 ―; 및

상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 평균 의견 점수(mean opinion score, MOS)를 결정하는 단계를 포함한다.

시각적 차원 및 음향적 차원에 더하여, 적어도 2개의 지각적 차원은 피드백 차원, 촉각적 차원 및 후각적 차원과 같은 다른 차원을 더 포함할 수 있음에 유의해야 한다. 또한, 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터는 모두 동일한 지각적 차원에 기초하여 샘플링된다. 또한, 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터는 모두 적어도 하나의 파라미터를 포함하고, 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터를 샘플링하기 위한 샘플링 주기는 동일하거나 또는 다를 수 있다.

본 출원에서, VR 멀티미디어의 MOS는 VR 멀티미디어의 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터에 기초하여 결정되지만, 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터는 각각 충실도 경험, 즐거움 경험 및 상호작용 경험에 영향을 미치는 파라미터이다. 즉, 종래의 멀티미디어와 다른 VR 멀티미디어의 이머션(immersion) 및 상호작용과 같은 특징이 VR 멀티미디어의 MOS가 본 출원에서 결정되는 경우에 고려된다. 따라서, 계산을 통해 획득되는 VR 멀티미디어의 MOS가 더 정확하다.

선택적으로, 상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 평균 의견 점수(mean opinion score, MOS)를 결정하는 단계는,

상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 단계; 및

미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 상기 VR 멀티미디어의 MOS를 계산하기 위해, 상기 결정된 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용하는 단계를 포함한다.

VR 멀티미디어의 MOS가 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터에 기초하여 결정되는 경우, 먼저, 충실도 경험 점수는 제1 감각 파라미터에 기초하여 결정될 수 있고, 즐거움 경험 점수는 제2 감각 파라미터에 기초하여 결정될 수 있으며, 상호작용 경험 점수는 제3 감각 파라미터에 기초하여 결정될 수 있고, 그 후 결정된 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수가 입력 파라미터로서 사용되고, VR 멀티미디어의 MOS가 미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 계산을 통해 획득된다.

선택적으로, 상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 단계는,

현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 상기 현재 시간에 발생하는 경우, 상기 현재 시간에 대응하는 상기 제1 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 충실도 경험 점수를 결정하는 단계 ― 상기 네트워크 미디어 이벤트는 네트워크 상태의 변화로 인해 발생하는 이벤트이고, 상기 상호작용 미디어 이벤트는 사용자와의 상호작용으로 인해 발생하는 이벤트임 ―; 및

상기 현재 시간에 발생하는 이벤트가 상기 네트워크 미디어 이벤트인 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터, 현재 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 초기값으로 설정하거나, 또는

상기 현재 시간에 발생하는 이벤트가 상기 상호작용 미디어 이벤트인 경우, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하고, 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 초기값으로 설정하는 단계를 포함한다.

제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터의 샘플링 주기가 다르기 때문에, 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터에 기초한 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 점수도 또한 다르다. 또한, VR 멀티미디어의 MOS가 결정되는 경우, VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수는 VR 멀티미디어의 재생 과정에서 발생하는 이벤트를 단위로서 사용하거나, 또는 미리 설정된 단위 시간 구간을 단위로서 사용하여 계산될 수 있다.

이벤트를 단위로서 사용하여 VR 멀티미디어의 MOS가 결정되는 경우, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트가 현재 시간에 발생하지만 상호작용 미디어 이벤트는 동시에 발생하지 않으면, 충실도 경험 점수는 샘플링을 통해 획득된 제1 감각 파라미터에 기초하여 결정될 수 있다. 즐거움 경험 점수가 충실도 경험 점수와 관련되어 있기 때문에, 충실도 경험 점수가 업데이트되는 경우, 즐거움 경험 점수도 또한 대응적으로 업데이트된다. 따라서, 충실도 경험 점수가 계산을 통해 획득된 후, 즐거움 경험 점수가 결정될 수 있다. 상호작용 미디어 이벤트가 발생하지 않으므로, 상호작용 경험 점수는 계산되지 않을 수 있다.

현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 상기 현재 시간에 발생하는 경우, 상기 현재 시간에 대응하는 상기 제1 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 충실도 경험 점수를 결정하고, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터, 현재 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하며, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하는 단계를 포함한다.

VR 멀티미디어의 MOS가 이벤트를 단위로서 사용하여 결정되는 경우, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 동시에 발생하면, 단말은 충실도 경험 점수 및 즐거움 경험 점수 외에 상호작용 경험 점수를 추가로 계산할 필요가 있다.

현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트가 상기 현재 시간에 발생하지만 상호작용 미디어 이벤트가 동시에 발생하지 않으며, 상기 현재 시간에 상기 네트워크 미디어 이벤트가 종료된 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터, 상기 현재 시간 전에 최근에 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 초기값으로 설정하거나, 또는

상기 현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 상호작용 미디어 이벤트가 상기 현재 시간에 발생하지만 네트워크 미디어 이벤트가 동시에 발생하지 않으며, 상기 현재 시간에 상기 상호작용 미디어 이벤트가 종료된 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하고, 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 초기값으로 설정하거나, 또는

상기 현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 상기 현재 시간에 발생하며, 상기 현재 시간에 상기 네트워크 미디어 이벤트 및/또는 상기 상호작용 미디어 이벤트가 종료된 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터, 상기 현재 시간 전에 최근에 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하는 단계를 포함하고,

이에 상응하여, 상기 미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 상기 VR 멀티미디어의 MOS를 계산하기 위해, 상기 결정된 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용하는 단계는,

상기 미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 상기 VR 멀티미디어의 MOS를 계산하기 위해, 상기 현재 시간 전에 최근에 결정된 상기 충실도 경험 점수, 및 상기 현재 시간에 결정된 상기 즐거움 경험 점수 및 상기 상호작용 경험 점수를 상기 입력 파라미터로서 사용하는 단계를 포함한다.

VR 멀티미디어의 MOS가 이벤트를 단위로서 사용하여 결정되는 경우, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하지 않는 경우,

네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 발생하는지 여부 및 현재 시간이 발생하는 이벤트에 대응하는 종료 시간인지의 여부에 따라, 다른 방식이 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 데 사용될 수 있고, 추가로 VR 멀티미디어의 MOS를 결정할 수 있다. 현재 시간이 제1 감각 파라미터의 샘플링 시간이 아니기 때문에, 충실도 경험 점수가 계산되지 않는다. 따라서, 즐거움 경험 점수가 결정되는 경우, 현재 시간 전에 최근에 결정된 충실도 경험 점수가 입력 파라미터로서 샘플링될 수 있다.

선택적으로, 상기 제2 감각 파라미터는 네트워크 미디어 이벤트의 유형 및 제1 듀레이션(duration)을 포함하고, 상기 제1 듀레이션은 상기 네트워크 미디어 이벤트의 듀레이션이며,

상기 현재 시간에 대응하는 상기 제2 감각 파라미터, 현재 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하는 것은,

상기 현재 시간에 대응하는 상기 제2 감각 파라미터에 포함된 상기 네트워크 미디어 이벤트의 유형이 재생 이벤트인 경우, 상기 재생 이벤트에 대응하는 즐거움 경험 점수 계산 모델을 사용하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 계산하기 위해, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에 포함된 상기 제1 듀레이션, 상기 현재 결정된 충실도 경험 점수, 및 상기 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS를 입력 파라미터로서 사용하거나, 또는

상기 현재 시간에 대응하는 상기 제2 감각 파라미터에 포함된 상기 네트워크 미디어 이벤트의 유형이 프리즈 이벤트(freeze event)인 경우, 상기 프리즈 이벤트에 대응하는 즐거움 경험 점수 계산 모델을 사용하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 계산하기 위해, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에 포함된 상기 제1 듀레이션, 상기 현재 결정된 충실도 경험 점수, 및 상기 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS를 입력 파라미터로서 사용하거나, 또는

상기 현재 시간에 대응하는 상기 제2 감각 파라미터에 포함된 상기 네트워크 미디어 이벤트의 유형이 미디어 품질 변경 이벤트인 경우, 상기 현재 결정된 충실도 경험 점수와 상기 현재 시간 전에 최근에 결정된 충실도 경험 점수 사이의 차이를 상기 VR 멀티미디어의 상기 즐거움 경험 점수로서 결정하는 단계를 포함한다.

제2 감각 파라미터는 네트워크 미디어 이벤트의 유형 및 대응하는 제1 듀레이션을 포함한다는 점에 유의해야 한다. 복수 유형의 네트워크 미디어 이벤트가 존재할 수 있기 때문에, 다른 네트워크 미디어 이벤트에 대해, 대응하는 즐거움 경험 점수를 결정하기 위해 다른 계산 모델이 사용될 수 있다.

선택적으로, 상기 제3 감각 파라미터는 상호작용 미디어 이벤트의 유형 및 제2 듀레이션을 포함하고, 상기 제2 듀레이션은 상기 상호작용 미디어 이벤트의 듀레이션이며,

상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하는 것은,

복수의 저장된 상호작용 경험 점수 계산 모델로부터, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 포함된 상기 상호작용 미디어 이벤트의 유형에 대응하는 상호작용 경험 점수 계산 모델을 선택하는 단계; 및

상기 선택된 상호작용 경험 점수 계산 모델을 사용하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 계산하기 위해, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 포함된 상기 상호작용 미디어 이벤트의 유형 및 상기 제2 듀레이션을 입력 파라미터로서 사용하는 단계를 포함한다.

제3 파라미터가 상호작용 미디어 이벤트의 유형 및 대응하는 제2 듀레이션을 포함하는 점에 주목해야한다. 서로 다른 대화 형 미디어 이벤트에 대해 복수의 유형의 대화 형 미디어 이벤트가있을 수 있기 때문에, 대응하는 상호 작용 경험 점수를 결정하기 위해 다른 계산 모델이 사용될 수있다.

현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 상기 현재 시간에 발생하는 경우, 상기 현재 시간에 대응하는 상기 제1 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 충실도 경험 점수를 결정하는 단계; 및

상기 현재 시간에 발생하는 이벤트가 상기 네트워크 미디어 이벤트인 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터, 상기 현재 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 초기값으로 설정하거나, 또는

VR 멀티미디어의 MOS가 결정되는 경우, 단위 시간 구간이 단위로서 추가로 사용될 수 있음에 유의해야 한다. 이 경우, 현재 시각이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 현재 시간에 네트워크 미디어 이벤트가 발생하지만 상호작용 미디어 이벤트가 동시에 발생하지 않으면, 충실도 경험 점수가 샘플링을 통해 획득된 제1 감각 파라미터에 기초하여 결정될 수 있다. 즐거움 경험 점수가 충실도 경험 점수와 관련되어 있기 때문에, 충실도 경험 점수가 업데이트되는 경우, 즐거움 경험 점수도 또한 대응적으로 업데이트된다. 따라서, 충실도 경험 점수가 계산을 통해 획득된 후, 즐거움 경험 점수가 결정될 수 있다. 또한, 이전의 단위 이벤트 구간의 종료시의 VR 멀티미디어의 MOS는 즐거움 경험 점수를 계산하기 위한 입력 파라미터로서 사용될 수 있다. 이는 VR 멀티미디어의 이전 재생의 영향을 고려하는 것과 동일하므로, 보다 포괄적이고 보다 정확하다. 상호작용 미디어 이벤트가 발생하지 않으므로, 상호작용 경험 점수가 계산되지 않을 수 있다.

현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 상기 현재 시간에 발생하는 경우, 상기 현재 시간에 대응하는 상기 제1 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 충실도 경험 점수를 결정하고, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터, 상기 현재 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하며, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하는 단계를 포함한다.

VR 멀티미디어의 MOS가 단위 시간 구간을 단위로서 사용하여 결정되는 경우, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 동시에 발생하면, 단말은 충실도 경험 점수 및 즐거움 경험 점수 외에 상호작용 경험 점수를 추가로 계산할 필요가 있다.

현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트가 상기 현재 시간에 발생하지만 상호작용 미디어 이벤트가 동시에 발생하지 않으며, 상기 현재 시간에 상기 네트워크 미디어 이벤트가 종료되었거나 또는 단위 시간 구간이 종료된 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터, 상기 현재 시간 전에 최근에 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 초기값으로 설정하거나, 또는

상기 현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 상호작용 미디어 이벤트가 상기 현재 시간에 발생하지만 네트워크 미디어 이벤트가 동시에 발생하지 않으며, 상기 현재 시간에 상기 상호작용 미디어 이벤트가 종료되었거나 또는 상기 단위 시간 구간이 종료된 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하고, 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 초기값으로 설정하거나, 또는

상기 현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 상기 현재 시간에 발생하며, 상기 현재 시간에 상기 단위 시간 구간이 종료된 것으로 검출되는 경우, 또는 상기 현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 상기 현재 시간에 발생하며, 상기 현재 시간에 상기 네트워크 미디어 이벤트 및/또는 상기 상호작용 미디어 이벤트가 종료된 것으로 검출되고 상기 단위 시간 구간은 종료되지 않은 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터, 상기 현재의 단위 시간 구간에서 상기 현재 시간 전에 최근에 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하는 단계를 포함하고,

상기 미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 상기 VR 멀티미디어의 MOS를 계산하기 위해, 상기 현재의 단위 시간 구간에서 상기 현재 시간 전에 최근에 결정된 상기 충실도 경험 점수, 및 상기 현재 시간에 결정된 상기 즐거움 경험 점수 및 상기 상호작용 경험 점수를 상기 입력 파라미터로서 사용하는 단계를 포함한다.

단위 시간 구간을 단위로서 사용하여 VR 멀티미디어의 MOS가 결정되는 경우, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하지 않으면, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 발생하는지 여부, 현재 시간이 발생하는 이벤트에 대응하는 종료 시간인지 여부, 및 현재 시간이 단위 시간 구간의 종료 시간인지 여부에 따라, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 데 상이한 방식이 사용될 수 있고, VR 멀티미디어의 MOS를 추가로 결정할 수 있다. 현재 시간이 제1 감각 파라미터의 샘플링 시간이 아니기 때문에, 충실도 경험 점수는 계산되지 않는다. 따라서, 즐거움 경험 점수가 결정되는 경우, 현재 시간 전에 최근에 결정된 충실도 경험 점수가 입력 파라미터로서 샘플링될 수 있다.

선택적으로, 상기 제1 감각 파라미터는 상기 시각적 차원에서의 비디오 속성 정보 및 비디오 파라미터와, 상기 음향적 차원에서의 오디오 속성 정보 및 오디오 파라미터를 포함하고,

상기 현재 시간에 대응하는 상기 제1 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 충실도 경험 점수를 결정하는 것은,

복수의 저장된 시각적 충실도 경험 점수 계산 모델로부터, 상기 현재 시간에 대응하는 상기 제1 감각 파라미터에 포함된 상기 비디오 속성 정보에 대응하는 시각적 충실도 경험 점수 계산 모델을 선택하는 단계;

상기 선택된 시각적 충실도 경험 점수 계산 모델을 사용하여 상기 현재 시간에서의 시각적 충실도 경험 점수를 계산하기 위해, 상기 현재 시간에 대응하는 상기 제1 감각 파라미터에 포함된 상기 비디오 파라미터를 입력 파라미터로서 사용하는 단계;

복수의 저장된 음향적 충실도 경험 점수 계산 모델로부터, 상기 현재 시간에 대응하는 상기 제1 감각 파라미터에 포함된 상기 오디오 속성 정보에 대응하는 음향적 충실도 경험 점수 계산 모델을 선택하는 단계;

상기 선택된 음향적 충실도 경험 점수 계산 모델을 사용하여 상기 현재 시간에서의 음향적 충실도 경험 점수를 계산하기 위해, 상기 현재 시간의 상기 제1 감각 파라미터에 포함된 상기 오디오 파라미터를 입력 파라미터로서 사용하는 단계; 및

상기 현재 시간에서의 상기 시각적 충실도 경험 점수 및 상기 음향적 충실도 경험 점수에 기초하여 상기 VR 멀티미디어의 상기 충실도 경험 점수를 결정하는 단계를 포함한다.

제1 감각 파라미터는 시각적 차원에서의 시각적 속성 정보 및 비디오 파라미터와, 음향적 차원에서의 음향적 속성 정보 및 음향 파라미터를 포함할 수 있음에 유의해야 한다. 시각적 충실도 경험 점수는 시각적 속성 정보 및 비디오 파라미터에 기초하여 결정될 수 있다. 음향적 충실도 경험 점수는 음향적 속성 정보 및 음향 파라미터에 기초하여 결정될 수 있다. 그 후, 충실도 경험 점수는 결정된 시각적 충실도 경험 점수 및 음향적 충실도 경험 점수에 기초한 계산을 통해 획득될 수 있다.

선택적으로, 상기 제2 감각 파라미터는 네트워크 미디어 이벤트의 유형 및 제3 듀레이션을 포함하고, 상기 제3 듀레이션은 단위 시간 구간에서의 상기 네트워크 미디어 이벤트의 듀레이션이며,

상기 현재 시간에 대응하는 상기 제2 감각 파라미터, 상기 현재 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하는 것은,

상기 현재 시간에 대응하는 상기 제2 감각 파라미터에 포함된 상기 네트워크 미디어 이벤트의 유형이 재생 이벤트인 경우, 상기 재생 이벤트에 대응하는 즐거움 경험 점수 계산 모델을 사용하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 계산하기 위해, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에 포함된 상기 제3 듀레이션, 상기 현재 결정된 충실도 경험 점수, 및 상기 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS를 입력 파라미터로서 사용하거나, 또는

상기 현재 시간에 대응하는 상기 제2 감각 파라미터에 포함된 상기 네트워크 미디어 이벤트의 유형이 프리즈 이벤트인 경우, 상기 프리즈 이벤트에 대응하는 즐거움 경험 점수 계산 모델을 사용하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 계산하기 위해, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에 포함된 상기 제3 듀레이션, 상기 현재 결정된 충실도 경험 점수, 및 상기 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS를 입력 파라미터로서 사용하거나, 또는

상기 현재 시간에 대응하는 상기 제2 감각 파라미터에 포함된 상기 네트워크 미디어 이벤트의 유형이 미디어 품질 변경 이벤트인 경우, 상기 현재 결정된 충실도 경험 점수와 상기 현재의 단위 시간 구간에서 상기 현재 시간 전에 최근에 결정된 충실도 경험 점수 사이의 차이를 상기 VR 멀티미디어의 상기 즐거움 경험 점수로서 결정하는 단계를 포함한다.

VR 멀티미디어의 MOS가 단위 시간 구간을 단위로서 사용하여 결정되는 경우, 즐거움 경험 점수가 결정될 때, 대응하는 즐거움 경험 점수는 제2 감각 파라미터 내에 포함된 단위 시간 구간에서의 네트워크 미디어 이벤트의 유형 및 네트워크 미디어 이벤트의 듀레이션에 기초하여 결정될 수 있음에 유의해야 한다.

선택적으로, 상기 제3 감각 파라미터는 상호작용 미디어 이벤트의 유형 및 제4 듀레이션을 포함하고, 상기 제4 듀레이션은 상기 단위 시간 구간에서의 상기 상호작용 미디어 이벤트의 듀레이션이며,

상기 선택된 상호작용 경험 점수 계산 모델을 사용하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 계산하기 위해, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 포함된 상기 상호작용 미디어 이벤트의 유형 및 상기 제4 듀레이션을 입력 파라미터로서 사용하는 단계를 포함한다.

VR 멀티미디어의 MOS가 단위 시간 구간을 단위로서 사용하여 결정되는 경우, 상호작용 경험 점수가 결정될 때, 대응하는 상호작용 경험 점수는 제3 감각 파라미터 내에 포함된 단위 시간 구간에서의 상호작용 미디어 이벤트의 유형 및 상호작용 미디어 이벤트의 듀레이션에 기초하여 결정될 수 있다.

상기 적어도 2개의 지각적 차원 각각에 대해, 상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서 상기 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 단계;

상기 지각적 차원에서 미리 설정된 VR 멀티미디어 경험 점수 계산 모델을 사용하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 경험 점수를 계산하기 위해, 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 충실도 경험 점수, 상기 즐거움 경험 점수 및 상기 상호작용 경험 점수를 입력 파라미터로서 사용하는 단계; 및

미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 상기 VR 멀티미디어의 경험 점수를 계산하기 위해, 상기 적어도 2개의 지각적 차원에서의 상기 VR 멀티미디어의 경험 점수를 입력 파라미터로서 사용하는 단계를 포함한다.

VR 멀티미디어의 MOS가 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터에 기초하여 결정되는 경우, 적어도 2개의 지각적 차원 각각에 대해, 먼저, 지각적 차원에서의 충실도 경험 점수가 제1 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 결정될 수 있고, 지각적 차원에서의 즐거움 경험 점수가 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 결정될 수 있으며, 지각적 차원에서의 상호작용 경험 점수가 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 결정될 수 있고, 그 후 지각적 차원에서 결정된 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수가 입력 파라미터로서 사용되고, 지각적 차원에서의 VR 멀티미디어의 MOS는 지각적 차원에서 미리 설정된 VR 멀티미디어 경험 점수 계산 모델을 사용하여 계산을 통해 획득된다.

선택적으로, 상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서 상기 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 단계는,

현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 상기 현재 시간에 발생하는 경우, 상기 현재 시간에 대응하는 상기 제1 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 충실도 경험 점수를 결정하는 단계; 및

상기 현재 시간에 발생하는 이벤트가 상기 네트워크 미디어 이벤트인 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 상기 지각적 차원에서 현재 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 초기값으로 설정하거나, 또는

상기 현재 시간에 발생하는 이벤트가 상기 상호작용 미디어 이벤트인 경우, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하고, 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 초기값으로 설정하는 단계를 포함한다.

제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터의 샘플링 주기가 상이하기 때문에, 각각 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터에서의 지각적 차원에 따른 샘플링을 수행함으로써 획득되는 파라미터에 기초한 지각적 차원에서의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 점수를 결정하는 기회도 또한 서로 다르다. 또한, 지각적 차원에서 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수는 VR 멀티미디어를 재생하는 과정에서 발생하는 이벤트를 단위로서 사용하거나 또는 미리 설정된 단위 시간 구간을 단위로서 사용하여 계산될 수 있다.

지각적 차원에서의 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수가 이벤트를 단위로서 사용하여 결정되는 경우, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트가 현재 시간에 발생하지만 상호작용 미디어 이벤트가 동시에 발생하지 않으면, 지각적 차원에서의 충실도 경험 점수는 샘플링을 통해 획득된 제1 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 결정될 수 있다. 지각적 차원에서의 즐거움 경험 점수가 지각적 차원에서의 충실도 경험 점수와 관련이 있기 때문에, 지각적 차원에서의 충실도 경험 점수가 업데이트되는 경우, 지각적 차원에서의 즐거움 경험 점수도 또한 대응적으로 업데이트된다. 따라서, 지각적 차원에서의 충실도 경험 점수가 계산을 통해 획득된 후에, 지각적 차원에서의 즐거움 경험 점수가 결정될 수 있다. 상호작용 미디어 이벤트가 발생하지 않기 때문에, 지각적 차원에서의 상호작용 경험 점수가 계산되지 않을 수 있다.

현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 상기 현재 시간에 발생하는 경우, 상기 현재 시간에 대응하는 상기 제1 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 충실도 경험 점수를 결정하고, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 상기 지각적 차원에서 상기 현재 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하며, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하는 단계를 포함한다.

지각적 차원에서의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수가 이벤트를 단위로서 사용하여 결정되는 경우, 현재 시간이 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시점에서 동시에 발생하면, 단말은 지각적 차원에서의 충실도 경험 점수 및 즐거움 경험 점수에 더하여, 지각적 차원에서의 상호 작용 경험 점수를 추가로 계산할 필요가 있다.

현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트가 상기 현재 시간에 발생하지만 상호작용 미디어 이벤트가 동시에 발생하지 않으며, 상기 현재 시간에 상기 네트워크 미디어 이벤트가 종료된 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 상기 현재 시간 전에 최근에 결정된 상기 지각적 차원에서의 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 초기값으로 설정하거나, 또는

상기 현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 상호작용 미디어 이벤트가 상기 현재 시간에 발생하지만 네트워크 미디어 이벤트가 동시에 발생하지 않으며, 상기 현재 시간에 상기 상호작용 미디어 이벤트가 종료된 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하고, 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 초기값으로 설정하거나, 또는

상기 현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 상기 현재 시간에 발생하며, 상기 현재 시간에 상기 네트워크 미디어 이벤트 및/또는 상기 상호작용 미디어 이벤트가 종료된 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 상기 현재 시간 전에 최근에 결정된 상기 지각적 차원에서의 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하는 단계를 포함하고,

이에 상응하여, 상기 지각적 차원에서 미리 설정된 VR 멀티미디어 경험 점수 계산 모델을 사용하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 경험 점수를 계산하기 위해, 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 충실도 경험 점수, 상기 즐거움 경험 점수 및 상기 상호작용 경험 점수를 입력 파라미터로서 사용하는 단계는,

상기 지각적 차원에서 상기 미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 경험 점수를 계산하기 위해, 상기 현재 시간 전에 최근에 결정된 상기 지각적 차원에서의 상기 충실도 경험 점수, 및 상기 현재 시간에 결정된 상기 지각적 차원에서의 상기 즐거움 경험 점수 및 상기 상호작용 경험 점수를 상기 입력 파라미터로서 사용하는 단계를 포함한다.

지각적 차원에서의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수가 이벤트를 단위로서 사용하여 결정되는 경우, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하지 않으면, 네트워크 멀티미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 발생하는지 여부 및 현재 시간이 발생하는 이벤트에 대응하는 종료 시간인지 여부에 따라, 지각적 차원에서의 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 데 상이한 방식이 사용될 수 있고, 지각적 차원에서 VR 멀티미디어의 경험 점수를 추가로 결정할 수 있다. 현재 시간이 제1 감각 파라미터의 샘플링 시간이 아니므로, 지각적 차원에서의 충실도 경험 점수는 계산되지 않는다. 따라서, 지각적 차원에서의 즐거움 경험 점수가 결정되는 경우, 현재 시간 전에 최근에 결정된 충실도 경험 점수가 입력 파라미터로서 샘플링될 수 있다.

선택적으로, 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터는 지각적 차원에서 발생하는 네트워크 미디어 이벤트의 유형 및 대응하는 제5 듀레이션을 포함하고, 상기 대응하는 제5 듀레이션은 상기 지각적 차원에서의 상기 네트워크 미디어 이벤트의 듀레이션이며,

상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 상기 지각적 차원에서의 상기 현재 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하는 것은,

상기 현재 시간에 대응하는 상기 제2 감각 파라미터에 포함된 상기 지각적 차원에 따라 샘플링을 수행하여 획득된 파라미터 내에 포함된 상기 네트워크 미디어 이벤트의 유형이 재생 이벤트인 경우, 상기 재생 이벤트에 대응하는 즐거움 경험 점수 계산 모델을 사용하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 계산하기 위해, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터 내의 상기 지각적 차원에 따라 샘플링을 수행하여 획득된 파라미터에 포함된 제5 듀레이션, 상기 지각적 차원에서 상기 현재 결정된 충실도 경험 점수, 및 상기 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS를 입력 파라미터로서 사용하거나, 또는

상기 현재 시간에 대응하는 상기 제2 감각 파라미터에 포함된 상기 지각적 차원에 따라 샘플링을 수행하여 획득된 상기 파라미터에 포함된 상기 네트워크 미디어 이벤트의 유형이 프리즈 이벤트인 경우, 상기 프리즈 이벤트에 대응하는 즐거움 경험 점수 계산 모델을 사용하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 계산하기 위해, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행하여 획득된 상기 파라미터에 포함된 상기 제5 듀레이션, 상기 지각적 차원에서 상기 현재 결정된 충실도 경험 점수, 및 상기 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS를 입력 파라미터로서 사용하거나, 또는

상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행하여 획득된 파라미터에 포함된 상기 네트워크 미디어 이벤트의 유형이 미디어 품질 변경 이벤트인 경우, 상기 지각적 차원에서 상기 현재 결정된 충실도 경험 점수와 상기 현재 시간 전에 최근에 결정된 상기 지각적 차원에서의 충실도 경험 점수 사이의 차이를 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수로서 결정하는 단계를 포함한다.

선택적으로, 상기 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터는 상호작용 미디어 이벤트의 유형 및 제6 듀레이션을 포함하고, 상기 제6 듀레이션은 상기 지각적 차원에서의 상기 상호작용 미디어 이벤트의 듀레이션이며,

상기 현재 시간에 대응하는 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하는 것은,

복수의 저장된 상호작용 경험 점수 계산 모델로부터, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 포함된 상기 상호작용 미디어 이벤트의 유형에 대응하는 상호작용 경험 점수 계산 모델을 선택하는 단계; 및

상기 선택된 상호작용 경험 점수 계산 모델을 사용하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 계산하기 위해, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 포함된 상기 상호작용 미디어 이벤트의 유형 및 상기 제6 듀레이션을 입력 파라미터로서 사용하는 단계를 포함한다.

상기 현재 시간에 발생하는 이벤트가 상기 네트워크 미디어 이벤트인 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 상기 지각적 차원에서 상기 현재 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 초기값으로 설정하거나, 또는

지각적 차원에서의 VR 멀티미디어의 MOS는 단위 시간 구간을 단위로서 사용함으로써 추가로 결정될 수 있음에 유의해야 한다. 이 경우, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 현재 시간에 네트워크 미디어 이벤트가 발생하지만 동시에 상호작용 미디어 이벤트가 발생하지 않으면, 지각적 차원에서의 충실도 경험 점수는 샘플을 통해 획득된 제1 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 결정될 수 있다. 지각적 차원에서의 즐거움 경험 점수가 지각적 차원에서의 충실도 경험 점수와 관련이 있기 때문에, 지각적 차원에서의 충실도 경험 점수가 업데이트되는 경우, 지각적 차원에서의 즐거움 경험 점수도 또한 대응적으로 업데이트된다. 따라서, 지각적 차원에서의 충실도 경험 점수가 계산을 통해 획득된 후에, 지각적 차원에서의 즐거움 경험 점수가 결정될 수 있다. 또한, 이전의 단위 이벤트 구간의 종료시의 VR 멀티미디어의 MOS는 지각적 차원에서의 즐거움 경험 점수를 계산하기 위한 입력 파라미터로서 사용될 수 있다. 이는 VR 멀티미디어의 이전 재생의 영향을 고려하는 것과 동일하므로, 보다 포괄적이고 보다 정확하다. 상호작용 미디어 이벤트가 발생하지 않기 때문에, 지각적 차원에서의 상호작용 경험 점수가 계산되지 않을 수 있다.

현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 상기 현재 시간에 발생하는 경우, 상기 현재 시간에 대응하는 상기 제1 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 충실도 경험 점수를 결정하고, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 상기 지각적 차원에서 상기 현재 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하며, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하는 단계를 포함한다.

지각적 차원에서의 VR 멀티미디어의 MOS가 단위 시간 구간을 단위로서 사용하여 결정되는 경우, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 동시에 발생하면, 단말은 지각적 차원에서의 충실도 경험 점수 및 즐거움 경험 점수 외에 지각적 차원에서의 상호작용 경험 점수를 추가로 계산할 필요가 있다.

현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트가 상기 현재 시간에 발생하지만 상호작용 미디어 이벤트가 동시에 발생하지 않으며, 상기 현재 시간에 상기 네트워크 미디어 이벤트가 종료되었거나 단위 시간 구간이 종료된 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 상기 현재 시간 전에 최근에 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 초기값으로 설정하거나, 또는

상기 현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 상호작용 미디어 이벤트가 상기 현재 시간에 발생하지만 네트워크 미디어 이벤트가 동시에 발생하지 않으며, 상기 현재 시간에 상기 상호작용 미디어 이벤트가 종료되었거나 상기 단위 시간 구간이 종료된 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하고, 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 초기값으로 설정하거나, 또는

상기 현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 상기 현재 시간에 발생하며, 상기 현재 시간에 상기 단위 시간 구간이 종료된 것으로 검출되는 경우, 또는 상기 현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 상기 현재 시간에 발생하며, 상기 현재 시간에 상기 네트워크 미디어 이벤트 및/또는 상기 상호작용 미디어 이벤트가 종료된 것으로 검출되고, 상기 단위 시간 구간이 종료되지 않은 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 상기 현재의 단위 시간 구간에서 상기 현재 시간 전에 최근에 결정된 상기 지각적 차원에서의 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하는 단계를 포함하고,

상기 지각적 차원에서 상기 미리 설정된 VR 멀티미디어 경험 점수 계산 모델을 사용하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 경험 점수를 계산하기 위해, 상기 현재의 단위 시간 구간에서 상기 현재 시간 전에 최근에 결정된 상기 지각적 차원에서의 상기 충실도 경험 점수, 및 상기 현재 시간에 결정된 상기 지각적 차원에서의 상기 즐거움 경험 점수 및 상기 상호작용 경험 점수를 상기 입력 파라미터로서 사용하는 단계를 포함한다.

지각적 차원에서 VR 멀티미디어의 MOS가 단위 시간 구간을 단위로서 사용하여 결정되는 경우, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하지 않으면, 네트워크 멀티미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 발생하는지 여부, 현재 시간이 발생하는 이벤트에 대응하는 종료 시간인지 여부, 및 현재 시간이 단위 시간 구간의 종료 시간인지 여부에 따라, 상이한 방식이 지각적 차원에서의 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 데 사용될 수 있고, VR 멀티미디어의 MOS를 추가로 결정할 수 있다. 현재 시간이 제1 감각 파라미터의 샘플링 시간이 아니므로, 지각적 차원에서의 충실도 경험 점수는 계산되지 않는다. 따라서, 지각적 차원에서의 즐거움 경험 점수가 결정되는 경우, 현재 시간 전에 최근에 결정된 충실도 경험 점수가 입력 파라미터로서 샘플링될 수 있다.

선택적으로, 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터는 네트워크 미디어 이벤트의 유형 및 제7 듀레이션을 포함하고, 제7 듀레이션은 단위 시간 구간에서 지각적 차원에서의 네트워크 미디어 이벤트의 듀레이션이며,

상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 상기 지각적 차원에서 상기 현재 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하는 것은,

상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터 내에 포함된 상기 네트워크 미디어 이벤트의 유형이 재생 이벤트인 경우, 상기 재생 이벤트에 대응하는 즐거움 경험 점수 계산 모델을 사용하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 계산하기 위해, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터 내의 상기 지각적 차원에 따라 샘플링을 수행하여 획득된 파라미터에 포함된 제7 듀레이션, 상기 지각적 차원에서 상기 현재 결정된 충실도 경험 점수, 및 상기 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS를 입력 파라미터로서 사용하거나, 또는

상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행하여 획득된 상기 파라미터에 포함된 상기 네트워크 미디어 이벤트의 유형이 프리즈 이벤트인 경우, 상기 프리즈 이벤트에 대응하는 즐거움 경험 점수 계산 모델을 사용하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 계산하기 위해, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행하여 획득된 상기 파라미터에 포함된 상기 제7 듀레이션, 상기 지각적 차원에서 상기 현재 결정된 충실도 경험 점수, 및 상기 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS를 입력 파라미터로서 사용하거나, 또는

상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행하여 획득된 파라미터에 포함된 상기 네트워크 미디어 이벤트의 유형이 미디어 품질 변경 이벤트인 경우, 상기 지각적 차원에서 상기 현재 결정된 충실도 경험 점수와 현재의 단위 시간 구간에서 상기 현재 시간 전에 최근에 결정된 상기 지각적 차원에서의 충실도 경험 점수 사이의 차이를 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수로서 결정하는 단계를 포함한다.

선택적으로, 상기 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터는 상호작용 미디어 이벤트의 유형 및 제8 듀레이션을 포함하고, 상기 제8 듀레이션은 상기 지각적 차원에서의 상기 상호작용 미디어 이벤트의 듀레이션이며,

상기 선택된 상호작용 경험 점수 계산 모델을 사용하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 계산하기 위해, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 포함된 상기 상호작용 미디어 이벤트의 유형 및 상기 제8 듀레이션을 입력 파라미터로서 사용하는 단계를 포함한다.

선택적으로, 상기 제1 감각 파라미터에서의 상기 시각적 차원의 비디오 속성 정보는 프로젝션 포맷, 스테레오 정도 및 자유도 중 적어도 하나를 포함하고, 상기 제1 감각 파라미터에서의 상기 시각적 차원의 비디오 파라미터는 전화면 해상도 및 시계(field of view) 중 적어도 하나를 포함하며, 상기 제1 감각 파라미터에서의 상기 음향적 차원의 오디오 속성 정보는 오디오 스테레오 정도를 포함한다.

프로젝션 포맷, 스테레오 정도, 자유도 및 오디오 스테레오 정도는 종래의 멀티미디어와는 다른 VR 멀티미디어의 고유 속성 정보이며, 전화면 해상도 및 시계도 역시 VR 멀티미디어의 고유 파라미터인 점에 유의해야 한다. 파라미터에 기초하여 충실도 경험 점수를 계산하는 것은 VR 멀티미디어의 특징에 더 잘 부합하고, 이에 기초하여 결정되는 VR 멀티미디어의 MOS도 또한 더 정확하다

선택적으로, 상기 제2 감각 파라미터는 네트워크 미디어 이벤트의 유형 및 대응하는 듀레이션을 포함하고, 상기 대응하는 듀레이션은 상기 네트워크 미디어 이벤트의 듀레이션이다.

VR 멀티미디어의 MOS가 이벤트를 단위로서 사용하여 결정되는 경우, 제2 감각 파라미터에 포함된 듀레이션은 네트워크 미디어 이벤트의 듀레이션일 수 있음에 유의해야 한다. VR 멀티미디어의 MOS가 단위 시간 구간을 단위로서 사용하여 결정되는 경우, 제2 감각 파라미터에 포함된 듀레이션은 단위 시간 구간에서의 네트워크 미디어 이벤트의 듀레이션일 수 있다.

선택적으로, 상기 제2 감각 파라미터에 포함된 상기 네트워크 미디어 이벤트의 유형은 재생 이벤트, 또는 프리즈 이벤트, 또는 미디어 품질 변경 이벤트를 포함한다.

네트워크 미디어 이벤트는 네트워크 상태의 변경으로 인한 이벤트이다. 따라서, 네트워크 미디어 이벤트의 유형은 재생 이벤트, 또는 프리즈 이벤트, 또는 미디어 품질 변경 이벤트를 포함할 수 있으나, 이에 한정되는 것은 아니다.

선택적으로, 상기 제3 감각 파라미터는 상호작용 미디어 이벤트의 유형 및 대응하는 듀레이션을 포함하고, 상기 대응하는 듀레이션은 상호작용 미디어 이벤트의 듀레이션이다.

선택적으로, 상기 제3 감각 파라미터에 포함된 상기 상호작용 미디어 이벤트의 유형은 초기 로딩 이벤트, 또는 상호작용 로딩 이벤트, 또는 미디어 히스테리시스 이벤트를 포함하고, 상기 초기 로딩 이벤트는 상기 VR 멀티미디어가 초기에 재생되는 경우의 로딩 이벤트이며, 상기 상호작용 로딩 이벤트는 상기 VR 멀티미디어와 사용자 사이의 상호작용으로 인해 발생하는 로딩 이벤트이고, 상기 미디어 히스테리시스 이벤트는 사용자 동작으로 인한 미디어 업데이트와 동작 사이에 발생하는 히스테리시스 이벤트이다.

VR 멀티미디어의 MOS가 이벤트를 단위로서 사용하여 결정되는 경우, 제3 감각 파라미터에 포함된 듀레이션은 상호작용 미디어 이벤트의 듀레이션일 수 있음에 유의해야 한다. VR 멀티미디어의 MOS가 단위 시간 구간을 단위로서 사용하여 결정되는 경우, 제3 감각 파라미터에 포함된 듀레이션은 단위 시간 구간에서의 상호작용 미디어 이벤트의 듀레이션일 수 있다.

선택적으로, 상기 적어도 2개의 지각적 차원은 피드백 차원를 더 포함하고, 상기 피드백 차원은 상기 시각적 차원과 상기 적어도 2개의 지각적 차원에서 상기 시각적 차원 이외의 다른 차원 사이의 동기화 및 연관관계이며,

상기 제1 감각 파라미터에서의 상기 피드백 차원에 따라 샘플링을 수행함으로써 획득된 파라미터는 시간 동기화 정도, 방위 동기화 정도 및 포스(force) 피드백 지시자 중 적어도 하나를 포함하고 ― 상기 시간 동기화 정도는 상기 시각적 차원과 상기 음향적 차원 사이의 시간 동기화 정도이며, 상기 방위 동기화 정도는 상기 시각적 차원과 상기 음향적 차원 사이의 방위 동기화 정도이고, 상기 포스 피드백 지시자는 상기 시각적 차원과 일치하는 포스 피드백이 있는지 여부를 지시하는 데 사용됨 ―,

상기 제2 감각 파라미터에서의 상기 피드백 차원에 따라 샘플링을 수행함으로써 획득된 파라미터는 제1 동기화 정도 변경 지시자, 제2 동기화 정도 변경 지시자 및 제3 동기화 정도 변경 지시자 중 적어도 하나를 포함하며 ― 상기 제1 동기화 정도 변경 지시자는 상기 시간 동기화 정도가 변하는지 여부를 지시하는 데 사용되고, 상기 제2 동기화 정도 변경 지시자는 상기 방위 동기화 정도가 변하는지 여부를 지시하는 데 사용되며, 상기 제3 동기화 정도 변경 지시기는 상기 시각적 차원과 상기 포스 피드백 사이의 시간 동기화 정도가 변하는지 여부를 지시하는 데 사용됨 ―,

상기 제3 감각 파라미터에서의 상기 피드백 차원에 따라 샘플링을 수행함으로써 획득된 파라미터는 히스테리시스 지시자를 포함하고, 상기 히스테리시스 지시자는 상기 포스 피드백과 동작 사이에 히스테리시스 이벤트가 발생하는지 여부를 지시하는 데 사용된다.

적어도 2개의 지각적 차원은 시각적 차원 및 음향적 차원 외에 피드백 차원을 더 포함할 수 있고, 피드백 차원은 시각적 차원과, 적어도 2개의 지각적 차원에서 시각적 차원 이외의 다른 차원 사이의 동기화 및 연관관계이다.

선택적으로, 상기 VR 멀티미디어의 평균 의견 점수(mean opinion score, MOS)를 결정하는 단계 후에, 상기 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법은,

미리 설정된 테스트 듀레이션 내에서 계산을 통해 획득된 상기 VR 멀티미디어의 모든 MOS의 평균값을 결정하는 단계 ― 상기 미리 설정된 테스트 듀레이션은 상기 VR 멀티미디어의 경험 품질을 결정하는 듀레이션임 ―를 더 포함한다.

일반적으로, VR 멀티미디어의 MOS가 결정되는 경우, 테스트는 일반적으로 미리 설정된 테스트 듀레이션 내에서 수행된다. 미리 설정된 테스트 듀레이션 내에서 복수의 이벤트가 발생하거나 복수의 단위 시간 구간이 포함된다. 따라서, VR 멀티미디어의 복수의 MOS가 획득될 수 있다. 이 경우, VR 멀티미디어의 모든 MOS의 평균값은 계산을 통해 획득될 수 있으며, 평균값은 미리 설정된 테스트 듀레이션 내에서 VR 멀티미디어의 MOS 통계값으로서 사용된다.

상기 미리 설정된 테스트 듀레이션 내에서 계산을 통해 획득된 상기 VR 멀티미디어의 모든 MOS의 평균 제곱 오차를 결정하는 단계 ― 상기 평균 제곱 오차는 상기 VR 멀티미디어의 MOS의 안정성을 지시하는 데 사용됨 ―를 더 포함한다.

VR 멀티미디어의 복수의 MOS의 평균값이 계산을 통해 획득된 후, VR 멀티미디어의 복수의 MOS의 평균 제곱 오차가 계산될 수 있으며, 여기서 평균 제곱 오차는 미리 설정된 테스트 듀레이션 내에서 VR 멀티미디어의 경험 품질의 안정성을 평가하는 데 사용된다.

제2 측면에 따르면, VR 멀티미디어의 경험 품질을 결정하기 위한 장치가 제공되며, VR 멀티미디어의 경험 품질을 결정하기 위한 장치는 제1 측면에서 VR 멀티미디어의 경험 품질을 결정하는 방법의 동작을 구현하는 기능을 갖는다. VR 멀티미디어의 경험 품질을 결정하기 위한 장치는 적어도 하나의 모듈을 포함하고, 적어도 하나의 모듈은 제1 측면에 따라 VR 멀티미디어의 경험 품질을 결정하기 위한 방법을 구현하도록 구성된다.

제3 측면에 따르면, VR 멀티미디어의 경험 품질을 결정하기 위한 장치가 제공되며, VR 멀티미디어의 경험 품질을 결정하기 위한 장치의 구조는 프로세서 및 메모리를 포함하고, 메모리는 제1 측면에 따라 VR 멀티미디어의 경험 품질을 결정하기 위한 방법을 수행함에 있어서 VR 멀티미디어의 경험 품질을 결정하기 위한 장치를 지원하는 프로그램 및 제1 측면에 따라 VR 멀티미디어의 경험 품질을 결정하기 위한 방법을 구현하기 위해 사용되는 데이터를 저장하도록 구성된다. 프로세서는 메모리에 저장된 프로그램을 실행하도록 구성된다. 저장 장치의 작동 장치는 통신 버스를 더 포함할 수 있고, 통신 버스는 프로세서와 메모리 사이의 연결을 구축하도록 구성된다.

제4 측면에 따르면, 컴퓨터 판독 가능 저장 매체가 제공되며, 여기서 컴퓨터 판독 가능 저장 매체는 명령을 저장하고, 명령이 컴퓨터 상에서 실행될 때, 컴퓨터는 제1 측면에 따른 VR 멀티미디어의 경험 품질을 결정하기 위한 방법을 수행한다.

제5 측면에 따르면, 명령을 포함하는 컴퓨터 프로그램 제품이 제공되며, 여기서 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때, 컴퓨터는 제1 측면에 따른 VR 멀티미디어의 경험 품질을 결정하기 위한 방법을 수행한다.

제2 측면, 제3 측면, 제4 측면 및 제5 측면에서 달성된 기술적 효과는 제1 측면에서 대응하는 기술적 수단에 의해 달성된 것과 유사하다. 세부 사항은 본 명세서에서 다시 설명되지 않는다.

본 출원에 의해 제공되는 기술적 해결수단은 다음과 같은 유익한 효과를 갖는다. VR 멀티미디어의 경험 품질을 결정하는 과정에서, 품질 평가는 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터에 기초한 충실도 경험, 즐거움 경험 및 상호작용 경험에 대해 수행되지만, 그러나 이머션, 멀티 센스 통합 및 사용자와의 상호 작용은 VR 멀티미디어를 종래의 멀티미디어와 구별하는 정확한 주요 특징이다. 따라서, 본 발명의 실시예에서 VR 멀티미디어의 경험 품질을 결정하는 것은 VR 멀티미디어의 실제 상황에 더 잘 부합하고, VR 멀티미디어의 결정된 경험 품질도 또한 더 정확하다.

도 1은 본 발명의 실시예에 따른 VR 멀티미디어의 경험 품질을 결정하기 위한 방법에서의 시스템의 구조도이다.
도 2는 본 발명의 실시예에 따른 단말의 개략적인 구조도이다.
도 3은 본 발명의 실시예에 따른 단말 장치의 개략적인 구조도이다.
도 4는 본 발명의 실시예에 따른 VR 멀티미디어의 경험 품질을 결정하기 위한 방법의 흐름도이다.
도 5a는 본 발명의 실시예에 따라 이벤트를 단위로서 사용하여 VR 멀티미디어의 MOS를 결정하기 위한 방법의 흐름도이다.
도 5b는 본 발명의 실시예에 따라 이벤트를 단위로서 사용하여 VR 멀티미디어의 MOS를 결정하기 위한 방법의 흐름도이다.
도 5c는 본 발명의 실시예에 따라 이벤트를 단위로서 사용하여 VR 멀티미디어의 MOS를 결정하기 위한 방법의 흐름도이다.
도 6a는 본 발명의 실시예에 따라 단위 시간 구간을 단위로서 사용하여 VR 멀티미디어의 MOS를 결정하기 위한 방법의 흐름도이다.
도 6b는 본 발명의 실시예에 따라 단위 시간 구간을 단위로서 사용하여 VR 멀티미디어의 MOS를 결정하기 위한 방법의 흐름도이다.
도 6c는 본 발명의 실시예에 따라 단위 시간 구간을 단위로서 사용하여 VR 멀티미디어의 MOS를 결정하기 위한 방법의 흐름도이다.
도 7은 본 발명의 실시예에 따른 VR 멀티미디어의 경험 품질을 결정하기 위한 다른 방법의 흐름도이다.
도 8a는 본 발명의 실시예에 따라 이벤트를 단위로서 사용하여 지각적 차원에서의 VR 멀티미디어의 경험 점수를 결정하기 위한 방법의 흐름도이다.
도 8b는 본 발명의 실시예에 따라 이벤트를 단위로서 사용하여 지각적 차원에서의 VR 멀티미디어의 경험 점수를 결정하기 위한 방법의 흐름도이다.
도 8c는 본 발명의 실시예에 따라 이벤트를 단위로서 사용하여 지각적 차원에서의 VR 멀티미디어의 경험 점수를 결정하기 위한 방법의 흐름도이다.
도 9a는 본 발명의 실시예에 따라 단위 시간 구간을 단위로서 사용하여 지각적 차원에서의 VR 멀티미디어의 경험 점수를 결정하기 위한 방법의 흐름도이다.
도 9b는 본 발명의 실시예에 따라 단위 시간 구간을 단위로서 사용하여 지각적 차원에서의 VR 멀티미디어의 경험 점수를 결정하기 위한 방법의 흐름도이다.
도 9c는 본 발명의 실시예에 따라 단위 시간 구간을 단위로서 사용하여 지각적 차원에서의 VR 멀티미디어의 경험 점수를 결정하기 위한 방법의 흐름도이다.
도 10a는 본 발명의 실시예에 따른 VR 멀티미디어의 경험 품질을 결정하기 위한 장치의 개략적인 구조도이다.
도 10b는 본 발명의 실시예에 따른 결정 모듈의 개략적인 구조도이다.
도 10C는 본 발명의 실시예에 따른 결정 모듈의 다른 개략적인 구조도이다.

본 출원의 목적, 기술적 해결수단, 및 이점을 보다 명확히 하기 위해, 이하 첨부 도면을 참조하여 본 출원의 구현예를 더욱 상세하게 설명한다.

이해를 돕기 위해, 본 발명의 실시예들에서 사용된 용어들이 본 발명의 실시예들이 상세하게 설명되고 기술되기 전에 먼저 설명된다.

충실도 경험(Fidelity experience)

충실도 경험은 주로 VR 멀티미디어의 가상 환경에 의한 실제 환경의 재생 정도를 지시하는 데 사용된다. 재현 정도가 높을수록 사용자의 몰입 경험이 더 강해진다. 따라서, 충실도 경험은 또한 사용자의 몰입 경험을 반영할 수도 있다.

즐거움 경험(Enjoyment experience)

즐거움 경험은 주로 VR 멀티미디어를 재생하는 과정에서 VR 멀티미디어의 재생 품질에 대한 네트워크 전송 품질의 영향을 지시하는 데 사용된다. 네트워크 전송 품질이 비교적 양호한 경우, VR 멀티미디어는 정상적으로 재생될 수 있다. 이 경우, VR 멀티미디어의 가상 환경의 사용자 경험은 중단되지 않는다. 네트워크 전송 품질이 비교적 열악한 경우, VR 멀티미디어가 정지되거나 비디오 및 오디오 품질이 열악해진다. 이 경우, VR 멀티미디어의 가상 환경의 사용자 경험은 중단되거나 경험이 열악해질 수 있다. 그러나, 사용자 경험이 열악해지는 경우, 사용자는 VR 멀티미디어를 계속 경험하고 싶지 않을 수 있다. 따라서, 즐거움 경험은 또한 사용자가 VR 멀티미디어를 재생하는 과정에서 VR 멀티미디어를 계속 경험할 가능성을 반영할 수 있다.

상호작용 경험(Interaction experience)

상호작용 경험은 주로 사용자와 VR 멀티미디어의 가상 환경 사이에 수행되는 실시간 품질과 상호작용의 일관성을 지시하는 데 사용된다. VR 멀티미디어에 의해 제공되는 비디오 이미지 및 동기식으로 재생되는 오디오는 신체 자세 또는 사용자의 행동 등이 변화함에 따라 변경될 수 있다. 이 과정에서, 네트워크 전송 품질과 같은 요인으로 인해, 신체 자세 또는 사용자의 행동 등의 변화와 VR 멀티미디어의 비디오 이미지 및 오디오의 변화 사이에 레이턴시(latency)가 존재할 수 있다. 레이턴시가 높아질수록 사용자와 VR 멀티미디어 사이의 상호작용이 더 부자연스러워진다. 따라서, 상호작용 경험은 또한 사용자와 VR 멀티미디어 사이의 자연스러운 상호작용 정도를 반영할 수 있다.

또한, 신체 자세 또는 사용자의 행동 등이 변하는 경우, VR 멀티미디어의 비디오 이미지 및 오디오의 변화는 신체 자세 또는 사용자의 행동 등의 변화와 일치해야 한다. 예를 들어, 사용자가 머리를 왼쪽으로 돌리면, VR 멀티미디어의 비디오 이미지 및 오디오도 또한 사용자가 회전하는 방향에 따라 대응적으로 변경되어야 한다. VR 멀티미디어의 변화가 신체 자세 및 사용자의 행동의 변화와 일치하지 않으면, 비교적 열악한 상호작용 경험이 야기된다.

충실도 경험, 즐거움 경험 및 상호작용 경험에 대한 설명에서 알 수 있는 바와 같이, 충실도 경험은 네트워크 전송 품질과 같은 요소의 영향이 없는 이상적인 상황에서 사용자 경험을 반영할 수 있다. 그러나, 즐거움 경험 및 상호작용 경험은 네트워크 전송 품질과 같은 영향에 의해 야기되는 사용자 경험의 손상을 반영한다.

제1 감각 파라미터(sensory parameter)

제1 감각 파라미터는 충실도 경험에 영향을 미치는 파라미터이며, 적어도 2개의 지각적 차원(perceptual dimension)에 따라 샘플링을 수행함으로써 획득된다. 적어도 2개의 지각적 차원은 시각적 차원 및 음향적 차원을 포함하고, 확실히 다른 차원을 더 포함할 수 있다. 예를 들어 피드백 차원, 촉각적 차원, 운동적 차원, 후각적 차원, 미각적 차원 등을 더 포함할 수 있다. 피드백 차원은 시각적 차원과 적어도 2개의 지각적 차원에서 시각적 차원 이외의 다른 차원 사이의 동기화 및 연관관계를 반영할 수 있는 차원이다.

시각적 차원에서, 제1 감각 파라미터는 복수의 비디오 속성 정보 및 복수의 비디오 파라미터를 포함할 수 있다. 복수의 비디오 속성 정보는 비디오 프로젝션 포맷, 비디오 코딩 유형, 스테레오 정도 및 자유도와 같은 비디오 속성을 반영하는 일련의 정보를 포함할 수 있다. 복수의 비디오 파라미터는 비디오 비트 레이트, 전화면(full view) 해상도, 시간 복잡도, 공간 복잡도 및 시계(field of view)와 같은 파라미터를 포함할 수 있다. 또한, 복수의 비디오 속성 정보 및 복수의 비디오 파라미터를 샘플링하기 위한 샘플링 주기는 상이할 수 있다. 예를 들어, 비디오 속성 정보에서의 자유도에 대해, VR 멀티미디어의 자유도가 일반적으로 변하지 않기 때문에, VR 멀티미디어의 경험 품질을 결정하는 과정에서 자유도는 한 번만 샘플링될 필요가 있다.

스테레오 정도는 VR 멀티미디어가 단안(monocular) 비디오 또는 양안(binocular) 스테레오 비디오임을 지시하는 데 사용된다. VR 멀티미디어가 단안 비디오인 경우, 샘플링을 통해 획득된 스테레오 정도는 0이다. VR 멀티미디어가 양안 스테레오 비디오인 경우, 샘플링을 통해 획득된 스테레오 정도는 1이다. 자유도는 VR 멀티미디어의 비디오가 제공할 수 있는 자유도이다. 일반적으로, VR 멀티미디어의 비디오의 자유도는 3 자유도, 6 자유도 등일 수 있다. 시간 복잡도는 VR 멀티미디어를 재생하는 과정에서 연속된 프레임 또는 연속된 시간 구간에서 동일한 위치에서의 두 픽셀 값들 사이의 차이를 지시하는 데 사용된다. 공간 복잡도는 VR 멀티미디어의 각각 필터링된 프레임에서의 픽셀 값들 간의 표준 차이를 지시하는 데 사용된다. 시간 복잡도 및 공간 복잡도는 함께 컨텐츠 복잡도를 구성한다. 샘플링이 수행되는 경우, 시간 복잡도에 대한 샘플링을 수행함으로써 VR 멀티미디어에 대응하는 시간 복잡도 계수가 획득되고, 공간 복잡성에 대해 샘플링을 수행함으로써 VR 멀티미디어에 대응하는 공간 복잡도 계수가 획득된다. 시계는 VR 멀티미디어 및 헤드 마운트 디스플레이와 같은 단말에 의해 함께 결정되며, 사용자가 비디오를 시청하는 시야각을 지시하는 데 사용된다. 더 큰 시계는 더 넓은 시야를 지시한다. 일반적으로, 시계는 수평 시계 및 수직 시계로 분해될 수 있으며, 시계의 범위는 60°내지 210°이다.

음향적 차원에서, 제1 감각 파라미터는 복수의 오디오 속성 정보 및 적어도 하나의 오디오 파라미터를 포함할 수 있다. 복수의 오디오 속성 정보는 오디오 샘플링 레이트, 오디오 스테레오 정도 및 오디오 코딩 포맷을 포함할 수 있다. 적어도 하나의 오디오 파라미터는 오디오 비트 레이트를 포함할 수 있다.

오디오 스테레오 정도는 VR 멀티미디어의 오디오가 스테레오 사운드 또는 공간 사운드임을 지시하는 데 사용된다. VR 멀티미디어의 오디오가 스테레오 사운드인 경우, 샘플링을 통해 획득된 오디오 스테레오 정도는 0이다. VR 멀티미디어의 오디오가 공간 사운드인 경우, 샘플링을 통해 획득된 오디오 스테레오 정도는 1이다.

제2 감각 파라미터

제2 감각 파라미터는 즐거움 경험에 영향을 줄 수 있는 파라미터이며 적어도 2개의 지각적 차원에 따라 샘플링을 수행함으로써 획득된다. 본 출원에서, 제2 감각 파라미터는 주로 네트워크 미디어 이벤트의 유형 및 대응하는 듀레이션(duration)을 포함한다. 즐거움 경험에 영향을 주는 일반적인 유형의 네트워크 미디어 이벤트는 재생 이벤트, 프리즈 이벤트(freeze event) 및 미디어 품질 변경 이벤트이다.

프리즈 이벤트는 네트워크 전송 품질이 비교적 열악하기 때문에 VR 멀티미디어의 재생이 일시 중지되었음을 지시한다. 미디어 품질 변경 이벤트는 네트워크 전송 품질로 인한 VR 멀티미디어의 비디오 품질 및 오디오 품질의 변경이다. 미디어 품질 변경 이벤트는 해상도의 증가 또는 감소, 평균 비트 레이트의 증가 또는 감소, 프레임 레이트의 증가 또는 감소, 또는 샘플링 레이트의 증가 또는 감소 및 사용자 데이터그램 프로토콜(User Datagram Protocol, UDP)과 관련된 미디어 품질 변경 이벤트와 같은 이벤트일 수 있으며, 여기서 UDP와 관련된 품질 변경 이벤트는 프레임 손상, 프레임 스킵, 아티팩트(artifact) 등일 수 있다.

제3 감각 파라미터

제3 감각 파라미터는 상호작용 경험에 영향을 줄수 있는 파라미터이며, 적어도 2개의 지각적 차원에 따라 샘플링을 수행함으로써 획득된다. 본 출원에서, 제3 감각 파라미터는 주로 상호작용 미디어 이벤트의 유형 및 대응하는 듀레이션을 포함한다. 상호작용 경험에 영향을 주는 일반적인 유형의 상호작용 미디어 이벤트는 초기 로딩 이벤트, 상호작용 로딩 이벤트 및 미디어 히스테리시스 이벤트이다.

초기 로딩 이벤트는 VR 멀티미디어가 처음 재생될 때 발생하는 로딩 이벤트이다. 상호작용 로딩 이벤트는 사용자와의 상호작용으로 인해 발생하는 로딩 이벤트, 즉 사용자 조작으로 인한 VR 멀티미디어의 장면 전환시 로딩 이벤트이다. 미디어 히스테리시스 이벤트는 사용자 동작으로 인해 미디어 업데이트와 사용자 동작 사이에 발생하는 히스테리시스 이벤트, 즉 위치 또는 신체 자세의 변경이나 사용자 머리의 회전과 같은 동작으로 인해 미디어 업데이트와 동작 사이에 발생하는 히스테리시스 이벤트이다.

본 발명의 실시예들에서 사용된 용어들이 설명되고 기술된 후, 이하, 본 발명의 실시예들에서 사용되는 시스템 아키텍처를 설명한다.

도 1은 본 발명의 실시예에 따른 VR 멀티미디어의 경험 품질을 결정하기 위한 방법에서의 시스템의 구조도이다. 도 1에 도시된 바와 같이, 시스템은 단말(101) 및 서버(102)를 포함한다. 단말(101) 및 서버(102)는 유선 네트워크 또는 무선 네트워크를 사용하여 연결될 수 있다. 유선 네트워크 또는 무선 네트워크를 사용함으로써, 단말(101)은 VR 멀티미디어 획득 요청을 서버(102)에게 전송할 수 있고, 서버(102)는 수신된 VR 멀티미디어 획득 요청에 기초하여 VR 멀티미디어 및 VR 멀티미디어를 재생하는데 필요한 관련 정보를 획득하고, VR 멀티미디어 및 관련 정보를 단말(101)에게 전송할 수 있다. VR 멀티미디어는 360°파노라마 VR 비디오일 수 있다.

VR 멀티미디어 재생기는 단말(101) 상에서 실행될 수 있다. VR 멀티미디어 재생기는 단말(101) 상에서 독립적으로 실행되는 애플리케이션일 수 있거나, 또는 브라우저의 페이지에 내장된 애플리케이션일 수 있다. VR 멀티미디어 재생기를 사용함으로써, 단말(101)은 서버(102)로부터 획득된 VR 멀티미디어를 재생할 수 있다. 사용자가 VR 멀티미디어를 시청하고, VR 멀티미디어에 의해 제공된 가상 환경에 기초하여 조작을 수행하는 경우, 단말(101)은 사용자의 상호작용 동작을 수신하고, 상호작용 동작에 기초하여 응답할 수 있다. VR 멀티미디어를 재생하는 과정에서 VR 멀티미디어의 경험 품질을 결정하는 경우, 단말(101)은 상이한 샘플링 주기에 기초하여 VR 멀티미디어를 재생하는 과정에서 복수의 파라미터를 샘플링하고, VR 멀티미디어의 MOS를 획득하기 위해 샘플링을 통해 획득된 파라미터에 기초하여 계산을 수행하며, VR 멀티미디어의 MOS를 출력할 수 있다.

또한, 단말(101)은 헤드 마운트 디스플레이(Head Mounted Display, HMD), 자이로스코프를 사용하여 시야 위치를 변경할 수 있는 이동 단말, 또는 리모트 제어를 사용하여 시야 위치를 변경할 수 있는 종래의 스마트 TV 단말과 같은 VR 단말일 수 있음에 유의해야 한다. 서버(102)는 VR 멀티미디어를 제공할 수 있는 장치이다. 서버(102)는 단일 장치일 수 있거나, 또는 VR 멀티미디어 서비스를 제공하는 장치 클러스터일 수 있다.

또한, 실시간 전송 프로토콜(Real-Time Protocol, RTP), 실시간 스트리밍 프로토콜(Real-Time Streaming Protocol, RTSP), 하이퍼텍스트 전송 프로토콜(HyperText Transport Protocol, HTTP), 실시간 메시징 프로토콜(Real-Time Messaging Protocol, RTMP), HTTP를 통한 동적 적응 스트리밍(Dynamic Adaptive Streaming over HTTP, DASH) 미디어 프로토콜 및 HTTP 라이브 스트리밍(HTTP Live Streaming, HLS) 미디어 프로토콜과 같은 범용의 VR 멀티미디어 매체 전송 프로토콜이 유선 네트워크 또는 무선 네트워크를 사용하여 단말(101)과 서버(102) 사이의 통신을 위해 지원된다.

도 1에 도시된 시스템 아키텍처에서 단말에 대한 설명에 기초하여 알 수 있는 바와 같이, 단말은 VR 멀티미디어 및 사용자의 상호작용 동작을 수신하고, VR 멀티미디어를 재생하는 과정에서 관련 파라미터를 샘플링하여, VR 멀티미디어의 MOS를 계산할 수 있다. 따라서, 도 2에 도시된 바와 같이, 본 발명의 실시예는 단말의 개략적인 구조도를 제공한다. 도 1의 시스템 아키텍처에서 단말의 기능은 도 2에 도시된 단말을 사용하여 구현될 수 있다. 도 2에 도시된 바와 같이, 단말은 미디어 스트림 수신 모듈(201), 사용자 상호작용 동작 수신 모듈(202), 샘플링 모듈(203), 계산 모듈(204) 및 출력 모듈(205)을 포함한다. 미디어 스트림 수신 모듈(201)은 서버에 의해 전송된 VR 멀티미디어를 수신하도록 구성된다. 사용자 상호작용 동작 수신 모듈(202)은 사용자의 위치 또는 신체 자세와 같은 동작이 변경되는 경우에 대응하는 파라미터를 수신하도록 구성된다. 샘플링 모듈(203)은 상이한 샘플링 주기에 기초하여, 수신된 VR 멀티미디어를 재생하는 과정에서 복수의 파라미터를 샘플링하도록 구성된다. 계산 모듈(204)은 샘플링을 통해 획득된 파라미터에 기초하여 VR 멀티미디어의 MOS를 결정한다. 출력 모듈(205)은 VR 멀티미디어의 결정된 MOS를 출력하고 디스플레이하도록 구성된다. 계산 모듈(204)은 복수의 서브모듈을 포함할 수 있다. 예를 들어, 복수의 서브모듈은 충실도 경험 점수 계산 모듈, 즐거움 경험 점수 계산 모듈 및 상호작용 경험 점수 계산 모듈일 수 있다.

도 3은 본 발명의 실시예에 따른 단말 장치의 개략적인 구조도이다. 도 1의 시스템 아키텍처에서의 단말과 도 2에서의 단말이 도 3에 도시된 단말 장치를 사용하여 둘 다 구현될 수 있다. 도 3을 참조하면, 단말 장치는 적어도 하나의 프로세서(301), 통신 버스(302), 메모리(303) 및 적어도 하나의 통신 인터페이스(304)를 포함한다.

프로세서(301)는 범용 중앙 처리 유닛(Central Processing Unit, CPU), 마이크로프로세서, 주문형 집적 회로(application-specific integrated circuit, ASIC), 또는 이러한 애플리케이션의 해결수단에서 프로그램 실행을 제어하기 위한 하나 이상의 집적 회로일 수 있다.

통신 버스(302)는 전술한 컴포넌트들 사이에 정보를 전송하는 경로를 포함할 수 있다.

메모리(303)는 판독 전용 메모리(read-only memory, ROM) 또는 정적 정보 및 명령을 저장할 수 있는 다른 유형의 정적 저장 장치, 또는 랜덤 액세스 메모리(random access memory, RAM) 또는 정보 및 명령을 저장할 수 있는 다른 유형의 동적 저장 장치일 수 있거나, 또는 전기적으로 소거 가능한 프로그램 가능 판독 전용 메모리(Electrically Erasable Programmable Read-Only Memory, EEPROM), 컴팩트 디스크 판독 전용 메모리(Compact Disc Read-Only Memory, CD-ROM) 또는 다른 컴팩트 디스크 저장 장치 또는 광 디스크 저장 장치(압축 광 디스크, 레이저 디스크, 광 디스크, 디지털 다용도 디스크, 블루 레이 디스크 등을 포함함), 자기 디스크 저장 매체 또는 다른 자기 저장 장치, 또는 명령 또는 데이터 구조의 형태로 예상 프로그램 코드를 운반하거나 저장할 수 있으면서 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체일 수 있다. 이것은 제한되지 않는다. 메모리(303)는 독립적으로 존재할 수 있으며, 통신 버스(302)에 의해 프로세서(301)에 연결된다. 메모리(303)는 또한 프로세서(301)와 통합될 수 있다.

통신 인터페이스(304)는 임의의 트랜시버를 사용하는 장치의 유형이고, 다른 장치 또는 통신 네트워크, 예를 들어 이더넷, 무선 액세스 네트워크(radio access network, RAN), 또는 무선 근거리 네트워크(Wireless Local Area Network, WLAN)와 통신하도록 구성된다.

구체적인 구현예로, 실시예에서, 프로세서(301)는 하나 이상의 CPU, 예를 들어, 도 3에 도시된 CPU 0 및 CPU 1을 포함할 수 있다.

구체적인 구현예로, 실시예에서, 단말 장치는 복수의 프로세서, 예를 들어,도 3에 도시된 프로세서(301) 및 프로세서(305)를 포함할 수 있다. 프로세서들 각각은 단일 코어(single-CPU) 프로세서일 수 있거나, 또는 다중 코어(multi-CPU) 프로세서일 수 있다. 본 명세서에서의 프로세서는 데이터(예를 들어, 컴퓨터 프로그램 명령)를 처리하기 위해에 사용되는 하나 이상의 장치, 회로 및/또는 처리 코어일 수 있다.

구체적인 구현예로, 실시예에서, 단말 장치는 출력 장치(306) 및 입력 장치(307)를 더 포함할 수 있다. 출력 장치(306)는 프로세서(301)와 통신하고, 복수의 방식으로 정보를 디스플레이할 수 있다. 예를 들어, 출력 장치(306)는 액정 디스플레이(liquid crystal display, LCD), 발광 다이오드(light emitting diode, LED) 디스플레이 장치, 음극선관(cathode ray tube, CRT) 디스플레이 장치, 또는 프로젝터(projector)일 수 있다. 입력 장치(307)는 프로세서(301)와 통신하고, 복수의 방식으로 사용자의 입력을 수신할 수 있다. 예를 들어, 입력 장치(307)는 마우스, 키보드, 터치스크린 장치 또는 센싱 장치일 수 있다.

단말 장치는 범용 단말 장치 또는 전용 단말 장치일 수 있다. 구체적인 구현에서, 단말 장치는 데스크탑 컴퓨터, 휴대용 컴퓨터, 네트워크 서버, 팜탑 컴퓨터(Personal Digital Assistant, PDA), 이동 전화, 태블릿 컴퓨터, 무선 단말 장치, 통신 장치, 또는 임베디드 장치일 수 있다. 본 발명의 본 실시예에서, 단말 장치의 유형은 제한되지 않는다.

메모리(303)는 이러한 애플리케이션의 해결수단을 실행하는 데 사용되는 프로그램 코드를 저장하도록 구성되며, 여기서 프로그램 코드는 프로세서(301)의 제어하에 실행된다. 프로세서(301)는 메모리(303)에 저장된 프로그램 코드(308)를 실행하도록 구성된다. 프로그램 코드(308)는 하나 이상의 소프트웨어 모듈(예를 들어, 미디어 스트림 수신 모듈, 사용자 상호작용 동작 수신 모듈, 샘플링 모듈, 계산 모듈 및 출력 모듈)을 포함할 수 있다. 도 1 및 도 2에 도시된 단말은 프로세서(301)와 메모리(303)의 프로그램 코드(308) 내의 하나 이상의 소프트웨어 모듈을 사용함으로써 VR 멀티미디어의 경험 품질을 결정할 수 있다.

전술한 설명에 기초하여, 본 발명의 실시예에서 사용된 용어 및 시스템 아키텍처가 설명되고 기술된 후, 이하, 본 발명의 실시예의 구체적인 구현 과정을 상세히 설명한다.

본 발명의 실시예에서, 단말은 VR 멀티미디어를 재생하는 과정에서 VR 멀티미디어의 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터를 획득할 수 있다. 그 후, 단말은 획득된 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터에 기초하여 2가지 상이한 방법을 사용하여 VR 멀티미디어의 MOS를 결정할 수 있다. 제1 방법에서, 단말은 먼저 획득된 파라미터에 기초하여 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하고, VR 멀티미디어의 MOS를 추가로 결정할 수 있다. 제2 방법에서, 단말은 먼저 적어도 2개의 지각적 차원 각각에 대응하는 경험 점수를 계산하고, 적어도 2개의 지각적 차원에 대응하는 적어도 2개의 경험 점수에 기초하여 VR 멀티미디어의 MOS를 추가로 결정할 수 있다. 이하에서는 첨부된 도면을 참조하여 두 가지 방법을 상세하게 설명하고 기술한다.

본 발명의 실시예들에서, VR 멀티미디어의 MOS를 결정하기 위한 제1 방법은 먼저 도 4 내지 도 6을 참조하여 설명되고 설명된다. 도 4는 본 발명의 실시예에 따른 VR 멀티미디어의 경험 품질을 결정하기 위한 방법의 흐름도이다. 도 4에 도시된 바와 같이, 이 방법은 다음의 단계들을 포함한다.

단계 401 : VR 멀티미디어를 재생하는 과정에서, VR 멀티미디어의 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터를 획득한다.

VR 멀티미디어를 재생하는 과정에서, 단말은 VR 멀티미디어에 대한 샘플링을 수행함으로써 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터를 획득할 수 있다. 단말에 의해 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터를 샘플링하기 위한 샘플링 주기는 동일하거나 상이할 수 있다.

예를 들어, 단말은 픽처 그룹(Group of Picture, GoP)을 단위로 사용하여 제1 감각 파라미터를 샘플링할 수 있거나, 또는 세그먼트를 단위로 사용하여 제1 감각 파라미터를 샘플링할 수 있거나, 또는 확실히 미리 설정된 샘플링 주기를 사용하여 제1 감각 파라미터를 추가로 샘플링할 수 있다. 다른 예로, 단말은 사용자의 위치 변화를 감지하는 경우 제3 감각 파라미터를 한 번 샘플링하거나, 또는 미리 설정된 샘플링 주기에 기초하여 또는 GoP를 단위로 사용하여 제3 감각 파라미터를 한번 샘플링할 수 있다. 즉, 단말이 제1 감각 파라미터를 샘플링하는 경우, 제2 감각 파라미터 또는 제3 감각 파라미터의 샘플링 시간이 도달하지 않을 수 있다.

단계 402 : VR 멀티미디어의 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터에 기초하여 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정한다.

VR 멀티미디어를 재생하는 과정에서 발생하는 이벤트를 단위로서 사용함으로써, 단말은 계산을 트리거하고 발생하는 이벤트의 종료시 충실도 경험 점수, 즐거움 경험 점수, 및 상호작용 점수를 한 번 출력할 수 있어서, 충실도 경험 점수, 즐거움 경험 점수, 및 상호작용 경험 점수에 기초한 공동 계산을 통해 이벤트에 대응하는 VR 멀티미디어의 MOS를 후속적으로 획득할 수 있다. 이벤트는 즐거움 경험 점수에 영향을 미치는 네트워크 미디어 이벤트일 수 있거나, 또는 상호작용 경험 점수에 영향을 주는 상호작용 미디어 이벤트일 수 있다.

또한, 미리 설정된 단위 시간 구간을 단위로서 사용함으로써, 단말은 계산을 트리거하고, VR 멀티미디어를 재생하는 과정에서 단위 시간 구간의 종료시에 충실도 경험 점수, 즐거움 경험 점수, 및 상호작용 경험 점수를 한 번 출력할 수 있어서, 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수에 기초한 공동 계산을 통해, 단위 시간 구간에 대응하는 VR 멀티미디어의 MOS를 후속적으로 획득할 수 있다.

또한, 제1 감각 파라미터의 샘플링 시간이 도달하는 경우, 샘플링을 통해 획득된 제1 감각 파라미터가 이전의 샘플링 시간에서 제1 감각 파라미터와 비교하여 변경될 수 있기 때문에, 단말은 샘플링을 통해 획득된 제1 감각 파라미터에 기초하여 충실도 경험 점수를 계산할 필요가 있음에 유의해야 한다. 그러나, 즐거움 경험 점수는 충실도 경험 점수에 기초하여 결정되므로, 충실도 경험 점수가 계산을 통해 획득된 후에, 즐거움 경험 점수는 충실도 경험 점수에 기초하여 추가로 결정될 필요가 있다. 즉, 제1 감각 파라미터의 샘플링 시간에 도달하는 경우, 충실도 경험 점수의 계산 시간도 또한 도달한다. 그러나, 충실도 경험 점수의 계산 시간이 도달하는 경우, 계산이 트리거될 수 있고 즐거움 경험 점수 및/또는 상호작용 경험 점수가 한 번 출력될 수 있으며, VR 멀티미디어의 MOS가 한 번 더 계산된다.

전술한 설명으로부터 알 수 있는 바와 같이, 감각 파라미터의 샘플링 기간이 상이한 경우, 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터에 기초하여 단말에 의해 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 기회도 또한 상이하다. 또한, 단말은 VR 멀티미디어를 재생하는 과정에서 발생하는 이벤트를 단위로서 사용하거나, 또는 미리 설정된 단위 시간 구간을 단위로써 사용하여 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 계산할 수도 있다. 따라서, VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 계산하는 복수의 구현예가 있다. 구현예는 본 출원의 다음 실시예에서 논의된다.

단계 403 : 미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 VR 멀티미디어의 MOS를 계산하기 위해 결정된 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용한다.

단계 402의 설명에 기초하여, 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수의 계산이 이벤트를 단위로서 사용하여 트리거되는 경우, 이벤트가 즐거움 경험 점수에 영향을 미치는 이벤트일 수 있거나 또는 상호작용 경험 점수에 영향을 미치는 이벤트일 수 있고, 이벤트의 종료 시간이 제1 감각 파라미터의 샘플링 시간이 아닐 수도 있기 때문에, 결정된 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수에 기초하여 VR 멀티미디어의 MOS를 계산하는 방식이 또한 다를 수 있다.

마찬가지로, 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수의 계산이 단위 시간 구간을 단위로서 사용하여 트리거되는 경우, 결정된 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수에 기초하여 VR 멀티미디어의 MOS를 계산하는 복수의 방식이 또한 존재한다.

또한, 즐거움 경험 점수 및 상호작용 경험 점수의 계산이 충실도 경험 점수의 계산 시간에서 트리거되는 경우, 상호작용 경험 점수에 영향을 미치는 이벤트가 계산 시간에 발생하거나 발생하지 않을 수 있기 때문에, 결정된 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수에 기초하여 VR 멀티미디어의 MOS를 계산하는 방식도 또한 다를 수 있다.

따라서, 미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 VR 멀티미디어의 MOS를 계산하기 위해, 결정된 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용하는 복수의 구현예가 또한 존재한다. 구현예는 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수의 복수의 구현예를 참조하여 본 출원의 다음 실시예에서 논의된다.

본 발명의 본 실시예에서, 단말은 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터에 기초하여 충실도 경험, 즐거움 경험 및 상호작용 경험에 대한 품질 평가를 수행하지만, 몰입(immersion), 멀티 센스 통합 및 사용자와의 상호작용은 정확하게도 VR 멀티미디어와 기존의 멀티미디어를 구별하는 주요 특징이다. 따라서, 본 발명의 본 실시예에서 VR 멀티미디어의 경험 품질을 결정하는 것은 VR 멀티미디어의 실제 상황에 더 잘 부합하고, VR 멀티미디어의 결정된 경험 품질은 또한 더 정확하다.

네트워크 미디어 이벤트는 네트워크 상태의 영향으로 인해 발생하는 이벤트이다. 네트워크 상태가 비교적 양호한 경우에 발생하는 정상적인 재생 이벤트는 네트워크 미디어 이벤트이다. 비교적 열악한 네트워크 상태로 인해 발생되는 프리즈 이벤트 및 미디어 품질 변경 이벤트도 또한 네트워크 미디어 이벤트이다. 그러나, 상호작용 미디어 이벤트는 이것과 다르며, 상호작용 미디어 이벤트는 사용자와 단말 사이에 상호작용이 있는 경우에만 발생한다. VR 멀티미디어를 재생하는 과정에서, 네트워크 미디어 이벤트가 발생하는 경우, 사용자와 단말 사이에 상호작용이 없기 때문에 상호작용 미디어 이벤트가 존재하지 않을 수 있다. 다르게는, 사용자와 단말 사이의 상호작용에 의해 야기된 상호작용 미디어 이벤트가 발생하는 경우, 네트워크 상태 변화에 따른 네트워크 미디어 이벤트가 존재할 수 없기 때문에, 네트워크 미디어 이벤트가 발생하지 않는다. 전술한 설명에 기초하여, 단계 402 및 403의 설명을 참조하고, 도 5a 내지 도 5c를 참조하여, 이하, 현재 시간이 서로 다른 경우에 해당할 때 이벤트를 단위로서 사용하여 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하고, VR 멀티미디어의 MOS를 추가로 결정하는 구현 과정을 설명한다.

도 5a는 본 발명의 실시예에 따라 이벤트를 단위로서 사용하여 VR 멀티미디어의 MOS를 결정하기 위한 방법의 흐름도이다. 도 5a에 도시된 바와 같이, 이 방법은 다음의 단계들을 포함한다.

단계 501a : 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 현재 시간에 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 발생하면, 현재 시간에 대응하는 제1 감각 파라미터에 기초하여 VR 멀티미디어의 충실도 경험 점수를 결정한다.

이벤트를 단위로서 사용하여 VR 멀티미디어의 MOS가 결정되는 경우, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 현재 시간에 발생하면, 제1 감각 파라미터가 변경될 수 있기 때문에, 단말은 제1 감각 파라미터에 기초하여 현재 시간에서의 충실도 경험 점수를 계산할 수 있다.

현재 시간에서의 충실도 경험 점수가 제1 감각 파라미터에 기초하여 계산되는 경우, 단말은 제1 감각 파라미터에서의 적어도 2개의 지각적 차원에 따라 샘플링을 수행함으로써 획득되는 파라미터에 기초하여 적어도 2개의 지각적 차원 각각에서 충실도 경험 점수를 계산할 수 있고, 그 후 적어도 2개의 지각적 차원에서의 충실도 경험 점수에 기초하여 VR 멀티미디어의 충실도 경험 점수를 결정할 수 있다. 적어도 2개의 지각적 차원은 시각적 차원 및 음향적 차원을 포함할 수 있고, 확실히 피드백 차원를 더 포함할 수 있다. 적어도 2개의 지각적 차원이 시각적 차원 및 음향적 차원인 경우, 단말은 다음의 방식 (1) 및 (2)에서 시각적 충실도 경험 점수 및 음향적 충실도 경험 점수 각각를 계산하고, 계산을 통해 획득된 시각적 충실도 경험 점수 및 음향적 충실도 경험 점수에 기초하여 방식 (3)에서 현재 시간에서의 VR 멀티미디어의 충실도 경험 점수를 최종적으로 계산할 수 있다.

(1) 시각적 충실도 경험 점수를 계산하는 방식

단말은 먼저, 샘플링을 통해 획득된 제1 감각 파라미터에서 시각적 차원에서의 복수의 비디오 속성 정보에 기초하여 복수의 저장된 시각적 충실도 경험 점수 계산 모델로부터, 복수의 비디오 속성 정보에 대응하는 시각적 충실도 경험 점수 계산 모델을 선택하고, 그 후 선택된 시각적 충실도 경험 점수 계산 모델을 사용하여 현재 시간에서의 시각적 충실도 경험 점수를 계산하기 위해, 현재 시간에서의 샘플링을 통해 획득된 제1 감각 파라미터에서의 복수의 비디오 파라미터를 입력 파라미터로서 사용할 수 있다. 복수의 비디오 속성 정보는 프로젝션 포맷, 비디오 코딩 포맷, 스테레오 정도 및 자유도를 포함한다. 복수의 비디오 파라미터는 비디오 비트 레이트, 전화면 해상도, 시간 복잡도, 공간 복잡도 및 시계를 포함한다.

구체적으로, 복수의 저장된 시각적 충실도 경험 MOS 계산 모델은 [수학식 1]에 의해 균일하게 표현될 수 있다.

여기서

는 다른 형태의 함수이고,

는 비디오 비트 레이트이며,

는 전화면 해상도이고,

는 비디오 프레임 레이트이며,

는 시간 복잡도이고,

는 공간 복잡도이며,

는 단말의 수평 시계이고,

는 단말의 수직 시계이다.

는 복수의 비디오 속성 정보에 의해 형성된 벡터이고,

는 프로젝션 포맷이며,

는 코딩 포맷이고,

는 스테레오 정도이며,

는 자유도이다.

프로젝션 포맷

은 등방형 프로젝션(Equictangular projection, ERP) 포맷일 수 있거나, 또는 큐브(Cube) 프로젝션과 같은 프로젝션 포맷일 수 있고, 코딩 포맷

는 AVC 또는 HEVC와 같은 코딩 포맷일 수 있으며, 스테레오 정도

는 단안 비디오 또는 양안 스테레오 비디오일 수 있으며, 자유도

는 3 자유도 또는 6 자유도일 수 있다. 복수의 비디오 속성 정보가 상이한 값을 가질 수 있기 때문에, 복수의 벡터

는 복수의 비디오 속성 정보에 기초하여 형성될 수 있고, 상이한

는 시각적 충실도 경험 점수를 계산하기 위해 상이한 벡터

에 기초하여 선택될 수 있다.

또한,

는 다음의 함수 형태로 지시될 수 있다.

여기서,

,

및

는 상이한 벡터

에 기초하여 서로 다른 대응하는 값으로 설정될 수 있다. 즉, 상기한 벡터

는 상이한 값을 갖는

,

및

에 대응하고,

는 VR 멀티미디어의 비디오 품질을 나타내는 중간 변수이다.

시간 복잡도 및 공간 복잡도에 의해 형성된 컨텐츠 복잡도가 고려되지 않는 경우,

는 [수학식 3]을 사용하여 계산될 수 있다.

여기서,

,

및

는 상이한 벡터

에 기초하여 서로 다른 대응하는 값으로 설정될 수 있다. 즉, 상이한 벡터

는 서로 다른 값을 갖는

,

및

에 대응한다.

는 중간 변수이고, 수평 방향에서의 시계 각각에서 인코딩 된 비트의 수량을 지시하는 데 사용되며,

는 [수학식 4]를 사용하여 계산을 통해 획득될 수 있다.

는 픽셀 당 인코딩된 비트의 수량이고,

는 수평 방향에서의 전화면 해상도이고 전화면 해상도

를 분해함으로써 획득되며,

는 [수학식 5]를 사용하여 계산될 수 있다.

는 중간 변수이고, 비디오 픽처에서 프레임 당 인코딩된 비트의 수량을 지시하는 데 사용되며,

는 수직 방향에서의 전화면 해상도이고 전화면 해상도

를 분해함으로써 획득되며, 중간 변수

는 [수학식 6]을 사용하여 계산될 수 있다.

VR 멀티미디어의 비디오 컨텐츠 복잡도가 고려되는 경우,

는 [수학식 7]을 사용하여 계산될 수 있다.

의 계산에 대해, 컨텐츠 복잡도가 고려되지 않은 경우

를 계산하는 방식을 참조한다.

는 VR 멀티미디어의 비디오 컨텐츠 복잡도이고, 시간 복잡도 및 공간 복잡도에 의해 공동으로 결정된다.

는 [수학식 8]을 사용하여 계산될 수 있다.

(2) 음향적 충실도 경험 점수를 계산하는 방식

단말은 시각적 충실도 경험 점수뿐만 아니라 음향적 충실도 경험 점수도 계산해야 한다. 단말은 샘플링을 통해 획득된 제1 감각 파라미터의 복수의 오디오 속성 정보에 기초하여 복수의 저장된 음향적 충실도 경험 점수 계산 모델로부터, 현재 시간에서의 복수의 오디오 속성 정보에 대응하는 음향적 충실도 경험 점수 계산 모델을 선택할 수 있고, 선택된 음향적 충실도 경험 점수 계산 모델을 사용하여 현재 시간에서의 음향적 충실도 경험 점수를 계산하기 위해 현재 시간에서 제1 감각 파라미터에 포함된 적어도 하나의 오디오 파라미터를 입력 파라미터로서 사용할 수 있다. 복수의 오디오 속성 정보는 오디오 샘플링 레이트, 공간 사운드 및 오디오 코딩 포맷을 포함한다. 적어도 하나의 오디오 파라미터는 오디오 비트 레이트를 포함한다.

구체적으로, 복수의 저장된 음향적 충실도 경험 점수 계산 모델은 [수학식 9]에 의해 균일하게 표현될 수 있다.

여기서,

는 다른 형식의 함수이고,

는 오디오 비트 레이트이다.

는 복수의 오디오 속성 정보에 의해 형성된 벡터이고,

는 오디오 샘플링 레이트이며,

는 오디오 코딩 포맷이고,

는 오디오 스테레오 정도이다.

오디오 샘플링 레이트

의 값 범위는 23 kHz 내지 48 kHz일 수 있고, 오디오 코딩 포맷

는 MP3 또는 MPEG-H와 같은 코딩 포맷일 수 있으며, 오디오 스테레오 정도

는 스테레오 사운드일 수 있거나 또는 공간 사운드일 수 있다. 복수의 오디오 속성 정보가 서로 다른 값을 가질 수 있기 때문에, 복수의 상이한 벡터

는 복수의 오디오 속성 정보에 기초하여 형성될 수 있고, 상이한

는 음향적 충실도 경험 점수를 계산하기 위해 상이한 벡터

에 기초하여 선택될 수 있다.

또한,

는 다음과 같은 함수 형태로 지시될 수 있다.

여기서,

및

은 상이한 벡터

은 상이한 값을 갖는

및

에 대응하고,

는 VR 멀티미디어의 오디오 품질을 나타내는 중간 변수이며,

는 [수학식 11]을 사용하여 계산될 수 있다.

여기서,

,

및

은 상기한 벡터

는 다른 값을 갖는

,

및

에 대응한다.

(3) 현재 시간에서의 시각적 충실도 경험 점수 및 음향적 충실도 경험 점수에 기초하여 VR 멀티미디어의 충실도 경험 점수를 결정한다.

(1) 및 (2)에서의 전술한 방법을 사용하여 VR 멀티미디어의 시각적 충실도 경험 점수 및 음향적 충실도 경험 점수를 결정한 후, 단말은 결정된 시각적 충실도 경험 점수 및 음향적 충실도 경험 점수를 입력 파라미터로서 사용하고, VR 멀티미디어의 충실도 경험 점수를 획득하기 위해 [수학식 12]에서 도시된 계산 모델을 사용하여 계산을 수행할 수 있다.

적어도 2개의 지각적 차원이 본 실시예에서 시각적 차원 및 음향적 차원이기 때문에, 즉 다른 차원이 존재하지 않기 때문에, [수학식 12]에서 다른 차원의 충실도 경험 점수

는 0이지만, 시각적 충실도 경험 점수

및 음향적 충실도 경험 점수

는 (1) 및 (2)에서의 계산을 통해 획득된 시각적 충실도 경험 점수 및 음향적 충실도 경험 점수이다. 또한, 수학식에서

내지

는 모두 미리 설정된 파라미터이다.

충실도 경험 점수를 결정한 후, 현재 시간에 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 발생하기 때문에, 단말은 현재 시간에 발생하는 이벤트에 기초하여 대응하는 경험 점수를 계산할 수 있다. 현재 시간에 발생하는 이벤트가 네트워크 미디어 이벤트이면, 단계 502a가 수행되거나, 또는 현재 시간에 발생하는 이벤트가 상호작용 미디어 이벤트이면, 단계 503a가 수행된다.

단계 502a : 현재 시간에 발생하는 이벤트가 네트워크 미디어 이벤트인 경우, 현재 시간에 대응하는 제2 감각 파라미터, 현재 결정된 충실도 경험 점수 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS에 기초하여 VR 멀티미디어의 즐거움 경험 점수를 결정하고, VR 멀티미디어의 상호작용 경험 점수를 초기값으로 설정한다.

즐거움 경험 점수가 충실도 경험 점수에 기초하기 때문에, 충실도 경험 점수가 변하면, 즐거움 경험 점수도 변한다. 따라서, 이러한 경우, 단말은 현재 결정된 충실도 경험 점수, 현재 시간에 대응하는 제2 감각 파라미터, 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS에 기초하여 즐거움 경험 점수를 계산할 수 있다. 그러나, 상호작용 경험 점수의 경우, 현재 시간에 상호작용 미디어 이벤트가 발생하지 않기 때문에, 단말은 상호작용 경험 점수를 계산할 수 없지만, 상호작용 경험 점수를 초기값으로 설정할 수는 있다. 초기값은 0일 수 있거나 또는 다른 값일 수 있다.

네트워크 미디어 이벤트가 현재 시간에 발생하더라도, 현재 시간은 제2 감각 파라미터의 샘플링 시간이 아닐 수 있음에 유의해야 한다. 따라서, 즐거움 경험 점수가 현재 결정된 충실도 경험 점수, 현재 시간에 대응하는 제2 감각 파라미터, 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS에 기초하여 계산되는 경우, 현재 시간에 대응하는 제2 감각 파라미터에서의 네트워크 미디어 이벤트의 유형은 샘플링을 통해 최근에 획득된 제2 감각 파라미터에서의 네트워크 미디어 이벤트의 유형일 수 있지만, 제2 감각 파라미터에 포함된 제1 듀레이션은 현재 시간에 기초하여 대응저긍로 업데이트될 수 있다.

구체적으로, 단말이 현재 결정된 충실도 경험 점수 및 제2 감각 파라미터에 기초하여 현재 시간에서의 즐거움 경험 점수를 결정하는 경우, 계산 방식은 또한 현재 시간에 발생하고 즐거움 경험에 영향을 미치는 상이한 네트워크 미디어 이벤트에 따라 대응적으로 변한다. 구체적으로, 전형적인 유형의 네트워크 미디어 이벤트가 재생 이벤트, 프리즈 이벤트 및 미디어 품질 변경 이벤트를 포함할 수 있기 때문에, 전술한 3가지 유형의 이벤트에 대응하는 특정 계산 방식이 본 실시예에서 주로 설명된다.

또한, 본 출원에서, 충실도 경험 점수는 실제로 VR 멀티미디어에 기초하여 결정된 이상적인 점수이지만, 즐거움 경험 점수는 네트워크 상태의 변화로 인해 관련 이벤트에 의해 야기되는 이상적인 점수의 손상의 변화를 반영한다. 즉, MOS 변화는 즐거움 경험 점수에 대해 계산된다.

또한, 네트워크 미디어 이벤트에서 재생 이벤트, 프리즈 이벤트 및 미디어 품질 변경 이벤트가 발생하는 경우, 시각적 차원 및 음향적 차원 모두가 영향을 받기 때문에, 본 실시예에서, 작동 효율을 향상시키기 위해, 즐거움 경험 점수가 결정되는 경우, 시각적 차원에서의 즐거움 경험 점수 및 음향적 차원에서의 즐거움 점수가 더 이상 개별적으로 계산되지 않을 수 있고, 대신에, 시각적 차원과 음향 차원의 조합에서의 즐거움 경험 점수가 계산된다는 점에 유의해야 한다. 명백하게도, 단말은 또한 시각적 차원에 대응하는 시각적 즐거움 경험 점수 및 음향적 차원에 대응하는 음향적 즐거움 경험 점수를 개별적으로 계산한 다음, 계산을 통해 획득된 시각적 차원에서의 즐거움 경험 점수 및 음향적 차원에서의 즐거움 경험 점수에 기초하여 VR 멀티미디어의 즐거움 경험 점수를 결정할 수 있다.

(1) 현재 시간에 대응하는 제2 감각 파라미터에 포함된 네트워크 미디어 이벤트의 유형이 재생 이벤트인 경우, 재생 이벤트에 대응하는 즐거움 경험 점수 계산 모델을 사용함으로써 VR 멀티미디어의 즐거움 경험 점수를 계산하기 위해, 현재 시간에 대응하는 제2 감각 파라미터에 포함된 제1 듀레이션, 현재 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS를 입력 파라미터로서 사용한다.

제1 듀레이션은 네트워크 미디어 이벤트의 듀레이션이다. 현재 시간에 발생하는 네트워크 미디어 이벤트가 재생 이벤트인 경우, 단말은 현재 시간까지의 재생 이벤트의 듀레이션을 획득하여 제1 듀레이션으로 사용할 수 있다. 또한, 현재 시간이 제1 감각 파라미터의 샘플링 시간이 아닌 경우, 단말은 현재 시간 전에 최근에 결정된 충실도 경험 점수를 획득하고 현재 시간에서의 충실도 경험 점수로서 사용할 수 있거나, 또는 현재 시간이 제1 감각 파라미터의 샘플링 시간인 경우, 현재 시간에서의 계산을 통해 획득된 충실도 경험 점수는 현재 결정된 충실도 경험 점수이다. 또한, 이벤트를 단위로 사용하여 VR 멀티미디어의 MOS가 계산되는 경우, 단말은 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS를 더 획득할 수 있다. 획득된 제1 듀레이션, 충실도 경험 점수 및 이전의 네트워크 미디어 이벤트에서의 VR 멀티미디어의 MOS에 기초하여, 단말은 [수학식 13]을 사용하여 현재 시간에서의 재생 이벤트에 대응하는 MOS 변화, 즉, 현재 시간에서의 재생 이벤트에 대응하는 즐거움 경험 점수를 계산할 수 있다.

여기서,

은 n번째 이벤트가 재생 이벤트인 경우 대응하는 MOS 변화이고,

은 현재 결정된 충실도 경험 점수이며,

는 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS이고,

은 제1 듀레이션이다.

(2) 현재 시간에 대응하는 제2 감각 파라미터에 포함된 네트워크 미디어 이벤트의 유형이 프리즈 이벤트인 경우, 프리즈 이벤트에 대응하는 즐거움 경험 점수 계산 모델을 사용함으로써 VR 멀티미디어의 즐거움 경험 점수를 계산하기 위해, 현재 시간에 대응하는 제2 감각 파라미터에 포함된 제1 듀레이션, 현재 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS를 입력 파라미터로서 사용한다.

현재 시간에 발생하는 네트워크 미디어 이벤트가 프리즈 이벤트인 경우, 단말은 프리즈 이벤트의 제1 듀레이션, 현재 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS에 기초하여 다음의 계산 모델을 사용하여 현재 시간에서의 프리즈 이벤트에 대응하는 즐거움 경험 점수를 계산할 수 있다.

여기서,

은 n번째 이벤트가 프리즈 이벤트인 경우 대응하는 MOS 변화이고,

은 현재 결정된 충실도 경험 점수이며,

은 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS이고,

은 제1 듀레이션이다.

(3) 현재 시간에 대응하는 제2 감각 파라미터에 포함된 네트워크 미디어 이벤트의 유형이 미디어 품질 변경 이벤트인 경우, 현재 결정된 충실도 경험 점수와 현재 시간 전에 최근에 결정된 충실도 경험 점수 사이의 차이를 VR 멀티미디어의 즐거움 경험 점수로서 결정한다.

미디어 품질 변경 이벤트가 일반적으로 순간에 발생하고, 일반적으로 VR 멀티미디어의 세그먼트들 사이를 스위칭하는 순간에 발생하기 때문에, 미디어 품질 변경 이벤트가 결정되는 경우 듀레이션이 고려되지 않지만, 현재 결정된 충실도 경험 점수와 현재 시간 이전에 최근에 결정된 충실도 경험 점수 사이의 차이가 미디어 품질 변경 이벤트에 대응하는 VR 멀티미디어의 즐거움 경험 점수로서 결정된다.

또한, 미디어 품질 변경 이벤트는 미디어 품질 향상 이벤트일 수 있거나, 또는 미디어 품질 저하 이벤트일 수 있다. 미디어 품질 변경 이벤트가 미디어 품질 향상 이벤트이면, 즉 현재 결정된 충실도 경험 점수가 현재 시간 이전에 최근에 결정된 충실도 경험 점수보다 크면, 계산을 통해 획득된 즐거움 경험 점수는 양수이다. 미디어 품질 변경 이벤트가 미디어 품질 저하 이벤트이면, 즉 현재 결정된 충실도 경험 점수가 현재 시간 이전에 최근에 결정된 충실도 경험 점수보다 작으면, 계산을 통해 획득된 즐거움 경험 점수는 음수이다.

상이한 네트워크 미디어 이벤트에 대해, 즐거움 경험 점수를 계산하는 대응 방식은 본 실시예에서 개별적으로 설명된다. 이에 기초하여, 본 출원에서 VR 멀티미디어를 재생하는 과정에서 재생 및 계산이 동시에 수행된다는 점에 유의해야 한다. 따라서, 이벤트를 단위로서 사용하여 VR 멀티미디어의 MOS가 계산되는 경우, 단말은 네트워크 미디어 이벤트가 종료된 시간을 예측할 수 없다. 따라서, 단말은 VR 멀티미디어를 재생하는 전체 과정에서 네트워크 미디어 이벤트 카운터를 설정할 수 있다. VR 멀티미디어를 재생하기 시작하는 초기 시간에, 네트워크 미디어 이벤트 카운터는 0으로 초기화된다. VR 멀티미디어를 재생하기 시작하는 초기 시간이 초기 로딩 시간이기 때문에, 초기 로딩 이벤트는 이벤트 0으로 설정될 수 있지만, 초기 로딩 이벤트 이후의 제1 정상 재생 이벤트는 이벤트 1로 설정되고, 그 후, 네트워크 미디어 이벤트가 발생할 때마다, 네트워크 미디어 이벤트 카운터의 이벤트 n에서 n이 n+1로 업데이트된다. 각각의 이벤트 n에 대해, 단말은 이벤트 n이 시작하는 경우 이벤트 n의 제1 듀레이션을 0으로 설정할 수 있다. 이벤트 n의 MOS 변화가 현재 시간에서 계산될 필요가 있는 경우, 제1 듀레이션은 현재 시간에 기초하여 업데이트되고, 이벤트 n에 대응하는 MOS 변화는 제1 듀레이션에 기초하여 계산된다. 현재 시간이 이벤트 n의 종료 시간이지만, 현재 시간이 이벤트 n의 종료 시간이라는 것을 단말이 알지 못하는 경우, 단말은 현재 시간의 다음 시간에 네트워크 미디어 이벤트의 유형에 기초하여, 현재 시간이 이벤트 n의 종료 시간인 것으로 결정한다. 또한, 이에 상응하여, 다음 시간에 네트워크 미디어 이벤트의 유형의 변화를 검출하는 경우, 단말은 또한 이벤트 n을 이벤트 n+1로 업데이트하고, 이에 상응하여 이벤트 n+1의 제1 듀레이션을 초기값으로 설정한다.

예를 들어, VR 멀티미디어가 3 개의 세그먼트를 포함하며, 여기서 각각의 세그먼트의 듀레이션은

초이고, VR 멀티미디어를 재생하기 시작하는 초기 시간에 초기 로딩 이벤트가 발생하며, 초기 로딩 이벤트가

초 동안 지속된다고 가정하면, 그 후, 정상적인 재생 시간이 도달하지만, 그러나, 프리즈 이벤트는 재생 동안 제1 세그먼트의

번째 초에 발생하고, 프리즈 이벤트는

초 동안 지속되며, 그 후, 미디어 품질 변경 이벤트는 제2 세그먼트에서 제3 세그먼트로의 스위칭 동안 발생한다. VR 멀티미디어를 재생하는 과정에서 알 수 있는 바와 같이, 이벤트 0은 초기 로딩 이벤트이고

초 동안 지속되며, 이벤트 1은 재생 이벤트이고

초 동안 지속되며, 이벤트 2는 프리즈 이벤트이고

초 동안 지속되며, 이벤트 3은 재생 이벤트이고, 이벤트 3의 듀레이션은 제1 세그먼트가 재생되는 경우 프리즈 이벤트가

번째 초에 발생하기 때문에 완전히 재생되지 않는

-

를 포함하며, 제2 세그먼트의 전체 듀레이션의

을 더 포함하므로, 이벤트 3의 듀레이션은

-

+

초이다. VR 멀티미디어의 MOS가 이벤트를 단위로서 사용하여 계산되는 경우, VR 멀티미디어를 재생하는 과정에서, 각각의 이벤트에 대해, 네트워크 미디어 이벤트에 대응하는 전술한 계산 모델을 사용하여 대응하는 듀레이션에 기초한 계산을 통해 즐거움 경험 점수가 획득될 수 있다.

단계 503a : 현재 시간에 발생하는 이벤트가 상호작용 미디어 이벤트인 경우, 현재 시간에 대응하는 제3 감각 파라미터에 기초하여 VR 멀티미디어의 상호작용 경험 점수를 결정하고, VR 멀티미디어의 즐거움 경험 점수를 초기값으로 설정한다.

현재 시간에 발생하는 이벤트가 상호작용 미디어 이벤트인 경우, 충실도 경험 점수가 업데이트되므로, VR 멀티미디어의 MOS 계산은 현재 시간에 트리거된다. 따라서, 단말은 현재 시간에서의 상호작용 경험 점수를 결정해야 한다. 또한, 현재 시간에 네트워크 미디어 이벤트가 발생하지 않기 때문에, 단말은 즐거움 경험 점수를 초기값으로 설정할 수 있다.

또한, 상호작용 미디어 이벤트가 현재 시간에 발생하지만, 현재 시간은 상호작용 미디어 이벤트의 샘플링 시간이 아닐 수 있다. 상호작용 경험 점수가 제3 감각 파라미터에 기초하여 결정되는 경우, 현재 시간에 대응하는 제3 감각 파라미터의 상호작용 미디어 이벤트의 유형은 샘플링을 통해 최근에 획득된 제3 감각 파라미터의 상호작용 미디어 이벤트의 유형일 수 있지만, 제3 감각 파라미터에 포함된 제2 듀레이션은 현재 시간에 기초하여 대응적으로 업데이트될 수 있다.

본 출원에서, 상호작용 경험 점수는 주로 사용자와의 상호작용으로 인해 관련된 이벤트에 의해 야기되는 이상적인 점수의 손상의 변화를 반영한다는 것을 주목해야 한다. 즉, MOS 변화는 상호작용 경험 점수에 대해 계산된다. 또한, 상호작용 경험은 주로 사용자와의 상호작용으로 인해 생성되므로, 상호작용 경험 점수는 충실도 경험 점수와 관련이 없다. 즉, 상호작용 경험 점수를 계산되는 경우 충실도 경험 점수가 고려될 필요가 없을 수 있지만, 그러나 계산은 제2 듀레이션에만 기초하여 수행되어야 한다. 제2 듀레이션은 상호작용 미디어 이벤트의 듀레이션이다. 또한, 상호작용 경험 점수에 영향을 주는 전형적인 이벤트는 주로 초기 로딩 이벤트, 상호작용 로딩 이벤트 또는 미디어 히스테리시스 이벤트를 포함한다. 따라서, 전술한 여러 이벤트에 대해, 상호작용 경험 점수를 계산하는 대응 방식이 본 실시예에서 개별적으로 설명된다.

(1) 초기 로딩 이벤트는 VR 멀티미디어를 재생하기 시작하는 초기 시간에 발생하는 미디어 버퍼링이다. 현재 시간에 대응하는 제3 감각 파라미터에 포함된 상호작용 미디어 이벤트의 유형이 초기 로딩 이벤트인 경우, 단말은 계산 모델 [수학식 15]를 사용하여 초기 로딩 이벤트에 대응하는 상호작용 경험 점수를 계산할 수 있다.

여기서,

는 초기 로딩 이벤트에 의해 야기된 MOS 변화, 즉 현재 시간에서의 초기 로딩 이벤트에 대응하는 상호작용 경험 점수이고,

은 초기 로딩 이벤트에 대응하는 제2 듀레이션이다.

(2) 상호작용 로딩 이벤트가 사용자 조작으로 인한 장면 스위칭에서의 로딩이다. 현재 시간에 대응하는 제3 감각 파라미터에 포함된 상호작용 미디어 이벤트의 유형이 상호작용 로딩 이벤트인 경우, 단말은 계산 모델 [수학식 16]을 사용하여 상호작용 로딩 이벤트에 대응하는 상호작용 경험 점수를 계산할 수 있다.

여기서,

은 상호작용 로딩 이벤트에 의해 야기된 MOS 변화, 즉 현재 시간에서의 상호작용 로딩 이벤트에 대응하는 상호작용 경험 점수이고,

은 상호작용 로딩 이벤트에 대응하는 제2 듀레이션이다.

(3) 미디어 히스테리시스 이벤트는 미디어 업데이트와 사용자 동작으로 인한 동작 사이에서 발생하는 히스테리시스 이벤트이며, 여기서 사용자 동작은 위치 또는 신체 자세의 변화 또는 사용자의 머리 회전과 같은 동작일 수 있다. 현재 시간에 대응하는 제3 감각 파라미터에 포함된 상호작용 미디어 이벤트의 유형이 미디어 히스테리시스 이벤트인 경우, 단말은 계산 모델 [수학식 17]을 사용하여 미디어 히스테리시스 이벤트에 대응하는 상호작용 경험 점수를 계산할 수 있다.

여기서,

은 미디어 히스테리시스 이벤트에 의해 야기된 MOS 변화, 즉 현재 시간에서의 미디어 히스테리시스 이벤트에 대응하는 상호작용 경험 점수이고,

은 중간 변수이며, [수학식 18]을 사용한 계산을 통해 획득될 수 있다.

여기서,

는 미디어 히스테리시스 이벤트에 대응하는 제2 듀레이션이다.

(1) 내지 (3)에서 설명된 전술한 방법을 사용함으로써, 상이한 상호작용 미디어 이벤트에 대응하는 상호작용 경험 점수가 각각 결정될 수 있다. 또한, 본 출원에서 VR 멀티미디어를 재생하는 과정에서 재생 및 계산이 동시에 수행된다는 점에 유의해야 한다. 따라서, 이벤트를 단위로서 사용하여 VR 멀티미디어의 MOS가 계산되는 경우, 단말은 상호작용 미디어 이벤트가 종료되는 시간을 미리 예측할 수 없다. 따라서, 단말은 VR 멀티미디어를 재생하는 전체 과정에서 상호작용 미디어 이벤트 카운터를 설정할 수 있다. 구체적으로, 상호작용 미디어 이벤트 카운터를 설정하고 이벤트 카운터를 업데이트하는 방식에 대해, 전술한 단계 502a에서의 네트워크 미디어 이벤트 카운터에 대한 설명을 참조한다. 본 실시예에서 세부 사항은 다시 설명되지 않는다.

단계 504a : 미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 VR 멀티미디어의 MOS를 계산하기 위해, 현재 시간에서 결정된 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용한다.

충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정한 후, 단말은 미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 VR 멀티미디어의 MOS를 계산하기 위해, 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용할 수 있다.

미리 설정된 VR 멀티미디어 MOS 계산 모델은 선형 계산 모델일 수 있거나, 또는 비선형 계산 모델일 수 있음에 유의해야 한다. 구체적으로, 선형 계산 모델은 [수학식 19]에 도시되고, 비선형 계산 모델은 [수학식 20]에 도시된다.

여기서,

은 VR 멀티미디어의 MOS이고,

는 VR 멀티미디어의 충실도 경험 점수이며,

는 VR 멀티미디어의 즐거움 경험 점수이고,

은 VR 멀티미디어의 상호작용 경험 점수이다.

함수

는 선형 함수일 수 있거나 또는 비선형 함수일 수 있다. 함수

가 선형 함수인 경우, 함수는 [수학식 21]에 의해 지시될 수 있다.

함수

가 비선형 함수인 경우, 함수는 [수학식 22]에 의해 지시될 수 있다.

여기서,

및

는 미리 설정된 파라미터이다.

본 발명의 본 실시예에서, 충실도 경험 점수가 결정되는 경우, 시계, 프로젝션 포맷, 스테레오 정도, 자유도 및 충실도 경험에 대한 공간 사운드와 같은 VR 멀티미디어의 고유 파라미터의 영향이 고려된다. 따라서, 이에 기초하여 결정된 충실도 경험 점수도 더 정확하다. 또한, 즐거움 경험 점수의 결정은 현재 이벤트 기간에서의 이벤트 특성과 관련될 뿐만 아니라, 이전 이벤트에 대응하는 VR 멀티미디어의 MOS와 관련된다. 이는 VR 멀티미디어를 재생하는 과정에서 발생하는 이전 이벤트의 영향을 고려하는 것과 같다. 따라서, 결정된 즐거움 경험 점수는 보다 포괄적이고 보다 정확하다.

현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간이고 현재 시간에 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 발생하는 경우, 이벤트를 단위로서 사용하여 VR 멀티미디어의 MOS를 결정하는 방법이 도 5a에서 설명된다. 도 5b를 참조하여, 이하에서 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간이고 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 동시에 발생하는 경우 이벤트를 단위로서 사용하여 VR 멀티미디어의 MOS를 결정하는 방법에 대해 설명한다.

도 5b는 본 발명의 실시예에 따라 이벤트를 단위로서 사용하여 VR 멀티미디어의 MOS를 결정하기 위한 다른 방법의 흐름도이다. 도 5b에 도시된 바와 같이, 이 방법은 다음의 단계들을 포함한다.

단계 501b : 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 발생하면, 현재 시간에 대응하는 제1 감각 파라미터에 기초하여 VR 멀티미디어의 충실도 경험 점수를 결정하고, 현재 시간에 대응하는 제2 감각 파라미터, 현재 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS에 기초하여 VR 멀티미디어의 즐거움 경험 점수를 결정하며, 현재 시간에 대응하는 제3 감각 파라미터에 기초하여 VR 멀티미디어의 상호작용 경험 점수를 결정한다.

전술한 설명에 기초하여, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 동시에 발생하면, 단말은 충실도 경험 점수 및 즐거움 경험 점수외에 상호작용 경험 점수를 추가로 계산할 필요가 있다.

단말에 의해 충실도 경험 점수를 계산하는 방식에 대해서는, 충실도 경험 점수를 계산하는 단계 501a에 대한 설명을 참조한다. 단말에 의해 즐거움 경험 점수를 결정하는 방식에 대해서는, 즐거움 경험 점수를 계산하는 단계 502a에 대한 설명을 참조한다. 또한, 단말에 의해 상호작용 경험 점수를 결정하는 방식에 대해서는, 상호작용 경험 점수를 계산하는 단계 503a에 대한 설명을 참조한다. 본 발명의 본 실시예에서 세부 사항은 다시 설명되지 않는다.

단계 502b : 미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 VR 멀티미디어의 MOS를 계산하기 위해, 현재 시간에 결정된 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용한다.

미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 VR 멀티미디어의 MOS를 계산하기 위해, 현재 시간에 결정된 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용하는 구체적인 구현예에 대해, 단계 504a를 참조한다. 본 발명의 본 실시예에서 세부 사항은 다시 설명되지 않는다.

본 발명의 본 실시예에서, 충실도 경험 점수가 결정되는 경우, 시계, 프로젝션 포맷, 스테레오 정도, 자유도 및 충실도 경험에 대한 공간 사운드와 같은 VR 멀티미디어의 고유 파라미터의 영향 경험이 고려된다. 따라서, 이에 기초하여 결정된 충실도 경험 점수도 더 정확하다. 또한, 즐거움 경험 점수의 결정은 현재 이벤트 구간의 이벤트 특성과 관련될 뿐만 아니라, 이전 이벤트에 대응하는 VR 멀티미디어의 MOS와도 관련된다. 이는 VR 멀티미디어를 재생하는 과정에서 발생하는 이전 이벤트의 영향을 고려하는 것과 같다. 따라서, 결정된 즐거움 경험 점수는 보다 포괄적이고 보다 정확하다. 또한, 상호작용 미디어 이벤트가 현재 시간에 발생하기 때문에, 단말은 현재 시간에 대응하는 VR 멀티미디어의 MOS를 결정하기 위해 상호작용 경험 점수를 계산할 수 있다. 즉, 단말은 또한 대응적으로 상호작용 경험 점수를 업데이트한다. 따라서, VR 멀티미디어의 MOS 정확도가 향상된다.

현재 시간이 제1 감각 파라미터의 샘플링 시간이고 네트워크 미디어 이벤트 및/또는 상호작용 미디어 이벤트가 현재 시간에 발생하는 경우 VR 멀티미디어의 MOS를 결정하는 구현 과정은 도 5a 및 도 5b를 참조하여 위에서 개별적으로 설명되었다. 전술한 두 가지 경우에 더하여, 단말은 계산을 추가로 트리거하고, 발생하는 이벤트의 종료시에 충실도 경험 점수, 즐거움 경험 점수, 및 상호작용 점수를 출력하며, 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수에 기초한 공동 계산을 통해 이벤트에 대응하는 VR 멀티미디어의 MOS를 추가로 획득할 수 있다. 세부 사항은 도 5c에 도시되어 있다.

단계 501c : 이벤트를 단위로서 사용하여 VR 멀티미디어의 즐거움 경험 점수 및 상호작용 경험 점수를 결정한다.

현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하지 않는 경우, 단말은 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 발생하는지 여부 및 발생하는 이벤트가 종료되는지의 여부에 따라 3가지 사례에서 VR 멀티미디어의 즐거움 경험 점수 및 상호작용 경험 점수를 결정할 수 있다.

제1 사례 : 네트워크 미디어 이벤트가 현재 시간에 발생하지만 상호작용 미디어 이벤트가 동시에 발생하지 않고, 네트워크 미디어 이벤트가 종료된 것으로 현재 시간에 검출되면, 현재 시간에 대응하는 제2 감각 파라미터, 현재 시간 이전에 최근에 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS에 기초하여 VR 멀티미디어의 즐거움 경험 점수를 결정하고, VR 멀티미디어의 상호작용 경험 점수를 초기값으로 설정한다.

VR 멀티미디어의 즐거움 경험 점수의 계산이 현재 시간에서의 충실도 경험 점수에 추가로 의존할 필요가 있지만, 현재 시간은 충실도 경험 점수의 계산 시간이 아니기 때문에, 즉 충실도 경험 점수가 현재 시간에서의 계산을 통해 획득되지 않기 때문에, 이 경우, 단말은 현재 시간 전에 최근에 결정된 충실도 경험 점수를 획득하여 즐거움 경험 점수를 계산하기 위한 입력 파라미터로서 사용할 수 있다. 또한, 단말은 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS를 추가로 획득하고, 획득된 충실도 경험 점수 및 샘플링을 통해 획득된 제2 감각 파라미터를 참조하여 계산을 통해 VR 멀티미디어의 즐거움 경험 점수를 획득할 수 있다.

현재 시간에 상호작용 미디어 이벤트가 발생하지 않기 때문에, 단말은 상호작용 경험 점수를 초기값으로 설정할 수 있다.

제2 사례 : 상호작용 미디어 이벤트가 현재 시간에 발생하지만 네트워크 미디어 이벤트가 동시에 발생하지 않고, 상호작용 미디어 이벤트가 종료된 것으로 현재 시간에 검출되면, 현재 시간에 대응하는 제3 감각 파라미터에 기초하여 VR 멀티미디어의 상호작용 경험 점수를 결정하고, VR 멀티미디어의 즐거움 경험 점수를 초기값으로 설정한다.

현재 시간이 상호작용 미디어 이벤트의 종료 시간이면, VR 멀티미디어의 상호작용 경험 점수의 계산이 트리거되고, 또한, VR 멀티미디어의 MOS 계산이 트리거된다.

VR 멀티미디어의 상호작용 경험 점수의 계산에 대해, 단계 503a에서 상호작용 경험 점수를 계산하는 방식을 참조한다. 네트워크 미디어 이벤트가 발생하지 않기 때문에, VR 멀티미디어의 즐거움 경험 점수가 초기값으로 설정될 수 있다.

제3 사례 : 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 발생하고, 네트워크 미디어 이벤트 및/또는 상호작용 미디어 이벤트가 종료된 것으로 현재 시간에 검출되면, 현재 시간에 대응하는 제2 감각 파라미터, 현재 시간 이전에 최근에 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS에 기초하여 VR 멀티미디어의 즐거움 경험 점수를 결정하고, 현재 시간에 대응하는 제3 감각 파라미터에 기초하여 VR 멀티미디어의 상호작용 경험 점수를 결정한다.

네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 동시에 발생하는 경우, 발생하는 이벤트 중 하나가 종료되는 한, VR 멀티미디어의 즐거움 경험 점수 및 상호작용 경험 점수의 계산이 트리거되고, 또한, VR 멀티미디어의 MOS 계산이 트리거된다.

VR 멀티미디어의 즐거움 경험 점수의 계산에 대해, 단계 502a에서의 즐거움 경험 점수의 계산을 참조한다. VR 멀티미디어의 상호작용 경험 점수의 계산에 대해서는, 단계 503a에서 상호작용 경험 점수를 결정하는 방법을 참조한다.

단계 502c : 미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 VR 멀티미디어의 MOS를 계산하기 위해, 현재 시간 전에 최근에 결정된 충실도 경험 점수, 및 현재 시간에 결정된 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용한다.

충실도 경험 점수가 현재 시간에 계산되지 않기 때문에, 단말은 현재 시간 이전에 최근에 결정된 충실도 경험 점수, 및 현재 시간에 결정된 즐거움 경험 점수 및 상호작용 경험 점수를 VR 멀티미디어의 MOS를 계산하기 위한 입력 파라미터로서 사용할 수 있다. 입력 파라미터에 기초하여 미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 VR 멀티미디어의 MOS를 계산하는 방법에 대해서는, 단계 504a에서의 대응하는 방법을 참조한다.

본 발명의 본 실시예에서, 현재 시간이 제1 감각 파라미터의 샘플링 시간에 도달하지 않기 때문에, 충실도 경험 점수는 변하지 않는다. 따라서, 단말은 충실도 경험을 직접 획득할 수 있고, 작업량이 감소된다. 또한, 즐거움 경험 점수의 결정은 현재 이벤트 구간의 이벤트 특성과 관련될 뿐만 아니라, 이전 이벤트에 대응하는 VR 멀티미디어의 MOS와도 관련된다. 이는 VR 멀티미디어를 재생하는 과정에서 발생하는 이전 이벤트의 영향을 고려하는 것과 같다. 따라서, 결정된 즐거움 경험 점수는 보다 포괄적이고 보다 정확하다. 또한, 현재 시점에서 상호작용 미디어 이벤트가 발생하기 때문에, 단말은 현재 시간에 대응하는 VR 멀티미디어의 MOS를 결정하기 위해, 상호작용 경험 점수를 계산할 수 있다. 즉, 단말은 또한 대응적으로 상호작용 경험 점수를 업데이트할 수 있다. 따라서, VR 멀티미디어의 MOS 정확도가 향상된다.

이벤트를 단위로서 사용하여 VR 멀티미디어의 MOS를 결정하는 3가지 방법은도 5a 내지 도 5c를 참조하여 위에서 설명되었다. 마찬가지로, 현재 시간이 다른 경우에 대응하는 경우, 단위 시간 구간을 단위로서 사용하여 VR 멀티미디어의 MOS를 결정하는 3가지 방식도 존재한다. 도 6a 내지 도 6c를 참조하여, 이하에서 단위 시간 구간을 단위로서 사용하여 VR 멀티미디어의 MOS를 결정하는 3가지 방법을 설명한다.

도 6a는 본 발명의 실시예에 따라 단위 시간 구간을 단위로서 사용하여 VR 멀티미디어의 MOS를 결정하는 방법이다. 도 6a에 도시된 바와 같이, 이 방법은 다음의 단계들을 포함한다.

단계 601a : 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 현재 시간에 발생하면, 현재 시간에 대응하는 제1 감각 파라미터에 기초하여 VR 멀티미디어의 충실도 경험 점수를 결정한다.

VR 멀티미디어의 MOS가 단위 시간 구간을 단위로서 사용하여 결정되는 경우, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하면, 단말은 샘플링을 통해 획득된 제1 감각 파라미터에 기초하여 대응하는 충실도 경험 점수를 계산할 수 있다. 샘플링을 통해 획득된 제1 감각 파라미터에 기초하여 단말에 의해 충실도 경험 점수를 계산하는 방식에 대해서는, 단계 501a에서 충실도 경험 점수를 계산하는 방식을 참조한다.

단말이 계산을 통해 충실도 경험 점수를 획득한 후, 현재 시간에 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 발생하기 때문에, 단말은 현재 시간에 발생하는 이벤트에 기초하여 대응하는 경험 점수를 계산할 수 있다. 현재 시간에 발생하는 이벤트가 네트워크 미디어 이벤트이면, 단계 602a가 수행되거나, 또는 현재 시간에 발생하는 이벤트가 상호작용 미디어 이벤트인 경우, 단계 603a가 수행된다.

단계 602a : 현재 시간에 발생하는 이벤트가 네트워크 미디어 이벤트인 경우, 현재 시간에 대응하는 제2 감각 파라미터, 현재 결정된 충실도 경험 점수, 및 이전 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS에 기초하여 VR 멀티미디어의 즐거움 경험 점수를 결정하고, VR 멀티미디어의 상호작용 경험 점수를 초기값으로 설정한다.

현재 시간에 발생하는 이벤트가 네트워크 미디어 이벤트인 경우, 충실도 경험 점수가 결정된 후, VR 멀티미디어의 MOS가 본 실시예에서 단위 시간 구간을 단위로서 사용하여 결정되기 때문에, 단말은 이전 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS를 획득하여 현재 시간에서의 즐거움 경험 점수를 계산하기 위한 입력 파라미터로서 사용할 수 있다. 또한, 단말은 현재 시간에 대응하는 제2 감각 파라미터 및 현재 결정된 충실도 경험 점수를 참조하여 VR 멀티미디어의 즐거움 경험 점수를 추가로 계산할 필요가 있다.

단말에 의해 충실도 경험 점수를 계산하는 구체적인 방식에 대해, 단계 501a에서 설명된 충실도 경험 점수를 계산하는 방식이 참조될 수 있음에 유의해야 한다.

또한, 단말에 의해 즐거움 경험 점수를 계산하는 방식에서, 전술한 단계 502a에서 입력된 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS만이 이전의 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS로 변경될 필요가 있고, 대응하는 나머지 부분들에 대한 참조가 이루어질 수 있다. 본 발명의 본 실시예에서 세부 사항은 다시 설명되지 않는다.

단계 603a : 현재 시간에 발생하는 이벤트가 상호작용 미디어 이벤트인 경우, 현재 시간에 대응하는 제3 감각 파라미터에 기초하여 VR 멀티미디어의 상호작용 경험 점수를 결정하고, VR 멀티미디어의 즐거움 경험 점수를 초기값으로 설정한다.

현재 시간에 대응하는 제3 감각 파라미터에 기초하여 VR 멀티미디어의 상호작용 경험 점수를 결정하는 방식에 대해서는 단계 503a에서 상호작용 경험 점수를 계산하는 방식을 참조한다. 또한, 현재 시간에 네트워크 미디어 이벤트가 발생하지 않기 때문에, 즐거움 경험 점수가 초기값으로 설정될 수 있다.

단계 604a : 미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 VR 멀티미디어의 MOS를 계산하기 위해, 현재 시간에 결정된 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용한다.

미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 단말에 의해 VR 멀티미디어의 MOS를 계산하기 위해, 현재 시간에 결정된 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용하는 방법에 대해, 단계 504a를 참조한다.

본 발명의 본 실시예에서, 충실도 경험 점수가 결정되는 경우, 시계, 프로젝션 포맷, 스테레오 정도, 자유도 및 충실도에 대한 공간 사운드와 같은 VR 멀티미디어의 고유 파라미터의 영향이 고려된다. 따라서, 이에 기초하여 결정된 충실도 경험 점수도 더 정확하다. 또한, 즐거움 경험 점수의 결정은 현재 단위 시간 구간에서 이벤트가 발생하는지의 여부뿐만 아니라 이전의 단위 시간 구간에 대응하는 VR 멀티미디어의 MOS와도 관련된다. 이는 VR 멀티미디어를 재생하는 과정에서 발생하는 이전 이벤트의 영향을 고려하는 것과 같다. 따라서, 결정된 즐거움 경험 점수는 보다 포괄적이고 보다 정확하다.

현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간이고 현재 시간에 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 발생하는 경우, 단위 시간 구간을 단위로서 사용하여 VR 멀티미디어의 MOS를 결정하는 방법은 도 6a에서 설명되어 있다. 도 6b를 참조하여, 이하에서 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간이고 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 동시에 발생하는 경우, 단위 시간 구간을 단위로서 사용하여 VR 멀티미디어의 MOS를 결정하는 방법을 설명한다.

도 6b는 본 발명의 실시예에 따라 단위 시간 구간을 단위로서 사용하여 VR 멀티미디어의 MOS를 결정하기 위한 다른 방법의 흐름도이다. 도 6b에 도시된 바와 같이, 이 방법은 다음의 단계들을 포함한다.

단계 601b : 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 현재 시간에 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 발생하면, 현재 시간에 대응하는 제1 감각 파라미터에 기초하여 VR 멀티미디어의 충실도 경험 점수를 결정하고, 현재 시간에 대응하는 제2 감각 파라미터, 현재 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS에 기초하여 VR 멀티미디어의 즐거움 경험 점수를 결정하며, 현재 시간에 대응하는 제3 감각 파라미터에 기초하여 VR 멀티미디어의 상호작용 경험 점수를 결정한다.

현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 현재 시간에 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 동시에 발생하면, 단말은 충실도 경험 점수 및 즐거움 경험 점수외에 상호작용 경험 점수를 추가로 계산해야 한다.

단말에 의해 즐거움 경험 점수를 계산하는 방법에 대해서는 단계 602a의 설명을 참조한다. 또한, 상호작용 미디어 이벤트가 현재 시간에 발생하지만, 현재 시간은 상호작용 미디어 이벤트의 샘플링 시간이 아닐 수 있다. 상호작용 경험 점수가 제3 감각 파라미터에 기초하여 결정되는 경우, 현재 시간에 대응하는 제3 감각 파라미터에서의 상호작용 미디어 이벤트의 유형은 샘플링을 통해 최근에 획득된 제3 감각 파라미터에서의 상호작용 미디어 이벤트의 유형일 수 있지만, 그러나 제3 감각 파라미터에 포함된 듀레이션은 현재 시간에 기초하여 대응적으로 업데이트될 수 있다.

단말에 의해 충실도 경험 점수 및 상호작용 경험 점수를 계산하는 구체적인 방식에 대해서는, 단계 501a에서 설명된 충실도 경험 점수를 계산하는 방식 및 단계 503a에서 상호작용 경험 점수를 계산하는 방식을 각각 참조한다. 본 발명의 본 실시예에서 세부 사항은 다시 설명되지 않는다.

또한, 단말에 의해 즐거움 경험 점수를 계산하는 구체적인 방식에서, 전술한 단계 502a에서 설명된 바와 같이 즐거움 경험 점수를 계산하기 위해 입력된 이전 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS만이 이전의 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS로 변경되어야 하고, 대응하는 나머지 부분들에 대해 참조가 이루어질 수 있다. 본 발명의 본 실시예에서 세부 사항은 다시 설명되지 않는다.

단계 602b : 미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 VR 멀티미디어의 MOS를 계산하기 위해, 현재 시간에 결정된 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용한다.

본 발명의 본 실시예에서, 충실도 경험 점수가 결정되는 경우, 시계, 프로젝션 포맷, 스테레오 정도, 자유도 및 충실도에 대한 공간 사운드와 같은 VR 멀티미디어의 고유 파라미터의 영향이 고려된다. 따라서, 이에 기초하여 결정된 충실도 경험 점수도 더 정확하다. 또한, 즐거움 경험 점수의 결정은 현재 단위 시간 구간에서 이벤트가 발생하는지의 여부뿐만 아니라 이전의 단위 시간 구간에 대응하는 VR 멀티미디어의 MOS와도 관련된다. 이는 VR 멀티미디어를 재생하는 과정에서 발생하는 이전 이벤트의 영향을 고려하는 것과 같다. 따라서, 결정된 즐거움 경험 점수는 보다 포괄적이고 보다 정확하다. 또한, 현재 시간에 상호작용 미디어 이벤트가 발생하기 때문에, 단말은 현재 시간에 대응하는 VR 멀티미디어의 MOS를 결정하기 위해, 상호작용 경험 점수를 계산할 수 있다. 즉, 단말은 또한 대응적으로 상호작용 경험 점수를 업데이트할 수 있다. 따라서, VR 멀티미디어의 MOS 정확도가 향상된다.

현재 시간이 제1 감각 파라미터의 샘플링 시간이고 현재 시간에 네트워크 미디어 이벤트 및/또는 상호작용 미디어 이벤트가 발생하는 경우, VR 멀티미디어의 MOS를 결정하는 구현 과정은 도 6a 및 도 6b를 참조하여 위에서 개별적으로 설명되었다. 전술한 두 가지 경우에 더하여, 단말은 계산을 더 트리거하고, 단위 시간 구간의 종료시 또는 발생하는 이벤트의 종료시에 충실도 경험 점수, 즐거움 경험 점수, 및 상호작용 점수를 출력하며, 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수에 기초한 공동 계산을 통한 이벤트에 대응하는 VR 멀티미디어의 MOS를 추가로 획득할 수 있다. 세부 사항은 도 6c에 도시되어 있다.

단계 601c : 단위 시간 구간을 단위로서 사용하여 VR 멀티미디어의 즐거움 경험 점수 및 상호작용 경험 점수를 결정한다.

현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하지 않는 경우, 단말은 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 발생하는지의 여부, 현재 발생하는 이벤트가 종료되는지의 여부, 및 단위시간 구간이 종료되는지의 여부에 따라 다음과 같은 몇 가지 사례에서 VR 멀티미디어의 즐거움 경험 점수 및 상호작용 경험 점수를 결정할 수 있다.

제1 사례 : 네트워크 미디어 이벤트가 현재 시간에 발생하지만 상호작용 미디어 이벤트는 동시에 발생하지 않고, 네트워크 미디어 이벤트가 종료되거나 단위 시간 구간이 종료된 것으로 현재 시간에 검출되면, 현재 시간에 대응하는 제2 감각 파라미터, 현재 시간 이전에 최근에 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS에 기초하여 VR 멀티미디어의 즐거움 경험 점수를 결정하고, VR 멀티미디어의 상호작용 경험 점수를 초기값으로 설정한다.

(1) 현재 시점에서 네트워크 미디어 이벤트만 발생하고, 네트워크 미디어 이벤트가 종료되지 않지만, 현재 시간이 단위 시간 구간의 종료 시간인 경우, 단말은 현재 시간의 제2 감각 파라미터에 기초하여 VR 멀티미디어의 즐거움 경험 점수를 계산할 수 있다. VR 멀티미디어의 즐거움 경험 점수의 계산이 현재 시간의 충실도 경험 점수에 더 의존할 필요가 있지만, 현재 시간이 충실도 경험 점수의 계산 시간이 아니기 때문에, 즉 충실도 경험 점수가 현재 시간의 계산을 통해 획득되지 않기 때문에, 이 경우, 단말은 현재의 단위 시간 구간에서 현재 시간 이전에 최근에 결정된 충실도 경험 점수를 획득하여 입력 파라미터로서 사용할 수 있다. 또한, 단말은 이전의 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS를 추가로 획득하고, 획득된 충실도 경험 점수 및 샘플링을 통해 획득된 제2 감각 파라미터를 참조하여 계산을 통해 VR 멀티미디어의 즐거움 경험 점수를 획득할 수 있다.

(2) 현재 시점에서 네트워크 미디어 이벤트만 발생하고, 현재 시간이 네트워크 미디어 이벤트의 종료 시간이지만, 현재 시간이 단위 시간 구간의 종료 시간이 아닌 경우, 단말은 또한 (1)에서 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 방식에 따라 즐거움 경험 점수 및 상호작용 경험 점수를 결정할 수 있다.

제2 사례 : 상호작용 미디어 이벤트가 현재 시간에 발생하지만 네트워크 미디어 이벤트가 동시에 발생하지 않고, 상호작용 미디어 이벤트가 종료되었거나 단위 시간 구간이 종료된 것으로 현재 시간에서 검출되면, 현재 시간에 대응하는 제3 감각 파라미터에 기초하여 VR 멀티미디어의 상호작용 경험 점수를 결정하고, VR 멀티미디어의 즐거움 경험 점수를 초기값으로 설정한다.

제3 사례 : 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 발생하고, 현재 시간에 단위 시간 구간이 종료된 것으로 검출되었거나, 또는 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 발생하고, 현재 시간에 네트워크 미디어 이벤트 및/또는 상호작용 미디어 이벤트가 종료된 것으로 검출되며, 단위 시간 구간이 종료된 것으로 검출되지 않으면, 현재 시간에 대응하는 제2 감각 파라미터, 현재 시간 구간에서 현재 시간 전에 최근에 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS에 기초하여 VR 멀티미디어의 즐거움 경험 점수를 결정하고, 현재 시간에 대응하는 제3 감각 파라미터에 기초하여 VR 멀티미디어의 상호작용 경험 점수를 결정한다.

상호작용 미디어 이벤트 및 네트워크 미디어 이벤트가 현재 시간에 동시에 발생하고, 현재 시간이 단위 시간 구간의 종료 시간이지만, 네트워크 미디어 이벤트 및/또는 상호작용 미디어 이벤트가 종료된 것으로 검출되지 않으면, VR 멀티미디어의 즐거움 경험 점수 및 상호작용 경험 점수의 계산이 트리거되고, 또한, VR 멀티미디어의 MOS 계산이 트리거된다.

네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 동시에 발생하고, 현재 시간에 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트 중 적어도 하나가 종료된 것으로 검출되지만, 단위 시간 구간이 종료된 것으로 검출되지 않으면, VR 멀티미디어의 즐거움 경험 점수 및 상호작용 경험 점수의 계산이 또한 트리거되고, 또한, VR 멀티미디어의 MOS 계산이 트리거된다.

VR 멀티미디어의 즐거움 경험 점수의 계산에 대해서는 단계 601b에서의 즐거움 경험 점수의 계산에 관한 설명을 참조한다. VR 멀티미디어의 상호작용 경험 점수의 계산에 대해서는 단계 503a에서 상호작용 경험 점수를 결정하는 방법을 참조한다.

단계 602c : 미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 VR 멀티미디어의 MOS를 계산하기 위해, 현재 시간 이전에 최근에 결정된 충실도 경험 점수, 및 현재 시간에 결정된 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용한다.

현재 시간에 충실도 경험 점수가 계산되지 않기 때문에, 단말은 현재의 단위 시간 구간에서 현재 시간 이전에 최근에 결정된 충실도 경험 점수, 및 현재 시간에 결정된 즐거움 경험 점수 및 상호작용 경험 점수를 VR 멀티미디어의 MOS를 결정하기 위한 입력 파라미터로서 사용할 수 있다. 입력 파라미터에 기초하여 미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 VR 멀티미디어의 MOS를 계산하는 방법에 대해서는 단계 504a에서의 대응하는 방법을 참조한다.

본 발명의 본 실시예에서, 현재 시간이 제1 감각 파라미터의 샘플링 시간에 도달하지 않기 때문에, 충실도 경험 점수는 변하지 않는다. 따라서, 단말은 충실도 경험을 직접 획득할 수 있고, 작업량이 감소된다. 또한, 즐거움 경험 점수의 결정은 현재의 단위 시간 구간에서 이벤트가 발생하는지의 여부뿐만 아니라, 이전의 단위 시간 구간에 대응하는 VR 멀티미디어의 MOS와도 관련된다. 이는 VR 멀티미디어를 재생하는 과정에서 발생하는 이전 이벤트의 영향을 고려하는 것과 같다. 따라서, 결정된 즐거움 경험 점수는 보다 포괄적이고 보다 정확하다. 또한, 현재 시간에서 상호작용 미디어 이벤트가 발생하기 때문에, 단말은 현재 시간에 대응하는 VR 멀티미디어의 MOS를 결정하고 획득하기 위해, 상호작용 경험 점수를 계산할 수 있다. 즉, 단말은 대응적으로 상호작용 경험 점수를 또한 업데이트한다. 따라서, VR 멀티미디어의 MOS 정확도가 향상된다.

본 발명의 본 실시예에서, VR 멀티미디어의 MOS를 결정하기 위한 제1 방법은 전술한 실시예에서 도 4 내지 도 6c를 참조하여 설명되고 기술되었다. 즉, 획득된 파라미터에 기초하여 단말에 의해 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하고 VR 멀티미디어의 MOS를 추가로 결정하는 구현 과정이 설명되었다. 이하의 실시예에서, VR 멀티미디어의 MOS를 결정하기 위한 제2 방법이 도 7 내지 도 9c를 참조하여 설명되고 기술된다. 도 7은 본 발명의 실시예에 따른 VR 멀티미디어의 경험 품질을 결정하기 위한 다른 방법이다. 도 7에 도시된 바와 같이, 이 방법은 다음의 단계들을 포함한다.

단계 701 : VR 멀티미디어를 재생하는 과정에서, VR 멀티미디어의 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터를 획득한다.

VR 멀티미디어를 재생하는 과정에서, 단말은 VR 멀티미디어에 대해 샘플링을 수행함으로써 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터를 획득할 수 있다. 단말에 의해 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터를 샘플링하기 위한 샘플링 구간은 상이할 수 있다.

예를 들어, 단말은 픽처 그룹(Group of Picture, GoP)을 단위로서 사용하여 제1 감각 파라미터를 한 번 샘플링할 수 있거나, 또는 세그먼트를 단위로서 사용하여 제1 감각 파라미터를 한번 샘플링할 수 있거나, 또는 확실하게 미리 설정된 샘플링 주기를 사용하여 제1 감각 파라미터를 추가로 샘플링할 수 있다. 다른 예로, 단말은 사용자의 위치 변화를 검출하는 경우 제3 감각 파라미터를 한 번 샘플링할 수 있거나, 또는 미리 설정된 샘플링 주기에 기초하거나 또는 GoP를 단위로서 사용하여 제3 감각 파라미터를 한 번 샘플링할 수 있다. 즉, 단말이 제1 감각 파라미터를 샘플링하는 경우, 제2 감각 파라미터 또는 제3 감각 파라미터의 샘플링 시간이 도달하지 않을 수 있다.

단계 702 : 적어도 2개의 지각적 차원 각각에 대해, VR 멀티미디어의 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득되는 파라미터에 기초하여 지각적 차원에서의 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정한다.

VR 멀티미디어를 재생하는 과정에서, VR 멀티미디어의 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터는 적어도 2개의 지각적 차원에 따라 샘플링을 수행함으로써 획득된다. 즉, 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터는 모두 시각적 차원에 대응하는 파라미터 및 음향적 차원에 대응하는 파라미터를 포함한다. 따라서, 적어도 2개의 지각적 차원 각각에 대해, 단말은 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득되는 파라미터들에 기초하여 지각적 차원에서의 VR 멀티미티어스의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정할 수 있다.

예를 들어, 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터는 모두 시각적 차원에 대응하는 파라미터 및 음향적 차원에 대응하는 파라미터를 포함하고, 단말은 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터에서의 시각적 차원에 대응하는 파라미터에 기초하여 시각적 충실도 경험 점수, 시각적 즐거움 경험 점수 및 시각적 상호작용 경험 점수를 각각 계산할 수 있다. 또한, 단말은 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터에서의 음향적 차원에 대응하는 파라미터에 기초하여 음향적 충실도 경험 점수, 음향적 즐거움 경험 점수 및 음향적 상호작용 경험 점수를 각각 계산할 수 있다. 확실히, 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터가 피드백 차원과 같은 다른 차원에 대응하는 파라미터를 더 포함하면, 단말은 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터에서의 피드백 차원에 대응하는 파라미터에 기초하여 피드백 충실도 경험 점수, 피드백 즐거움 경험 점수 및 피드백 상호작용 경험 점수를 각각 더 계산할 수 있다.

단말에 의해 VR 멀티미디어의 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터에 대한 샘플링을 수행하는 방법에 대한 설명은 단계 401에서의 설명을 참조한다. 본 실시예에서 세부 사항은 다시 설명되지 않는다.

또한, 단계 401에서 설명된 바와 같이, 감각 파라미터의 샘플링 주기가 상이하기 때문에, 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터에 기초하여 단말에 의해 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 점수를 결정하는 기회도 또한 상이하다. 마찬가지로, 본 실시예에서, 상이한 감각 파라미터의 샘플링 주기로 인해, 단말에 의해 각각의 지각적 차원에 대응하는 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 계산하는 기회도 또한 상이하다.

구체적으로, 적어도 2개의 지각적 차원 각각에 대해, VR 멀티미디어를 재생하는 과정에서 발생하는 이벤트를 단위로서 사용함으로써, 단말은 계산을 트리거하고 발생하는 이벤트의 종료시에 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 점수를 한 번 출력할 수 있어서, 지각적 차원에서의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수에 기초한 공동 계산을 통해, 지각적 차원에서의 이벤트에 대응하는 VR 멀티미디어의 경험 점수를 후속적으로 획득할 수 있다.

또한, 미리 설정된 단위 시간 구간을 단위로서 사용함으로써, 단말은 또한 계산을 트리거하고, VR 멀티미디어를 재생하는 과정에서 단위 시간 구간의 종료시에 지각적 차원에서의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 점수를 한 번 출력할 수 있어서, 지각적 차원에서의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수에 기초한 공동 계산을 통해, 단위 시간 구간에 대응하는 지각적 차원에서 VR 멀티미디어의 경험 점수를 후속적으로 획득할 수 있다.

또한, 제1 감각 파라미터의 샘플링 시간이 도달하는 경우, 샘플링을 통해 획득된 제1 감각 파라미터가 이전 샘플링 시간에서의 제1 감각 파라미터와 비교하여 변경될 수 있기 때문에, 단말은 샘플링을 통해 획득된 제1 감각 파라미터에 기초하여 충실도 경험 점수를 계산할 필요가 있음에 유의해야 한다. 그러나, 즐거움 경험 점수가 충실도 경험 점수에 기초하여 결정되기 때문에, 지각적 차원에서의 충실도 경험 점수가 계산을 통해 획득된 후에, 지각적 차원에서의 즐거움 경험 점수는 지각적 차원에서의 충실도 경험 점수에 기초하여 결정될 필요가 있다. 즉, 제1 감각 파라미터의 샘플링 시간이 도달하는 경우, 지각적 차원에서의 충실도 경험 점수의 계산 시간도 도달한다. 그러나, 지각적 차원에서의 충실도 경험 점수의 계산 시간이 도달하는 경우, 계산이 트리거될 수 있고 지각적 차원에서의 즐거움 경험 점수 및 상호작용 경험 점수가 한 번 출력될 수 있으며, 지각적 차원에서의 VR 멀티미디어의 경험 점수가 한 번 더 계산된다.

전술한 설명으로부터 알 수 있는 바와 같이, 적어도 2개의 지각적 차원 각각에 대해, 감각 파라미터의 샘플링 주기가 상이한 경우, 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터에 기초하여 단말에 의해 지각적 차원에서의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 점수를 결정하는 기회도 또한 상이하다. 또한, 단말은 VR 멀티미디어를 재생하는 과정에서 발생하는 이벤트를 단위로서 사용하거나, 또는 미리 설정된 단위 시간 구간을 단위로서 사용하여 지각적 차원에서 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 계산할 수 있다. 따라서, 지각적 차원에서 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 계산하는 복수의 구현예가 있다. 구현예는 본 출원의 다음 실시예에서 논의된다.

단계 703 : 지각적 차원에서 미리 설정된 VR 멀티미디어 경험 점수 계산 모델을 사용하여 지각적 차원에서 VR 멀티미디어의 경험 점수를 계산하기 위해, 지각적 차원에서 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용한다.

단계 701의 설명에 기초하여, 적어도 2개의 지각적 차원 각각에 대해, 지각적 차원에서의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수의 계산이 이벤트를 단위로서 사용하여 트리거되는 경우, 이벤트가 즐거움 경험 점수에 영향을 미치는 이벤트일 수 있거나 또는 상호작용 경험 점수에 영향을 주는 이벤트일 수 있고, 이벤트의 종료 시간이 제1 감각 파라미터의 샘플링 시간이 아닐 수 있기 때문에, 지각적 차원에서 결정된 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수에 기초하여 지각적 차원에서의 VR 멀티미디어의 경험 점수를 계산하는 방식이 또한 변할 수 있다.

마찬가지로, 지각적 차원에서의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수의 계산이 단위 시간 구간을 단위로서 사용하여 트리거되는 경우, 지각적 차원에서 결정된 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수에 기초하여 지각적 차원에서의 VR 멀티미디어의 경험 점수를 계산하는 복수의 방식이 또한 존재한다.

또한, 즐거움 경험 점수 및 상호작용 경험 점수의 계산이 지각적 차원에서의 충실도 경험 점수의 계산 시간에 트리거되는 경우, 상호작용 경험 점수에 영향을 미치는 이벤트가 계산 시간에 발생할 수 있거나 또는 발생하지 않을 수 있기 때문에, 지각적 차원에서 결정된 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수에 기초하여 지각적 차원에서 VR 멀티미디어의 경험 점수를 계산하는 방식이 또한 변할 수 있다는 점에 유의해야 한다. 따라서, 지각적 차원에서 미리 설정된 VR 멀티미디어 경험 점수 계산 모델을 사용하여 지각적 차원에서 VR 멀티미디어의 경험 점수를 계산하기 위해, 지각적 차원에서 결정된 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용하는 복수의 구현예가 또한 존재한다. 본 출원의 다음 실시예에서, 구현예는 지각적 차원에서 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수의 복수의 구현을 참조하여 논의된다.

단계 704 : 미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 VR 멀티미디어의 MOS를 계산하기 위해 적어도 2개의 지각적 차원에서의 VR 멀티미디어의 경험 점수를 입력 파라미터로서 사용한다.

적어도 2개의 지각적 차원에 대응하는 적어도 2개의 경험 점수를 결정한 후, 단말은 [수학식 23]에서의 계산 모델을 사용하여 VR 멀티미디어의 MOS를 계산하기 위해, 적어도 2개의 지각적 차원에서의 경험 점수를 입력 파라미터로서 사용할 수 있다.

는 선형 모델일 수 있거나 비선형 모델일 수 있다. [수학식 24]는 본 발명의 본 실시예에서 도시된

의 선형 모델이고, [수학식 25]는 본 발명의 본 실시예에서 도시된

의 비선형 모델이다.

여기서,

이다. 즉,

는 시각적 차원, 음향적 차원 또는 다른 차원일 수 있으며,

는 지각적 차원에서의 VR 멀티미디어의 충실도 경험 점수이고,

는 지각적 차원에서의 VR 멀티미디어의 즐거움 경험 점수이며,

는 지각적 차원에서의 VR 멀티미디어의 상호작용 경험 점수이다.

또한, 함수

는 선형 함수일 수 있거나 또는 비선형 함수일 수 있음에 유의해야한다. 함수

가 선형 함수인 경우, 함수는 [수학식 26]에 의해 지시될 수 있다.

함수

가 비선형 함수인 경우, 함수는 [수학식 27]에 의해 지시될 수 있다.

여기서,

및

는 미리 설정된 파라미터이고, 미리 설정된 파라미터는 또한 상이한 지각적 차원에 따라 다르다.

본 발명의 본 실시예에서, 단말은 샘플링을 통해 획득된 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터에 기초하여 적어도 2개의 지각적 차원 각각에서 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하고, 그 후, 단말은 결정된 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수에 기초하여 각각의 지각적 차원에서의 VR 멀티미디어의 경험 점수를 결정하며, VR 멀티미디어의 MOS를 추가로 결정한다. 본 발명의 본 실시예에서 VR 멀티미디어의 경험 품질을 결정하는 과정에서에 상호작용 경험 품질 평가가 추가되지만, 사용자와의 상호작용이 VR 멀티미디어를 종래의 미디어와 구별하는 주요 특징이기 때문에, 본 발명의 본 실시예에서 VR 멀티미디어의 경험 품질을 결정하는 것은 VR 멀티미디어의 실제 상황을 보다 잘 준수하고, VR 멀티미디어의 결정된 경험 품질은 또한 더 정확하다.

네트워크 미디어 이벤트는 네트워크 상태의 영향으로 인해 발생하는 이벤트이다. 네트워크 상태가 비교적 양호한 경우에 발생하는 정상적인 재생 이벤트는 네트워크 미디어 이벤트이다. 비교적 열악한 네트워크 상태로 인해 생성되는 프리즈 이벤트 및 미디어 품질 변경 이벤트도 또한 네트워크 미디어 이벤트이다. 그러나, 상호작용 미디어 이벤트는 이것과 다르며, 상호작용 미디어 이벤트는 사용자와 단말 사이에 상호작용이 있는 경우에만 발생한다. VR 멀티미디어를 재생하는 과정에서, 네트워크 미디어 이벤트가 발생하는 경우, 사용자와 단말 사이에 상호작용이 없기 때문에 상호작용 미디어 이벤트는 존재할 수 없다. 다르게는, 사용자와 단말 사이의 상호작용에 의한 상호작용 미디어 이벤트가 발생하는 경우, 네트워크 상태 변화에 의해 야기된 네트워크 미디어 이벤트가 존재할 수 없으므로, 네트워크 미디어 이벤트가 발생하지 않는다. 전술한 설명에 기초하여, 단계 701 및 702의 설명을 참조하고, 도 8a 내지 도 8c를 참조하여, 이하에서 현재 시간이 다른 경우에 대응하는 경우 이벤트를 단위로서 사용하여 지각적 차원에서 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하고, 지각적 차원에서의 VR 멀티미디어의 경험 점수를 추가로 결정하는 구현 과정을 설명한다.

도 8a는 본 발명의 실시예에 따라 이벤트를 단위로서 사용하여 지각적 차원에서 VR 멀티미디어의 경험 점수를 결정하는 방법의 흐름도이다. 도 8a에 도시된 바와 같이, 이 방법은 다음의 단계들을 포함한다.

단계 801a : 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 현재 시간에 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 발생하면, 현재 시간에 대응하는 제1 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행하여 획득되는 파라미터에 기초하여 지각적 차원에서 VR 멀티미디어의 충실도 경험 점수를 결정한다.

적어도 2개의 지각적 차원 각각에 대해, 지각적 차원에서 VR 멀티미디어의 경험 점수가 이벤트를 단위로서 사용하여 결정되는 경우, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간이면, 제1 감각 파라미터가 변경되었을 수 있기 때문에, 단말이 제1 감각 파라미터에 기초하여 현재 시간에 지각적 차원에서의 충실도 경험 점수를 계산할 수 있다.

단말은 단계 501a에서 설명된 충실도 경험 점수를 계산하는 대응하는 방식을 참조함으로써, 현재 시간에 대응하는 제1 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 지각적 차원에서의 충실도 경험 점수를 결정할 수 있다.

지각적 차원에서의 충실도 경험 점수를 결정한 후, 현재 시간에 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 발생하기 때문에, 단말은 현재 시간에 발생하는 이벤트에 기초하여 대응하는 경험 점수를 계산할 수 있다. 현재 시간에 발생하는 이벤트가 네트워크 미디어 이벤트이면, 단계 802a가 수행되거나, 또는 현재 시간에 발생하는 이벤트가 상호작용 미디어 이벤트이면, 단계 803a가 수행된다.

단계 802a : 현재 시간에 발생하는 이벤트가 네트워크 미디어 이벤트이면, 현재 시간에 대응하는 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 현재 결정된 지각적 차원에서의 충실도 경험 점수 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS에 기초하여 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 결정하고, 지각적 차원에서의 VR 멀티미디어의 상호작용 경험 점수를 초기값으로 설정한다.

지각적 차원에서의 즐거움 경험 점수가 지각적 차원에서의 충실도 경험 점수에 기초하기 때문에, 지각적 차원에서의 충실도 경험 점수가 변하면, 지각적 차원에서의 즐거움 경험 점수도 또한 변한다. 따라서, 이 경우, 단말은 지각적 차원에서의 현재 결정된 충실도 경험 점수, 현재 시간에 대응하는 제2 감각 파라미터에서의 지각적 차원에 따른 샘플링을 수행하여 획득되는 파라미터 및 이전의 네트워크 미디어 이벤트의 종료시의 지각적 차원에서의 VR 멀티미디어의 경험 점수에 기초하여 지각적 차원에서의 즐거움 경험 점수를 계산할 수 있다. 그러나, 지각적 차원에서의 상호작용 경험 점수에 대해, 현재 시간에 상호작용 미디어 이벤트가 발생하지 않기 때문에, 단말은 지각적 차원에서의 상호작용 경험 점수를 계산할 수 없지만, 지각적 차원에서의 상호작용 경험 점수를 초기값으로 설정할 수 있다.

네트워크 미디어 이벤트가 현재 시간에 발생하더라도, 현재 시간은 제2 감각 파라미터의 샘플링 시간이 아닐 수 있음에 유의해야 한다. 따라서, 지각적 차원에서의 즐거움 경험 점수가 지각적 차원에서의 현재 결정된 충실도 경험 점수, 현재 시간에 대응하는 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득되는 파라미터 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS에 기초하여 계산되는 경우, 현재 시간에 대응하는 제2 감각 파라미터에서 지각적 차원에 따라 샘플링을 수행함으로써 획득된 네트워크 미디어 이벤트의 유형은 샘플링을 통해 최근에 획득된 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 네트워크 미디어 이벤트의 유형일 수 있지만, 그러나 제2 감각 파라미터에 포함된 듀레이션은 현재 시간에 기초하여 대응적으로 업데이트될 수 있다.

또한, 지각적 차원에서 상이한 네트워크 미디어 이벤트에 대응하는 즐거움 경험 점수를 계산하는 방식에 대해서는 전술한 단계 502a에서 즐거움 경험 점수를 계산하는 방식을 참조한다. 본 발명의 본 실시예에서 세부 사항은 다시 설명되지 않는다.

단계 803a : 현재 시간에 발생하는 이벤트가 상호작용 미디어 이벤트이면, 현재 시간에 대응하는 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 지각적 차원에서의 VR 멀티미디어의 상호작용 경험 점수를 결정하고, 지각적 차원에서의 VR 멀티미디어의 즐거움 경험 점수를 초기값으로 설정한다.

현재 시간에 발생하는 이벤트가 상호작용 미디어 이벤트이면, 지각적 차원에서의 충실도 경험 점수가 업데이트되기 때문에, 지각적 차원에서의 VR 멀티미디어의 MOS 계산이 현재 시간에 트리거된다. 따라서, 단말은 현재 시간에 지각적 차원에서의 상호작용 경험 점수를 결정해야 한다. 또한, 현재 시간에 네트워크 미디어 이벤트가 발생하지 않기 때문에, 단말은 지각적 차원에서의 즐거움 경험 점수를 초기값으로 설정할 수 있다. 초기값은 0일 수 있거나 다른 숫자 값일 수 있다.

또한, 상호작용 미디어 이벤트가 현재 시간에 발생하지만, 현재 시간은 상호작용 미디어 이벤트의 샘플링 시간이 아닐 수 있다. 지각적 차원에서의 상호작용 경험 점수가 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 결정되는 경우, 현재 시간에 대응하는 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행하여 획득된 파라미터에 포함된 상호작용 미디어 이벤트의 유형은 샘플링을 통해 최근에 획득된 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 포함된 상호작용 미디어 이벤트의 유형일 수 있지만, 제3 감각 파라미터에 포함된 듀레이션은 현재 시간에 기초하여 대응적으로 업데이트될 수 있다.

또한, 상호작용 미디어 이벤트의 유형 및 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 포함된 듀레이션에 기초하여 지각적 차원에서의 상호작용 경험 점수를 계산하는 구체적인 방식에 대해, 단계 503a에서 상호작용 경험 점수를 계산하는 방법을 참조한다. 본 발명의 본 실시예에서 세부 사항은 다시 설명되지 않는다.

단계 804a : 지각적 차원에서 미리 설정된 VR 멀티미디어 경험 점수 계산 모델을 사용하여 지각적 차원에서의 VR 멀티미디어의 경험 점수를 계산하기 위해, 지각적 차원에서의 VR 멀티미디어의 결정된 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용한다.

적어도 2개의 지각적 차원 각각에 대해, 지각적 차원에서 미리 설정된 VR 멀티미디어 경험 점수 계산 모델을 사용하여 지각적 차원에서의 VR 멀티미디어의 경험 점수를 계산하기 위해, 현재 시간에 결정된 지각적 차원에서의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용하는 구체적인 구현예에 대해서는 단계 703을 참조한다. 본 발명의 본 실시예에서 세부 사항은 다시 설명되지 않는다.

본 발명의 본 실시예에서, 지각적 차원에서의 충실도 경험 점수를 결정하는 경우, 단말은 시계, 프로젝션 포맷, 스테레오 정도, 자유도, 충실도 경험에 대한 공간적 음향과 같은 VR 멀티미디어의 고유 파라미터의 영향을 고려한다. 따라서, 이에 기초하여 결정된 지각적 차원에서의 충실도 경험 점수도 또한 더 정확하다. 또한, 지각적 차원에서의 즐거움 경험 점수의 결정은 현재의 이벤트 구간에서의 이벤트의 특성과 관련될 뿐만 아니라, 이전 이벤트에 대응하는 VR 멀티미디어의 MOS와도 관련된다. 이는 VR 멀티미디어를 재생하는 과정에서 발생하는 이전 이벤트의 영향을 고려하는 것과 같다. 따라서, 지각적 차원에서 결정된 즐거움 경험 점수가 더 포괄적이고 더 정확하다.

현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간이고 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 현재 시간에 발생하는 경우 이벤트를 단위로서 사용하여 지각적 차원에서의 VR 멀티미디어의 경험 점수를 결정하기 위한 방법이 도 8a에서 설명된다. 도 8b를 참조하여, 이하에서 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간이고 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 동시에 발생하는 경우 이벤트를 단위로서 사용하여 지각적 차원에서의 VR 멀티미디어의 경험 점수를 결정하기 위한 방법에 대해 설명한다.

도 8b는 본 발명의 실시예에 따라 이벤트를 단위로서 사용하여 지각적 차원에서의 VR 멀티미디어의 경험 점수를 결정하기 위한 다른 방법의 흐름도이다. 도 8b에 도시된 바와 같이, 이 방법은 다음의 단계들을 포함한다.

단계 801b : 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 현재 시간에 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 발생하면, 현재 시간에 대응하는 제1 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 지각적 차원에서의 VR 멀티미디어의 충실도 경험 점수를 결정하고, 현재 시간에 대응하는 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행하여 획득되는 파라미터, 지각적 차원에서 현재 결정된 충실도 경험 점수 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS에 기초하여 지각적 차원에서의 VR 멀티미디어의 즐거움 경험 점수를 결정하며, 현재 시간에 대응하는 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 VR 멀티미디어의 상호작용 경험 점수를 결정한다.

현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 동시에 발생하면, 적어도 2개의 지각적 차원 각각에 대해, 단말은 지각적 차원에서의 충실도 경험 점수 및 즐거움 경험 점수외에 지각적 차원에서의 상호작용 경험 점수를 추가로 계산할 필요가 있다.

단말에 의해 지각적 차원에서의 즐거움 경험 점수를 계산하는 데 필요한 제2 감각 파라미터의 선택에 대해서는 단계 801a에서의 설명을 참조한다. 구체적인 계산 방식에 대해서는 단계 502a에서 즐거움 경험 점수를 계산하기 위한 대응하는 방법을 참조한다.

또한, 상호작용 미디어 이벤트가 현재 시간에 발생하지만, 현재 시간은 상호작용 미디어 이벤트의 샘플링 시간이 아닐 수 있다. 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상호작용 경험 점수가 결정되는 경우, 현재 시간에 대응하는 제3 감각 파라미터에서의 상호작용 미디어 이벤트의 유형은 샘플링을 통해 최근에 획득된 제3 감각 파라미터의 상호작용 미디어 이벤트의 유형일 수 있지만, 그러나 제3 감각 파라미터에 포함된 듀레이션은 현재 시간에 기초하여 대응적으로 업데이트될 수 있다. 지각적 차원에서의 상이한 상호작용 미디어 이벤트에 대응하는 상호작용 경험 점수를 계산하는 구체적인 방식에 대해서는 전술한 단계 503a에서 상호작용 경험 점수를 계산하는 구체적인 방식을 참조한다.

단계 802b : 지각적 차원에서 미리 설정된 VR 멀티미디어의 경험 점수 계산 모델을 사용하여 지각적 차원에서의 VR 멀티미디어의 경험 점수를 계산하기 위해, 현재 시간에 결정된 지각적 차원에서의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용한다.

적어도 2개의 지각적 차원 각각에 대해, 지각적 차원에서 미리 설정된 VR 멀티미디어의 경험 점수 계산 모델을 사용하여 지각적 차원에서의 VR 멀티미디어의 경험 점수를 계산하기 위해, 현재 시간에 결정된 지각적 차원에서의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용하는 구체적인 구현예에 대해, 단계 703을 참조한다. 본 발명의 본 실시예에서 세부 사항은 다시 설명되지 않는다.

본 발명의 본 실시예에서, 지각적 차원에서의 충실도 경험 점수가 결정되는 경우, 시계, 프로젝션 포맷, 스테레오 정도, 자유도, 및 충실도 경험에 대한 공간적 음향과 같은 VR 멀티미디어의 고유 파라미터의 영향이 고려된다. 따라서, 이에 기초하여 결정된 지각적 차원에서의 충실도 경험 점수도 또한 더 정확하다. 또한, 지각적 차원에서의 즐거움 경험 점수의 결정은 현재의 이벤트 구간에서의 이벤트의 특성에 관련될 뿐만 아니라, 이전의 이벤트에 대응하는 VR 멀티미디어의 MOS와도 관련된다. 이는 VR 멀티미디어를 재생하는 과정에서 발생하는 이전 이벤트의 영향을 고려하는 것과 같다. 따라서, 지각적 차원에서 결정된 즐거움 경험 점수가 더 포괄적이고 더 정확하다. 또한, 현재 시간에 상호작용 미디어 이벤트가 발생하기 때문에, 단말은 현재 시간에 대응하는 지각적 차원에서의 VR 멀티미디어의 경험 점수를 결정하기 위해 지각적 차원에서의 상호작용 경험 점수를 계산할 수 있다. 즉, 단말은 또한 지각적 차원에서의 상호작용 경험 점수를 대응적으로 업데이트한다. 따라서, 지각적 차원에서의 VR 멀티미디어의 경험 점수의 정확도가 향상된다.

적어도 2개의 지각적 차원 각각에 대해, 현재 시간이 제1 감각 파라미터의 샘플링 시간이고 네트워크 미디어 이벤트 및/또는 상호작용 미디어 이벤트가 현재 시간에 발생하는 경우 지각적 차원에서의 VR 멀티미디어의 경험 점수를 결정하는 구현 과정은 도 8a 및 도 8b를 참조하여 위에서 별도로 설명되었다. 전술한 두 경우에 더하여, 단말은 계산을 더 트리거하고, 발생하는 이벤트의 종료시에 지각적 차원에서의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 점수를 출력하며, 지각적 차원에서의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수에 기초한 공동 계산을 통해 지각적 차원에서의 이벤트에 대응하는 VR 멀티미디어의 경험 점수를 추가로 획득할 수 있다. 세부 사항은 도 8c에 도시되어 있다.

단계 801c : 이벤트를 단위로서 사용하여 지각적 차원에서의 즐거움 경험 점수 및 상호작용 경험 점수를 결정한다.

현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하지 않는 경우, 단말은 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 발생하는지의 여부 및 발생하는 이벤트가 종료되는지의 여부에 따라 3가지 사례에서 지각적 차원에서의 VR 멀티미디어의 즐거움 경험 점수 및 상호작용 경험 점수를 결정할 수 있다.

제1 사례 : 네트워크 미디어 이벤트가 현재 시간에 발생하지만 상호작용 미디어 이벤트가 동시에 발생하지 않고, 현재 시간에 네트워크 미디어 이벤트가 종료된 것으로 검출되면, 현재 시간에 대응하는 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 현재 시간 이전에 최근에 결정된 지각적 차원에서의 충실도 경험 점수 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS에 기초하여 지각적 차원에서의 VR 멀티미디어의 즐거움 경험 점수를 결정하고, 지각적 차원에서의 VR 멀티미디어의 상호작용 경험 점수를 초기값으로 설정한다.

지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수의 계산이 현재 시간에서 지각적 차원에서의 충실도 경험 점수에 더 의존할 필요가 있지만, 현재 시간이 충실도 경험 점수의 계산 시간이 아니기 때문에, 즉, 지각적 차원에서의 충실도 경험 점수가 현재 시간에서의 계산을 통해 획득되지 않기 때문에, 이 경우에, 단말은 현재 시간 이전에 최근에 결정된 지각적 차원에서의 충실도 경험 점수를 획득하여 지각적 차원에서의 즐거움 경험 점수를 계산하기 위한 입력 파라미터로서 사용할 수 있다. 또한, 단말은 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS를 더 획득하고, 지각적 차원에서 획득된 충실도 경험 점수 및 샘플링을 통해 획득된 제2 감각 파라미터를 참조하여 계산을 통해 VR 멀티미디어의 즐거움 경험 점수를 획득할 수 있다.

현재 시간에 상호작용 미디어 이벤트가 발생하지 않기 때문에, 단말은 지각적 차원에서의 상호작용 경험 점수를 초기값으로 설정할 수 있다.

제2 사례 : 상호작용 미디어 이벤트가 현재 시간에 발생하지만 네트워크 미디어 이벤트가 동시에 발생하지 않고, 현재 시간에 상호작용 미디어 이벤트가 종료된 것으로 검출되면, 현재 시간에 대응하는 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 지각적 차원에서 VR 멀티미디어의 상호작용 경험 점수를 결정하고, 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 초기값으로 설정한다.

현재 시간이 상호작용 미디어 이벤트의 종료 시간인 경우, 지각적 차원에서 VR 멀티미디어의 상호작용 경험 점수의 계산이 트리거되고, 또한 지각적 차원에서 VR 멀티미디어의 경험 점수의 계산이 트리거된다.

지각적 차원에서 VR 멀티미디어의 상호작용 경험 점수의 계산에 대해서는 단계 503a에서 상호작용 경험 점수를 계산하는 방식을 참조한다. 네트워크 미디어 이벤트가 발생하지 않기 때문에, 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수가 초기값으로 설정될 수 있다. 초기값은 0일 수 있거나 다른 값일 수 있다.

제3 사례 : 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 발생하고, 현재 시간에 네트워크 미디어 이벤트 및/또는 상호작용 미디어 이벤트가 종료된 것으로 검출되면, 현재 시간에 대응하는 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 현재 시간 이전에 최근에 결정된 지각적 차원에서의 충실도 경험 점수 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS에 기초하여 지각적 차원에서 VR 멀티미디어의 증거움 경험 점수를 결정하고, 현재 시간에 대응하는 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 지각적 차원에서 VR 멀티미디어의 상호작용 경험 점수를 결정한다.

네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 동시에 발생하는 경우, 발생하는 이벤트 중 하나가 종료되는 한, 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수 및 상호작용 경험 점수의 계산이 트리거되고, 또한, 지각적 차원에서 VR 멀티미디어의 경험 점수의 계산이 트리거된다.

지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 계산하기 위한 구체적인 방법에 대해, 단계 502a에서의 즐거움 경험 점수의 계산을 참조한다. 지각적 차원에서 VR 멀티미디어의 상호작용 경험 점수의 결정에 대해, 단계 801b에서 지각적 차원에서의 상호작용 경험 점수를 결정하는 방법을 참조한다.

단계 802c : 지각적 차원에서 미리 설정된 VR 멀티미디어 경험 점수 계산 모델을 사용하여 지각적 차원에서 VR 멀티미디어의 경험 점수를 계산하기 위해, 현재 시간 이전에 최근에 결정된 지각적 차원에서의 충실도 경험 점수 및 현재 시간에 결정된 지각적 차원에서의 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용한다.

현재 시간에 충실도 경험 점수가 계산되지 않기 때문에, 단말은 현재 시간 이전에 최근에 결정된 지각적 차원에서의 충실도 경험 점수, 및 현재 시간에 결정된 지각적 차원에서의 즐거움 경험 점수 및 지각적 차원에서의 상호작용 경험 점수를 지각적 차원에서 VR 멀티미디어의 경험 점수를 계산하기 위한 입력 파라미터로서 사용할 수 있다. 입력 파라미터에 기초하여 지각적 차원에서 미리 설정된 VR 멀티미디어 경험 점수 계산 모델을 사용하여 지각적 차원에서 VR 멀티미디어의 경험 점수를 계산하기 위한 방법에 대해서는 단계 703에서 대응하는 방법을 참조한다.

본 발명의 본 실시예에서, 현재 시간이 제1 감각 파라미터의 샘플링 시간에 도달하지 않기 때문에, 지각적 차원에서의 충실도 경험 점수는 변하지 않는다. 따라서, 단말은 현재 시간 이전에 최근에 결정된 지각적 차원에서의 충실도 경험 점수를 직접 획득할 수 있고, 작업의 양이 감소된다. 또한, 지각적 차원에서의 즐거움 경험 점수의 결정은 현재의 이벤트 구간에서의 이벤트의 특성과 관련될 뿐만 아니라, 이전의 이벤트에 대응하는 VR 멀티미디어의 MOS와도 관련된다. 이는 VR 멀티미디어를 재생하는 과정에서 발생하는 이전 이벤트의 영향을 고려하는 것과 같다. 따라서, 지각적 차원에서 결정된 즐거움 경험 점수가 더 포괄적이고 더 정확하다. 또한, 현재 시점에서 상호작용 미디어 이벤트가 발생하기 때문에, 단말은 현재 시간에 대응하는 지각적 차원에서 VR 멀티미디어의 경험 점수를 결정하기 위해 지각적 차원에서의 상호작용 경험 점수를 계산할 수 있다. 즉, 단말은 또한 지각적 차원에서의 상호작용 경험 점수를 대응적으로 업데이트한다. 따라서, 지각적 차원에서 VR 멀티미디어의 경험 점수의 정확도가 향상된다.

이벤트를 단위로서 사용하여 지각적 차원에서 VR 멀티미디어의 경험 점수를 결정하고, VR 멀티미디어의 MOS를 추가로 결정하는 3가지 방법이 도 8a 내지 도 8c를 참조하여 위에서 설명되었다. 마찬가지로, 단위 시간 구간을 단위로서 사용하여 지각적 차원에서 VR 멀티미디어의 경험 점수를 결정하는 3가지 방식도 현재 시간이 다른 경우에 대응하는 경우에도 존재한다. 도 9a 내지 도 9c를 참조하여, 이하에서 단위 시간 구간을 단위로서 사용하여 지각적 차원에서 VR 멀티미디어의 경험 점수를 결정하는 3가지 방법을 설명한다.

도 9a는 본 발명의 실시예에 따라 단위 시간 구간을 단위로서 사용하여 지각적 차원에서 VR 멀티미디어의 경험 점수를 결정하기 위한 방법이다. 도 9a에 도시된 바와 같이, 이 방법은 다음의 단계들을 포함한다.

단계 901a : 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 현재 시간에 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 발생하면, 현재 시간에 대응하는 제1 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 지각적 차원에서 VR 멀티미디어의 충실도 경험 점수를 결정한다.

적어도 2개의 지각적 차원 각각에 대해, 지각적 차원에서 VR 멀티미디어의 경험 점수가 단위 시간 구간을 단위로서 사용하여 결정되는 경우, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하면, 단말은 샘플링을 통해 획득된 제1 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행하여 획득된 파라미터에 기초하여 지각적 차원에서 대응하는 충실도 경험 점수를 계산할 수 있다. 제1 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 충실도 체험 점수를 계산하는 방식에 대해, 단계 501a에서 대응하는 지각적 차원에서의 충실도 경험 점수를 계산하는 방식을 참조한다.

단말이 계산을 통해 지각적 차원에서의 충실도 경험 점수를 획득한 후, 현재 시간에 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 발생하기 때문에, 단말은 현재 시간에서 발생하는 이벤트에 기초하여 대응하는 경험 점수를 계산할 수 있다. 현재 시간에 발생하는 이벤트가 네트워크 미디어 이벤트이면, 단계 902a가 수행되거나, 또는 현재 시간에 발생하는 이벤트가 상호작용 미디어 이벤트이면, 단계 903a가 수행된다.

단계 902a : 현재 시간에 발생하는 이벤트가 네트워크 미디어 이벤트이면, 현재 시간에 대응하는 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 지각적 차원에서 현재 결정된 충실도 경험 점수 및 이전의 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS에 기초하여 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 결정하고, 지각적 차원에서 VR 멀티미디어의 상호작용 경험 점수를 초기값으로 설정한다.

본 실시예에서 지각적 차원에서의 VR 멀티미디어의 경험 점수가 단위 시간 구간을 단위로서 사용함으로써 결정되기 때문에, 단말은 이전의 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS를 획득하여 현재 시간에서 지각적 차원에서의 즐거움 경험 점수를 계산하기 위한 입력 파라미터로서 사용할 수 있다. 또한, 단말은 현재 시간에 대응하는 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터 및 지각적 차원에서 현재 결정된 충실도 경험 점수를 참조하여 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 추가로 계산할 필요가 있다. 단말에 의해 지각적 차원에서의 즐거움 경험 점수를 계산하는 데 필요한 제2 감각 파라미터의 선택에 대해서는 단계 802a에서의 설명을 참조한다.

단계 903a : 현재 시간에 발생하는 이벤트가 상호작용 미디어 이벤트이면, 현재 시간에 대응하는 제3 감각에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 지각적 차원에서 VR 멀티미디어의 상호작용 경험 점수를 결정하고, 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 초기값으로 설정한다.

현재 시간에 대응하는 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 지각적 차원에서 VR 멀티미디어의 상호작용 경험 점수를 결정하는 방식에 대해서는, 단계 503a에서의 상호작용 경험 점수를 계산하는 방식을 참조한다. 또한, 네트워크 미디어 이벤트가 현재 시간에 발생하지 않기 때문에, 지각적 차원에서의 즐거움 경험 점수가 초기값으로 설정될 수 있다. 초기값은 0일 수 있거나 다른 값일 수 있다.

단계 904a : 지각적 차원에서 미리 설정된 VR 멀티미디어의 경험 점수 계산 모델을 사용하여 지각적 차원에서 VR 멀티미디어의 경험 점수를 계산하기 위해, 현재 시간에서 결정된 지각적 차원에서의 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용한다.

지각적 차원에서 미리 설정된 VR 멀티미디어의 경험 점수 계산 모델을 사용하여 단말에 의해 지각적 차원에서 VR 멀티미디어의 경험 점수를 계산하기 위해, 현재 시간에서 결정된 지각적 차원에서의 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용하는 방법에 대해서는 단계 703을 참조한다.

본 발명의 본 실시예에서, 지각적 차원에서의 충실도 경험 점수가 결정되는 경우, 시계, 프로젝션 포맷, 스테레오 정도, 자유도, 및 충실도 경험에 대한 공간적 음향과 같은 VR 멀티미디어의 고유 파라미터의 영향이 고려된다. 따라서, 이에 기초하여 결정된 지각적 차원에서의 충실도 경험 점수도 또한 더 정확하다. 또한, 지각적 차원에서의 즐거움 경험 점수의 결정은 현재의 단위 시간 구간에서 이벤트가 발생하는지 여부와 관련될 뿐만 아니라, 이전의 단위 시간 구간에 대응하는 VR 멀티미디어의 MOS와도 관련된다. 이는 VR 멀티미디어를 재생하는 과정에서 발생하는 이전 이벤트의 영향을 고려하는 것과 같다. 따라서, 지각적 차원에서 결정된 즐거움 경험 점수가 더 포괄적이고 더 정확하다.

적어도 2개의 지각적 차원 각각에 대해, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간이고 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 현재 시간에서 발생하는 경우 단위 시간 구간을 단위로서 사용하여 지각적 차원에서 VR 멀티미디어의 경험 점수를 결정하는 방법이 도 9a에서 설명된다. 도 9b를 참조하여, 이하에서 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간이고 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 동시에 발생하는 경우, 단위 시간 구간을 단위로서 사용하여 지각적 차원에서 VR 멀티미디어의 경험 점수를 결정하는 방법을 설명한다.

단계 901b : 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 현재 시간에 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 발생하면, 현재 시간에 대응하는 제1 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 지각적 차원에서 VR 멀티미디어의 충실도 경험 점수를 결정하고, 현재 시간에 대응하는 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행하여 획득된 파라미터, 지각적 차원에서 현재 결정된 충실도 경험 점수 및 이전의 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS에 기초하여 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 결정하며, 현재 시간에 대응하는 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 VR 멀티미디어의 상호작용 경험 점수를 결정한다.

현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 현재 시간에 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 동시에 발생하면, 단말은 지각적 차원에서의 충실도 경험 점수 및 즐거움 경험 점수외에 지각적 차원에서의 상호작용 경험 점수를 추가로 계산할 필요가 있다.

단말에 의해 지각적 차원에서의 즐거움 경험 점수를 계산하는 방법에 대해서는 단계 902a에서의 설명을 참조한다. 또한, 상호작용 미디어 이벤트가 현재 시간에 발생하지만, 현재 시간은 상호작용 미디어 이벤트의 샘플링 시간이 아닐 수 있다. 지각적 차원에서의 상호작용 경험 점수가 제3 감각 파라미터에 기초하여 결정되는 경우, 현재 시간에 대응하는 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 상호작용 미디어 이벤트의 유형은 샘플링을 통해 최근에 획득된 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 상호작용 미디어 이벤트의 유형일 수 있지만, 그러나 제3 감각 파라미터에 포함된 듀레이션은 현재 시간에 기초하여 대응적으로 업데이트될 수 있다.

또한, 단말에 의해 즐거움 경험 점수를 계산하는 구체적인 방식에서, 전술한 단계 502a에 설명된 바와 같이 즐거움 경험 점수를 계산하기 위해 입력된 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS만이 이전의 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS로 변경되어야 하고, 전술한 단계 502a에서의 충실도 경험 점수만이 지각적 차원에서의 충실도 경험 점수로 변경되어야 하며, 대응하는 나머지 부분들에 대한 참조가 이루어질 수 있다. 본 발명의 본 실시예에서 세부 사항은 다시 설명되지 않는다.

단계 902b : 지각적 차원에서 미리 설정된 VR 멀티미디어 경험 점수 계산 모델을 사용하여 지각적 차원에서 VR 멀티미디어의 경험 점수를 계산하기 위해, 현재 시간에 결정된 지각적 차원에서의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용한다.

지각적 차원에서 미리 설정된 VR 멀티미디어 경험 점수 계산 모델을 사용하여 지각적 차원에서 VR 멀티미디어의 경험 점수를 계산하기 위해, 현재 시간에 결정된 지각적 차원에서의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용하는 구체적인 구현에 대해서는 단계 703을 참조한다. 본 발명의 본 실시예에서 세부 사항은 다시 설명되지 않는다.

본 발명의 본 실시예에서, 지각적 차원에서의 충실도 경험 점수가 결정되는 경우, 시계, 프로젝션 포맷, 스테레오 정도, 자유도, 및 충실도 경험에 대한 공간적 음향과 같은 VR 멀티미디어의 고유 파라미터의 영향이 고려된다. 따라서, 이에 기초하여 결정된 지각적 차원에서의 충실도 경험 점수도 또한 더 정확하다. 또한, 지각적 차원에서의 즐거움 경험 점수의 결정은 현재의 단위 시간 구간에서 이벤트가 발생하는지 여부와 관련될 뿐만 아니라, 이전의 단위 시간 구간에 대응하는 VR 멀티미디어의 MOS와도 관련된다. 이는 VR 멀티미디어를 재생하는 과정에서 발생하는 이전 이벤트의 영향을 고려하는 것과 같다. 따라서, 지각적 차원에서 결정된 즐거움 경험 점수가 더 포괄적이고 더 정확하다. 또한, 현재 시간에 상호작용 미디어 이벤트가 발생하기 때문에, 현재 시간에 대응하는 지각적 차원에서 VR 멀티미디어의 경험 점수를 결정하기 위해 단말은 지각적 차원에서 상호작용 경험 점수를 계산할 수 있다. 즉, 단말은 또한 지각적 차원에서 상호작용 경험 점수를 대응적으로 업데이트한다. 따라서, 지각적 차원에서 VR 멀티미디어의 경험 점수의 정확도가 향상된다.

적어도 2개의 지각적 차원 각각에 대해, 현재 시간이 제1 감각 파라미터의 샘플링 시간이고 네트워크 미디어 이벤트 및/또는 상호작용 미디어 이벤트가 현재 시간에 발생하는 경우 지각적 차원에서 VR 멀티미디어의 경험 점수를 결정하는 구현 과정은 도 9a 및 도 9b를 참조하여 상기에서 개별적으로 설명되었다. 전술한 두 가지 경우에 더하여, 단말은 계산을 더 트리거하고, 단위 시간 구간의 종료시 또는 발생하는 이벤트의 종료시에 지각적 차원에서의 충실도 경험 점수, 즐거움 경험 점수, 및 상호작용 점수를 출력하며, 지각적 차원에서의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수에 기초한 공동 계산을 통해 지각적 차원에서의 이벤트에 대응하는 VR 멀티미디어의 경험 점수를 추가로 획득할 수 있다. 세부 사항은 도 9c에 도시되어 있다.

단계 901c : 단위 시간 구간을 단위로서 사용하여 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수 및 상호작용 경험 점수를 결정한다.

현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하지 않는 경우, 단말은 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 발생하는지의 여부, 현재 시간에 발생하는 이벤트가 종료되는지의 여부, 및 현재 시간이 단위 시간 구간의 종료 시간인지의 여부에 따라 다음의 몇 가지 사례에서 지각적 차원에서의 VR 멀티미디어의 즐거움 경험 점수 및 상호작용 경험 점수를 결정할 수 있다.

제1 사례 : 네트워크 미디어 이벤트가 현재 시간에 발생하지만 상호작용 미디어 이벤트가 동시에 발생하지 않고, 현재 시간에 네트워크 미디어 이벤트가 종료되거나 또는 단위 시간 구간이 종료된 것으로 검출되면, 현재 시간에 대응하는 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 현재 단위 시간 구간에서 현재 시간 전에 최근에 결정된 지각적 차원에서의 충실도 경험 점수 및 이전의 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS에 기초하여 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 결정하고, 지각적 차원에서의 VR 멀티미디어의 상호작용 경험 점수를 초기값으로 설정한다.

(1) 네트워크 미디어 이벤트만이 현재 시간에서 발생하고, 네트워크 미디어 이벤트가 종료되지 않지만, 현재 시간이 단위 시간 구간의 종료 시간인 경우, 단말은 현재 시간의 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 계산할 수 있다. 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수의 계산이 현재 시간에서 지각적 차원에서의 충실도 경험 점수에 더 의존할 필요가 있지만, 현재 시간이 충실도 경험 점수의 계산 시간이 아니기 때문에, 즉 지각적 차원에서의 충실도 경험 점수가 현재 시간에서의 계산을 통해 획득되지 않기 때문에, 이 경우, 단말은 현재의 단위 시간 구간에서 현재 시간 이전에 최근에 결정된 지각적 차원에서의 충실도 경험 점수를 획득하여 지각적 차원에서의 즐거움 경험 점수를 계산하기 위한 입력 파라미터로서 사용할 수 있다. 또한, 단말은 이전의 단위 시간 구간의 종료시에 VR 멀티미디어의 MOS를 더 획득할 수 있고, 지각적 차원에서획득된 충실도 경험 점수 및 샘플링을 통해 획득된 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터를 참조하여 계산을 통해 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 획득할 수 있다.

(2) 현재 시점에서 네트워크 미디어 이벤트만이 발생하고, 현재 시간이 네트워크 미디어 이벤트의 종료 시간이지만, 현재 시간이 단위 시간 구간의 종료 시간이 아닌 경우, 단말은 또한 (1)에서의 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 방식에 따라 즐거움 경험 점수 및 상호작용 경험 점수를 결정할 수 있다.

제2 사례 : 상호작용 미디어 이벤트가 현재 시간에 발생하지만 네트워크 미디어 이벤트가 동시에 발생하지 않고, 현재 시간에 상호작용 미디어 이벤트가 종료되었거나 또는 단위 시간 구간이 종료된 것으로 검출되면, 현재 시각에 대응하는 제3 감각 파라미터에서의 지각적 차원에 따른 샘플링을 수행함으로써 획득된 파라미터에 기초하여 지각적 차원에서의 VR 멀티미디어의 상호작용 경험 점수를 결정하고, 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 초기값으로 설정한다.

제3 사례 : 상호작용 미디어 이벤트 및 네트워크 미디어 이벤트가 현재 시간에 발생하고, 현재 시간에 단위 시간 구간이 종료된 것으로 검출되거나, 또는 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 발생하고, 현재 시간에 네트워크 미디어 이벤트 및/또는 상호작용 미디어 이벤트가 종료된 것으로 검출되며, 단위 시간 구간이 종료된 것으로 검출되지 않으면, 현재 시간에 대응하는 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 현재의 단위 시간 구간에서 현재 시간 이전에 최근에 결정된 지각적 차원에서의 충실도 경험 점수 및 이전의 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS에 기초하여 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 결정하고, 현재 시간에 대응하는 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 지각적 차원에서 VR 멀티미디어의 상호작용 경험 점수를 결정한다.

상호작용 미디어 이벤트 및 네트워크 미디어 이벤트가 현재 시간에 동시에 발생하고, 현재 시간이 단위 시간 구간의 종료 시간이지만, 네트워크 미디어 이벤트 및/또는 상호작용 미디어 이벤트가 종료되는 것으로 검출되지 않으면, 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수 및 상호작용 경험 점수의 계산이 트리거되고, 또한, 지각적 차원에서 VR 멀티미디어의 경험 점수의 계산이 트리거된다.

네트워크 미디어 이벤트 및 양방향 미디어 이벤트가 현재 시간에 동시에 발생하고, 현재 시간에 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트 중 적어도 하나가 종료되는 것으로 검출되지만, 단위 시간 구간이 종료되지 않는 것으로 검출되면, 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수 및 상호작용 경험 점수의 계산이 또한 트리거되고, 또한, 지각적 차원에서 VR 멀티미디어의 경험 점수의 계산이 트리거된다.

지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 결정하는 것에 대해, 제1 사례에서 지각적 차원에서의 즐거움 경험 점수를 결정하는 것을 참조한다. 지각적 차원에서 VR 멀티미디어의 상호작용 경험 점수를 결정하는 것에 대해, 단계 901b에서 지각적 차원에서의 상호작용 경험 점수를 결정하는 방법을 참조한다.

단계 902c : 지각적 차원에서 미리 설정된 VR 멀티미디어 경험 점수 계산 모델을 사용하여 지각적 차원에서 VR 멀티미디어의 경험 점수를 계산하기 위해, 현재의 단위 시간 구간에서 현재 시간 이전에 최근에 결정된 지각적 차원에서의 충실도 경험 점수 및 현재 시간에 결정된 지각적 차원에서의 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용한다.

현재 시간에 충실도 경험 점수가 계산되지 않기 때문에, 단말은 현재의 단위 시간 구간에서 현재 시간 이전에 최근에 결정된 지각적 차원에서의 충실도 경험 점수, 및 현재 시간에서 결정된 즐거움 경험 점수 및 상호작용 경험 점수를 지각적 차원에서 VR 멀티미디어의 경험 점수를 계산하기 위한 입력 파라미터로서 사용할 수 있다. 입력 파라미터에 기초하여 지각적 차원에서 미리 설정된 VR 멀티미디어 경험 점수 계산 모델을 사용하여 지각적 차원에서 VR 멀티미디어의 경험 점수를 계산하기 위한 방법에 대해서는 단계 703에서 대응하는 방법을 참조한다.

본 발명의 본 실시예에서, 현재 시간이 제1 감각 파라미터의 샘플링 시간에 도달하지 않기 때문에, 지각적 차원에서의 충실도 경험 점수는 변하지 않는다. 따라서, 단말은 현재 시간 이전에 최근에 결정된 지각적 차원에서의 충실도 경험 점수를 직접 획득할 수 있고, 작업의 양이 감소된다. 또한, 지각적 차원에서의 즐거움 경험 점수의 결정은 현재의 단위 시간 구간에서 이벤트가 발생하는지의 여부와 관련될 뿐만 아니라, 이전의 단위 시간 구간에 대응하는 VR 멀티미디어의 MOS와도 관련된다. 이는 VR 멀티미디어를 재생하는 과정에서 발생하는 이전 이벤트의 영향을 고려하는 것과 같다. 따라서, 지각적 차원에서 결정된 즐거움 경험 점수가 더 포괄적이고 더 정확하다. 또한, 현재 시점에서 상호작용 미디어 이벤트가 발생하기 때문에, 단말은 지각적 차원에서 상호작용 경험 점수를 계산하여, 현재 시간에 대응하는 지각적 차원에서 VR 멀티미디어의 경험 점수를 결정할 수 있다. 즉, 단말은 또한 지각적 차원에서의 상호작용 경험 점수를 대응적으로 업데이트한다. 따라서, 지각적 차원에서 VR 멀티미디어의 경험 점수의 정확도가 향상된다.

단말은 전술한 실시예에서의 방법을 사용하여 VR 멀티미디어의 MOS를 결정한다. VR 멀티미디어의 경험 품질을 결정하기 위해, 단말은 일반적으로 재생 듀레이션 내에서 VR 멀티미디어의 경험 품질을 테스트해야 한다. 구체적으로, 전체 VR 멀티미디어 테스트 과정에서, VR 멀티미디어는 복수의 이벤트 또는 복수의 단위 시간 구간을 포함할 수 있고, VR 멀티미디어의 경험 품질을 결정하는 과정에서, 단말은 전술한 실시예에서의 방법에 따라 VR 멀티미디어의 복수의 MOS를 결정할 수 있다. 전술한 실시예에서의 방법에 따라 단말이 VR 멀티미디어의 복수의 MOS를 결정한 후에, 단말은 다음 단계의 방법을 사용하여 미리 설정된 테스트 듀레이션 내에 VR 멀티미디어의 MOS 통계값을 추가로 결정할 수 있다.

구체적으로, 단말은 미리 설정된 테스트 듀레이션 내에 계산을 통해 획득된 VR 멀티미디어의 모든 MOS의 평균값을 결정할 수 있으며, 여기서 미리 설정된 테스트 듀레이션은 VR 멀티미디어의 경험 품질을 결정하는 듀레이션이다. 그 후, 단말은 미리 설정된 테스트 듀레이션 내에 계산을 통해 획득된 평균값을 VR 멀티미디어의 MOS 통계값으로 결정할 수 있다. 또한, 미리 설정된 테스트 듀레이션 내에 VR 멀티미디어의 경험 품질의 안정성을 평가하기 위해, 단말은 미리 설정된 듀레이션 내에서 VR 멀티미디어의 복수의 MOS 및 VR 멀티미디어의 MOS 통계값에 기초하여 VR 멀티미디어의 MOS의 평균 제곱 오차를 추가로 결정할 수 있다. 평균 제곱 오차가 작은 경우, 미리 설정된 테스트 듀레이션 내에서 VR 멀티미디어의 경험 품질이 더 안정적임을 지시한다. 그렇지 않으면, 미리 설정된 테스트 듀레이션 내에서 VR 멀티미디어의 경험 품질이 더 불안정하다는 것을 지시한다.

결론적으로, 본 발명의 본 실시예에서 단말에 의해 VR 멀티미디어의 경험 품질을 결정하는 과정에에 상호작용 경험 품질 평가가 추가되지만, 사용자와의 상호작용은 VR 멀티미디어를 종래의 미디어와 구별하는 주요 특징임에 틀림없다. 따라서, 본 발명의 본 실시예에서 VR 멀티미디어의 경험 품질을 결정하는 것은 VR 멀티미디어의 실제 상황에 더 잘 부합하고, VR 멀티미디어의 결정된 경험 품질은 또한 더 정확하다. 또한, 본 발명의 본 실시예에서, 충실도 경험 점수가 결정되는 경우, 시계, 프로젝션 포맷, 스테레오 정도, 자유도 및 충실도 경험에 대한 공간적 음향과 같은 VR 멀티미디어의 고유 파라미터의 영향이 고려된다. 따라서, 이에 기초하여 결정된 충실도 경험 점수도 더 정확하다. 또한, 본 발명의 본 실시예에서, 즐거움 경험 점수의 결정은 현재 이벤트 또는 단위 이벤트 구간에서의 이벤트와 관련될 될뿐만 아니라, VR 멀티미디어의 이전 MOS와도 관련된다는 것을 주목해야 한다. 이는 VR 멀티미디어의 이전 재생의 영향을 고려하는 것과 같다. 따라서, 결정된 즐거움 경험 점수는 보다 포괄적이고 보다 정확하다.

도 10a를 참조하면, 본 발명의 실시예는 VR 멀티미디어의 경험 품질을 결정하기 위한 장치를 제공한다. VR 멀티미디어의 경험 품질을 결정하기 위한 장치는 도 4 내지 도 9c 중 어느 하나에서 전술한 방법을 수행하도록 구성된다. VR 멀티미디어의 경험 품질을 결정하기 위한 장치는 획득 모듈(1001) 및 결정 모듈(1002)을 포함한다.

획득 모듈(1001)은 전술한 실시예에서 단계 401 또는 단계 701을 수행하도록 구성된다.

결정 모듈(1002)은 전술한 실시예에서 단계 402 및 단계 403을 수행하도록 구성되거나, 또는 전술한 실시예에서 단계 702, 단계 703 및 단계 704를 수행하도록 구성된다.

선택적으로, 도 10b를 참조하면, 결정 모듈(1002)은,

VR 멀티미디어의 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터에 기초하여 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하도록 구성된 제1 결정 유닛(10021); 및

미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 VR 멀티미디어의 MOS를 계산하기 위해, 결정된 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용하도록 구성된 제1 계산 유닛(10022)

을 포함한다.

선택적으로, 제1 결정 유닛(10021)은,

현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 현재 시간에 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 발생하면, 현재 시간에 대응하는 제1 감각 파라미터에 기초하여 VR 멀티미디어의 충실도 경험 점수를 결정하도록 구성된 결정 서브유닛 ― 네트워크 미디어 이벤트는 네트워크 상태의 변화로 인해 발생하는 이벤트이고, 상호작용 미디어 이벤트는 사용자와의 상호작용으로 인해 발생하는 이벤트임 ―

을 포함하고,

여기서, 결정 서브유닛은, 현재 시간에 발생하는 이벤트가 네트워크 미디어 이벤트인 경우, 현재 시간에 대응하는 제2 감각 파라미터, 현재 결정된 충실도 경험 점수 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS에 기초하여 VR 멀티미디어의 즐거움 경험 점수를 결정하고, VR 멀티미디어의 상호작용 경험 점수를 초기값으로 설정하도록 추가로 구성되거나, 또는

결정 서브유닛은, 현재 시간에서 발생하는 이벤트가 상호작용 미디어 이벤트인 경우, 현재 시간에 대응하는 제3 감각 파라미터에 기초하여 VR 멀티미디어의 상호작용 경험 점수를 결정하고, VR 멀티미디어의 즐거움 경험 점수를 초기값으로 설정하도록 추가로 구성된다.

선택적으로, 제1 결정 유닛(10021)은,

현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 현재 시간에 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 발생하면, 현재 시간에 대응하는 제1 감각 파라미터에 기초하여 VR 멀티미디어의 충실도 경험 점수를 결정하고, 현재 시간에 대응하는 제2 감각 파라미터, 현재 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS에 기초하여 VR 멀티미디어의 즐거움 경험 점수를 결정하며, 현재 시간에 대응하는 제3 감각 파라미터에 기초하여 VR 멀티미디어의 상호작용 경험 점수를 결정하도록 구성된 결정 서브유닛

을 포함한다.

선택적으로, 제1 결정 유닛(10021)은,

현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 현재 시간에 네트워크 미디어 이벤트가 발생하지만 상호작용 미디어 이벤트가 동시에 발생하지 않으며, 현재 시간에 네트워크 미디어 이벤트가 종료되는 것으로 검출되는 경우, 현재 시간에 대응하는 제2 감각 파라미터, 현재 시간 이전에 최근에 결정된 충실도 경험 점수 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS에 기초하여 VR 멀티미디어의 즐거움 경험 점수를 결정하고, VR 멀티미디어의 상호작용 경험 점수를 초기값으로 설정하도록 구성된 결정 서브유닛

을 포함하고,

결정 서브유닛은, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 현재 시간에 상호작용 미디어 이벤트가 발생하지만 네트워크 미디어 이벤트가 동시에 발생하지 않으며, 현재 시간에 상호작용 미디어 이벤트가 종료되는 것으로 검출되면, 현재 시간에 대응하는 제3 감각 파라미터에 기초하여 VR 멀티미디어의 상호작용 경험 점수를 결정하고, VR 멀티미디어의 즐거움 경험 점수를 초기값으로 설정하도록 추가로 구성되거나, 또는

결정 서브유닛은, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 발생하며, 현재 시간에 네트워크 미디어 이벤트 및/또는 상호작용 미디어 이벤트가 종료되는 것으로 검출되는 경우, 현재 시간에 대응하는 제2 감각 파라미터, 현재 시간 이전에 최근에 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS에 기초하여 VR 멀티미디어의 즐거움 경험 점수를 결정하고, 현재 시간에 대응하는 제3 감각 파라미터에 기초하여 VR 멀티미디어의 상호작용 경험 점수를 결정하도록 추가로 구성되며,

이에 상응하여, 제1 계산 유닛(10022)은 구체적으로,

미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 VR 멀티미디어의 MOS를 계산하기 위해, 현재 시간 전에 최근에 결정된 충실도 경험 점수, 및 현재 시간에 결정된 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용하도록 구성된다.

선택적으로, 제2 감각 파라미터는 네트워크 미디어 이벤트의 유형 및 제1 듀레이션을 포함하고, 제1 듀레이션은 네트워크 미디어 이벤트의 듀레이션이며,

결정 서브유닛은 구체적으로,

현재 시간에 대응하는 제2 감각 파라미터에 포함된 네트워크 미디어 이벤트의 유형이 재생 이벤트인 경우, 재생 이벤트에 대응하는 즐거움 경험 점수 계산 모델을 사용하여 VR 멀티미디어의 즐거움 경험 점수를 계산하기 위해, 현재 시간에 대응하는 제2 감각 파라미터에 포함된 제1 듀레이션, 현재 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS를 입력 파라미터로서 사용하고,

현재 시간에 대응하는 제2 감각 파라미터에 포함된 네트워크 미디어 이벤트의 유형이 프리즈 이벤트인 경우, 프리즈 이벤트에 대응하는 즐거움 경험 점수 계산 모델을 사용하여 VR 멀티미디어의 즐거움 경험 점수를 계산하기 위해, 현재 시간에 대응하는 제2 감각 파라미터에 포함된 제1 듀레이션, 현재 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS를 입력 파라미터로서 사용하거나, 또는

현재 시간에 대응하는 제2 감각 파라미터에 포함된 네트워크 미디어 이벤트의 유형이 미디어 품질 변경 이벤트인 경우, 현재 결정된 충실도 경험 점수와 현재 시간 전에 최근에 결정된 충실도 경험 점수 사이의 차이를 VR 멀티미디어의 즐거움 경험 점수로서 결정하도록 구성된다.

선택적으로, 제3 감각 파라미터는 상호작용 미디어 이벤트의 유형 및 제2 듀레이션을 포함하고, 제2 듀레이션은 상호작용 미디어 이벤트의 듀레이션이며,

결정 서브유닛은 구체적으로,

복수의 저장된 상호작용 경험 점수 계산 모델로부터, 현재 시간에 대응하는 제3 감각 파라미터에 포함된 상호작용 미디어 이벤트의 유형에 대응하는 상호작용 경험 점수 계산 모델을 선택하고,

선택된 상호작용 경험 점수 계산 모델을 사용하여 VR 멀티미디어의 상호작용 경험 점수를 계산하기 위해, 현재 시간에 대응하는 제3 감각 파라미터에 포함된 상호작용 미디어 이벤트의 유형 및 제2 듀레이션을 입력 파라미터로서 사용하도록 구성된다.

선택적으로, 제1 결정 유닛(10021)은,

현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 현재 시간에 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 발생하면, 현재 시간에 대응하는 제1 감각 파라미터에 기초하여 VR 멀티미디어의 충실도 경험 점수를 결정하도록 구성된 결정 서브유닛

을 포함하고,

결정 서브유닛은, 현재 시간에 발생하는 이벤트가 네트워크 미디어 이벤트인 경우, 현재 시간에 대응하는 제2 감각 파라미터, 현재 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS에 기초하여 VR 멀티미디어의 즐거움 경험 점수를 결정하고, VR 멀티미디어의 상호작용 경험 점수를 초기값으로 설정하도록 추가로 구성되거나, 또는

결정 서브유닛은, 현재 시간에서 발생하는 이벤트가 상호작용 미디어 이벤트인 경우, 현재 시간에 대응하는 제3 감각 파라미터에 기초하여 VR 멀티미디어의 상호작용 경험 점수를 결정하고, VR 멀티미디어의 즐거움 경험 점수를 초기값으로 설정하도록 구성된다.

선택적으로, 제1 결정 유닛(10021)은,

현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 현재 시간에 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 발생하면, 현재 시간에 대응하는 제1 감각 파라미터에 기초하여 VR 멀티미디어의 충실도 경험 점수를 결정하고, 현재 시간에 대응하는 제2 감각 파라미터, 현재 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS에 기초하여 VR 멀티미디어의 즐거움 경험 점수를 결정하며, 현재 시간에 대응하는 제3 감각 파라미터에 기초하여 VR 멀티미디어의 상호작용 경험 점수를 결정하도록 구성된 결정 서브유닛

을 포함한다.

선택적으로, 제1 결정 유닛(10021)은,

현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 현재 시간에 네트워크 미디어 이벤트가 발생하지만 상호작용 미디어 이벤트가 동시에 발생하지 않으며, 현재 시간에 네트워크 미디어 이벤트가 종료되거나 또는 단위 시간 구간이 종료된 것으로 검출되는 경우, 현재 시간에 대응하는 제2 감각 파라미터, 현재 시간 전에 최근에 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS에 기초하여 VR 멀티미디어의 즐거움 경험 점수를 결정하고, VR 멀티미디어의 상호작용 경험 점수를 초기값으로 설정하도록 구성된 결정 서브유닛

을 포함하고,

결정 서브유닛은, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 현재 시간에 상호작용 미디어 이벤트가 발생하지만 네트워크 미디어 이벤트가 동시에 발생하지 않으며, 현재 시간에 상호작용 미디어 이벤트가 종료되거나 또는 단위 시간 구간이 종료된 것으로 검출되는 경우, 현재 시간에 대응하는 제3 감각 파라미터에 기초하여 VR 멀티미디어의 상호작용 경험 점수를 결정하고, VR 멀티미디어의 즐거움 경험 점수를 초기값으로 설정하도록 추가로 구성되거나, 또는

결정 서브유닛은, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 발생하며, 현재 시간에 단위 시간 구간이 종료되는 경우, 또는 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 현재 시간에 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 발생하며, 현재 시간에 네트워크 미디어 이벤트 및/또는 상호작용 미디어 이벤트가 종료된 것으로 검출되고 단위 시간 구간이 종료되지 않은 것으로 검출되는 경우, 현재 시간에 대응하는 제2 감각 파라미터, 현재의 단위 시간 구간에서 현재 시간 이전에 최근에 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS에 기초하여 VR 멀티미디어의 즐거움 경험 점수를 결정하고, 현재 시간에 대응하는 제3 감각 파라미터에 기초하여 VR 멀티미디어의 상호작용 경험 점수를 결정하도록 추가로 구성되며,

이에 상응하여, 제1 계산 유닛(10022)은 구체적으로,

미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 VR 멀티미디어의 MOS를 계산하기 위해, 현재의 단위 시간 구간에서 현재 시간 이전에 최근에 결정된 충실도 경험 점수, 및 현재 시간에 결정된 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용하도록 구성된다.

선택적으로, 제1 감각 파라미터는 시각적 차원에서의 비디오 속성 정보 및 비디오 파라미터와, 음향적 차원에서의 오디오 속성 정보 및 오디오 파라미터를 포함하고,

결정 서브유닛은 구체적으로,

복수의 저장된 시각적 충실도 경험 점수 계산 모델로부터, 현재 시간에 대응하는 제1 감각 파라미터에 포함된 비디오 속성 정보에 대응하는 시각적 충실도 경험 점수 계산 모델을 선택하고,

선택된 시각적 충실도 경험 점수 계산 모델을 사용하여 현재 시간에서의 시각적 충실도 경험 점수를 계산하기 위해, 현재 시간에 대응하는 제1 감각 파라미터에 포함된 비디오 파라미터를 입력 파라미터로서 사용하며,

복수의 저장된 음향적 충실도 경험 점수 계산 모델로부터, 현재 시간에 대응하는 제1 감각 파라미터에 포함된 오디오 속성 정보에 대응하는 음향적 충실도 경험 점수 계산 모델을 선택하고,

선택된 음향적 충실도 경험 점수 계산 모델을 사용하여 현재 시간에서의 음향적 충실도 경험 점수를 계산하기 위해, 현재 시간의 제1 감각 파라미터에 포함된 오디오 파라미터를 입력 파라미터로서 사용하며,

현재 시간에서의 시각적 충실도 경험 점수 및 음향적 충실도 경험 점수에 기초하여 VR 멀티미디어의 충실도 경험 점수를 결정하도록 구성된다.

선택적으로, 제2 감각 파라미터는 네트워크 미디어 이벤트의 유형 및 제3 듀레이션을 포함하고, 제3 듀레이션은 단위 시간 구간에서의 네트워크 미디어 이벤트의 듀레이션이며,

결정 서브유닛은 구체적으로,

현재 시간에 대응하는 제2 감각 파라미터에 포함된 네트워크 미디어 이벤트의 유형이 재생 이벤트인 경우, 재생 이벤트에 대응하는 즐거움 경험 점수 계산 모델을 사용하여 VR 멀티미디어의 즐거움 경험 점수를 계산하기 위해, 현재 시간에 대응하는 제2 감각 파라미터에 포함된 제3 듀레이션, 현재 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS를 입력 파라미터로서 사용하고,

현재 시간에 대응하는 제2 감각 파라미터에 포함된 네트워크 미디어 이벤트의 유형이 프리즈 이벤트인 경우, 프리즈 이벤트에 대응하는 즐거움 경험 점수 계산 모델을 사용하여 VR 멀티미디어의 즐거움 경험 점수를 계산하기 위해, 현재 시간에 대응하는 제2 감각 파라미터에 포함된 제3 듀레이션, 현재 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS를 입력 파라미터로서 사용하거나, 또는

현재 시간에 대응하는 제2 감각 파라미터에 포함된 네트워크 미디어 이벤트의 유형이 미디어 품질 변경 이벤트인 경우, 현재 결정된 충실도 경험 점수와 현재의 단위 시간 구간에서 현재 시간 이전에 최근에 결정된 충실도 경험 점수 사이의 차이를 VR 멀티미디어의 즐거움 경험 점수로서 결정하도록 구성된다.

선택적으로, 제3 감각 파라미터는 상호작용 미디어 이벤트의 유형 및 제4 듀레이션을 포함하고, 제4 듀레이션은 단위 시간 구간에서의 상호작용 미디어 이벤트의 듀레이션이며,

결정 서브유닛은 구체적으로,

선택된 상호작용 경험 점수 계산 모델을 사용하여 VR 멀티미디어의 상호작용 경험 점수를 계산하기 위해, 현재 시간에 대응하는 제3 감각 파라미터에 포함된 상호작용 미디어 이벤트의 유형 및 제4 듀레이션을 입력 파라미터로서 사용하도록 구성된다.

선택적으로, 도 10c를 참조하면, 결정 모듈(1002)은,

적어도 2개의 지각적 차원 각각에 대해, VR 멀티미디어의 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 지각적 차원에서 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하도록 구성된 제2 결정 유닛(10023);

지각적 차원에서 미리 설정된 VR 멀티미디어 경험 점수 계산 모델을 사용하여 지각적 차원에서 VR 멀티미디어의 경험 점수를 계산하기 위해, 지각적 차원에서 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용하도록 구성된 제2 계산 유닛(10024); 및

미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 VR 멀티미디어의 경험 점수를 계산하기 위해, 적어도 2개의 지각적 차원에서의 VR 멀티미디어의 경험 점수를 입력 파라미터로서 사용하도록 구성된 제3 계산 유닛(10025)

을 포함한다.

선택적으로, 제2 결정 유닛(10023)은,

현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 현재 시간에 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 발생하면, 현재 시간에 대응하는 제1 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 지각적 차원에서 VR 멀티미디어의 충실도 경험 점수를 결정하도록 구성된 결정 서브유닛

을 포함하고,

결정 서브유닛은, 현재 시간에 발생하는 이벤트가 네트워크 미디어 이벤트인 경우, 현재 시간에 대응하는 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 지각적 차원에서 현재 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS에 기초하여 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 결정하고, 지각적 차원에서 VR 멀티미디어의 상호작용 경험 점수를 초기값으로 설정하도록 추가로 구성되거나, 또는

결정 서브유닛은, 현재 시간에 발생하는 이벤트가 상호작용 미디어 이벤트인 경우, 현재 시간에 대응하는 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 지각적 차원에서 VR 멀티미디어의 상호작용 경험 점수를 결정하고, 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 초기값으로 설정하도록 추가로 구성된다.

선택적으로, 제2 결정 유닛(10023)은,

현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 현재 시간에 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 발생하면, 현재 시간에 대응하는 제1 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 지각적 차원에서 VR 멀티미디어의 충실도 경험 점수를 결정하고, 현재 시간에 대응하는 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 현재 결정된 지각적 차원에서의 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS에 기초하여 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 결정하며, 현재 시간에 대응하는 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 VR 멀티미디어의 상호작용 경험 점수를 결정하도록 구성된 결정 서브유닛을 포함한다.

선택적으로, 제2 결정 유닛(10023)은,

현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 현재 시간에 네트워크 미디어 이벤트가 발생하지만 상호작용 미디어 이벤트가 동시에 발생하지 않으며, 현재 시간에 네트워크 미디어 이벤트가 종료되는 것으로 검출되는 경우, 현재 시간에 대응하는 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 현재 시간 이전에 최근에 결정된 지각적 차원에서의 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS에 기초하여 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 결정하고, 지각적 차원에서 VR 멀티미디어의 상호작용 경험 점수를 초기값으로 설정하도록 구성된 결정 서브유닛을 포함하고,

결정 서브유닛은, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 현재 시간에 상호작용 미디어 이벤트가 발생하지만 네트워크 미디어 이벤트가 동시에 발생하지 않으며, 현재 시간에 상호작용 미디어 이벤트가 종료되는 것으로 검출되는 경우, 현재 시간에 대응하는 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 지각적 차원에서 VR 멀티미디어의 상호작용 경험 점수를 결정하고, 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 초기값으로 설정하도록 추가로 구성되거나, 또는

결정 서브유닛은, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 발생하며, 현재 시간에 네트워크 미디어 이벤트 및/또는 상호작용 미디어 이벤트가 종료되는 것으로 검출되는 경우, 현재 시간에 대응하는 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 현재 시간 이전에 최근에 결정된 지각적 차원에서의 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 VR 멀티미디어의 MOS에 기초하여 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 결정하고, 현재 시간에 대응하는 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 지각적 차원에서 VR 멀티미디어의 상호작용 경험 점수를 결정하도록 추가로 구성되며,

이에 상응하여, 제2 계산 유닛(10024)은 구체적으로,

지각적 차원에서 미리 설정된 VR 멀티미디어 경험 점수 계산 모델을 사용하여 지각적 차원에서 VR 멀티미디어의 경험 점수를 계산하기 위해, 현재 시간 이전에 최근에 결정된 지각적 차원에서의 충실도 경험 점수와, 현재 시간에 결정된 지각적 차원에서의 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용하도록 구성된다.

선택적으로, 제2 결정 유닛(10023)은,

을 포함하고,

결정 서브유닛은, 현재 시간에서 발생하는 이벤트가 네트워크 미디어 이벤트인 경우, 현재 시간에 대응하는 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 현재 결정된 지각적 차원에서의 충실도 경험 점수, 및 이전의 단위 구간의 종료시의 VR 멀티미디어의 MOS에 기초하여 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 결정하고, 지각적 차원에서 VR 멀티미디어의 상호작용 경험 점수를 초기값으로 설정하도록 추가로 구성되거나, 또는

결정 서브유닛은, 현재 시간에서 발생하는 이벤트가 상호작용 미디어 이벤트인 경우, 현재 시간에 대응하는 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 지각적 차원에서 VR 멀티미디어의 상호작용 경험 점수를 결정하고, 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 초기값으로 설정하도록 추가로 구성된다.

선택적으로, 제2 결정 유닛(10023)은,

현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하고, 현재 시간에 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 발생하면, 현재 시간에 대응하는 제1 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 지각적 차원에서 VR 멀티미디어의 충실도 경험 점수를 결정하고, 현재 시간에 대응하는 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 현재 결정된 지각적 차원에서의 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS에 기초하여 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 결정하며, 현재 시간에 대응하는 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 VR 멀티미디어의 상호작용 경험 점수를 결정하도록 구성된 결정 서브유닛을 포함한다.

선택적으로, 제2 결정 유닛(10023)은,

현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 현재 시간에 네트워크 미디어 이벤트가 발생하지만 상호작용 미디어 이벤트가 동시에 발생하지 않으며, 현재 시간에 네트워크 미디어 이벤트가 종료되거나 또는 단위 시간 구간이 종료되는 것으로 검출되는 경우, 현재 시간에 대응하는 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 현재 시간 전에 최근에 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS에 기초하여 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 결정하고, 지각적 차원에서 VR 멀티미디어의 상호작용 경험 점수를 초기값으로 설정하도록 구성된 결정 서브유닛

을 포함하고,

결정 서브유닛은, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 현재 시간에 상호작용 미디어 이벤트가 발생하지만 네트워크 미디어 이벤트가 동시에 발생하지 않으며, 현재 시간에 상호작용 미디어 이벤트가 종료되거나 또는 단위 시간 구간이 종료되는 것으로 검출되는 경우, 현재 시간에 대응하는 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 지각적 차원에서 VR 멀티미디어의 상호작용 경험 점수를 결정하고, 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 초기값으로 설정하도록 추가로 구성되거나, 또는

결정 서브유닛은, 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 발생하며, 현재 시간에 단위 시간 구간이 종료되는 것으로 검출되는 경우, 또는 현재 시간이 VR 멀티미디어의 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 현재 시간에 발생하며, 현재 시간에 네트워크 미디어 이벤트 및/또는 상호작용 미디어 이벤트가 종료되는 것으로 검출되고, 단위 시간 구간이 종료되지 않는 것으로 검출되는 경우, 현재 시간에 대응하는 제2 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 현재의 단위 시간 구간에서 현재 시간 이전에 최근에 결정된 지각적 차원에서의 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 VR 멀티미디어의 MOS에 기초하여 지각적 차원에서 VR 멀티미디어의 즐거움 경험 점수를 결정하고, 현재 시간에 대응하는 제3 감각 파라미터에서의 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 지각적 차원에서 VR 멀티미디어의 상호작용 경험 점수를 결정하도록 추가로 구성되며,

이에 상응하여, 제2 계산 유닛(10024)은 구체적으로,

지각적 차원에서 미리 설정된 VR 멀티미디어 경험 점수 계산 모델을 사용하여 지각적 차원에서 VR 멀티미디어의 경험 점수를 계산하기 위해, 현재의 단위 시간 구간에서 현재 시간 이전에 최근에 결정된 지각적 차원에서의 충실도 경험 점수와, 현재 시간에 결정된 지각적 차원에서의 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용하도록 구성된다.

선택적으로, 제1 감각 파라미터에서 시각적 차원에서의 비디오 속성 정보는 프로젝션 포맷, 스테레오 정도 및 자유도 중 적어도 하나를 포함하고, 제1 감각 파라미터에서 시각적 차원에서의 비디오 파라미터는 전화면 해상도 및 시계 중 적어도 하나를 포함하며, 제1 감각 파라미터에서 음향적 차원에서의 오디오 속성 정보는 오디오 스테레오 정도를 포함한다.

선택적으로, 제2 감각 파라미터는 네트워크 미디어 이벤트의 유형 및 대응하는 듀레이션을 포함하고, 대응하는 듀레이션은 네트워크 미디어 이벤트의 듀레이션이다.

선택적으로, 제2 감각 파라미터에 포함된 네트워크 미디어 이벤트의 유형은 재생 이벤트, 프리즈 이벤트 또는 미디어 품질 변경 이벤트를 포함한다.

선택적으로, 제3 감각 파라미터는 상호작용 미디어 이벤트의 유형 및 대응하는 듀레이션을 포함하고, 대응하는 듀레이션은 상호작용 미디어 이벤트의 듀레이션이다.

선택적으로, 제3 감각 파라미터에 포함된 상호작용 미디어 이벤트의 유형은 초기 로딩 이벤트, 상호작용 로딩 이벤트, 또는 미디어 히스테리시스 이벤트를 포함하고, 초기 로딩 이벤트는 VR 멀티미디어가 처음 재생되는 경우의 로딩 이벤트이며, 상호작용 로딩 이벤트는 VR 멀티미디어와 사용자 사이의 상호작용으로 인해 발생하는 로딩 이벤트이고, 미디어 히스테리시스 이벤트는 사용자 동작으로 인한 미디어 업데이트와 동작 사이에서 발생하는 히스테리시스 이벤트이다.

선택적으로, 적어도 두 가지 지각적 차원은 피드백 차원을 더 포함하고, 피드백 차원은 적어도 두 가지 지각적 차원에서 시각적 차원과 시각적 차원 이외의 다른 차원 사이의 동기화 및 연관관계이며, 여기서

제1 감각 파라미터 내의 피드백 차원에 따라 샘플링을 수행함으로써 획득되는 파라미터는 시간 동기화 정도, 방위 동기화 정도 및 포스(force) 피드백 지시자 중 적어도 하나를 포함하고, 시간 동기화 정도는 시각적 차원과 음향적 차원 사이의 시간 동기화 정도이며, 방위 동기화 정도는 시각적 차원과 음향적 차원 사이의 방위 동기화 정도이고, 포스 피드백 지시자는 시각적 차원과 일치하는 포스 피드백이 있는지 여부를 지시하는 데 사용되며,

제2 감각 파라미터 내의 피드백 차원에 따라 샘플링을 수행함으로써 획득되는 파라미터는 제1 동기화 정도 변경 지시자, 제2 동기화 정도 변경 지시자 및 제3 동기화 정도 변경 지시자 중 적어도 하나를 포함하고, 제1 동기화 정도 변경 지시자는 시간 동기화 정도가 변하는지 여부를 지시하는 데 사용되고, 제2 동기화 정도 변경 지시자는 방위 동기화 정도가 변하는지 여부를 지시하는 데 사용되며, 제3 동기화 정도 변경 지시기는 시각적 차원과 포스 피드백 사이의 시간 동기화 정도가 변하는지 여부를 지시하는 데 사용되고,

제3 감각 파라미터 내의 피드백 차원에 따라 샘플링을 수행함으로써 획득되는 파라미터는 히스테리시스 지시자를 포함하고, 히스테리시스 지시자는 포스 피드백과 동작 사이에 히스테리시스 이벤트가 발생하는지 여부를 지시하는 데 사용된다.

선택적으로, 장치는,

미리 설정된 테스트 듀레이션 내에서 계산을 통해 획득된 VR 멀티미디어의 모든 MOS의 평균값을 결정하도록 구성된 제3 결정 유닛을 더 포함하며, 여기서 미리 설정된 테스트 듀레이션은 VR 멀티미디어의 경험 품질을 결정하는 듀레이션이다.

선택적으로, 장치는,

미리 설정된 테스트 듀레이션 내에서 계산을 통해 획득된 VR 멀티미디어의 모든 MOS의 평균 제곱 오차를 결정하도록 구성된 제4 결정 유닛을 더 포함하며, 여기서 평균 제곱 오차는 VR 멀티미디어의 모든 MOS의 안정성을 지시하는 데 사용된다.

결론적으로, 본 발명의 본 실시예에서 단말에 의해 VR 멀티미디어의 경험 품질을 결정하는 과정에에 상호작용 경험 품질 평가가 추가되지만, 사용자와의 상호작용은 VR 멀티미디어를 종래의 미디어와 구별하는 주요 특징임에 틀림없다. 따라서, 본 발명의 본 실시예에서 VR 멀티미디어의 경험 품질을 결정하는 것은 VR 멀티미디어의 실제 상황에 더 잘 부합하고, VR 멀티미디어의 결정된 경험 품질은 또한 더 정확하다. 또한, 본 발명의 본 실시예에서, 충실도 경험 점수가 결정되는 경우, 시계, 프로젝션 포맷, 스테레오 정도, 자유도 및 충실도 경험에 대한 공간적 음향과 같은 VR 멀티미디어의 고유 파라미터의 영향이 고려된다. 따라서, 이에 기초하여 결정된 충실도 경험 점수도 더 정확하다. 또한, 본 발명의 본 실시예에서, 즐거움 경험 점수의 결정은 현재 이벤트 또는 단위 이벤트 구간에서의 파라미터와 관련될 뿐만 아니라 VR 멀티미디어의 이전 MOS와도 관련된다는 것을 주목해야 한다. 이는 VR 멀티미디어의 이전 재생의 영향을 고려하는 것과 같다. 따라서, 결정된 즐거움 경험 점수가 보다 포괄적이고 보다 정확하다.

전술한 실시예에 따른 VR 멀티미디어의 경험 품질을 결정하기 위한 장치가 VR 멀티미디어의 경험 품질을 결정하는 경우, 전술한 기능 모듈의 분할은 단지 예로서 기술됨에 유의해야 한다. 실제 응용에서, 전술한 기능은 요구사항에 따라 완성을 위해 상이한 기능 모듈에 할당될 수 있다. 즉, 장치의 내부 구조는 전술한 기능의 전부 또는 일부를 구현하기 위해 상이한 기능 모듈로 분할된다. 또한, 전술한 실시예에 따른 VR 멀티미디어의 경험 품질 결정하기 위한 장치 및 VR 멀티미디어의 경험 품질을 결정하기 위한 방법의 실시예는 동일한 아이디어에 속한다. 구체적인 구현 과정에 대해서는 방법 실시예를 참조한다. 세부 사항은 본 명세서에서 다시 설명되지 않는다.

전술한 실시예의 전부 또는 일부는 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합에 의해 구현될 수 있다. 실시예를 구현하는 데 소프트웨어가 사용되는 경우, 실시예는 컴퓨터 프로그램 제품의 형태로 완전히 또는 부분적으로 구현될 수 있다. 컴퓨터 프로그램 제품은 하나 이상의 컴퓨터 명령을 포함한다. 컴퓨터 명령이 컴퓨터에 로딩되어 실행될 때, 본 발명의 실시예에 따른 절차 또는 기능이 모두 또는 부분적으로 생성된다. 컴퓨터는 범용 컴퓨터, 전용 컴퓨터, 컴퓨터 네트워크 또는 임의의 다른 프로그램 가능한 장치일 수 있다. 컴퓨터 명령은 컴퓨터 판독 가능 저장 매체에 저장될 수 있거나 또는 컴퓨터 판독 가능 저장 매체로부터 다른 컴퓨터 판독 가능 저장 매체로 전송될 수 있다. 예를 들어, 컴퓨터 명령은 웹사이트, 컴퓨터, 서버 또는 데이터 센터에서 유선(예를 들어, 동축 케이블, 광섬유 또는 디지털 가입자선(Digital Subscriber Line, DSL)) 또는 무선 (예를 들어, 적외선, 라디오, 또는 마이크로웨이브) 방식으로 다른 웹사이트, 컴퓨터, 서버 또는 데이터 센터로 전송될 수 있다. 컴퓨터 판독 가능 저장 매체는 컴퓨터에 의해 액세스 가능한 임의의 사용 가능한 매체, 또는 하나 이상의 사용 가능한 매체를 통합하는 서버 또는 데이터 센터와 같은 데이터 저장 장치일 수 있다. 사용 가능한 매체는 자기 매체(예를 들어, 플로피 디스크, 하드 디스크 또는 자기 테이프), 광학 매체(예를 들어, DVD(Digital Versatile Disc)), 반도체 매체(예를 들어, SSD(Solid State Disk)) 등일 수 있다.

당업자는 실시예의 모든 단계 또는 일부 단계가 하드웨어 또는 관련 하드웨어를 지시하는 프로그램에 의해 구현될 수 있음을 이해할 수 있다. 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 저장 매체는 판독 전용 메모리, 자기 디스크, 광 디스크 등을 포함할 수 있다.

전술한 설명은 본 출원의 실시예일 뿐이며, 본 출원을 제한하고자 하는 것은 아니다. 본 출원의 정신과 원칙을 벗어나지 않고 수행된 모든 수정, 동등한 대체 또는 개선은 본 출원의 보호 범위에 속해야 한다.

Claims

장치에 의해 수행되는, 가상 현실(virtual reality, VR) 멀티미디어의 경험 품질을 결정하기 위한 방법으로서,
VR 멀티미디어를 재생하는 과정에서, 상기 VR 멀티미디어의 제1 감각 파라미터, 제2 감각 파라미터 및 제3 감각 파라미터를 획득하는 단계 ― 상기 제1 감각 파라미터와 상기 제2 감각 파라미터는 하나 이상의 지각적 차원(perceptual dimension)에 따라 상기 장치가 샘플링을 수행함에 따라 획득되고, 여기서 상기 지각적 차원은 시각적 차원을 포함하며, 상기 제3 감각 파라미터는 적어도 2개의 동일한 지각적 차원에 따라 개별적으로 샘플링을 수행함으로써 획득되고, 상기 적어도 2개의 지각적 차원은 시각적 차원 및 피드백 차원를 포함하며, 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터는 각각 충실도 경험(fidelty experience), 즐거움 경험(enjoyment experience) 및 상호작용 경험(interaction experience)에 영향을 미치는 파라미터임 ―; 및
상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 평균 의견 점수(mean opinion score, MOS)를 결정하는 단계
를 포함하는 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제1항에 있어서,
상기 제1 감각 파라미터는 적어도 상기 2개의 지각적 차원에 따라 상기 장치가 샘플링을 수행함으로써 획득되는 것인, 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제1항에 있어서,
상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 평균 의견 점수(mean opinion score, MOS)를 결정하는 단계는,
상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 단계; 및
미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 상기 VR 멀티미디어의 MOS를 계산하기 위해, 상기 결정된 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용하는 단계
를 포함하는, 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제3항에 있어서,
상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 단계는,
현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 상기 현재 시간에 발생하는 경우, 상기 현재 시간에 대응하는 상기 제1 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 충실도 경험 점수를 결정하는 단계 ― 상기 네트워크 미디어 이벤트는 네트워크 상태의 변화로 인해 발생하는 이벤트이고, 상기 상호작용 미디어 이벤트는 사용자와의 상호작용으로 인해 발생하는 이벤트임 ―; 및
상기 현재 시간에 발생하는 이벤트가 상기 네트워크 미디어 이벤트인 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터, 현재 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 초기값으로 설정하거나, 또는
상기 현재 시간에 발생하는 이벤트가 상기 상호작용 미디어 이벤트인 경우, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하고, 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 초기값으로 설정하는 단계
를 포함하는, 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제3항에 있어서,
상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 단계는,
현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 상기 현재 시간에 발생하는 경우, 상기 현재 시간에 대응하는 상기 제1 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 충실도 경험 점수를 결정하고, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터, 현재 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하며, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하는 단계
를 포함하는, 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제3항에 있어서,
상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 단계는,
현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트가 상기 현재 시간에 발생하지만 상호작용 미디어 이벤트가 동시에 발생하지 않으며, 상기 현재 시간에 상기 네트워크 미디어 이벤트가 종료된 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터, 상기 현재 시간 전에 최근에 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 초기값으로 설정하거나, 또는
상기 현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 상호작용 미디어 이벤트가 상기 현재 시간에 발생하지만 네트워크 미디어 이벤트가 동시에 발생하지 않으며, 상기 현재 시간에 상기 상호작용 미디어 이벤트가 종료된 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하고, 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 초기값으로 설정하거나, 또는
상기 현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 상기 현재 시간에 발생하며, 상기 현재 시간에 상기 네트워크 미디어 이벤트 및/또는 상기 상호작용 미디어 이벤트가 종료된 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터, 상기 현재 시간 전에 최근에 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하는 단계
를 포함하고,
이에 상응하여, 상기 미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 상기 VR 멀티미디어의 MOS를 계산하기 위해, 상기 결정된 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용하는 단계는,
상기 미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 상기 VR 멀티미디어의 MOS를 계산하기 위해, 상기 현재 시간 전에 최근에 결정된 상기 충실도 경험 점수, 및 상기 현재 시간에 결정된 상기 즐거움 경험 점수 및 상기 상호작용 경험 점수를 상기 입력 파라미터로서 사용하는 단계
를 포함하는, 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제4항에 있어서,
상기 제2 감각 파라미터는 네트워크 미디어 이벤트의 유형 및 제1 듀레이션(duration)을 포함하고, 상기 제1 듀레이션은 상기 네트워크 미디어 이벤트의 듀레이션이며,
상기 현재 시간에 대응하는 상기 제2 감각 파라미터, 현재 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하는 것은,
상기 현재 시간에 대응하는 상기 제2 감각 파라미터에 포함된 상기 네트워크 미디어 이벤트의 유형이 재생 이벤트인 경우, 상기 재생 이벤트에 대응하는 즐거움 경험 점수 계산 모델을 사용하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 계산하기 위해, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에 포함된 상기 제1 듀레이션, 상기 현재 결정된 충실도 경험 점수, 및 상기 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS를 입력 파라미터로서 사용하거나, 또는
상기 현재 시간에 대응하는 상기 제2 감각 파라미터에 포함된 상기 네트워크 미디어 이벤트의 유형이 프리즈 이벤트(freeze event)인 경우, 상기 프리즈 이벤트에 대응하는 즐거움 경험 점수 계산 모델을 사용하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 계산하기 위해, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에 포함된 상기 제1 듀레이션, 상기 현재 결정된 충실도 경험 점수, 및 상기 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS를 입력 파라미터로서 사용하거나, 또는
상기 현재 시간에 대응하는 상기 제2 감각 파라미터에 포함된 상기 네트워크 미디어 이벤트의 유형이 미디어 품질 변경 이벤트인 경우, 상기 현재 결정된 충실도 경험 점수와 상기 현재 시간 전에 최근에 결정된 충실도 경험 점수 사이의 차이를 상기 VR 멀티미디어의 상기 즐거움 경험 점수로서 결정하는 단계
를 포함하는, 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제5항에 있어서,
상기 제3 감각 파라미터는 상호작용 미디어 이벤트의 유형 및 제2 듀레이션을 포함하고, 상기 제2 듀레이션은 상기 상호작용 미디어 이벤트의 듀레이션이며,
상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하는 것은,
복수의 저장된 상호작용 경험 점수 계산 모델로부터, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 포함된 상기 상호작용 미디어 이벤트의 유형에 대응하는 상호작용 경험 점수 계산 모델을 선택하는 단계; 및
상기 선택된 상호작용 경험 점수 계산 모델을 사용하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 계산하기 위해, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 포함된 상기 상호작용 미디어 이벤트의 유형 및 상기 제2 듀레이션을 입력 파라미터로서 사용하는 단계
를 포함하는, 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제3항에 있어서,
상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 단계는,
현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 상기 현재 시간에 발생하는 경우, 상기 현재 시간에 대응하는 상기 제1 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 충실도 경험 점수를 결정하는 단계; 및
상기 현재 시간에 발생하는 이벤트가 상기 네트워크 미디어 이벤트인 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터, 상기 현재 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 초기값으로 설정하거나, 또는
상기 현재 시간에 발생하는 이벤트가 상기 상호작용 미디어 이벤트인 경우, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하고, 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 초기값으로 설정하는 단계
를 포함하는, 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제3항에 있어서,
상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 단계는,
현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 상기 현재 시간에 발생하는 경우, 상기 현재 시간에 대응하는 상기 제1 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 충실도 경험 점수를 결정하고, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터, 상기 현재 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하며, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하는 단계
를 포함하는, 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제3항에 있어서,
상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 단계는,
현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트가 상기 현재 시간에 발생하지만 상호작용 미디어 이벤트가 동시에 발생하지 않으며, 상기 현재 시간에 상기 네트워크 미디어 이벤트가 종료되었거나 또는 단위 시간 구간이 종료된 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터, 상기 현재 시간 전에 최근에 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 초기값으로 설정하거나, 또는
상기 현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 상호작용 미디어 이벤트가 상기 현재 시간에 발생하지만 네트워크 미디어 이벤트가 동시에 발생하지 않으며, 상기 현재 시간에 상기 상호작용 미디어 이벤트가 종료되었거나 또는 상기 단위 시간 구간이 종료된 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하고, 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 초기값으로 설정하거나, 또는
상기 현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 상기 현재 시간에 발생하며, 상기 현재 시간에 상기 단위 시간 구간이 종료된 것으로 검출되는 경우, 또는 상기 현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 상기 현재 시간에 발생하며, 상기 현재 시간에 상기 네트워크 미디어 이벤트 및/또는 상기 상호작용 미디어 이벤트가 종료된 것으로 검출되고 상기 단위 시간 구간은 종료되지 않은 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터, 상기 현재의 단위 시간 구간에서 상기 현재 시간 전에 최근에 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하는 단계
를 포함하고,
이에 상응하여, 상기 미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 상기 VR 멀티미디어의 MOS를 계산하기 위해, 상기 결정된 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 입력 파라미터로서 사용하는 단계는,
상기 미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 상기 VR 멀티미디어의 MOS를 계산하기 위해, 상기 현재의 단위 시간 구간에서 상기 현재 시간 전에 최근에 결정된 상기 충실도 경험 점수, 및 상기 현재 시간에 결정된 상기 즐거움 경험 점수 및 상기 상호작용 경험 점수를 상기 입력 파라미터로서 사용하는 단계
를 포함하는, 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제4항에 있어서,
상기 제1 감각 파라미터는 상기 시각적 차원에서의 비디오 속성 정보 및 비디오 파라미터와, 음향적 차원에서의 오디오 속성 정보 및 오디오 파라미터를 포함하고,
상기 현재 시간에 대응하는 상기 제1 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 충실도 경험 점수를 결정하는 것은,
복수의 저장된 시각적 충실도 경험 점수 계산 모델로부터, 상기 현재 시간에 대응하는 상기 제1 감각 파라미터에 포함된 상기 비디오 속성 정보에 대응하는 시각적 충실도 경험 점수 계산 모델을 선택하는 단계;
상기 선택된 시각적 충실도 경험 점수 계산 모델을 사용하여 상기 현재 시간에서의 시각적 충실도 경험 점수를 계산하기 위해, 상기 현재 시간에 대응하는 상기 제1 감각 파라미터에 포함된 상기 비디오 파라미터를 입력 파라미터로서 사용하는 단계;
복수의 저장된 음향적 충실도 경험 점수 계산 모델로부터, 상기 현재 시간에 대응하는 상기 제1 감각 파라미터에 포함된 상기 오디오 속성 정보에 대응하는 음향적 충실도 경험 점수 계산 모델을 선택하는 단계;
상기 선택된 음향적 충실도 경험 점수 계산 모델을 사용하여 상기 현재 시간에서의 음향적 충실도 경험 점수를 계산하기 위해, 상기 현재 시간의 상기 제1 감각 파라미터에 포함된 상기 오디오 파라미터를 입력 파라미터로서 사용하는 단계; 및
상기 현재 시간에서의 상기 시각적 충실도 경험 점수 및 상기 음향적 충실도 경험 점수에 기초하여 상기 VR 멀티미디어의 상기 충실도 경험 점수를 결정하는 단계
를 포함하는, 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제9항에 있어서,
상기 제2 감각 파라미터는 네트워크 미디어 이벤트의 유형 및 제3 듀레이션을 포함하고, 상기 제3 듀레이션은 단위 시간 구간에서의 상기 네트워크 미디어 이벤트의 듀레이션이며,
상기 현재 시간에 대응하는 상기 제2 감각 파라미터, 상기 현재 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하는 것은,
상기 현재 시간에 대응하는 상기 제2 감각 파라미터에 포함된 상기 네트워크 미디어 이벤트의 유형이 재생 이벤트인 경우, 상기 재생 이벤트에 대응하는 즐거움 경험 점수 계산 모델을 사용하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 계산하기 위해, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에 포함된 상기 제3 듀레이션, 상기 현재 결정된 충실도 경험 점수, 및 상기 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS를 입력 파라미터로서 사용하거나, 또는
상기 현재 시간에 대응하는 상기 제2 감각 파라미터에 포함된 상기 네트워크 미디어 이벤트의 유형이 프리즈 이벤트인 경우, 상기 프리즈 이벤트에 대응하는 즐거움 경험 점수 계산 모델을 사용하여 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 계산하기 위해, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에 포함된 상기 제3 듀레이션, 상기 현재 결정된 충실도 경험 점수, 및 상기 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS를 입력 파라미터로서 사용하거나, 또는
상기 현재 시간에 대응하는 상기 제2 감각 파라미터에 포함된 상기 네트워크 미디어 이벤트의 유형이 미디어 품질 변경 이벤트인 경우, 상기 현재 결정된 충실도 경험 점수와 상기 현재의 단위 시간 구간에서 상기 현재 시간 전에 최근에 결정된 충실도 경험 점수 사이의 차이를 상기 VR 멀티미디어의 상기 즐거움 경험 점수로서 결정하는 단계
를 포함하는, 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제10항에 있어서,
상기 제3 감각 파라미터는 상호작용 미디어 이벤트의 유형 및 제4 듀레이션을 포함하고, 상기 제4 듀레이션은 상기 단위 시간 구간에서의 상기 상호작용 미디어 이벤트의 듀레이션이며,
상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하는 것은,
복수의 저장된 상호작용 경험 점수 계산 모델로부터, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 포함된 상기 상호작용 미디어 이벤트의 유형에 대응하는 상호작용 경험 점수 계산 모델을 선택하는 단계; 및
상기 선택된 상호작용 경험 점수 계산 모델을 사용하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 계산하기 위해, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에 포함된 상기 상호작용 미디어 이벤트의 유형 및 상기 제4 듀레이션을 입력 파라미터로서 사용하는 단계
를 포함하는, 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제1항에 있어서,
상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에 기초하여 상기 VR 멀티미디어의 평균 의견 점수(mean opinion score, MOS)를 결정하는 단계는,
상기 적어도 2개의 지각적 차원 각각에 대해, 상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서 상기 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 단계;
상기 지각적 차원에서 미리 설정된 VR 멀티미디어 경험 점수 계산 모델을 사용하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 경험 점수를 계산하기 위해, 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 충실도 경험 점수, 상기 즐거움 경험 점수 및 상기 상호작용 경험 점수를 입력 파라미터로서 사용하는 단계; 및
미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 상기 VR 멀티미디어의 경험 점수를 계산하기 위해, 상기 적어도 2개의 지각적 차원에서의 상기 VR 멀티미디어의 경험 점수를 입력 파라미터로서 사용하는 단계
를 포함하는, 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제15항에 있어서,
상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서 상기 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 단계는,
현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 상기 현재 시간에 발생하는 경우, 상기 현재 시간에 대응하는 상기 제1 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 충실도 경험 점수를 결정하는 단계; 및
상기 현재 시간에 발생하는 이벤트가 상기 네트워크 미디어 이벤트인 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 상기 지각적 차원에서 현재 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 초기값으로 설정하거나, 또는
상기 현재 시간에 발생하는 이벤트가 상기 상호작용 미디어 이벤트인 경우, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하고, 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 초기값으로 설정하는 단계
를 포함하는, 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제15항에 있어서,
상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서 상기 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 단계는,
현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 상기 현재 시간에 발생하는 경우, 상기 현재 시간에 대응하는 상기 제1 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 충실도 경험 점수를 결정하고, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 상기 지각적 차원에서 상기 현재 결정된 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하며, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하는 단계
를 포함하는, 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제15항에 있어서,
상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서 상기 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 단계는,
현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트가 상기 현재 시간에 발생하지만 상호작용 미디어 이벤트가 동시에 발생하지 않으며, 상기 현재 시간에 상기 네트워크 미디어 이벤트가 종료된 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 상기 현재 시간 전에 최근에 결정된 상기 지각적 차원에서의 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 초기값으로 설정하거나, 또는
상기 현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 상호작용 미디어 이벤트가 상기 현재 시간에 발생하지만 네트워크 미디어 이벤트가 동시에 발생하지 않으며, 상기 현재 시간에 상기 상호작용 미디어 이벤트가 종료된 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하고, 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 초기값으로 설정하거나, 또는
상기 현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 상기 현재 시간에 발생하며, 상기 현재 시간에 상기 네트워크 미디어 이벤트 및/또는 상기 상호작용 미디어 이벤트가 종료된 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 상기 현재 시간 전에 최근에 결정된 상기 지각적 차원에서의 충실도 경험 점수, 및 이전의 네트워크 미디어 이벤트의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하는 단계
를 포함하고,
이에 상응하여, 상기 지각적 차원에서 미리 설정된 VR 멀티미디어 경험 점수 계산 모델을 사용하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 경험 점수를 계산하기 위해, 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 충실도 경험 점수, 상기 즐거움 경험 점수 및 상기 상호작용 경험 점수를 입력 파라미터로서 사용하는 단계는,
상기 지각적 차원에서 상기 미리 설정된 VR 멀티미디어 MOS 계산 모델을 사용하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 경험 점수를 계산하기 위해, 상기 현재 시간 전에 최근에 결정된 상기 지각적 차원에서의 상기 충실도 경험 점수, 및 상기 현재 시간에 결정된 상기 지각적 차원에서의 상기 즐거움 경험 점수 및 상기 상호작용 경험 점수를 상기 입력 파라미터로서 사용하는 단계
를 포함하는, 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제15항에 있어서,
상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서 상기 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 단계는,
현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 또는 상호작용 미디어 이벤트가 상기 현재 시간에 발생하는 경우, 상기 현재 시간에 대응하는 상기 제1 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 충실도 경험 점수를 결정하는 단계; 및
상기 현재 시간에 발생하는 이벤트가 상기 네트워크 미디어 이벤트인 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 상기 지각적 차원에서 상기 현재 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 초기값으로 설정하거나, 또는
상기 현재 시간에 발생하는 이벤트가 상기 상호작용 미디어 이벤트인 경우, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하고, 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 초기값으로 설정하는 단계
를 포함하는, 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제15항에 있어서,
상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서 상기 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 단계는,
현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 상기 현재 시간에 발생하는 경우, 상기 현재 시간에 대응하는 상기 제1 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 충실도 경험 점수를 결정하고, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 상기 지각적 차원에서 상기 현재 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하며, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하는 단계
를 포함하는, 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제15항에 있어서,
상기 VR 멀티미디어의 상기 제1 감각 파라미터, 상기 제2 감각 파라미터 및 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서 상기 VR 멀티미디어의 충실도 경험 점수, 즐거움 경험 점수 및 상호작용 경험 점수를 결정하는 단계는,
현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트가 상기 현재 시간에 발생하지만 상호작용 미디어 이벤트가 동시에 발생하지 않으며, 상기 현재 시간에 상기 네트워크 미디어 이벤트가 종료되었거나 단위 시간 구간이 종료된 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 상기 현재 시간 전에 최근에 결정된 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 초기값으로 설정하거나, 또는
상기 현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 상호작용 미디어 이벤트가 상기 현재 시간에 발생하지만 네트워크 미디어 이벤트가 동시에 발생하지 않으며, 상기 현재 시간에 상기 상호작용 미디어 이벤트가 종료되었거나 상기 단위 시간 구간이 종료된 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하고, 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 초기값으로 설정하거나, 또는
상기 현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 상기 현재 시간에 발생하며, 상기 현재 시간에 상기 단위 시간 구간이 종료된 것으로 검출되는 경우, 또는 상기 현재 시간이 상기 VR 멀티미디어의 상기 제1 감각 파라미터의 샘플링 시간에 도달하지 않고, 네트워크 미디어 이벤트 및 상호작용 미디어 이벤트가 상기 현재 시간에 발생하며, 상기 현재 시간에 상기 네트워크 미디어 이벤트 및/또는 상기 상호작용 미디어 이벤트가 종료된 것으로 검출되고, 상기 단위 시간 구간이 종료되지 않은 것으로 검출되는 경우, 상기 현재 시간에 대응하는 상기 제2 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터, 상기 현재의 단위 시간 구간에서 상기 현재 시간 전에 최근에 결정된 상기 지각적 차원에서의 충실도 경험 점수, 및 이전의 단위 시간 구간의 종료시의 상기 VR 멀티미디어의 MOS에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 즐거움 경험 점수를 결정하고, 상기 현재 시간에 대응하는 상기 제3 감각 파라미터에서의 상기 지각적 차원에 따라 샘플링을 수행함으로써 획득된 파라미터에 기초하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 상호작용 경험 점수를 결정하는 단계
를 포함하고,
이에 상응하여, 상기 지각적 차원에서 미리 설정된 VR 멀티미디어 경험 점수 계산 모델을 사용하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 경험 점수를 계산하기 위해, 상기 지각적 차원에서의 상기 VR 멀티미디어의 상기 충실도 경험 점수, 상기 즐거움 경험 점수 및 상기 상호작용 경험 점수를 입력 파라미터로서 사용하는 단계는,
상기 지각적 차원에서 상기 미리 설정된 VR 멀티미디어 경험 점수 계산 모델을 사용하여 상기 지각적 차원에서의 상기 VR 멀티미디어의 경험 점수를 계산하기 위해, 상기 현재의 단위 시간 구간에서 상기 현재 시간 전에 최근에 결정된 상기 지각적 차원에서의 상기 충실도 경험 점수, 및 상기 현재 시간에 결정된 상기 지각적 차원에서의 상기 즐거움 경험 점수 및 상기 상호작용 경험 점수를 상기 입력 파라미터로서 사용하는 단계
를 포함하는, 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제1항에 있어서,
상기 제1 감각 파라미터에서의 상기 시각적 차원의 비디오 속성 정보는 프로젝션 포맷, 스테레오 정도 및 자유도 중 적어도 하나를 포함하고, 상기 제1 감각 파라미터에서의 상기 시각적 차원의 비디오 파라미터는 전화면 해상도 및 시계(field of view) 중 적어도 하나를 포함하며, 상기 제1 감각 파라미터에서의 음향적 차원의 오디오 속성 정보는 오디오 스테레오 정도를 포함하는,
가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제1항에 있어서,
상기 제2 감각 파라미터는 네트워크 미디어 이벤트의 유형 및 대응하는 듀레이션을 포함하고, 상기 대응하는 듀레이션은 상기 네트워크 미디어 이벤트의 듀레이션인,
가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제23항에 있어서,
상기 제2 감각 파라미터에 포함된 상기 네트워크 미디어 이벤트의 유형은 재생 이벤트, 또는 프리즈 이벤트, 또는 미디어 품질 변경 이벤트를 포함하는,
가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제1항에 있어서,
상기 제3 감각 파라미터는 상호작용 미디어 이벤트의 유형 및 대응하는 듀레이션을 포함하고, 상기 대응하는 듀레이션은 상호작용 미디어 이벤트의 듀레이션인,
가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제8항에 있어서,
상기 제3 감각 파라미터에 포함된 상기 상호작용 미디어 이벤트의 유형은 초기 로딩 이벤트, 또는 상호작용 로딩 이벤트, 또는 미디어 히스테리시스 이벤트를 포함하고, 상기 초기 로딩 이벤트는 상기 VR 멀티미디어가 초기에 재생되는 경우의 로딩 이벤트이며, 상기 상호작용 로딩 이벤트는 상기 VR 멀티미디어와 사용자 사이의 상호작용으로 인해 발생하는 로딩 이벤트이고, 상기 미디어 히스테리시스 이벤트는 사용자 동작으로 인한 미디어 업데이트와 동작 사이에 발생하는 히스테리시스 이벤트인,
가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제1항에 있어서,
상기 적어도 2개의 지각적 차원은 피드백 차원를 더 포함하고, 상기 피드백 차원은 상기 시각적 차원과 상기 적어도 2개의 지각적 차원에서 상기 시각적 차원 이외의 다른 차원 사이의 동기화 및 연관관계이며,
상기 제1 감각 파라미터에서의 상기 피드백 차원에 따라 샘플링을 수행함으로써 획득된 파라미터는 시간 동기화 정도, 방위 동기화 정도 및 포스(force) 피드백 지시자 중 적어도 하나를 포함하고 ― 상기 시간 동기화 정도는 상기 시각적 차원과 음향적 차원 사이의 시간 동기화 정도이며, 상기 방위 동기화 정도는 상기 시각적 차원과 상기 음향적 차원 사이의 방위 동기화 정도이고, 상기 포스 피드백 지시자는 상기 시각적 차원과 일치하는 포스 피드백이 있는지 여부를 지시하는 데 사용됨 ―,
상기 제2 감각 파라미터에서의 상기 피드백 차원에 따라 샘플링을 수행함으로써 획득된 파라미터는 제1 동기화 정도 변경 지시자, 제2 동기화 정도 변경 지시자 및 제3 동기화 정도 변경 지시자 중 적어도 하나를 포함하며 ― 상기 제1 동기화 정도 변경 지시자는 상기 시간 동기화 정도가 변하는지 여부를 지시하는 데 사용되고, 상기 제2 동기화 정도 변경 지시자는 상기 방위 동기화 정도가 변하는지 여부를 지시하는 데 사용되며, 상기 제3 동기화 정도 변경 지시기는 상기 시각적 차원과 상기 포스 피드백 사이의 시간 동기화 정도가 변하는지 여부를 지시하는 데 사용됨 ―,
상기 제3 감각 파라미터에서의 상기 피드백 차원에 따라 샘플링을 수행함으로써 획득된 파라미터는 히스테리시스 지시자를 포함하고, 상기 히스테리시스 지시자는 상기 포스 피드백과 동작 사이에 히스테리시스 이벤트가 발생하는지 여부를 지시하는 데 사용되는,
가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제1항에 있어서,
상기 VR 멀티미디어의 평균 의견 점수(mean opinion score, MOS)를 결정하는 단계 후에, 상기 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법은,
미리 설정된 테스트 듀레이션 내에서 계산을 통해 획득된 상기 VR 멀티미디어의 모든 MOS의 평균값을 결정하는 단계 ― 상기 미리 설정된 테스트 듀레이션은 상기 VR 멀티미디어의 경험 품질을 결정하는 듀레이션임 ―
를 더 포함하는, 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
제28항에 있어서,
상기 VR 멀티미디어의 평균 의견 점수(mean opinion score, MOS)를 결정하는 단계 후에, 상기 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법은,
상기 미리 설정된 테스트 듀레이션 내에서 계산을 통해 획득된 상기 VR 멀티미디어의 모든 MOS의 평균 제곱 오차를 결정하는 단계 ― 상기 평균 제곱 오차는 상기 VR 멀티미디어의 MOS의 안정성을 지시하는 데 사용됨 ―
를 더 포함하는, 가상 현실 멀티미디어의 경험 품질을 결정하기 위한 방법.
가상 현실(virtual reality, VR) 멀티미디어의 경험 품질을 결정하기 위한 장치로서,
상기 장치는 제1항 내지 제29항 중 어느 한 항에 따른 방법을 수행하도록 구성되는,
장치.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제