KR20220003087A - Vr 영상 품질 평가 방법 및 장치 - Google Patents

Vr 영상 품질 평가 방법 및 장치 Download PDF

Info

Publication number
KR20220003087A
KR20220003087A KR1020217039548A KR20217039548A KR20220003087A KR 20220003087 A KR20220003087 A KR 20220003087A KR 1020217039548 A KR1020217039548 A KR 1020217039548A KR 20217039548 A KR20217039548 A KR 20217039548A KR 20220003087 A KR20220003087 A KR 20220003087A
Authority
KR
South Korea
Prior art keywords
image
user
rotation angle
head rotation
average
Prior art date
Application number
KR1020217039548A
Other languages
English (en)
Other versions
KR102600721B1 (ko
Inventor
지에 시옹
이홍 후앙
구앙 첸
지안 첸
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20220003087A publication Critical patent/KR20220003087A/ko
Application granted granted Critical
Publication of KR102600721B1 publication Critical patent/KR102600721B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은, VR 영상의 품질을 평가하는 방법으로서, VR 영상의 비트 레이트, 프레임 레이트, 해상도, 및 TI를 획득하는 단계와, VR 영상의 비트 레이트, 프레임 레이트, 해상도, 및 TI에 기초하여 VR 영상의 평균 오피니언 스코어(MOS)를 결정하는 단계를 포함하는 방법을 개시한다. VR 영상의 MOS는 VR 영상의 품질을 나타내는 데 사용된다. 본 발명은 또한 평가 장치를 개시한다. 본 발명의 실시예에서는 VR 영상의 평가 결과의 정확도가 향상될 수 있다.

Description

VR 영상 품질 평가 방법 및 장치
본 발명은 영상 처리 분야에 관한 것으로, 특히 VR 영상의 품질 평가 방법 및 장치에 관한 것이다.
가상현실(Virtual Reality, VR) 기술은, 복수의 분야(컴퓨터 그래픽스, 인간-머신 상호작용 기술, 센서 기술, 인간-머신 인터페이스 기술, 인공 지능 기술 등등을 포함함)를 결합하고, 현실과 완전히 분리된 세계를 생성 및 경험하고 그와 상호작용하도록 인간의 감각(예를 들어, 3차원 시각, 청각, 후각)을 기만하기 위해 적절한 장비가 사용되는 첨단 기술이다. 간단히 말해서, VR 기술은 컴퓨터를 사용하여 거짓 세계를 생성하고 몰입형 상호작용적 시청각 경험을 생성하는 기술이다. VR 서비스의 인기가 높아짐에 따라 VR 산업 생태계가 등장했다. 운영자, 산업 파트너, 일반 소비자 모두가 사용자 경험을 평가하기 위한 VR 서비스 품질 평가 방법을 필요로 한다. VR 서비스를 사용가능에서 사용자 친화적으로 면모시키고 VR 산업의 발전을 촉진하기 위해, 주로 VR 영상의 품질을 평가함으로써 사용자 경험이 평가된다.
종래 기술에서, 영상의 품질은 영상의 비트 레이트, 해상도 및 프레임 레이트를 사용하여 평가된다. 이것은 기존 영상의 품질을 평가하는 방법이다. 그러나, VR 영상은 기존 영상과 크게 다르다. VR 영상은 360도 파노라마 영상으로, VR 영상은 독특한 방식으로 인코딩된다. VR 영상의 품질을 기존 영상의 품질 평가 방법을 사용하여 평가하면 평가 결과의 정확도가 낮다.
본 발명의 실시예는 VR 영상의 품질을 평가하기 위한 방법 및 장치를 제공한다. 본 발명의 실시예에서는 VR 영상의 평가 결과의 정확도가 향상된다.
제1 측면에 따르면, 본 발명의 실시예는 VR 영상의 품질을 평가하는 방법으로서,
VR 영상의 비트 레이트, 프레임 레이트, 해상도, 및 시간적 지각 정보(temporal perceptual information, TI)를 획득하는 단계 ― VR 영상의 TI는 VR 영상의 영상 시퀀스의 시간 변화를 나타내는 데 사용됨 ― 와, VR 영상의 비트 레이트, 프레임 레이트, 해상도 및 TI에 기초하여 VR 영상의 평균 오피니언 스코어(mean opinion score, MOS)를 결정하는 단계 ― VR 영상의 MOS는 VR 영상의 품질을 나타내는 데 사용됨 ― 를 포함하는, 방법을 제공한다. 종래 기술에 비해, VR 영상의 품질을 평가하기 위한 파라미터로 TI를 도입함으로써 VR 영상의 품질 평가 결과의 정확도를 높인다.
실현가능한 실시예에서, VR 영상의 TI를 획득하는 것은,
VR 영상의 2개의 인접 이미지 프레임의 동일한 위치에서의 픽셀 값 간의 차이를 획득하는 것과, 표준편차 공식에 기초하여 2개의 인접 이미지 프레임의 동일한 위치에서의 픽셀 값 간의 차이를 계산하여 VR 영상의 TI를 획득하는 것을 포함한다.
표준 편차 공식은
Figure pct00001
이고,
Figure pct00002
이며, 여기서,
Figure pct00003
는 2개의 인접 이미지 프레임 중 현재 프레임의 i번째 행에 있는 j번째 픽셀의 픽셀 값과 현재 프레임의 이전 프레임의 i번째 행에 있는 j번째 픽셀의 픽셀 값 간의 차이를 나타내며,
W와 H는 각각 2개의 인접 이미지 프레임 각각의 폭과 높이를 나타낸다.
실현가능한 실시예에서, VR 영상의 TI를 획득하는 것은,
미리 설정된 지속 시간(
Figure pct00004
) 내에서 사용자의 머리 회전 각도(
Figure pct00005
)를 획득하는 것과, 미리 설정된 지속 시간(
Figure pct00006
) 및 사용자의 머리 회전 각도(
Figure pct00007
)에 기초하여 사용자의 평균 머리 회전 각도를 결정하는 것과, 사용자의 평균 머리 회전 각도에 기초하여 VR 영상의 TI를 결정하는 것을 포함한다. 사용자의 더 큰 평균 머리 회전 각도는 VR 영상의 더 큰 TI 값을 나타낸다.
실현가능한 실시예에서, 미리 설정된 지속 시간(
Figure pct00008
) 내에서 사용자의 머리 회전 각도(
Figure pct00009
)를 획득하는 것은,
시점(t)에서의 사용자의 머리 각도(
Figure pct00010
) 및 시점(
Figure pct00011
)에서의 사용자의 머리 각도(
Figure pct00012
)를 획득하는 것과, 다음과 같은 방법에 따라 사용자의 머리 회전 각도(
Figure pct00013
)를 결정하는 것을 포함한다:
Figure pct00014
와
Figure pct00015
간의 차이의 절대값이 180도보다 크고,
Figure pct00016
가
Figure pct00017
보다 작은 경우,
Figure pct00018
이고;
Figure pct00019
와
Figure pct00020
간의 차이의 절대값이 180도보다 크고,
Figure pct00021
가
Figure pct00022
보다 큰 경우,
Figure pct00023
이고;
Figure pct00024
와
Figure pct00025
간의 차이의 절대값이 180도보다 크지 않은 경우,
Figure pct00026
이다.
실현가능한 실시예에서, 사용자의 평균 머리 회전 각도에 기초하여 VR 영상의 TI를 결정하는 것은,
사용자의 평균 머리 회전 각도를 계산용 제1 TI 예측 모델에 입력하여 VR 영상의 TI를 획득하는 것을 포함한다. 제1 TI 예측 모델은
Figure pct00027
이며, 여기서
Figure pct00028
는 사용자의 평균 머리 회전 각도를 나타내고, m과 n은 상수이다. VR 영상의 TI는 사용자의 머리 회전 각도에 기초하여 예측되므로 TI를 계산하는 데 필요한 연산 능력(computing power)은 무시될 수 있다.
실현가능한 실시예에서, 사용자의 평균 머리 회전 각도에 기초하여 VR 영상의 TI를 결정하는 것은,
사용자의 평균 머리 회전 각도를 계산용 제2 TI 예측 모델에 입력하여 VR 영상의 TI를 획득하는 것을 포함한다. 제2 TI 예측 모델은 비-파라미터 모델(nonparametric model)이다. VR 영상의 TI는 사용자의 머리 회전 각도에 기초하여 예측되므로 TI를 계산하는 데 필요한 연산 능력은 무시될 수 있다.
실현가능한 실시예에서, VR 영상의 비트 레이트, 프레임 레이트, 해상도, 및 TI에 기초하여 VR 영상의 평균 오피니언 스코어(MOS)를 결정하는 것은,
VR 영상의 비트레이트, 해상도, 프레임 레이트, 및 TI를 계산용 품질 평가 모델에 입력하여 VR 영상의 MOS를 획득하는 것을 포함한다. 품질 평가 모델은
Figure pct00029
Figure pct00030
이고, 여기서,
B1은 VR 영상의 비트 레이트를 나타내고, B2는 VR 영상의 해상도를 나타내고, F는 VR 영상의 프레임 레이트를 나타내며, a, b, c 및 d는 상수이다.
제2 측면에 따르면, 본 발명의 실시예는 평가 장치로서,
VR 영상의 비트 레이트, 프레임 레이트, 해상도 및 시간적 지각 정보 TI를 획득하도록 구성된 획득 유닛 ― VR 영상의 TI는 VR 영상의 영상 시퀀스의 시간 변화를 나타내는 데 사용됨 ― 과,
VR 영상의 비트 레이트, 프레임 레이트, 해상도 및 TI에 기초하여 VR 영상의 평균 오피니언 스코어(MOS)를 결정하도록 구성된 결정 유닛 ― VR 영상의 MOS는 VR 영상의 품질을 나타내는 데 사용됨 ― 을 포함하는, 평가 장치를 제공한다.
실현가능한 실시예에서, VR 영상의 TI를 획득할 때, 획득 유닛은 구체적으로,
VR 영상의 2개의 인접 이미지 프레임의 동일한 위치에서의 픽셀 값 간의 차이를 획득하고, 표준편차 공식에 기초하여 2개의 인접 이미지 프레임의 동일한 위치에서의 픽셀 값 간의 차이를 계산하여 VR 영상의 TI를 획득하도록 구성된다.
표준 편차 공식은
Figure pct00031
이고,
Figure pct00032
이며, 여기서,
Figure pct00033
는 2개의 인접 이미지 프레임 중 현재 프레임의 i번째 행에 있는 j번째 픽셀의 픽셀 값과 현재 프레임의 이전 프레임의 i번째 행에 있는 j번째 픽셀의 픽셀 값 간의 차이를 나타내며,
W와 H는 각각 2개의 인접 이미지 프레임 각각의 폭과 높이를 나타낸다.
실현가능한 실시예에서, VR 영상의 TI를 획득할 때, 획득 유닛은 구체적으로,
미리 설정된 지속 시간(
Figure pct00034
) 내에서 사용자의 머리 회전 각도(
Figure pct00035
)를 획득하고, 미리 설정된 지속 시간(
Figure pct00036
) 및 사용자의 머리 회전 각도(
Figure pct00037
)에 기초하여 사용자의 평균 머리 회전 각도를 결정하고, 사용자의 평균 머리 회전 각도에 기초하여 VR 영상의 TI를 결정하도록 구성된다. 사용자의 더 큰 평균 머리 회전 각도는 VR 영상의 더 큰 TI 값을 나타낸다.
실현가능한 실시예에서, 미리 설정된 지속 시간(
Figure pct00038
) 내에서 사용자의 머리 회전 각도(
Figure pct00039
)를 획득할 때, 획득 유닛은 구체적으로,
시점(t)에서의 사용자의 머리 각도(
Figure pct00040
) 및 시점(
Figure pct00041
)에서의 사용자의 머리 각도(
Figure pct00042
)를 획득하고, 다음과 같은 방법에 따라 사용자의 머리 회전 각도(
Figure pct00043
)를 결정하도록 구성된다:
Figure pct00044
와
Figure pct00045
간의 차이의 절대값이 180도보다 크고,
Figure pct00046
가
Figure pct00047
보다 작은 경우,
Figure pct00048
이고;
Figure pct00049
와
Figure pct00050
간의 차이의 절대값이 180도보다 크고,
Figure pct00051
가
Figure pct00052
보다 큰 경우,
Figure pct00053
이고;
Figure pct00054
와
Figure pct00055
간의 차이의 절대값이 180도보다 크지 않은 경우,
Figure pct00056
이다.
실현가능한 실시예에서, 사용자의 평균 머리 회전 각도에 기초하여 VR 영상의 TI를 결정할 때, 획득 유닛은 구체적으로,
사용자의 평균 머리 회전 각도를 계산용 제1 TI 예측 모델에 입력하여 VR 영상의 TI를 획득하도록 구성된다. 제1 TI 예측 모델은
Figure pct00057
이며, 여기서
Figure pct00058
는 사용자의 평균 머리 회전 각도를 나타내고, m과 n은 상수이다.
실현가능한 실시예에서, 사용자의 평균 머리 회전 각도에 기초하여 VR 영상의 TI를 결정할 때, 획득 유닛은 구체적으로,
사용자의 평균 머리 회전 각도를 계산용 제2 TI 예측 모델에 입력하여 VR 영상의 TI를 획득하도록 구성된다. 제2 TI 예측 모델은 비-파라미터 모델이다.
실현가능한 실시예에서, VR 영상의 비트 레이트, 프레임 레이트, 해상도, 및 TI에 기초하여 VR 영상의 평균 오피니언 스코어(MOS)를 결정할 때, 결정 유닛은 구체적으로,
VR 영상의 비트레이트, 해상도, 프레임 레이트, 및 TI를 계산용 품질 평가 모델에 입력하여 VR 영상의 MOS를 획득하도록 구성된다. 품질 평가 모델은
Figure pct00059
Figure pct00060
이고, 여기서,
B1은 VR 영상의 비트 레이트를 나타내고, B2는 VR 영상의 해상도를 나타내고, F는 VR 영상의 프레임 레이트를 나타내며, a, b, c 및 d는 상수이다.
제3 측면에 따르면, 본 발명의 실시예는 평가 장치로서, 실행가능한 프로그램 코드를 저장하는 메모리와, 메모리에 결합된 프로세서를 포함하는, 평가 장치를 제공한다. 프로세서는 메모리에 저장된 실행가능한 프로그램 코드를 호출하여 제1 측면에 따른 방법의 일부 또는 모든 단계를 수행한다.
제4 측면에 따르면, 본 발명의 실시예는 컴퓨터 판독가능 저장 매체를 제공한다. 컴퓨터 저장 매체는 컴퓨터 프로그램을 저장하고, 컴퓨터 프로그램은 프로그램 명령어를 포함하고, 프로그램 명령어가 프로세서에 의해 실행될 때, 프로세서는 제1 측면에 따른 방법의 일부 또는 모든 단계를 수행할 수 있게 된다.
본 발명의 실시예의 솔루션에서는, VR 영상의 비트 레이트, 프레임 레이트, 해상도, 및 TI가 획득되고, VR 영상의 비트 레이트, 프레임 속도, 해상도, 및 TI에 기초하여 VR 영상의 평균 오피니언 스코어(MOS)가 결정되는데, VR 영상의 MOS는 VR 영상의 품질을 나타내는 데 사용됨을 알 수 있다. 본 발명의 실시예에서는 VR 영상의 평가 결과의 정확도가 향상될 수 있다.
본 발명의 이러한 측면 또는 다른 측면은 다음 실시예의 설명에서 더 명확해지고 더 이해가능하다.
본 발명의 실시예 또는 종래 기술의 기술적 방안을 보다 명확하게 설명하기 위해, 이하에서는 실시예 또는 종래 기술을 설명하는 첨부 도면을 간략히 설명한다. 이하의 설명에서 첨부 도면은 단지 본 발명의 일부 실시예를 도시한 것일 뿐이며, 당업자라면 이러한 첨부된 도면으로부터 창의적인 노력 없이도 다른 도면을 도출할 수 있음은 자명하다.
도 1은 본 발명의 일 실시예에 따른 VR 영상의 품질 평가 시나리오의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 VR 영상의 품질을 평가하는 방법의 개략적인 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 평가 장치의 개략적인 구조도이다.
도 4는 본 발명의 일 실시예에 따른 다른 평가 장치의 개략적인 구조도이다.
상세한 설명은 아래에서 별도로 제공된다.
도 1은 본 발명의 일 실시예에 따른 VR 영상의 품질 평가 시나리오의 개략도이다. 도 1에 도시된 바와 같이, 시나리오는 영상 서버(101), 중간 네트워크 디바이스(102) 및 단말 디바이스(103)를 포함한다.
영상 서버(101)는 영상 서비스를 제공하는 서버, 예를 들어, 운영자이다.
중간 네트워크 디바이스(102)는 영상 서버(101)와 단말 디바이스(103) 사이의 영상 전송을 구현하기 위한 디바이스, 예를 들어, 홈 게이트웨이이다. 홈 게이트웨이는 내부와 외부를 연결하는 허브 역할을 할 뿐만 아니라, 전체 홈 네트워크에서 가장 중요한 관제 센터(control center) 역할을 한다. 홈 게이트웨이는 광역 통신망에 액세스하기 위해 네트워크 측에 고속 액세스 인터페이스를 제공한다. 홈 게이트웨이는 개인용 컴퓨터, IP 셋톱 박스와 같은 가정의 다양한 서비스 단말을 연결하기 위해 사용자 측에 이더넷 인터페이스 및/또는 무선 근거리 통신망 기능을 제공한다.
단말 디바이스(103)는 사용자 장비(User Equipment, UE)로도 지칭되며, 사용자에게 음성 및/또는 데이터 연결을 제공하는 디바이스, 예를 들어, 휴대폰, 태블릿 컴퓨터, 노트북 컴퓨터, 팜탑 컴퓨터, 모바일 인터넷 디바이스(mobile internet device, MID), 또는 머리 장착형 디바이스와 같은 웨어러블 디바이스이다.
본 발명에서, 영상 서버(101), 중간 네트워크 디바이스(102), 및 단말 디바이스(103) 중 어느 하나는 본 발명에 따른 VR 영상의 품질을 평가하는 방법을 수행할 수 있다.
도 2는 본 발명의 일 실시예에 따른 VR 영상의 품질을 평가하는 방법의 개략적인 흐름도이다. 도 2에 도시된 바와 같이, 방법은 다음과 같은 단계를 포함한다.
S201. 평가 장치는 VR 영상의 비트레이트, 해상도, 프레임레이트, 및 TI를 획득한다.
VR 영상의 비트 레이트는 VR 영상의 비트스트림이 단위 시간당 전송되는 레이트이고, VR 영상의 해상도는 VR 영상의 이미지의 각 프레임의 해상도이고, VR 영상의 프레임 레이트는 단위 시간당 리프레시된 이미지의 프레임 수량이다. VR 영상의 TI는 VR 영상의 영상 시퀀스의 시간 변화를 나타내기 위해 사용된다. 영상 시퀀스의 더 큰 시간 변화는 영상 시퀀스의 더 큰 TI 값을 나타낸다. 상대적으로 높은 움직임 정도를 갖는 영상 시퀀스는 일반적으로 상대적으로 큰 시간 변화를 가지므로 영상 시퀀스는 일반적으로 상대적으로 큰 TI 값을 갖는다.
실현가능한 실시예에서, 평가 장치는 시간 주기에서 VR 영상의 비트스트림의 부하를 획득함으로써 VR 영상의 비트 레이트를 계산한다. 평가 장치는 VR 영상의 비트스트림을 파싱하여 VR 영상의 시퀀스 파라미터 세트(sequence parameter set, SPS) 및 픽쳐 파라미터 세트(picture parameter set, PPS)를 획득하고, 그런 다음 SPS 및 PPS 내의 신택스 요소에 기초하여 VR 영상의 해상도 및 프레임 레이트를 결정한다.
실현가능한 실시예에서, 평가 장치가 VR 영상의 TI를 획득하는 것은,
ITU-R BT.1788의 방식으로 VR 영상의 TI를 결정하는 것, 즉, VR 영상의 2개의 인접 이미지 프레임의 픽셀 값에 기초하여 VR 영상의 TI를 결정하는 것, 또는
사용자의 머리 회전 각도 정보에 기초하여 VR 영상의 TI를 결정하는 것을 포함한다.
구체적으로, 평가 장치가 VR 영상의 2개의 인접 이미지 프레임의 픽셀 값에 기초하여 VR 영상의 TI를 결정하는 것은,
평가 장치가 2개의 인접 이미지 프레임에서 동일한 위치에 있는 픽셀의 픽셀 값 간의 차이를 획득하는 것과, 표준 편차 공식에 기초하여 2개의 인접 이미지 프레임에서 동일한 위치에 있는 픽셀의 픽셀 값 간의 차이를 계산하여 VR 영상의 TI를 획득하는 것을 포함한다.
표준 편차 공식은
Figure pct00061
이고,
Figure pct00062
인데, 여기서,
Figure pct00063
는 2개의 인접 이미지 프레임 중 현재 프레임의 i번째 행에 있는 j번째 픽셀의 픽셀 값과 현재 프레임의 이전 프레임의 i번째 행에 있는 j번째 픽셀의 픽셀 값 간의 차이를 나타내며,
W와 H는 각각 2개의 인접 이미지 프레임 각각의 폭과 높이를 나타낸다. 즉, W*H는 이미지의 인접한 두 프레임 각각의 해상도이다.
일 예에서, 평가 장치가 VR 영상의 N개의 연속 이미지 프레임에 있는 픽셀의 픽셀 값에 기초하여 VR 영상의 TI를 결정하면, 평가 장치는, 2개의 인접 이미지 프레임의 픽셀 값에 기초하여 VR 영상의 TI를 결정하는 프로세스의 관련 설명에 기초하여 N-1개의 후보 TI를 획득하고, 그런 다음 N-1개의 후보 TI의 평균값을 VR 영상의 TI로서 결정하는데, N은 2보다 큰 정수이다.
실현가능한 실시예에서, 평가 장치가 사용자의 머리 회전 각도 정보에 기초하여 VR 영상의 TI를 결정하는 것은,
미리 설정된 지속 시간(
Figure pct00064
) 내에서 사용자의 머리 회전 각도(
Figure pct00065
)를 획득하는 것과,
미리 설정된 지속 시간(
Figure pct00066
) 및 사용자의 머리 회전 각도(
Figure pct00067
)에 기초하여 사용자의 평균 머리 회전 각도를 결정하는 것과,
사용자의 평균 머리 회전 각도에 기초하여 VR 영상의 TI를 결정하는 것을 포함한다.
구체적으로, 평가 장치가 미리 설정된 지속 시간(
Figure pct00068
) 내에서 사용자의 머리 회전 각도(
Figure pct00069
)를 획득하는 것은,
시점(t)에서의 사용자의 머리 각도(
Figure pct00070
) 및 시점(
Figure pct00071
)에서의 사용자의 머리 각도(
Figure pct00072
)를 획득하는 것과, 다음과 같은 방법에 따라 사용자의 머리 회전 각도(
Figure pct00073
)를 결정하는 것을 포함한다:
Figure pct00074
와
Figure pct00075
간의 차이의 절대값이 180도보다 크고,
Figure pct00076
가
Figure pct00077
보다 작은 경우,
Figure pct00078
이고;
Figure pct00079
와
Figure pct00080
간의 차이의 절대값이 180도보다 크고,
Figure pct00081
가
Figure pct00082
보다 큰 경우,
Figure pct00083
이고;
Figure pct00084
와
Figure pct00085
간의 차이의 절대값이 180도보다 크지 않은 경우,
Figure pct00086
이다.
그런 다음, 평가 장치는 미리 설정된 지속 시간(
Figure pct00087
) 및 사용자의 머리 회전 각도(
Figure pct00088
)에 기초하여 사용자의 평균 머리 회전 각도(
Figure pct00089
)를 결정하는데, 여기서
Figure pct00090
이다.
미리 설정된 지속 시간은 VR 영상의 이미지 프레임을 재생하는 지속 시간일 수 있음에 유의해야 한다.
가능한 실시예에서, 평가 장치가 사용자의 평균 머리 회전 각도에 기초하여 VR 영상의 TI를 결정하는 것은,
평가 장치가
Figure pct00091
를 계산용 제1 TI 예측 모델에 입력하여 VR 영상의 TI를 획득하는 것을 포함한다.
Figure pct00092
의 더 큰 값은 VR 영상의 더 큰 TI 값을 나타낸다는 점에 유의해야 한다.
선택적으로, TI 예측 모델은
Figure pct00093
이고, 여기서 m 및 n은 상수이다.
선택적으로, m 및 n은 경험적으로 설정될 수 있고, m과 n의 값 범위는 [-100, 100]일 수 있다. 또한, m 및 n의 값 범위는 구체적으로 [-50, 50]일 수 있다.
선택적으로, m 및 n은 대안적으로 훈련을 통해 획득될 수 있고, 훈련을 통해 획득된 m 및 n은 일반적으로 [-100, 100] 범위의 값이다. 훈련을 통해 m 및 n을 획득하는 프로세스는 훈련을 통해 TI 예측 모델을 획득하는 프로세스이다.
실현가능한 실시예에서,
Figure pct00094
가 계산용 제1 TI 예측 모델에 입력되기 전에, 평가 장치는 제1 파라미터 모델을 훈련시키는 복수의 데이터 항목을 포함하는 제1 훈련 데이터 세트를 획득하여 제1 TI 예측 모델을 획득한다. 제1 훈련 데이터 세트의 각각의 제1 데이터 항목은 평균 머리 회전 각도 및 TI를 포함한다. 평균 머리 회전 각도는 제1 파라미터 모델의 입력 데이터이고 TI는 제1 파라미터 모델의 출력 데이터이다.
제1 파라미터 모델은 대수 방정식, 미분 방정식, 미분 방정식 시스템, 전달 함수 등을 사용하여 기술된 모델이라는 점에 유의해야 한다. 제1 파라미터 모델을 수립하는 것은 알려진 모델 구조의 파라미터(예를 들어, TI 예측 모델의 m 및 n)를 결정하는 것이다.
일 예에서, 평가 장치는 훈련 데이터 세트를 사용하여 훈련 파라미터 모델을 훈련시켜 모델의 파라미터, 예를 들어, TI 예측 모델의 m 및 n을 획득할 수 있다.
실현가능한 실시예에서, 평가 장치가 사용자의 평균 머리 회전 각도에 기초하여 VR 영상의 TI를 결정하는 것은,
Figure pct00095
를 계산용 제2 TI 예측 모델에 입력하여 VR 영상의 TI를 획득하는 것을 포함한다. 제2 TI 예측 모델은 비-파라미터 모델이다.
여기서, 비-파라미터 모델에서는 목적 함수의 형태에 대한 강력한 가정이 이루어지지 않는다는 점에 유의해야 한다. 가정이 이루어지지 않음으로써, 목적 함수는 훈련 데이터로부터 학습을 통해 자유롭게 임의의 함수 형태가 될 수 있다. 비-파라미터 모델의 학습 단계는 파라미터 모델의 학습 방식과 유사하다. 모델을 훈련시키려면 많은 양의 훈련 데이터 세트가 준비되어야 한다. 그러나, 목적 함수가 결정되어야 하는 파라미터 모델의 경우와 달리 비-파라미터 모델에서는 목적 함수의 형태에 대해 어떠한 가정도 이루어질 필요가 없다. 예를 들어, k-최근접 이웃(k-Nearest Neighbor, KNN) 알고리즘이 사용될 수 있다.
본 발명의 평가 장치는 사용자의 머리 장착형 디바이스(Head Mount Display, HMD)와 유선 또는 무선 방식으로 연결되어 사용자의 머리 각도 정보를 획득할 수 있음에 유의해야 한다.
S202. 평가 장치는 VR 영상의 비트레이트, 해상도, 프레임 레이트, 및 TI에 기초하여 VR 영상의 MOS를 결정한다.
VR 영상의 MOS는 VR 영상의 품질을 나타내는 데 사용되며, 영상 품질을 측정하는 평가 기준이다. 스코어링 기준은 ITU-T P.910에서 가져온다. 영상 품질은 우수(Excellent), 좋음(Good), 보통(Fair), 나쁨(Poor), 매우 나쁨(Very Poor)의 5단계로 분류되며, 대응하는 MOS는 각각 5, 4, 3, 2, 1이다.
구체적으로, 평가 장치는 VR 영상의 비트레이트, 해상도, 프레임 레이트, 및 TI를 계산용 품질 평가 모델에 입력하여 VR 영상의 MOS를 획득한다.
선택적으로, 품질 평가 모델은
Figure pct00096
Figure pct00097
일 수 있고, 여기서,
B1은 VR 영상의 비트 레이트를 나타내고, B2는 VR 영상의 해상도를 나타내고, F는 VR 영상의 프레임 레이트를 나타내며, a, b, c 및 d는 상수이다.
선택적으로, a, b, c 및 d는 경험적으로 설정될 수 있고, a, b, c 및 d의 값 범위는 [-100, 100]일 수 있다. 또한, a, b, c 및 d의 값 범위는 구체적으로 [-50, 50]일 수 있다.
선택적으로, a, b, c 및 d는 대안적으로 훈련을 통해 획득될 수 있으며, 훈련을 통해 획득된 a, b, c 및 d는 일반적으로 [-100, 100] 범위의 값이다. 훈련을 통해 a, b, c 및 d를 획득하는 프로세스는 훈련을 통해 품질 평가 모델을 획득하는 프로세스이다.
VR 영상의 더 높은 비트레이트는 VR 영상의 더 큰 MOS 값을 나타낸다는 점, 즉, VR 영상의 더 높은 품질을 나타낸다는 점에 유의해야 한다. VR 영상의 더 높은 해상도는 VR 영상의 더 큰 MOS 값을 나타낸다. VR 영상의 더 높은 프레임 속도는 VR 영상의 더 큰 MOS 값을 나타낸다. VR 영상의 더 큰 TI 값은 VR 영상의 더 큰 MOS 값을 나타낸다.
실현가능한 실시예에서, VR 영상의 비트 레이트, 해상도, 프레임 레이트, 및 TI가 계산용 품질 평가 모델에 입력되기 전에, 평가 장치는 제2 파라미터 모델을 훈련시키기 위한 복수의 데이터 항목을 포함하는 제3 훈련 데이터 세트를 획득하여 품질 평가 모델을 획득한다. 제3 훈련 데이터 세트의 각각의 데이터 항목은 VR 영상에 대한 정보 및 MOS를 포함한다. VR 영상에 대한 정보는 제2 파라미터 모델의 입력 데이터이고, MOS는 제2 파라미터 모델의 출력 데이터이다. VR 영상에 대한 정보는 VR 영상의 비트레이트, 해상도, 및 프레임 레이트를 포함한다.
제2 파라미터 모델은 대수 방정식, 미분 방정식, 미분 방정식 시스템, 전달 함수 등을 사용하여 기술된 모델이라는 점에 유의해야 한다. 제2 파라미터 모델을 수립하는 것은 알려진 모델 구조의 파라미터(예를 들어, 품질 평가 모델의 a, b, c 및 d)를 결정하는 것이다.
본 발명의 이 실시예의 솔루션에서, 평가 장치는 VR 영상의 품질을 평가하기 위해 VR 영상의 TI를 도입한다는 것을 알 수 있다. 종래 기술에 비해 VR 영상의 품질 평가 정확도가 크게 향상된다.
도 3은 본 발명의 일 실시예에 따른 평가 장치의 개략적인 구조도이다. 도 3에 도시된 바와 같이, 평가 장치(300)는,
VR 영상의 비트 레이트, 프레임 레이트, 해상도, 및 시간적 지각 정보(TI)를 획득하도록 구성된 획득 유닛(301) ― VR 영상의 TI는 VR 영상의 영상 시퀀스의 시간 변화를 나타내는 데 사용됨 ― 과,
VR 영상의 비트 레이트, 프레임 레이트, 해상도, 및 TI에 기초하여 VR 영상의 평균 오피니언 스코어(MOS)를 결정하도록 구성된 결정 유닛(302) ― VR 영상의 MOS는 VR 영상의 품질을 나타내는 데 사용됨 ― 을 포함한다.
실현가능한 실시예에서, VR 영상의 TI를 획득할 때, 획득 유닛(301)은 구체적으로,
VR 영상의 2개의 인접 이미지 프레임의 동일한 위치에서의 픽셀 값 간의 차이를 획득하고, 표준편차 공식에 기초하여 2개의 인접 이미지 프레임의 동일한 위치에서의 픽셀 값 간의 차이를 계산하여 VR 영상의 TI를 획득하도록 구성된다.
표준 편차 공식은
Figure pct00098
이고,
Figure pct00099
이며, 여기서,
Figure pct00100
는 2개의 인접 이미지 프레임 중 현재 프레임의 i번째 행에 있는 j번째 픽셀의 픽셀 값과 현재 프레임의 이전 프레임의 i번째 행에 있는 j번째 픽셀의 픽셀 값 간의 차이를 나타내며,
W와 H는 각각 2개의 인접 이미지 프레임 각각의 폭과 높이를 나타낸다.
실현가능한 실시예에서, VR 영상의 TI를 획득할 때, 획득 유닛(301)은 구체적으로,
미리 설정된 지속 시간(
Figure pct00101
) 내에서 사용자의 머리 회전 각도(
Figure pct00102
)를 획득하고, 미리 설정된 지속 시간(
Figure pct00103
) 및 사용자의 머리 회전 각도(
Figure pct00104
)에 기초하여 사용자의 평균 머리 회전 각도를 결정하고, 사용자의 평균 머리 회전 각도에 기초하여 VR 영상의 TI를 결정하도록 구성된다. 사용자의 더 큰 평균 머리 회전 각도는 VR 영상의 더 큰 TI 값을 나타낸다.
실현가능한 실시예에서, 미리 설정된 지속 시간(
Figure pct00105
) 내에서 사용자의 머리 회전 각도(
Figure pct00106
)를 획득할 때, 획득 유닛(301)은 구체적으로,
시점(t)에서의 사용자의 머리 각도(
Figure pct00107
) 및 시점(
Figure pct00108
)에서의 사용자의 머리 각도(
Figure pct00109
)를 획득하고, 다음과 같은 방법에 따라 사용자의 머리 회전 각도(
Figure pct00110
)를 결정하도록 구성된다:
Figure pct00111
와
Figure pct00112
간의 차이의 절대값이 180도보다 크고,
Figure pct00113
가
Figure pct00114
보다 작은 경우,
Figure pct00115
이고;
Figure pct00116
와
Figure pct00117
간의 차이의 절대값이 180도보다 크고,
Figure pct00118
가
Figure pct00119
보다 큰 경우,
Figure pct00120
이고;
Figure pct00121
와
Figure pct00122
간의 차이의 절대값이 180도보다 크지 않은 경우,
Figure pct00123
이다.
실현가능한 실시예에서, 사용자의 평균 머리 회전 각도에 기초하여 VR 영상의 TI를 결정할 때, 획득 유닛(301)은 구체적으로,
사용자의 평균 머리 회전 각도를 계산용 제1 TI 예측 모델에 입력하여 VR 영상의 TI를 획득하도록 구성된다. 제1 TI 예측 모델은
Figure pct00124
이며, 여기서
Figure pct00125
는 사용자의 평균 머리 회전 각도를 나타내고, m과 n은 상수이다.
실현가능한 실시예에서, 사용자의 평균 머리 회전 각도에 기초하여 VR 영상의 TI를 결정할 때, 획득 유닛(301)은 구체적으로,
사용자의 평균 머리 회전 각도를 계산용 제2 TI 예측 모델에 입력하여 VR 영상의 TI를 획득하도록 구성된다. 제2 TI 예측 모델은 비-파라미터 모델이다.
실현가능한 실시예에서, VR 영상의 비트 레이트, 프레임 레이트, 해상도, 및 TI에 기초하여 VR 영상의 평균 오피니언 스코어(MOS)를 결정할 때, 결정 유닛(302)은 구체적으로,
VR 영상의 비트레이트, 해상도, 프레임 레이트, 및 TI를 계산용 품질 평가 모델에 입력하여 VR 영상의 MOS를 획득하도록 구성된다. 품질 평가 모델은
Figure pct00126
Figure pct00127
이고, 여기서,
B1은 VR 영상의 비트 레이트를 나타내고, B2는 VR 영상의 해상도를 나타내고, F는 VR 영상의 프레임 레이트를 나타내며, a, b, c 및 d는 상수이다.
유닛(획득 유닛(301) 및 결정 유닛(302))은 전술한 방법의 관련 단계를 수행하도록 구성된다는 점에 유의해야 한다. 획득 유닛(301)은 구체적으로 단계 S201의 관련 콘텐츠를 수행하도록 구성되고, 결정 유닛(302)은 구체적으로 단계 S202의 관련 콘텐츠를 수행하도록 구성된다.
이 실시예에서, 평가 장치(300)는 유닛의 형태로 제시된다. 본 명세서에서 "유닛"은 애플리케이션 특정 집적 회로(application-specific integrated circuit, ASIC), 하나 이상의 소프트웨어 또는 펌웨어 프로그램을 실행하는 프로세서 또는 메모리, 집적 로직 회로 및/또는 전술한 기능을 수행할 수 있는 다른 디바이스일 수 있다. 또한, 획득 유닛(301) 및 결정 유닛(302)은 도 4에 도시된 평가 장치의 프로세서(401)를 사용하여 구현될 수 있다.
도 4에 도시된 바와 같이, 평가 장치(400)는 도 4에 도시된 구조로 구현될 수 있다. 평가 장치(400)는 적어도 하나의 프로세서(401), 적어도 하나의 메모리(402), 및 적어도 하나의 통신 인터페이스(403)를 포함한다. 프로세서(401), 메모리(402) 및 통신 인터페이스(403)는 통신 버스를 사용하여 서로 연결되고 통신할 수 있다.
프로세서(401)는 범용 CPU(Central Processing Unit), 마이크로프로세서, 애플리케이션 특정 집적 회로(application-specific integrated circuit, ASIC), 또는 전술한 솔루션의 프로그램 실행을 제어하기 위한 하나 이상의 집적 회로일 수 있다.
통신 인터페이스(403)는 다른 디바이스 또는 통신 네트워크, 예를 들어, 이더넷, 무선 액세스 네트워크(RAN), 또는 무선 근거리 통신망(Wireless Local Area Networks, WLAN)과 통신하도록 구성된다.
메모리(402)는 판독 전용 메모리(read-only memory, ROM) 또는 정적 정보 및 명령어를 저장할 수 있는 다른 유형의 정적 저장 디바이스, 또는 랜덤 액세스 메모리(random access memory, RAM) 또는 정보 및 명령어를 저장할 수 있는 다른 유형의 동적 저장 장치일 수 있거나, 또는 전기적 소거가능 프로그램가능 판독 전용 메모리(Electrically Erasable Programmable Read-Only Memory, EEPROM), 컴팩트 디스크 판독 전용 메모리(CCompact Disc Read-Only Memory, CD-ROM) 또는 다른 컴팩트 디스크 저장소, 광 디스크 저장소(압축 광 디스크, 레이저 디스크, 광 디스크, 디지털 다목적 디스크, 블루-레이(Blu-ray) 광 디스크 등을 포함함), 자기 디스크 저장 매체 또는 다른 자기 저장 디바이스, 또는 명령어 또는 데이터 구조의 형태로 예상 프로그램 코드를 운반하거나 저장하는 데 사용할 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체일 수 있다. 그러나, 이에 한정되는 것은 아니다. 메모리는 독립적으로 존재할 수 있으며, 버스를 사용하여 프로세서에 연결된다. 메모리는 대안적으로 프로세서와 통합될 수 있다.
메모리(402)는 전술한 솔루션을 실행하는 애플리케이션 프로그램 코드를 저장하도록 구성되고, 프로세서(401)는 실행을 제어한다. 프로세서(401)는 메모리(402)에 저장된 애플리케이션 프로그램 코드를 실행하도록 구성된다.
메모리(402)에 저장된 코드는, 도 2에 도시된 실시예에 개시된, VR 영상의 품질을 평가하기 위한 방법의 관련 콘텐츠를 수행하는 데 사용될 수 있다. 예를 들어, VR 영상의 비트 레이트, 프레임 레이트, 해상도, 및 시간적 지각 정보(TI)가 획득되는데, TI는 VR 영상의 영상 시퀀스의 시간 변화를 나타내는 데 사용되고, VR 영상의 비트 레이트, 프레임 레이트, 해상도, 및 TI에 기초하여 VR 영상의 평균 오피니언 스코어(MOS)가 결정되는데, VR 영상의 MOS는 VR 영상의 품질을 나타내는 데 사용된다.
본 발명의 실시예는 또한 컴퓨터 저장 매체를 제공한다. 컴퓨터 저장 매체는 프로그램을 저장할 수 있고, 프로그램이 실행될 때, 전술한 방법 실시예에서 기록된 VR 영상의 임의의 품질 평가 방법의 적어도 일부 또는 모든 단계가 수행될 수 있다.
설명을 간략하게 하기 위해, 전술한 방법 실시예는 일련의 동작으로 표현된다는 점에 유의해야 한다. 그러나, 본 발명에 따라 일부 단계는 다른 순서로 수행되거나 동시에 수행될 수 있기 때문에, 당업자는 본 발명이 설명된 동작 순서에 제한되지 않음을 인식해야 한다. 또한, 당업자는 명세서에 설명된 모든 실시예가 예시적인 실시예이며, 관련된 동작 및 모듈이 반드시 본 발명에 필수적인 것은 아님을 이해해야 한다.
전술한 실시예에서, 각 실시예의 설명은 각자의 주안점을 갖는다. 일 실시예에서 구체적으로 설명되지 않은 부분에 대해서는 다른 실시예의 관련 설명을 참조한다.
본 출원에 제공된 여러 실시예에서, 개시된 장치는 다른 방식으로 구현될 수 있음이 이해되어야 한다. 예를 들어, 설명된 장치 실시예는 단지 예일 뿐이다. 예를 들어, 유닛 분할은 단순히 논리적 기능 분할이며, 실제 구현 동안 다른 분할이 될 수 있다. 예를 들어, 복수의 유닛 또는 구성요소는 다른 시스템에 결합 또는 통합될 수 있고, 또는 일부 특징은 무시되거나 수행되지 않을 수 있다. 또한, 표시되거나 논의된 상호 결합 또는 직접 결합 또는 통신 연결은 일부 인터페이스를 통해 구현될 수 있다. 장치들 또는 유닛들 사이의 간접 결합 또는 통신 연결은 전자적 형태 또는 다른 형태로 구현될 수 있다.
별도의 부분으로 설명된 유닛은 물리적으로 분리되거나 분리되지 않을 수 있으며, 유닛으로 표시된 부분은 물리적 유닛이거나 아닐 수 있으며, 한 위치에 위치되거나 복수의 네트워크 유닛에 분산될 수 있다. 유닛의 일부 또는 전부는 실시예의 솔루션의 목적을 달성하기 위한 실제 요구사항에 기초하여 선택될 수 있다.
또한, 본 발명의 실시예에서 기능 유닛은 하나의 처리 유닛으로 통합될 수 있거나, 각 유닛이 물리적으로 단독으로 존재할 수 있거나, 둘 이상의 유닛이 하나의 유닛으로 통합될 수 있다. 통합 유닛은 하드웨어의 형태로 구현되거나, 소프트웨어 기능 유닛의 형태로 구현될 수 있다.
통합 유닛이 소프트웨어 기능 유닛의 형태로 구현되어 독립적인 제품으로 판매되거나 사용되는 경우, 통합 유닛은 컴퓨터 판독가능 메모리에 저장될 수 있다. 이러한 이해에 기초하여, 본질적으로 본 발명의 기술적 솔루션, 또는 종래 기술에 기여하는 부분, 또는 기술적 솔루션의 전부 또는 일부는 소프트웨어 제품의 형태로 구현될 수 있다. 소프트웨어 제품은 메모리에 저장되며, 본 발명의 실시예에 설명된 방법의 전체 또는 일부 단계를 수행하도록 컴퓨터 디바이스(개인용 컴퓨터, 서버 또는 네트워크 디바이스일 수 있음)에 지시하기 위한 여러 명령어를 포함한다. 전술한 메모리는 USB 플래시 드라이브, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 이동식 하드 디스크, 자기 디스크 또는 광 디스크와 같이 프로그램 코드를 저장할 수 있는 임의의 매체를 포함한다.
당업자는 실시예의 방법의 전부 또는 일부 단계가 관련 하드웨어에 지시하는 프로그램에 의해 구현될 수 있음을 이해할 수 있다. 프로그램은 컴퓨터 판독가능 메모리에 저장될 수 있다. 이 메모리는 플래시 메모리, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크, 광 디스크 등을 포함할 수 있다.
이상, 본 발명의 실시예가 상세히 설명되었다. 본 발명의 원리 및 구현은 본 명세서에서 구체적인 예를 통해 설명된다. 본 발명의 실시예에 대한 설명은 단지 본 발명의 방법 및 핵심 사상을 이해하는 데 도움을 주기 위해 제공되는 것이다. 또한, 당업자는 본 발명의 사상에 따라 특정 구현 및 적용 범위의 관점에서 본 발명을 변형 및 수정할 수 있다. 따라서, 명세서의 내용은 본 발명을 제한하는 것으로 해석되어서는 안 된다.

Claims (14)

  1. 가상 현실(virtual reality: VR) 영상의 품질을 평가하는 방법으로서,
    VR 영상의 비트 레이트, 프레임 레이트, 해상도, 및 시간적 지각 정보(temporal perceptual information: TI)를 획득하는 단계 ― 상기 VR 영상의 TI는 상기 VR 영상의 영상 시퀀스의 시간 변화를 나타내는 데 사용됨 ― 와,
    상기 VR 영상의 비트 레이트, 프레임 레이트, 해상도, 및 TI에 기초하여 상기 VR 영상의 평균 오피니언 스코어(mean opinion score, MOS)를 결정하는 단계 ― 상기 VR 영상의 MOS는 상기 VR 영상의 품질을 나타내는 데 사용됨 ― 를 포함하는,
    방법.
  2. 제1항에 있어서,
    상기 VR 영상의 TI를 획득하는 것은,
    미리 설정된 지속 시간(
    Figure pct00128
    ) 내에서 사용자의 머리 회전 각도(
    Figure pct00129
    )를 획득하는 것과,
    상기 미리 설정된 지속 시간(
    Figure pct00130
    ) 및 상기 사용자의 머리 회전 각도(
    Figure pct00131
    )에 기초하여 상기 사용자의 평균 머리 회전 각도를 결정하는 것과,
    상기 사용자의 평균 머리 회전 각도에 기초하여 상기 VR 영상의 TI를 결정하는 것을 포함하고,
    상기 사용자의 더 큰 평균 머리 회전 각도는 상기 VR 영상의 더 큰 TI 값을 나타내는,
    방법.
  3. 제2항에 있어서,
    상기 미리 설정된 지속 시간(
    Figure pct00132
    ) 내에서 사용자의 머리 회전 각도(
    Figure pct00133
    )를 획득하는 것은,
    시점(t)에서의 상기 사용자의 머리 각도(
    Figure pct00134
    ) 및 시점(
    Figure pct00135
    )에서의 상기 사용자의 머리 각도(
    Figure pct00136
    )를 획득하는 것과,
    Figure pct00137
    와
    Figure pct00138
    간의 차이의 절대값이 180도보다 크고,
    Figure pct00139
    가
    Figure pct00140
    보다 작은 경우,
    Figure pct00141
    이고,
    Figure pct00142
    와
    Figure pct00143
    간의 차이의 절대값이 180도보다 크고,
    Figure pct00144
    가
    Figure pct00145
    보다 큰 경우,
    Figure pct00146
    이고,
    Figure pct00147
    와
    Figure pct00148
    간의 차이의 절대값이 180도보다 크지 않은 경우,
    Figure pct00149
    인
    방법에 따라 상기 사용자의 머리 회전 각도(
    Figure pct00150
    )를 결정하는 것을 포함하는,
    방법.
  4. 제2항 또는 제3항에 있어서,
    상기 사용자의 평균 머리 회전 각도에 기초하여 상기 VR 영상의 TI를 결정하는 것은, 상기 사용자의 평균 머리 회전 각도를 계산용 제1 TI 예측 모델에 입력하여 상기 VR 영상의 TI를 획득하는 것을 포함하고,
    상기 제1 TI 예측 모델은
    Figure pct00151
    이며,
    Figure pct00152
    는 상기 사용자의 평균 머리 회전 각도를 나타내고, m과 n은 상수인,
    방법.
  5. 제2항 또는 제3항에 있어서,
    상기 사용자의 평균 머리 회전 각도에 기초하여 상기 VR 영상의 TI를 결정하는 것은, 상기 사용자의 평균 머리 회전 각도를 계산용 제2 TI 예측 모델에 입력하여 상기 VR 영상의 TI를 획득하는 것을 포함하고,
    상기 제2 TI 예측 모델은 비-파라미터 모델(nonparametric model)인,
    방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 VR 영상의 비트 레이트, 프레임 레이트, 해상도, 및 TI에 기초하여 상기 상기 VR 영상의 평균 오피니언 스코어(MOS)를 결정하는 것은, 상기 VR 영상의 비트레이트, 해상도, 프레임 레이트, 및 TI를 계산용 품질 평가 모델에 입력하여 상기 VR 영상의 MOS를 획득하는 것을 포함하고,
    상기 품질 평가 모델은
    Figure pct00153
    Figure pct00154
    이고,
    B1은 상기 VR 영상의 비트 레이트를 나타내고, B2는 상기 VR 영상의 해상도를 나타내고, F는 상기 VR 영상의 프레임 레이트를 나타내며, a, b, c 및 d는 상수인,
    방법.
  7. 평가 장치로서,
    가상 현실(VR) 영상의 비트 레이트, 프레임 레이트, 해상도, 및 시간적 지각 정보(TI)를 획득하도록 구성된 획득 유닛 ― 상기 VR 영상의 TI는 상기 VR 영상의 영상 시퀀스의 시간 변화를 나타내는 데 사용됨 ― 과,
    상기 VR 영상의 비트 레이트, 프레임 레이트, 해상도, 및 TI에 기초하여 상기 VR 영상의 평균 오피니언 스코어(MOS)를 결정하도록 구성된 결정 유닛 ― 상기 VR 영상의 MOS는 상기 VR 영상의 품질을 나타내는 데 사용됨 ― 을 포함하는,
    평가 장치.
  8. 제7항에 있어서,
    상기 VR 영상의 TI를 획득하는 측면에서, 상기 획득 유닛은 구체적으로,
    미리 설정된 지속 시간(
    Figure pct00155
    ) 내에서 사용자의 머리 회전 각도(
    Figure pct00156
    )를 획득하고,
    상기 미리 설정된 지속 시간(
    Figure pct00157
    ) 및 상기 사용자의 머리 회전 각도(
    Figure pct00158
    )에 기초하여 상기 사용자의 평균 머리 회전 각도를 결정하고,
    상기 사용자의 평균 머리 회전 각도에 기초하여 상기 VR 영상의 TI를 결정하도록 구성되고,
    상기 사용자의 더 큰 평균 머리 회전 각도는 상기 VR 영상의 더 큰 TI 값을 나타내는,
    평가 장치.
  9. 제8항에 있어서,
    상기 미리 설정된 지속 시간(
    Figure pct00159
    ) 내에서 사용자의 머리 회전 각도(
    Figure pct00160
    )를 획득하는 측면에서, 상기 획득 유닛은 구체적으로,
    시점(t)에서의 상기 사용자의 머리 각도(
    Figure pct00161
    ) 및 시점(
    Figure pct00162
    )에서의 상기 사용자의 머리 각도(
    Figure pct00163
    )를 획득하고,
    Figure pct00164
    와
    Figure pct00165
    간의 차이의 절대값이 180도보다 크고,
    Figure pct00166
    가
    Figure pct00167
    보다 작은 경우,
    Figure pct00168
    이고,
    Figure pct00169
    와
    Figure pct00170
    간의 차이의 절대값이 180도보다 크고,
    Figure pct00171
    가
    Figure pct00172
    보다 큰 경우,
    Figure pct00173
    이고,
    Figure pct00174
    와
    Figure pct00175
    간의 차이의 절대값이 180도보다 크지 않은 경우,
    Figure pct00176
    인
    방법에 따라 상기 사용자의 머리 회전 각도(
    Figure pct00177
    )를 결정하도록 구성되는,
    평가 장치.
  10. 제8항 또는 제9항에 있어서,
    상기 사용자의 평균 머리 회전 각도에 기초하여 상기 VR 영상의 TI를 결정하는 측면에서, 상기 획득 유닛은 구체적으로, 상기 사용자의 평균 머리 회전 각도를 계산용 제1 TI 예측 모델에 입력하여 상기 VR 영상의 TI를 획득하도록 구성되고,
    상기 제1 TI 예측 모델은
    Figure pct00178
    이며,
    Figure pct00179
    는 상기 사용자의 평균 머리 회전 각도를 나타내고, m과 n은 상수인,
    평가 장치.
  11. 제8항 또는 제9항에 있어서,
    상기 사용자의 평균 머리 회전 각도에 기초하여 상기 VR 영상의 TI를 결정하는 측면에서, 상기 획득 유닛은 구체적으로, 상기 사용자의 평균 머리 회전 각도를 계산용 제2 TI 예측 모델에 입력하여 상기 VR 영상의 TI를 획득하도록 구성되고,
    상기 제2 TI 예측 모델은 비-파라미터 모델인,
    평가 장치.
  12. 제7항 내지 제11항 중 어느 한 항에 있어서,
    상기 VR 영상의 비트 레이트, 프레임 레이트, 해상도, 및 TI에 기초하여 상기 VR 영상의 평균 오피니언 스코어(MOS)를 결정하는 측면에서, 상기 결정 유닛은 구체적으로, 상기 VR 영상의 비트레이트, 해상도, 프레임 레이트, 및 TI를 계산용 품질 평가 모델에 입력하여 상기 VR 영상의 MOS를 획득하도록 구성되고,
    상기 품질 평가 모델은
    Figure pct00180
    Figure pct00181
    이고,
    B1은 상기 VR 영상의 비트 레이트를 나타내고, B2는 상기 VR 영상의 해상도를 나타내고, F는 상기 VR 영상의 프레임 레이트를 나타내며, a, b, c 및 d는 상수인,
    평가 장치.
  13. 평가 장치로서,
    실행가능한 프로그램 코드를 저장하는 메모리와,
    상기 메모리에 결합된 프로세서를 포함하되,
    상기 프로세서는 상기 메모리에 저장된 상기 실행가능한 프로그램 코드를 호출하여 제1항 내지 제6항 중 어느 한 항에 따른 방법을 수행하는,
    평가 장치.
  14. 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 판독가능 저장 매체는 컴퓨터 프로그램을 저장하고, 상기 컴퓨터 프로그램은 프로그램 명령어를 포함하고, 상기 프로그램 명령어가 프로세서에 의해 실행될 때, 상기 프로세서는 제1항 내지 제6항 중 어느 한 항에 따른 방법을 수행할 수 있게 되는,
    컴퓨터 판독가능 저장 매체.
KR1020217039548A 2019-05-17 2020-05-17 Vr 영상 품질 평가 방법 및 장치 KR102600721B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910416533.0 2019-05-17
CN201910416533.0A CN111953959A (zh) 2019-05-17 2019-05-17 Vr视频质量评估方法及装置
PCT/CN2020/090724 WO2020233536A1 (zh) 2019-05-17 2020-05-17 Vr视频质量评估方法及装置

Publications (2)

Publication Number Publication Date
KR20220003087A true KR20220003087A (ko) 2022-01-07
KR102600721B1 KR102600721B1 (ko) 2023-11-09

Family

ID=73336233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217039548A KR102600721B1 (ko) 2019-05-17 2020-05-17 Vr 영상 품질 평가 방법 및 장치

Country Status (6)

Country Link
US (1) US20220078447A1 (ko)
EP (1) EP3958558A4 (ko)
JP (1) JP7327838B2 (ko)
KR (1) KR102600721B1 (ko)
CN (1) CN111953959A (ko)
WO (1) WO2020233536A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112367524B (zh) * 2020-12-08 2022-08-09 重庆邮电大学 一种全景视频编码方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080037864A1 (en) * 2006-08-08 2008-02-14 Chunhong Zhang System and method for video quality measurement based on packet metric and image metric
US20170374375A1 (en) * 2016-06-23 2017-12-28 Qualcomm Incorporated Measuring spherical image quality metrics based on user field of view
CN108881894A (zh) * 2017-05-08 2018-11-23 华为技术有限公司 Vr多媒体的体验质量确定方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4787303B2 (ja) 2008-09-25 2011-10-05 日本電信電話株式会社 映像品質推定装置、方法、およびプログラム
CN104883563B (zh) * 2011-04-11 2017-04-12 华为技术有限公司 一种视频数据质量评估方法和装置
JP5707461B2 (ja) 2013-09-24 2015-04-30 日本電信電話株式会社 映像品質推定装置、映像品質推定方法及びプログラム
CN103780901B (zh) * 2014-01-22 2015-08-19 上海交通大学 基于视频空间和时间信息的视频质量及压缩码率估计方法
JP6228906B2 (ja) 2014-10-31 2017-11-08 日本電信電話株式会社 映像品質推定装置、方法およびプログラム
CN105430383A (zh) * 2015-12-07 2016-03-23 广东电网有限责任公司珠海供电局 一种视频流媒体业务的体验质量评估方法
CN106547352A (zh) * 2016-10-18 2017-03-29 小派科技（上海）有限责任公司 一种虚拟现实画面的显示方法、头戴显示设备及其系统
CN107968941A (zh) * 2016-10-19 2018-04-27 中国电信股份有限公司 用于评估视频用户体验的方法和装置
CN106657980A (zh) * 2016-10-21 2017-05-10 乐视控股（北京）有限公司 全景视频的质量测试方法和装置
GB2560156A (en) * 2017-02-17 2018-09-05 Sony Interactive Entertainment Inc Virtual reality system and method
CN107483920B (zh) * 2017-08-11 2018-12-21 北京理工大学 一种基于多层级质量因子的全景视频评估方法及系统
CN109451303B (zh) * 2018-12-24 2019-11-08 合肥工业大学 一种针对VR视频中用户体验质量QoE的建模方法
US11037531B2 (en) * 2019-10-24 2021-06-15 Facebook Technologies, Llc Neural reconstruction of sequential frames

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080037864A1 (en) * 2006-08-08 2008-02-14 Chunhong Zhang System and method for video quality measurement based on packet metric and image metric
US20170374375A1 (en) * 2016-06-23 2017-12-28 Qualcomm Incorporated Measuring spherical image quality metrics based on user field of view
CN108881894A (zh) * 2017-05-08 2018-11-23 华为技术有限公司 Vr多媒体的体验质量确定方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Wang Beibei ET AL: "EFFICIENT FRAME COMPLEXITY ESTIMATION AND APPLICATION TO G.1070 VIDEO QUALITY MONITORING", 31 December 2011.* *

Also Published As

Publication number Publication date
JP2022533928A (ja) 2022-07-27
EP3958558A4 (en) 2022-06-15
US20220078447A1 (en) 2022-03-10
CN111953959A (zh) 2020-11-17
JP7327838B2 (ja) 2023-08-16
WO2020233536A1 (zh) 2020-11-26
EP3958558A1 (en) 2022-02-23
KR102600721B1 (ko) 2023-11-09

Similar Documents

Publication Publication Date Title
US11025959B2 (en) Probabilistic model to compress images for three-dimensional video
US10681342B2 (en) Behavioral directional encoding of three-dimensional video
US20180192063A1 (en) Method and System for Virtual Reality (VR) Video Transcode By Extracting Residual From Different Resolutions
US11153575B2 (en) Electronic apparatus and control method thereof
JP2020010331A (ja) 画質を向上させる方法
CN114554211A (zh) 内容自适应视频编码方法、装置、设备和存储介质
KR102059066B1 (ko) 모션 벡터 필드 코딩 방법 및 디코딩 방법, 및 코딩 및 디코딩 장치들
JP2015019204A (ja) 画像処理装置および画像処理方法
CN112565887B (zh) 一种视频处理方法、装置、终端及存储介质
JP2020521212A (ja) Ｖｒマルチメディアの経験品質を決定するための方法および装置
US20160345018A1 (en) Video encoding and decoding
US20220382053A1 (en) Image processing method and apparatus for head-mounted display device as well as electronic device
KR102600721B1 (ko) Vr 영상 품질 평가 방법 및 장치
CN113469930B (zh) 图像处理方法、装置、及计算机设备
JP2018201117A (ja) 映像符号化装置、映像符号化方法およびプログラム
WO2023147780A1 (zh) 视频帧的编码模式筛选方法、装置及电子设备
US12063389B2 (en) 3D prediction method for video coding
CN116704405A (zh) 行为识别方法、电子设备及存储介质
CN114066946A (zh) 一种图像处理方法及装置
US10572825B2 (en) Inferring the presence of an occluded entity in a video captured via drone
CN117596373B (zh) 基于动态数字人形象进行信息展示的方法及电子设备
JP2011171862A (ja) 再生装置、再生方法、およびプログラム
JP6555151B2 (ja) 通信装置および通信システム
JP2017005343A (ja) 映像品質推定装置、映像品質推定方法、及びプログラム
CN118784899A (zh) 图像处理方法和装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant