KR20220014715A - 비디오 품질 평가 방법 및 장치 - Google Patents
비디오 품질 평가 방법 및 장치 Download PDFInfo
- Publication number
- KR20220014715A KR20220014715A KR1020200094689A KR20200094689A KR20220014715A KR 20220014715 A KR20220014715 A KR 20220014715A KR 1020200094689 A KR1020200094689 A KR 1020200094689A KR 20200094689 A KR20200094689 A KR 20200094689A KR 20220014715 A KR20220014715 A KR 20220014715A
- Authority
- KR
- South Korea
- Prior art keywords
- screen
- score
- display device
- information
- model
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000001303 quality assessment method Methods 0.000 title description 7
- 239000011159 matrix material Substances 0.000 claims abstract description 72
- 238000009877 rendering Methods 0.000 claims abstract description 67
- 238000013528 artificial neural network Methods 0.000 claims abstract description 62
- 238000013507 mapping Methods 0.000 claims description 116
- 238000013441 quality evaluation Methods 0.000 claims description 91
- 238000012545 processing Methods 0.000 claims description 45
- 230000015654 memory Effects 0.000 claims description 35
- 238000009499 grossing Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 18
- 238000011156 evaluation Methods 0.000 description 16
- 238000013473 artificial intelligence Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
- H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Social Psychology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Controls And Circuits For Display Device (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
비디오 품질 평가 방법이 개시된다. 비디오 품질 평가 방법은 평가자 디스플레이 장치를 이용하여 획득한 평균 의견 점수(Mean Opinion Score, MOS)를 학습한 뉴럴 네트워크를 이용하여, 프레임에 포함된 복수의 서브 영역 별 모델 기반 품질 점수를 획득하고, 렌더링 정보, 및 사용자 디스플레이 장치에 포함된 스크린에 대한 스크린 정보 중 적어도 하나로부터 가중치 매트릭스를 획득하고, 서브 영역 별 모델 기반 품질 점수에, 획득한 가중치 매트릭스를 적용하고, 가중치 매트릭스가 적용된 서브 영역 별 모델 기반 품질 점수에 기반하여 프레임의 품질 점수를 획득하여 비디오 품질을 평가할 수 있다.
Description
개시된 다양한 실시 예들은 비디오 품질 평가 방법 및 장치에 관한 것으로, 보다 상세하게는 비디오에 포함된 프레임의 품질 점수에 가중치를 적용하여 보다 정확히 비디오의 품질을 평가하는 비디오 품질 평가 방법 및 장치에 관한 것이다.
비디오 영상은 생성, 압축, 저장, 전송, 재생산 등의 과정에서 왜곡을 수반하게 된다. 왜곡된 영상은 사람이 지각할 수 있는 범위 내에서 재생 되어야 한다. 따라서, 영상이 재생되기 전에, 이러한 왜곡이 사람이 지각하는 화질에 어떠한 영향을 미치는지를 이해하기 위해 화질을 측정하고 평가할 필요가 있다.
영상 화질 평가(Quality Assessment) 기술은 주관적 화질 평가(subjective quality assessment) 방법과 객관적 화질 평가(objective quality assessment) 방법으로 나눌 수 있다. 주관적 화질 평가 방법은 평가자가 직접 비디오를 보고 화질을 평가하는 방법으로서 사람의 화질 인지 특성을 잘 반영할 수 있다. 그러나 주관적 화질 평가 방법은 개인별로 평가 치가 다르고 시간과 비용이 많이 소요될 뿐 아니라, 실시간으로 매번 영상의 화질을 평가하기 어렵다는 단점이 있다.
객관적 화질 평가 방법은 사람의 시신경으로 지각된 화질(perceived quality)을 측정하는 알고리즘을 구현하고 이를 이용하여 압축 영상의 화질 열화 정도를 평가하는 방법이다.
객관적 화질 평가 방법은 왜곡된 영상과 비교할 수 있는 기준 영상(reference image)을 이용하는 전 기준 화질 평가(Full-Reference Quality Assessment)방식과, 기준 영상 자체가 아닌 기준 영상에 관한 일부 정보, 예를 들면, 워터 마킹(watermarking)이나 보조 채널(auxiliary channel) 등을 이용하여 화질 평가를 수행하는 감소 기준 화질 평가(Reduced Reference Quality Assessment) 방식, 및 기준 영상의 어떠한 정보도 이용하지 않고 왜곡된 영상만을 이용하여 화질 추정을 수행하는 무 기준 화질 평가(No-Reference Quality Assessment)방식으로 나뉠 수 있다.
무 기준 화질 평가 방식은 기준 영상 정보를 필요로 하지 않기 때문에, 화질 측정이 요구되는 어떠한 응용에도 이용될 수 있다는 장점이 있다.
다양한 실시 예들은 모델 기반 품질 점수에 가중치 매트릭스를 적용하여 프레임의 품질을 보다 정확히 평가할 수 있는 비디오 품질 평가 방법 및 장치를 제공하기 위한 것이다.
다양한 실시 예들은 디스플레이 장치의 스크린 특성을 고려하여 프레임의 품질을 평가하는 비디오 품질 평가 방법 및 장치를 제공하기 위한 것이다.
다양한 실시 예들은 콘텐츠에 대한 렌더링 특성을 고려하여 프레임의 품질을 평가하는 비디오 품질 평가 방법 및 장치를 제공하기 위한 것이다.
실시 예에 따른 비디오 품질 평가 방법은 평가자 디스플레이 장치를 이용하여 획득한 평균 의견 점수(Mean Opinion Score, MOS)를 학습한 뉴럴 네트워크를 이용하여, 프레임에 포함된 복수의 서브 영역 별 모델 기반 품질 점수를 획득하는 단계, 렌더링 정보, 및 사용자 디스플레이 장치에 포함된 스크린에 대한 스크린 정보 중 적어도 하나로부터 가중치 매트릭스를 획득하는 단계, 상기 서브 영역 별 모델 기반 품질 점수에, 상기 획득한 가중치 매트릭스를 적용하는 단계 및 상기 가중치 매트릭스가 적용된 상기 서브 영역 별 모델 기반 품질 점수에 기반하여 상기 프레임의 품질 점수를 획득하는 단계를 포함할 수 있다.
실시 예에서, 상기 스크린 정보는 스크린 모델 매핑 정보 및 스크린 설정 매핑 정보 중 적어도 하나를 포함할 수 있다.
실시 예에서, 상기 스크린 정보는 상기 사용자 디스플레이 장치의 스크린에 포함된 서브 영역 별 점수를 더 포함할 수 있다.
실시 예에서, 상기 스크린 모델 매핑 정보는 상기 평가자 디스플레이 장치의 스크린 모델과 상기 사용자 디스플레이 장치의 스크린 모델 차이에 따른 점수 관계를 포함하고, 상기 스크린 모델 차이는 스크린의 사이즈 및 해상도 중 적어도 하나의 차이일 수 있다.
실시 예에서, 상기 스크린 설정 매핑 정보는 상기 사용자 디스플레이 장치의 스크린에 대한 디폴트 설정 값과 사용자로부터 선택된 설정 값의 차이에 따른 점수 관계를 나타낼 수 있다.
실시 예에서, 상기 설정 값은 상기 사용자 디스플레이 장치의 스크린에 대한 밝기(brightness), 대조도(contrast), 감마(gamma), 백라이트 밝기, 선명도(sharpness), 색상(Color), 색조(tint) 중 적어도 하나에 대한 값을 포함할 수 있다.
실시 예에서, 상기 방법은 스크린 정보를 상기 사용자 디스플레이 장치에 기 저장된 매핑 테이블로부터 추출하여 획득하는 단계를 더 포함할 수 있다.
실시 예에서, 상기 렌더링 정보는 상기 비디오에 대한 메타데이터로부터 추출한 HDR(High Dynamic Range) 정보로부터 획득한 톤 매핑 그래프의 통계적 특성으로부터 획득될 수 있다.
실시 예에서, 상기 톤 매핑 그래프는 프레임 별로 획득될 수 있다.
실시 예에서, 상기 방법은 상기 프레임의 품질 점수를 소정 시간 동안 누적하여 시계열 데이터를 획득하고, 상기 시계열 데이터를 스무딩하여 상기 비디오에 대한 최종 품질 점수를 획득하는 단계 및 상기 품질 점수를 이용하여 상기 비디오의 화질을 처리하는 단계를 더 포함할 수 있다.
실시 예에 따른 비디오 품질 평가 장치는 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 평가자 디스플레이 장치를 이용하여 획득한 평균 의견 점수(Mean Opinion Score, MOS)를 학습한 뉴럴 네트워크를 이용하여 상기 프레임에 포함된 복수의 서브 영역 별 모델 기반 품질 점수를 획득하고, 렌더링 정보, 및 사용자 디스플레이 장치에 포함된 스크린에 대한 스크린 정보 중 적어도 하나로부터 가중치 매트릭스를 획득하고, 상기 서브 영역 별로 획득한 상기 모델 기반 품질 점수에 상기 획득한 가중치 매트릭스를 적용하고, 상기 가중치 매트릭스가 적용된 상기 서브 영역 별로 획득한 상기 모델 기반 품질 점수에 기반하여 상기 프레임의 품질 점수를 획득할 수 있다.
실시 예에 따른 컴퓨터로 판독 가능한 기록 매체는 평가자 디스플레이 장치를 이용하여 획득한 평균 의견 점수(Mean Opinion Score, MOS)를 학습한 뉴럴 네트워크를 이용하여, 프레임에 포함된 복수의 서브 영역 별 모델 기반 품질 점수를 획득하는 단계, 렌더링 정보, 및 사용자 디스플레이 장치에 포함된 스크린에 대한 스크린 정보 중 적어도 하나로부터 가중치 매트릭스를 획득하는 단계, 상기 서브 영역 별 모델 기반 품질 점수에, 상기 획득한 가중치 매트릭스를 적용하는 단계 및 상기 가중치 매트릭스가 적용된 상기 서브 영역 별 모델 기반 품질 점수에 기반하여 상기 프레임의 품질 점수를 획득하는 단계를 포함하는, 비디오 품질 평가 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체일 수 있다.
일 실시 예에 따른 비디오 품질 평가 방법 및 장치는 모델 기반 품질 점수에 가중치 매트릭스를 적용하여 프레임의 품질을 보다 정확히 평가할 수 있다.
일 실시 예에 따른 비디오 품질 평가 방법 및 장치는 디스플레이 장치의 스크린 특성을 고려하여 프레임의 품질을 평가할 수 있다.
일 실시 예에 따른 비디오 품질 평가 방법 및 장치는 콘텐츠에 대한 렌더링 특성을 고려하여 프레임의 품질을 평가할 수 있다.
도 1은 실시 예에 따라, 사용자 디스플레이 장치(110)가 비디오 영상의 품질 점수를 획득하고, 이에 따라 처리된 화질을 갖는 영상을 화면에 출력하는 것을 설명하기 위한 도면이다.
도 2는 실시 예에 따라, 비디오 품질 평가 장치가 모델 기반 품질 점수를 업데이트하는 것을 설명하기 위한 도면이다.
도 3은 실시 예에 따른 스크린 모델 매핑 정보를 설명하기 위한 도면이다.
도 4는 실시 예에 따른 스크린 설정 매핑 정보를 설명하기 위한 도면이다.
도 5는 실시 예에 따른 스크린 정보를 설명하기 위한 도면이다.
도 6은 실시 예에 따른 렌더링 정보를 설명하기 위한 도면이다.
도 7은 실시 예에 따른 비디오 품질 평가 장치(700)의 내부 블록도이다.
도 8은 도 7의 프로세서(910)의 내부 블록도이다.
도 9는 실시 예에 따른 사용자 디스플레이 장치(900)의 내부 블록도이다.
도 10은 실시 예에 따른 사용자 디스플레이 장치(1000)의 내부 블록도이다.
도 11은 실시 예에 따른 비디오 품질 평가 방법을 도시한 순서도이다.
도 12는 실시 예에 따른 스크린 정보 획득 과정을 도시한 순서도이다.
도 13은 실시 예에 따른 렌더링 정보 획득 과정을 도시한 순서도이다.
도 2는 실시 예에 따라, 비디오 품질 평가 장치가 모델 기반 품질 점수를 업데이트하는 것을 설명하기 위한 도면이다.
도 3은 실시 예에 따른 스크린 모델 매핑 정보를 설명하기 위한 도면이다.
도 4는 실시 예에 따른 스크린 설정 매핑 정보를 설명하기 위한 도면이다.
도 5는 실시 예에 따른 스크린 정보를 설명하기 위한 도면이다.
도 6은 실시 예에 따른 렌더링 정보를 설명하기 위한 도면이다.
도 7은 실시 예에 따른 비디오 품질 평가 장치(700)의 내부 블록도이다.
도 8은 도 7의 프로세서(910)의 내부 블록도이다.
도 9는 실시 예에 따른 사용자 디스플레이 장치(900)의 내부 블록도이다.
도 10은 실시 예에 따른 사용자 디스플레이 장치(1000)의 내부 블록도이다.
도 11은 실시 예에 따른 비디오 품질 평가 방법을 도시한 순서도이다.
도 12는 실시 예에 따른 스크린 정보 획득 과정을 도시한 순서도이다.
도 13은 실시 예에 따른 렌더링 정보 획득 과정을 도시한 순서도이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본 명세서, 특히, 특허 청구 범위에서 사용된 “상기” 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시 예에서" 또는 "일 실시 예에서" 등의 어구는 반드시 모두 동일한 실시 예를 가리키는 것은 아니다.
본 개시의 일부 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
또한, 명세서에서 “사용자”라는 용어는 비디오 품질 평가 장치를 이용하여 비디오 품질 평가 장치의 기능 또는 동작을 제어하는 사람을 의미하며, 시청자, 소비자, 관리자 또는 설치 기사를 포함할 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 실시 예에 따라, 사용자 디스플레이 장치(110)가 비디오 영상의 품질 점수를 획득하고, 이에 따라 처리된 화질을 갖는 영상을 화면에 출력하는 것을 설명하기 위한 도면이다.
도 1을 참조하면, 사용자 디스플레이 장치(110)는 영상을 처리하여 출력할 수 있는 전자 장치일 수 있다. 사용자 디스플레이 장치(110)는 고정형 또는 이동형일 수 있으며, 디지털 방송 수신이 가능한 디지털 TV일 수 있으나, 이에 한정되지 않으며, 디스플레이를 포함하는 다양한 형태의 전자 장치로 구현될 수 있다.
사용자 디스플레이 장치(110)는 데스크톱, 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 화상 전화기, 전자 북 리더기(e-book reader), 랩톱 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 디지털 카메라, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 캠코더, 네비게이션, 웨어러블 장치(wearable device), 스마트 와치(smart watch), 홈 네트워크 시스템, 보안 시스템, 의료 장치 중 적어도 하나를 포함할 수 있다.
사용자 디스플레이 장치(110)는 평면(flat) 디스플레이 장치뿐만 아니라, 곡률을 가지는 화면인 곡면(curved) 디스플레이 장치 또는 곡률을 조정 가능한 가변형(flexible) 디스플레이 장치로 구현될 수 있다. 사용자 디스플레이 장치(110)의 출력 해상도는 예를 들어, HD(High Definition), Full HD, Ultra HD, 또는 Ultra HD 보다 더 선명한 해상도를 포함할 수 있다.
사용자 디스플레이 장치(110)는 비디오를 출력할 수 있다. 비디오는 복수의 프레임들로 구성될 수 있다. 비디오는, 콘텐츠 프로바이더들(contents providers)이 제공하는 텔레비전 프로그램이나 VOD 서비스를 통한 각종 영화나 드라마 등의 아이템을 포함할 수 있다. 콘텐츠 프로바이더는 소비자에게 비디오를 포함한 각종 콘텐츠를 제공하는 지상파 방송국이나 케이블 방송국, 또는 OTT 서비스 제공자, IPTV 서비스 제공자를 의미할 수 있다.
비디오는 캡쳐 된 후 압축되어 사용자 디스플레이 장치(110)로 전송되고, 사용자 디스플레이 장치(110)에 의해서 복원되어 출력된다. 비디오를 캡처하는데 사용되는 기기의 물리적 특성의 한계와 제한된 대역폭 등으로 인해 정보가 손실되면서 영상의 왜곡이 발생하게 된다. 왜곡된 비디오는 품질이 저하될 수 있다.
실시 예에서, 사용자 디스플레이 장치(110)는 비디오 품질 평가 장치를 포함할 수 있다. 비디오 품질 평가 장치는 무 기준 화질 평가 방식으로 비디오의 화질을 객관적으로 평가할 수 있다. 비디오 품질 평가 장치는 적어도 하나의 하드웨어 칩 형태로 제작되어 사용자 디스플레이 장치(110)에 탑재되거나, 또는 칩 형태나 전자 장치 형태로 사용자 디스플레이 장치(110)에 포함될 수 있다. 또는 비디오 품질 평가 장치는 사용자 디스플레이 장치(110)에서 소프트웨어 모듈로 구현될 수도 있다.
실시 예에 따라, 비디오 품질 평가 장치를 포함하는 사용자 디스플레이 장치(110)는 비디오 품질 평가 방법을 수행할 수 있다.
사용자 디스플레이 장치(110)는 비디오에 포함된 입력 프레임(120)을 화면으로 출력하기 전에 비디오에 대한 품질 평가를 수행할 수 있다. 사용자 디스플레이 장치(110)는 비디오에 포함된 복수의 프레임들 각각에 대해 점수를 획득할 수 있다.
실시 예에서, 사용자 디스플레이 장치(110)는 인공지능 기술(Artificial Intelligence, AI)을 이용하여 프레임의 품질 점수를 획득할 수 있다. 사용자 디스플레이 장치(110)는 입력 프레임(120)을 복수개의 서브 영역으로 나누고, 적어도 하나의 뉴럴 네트워크를 이용하여 각 서브 영역 별로 모델 기반 품질 점수를 획득할 수 있다.
AI 기술은 기계학습(딥 러닝) 및 기계 학습을 활용한 요소 기술들로 구성될 수 있다. AI 기술은 알고리즘을 활용하여 구현될 수 있다. 여기서, AI 기술을 구현하기 위한 알고리즘 또는 알고리즘의 집합을 신경망(Neural Network, 뉴럴 네트워크)이라 한다. 신경망은 입력 데이터를 입력 받고, 분석 및 분류를 위한 연산을 수행하여, 결과 데이터를 출력할 수 있다.
뉴럴 네트워크는 연산을 수행하는 내부의 계층이 복수 개일 수 있다. 뉴럴 네트워크는 각 계층들로부터 서로 다른 특징 맵(feature map)을 획득할 수 있다.
실시 예에서, 뉴럴 네트워크는 비디오 품질 평가를 위해 사전 훈련 된 모델일 수 있다. 뉴럴 네트워크는 평균 의견 점수(Mean Opinion Score, MOS)를 학습한 뉴럴 네트워크일 수 있다. MOS는 사람의 주관적 평가를 통해 획득되는 것으로, 다수의 사람들이 평가한 비디오 품질에 대한 개별 매개 변수를 종합하여 획득한 평균 점수를 의미할 수 있다.
일반적으로 MOS는 복수의 사람들이 하나의 고정된 디스플레이 장치를 이용하여 비디오의 품질을 평가함으로써 획득된다. 뉴럴 네트워크는 고정된 사양의 디스플레이 장치를 이용하여 획득된 점수를 학습하게 된다. 이하, MOS가 획득될 때 이용된 고정된 디스플레이 장치를 평가자 디스플레이 장치라고 부르기로 한다.
그러나, 실제 사용자나 소비자가 이용하는 디스플레이 장치, 즉, 도 1에 도시된 사용자 디스플레이 장치(110)는 평가자 디스플레이 장치와는 스크린의 사양, 즉, 스크린 모델이 서로 다를 수 있다.
사용자 디스플레이 장치(110)와 평가자 디스플레이 장치의 스크린이 서로 다른 사양을 갖는 경우, 서로 다른 디스플레이 장치를 이용하여 획득되는 품질 점수는 달라질 수 있다. 따라서, 사용자 디스플레이 장치(110)가 비디오 품질 평가 장치를 포함하여 비디오 품질 평가를 수행하는 경우, 평가자 디스플레이 장치를 이용하여 획득된 점수를 학습 데이터로 이용하여 훈련한 뉴럴 네트워크를 이용하여 획득한 프레임의 품질 점수는 사용자 디스플레이 장치(110)를 이용하여 획득한 품질 점수와 다를 수 있다.
실시 예에서, 사용자 디스플레이 장치(110)에는 평가자 디스플레이 장치의 모델과 사용자 디스플레이 장치(110)의 모델이 달라 발생하는 품질 평가 점수의 관계를 나타내는 스크린 모델 매핑 정보가 미리 저장되어 있을 수 있다. 즉, 제조사는 복수의 모델 별 사용자 디스플레이 장치 각각에 대해서 평가자 디스플레이 장치와 각 모델 별 사용자 디스플레이 장치에서의 평가 점수를 연관 짓고 이를 스크린 모델 매핑 정보로 생성하여 이를 각 모델 별 사용자 디스플레이 장치에 저장할 수 있다.
일반적으로, 사용자는 밝기나 컨트라스트 등과 같은 다양한 파라미터들을 이용하여 스크린을 조정할 수 있다. 즉, 사용자는 사용자 디스플레이 장치(110)에 포함된 스크린에 대한 다양한 설정 파라미터를 원하는 값으로 변경하여 이용할 수 있다. 제조사는 스크린 모델 매핑 정보를 생성하기 위해, 복수의 모델 별 사용자 디스플레이 장치 각각을 이용하여 품질 평가 점수를 획득하는 데, 이 때 스크린 설정 파라미터 값을 디폴트 값으로 설정한 상태에서 해당 모델의 디스플레이 장치를 통해 품질 평가 점수를 획득할 수 있다. 그러나, 사용자가 사용자 디스플레이 장치(110)의 스크린 설정 파라미터 값을 디폴트가 아닌 다른 값으로 변경하는 경우, 예컨대, 사용자가 스크린의 밝기나 컨트라스트 등을 디폴트 값이 아닌 다른 값으로 변경한 경우, 변경된 파라미터 값을 갖는 스크린을 통해 출력되는 비디오에 대한 품질 평가 점수는 디폴트 값으로 설정된 상태일 때 출력되는 비디오에 대한 품질 평가 점수가 다를 수 있다.
실시 예에서, 제조사는 사용자 디스플레이 장치(110)의 스크린 설정 파라미터 값에 따른 품질 평가 점수를 획득할 수 있다. 즉, 제조사는 스크린 설정 파라미터 값을 변경하면서, 평가자들이 변경된 파라미터 값을 갖는 스크린을 통해 출력되는 비디오를 평가하도록 할 수 있다. 제조사는 각 파라미터 별로, 또한 동일 파라미터에서의 파라미터 값 별로 비디오 평가 점수를 획득하고, 이로부터 디폴트 값과 변경된 값에 따른 평가 점수의 차이를 나타내는 스크린 설정 매핑 정보를 생성할 수 있다. 제조사는 스크린 설정 매핑 정보를 사용자 디스플레이 장치(110)에 저장할 수 있다.
실시 예에서, 사용자 디스플레이 장치(110)에는 이러한 스크린 모델에 따른 매핑 정보와 스크린 설정에 따른 매핑 정보 중 적어도 하나를 포함하는 스크린 정보가 메모리에 저장되어 있을 수 있다. 다른 실시 예에서, 사용자 디스플레이 장치(110)는 외부 통신망(미도시) 등을 통해 외부 서버로부터 사용자 디스플레이 장치(110)에 맞는 스크린 정보를 다운로드 받아 이를 이용할 수도 있다.
실시 예에서, 사용자 디스플레이 장치(110)는 스크린 정보를 이용하여 가중치 매트릭스를 생성할 수 있다.
실시 예에서, 사용자 디스플레이 장치(110)는 가중치 매트릭스를 생성하는데 있어 콘텐츠에 대한 렌더링 정보를 이용할 수 있다.
실시 예에서, 사용자 디스플레이 장치(110)는 HDR(High Dynamic Range) 정보로부터 렌더링 정보를 획득할 수 있다. HDR은 표현할 수 있는 가장 어두운 정도와 가장 밝은 정도의 차이, 즉 명암비를 말한다. HDR의 범위가 클수록 어두운 정도와 밝은 정도의 차이가 큰 이미지를 표현할 수 있다. HDR 정보는 톤 매핑(Tone Mapping) 그래프를 포함할 수 있다. 톤 매핑은 디스플레이 장치가 표현할 수 있는 디스플레이 특성이 HDR 콘텐츠의 특성과 일치하지 않을 때 이를 매핑하기 위해 사용될 수 있다.
실시 예에서, 사용자 디스플레이 장치(110)는 콘텐츠를 렌더링할 때 이용되는 HDR 정보를, 품질 평가 점수 획득에 이용할 수 있다. 사용자 디스플레이 장치(110)는 메타데이터로부터 HDR 정보를 획득하고 이로부터 톤 매핑 그래프를 획득할 수 있다. 톤 매핑 그래프는 HDR 정보에 포함될 수도 있고, 또는 HDR 정보를 이용하여 생성될 수도 있다.
사용자 디스플레이 장치(110)는 톤 매핑 그래프의 분포 특징을 분석하고, 이로부터 렌더링 정보를 획득할 수 있다.
실시 예에서, 사용자 디스플레이 장치(110)는 스크린 정보 및 렌더링 정보 중 적어도 하나를 이용하여, 가중치 매트릭스를 생성할 수 있다. 사용자 디스플레이 장치(110)는 모델 기반 품질 점수에 가중치 매트릭스를 적용하여, 서브 영역 별로 가중치 값이 적용된 점수를 획득할 수 있다.
이와 같이, 실시 예에 의하면, 사용자 디스플레이 장치(110)는 사용자 디스플레이 장치(110)의 스크린에 대한 스크린 정보를 이용하여 가중치를 생성함으로써, 평가자 디스플레이 장치가 아닌, 사용자 디스플레이 장치(110)에 맞는 품질 점수를 획득할 수 있다.
실시 예에 의하면, 사용자 디스플레이 장치(110)는 콘텐츠에 대한 렌더링 정보를 이용하여 가중치를 생성함으로써, 콘텐츠의 렌더링 특성에 보다 적합한 품질 점수를 획득할 수 있다.
사용자 디스플레이 장치(110)는 각 프레임 별로 획득한 점수를 소정 프레임들에 대해 소정 시간 동안 누적하여 복수의 프레임들을 포함하는 비디오에 대한 최종 품질 점수를 획득할 수 있다.
실시 예에서, 사용자 디스플레이 장치(110)는 최종 품질 점수에 따라 비디오에 포함된 프레임들에 대해 화질 처리를 수행할 수 있다. 도 1에서, 사용자 디스플레이 장치(110)는 최종 품질 점수를 기반으로, 입력 프레임(120)을 출력 프레임(130)과 같이 향상시킬 수 있다. 사용자 디스플레이 장치(110)는 출력 프레임(130)을 디스플레이를 통해 출력할 수 있다.
다른 실시 예에서, 비디오 품질 평가 장치는 사용자 디스플레이 장치(110)에 포함되지 않고, 사용자 디스플레이 장치(110)와 별개의 장치로 구현될 수도 있다. 즉, 사용자 디스플레이 장치(110)는 통신망(미도시)를 통해 비디오 품질 평가 장치와 통신할 수 있다. 이 경우, 사용자 디스플레이 장치(110)는 비디오를 통신망을 통해 외부의 비디오 품질 평가 장치로 전송할 수 있다. 비디오 품질 평가 장치는 사용자 디스플레이 장치(110)로부터 복수의 프레임들을 포함하는 비디오를 수신하고, 평가자 디스플레이 장치를 이용하여 획득한 평균 의견 점수(Mean Opinion Score, MOS)를 학습한 뉴럴 네트워크를 이용하여, 프레임에 포함된 복수의 서브 영역 별 모델 기반 품질 점수를 획득할 수 있다.
비디오 품질 평가 장치는 사용자 디스플레이 장치(110)로부터 사용자 디스플레이 장치(110)에 포함된 스크린에 대한 스크린 정보를 수신할 수 있다. 스크린 정보는 스크린 모델 매핑 정보와 스크린 설정 매핑 정보 중 적어도 하나를 포함할 수 있다. 비디오 품질 평가 장치는 수신한 스크린 정보와, 콘텐츠와 함께 전송된 렌더링 정보 중 적어도 하나로부터 가중치 매트릭스를 획득하고, 이를 서브 영역 별 모델 기반 품질 점수에 적용할 수 있다.
비디오 품질 평가 장치는 가중치 매트릭스가 적용된 서브 영역 별 모델 기반 품질 점수에 기반하여 프레임의 품질 점수를 획득하고, 복수의 프레임들에 대한 시계열 데이터를 누적하여 전체 비디오에 대한 품질 점수를 획득할 수 있다. 비디오 품질 평가 장치는 획득한 점수를 통신망을 통해 사용자 디스플레이 장치(110)로 전송할 수 있다. 사용자 디스플레이 장치(110)는 비디오 품질 평가 장치로부터 수신한 점수에 기반하여, 비디오의 화질을 처리하여 출력할 수 있다.
또는 비디오 품질 평가 장치는 획득한 점수를 기반으로 비디오의 화질을 직접 처리한 후 이를 사용자 디스플레이 장치(110)로 전송할 수도 있다. 사용자 디스플레이 장치(110)는 비디오 품질 평가 장치로부터 수신한 개선된 화질의 비디오를 출력할 수 있다.
이와 같이, 실시 예에 의하면, 비디오 품질 평가 장치는 사용자 디스플레이 장치(110) 내부에 구비되거나 또는 사용자 디스플레이 장치(110) 외부에 구비되어 사용자 디스플레이 장치(110)에 포함된 스크린에 대한 스크린 정보와 콘텐츠에 대한 렌더링 정보 중 적어도 하나를 이용하여 획득한 가중치 매트릭스를 이용하여 모델 기반 품질 점수를 수정함으로써, 사용자 디스플레이 장치(110)의 스크린 사양에 보다 적합하고, 콘텐츠의 렌더링 특성을 보다 잘 반영한 품질 점수를 획득할 수 있다.
도 2는 실시 예에 따라, 비디오 품질 평가 장치가 모델 기반 품질 점수를 업데이트하는 것을 설명하기 위한 도면이다.
실시 예에서, 비디오 품질 평가 장치는 비디오의 품질을 평가하는 장치로, 사용자가 이용하는 사용자 디스플레이 장치를 통해 출력되는 비디오의 품질을 평가하는 장치일 수 있다. 비디오 품질 평가 장치는 사용자 디스플레이 장치에 포함될 수도 있고, 또는 사용자 디스플레이 장치와는 별개로 통신망을 통해 사용자 디스플레이 장치와 결합되어 있을 수도 있다.
도 2를 참조하면, 비디오 품질 평가 장치는 복수의 프레임(210)을 포함하는 비디오를 획득할 수 있다. 비디오 품질 평가 장치는 복수의 프레임(210) 중 하나의 프레임(220)을 N개의 서브 영역(SB1, SB2,…, SBn)을 획득할 수 있다.
비디오 품질 평가 장치는 뉴럴 네트워크(230)를 이용하여, 각 서브 영역 별로 모델 기반 품질 점수를 획득할 수 있다.
뉴럴 네트워크(230)는 입력 데이터에서 특징을 추출하는 알고리즘, 또는 알고리즘의 집합, 알고리즘의 집합을 실행하는 소프트웨어 및/또는 알고리집의 집합을 실행하는 하드웨어일 수 있다. 뉴럴 네트워크(230)는 2개 이상의 히든 레이어들을 포함하는 딥 뉴럴 네트워크(DNN)일 수 있다. 뉴럴 네트워크(230)는 입력된 데이터가 히든 레이어들을 통과하여 처리됨으로써, 처리된 데이터가 출력되는 구조를 포함할 수 있다. 뉴럴 네트워크(230)의 각 레이어들은 적어도 하나의 노드로 표현되고, 계층 간 노드들은 엣지로 연결되어 있다.
뉴럴 네트워크(230)는 입력 데이터를 분석 및 분류하여 입력된 데이터로부터 이미지의 품질 평가 점수를 추출하도록 학습된 모델일 수 있다. 실시 예에서, 뉴럴 네트워크(230)는 평가자 디스플레이 장치를 이용하여 획득한 평균 의견 점수(Mean Opinion Score, MOS)를 학습한 모델일 수 있다.
도 2에서, 제1 테이블(240)은 설명의 편의를 위한 것으로, 뉴럴 네트워크(230)가 각 서브 영역 별로 획득한 모델 기반 품질 점수를 각 서브 영역 위에 표시한 표이다.
실시 예에서, 비디오 품질 평가 장치는 가중치 매트릭스(250)를 생성할 수 있다. 비디오 품질 평가 장치는 스크린 정보 및 렌더링 정보 중 적어도 하나로부터 가중치 매트릭스(250)를 생성할 수 있다.
스크린 정보는 스크린 모델 매핑 정보 및 스크린 설정 매핑 정보 중 적어도 하나를 포함할 수 있다. 스크린 정보는 제조사에 의해 미리 제작되어 사용자 디스플레이 장치에 저장되어 있을 수 있다.
스크린 모델 차이는 스크린의 사이즈 및 해상도 중 적어도 하나의 차이를 의미할 수 있다. 스크린 모델 매핑 정보는 평가자 디스플레이 장치의 스크린 모델과 사용자 품질 평가 장치의 스크린 모델 차이에 따른 점수 관계를 포함할 수 있다.
스크린 설정 매핑 정보는 사용자 디스플레이 장치의 스크린에 대한 디폴트 설정 값과 사용자로부터 선택된 설정 값의 차이에 따른 점수 관계를 나타낼 수 있다.
비디오 품질 평가 장치는 비디오와 함께 수신된 메타데이터로부터 HDR 정보를 획득할 수 있다. 비디오 품질 평가 장치는 HDR 정보로부터 톤 매핑 그래프를 획득하고, 톤 매핑 그래프의 통계적 특성으로부터 렌더링 정보를 획득할 수 있다.
비디오 품질 평가 장치는 스크린 정보와 렌더링 정보 중 적어도 하나를 이용하여 가중치 매트릭스(250)를 생성하고, 이를 모델 기반 품질 점수에 적용하여, 서브 영역 별 품질 점수를 업데이트할 수 있다.
도 2에서, 제2 테이블(260)은 뉴럴 네트워크(230)가 각 서브 영역 별로 획득한 모델 기반 품질 점수에 가중치 매트릭스(250)를 적용하여 획득한, 업데이트된 품질 점수를 표시한 표이다.
이와 같이, 실시 예에 의하면, 비디오 품질 평가 장치는 사용자 디스플레이 장치의 스크린 특성 및 콘텐츠의 렌더링 특성을 고려하여 가중치 매트릭스를 생성하고 이를 모델 기반 품질 점수에 적용함으로써 보다 정확히 비디오에 대한 품질 평가 점수를 획득할 수 있다.
도 3은 실시 예에 따른 스크린 모델 매핑 정보를 설명하기 위한 도면이다.
도 3을 참조하면, 좌측에는 평가자 디스플레이 장치(310)가 도시되어 있고, 우측에는 사용자 디스플레이 장치(320)가 도시되어 있다.
복수의 평가자들(311)은 평가자 디스플레이 장치(310)를 이용하여 비디오를 시청하고 비디오 품질을 평가할 수 있다. 복수의 평가자들(311)이 평가한 점수는 MOS로 환산되어 뉴럴 네트워크의 학습 데이터로 이용될 수 있다.
사용자 디스플레이 장치(320)는 MOS를 학습한 뉴럴 네트워크를 이용하여, 비디오에 대해 모델 기반 품질 점수를 획득할 수 있다.
평가자 디스플레이 장치(310)와 사용자 디스플레이 장치(320)에 포함된 스크린은 서로 다른 모델일 수 있다. 스크린은 모델 별로 화면 사이즈 또는 해상도가 다르므로, 평가자 디스플레이 장치(310)에 포함된 스크린과 사용자 디스플레이 장치(320)에 포함된 스크린은 사이즈 및/또는 해상도가 서로 다를 수 있다.
사용자 디스플레이 장치(320)와 평가자 디스플레이 장치(310)의 스크린 사이즈가 다른 경우 동일한 비디오를 시청하더라도 그에 대한 평가 점수는 달라질 수 있다. 일반적으로 화면 사이즈가 클수록 영상에 포함된 왜곡이 더 잘 보이게 되고, 화면 사이즈가 작을수록 왜곡이 덜 인식되기 때문이다.
또한, 사용자 디스플레이 장치(320)와 평가자 디스플레이 장치(310)의 스크린 해상도가 다른 경우 동일한 스크린 사이즈를 통해 비디오를 시청하더라도 그에 대한 평가 점수는 달라질 수 있다. 해상도가 클수록 스크린에 포함된 픽셀 수가 많아져 영상이 더 깨끗하게 보이게 되므로, 사람 눈이 왜곡을 더 민감하게 인식하기 때문이다.
따라서, 평가자 디스플레이 장치(310)를 이용하여 획득한 점수를 학습 데이터로 이용하여 훈련한 뉴럴 네트워크가 획득한 프레임의 품질 점수는 스크린의 사이즈 및/또는 해상도가 다른 사용자 디스플레이 장치(320)에서 평가하는 품질 점수와 다를 수 있다.
실시 예에서, 사용자 디스플레이 장치(320)에는 평가자 디스플레이 장치(310)의 모델과 사용자 디스플레이 장치(320)의 모델이 달라 발생하는 품질 평가 점수의 관계가 미리 저장되어 있을 수 있다. 즉, 사용자 디스플레이 장치(320)를 제조하는 제조사는, 복수의 평가자들이 평가자 디스플레이 장치(310)를 이용하여 비디오 품질 점수를 산출하도록 하고, 또한 평가자 디스플레이 장치(310)와는 다른 모델의 사용자 디스플레이 장치(320)를 이용하여 비디오의 품질 점수를 산출하도록 한 후, 평가자 디스플레이 장치(310)에서의 품질 점수와 사용자 디스플레이 장치(320)에서의 품질 점수 간의 관계를 매핑하는 스크린 모델 매핑 정보를 생성할 수 있다.
스크린 모델 매핑 정보는, 스크린 모델에 따른 평균 의견 점수 간 관련성을 나타낸 것으로, 매핑 함수이거나 또는 매핑 테이블 형태일 수 있다. 제조사는 스크린 모델 매핑 정보를 사용자 디스플레이 장치(320)에 저장할 수 있다.
예컨대, 복수의 평가자들이 평가자 디스플레이 장치(310)를 이용하여 A, B, C 세 개의 비디오 각각에 대해 평가하여 획득한 평균 의견 점수가 각각 4점, 2.8점, 3.2점이고, 평가자 디스플레이 장치(310)와는 다른 모델을 갖는 사용자 디스플레이 장치(320)를 이용하여 동일한 A, B, C 세개의 비디오 각각에 대해 평가하여 획득한 평균 의견 점수가 각각 4.2, 3.1, 3.3점인 경우를 가정한다. 제조사는 평가자 디스플레이 장치(310)와 사용자 디스플레이 장치(320) 간의 점수 관계를 나타내는 매핑 함수 또는 매핑 테이블을 생성하고 이를 사용자 디스플레이 장치(320)에 저장할 수 있다.
제조사는 각각의 사용자 디스플레이 장치 모델 별로 동일한 방법을 수행하여, 평가자 디스플레이 장치(310)와 각 모델 별 사용자 디스플레이 장치에서의 평가 점수를 연관 짓는 스크린 모델 매핑 정보를 생성하고 이를 각 모델의 디스플레이 장치에 저장할 수 있다.
사용자 디스플레이 장치(320)는 스크린 모델 매핑 정보를 이용하여 가중치 매트릭스를 생성하고 이를 모델 기반 품질 점수에 적용함으로써 품질 점수를 업데이트할 수 있다. 사용자 디스플레이 장치(320)는 업데이트된 품질 점수에 따라 전체 프레임의 품질 점수를 획득하고, 획득한 점수에 기반하여 프레임/비디오의 화질을 처리하여 사용자(321)에게 출력할 수 있다.
도 4는 실시 예에 따른 스크린 설정 매핑 정보를 설명하기 위한 도면이다.
사용자 디스플레이 장치와 평가자 디스플레이 장치의 스크린이 서로 같은 사양을 갖는 경우, 두 장치를 이용하여 획득되는 품질 점수는 같을 수 있다. 그러나, 평가자 디스플레이 장치의 스크린 설정 파라미터 값과 사용자 디스플레이 장치의 스크린 설정 파라미터 값이 다른 값을 갖는 경우, 평가자 디스플레이 장치를 이용하여 획득된 점수를 학습 데이터로 이용하여 훈련한 뉴럴 네트워크가 획득한 프레임의 품질 점수는 사용자 디스플레이 장치에서 평가하는 품질 점수와 다를 수 있다.
또한, 전술한 바와 같이 사용자 디스플레이 장치와 평가자 디스플레이 장치의 스크린이 서로 다른 사양을 갖는 경우, 제조사는 스크린 모델 매핑 정보를 생성하기 위해 사용자 디스플레이 장치를 이용하여 비디오 품질 점수를 획득하게 된다. 제조사는 사용자 디스플레이 장치의 스크린 설정 값을 디폴트 값으로 설정한 상태로 비디오 품질 점수를 획득할 수 있다. 이후, 사용자가 사용자 디스플레이 장치의 스크린 설정 값을 디폴트 값이 아닌 다른 값으로 변경하여 이용하는 경우, 서로 다른 스크린 설정 파라미터 값을 갖는 사용자 디스플레이 장치에서 평가하는 품질 점수는 다를 수 있다.
도 4에는 사용자 디스플레이 장치의 스크린에 출력되는 OSD(On Screen Display) 메뉴(410)가 도시되어 있다. 사용자는 OSD 메뉴(410)를 이용하여 스크린 설정 파라미터 값을 변경할 수 있다. 사용자는 복수의 스크린 설정 파라미터들 중 원하는 파라미터를 선택하고, 선택된 파라미터의 값을 원하는 값으로 변경할 수 있다.
스크린 설정 파라미터는 사용자 디스플레이 장치의 스크린에 대한 밝기(brightness), 대조도(contrast), 감마(gamma), 백라이트 밝기, 선명도(sharpness), 색상(Color), 색조(tint) 중 적어도 하나를 포함할 수 있다.
이 경우, 변경된 설정 파라미터 값을 갖는 스크린을 이용하여 평가한 품질 점수는, 설정 파라미터가 디폴트 값일 때 획득한 품질 점수와 서로 다를 수 있다. 즉, 스크린 설정 파라미터 값이 바뀌는 경우, 사용자가 보는 비디오는 화질 느낌이 달라질 수 있다. 예컨대, 사용자가 스크린 설정 파라미터 중 밝기의 값을 디폴트 값보다 더 어두운 값으로 설정한 경우, 어두운 스크린을 통해 출력되는 비디오에서는 왜곡이 잘 보이지 않기 때문에 이 때의 비디오 평가 점수는 밝기 값이 디폴트 값일 때의 비디오 평가 점수보다 더 높아질 수 있다.
실시 예에서, 제조사는 평가자들이 동일한 모델을 갖는 사용자 디스플레이 장치를 이용하여 비디오 품질을 평가할 때, 스크린 설정 파라미터가 디폴트 값으로 고정된 상태에서 품질을 평가하도록 할 수 있다. 또한, 제조사는 스크린 설정 파라미터가 디폴트 값이 아닌 다른 값을 가질 때 품질을 평가하도록 할 수 있다. 제조사는 이러한 파라미터 값의 차이에 따른 품질 평가 점수 차이를 매핑 함수나 매핑 테이블로 저장할 수 있다.
제조사는 각 파라미터 별로, 또한 동일한 파라미터에서도 그 파라미터의 설정 값들 별로, 각각 품질 점수를 획득하고, 이로부터 디폴트 값과 다른 설정 값에 따른 평가 점수의 차이를 관련 짓는 스크린 설정 매핑 정보를 생성하여 이를 사용자 디스플레이 장치에 저장할 수 있다.
도 5는 실시 예에 따른 스크린 정보를 설명하기 위한 도면이다.
스크린 정보는 스크린 모델 매핑 정보 및 스크린 설정 매핑 정보 중 적어도 하나를 포함할 수 있다. 실시 예에서, 스크린 정보는 스크린에 포함된 서브 영역 별 점수를 더 포함할 수 있다.
도 5를 참조하면, 사용자 디스플레이 장치는 다양한 스크린 사이즈를 가질 수 있다. 도 5에는 세 개의 스크린이 도시되어 있으며 제1 스크린(510), 제2 스크린(520) 및 제3 스크린(530) 순서대로 사이즈가 크다.
일반적으로, 사람이 비디오를 볼 때 비디오에 포함된 왜곡을 인식하는 정도는 화면의 위치에 따라 달라질 수 있다. 사람은 보통 화면의 중앙 부분을 가장자리 부분보다 더 많이 보는 경향이 있다. 따라서, 왜곡의 정도가 같더라도 스크린의 중앙에 왜곡이 있는 경우와 스크린의 가장자리 부분에 왜곡이 있는 경우, 사람은 왜곡의 정도를 다르게 인식하게 된다.
또한, 사람은 화면의 사이즈가 소정 크기 이상 큰 경우에는 중앙 부분을 위주로 보나, 화면의 사이즈가 크지 않은 경우에는 전체 영역을 한꺼번에 보는 경향이 있다.
실시 예에서, 제조사는 사용자 디스플레이 장치(110)에 스크린 정보를 저장할 때, 스크린 사이즈가 소정 크기 이상인 스크린에 대해서는 스크린 정보에 서브 영역 별 점수를 더 포함시킬 수 있다.
이를 위해, 제조사는 복수의 평가자들이 사용자 디스플레이 장치를 이용하여 비디오의 품질 점수를 산출할 때, 프레임의 각 서브 영역 별로 왜곡이 있는 비디오들을 출력할 수 있다. 즉, 제조사는 프레임의 아래 부분만 왜곡이 포함된 비디오와 프레임의 왼쪽 부분만 왜곡이 포함된 비디오 등과 같이, 프레임, 또는, 스크린에 포함된 복수의 서브 영역 각각에서만 왜곡이 포함된 비디오를 평가자에게 보여주고, 그에 따른 점수를 획득할 수 있다.
예컨대, 제조사는 도 5에 도시된 스크린 중 제2 스크린(520)을 이용하여 비디오의 품질 점수를 산출할 때, 제2 스크린(520)을 아홉 개의 서브 영역으로 나누고, 각 서브 영역에만 왜곡이 포함된 비디오들을 소정 개수씩 생성하여 평가자들에게 출력하고 이를 평가하도록 할 수 있다.
예를 들어, 아홉 개의 서브 영역 중 정 가운데 영역(521)에서만 왜곡이 있는 비디오에 대해 평가자들로부터 획득한 평가 점수가 1점이고, 왼쪽 가운데 영역(523)에서만 동일한 왜곡이 있는 비디오에 대해 평가자들로부터 획득한 평가 점수가 4점이라고 가정한다. 이는 평가자들이 왼쪽 가운데 영역(523)보다는 정 가운데 영역(521)을 더 많이 본다는 것을 의미할 수 있다. 제조사는 이를 고려하여, 왼쪽 가운데 영역(523)에 대해서는 서브 영역 점수 0.2를 부여하고, 정 가운데 영역(521)에는 서브 영역 점수 0.8를 부여하여, 스크린의 각 영역이 비디오 품질 평가에 영향을 주는 정도를 나타낼 수 있다. 제조사는 스크린의 서브 영역 각각에 대해 각 영역이 비디오 품질 평가에 영향을 주는 정도를 나타내는 서브 영역 별 점수를 생성하고 이를 스크린 정보에 포함시켜 저장할 수 있다.
화면 사이즈가 큰 경우와 달리, 화면 사이즈가 소정 크기보다 작은 경우 사용자는 화면 전체의 영역에 대해 거의 비슷한 정도로 왜곡을 인식하게 되므로, 이 경우, 제조사는 스크린 정보에 스크린에 포함된 서브 영역 별 점수를 별도로 포함시키지 않는다. 즉, 실시 예에서, 스크린 정보는 스크린 사이즈가 소정 크기 이상인 경우에만 스크린 정보에 서브 영역 별 점수를 더 포함할 수 있다. 예컨대, 제조사는 스크린 사이즈가 소정 크기보다 작은 제3 스크린(530)에 대해서는 스크린 정보에 서브 영역 별 점수를 포함시키지 않을 수 있다.
도 6은 실시 예에 따른 렌더링 정보를 설명하기 위한 도면이다. 사용자 디스플레이 장치는 가중치 매트릭스를 생성하는데 있어 콘텐츠에 대한 렌더링 정보를 이용할 수 있다.
자연에는 빛이 전혀 없는 완전한 어둠부터 태양 빛에 준하는 엄청나게 밝은 범위가 동시에 공존하나, 디스플레이 장치는 사람의 눈이 볼 수 있는 밝기의 범위보다 무척 제한적인 영역만 표현할 수 있다. HDR은 명암의 범위를 넓혀, 밝은 부분은 더 밝고 세밀하게 보여주고, 어두운 부분은 더 어둡게 표현하되 사물이 또렷하게 보이도록 하는 이미지 표현 기술이다.
HDR 영상이 구현되기 위해서는 HDR 콘텐츠 및 이를 처리할 수 있는 디스플레이가 장치가 필요하다.
HDR 콘텐츠 제작자는 일반적인 영상 카메라보다 폭넓은 범위의 명암을 담을 수 있는 감도를 가지고 있는 HDR 전용 영상 카메라를 이용하여 HDR 콘텐츠를 획득한다. HDR 콘텐츠 제작자는 콘텐츠 편집 과정에서, 콘텐츠의 컬러, 밝기, 명암과 같은 HDR 정보를 담은 별도의 메타데이터를 생성할 수 있다. HDR 콘텐츠 및 이에 대한 메타데이터는 함께 전송될 수 있다. 메타데이터에는 씬(scene) 혹은 프레임 별 픽셀 통계로부터 도출된 영상 특성 정보가 포함될 수 있다. 씬 별 영상 특성 정보는 각각의 씬 안에서 시각 정보가 어떤 밝기 구간에 분포하는 지를 알려 주는 지표로 활용될 수 있다.
HDR 규격은 영상을 재생할 때 서로 다른 각각의 디스플레이 장치에서도 최고의 화질을 출력할 수 있도록 약속된 처리 규약을 정의한다. 디스플레이 장치는 이 규약에 따라 HDR 효과를 살려 콘텐츠를 재현하는데, 이러한 과정을 톤 매핑(Tone Mapping)이라고 부른다. 톤 매핑은 디스플레이 장치가 표현할 수 있는 디스플레이 특성이 HDR 콘텐츠의 특성과 일치하지 않을 때 이를 매핑하기 위해 사용될 수 있다.
톤 매핑은 HDR 콘텐츠의 휘도 레벨 범위를 실제 디스플레이 장치의 휘도 레벨에 매핑하는 것을 의미할 수 있다. 휘도 매핑은 색상과 채도에 영향을 미치기 때문에, 톤 매핑은 HDR 콘텐츠의 색상 값을 실제 디스플레이 장치의 색상 값에 매핑하는 것을 의미할 수도 있다.
실시 예에서, 사용자 디스플레이 장치는 콘텐츠를 렌더링할 때 이용되는 HDR 정보를, 품질 평가 점수를 업데이트하는 데 이용할 수 있다. 사용자 디스플레이 장치는 메타데이터로부터 HDR 정보를 획득하고 이로부터 톤 매핑 그래프를 획득할 수 있다.
도 6에는 세 개의 톤 매핑 그래프가 도시되어 있다. 각 그래프의 가로 축은 HDR 콘텐츠의 니트(nit) 값이고, 세로 축은 사용자 디스플레이 장치의 니트 값이다. 니트는 cd/m²를 나타내며, 디스플레이 장치의 휘도를 표시하는 데 사용되는 단위이다.
사용자 디스플레이 장치는 메타데이터에 포함된 씬 혹은 프레임 별 HDR 정보를 이용해서 사용자 디스플레이 장치의 물리적 특성에 최적화 된 톤매핑 커브를 만들고, 이를 화질 최적화에 활용할 수 있다. 또는 사용자 디스플레이 장치는 메타데이터로부터 각 씬 별 톤매핑 커브를 추출하여 각 프레임의 화질을 조절할 수도 있다.
도 6은, 사용자 디스플레이 장치의 최대 휘도가 500 니트이고 세 개의 프레임 각각의 최대 휘도 레벨 범위가 각각 500 니트, 1500 니트, 4000 니트인 경우 각 프레임 별로 서로 다른 톤 매핑 커브를 도시한다. 사용자 디스플레이 장치는 세 개의 프레임 각각에 대해 서로 다른 톤 매핑 곡선을 사용하여 HDR 컨텐츠를 프레임 별로 충실히 재현할 수 있다.
실시 예에서, 사용자 디스플레이 장치는 톤 매핑 그래프의 분포에 대한 통계적 특성을 분석할 수 있다. 톤 매핑 그래프의 분포에 대한 통계적 속성은, 최빈값(mode), 중앙값(median), 산술 평균(arithmetic mean), 조화 평균(harmonic mean), 기하 평균(geometric mean), 최솟값(global minimum), 최댓값(global maximum), 범위(range), 분산(variance) 편차 (deviation) 중 적어도 하나를 포함할 수 있다.
사용자 디스플레이 장치는 톤 매핑 그래프의 분포에 대한 통계적 속성을 획득하고 이로부터 렌더링 정보를 생성할 수 있다. 렌더링 정보는 프레임의 품질 평가에 영향을 주는 톤 매핑 그래프에 관련된 통계적 속성을 의미할 수 있다.
예컨대, HDR이 큰 프레임과 작은 프레임에 동일한 왜곡이 포함된 경우 각 프레임에서 왜곡이 인식되는 정도는 달라질 수 있다. 즉, 프레임의 품질 점수가 낮고, HDR이 큰 프레임의 경우 그 프레임에서는 왜곡이 더 잘 인식될 수 있다. 반면, HDR이 작아 화면의 명암비가 크지 않은 프레임에서는 왜곡이 덜 인식될 수 있다.
실시 예에서, 사용자 디스플레이 장치는 프레임 별 HDR에 따른 렌더링 정보를 고려하여 가중치 매트릭스를 생성할 수 있다. 따라서, 사용자 디스플레이 장치는 모델 기반 품질 점수에 콘텐츠 렌더링 특성을 고려한 가중치를 적용하여 보다 정확한 품질 점수를 획득할 수 있다.
다른 실시 예에서, HDR 콘텐츠에 대한 메타데이터가 프레임 단위가 아닌, 전체 비디오에 대해 일괄적으로 적용되는 하나의 톤 매핑 커브를 포함하는 경우, 사용자 디스플레이 장치는 비디오에 포함된 복수 프레임들 전체에 대하여 동일한 렌더링 정보를 획득하고 이를 고려하여 가중치 매트릭스를 생성할 수도 있다.
또 다른 실시 예에서, 사용자 디스플레이 장치가 HDR 프로세싱을 지원하지 않는 장치인 경우, 사용자 디스플레이 장치는 가중치 매트릭스를 생성하는 데 있어 렌더링 정보를 고려하지 않고, 스크린 정보만을 이용할 수도 있다.
도 7은 실시 예에 따른 비디오 품질 평가 장치(700)의 내부 블록도이다.
도 7을 참조하면, 비디오 품질 평가 장치(700)는 프로세서(910) 및 메모리(920)를 포함할 수 있다. 도 7의 비디오 품질 평가 장치(700)는 도 1에 도시된 사용자 디스플레이 장치(110)에 포함될 수 있다.
실시 예에 따른 메모리(920)는, 적어도 하나의 인스트럭션을 저장할 수 있다. 메모리(920)는 프로세서(910)가 실행하는 적어도 하나의 프로그램을 저장하고 있을 수 있다. 메모리(920)에는 적어도 하나의 뉴럴 네트워크 및/또는 기 정의된 동작 규칙이나 AI 모델이 저장될 수 있다. 또한 메모리(920)는 비디오 품질 평가 장치(700)로 입력되거나 비디오 품질 평가 장치(700)로부터 출력되는 데이터를 저장할 수 있다.
메모리(920)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
실시 예에서, 비디오 품질 평가 장치(700)가 사용자 디스플레이 장치(110)에 포함되어 있는 경우, 메모리(920)에는 사용자 디스플레이 장치(110)의 스크린에 대한 스크린 정보가 저장되어 있을 수 있다. 제조사는 사용자 디스플레이 장치(110)에 대한 스크린 정보를 획득하고 이를 사용자 디스플레이 장치(110)의 메모리에 매핑 테이블 형태 등으로 미리 저장할 수 있다. 또는 사용자 디스플레이 장치(110)는 제조사가 운영하는 서버 등으로부터 스크린 정보를 다운로드하여 이를 메모리(920)에 저장할 수도 있다.
비디오 품질 평가 장치(700)가 사용자 디스플레이 장치(110)에 포함되어 있지 않은 경우, 비디오 품질 평가 장치(700)는 통신망(미도시)을 통해 사용자 디스플레이 장치(110)로부터 사용자 디스플레이 장치(110)에 저장되어 있는 스크린에 대한 스크린 정보를 수신하고 이를 메모리(920)에 저장할 수 있다. 또는 비디오 품질 평가 장치(700)는 사용자 디스플레이 장치(110)에 대한 스크린 정보를 외부 서버 등으로부터 다운로드하여 이를 메모리(920)에 저장할 수도 있다.
스크린 정보는 스크린 모델 매핑 정보 및 스크린 설정 매핑 정보 중 적어도 하나를 포함할 수 있다.
스크린 모델 매핑 정보는 평가자 디스플레이 장치의 스크린 모델과 사용자 디스플레이 장치(110)의 스크린 모델 차이에 따른 점수 관계를 포함할 수 있다. 스크린 모델 차이는 스크린의 사이즈 및 해상도 중 적어도 하나의 차이일 수 있다.
스크린 설정 매핑 정보는 사용자 디스플레이 장치(110)의 스크린에 대한 디폴트 설정 값과 사용자로부터 선택된 설정 값의 차이에 따른 점수 관계를 포함할 수 있다. 설정 값은 사용자 디스플레이 장치의 스크린에 대한 밝기(brightness), 대조도(contrast), 감마(gamma), 백라이트 밝기, 선명도(sharpness), 색상(Color), 색조(tint) 중 적어도 하나에 대한 값을 포함할 수 있다.
사용자 디스플레이 장치(110)의 스크린 사이즈가 소정 크기 이상인 경우, 스크린 정보는 사용자 디스플레이 장치(110)의 스크린에 포함된 서브 영역 별 점수를 더 포함할 수도 있다.
프로세서(910)는 비디오 품질 평가 장치(700)의 전반적인 동작을 제어한다. 프로세서(910)는 메모리(920)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 비디오 품질 평가 장치(700)가 기능하도록 제어할 수 있다.
실시 예에서, 프로세서(910)는 복수의 프레임을 포함하는 비디오에 대해 품질 평가를 수행할 수 있다. 이를 위해, 프로세서(910)는 프레임을 복수의 서브 영역으로 나누고, 각 서브 영역 별로 뉴럴 네트워크를 이용하여 모델 기반 품질 점수를 획득할 수 있다. 뉴럴 네트워크는 평가자 디스플레이 장치를 이용하여 획득한 평균 의견 점수(Mean Opinion Score, MOS)를 미리 학습한 뉴럴 네트워크일 수 있다.
실시 예에서, 프로세서(910)는 스크린 정보와 렌더링 정보 중 적어도 하나를 이용하여 가중치 매트릭스를 생성할 수 있다.
프로세서(910)는 메모리(920)로부터 사용자 디스플레이 장치(110)의 스크린 정보를 획득하고, 비디오에 대한 메타데이터로부터 렌더링 정보를 획득할 수 있다.
실시 예에서, 스크린 정보 중 스크린 모델 매핑 정보 및 스크린 설정 매핑 정보는 프레임에서 모두 동일한 값을 가질 수 있다. 렌더링 정보 또한 각 프레임 별로 동일한 값을 가질 수 있다. 그러나 스크린 정보 중 서브 영역 별 점수는 프레임의 각 서브 영역 별로 서로 다른 값을 가질 수 있다.
실시 예에서, 프로세서(910)는 스크린 정보와 렌더링 정보 중 적어도 하나를 이용하여 프레임에 포함된 각 서브 영역 별로 가중치를 구할 수 있다. 프로세서(910)는 각 서브 영역 별 가중치를 이용하여 프레임 전체에 대한 가중치 매트릭스를 생성할 수 있다. 프로세서(910)는 서브 영역 별 모델 기반 품질 점수에 가중치 매트릭스를 적용할 수 있다. 프로세서(910)는 서브 영역 별 점수에 기반하여 프레임 전체에 대한 점수를 획득하고 이를 누적하여 전체 비디오에 대한 최종 품질을 획득할 수 있다.
도 8은 도 7의 프로세서(910)의 내부 블록도이다.
도 8을 참조하면, 프로세서(910)는 뉴럴 네트워크(711), 가중치 매트릭스 생성부(713) 및 최종 품질 점수 획득부(715)를 포함할 수 있다.
비디오 품질 평가 장치(700)로 입력된 비디오는 각 프레임 별로 복수의 서브 영역으로 나뉘고, 각 서브 영역은 뉴럴 네트워크(711)로 입력된다.
뉴럴 네트워크(711)는 입력 데이터를 분석 및 분류하여 입력 데이터의 특징을 추출하고 이로부터 품질 점수를 획득하도록 학습된 알고리즘, 또는 알고리즘의 집합, 알고리즘의 집합을 실행하는 소프트웨어 및/또는 알고리집의 집합을 실행하는 하드웨어일 수 있다.
뉴럴 네트워크(711)는 비디오 품질 평가를 위해 사전 훈련 된 모델일 수 있다. 뉴럴 네트워크(711)는 MOS(Mean Opinion Scores)를 학습할 수 있다.
MOS는 인간의 주관적 평가를 통해 획득되는 것으로, 사람들이 평가한 비디오 품질에 대한 개별 매개 변수의 평균 값을 의미할 수 있다. 뉴럴 네트워크(711)는 특징 벡터와 MOS 간의 상관 관계를 미리 학습하여 훈련할 수 있다.
실시 예에서, 뉴럴 네트워크(711)가 학습한 MOS는 특정한 모델의 스크린을 갖는 평가자 디스플레이 장치를 이용하여 획득된 것일 수 있다.
훈련된 뉴럴 네트워크(711)는 입력된 프레임의 각 서브 영역으로부터 품질과 관련된 다양한 특징을 나타내는 특징 벡터를 획득할 수 있다. 품질과 관련된 특징은 블러(blur) 관련 특징, 모션(motion) 관련 특징, 콘텐츠(content) 관련 특징, 인지 관련(perceptual) 특징, 공간 관련(spatial) 특징, 복수의 히든 레이어들에서 추출되는 계층 별 deep 특징, 하위 레벨에서부터 상위 레벨에 이르기까지 통계적으로 추출되는 특징 중 적어도 하나를 포함할 수 있다. 뉴럴 네트워크(711)는 위 특징들을 나타내는 특징 벡터를 획득할 수 있다. 뉴럴 네트워크(711)는 특징 벡터와 MOS 간의 상관 관계에 따라 서브 영역으로부터 사람의 주관적 점수와 밀접하게 일치하는 객관적인 품질 점수를 획득할 수 있다.
뉴럴 네트워크(711)는 서브 영역 별로 획득한 모델 기반 품질 점수를 최종 품질 점수 획득부(715)로 전송한다.
실시 예에서, 가중치 매트릭스 생성부(713)는 스크린 정보와 렌더링 정보 중 적어도 하나를 이용하여 가중치 매트릭스를 생성할 수 있다. 가중치 매트릭스 생성부(713)는 메모리(920)에 기 저장된 매핑 테이블로부터 스크린 정보를 추출하거나, 또는 통신망(미도시)를 통해 제조사가 운영하는 서버 등으로부터 사용자 디스플레이 장치(110)에 맞는 스크린 정보를 다운로드하여 이를 이용할 수도 있다.
스크린 정보는 스크린 모델 매핑 정보 및 스크린 설정 매핑 정보 중 적어도 하나를 포함할 수 있다. 사용자 디스플레이 장치(110)의 스크린 사이즈가 소정 크기 이상인 경우, 스크린 정보는 스크린에 포함된 서브 영역 별 점수를 더 포함할 수 있다.
가중치 매트릭스 생성부(713)는 가중치를 계산하는 데 있어, 스크린 정보를 고려함으로써, 평가자 디스플레이 장치와 사용자 디스플레이 장치(110)의 스크린 모델에 따른 화면 사이즈나 해상도 차이, 사용자 디스플레이 장치(110)의 스크린 설정 값의 차이, 스크린 사이즈가 큰 경우 스크린의 서브 영역 별 인식 정도가 가중치에 반영되도록 할 수 있다.
가중치 매트릭스 생성부(713)는 콘텐츠를 렌더링할 때 이용되는 HDR 정보로부터 렌더링 정보를 획득할 수 있다. 가중치 매트릭스 생성부(713)는 비디오에 대한 메타데이터로부터 HDR(High Dynamic Range) 정보를 획득할 수 있다. 가중치 매트릭스 생성부(713)는 HDR 정보로부터 톤 매핑 그래프를 획득하고, 톤 매핑 그래프의 분포에 대한 통계적 특성을 획득할 수 있다. 톤 매핑 그래프의 분포에 대한 통계적 속성은, 최빈값(mode), 중앙값(median), 산술 평균(arithmetic mean), 조화 평균(harmonic mean), 기하 평균(geometric mean), 최솟값(global minimum), 최댓값(global maximum), 범위(range), 분산(variance) 편차 (deviation) 중 적어도 하나를 포함할 수 있다.
가중치 매트릭스 생성부(713)는 톤 매핑 그래프의 분포에 대한 통계적 속성으로부터 렌더링 정보를 생성할 수 있다.
렌더링 정보는 프레임의 품질 평가에 영향을 주는 톤 매핑 그래프와 관련된 통계적 속성을 의미할 수 있다.
예컨대, 톤 매핑 그래프의 기울기가 큰 프레임과 작은 프레임에 동일한 왜곡이 포함된 경우, 각 프레임에서 인식되는 왜곡의 정도는 달라질 수 있다. 또한, 프레임의 품질 점수가 낮을수록, 톤 매핑 그래프의 기울기가 큰 프레임에서 그 왜곡이 더 잘 인식될 수 있다. 반면, HDR이 작아 화면의 명암비가 크지 않은 경우, 그 프레임에서는 왜곡이 덜 인식될 수 있다.
실시 예에서, 렌더링 정보는 프레임의 톤 매핑 그래프에 따라 왜곡이 인식되는 정도의 차이를 나타낼 수 있다. 또한, 렌더링 정보는 프레임의 품질 점수와 HDR의 관련성을 나타낼 수 있다.
가중치 매트릭스 생성부(713)는 각 프레임 별로 획득한 톤 매핑 그래프로부터 프레임 별로 렌더링 정보를 획득할 수 있다. 또는 가중치 매트릭스 생성부(713)는 모든 프레임 전체에 대해 동일한 톤 매핑 그래프를 획득하고 이로부터 모든 프레임에 적용되는 렌더링 정보를 획득할 수도 있다.
가중치 매트릭스 생성부(713)는 가중치를 계산하는 데 있어, 렌더링 정보를 이용함으로써, HDR에 따른 왜곡의 인식 정도가 가중치에 반영되도록 할 수 있다.
가중치 매트릭스 생성부(713)는 스크린 정보와 렌더링 정보 중 적어도 하나를 이용하여 가중치 매트릭스를 생성할 수 있다. 사용자 디스플레이 장치(700)가 HDR 프로세싱 기능을 수행하지 못하는 장치인 경우, 프로세서(910)는 렌더링 정보를 획득하지 못할 수도 있다. 이 경우, 프로세서(910)는 스크린 정보만을 이용하여 가중치 매트릭스를 생성할 수 있다.
가중치 매트릭스 생성부(713)는 스크린 정보와 렌더링 정보 중 적어도 하나를 이용하여 프레임에 포함된 각 서브 영역 별로 가중치를 구할 수 있다. 일 실시 예로, 프로세서(910)는 스크린 정보와 렌더링 정보를 곱하여 서브 영역 별 가중치를 획득할 수 있다. 가중치는 각 서브 영역 별 스크린 특성 및 렌더링 특성을 나타낼 수 있다.
가중치 매트릭스 생성부(713)는 각 서브 영역 별 가중치를 이용하여 프레임 전체에 대한 가중치 매트릭스를 생성할 수 있다.
최종 품질 점수 획득부(715)는 뉴럴 네트워크(711)로부터 획득한 서브 영역 별 모델 기반 품질 점수에, 가중치 매트릭스 생성부(713)가 생성한 가중치 매트릭스를 적용할 수 있다. 일 실시 예로, 최종 품질 점수 획득부(715)는 각 서브 영역 별 모델 기반 품질 점수와 가중치를 곱하여 서브 영역 별로 가중치가 적용된 점수를 획득할 수 있다.
최종 품질 점수 획득부(715)는 가중치 매트릭스가 적용된 서브 영역 별 모델 기반 품질 점수에 기반하여 프레임 전체의 품질 점수를 획득할 수 있다.
최종 품질 점수 획득부(715)는 시간에 따라 누적되는 프레임의 품질 점수를 이용하여, 비디오를 인식하는 것과 관련된 시간적 영향 또는 시간적 의존성을 고려할 수 있다.
예컨대, 사람은 비디오의 화질이 초반에 나쁘다가 이후 좋아지는 경우에도 계속해서 비디오의 품질을 나쁘게 평가하는 경향이 있다. 예컨대, 사람은 화질이 나쁜 프레임을 개별적으로 평가할 때보다, 화질이 나쁜 프레임들이 연속하여 출력될 때, 연속된 프레임들의 화질이 더 나쁘다고 인식하는 경향이 있다. 예컨대, 인간은 비디오가 동일한 블러 레벨을 갖는 경우, 초당 프레임(frames per second, fps)이 높은 비디오보다 낮은 비디오에서, 블러 레벨이 더 크다고 인식하는 경향이 있다. 최종 품질 점수 획득부(715)는 최종 품질 점수 산정 시, 이러한 시간적 효과를 고려할 수 있다.
최종 품질 점수 획득부(715)는 시계열 데이터를 스무딩(smoothing)하여 전체 비디오에 대한 최종 품질 점수를 획득할 수 있다. 최종 품질 점수 획득부(715)는 시계열 데이터를 스무딩하기 위해, 간단한 휴리스틱 규칙(heuristic rule)을 이용하거나 또는 복잡한 모델을 이용할 수 있다.
실시 예에서, 최종 품질 점수 획득부(715)가 모델을 이용하여 최종 품질 점수를 획득하는 경우, 최종 품질 점수 획득부(715)는 적어도 하나의 뉴럴 네트워크를 이용할 수 있다. 설명의 편의를 위하여 최종 품질 점수 획득부(715)가 이용하는 뉴럴 네트워크는 참조 부호 711의 뉴럴 네트워크와 구별되도록 하기 위해 제2 뉴럴 네트워크로 칭하기로 한다.
제2 뉴럴 네트워크는 누적된 입력 데이터를 분석 및 분류하여 입력 데이터의 시계열적 특징을 추출하고 이로부터 최종 품질 점수를 획득하도록 학습된 알고리즘, 또는 알고리즘의 집합, 알고리즘의 집합을 실행하는 소프트웨어 및/또는 알고리집의 집합을 실행하는 하드웨어일 수 있다.
실시 예에서, 최종 품질 점수 획득부(715)는 제2 뉴럴 네트워크로 LSTM(Long Short-Term Memory models)을 사용할 수 있다. LSTM은 시퀀스 데이터의 시간 스텝 간의 장기적인 종속성을 학습할 수 있는 순환 신경망(RNN, Recurrent Neural Networks)의 일종이다. LSTM은 시퀀스 또는 시계열 데이터를 입력 받고, 시퀀스 데이터의 시간 스텝 간의 장기 종속성을 학습할 수 있다.
최종 품질 점수 획득부(715)는 제2 뉴럴 네트워크로 누적된 시계열 데이터를 입력 받고, 시간에 따른 효과를 고려하여, 전체 비디오에 대한 최종 품질 점수를 획득할 수 있다.
이와 같이, 실시 예에 의하면, 프로세서(910)는 뉴럴 네트워크(711)를 통해 모델 기반 품질 점수를 획득하고 이 점수에 스크린 특성 및 렌더링 특성을 반영하는 가중치 매트릭스를 적용할 수 있다.
프로세서(910)는 가중치가 적용된 서브 영역 별 모델 기반 품질 점수로부터 프레임 전체에 대한 점수를 획득하고, 이 점수들을 누적하여 시계열 데이터를 획득하여 전체 비디오에 대한 최종 품질 점수를 획득할 수 있다.
도 9는 실시 예에 따른 사용자 디스플레이 장치(900)의 내부 블록도이다. 도 9의 사용자 디스플레이 장치(900)는 도 7의 비디오 품질 평가 장치(700)를 포함하는 장치일 수 있다.
도 9를 참조하면, 사용자 디스플레이 장치(900)는 프로세서(910), 메모리(920), 디스플레이(930) 및 화질 처리부(940)를 포함할 수 있다. 도 9의 사용자 디스플레이 장치(900)에 포함된 프로세서(910) 및 메모리(920)는 도 7의 프로세서(910) 및 메모리(920)와 수행하는 기능이 중복될 수 있으며 이하 중복되는 내용에 대한 설명은 생략하기로 한다.
프로세서(910)는 사용자 디스플레이 장치(900)의 전반적인 동작을 제어한다. 프로세서(910)는 실시간으로 수신되는 방송 프로그램이나, 또는 스트리밍이나 다운로드를 하여 수신된 VOD 서비스의 프로그램 등을 화면에 출력하기 전에, 해당 비디오의 품질을 측정할 수 있다.
프로세서(910)는 입력된 프레임의 서브 영역 별로 모델 기반 품질 점수를 획득하고, 모델 기반 품질 점수에, 스크린 정보 및 렌더링 정보 중 적어도 하나를 이용하여 획득한 가중치 매트릭스를 적용할 수 있다. 프로세서(910)는 서브 영역 별 점수를 기반으로 프레임 전체에 대한 품질 점수를 획득할 수 있다. 또한 프로세서(910)는 각 프레임 별 품질 점수를 소정 시간 동안 누적하여 복수 프레임들에 대한 시계열 데이터를 획득하여 비디오에 대한 최종 품질 점수를 획득할 수 있다.
실시 예에서, 화질 처리부(940)는 프레임의 화질을 처리할 수 있다.
실시 예에서, 화질 처리부(940)는 복수 개의 AI 모델들을 이용하여 각 프레임 별로 또는 전체 비디오의 화질을 처리할 수 있다. 예컨대, 화질 처리부(940)는 서로 다른 AI 모델들을 각각 이용하여 프레임의 화질을 서로 독립적으로 처리할 수 있다.
실시 예에서, 복수 개의 AI 모델들 각각은 하나 또는 복수의 뉴럴 네트워크를 이용하여, 각 프레임의 점수에 따라 또는 전체 비디오의 최종 품질 점수에 따라 최적으로 향상된 결과를 출력할 수 있는 이미지 복원 모델일 수 있다.
화질 처리부(940)는 각 프레임 별 점수나 전체 비디오의 최종 품질 점수에 따라 복수의 뉴럴 네트워크 모델들 중 하나의 이미지 복원 모델을 선택하거나 이러한 모델을 직접 설계할 수 있다. 화질 처리부(940)는 선택한 뉴럴 네트워크에 기반한 AI 모델을 이용하여 프레임의 화질을 처리하여 품질을 향상시킬 수 있다.
실시 예에서, 화질 처리부(940)는 프레임 또는 비디오의 화질을 최적으로 향상시킬 수 있는, 이미지 복원 모델 적용 횟수를 결정할 수 있다. 화질 처리부(940)는 결정된 횟수만큼 프레임 또는 비디오에 대해 이미지 복원 모델을 반복하여 적용하여 프레임 또는 비디오의 화질을 최적으로 향상시킬 수 있다.
실시 예에서, 화질 처리부(940)는 프레임 별 점수나 비디오의 최종 점수에 따라 뉴럴 네트워크에서 사용되는 다양한 하이퍼파라미터 값들을 수정할 수 있다. 화질 처리부(940)는 프레임이나 비디오의 점수에 따라, 필터 사이즈나 필터 계수, 커널 사이즈, 노드의 가중치 값들과 같은 다양한 하이퍼파라미터 값들 중 하나 이상을 수정하여 프레임이나 비디오에 적용할 최적의 성능을 가지는 모델을 위한 하이퍼파라미터 값을 선택할 수 있다. 화질 처리부(940)는 이러한 하이퍼파라미터를 갖는 AI 모델을 이용하여 프레임이나 비디오의 화질을 최적으로 향상시킬 수 있다.
실시 예에서, 화질 처리부(940)는 점수에 따라 이미지 복원을 수행할 필터를 설계할 수 있다. 화질 처리부(940)는 프레임이나 비디오의 점수에 따라 대역폭을 달리하는 BPF나 HPF 등을 설계하고, 설계된 필터를 이용하여 프레임이나 비디오에서 고주파 대역의 신호를 변경하는 방법으로 프레임이나 비디오의 화질을 처리할 수 있다.
화질 처리부(940)는 전술한 다양한 방법을 이용하여, 프레임이나 비디오의 점수에 따라, 프레임 별로 또는 비디오 전체에 대해 품질을 최적으로 향상시킬 수 있는 AI 모델을 찾을 수 있다. 화질 처리부(940)는 AI 모델을 이용하여 프레임 또는 비디오의 품질을 최적으로 향상시킬 수 있다.
실시 예에 따른 디스플레이(930)는 화질 처리부(940)에 의해 처리된 프레임 및 비디오를 출력할 수 있다.
디스플레이(930)가 터치 스크린으로 구현되는 경우, 디스플레이(930)는 출력 장치 이외에 사용자 인터페이스와 같은 입력 장치로 사용될 수 있다. 예를 들어, 디스플레이(930)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기 영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고, 사용자 디스플레이 장치(900)의 구현 형태에 따라, 사용자 디스플레이 장치(900)는 디스플레이(930)를 둘 이상 포함할 수 있다.
이와 같이, 실시 예에 따르면, 사용자 디스플레이 장치(900)는 프레임에 대해 품질 점수를 획득하고 이를 이용하여 각각의 프레임 또는 전체 비디오에 적합한 이미지 복원 모델을 선택할 수 있다. 사용자 디스플레이 장치(900)는 각 프레임 또는 비디오의 품질을 향상시킨 이후 이를 디스플레이(930)를 통해 출력할 수 있다.
도 10은 실시 예에 따른 사용자 디스플레이 장치(1000)의 내부 블록도이다. 도 10의 사용자 디스플레이 장치(1000)는 도 9의 사용자 디스플레이 장치(900)의 구성 요소를 포함할 수 있다.
도 10을 참조하면, 사용자 디스플레이 장치(1000)는 프로세서(910), 메모리(920), 및 디스플레이(930) 외에 튜너부(1010), 통신부(1020), 감지부(1030), 입/출력부(1040), 비디오 처리부(1050), 오디오 처리부(1060), 오디오 출력부(1070), 및 사용자 인터페이스(1080)를 포함할 수 있다.
튜너부(1010)는 유선 또는 무선으로 수신되는 방송 콘텐츠 등을 증폭(amplification), 혼합(mixing), 공진(resonance)등을 통하여 많은 전파 성분 중에서 사용자 디스플레이 장치(1000)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 튜너부(1010)를 통해 수신된 콘텐츠는 디코딩되어 오디오, 비디오 및/또는 부가 정보로 분리된다. 분리된 오디오, 비디오 및/또는 부가 정보는 프로세서(910)의 제어에 의해 메모리(920)에 저장될 수 있다.
통신부(1020)는 프로세서(910)의 제어에 의해 사용자 디스플레이 장치(1000)를 외부 장치나 서버와 연결할 수 있다. 사용자 디스플레이 장치(1000)는 통신부(1020)를 통해 외부 장치나 서버 등으로부터 사용자 디스플레이 장치(1000)가 필요로 하는 프로그램이나 어플리케이션(application)을 다운로드하거나 또는 웹 브라우징을 할 수 있다. 또한, 통신부(1020)는 외부 장치로부터 콘텐츠를 수신할 수 있다.
통신부(1020)는 사용자 디스플레이 장치(1000)의 성능 및 구조에 대응하여 무선 랜(1021), 블루투스(1022), 및 유선 이더넷(Ethernet)(1023) 중 적어도 하나를 포함할 수 있다. 통신부(1020)는 프로세서(910)의 제어에 의해 리모컨 등과 같은 제어 장치(미도시)를 통한 제어 신호를 수신할 수 있다. 제어 신호는 블루투스 타입, RF 신호 타입 또는 와이파이 타입으로 구현될 수 있다. 통신부(1020)는 블루투스(1022) 외에 다른 근거리 통신(예를 들어, NFC(near field communication, 미도시), BLE(bluetooth low energy, 미도시)를 더 포함할 수 있다. 실시 예에 따라, 통신부(1020)는 블루투스(1022)나 BLE와 같은 근거리 통신을 통하여 외부 장치 등과 연결 신호를 송수신할 수도 있다.
감지부(1030)는 사용자의 음성, 사용자의 영상, 또는 사용자의 인터랙션을 감지하며, 마이크(1031), 카메라부(1032), 및 광 수신부(1033)를 포함할 수 있다. 마이크(1031)는 사용자의 발화(utterance)된 음성을 수신할 수 있고 수신된 음성을 전기 신호로 변환하여 프로세서(910)로 출력할 수 있다. 카메라부(1032)는 센서(미도시) 및 렌즈(미도시)를 포함하고, 화면에 맺힌 이미지를 촬영할 수 있다. 광 수신부(1033)는, 광 신호(제어 신호를 포함)를 수신할 수 있다. 광 수신부(1033)는 리모컨이나 핸드폰 등과 같은 제어 장치(미도시)로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서(910)의 제어에 의해 제어 신호가 추출될 수 있다.
입/출력부(1040)는 프로세서(910)의 제어에 의해 사용자 디스플레이 장치(1000) 외부의 기기 등으로부터 비디오(예를 들어, 동영상 신호나 정지 영상 신호 등), 오디오(예를 들어, 음성 신호나, 음악 신호 등) 및 메타데이터 등의 부가 정보를 수신할 수 있다. 메타데이터는, 콘텐츠에 대한 HDR 정보, 콘텐츠에 대한 설명이나 콘텐츠 타이틀, 콘텐츠 저장 위치 등을 포함할 수 있다. 입/출력부(1040)는 HDMI 포트(High-Definition Multimedia Interface port, 1041), 컴포넌트 잭(component jack, 1042), PC 포트(PC port, 1043), 및 USB 포트(USB port, 1044) 중 하나를 포함할 수 있다. 입/출력부(1040)는 HDMI 포트(1041), 컴포넌트 잭(1042), PC 포트(1043), 및 USB 포트(1044)의 조합을 포함할 수 있다.
비디오 처리부(1050)는, 디스플레이(1030)에 의해 표시될 영상 데이터를 처리하며, 영상 데이터에 대한 디코딩, 렌더링, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 및 해상도 변환 등과 같은 다양한 영상 처리 동작을 수행할 수 있다.
실시 예에서, 비디오 처리부(1050)는, 도 9의 화질 처리부(940)의 기능을 수행할 수 있다. 즉, 비디오 처리부(1050)는 프로세서(910)가 획득한 프레임 별 점수 또는 전체 비디오의 최종 품질 점수에 기반하여 비디오 및/또는 프레임의 품질을 향상시킬 수 있다.
비디오 처리부(1050)는 점수에 따라 화질 처리 모델을 선택하고 이에 따라 프레임/비디오의 품질을 향상시킬 수 있다.
또는 비디오 처리부(1050)는 점수에 따라 화질 처리 모델 적용 횟수를 결정하고, 결정된 횟수만큼 프레임에 화질 처리 모델을 반복하여 적용함으로써 프레임/비디오의 품질을 향상시킬 수 있다.
또는 비디오 처리부(1050)는 점수에 따라 필터를 설계하고, 이를 프레임/비디오에 적용하여 프레임/비디오의 품질을 향상시킬 수 있다.
또는 비디오 처리부(1050)는 점수에 따라 하이퍼파라미터 값을 수정하고, 수정된 하이퍼파라미터 값을 갖는 뉴럴 네트워크를 이용하여 프레임의 품질을 향상시킬 수 있다.
디스플레이(930)는 방송국으로부터 수신하거나 외부 서버, 또는 외부 저장 매체 등으로부터 수신한 콘텐츠를 화면에 출력할 수 있다. 콘텐츠는 미디어 신호로, 비디오 신호, 이미지, 텍스트 신호 등을 포함할 수 있다. 또한 디스플레이(930)는 HDMI 포트(1041)를 통해 수신한 비디오 신호나 이미지를 화면에 표시할 수 있다.
실시 예에서, 디스플레이(930)는 비디오 처리부(1050)가 비디오나 프레임의 품질을 향상시킨 경우, 향상된 품질의 비디오나 프레임을 출력할 수 있다.
디스플레이(930)가 터치 스크린으로 구현되는 경우, 디스플레이(930)는 출력 장치 이외에 입력 장치로 사용될 수 있다. 그리고, 사용자 디스플레이 장치(1000)의 구현 형태에 따라, 사용자 디스플레이 장치(1000)는 디스플레이(930)를 2개 이상 포함할 수 있다.
오디오 처리부(1060)는 오디오 데이터에 대한 처리를 수행한다. 오디오 처리부(1060)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
오디오 출력부(1070)는 프로세서(910)의 제어에 의해 튜너부(1010)를 통해 수신된 콘텐츠에 포함된 오디오, 통신부(1020) 또는 입/출력부(1040)를 통해 입력되는 오디오, 메모리(1020)에 저장된 오디오를 출력할 수 있다. 오디오 출력부(1070)는 스피커(1071), 헤드폰 출력 단자(1072) 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자(1073) 중 적어도 하나를 포함할 수 있다.
사용자 인터페이스(1080)는 사용자 디스플레이 장치(1000)를 제어하기 위한 사용자 입력을 수신할 수 있다.
실시 예에서, 사용자는 사용자 인터페이스(1080)를 통하여, 디스플레이(930)의 스크린 설정 파라미터를 선택하고, 선택된 설정 파라미터 값을 변경할 수 있다.
사용자 인터페이스(1080)는 사용자의 터치를 감지하는 터치 패널, 사용자의 푸시 조작을 수신하는 버튼, 사용자의 회전 조작을 수신하는 휠, 키보드(key board), 및 돔 스위치 (dome switch), 음성 인식을 위한 마이크, 모션을 센싱하는 모션 감지 센서 등을 포함하는 다양한 형태의 사용자 입력 디바이스를 포함할 수 있으나 이에 제한되지 않는다. 또한, 사용자 디스플레이 장치(1000)가 원격 제어 장치(remote controller)(미도시)에 의해서 조작되는 경우, 사용자 인터페이스(1080)는 원격 제어 장치로부터 수신되는 제어 신호를 수신할 수도 있을 것이다.
도 11은 실시 예에 따른 비디오 품질 평가 방법을 도시한 순서도이다.
도 11을 참조하면, 비디오 품질 평가 장치(700)는 복수의 프레임을 포함하는 비디오를 입력 받고, 프레임을 서브 영역으로 나눈 후, 각 서브 영역 별로 모델 기반 품질 점수를 획득할 수 있다(단계 1110). 비디오 품질 평가 장치(700)는 사용자 디스플레이 장치의 스크린 정보를 획득할 수 있다(단계 1120). 스크린 정보는 사용자 디스플레이 장치의 메모리 등에 저장되어 있을 수 있다. 또는 비디오 품질 평가 장치(700)는 외부 서버 등으로부터 소정 모델의 사용자 디스플레이 장치의 스크린에 대한 스크린 정보를 다운로드하여 획득할 수 있다.
비디오 품질 평가 장치(700)는 콘텐츠에 대한 메타데이터로부터 렌더링 정보를 획득할 수 있다(단계 1130). 비디오 품질 평가 장치(700)는 메타데이터로부터 HDR 정보를 획득하고 이로부터 톤 매핑 그래프를 획득할 수 있다. 비디오 품질 평가 장치(700)는 톤 매핑 그래프를 분석하여 렌더링 정보를 획득할 수 있다.
비디오 품질 평가 장치(700)는 스크린 정보와 렌더링 정보 중 적어도 하나를 이용하여 가중치 매트릭스를 획득할 수 있다(단계 1140).
비디오 품질 평가 장치(700)는 서브 영역 별 모델 기반 품질 점수에 가중치 매트릭스를 적용하여 서브 영역 별로 가중치가 고려된 품질 점수를 획득할 수 있다(단계 1150).
비디오 품질 평가 장치(700)는 서브 영역 별 점수에 기반하여 전체 프레임의 품질 점수를 획득하고(단계 1160), 복수 프레임들의 점수를 누적하여 시계열 데이터를 획득하여, 비디오 전체에 대한 최종 품질 점수를 획득할 수 있다(단계 1170).
도 12는 실시 예에 따른 스크린 정보 획득 과정을 도시한 순서도이다.
도 12를 참조하면, 비디오 품질 평가 장치(700)는 사용자 디스플레이 장치의 사이즈가 소정 크기 이상인 경우, 스크린 서브 영역 별 점수를 획득할 수 있다(단계 1210). 스크린 서브 영역 별 점수는 사용자가 스크린을 볼 때 주로 중앙 부분을 많이 본다는 점에서, 스크린 사이즈가 소정 크기 이상인 경우, 중앙 부분과 그 외 부분에 포함된 왜곡이 품질 점수에 영향을 미치는 정도를 점수화한 것이다.
비디오 품질 평가 장치(700)는 사용자 디스플레이 장치 내부의 메모리 등으로부터 스크린 모델에 따른 매핑 정보를 획득할 수 있다(단계 1220). 스크린 모델에 따른 매핑 정보는 평가자 디스플레이 장치와 사용자 디스플레이 장치의 스크린 사이즈나 해상도 차이에 따른 품질 점수의 관련성을 나타낼 수 있다.
실시 예에서, 사용자는 사용자 디스플레이 장치의 스크린에 대한 설정 파라미터를 원하는 값으로 변경할 수 있다.
비디오 품질 평가 장치(700)는 사용자가 선택한 파라미터 값을 획득하고(단계 1230), 이로부터 스크린 설정에 따른 매핑 정보를 획득할 수 있다(단계 1240). 스크린 설정에 따른 매핑 정보는 사용자 디스플레이 장치의 메모리에 미리 저장되어 있을 수 있다. 비디오 품질 평가 장치(700)는 사용자가 설정한 파라미터 종류 및 그 설정 값과 디폴트 설정 값의 차이에 따른 품질 점수 차이를 스크린 설정에 따른 매핑 정보로부터 검색할 수 있다.
비디오 품질 평가 장치(700)는 스크린 서브 영역 별 점수, 스크린 모델에 따른 매핑 정보, 스크린 설정에 따른 매핑 정보 중 적어도 하나를 포함하는 스크린 정보를 획득할 수 있다(단계 1250).
도 13은 실시 예에 따른 렌더링 정보 획득 과정을 도시한 순서도이다.
비디오 품질 평가 장치(700)는 콘텐츠를 렌더링할 때 이용되는 HDR를 이용하여 품질 평가 점수를 조정할 수 있다.
비디오 품질 평가 장치(700)는 비디오와 함께 수신된 메타데이터로부터 HDR 정보를 획득할 수 있다. 비디오 품질 평가 장치(700)는 HDR 정보로부터 톤 매핑 정보를 획득할 수 있다(단계 1310). 톤 매핑 정보는 톤 매핑 그래프를 포함할 수 있다. 비디오 품질 평가 장치(700)는 각 프레임 별로 톤 매핑 그래프를 획득할 수 있다. 또는 비디오 품질 평가 장치(700)는 모든 프레임에 대해 동일한 톤 매핑 그래프를 획득할 수도 있다.
비디오 품질 평가 장치(700)는 톤 매핑 그래프를 분석하여 그로부터 통계 특성을 획득할 수 있다(단계 1320).
비디오 품질 평가 장치(700)는 톤 매핑 그래프에 대한 통계 특성으로부터 렌더링 정보를 획득할 수 있다(단계 1330).
비디오 품질 평가 장치(700)는 가중치 매트릭스 생성 시 렌더링 정보를 이용함으로써, 콘텐츠의 렌더링 특성이 평가 점수에 반영되도록 할 수 있다.
일부 실시 예에 따른 비디오 품질 평가 방법 및 장치는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비 휘발성 매체, 분리형 및 비 분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비 휘발성, 분리형 및 비 분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한, 본 명세서에서, “부”는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
또한, 전술한 본 개시의 실시 예에 따른 비디오 품질 평가 방법 및 장치는 평가자 디스플레이 장치를 이용하여 획득한 평균 의견 점수(Mean Opinion Score, MOS)를 학습한 뉴럴 네트워크를 이용하여, 프레임에 포함된 복수의 서브 영역 별 모델 기반 품질 점수를 획득하는 단계, 렌더링 정보, 및 사용자 디스플레이 장치에 포함된 스크린에 대한 스크린 정보 중 적어도 하나로부터 가중치 매트릭스를 획득하는 단계, 상기 서브 영역 별 모델 기반 품질 점수에, 상기 획득한 가중치 매트릭스를 적용하는 단계 및 상기 가중치 매트릭스가 적용된 상기 서브 영역 별 모델 기반 품질 점수에 기반하여 상기 프레임의 품질 점수를 획득하는 단계를 포함하는, 비디오 품질 평가 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함하는 컴퓨터 프로그램 제품으로 구현될 수 있다.
전술한 설명은 예시를 위한 것이며, 발명이 속하는 기술분야의 통상의 지식을 가진 자는 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일 형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
Claims (20)
- 비디오 품질 평가 방법에 있어서,
평가자 디스플레이 장치를 이용하여 획득한 평균 의견 점수(Mean Opinion Score, MOS)를 학습한 뉴럴 네트워크를 이용하여, 프레임에 포함된 복수의 서브 영역 별 모델 기반 품질 점수를 획득하는 단계;
렌더링 정보, 및 사용자 디스플레이 장치에 포함된 스크린에 대한 스크린 정보 중 적어도 하나로부터 가중치 매트릭스를 획득하는 단계;
상기 서브 영역 별 모델 기반 품질 점수에, 상기 획득한 가중치 매트릭스를 적용하는 단계; 및
상기 가중치 매트릭스가 적용된 상기 서브 영역 별 모델 기반 품질 점수에 기반하여 상기 프레임의 품질 점수를 획득하는 단계를 포함하는, 비디오 품질 평가 방법. - 제1 항에 있어서, 상기 스크린 정보는 스크린 모델 매핑 정보 및 스크린 설정 매핑 정보 중 적어도 하나를 포함하는, 비디오 품질 평가 방법.
- 제2 항에 있어서, 상기 스크린 정보는 상기 사용자 디스플레이 장치의 스크린에 포함된 서브 영역 별 점수를 더 포함하는, 비디오 품질 평가 방법.
- 제2 항에 있어서, 상기 스크린 모델 매핑 정보는 상기 평가자 디스플레이 장치의 스크린 모델과 상기 사용자 디스플레이 장치의 스크린 모델 차이에 따른 점수 관계를 포함하고,
상기 스크린 모델 차이는 스크린의 사이즈 및 해상도 중 적어도 하나의 차이인, 비디오 품질 평가 방법. - 제2 항에 있어서, 상기 스크린 설정 매핑 정보는 상기 사용자 디스플레이 장치의 스크린에 대한 디폴트 설정 값과 사용자로부터 선택된 설정 값의 차이에 따른 점수 관계를 나타내는, 비디오 품질 평가 방법.
- 제5 항에 있어서, 상기 설정 값은 상기 사용자 디스플레이 장치의 스크린에 대한 밝기(brightness), 대조도(contrast), 감마(gamma), 백라이트 밝기, 선명도(sharpness), 색상(Color), 색조(tint) 중 적어도 하나에 대한 값을 포함하는, 비디오 품질 평가 방법.
- 제2 항에 있어서, 상기 스크린 정보를 상기 사용자 디스플레이 장치에 기 저장된 매핑 테이블로부터 추출하여 획득하는 단계를 더 포함하는, 비디오 품질 평가 방법.
- 제1 항에 있어서, 상기 렌더링 정보는 상기 비디오에 대한 메타데이터로부터 추출한 HDR(High Dynamic Range) 정보로부터 획득한 톤 매핑 그래프의 통계적 특성으로부터 획득되는, 비디오 품질 평가 방법.
- 제8 항에 있어서, 상기 톤 매핑 그래프는 프레임 별로 획득되는, 비디오 품질 평가 방법.
- 제1 항에 있어서, 상기 프레임의 품질 점수를 소정 시간 동안 누적하여 시계열 데이터를 획득하고, 상기 시계열 데이터를 스무딩하여 상기 비디오에 대한 최종 품질 점수를 획득하는 단계; 및
상기 품질 점수를 이용하여 상기 비디오의 화질을 처리하는 단계를 더 포함하는, 비디오 품질 평가 방법. - 비디오 품질 평가 장치에 있어서,
하나 이상의 인스트럭션을 저장하는 메모리; 및
상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 평가자 디스플레이 장치를 이용하여 획득한 평균 의견 점수(Mean Opinion Score, MOS)를 학습한 뉴럴 네트워크를 이용하여 상기 프레임에 포함된 복수의 서브 영역 별 모델 기반 품질 점수를 획득하고,
렌더링 정보, 및 사용자 디스플레이 장치에 포함된 스크린에 대한 스크린 정보 중 적어도 하나로부터 가중치 매트릭스를 획득하고, 상기 서브 영역 별로 획득한 상기 모델 기반 품질 점수에 상기 획득한 가중치 매트릭스를 적용하고, 상기 가중치 매트릭스가 적용된 상기 서브 영역 별로 획득한 상기 모델 기반 품질 점수에 기반하여 상기 프레임의 품질 점수를 획득하는, 비디오 품질 평가 장치. - 제11 항에 있어서, 상기 스크린 정보는 스크린 모델 매핑 정보 및 스크린 설정 매핑 정보 중 적어도 하나를 포함하는, 비디오 품질 평가 장치.
- 제12 항에 있어서, 상기 스크린 정보는 상기 사용자 디스플레이 장치의 스크린에 포함된 서브 영역 별 점수를 더 포함하는, 비디오 품질 평가 장치.
- 제12 항에 있어서, 상기 스크린 모델 매핑 정보는 상기 평가자 디스플레이 장치의 스크린 모델과 상기 사용자 디스플레이 장치의 스크린 모델 차이에 따른 점수 관계를 포함하고,
상기 스크린 모델 차이는 스크린의 사이즈 및 해상도 중 적어도 하나의 차이인, 비디오 품질 평가 장치. - 제12 항에 있어서, 상기 스크린 설정 매핑 정보는 상기 사용자 디스플레이 장치의 스크린에 대한 디폴트 설정 값과 사용자로부터 선택된 설정 값의 차이에 따른 점수 관계를 나타내는, 비디오 품질 평가 장치.
- 제15 항에 있어서, 상기 설정 값은 상기 사용자 디스플레이 장치의 스크린에 대한 밝기(brightness), 대조도(contrast), 감마(gamma), 백라이트 밝기, 선명도(sharpness), 색상(Color), 색조(tint) 중 적어도 하나에 대한 값을 포함하는, 비디오 품질 평가 장치.
- 제12 항에 있어서, 상기 프로세서는 상기 스크린 정보를 상기 사용자 디스플레이 장치에 기 저장된 매핑 테이블로부터 추출하여 획득하는, 비디오 품질 평가 장치.
- 제11 항에 있어서, 상기 프로세서는 상기 비디오에 대한 메타데이터로부터 추출한 HDR(High Dynamic Range) 정보로부터 톤 매핑 그래프를 획득하고, 상기 톤 매핑 그래프의 통계적 특성으로부터 상기 렌더링 정보를 획득하는, 비디오 품질 평가 장치.
- 제18 항에 있어서, 상기 톤 매핑 그래프는 프레임 별로 획득되는, 비디오 품질 평가 장치.
- 평가자 디스플레이 장치를 이용하여 획득한 평균 의견 점수(Mean Opinion Score, MOS)를 학습한 뉴럴 네트워크를 이용하여, 프레임에 포함된 복수의 서브 영역 별 모델 기반 품질 점수를 획득하는 단계;
렌더링 정보, 및 사용자 디스플레이 장치에 포함된 스크린에 대한 스크린 정보 중 적어도 하나로부터 가중치 매트릭스를 획득하는 단계;
상기 서브 영역 별 모델 기반 품질 점수에, 상기 획득한 가중치 매트릭스를 적용하는 단계; 및
상기 가중치 매트릭스가 적용된 상기 서브 영역 별 모델 기반 품질 점수에 기반하여 상기 프레임의 품질 점수를 획득하는 단계를 포함하는, 비디오 품질 평가 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200094689A KR20220014715A (ko) | 2020-07-29 | 2020-07-29 | 비디오 품질 평가 방법 및 장치 |
| PCT/KR2021/007559 WO2022025423A1 (en) | 2020-07-29 | 2021-06-16 | Video quality assessing method and apparatus |
| US17/364,114 US11989868B2 (en) | 2020-07-29 | 2021-06-30 | Video quality assessing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200094689A KR20220014715A (ko) | 2020-07-29 | 2020-07-29 | 비디오 품질 평가 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220014715A true KR20220014715A (ko) | 2022-02-07 |
Family
ID=80003162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200094689A KR20220014715A (ko) | 2020-07-29 | 2020-07-29 | 비디오 품질 평가 방법 및 장치 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11989868B2 (ko) |
| KR (1) | KR20220014715A (ko) |
| WO (1) | WO2022025423A1 (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112085701A (zh) * | 2020-08-05 | 2020-12-15 | 深圳市优必选科技股份有限公司 | 一种人脸模糊度检测方法、装置、终端设备及存储介质 |
| JP2022053060A (ja) * | 2020-09-24 | 2022-04-05 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
| CN114630139A (zh) * | 2022-03-15 | 2022-06-14 | 广州虎牙科技有限公司 | 直播视频的质量评估方法及其相关设备 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7873224B2 (en) | 2006-03-01 | 2011-01-18 | Qualcomm Incorporated | Enhanced image/video quality through artifact evaluation |
| EP2396768B1 (en) | 2009-02-12 | 2013-04-17 | Dolby Laboratories Licensing Corporation | Quality evaluation of sequences of images |
| US9143776B2 (en) | 2012-05-07 | 2015-09-22 | Futurewei Technologies, Inc. | No-reference video/image quality measurement with compressed domain features |
| CA2958720C (en) * | 2013-09-06 | 2020-03-24 | Zhou Wang | Method and system for objective perceptual video quality assessment |
| WO2016123721A1 (en) * | 2015-02-07 | 2016-08-11 | Zhou Wang | Method and system for smart adaptive video streaming driven by perceptual quality-of-experience estimations |
| US9706111B2 (en) | 2015-07-08 | 2017-07-11 | Santa Clara | No-reference image and video quality evaluation |
| US10257528B2 (en) * | 2015-10-08 | 2019-04-09 | Electronics And Telecommunications Research Institute | Method and apparatus for adaptive encoding and decoding based on image quality |
| KR102284096B1 (ko) * | 2017-12-22 | 2021-07-29 | 한국전기연구원 | 중요도 맵을 이용한 지능형 주관적 화질 평가 시스템, 방법, 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체 |
| KR102285738B1 (ko) * | 2018-10-19 | 2021-08-05 | 삼성전자주식회사 | 영상의 주관적 품질을 평가하는 방법 및 장치 |
| WO2020080698A1 (ko) * | 2018-10-19 | 2020-04-23 | 삼성전자 주식회사 | 영상의 주관적 품질을 평가하는 방법 및 장치 |
| WO2020080873A1 (en) | 2018-10-19 | 2020-04-23 | Samsung Electronics Co., Ltd. | Method and apparatus for streaming data |
| US11176654B2 (en) * | 2019-03-27 | 2021-11-16 | Sharif University Of Technology | Quality assessment of a video |
-
2020
- 2020-07-29 KR KR1020200094689A patent/KR20220014715A/ko active Search and Examination
-
2021
- 2021-06-16 WO PCT/KR2021/007559 patent/WO2022025423A1/en active Application Filing
- 2021-06-30 US US17/364,114 patent/US11989868B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US11989868B2 (en) | 2024-05-21 |
| WO2022025423A1 (en) | 2022-02-03 |
| US20220036536A1 (en) | 2022-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11989868B2 (en) | Video quality assessing method and apparatus | |
| US11928793B2 (en) | Video quality assessment method and apparatus | |
| KR102402513B1 (ko) | 컨텐트를 실행하는 방법 및 장치 | |
| US11960996B2 (en) | Video quality assessment method and apparatus | |
| CN107948733B (zh) | 视频图像处理方法及装置、电子设备 | |
| US10706512B2 (en) | Preserving color in image brightness adjustment for exposure fusion | |
| CA2923949A1 (en) | Methods and systems for content presentation optimization | |
| JP5142837B2 (ja) | 表示制御装置および表示制御方法 | |
| US10085015B1 (en) | Method and system for measuring visual quality of a video sequence | |
| US20180262727A1 (en) | Display device and method for controlling same | |
| US20110267542A1 (en) | Image processing apparatus and control method thereof | |
| US11128909B2 (en) | Image processing method and device therefor | |
| KR20230009806A (ko) | 영상 처리 장치 및 그 동작 방법 | |
| CN113039807B (zh) | 图像和音频处理装置及其操作方法 | |
| US20160019705A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN114630053A (zh) | 一种hdr图像显示方法及显示设备 | |
| KR20200114898A (ko) | 영상표시장치 | |
| US11373280B2 (en) | Electronic device and method of training a learning model for contrast ratio of an image | |
| KR20220117057A (ko) | 오디오의 존재 및 비존재에 따른 비디오 품질 평가 방법 및 장치 | |
| US20230206811A1 (en) | Electronic apparatus and control method thereof | |
| US20220392210A1 (en) | Electronic device for performing video quality assessment, and operation method of the electronic device | |
| KR20210105636A (ko) | 전자장치 및 그 제어방법 | |
| Zhao et al. | Measuring the relative image contrast of projection displays | |
| KR20220159250A (ko) | 비디오 품질을 평가하는 전자 장치 및 그 동작 방법 | |
| CN115550706A (zh) | 显示设备、图像处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |