KR20120018124A - 인터넷 비디오 콘텐츠의 추정된 품질을 기반으로 한 비디오 후처리 프로세서의 자동 조정 - Google Patents

인터넷 비디오 콘텐츠의 추정된 품질을 기반으로 한 비디오 후처리 프로세서의 자동 조정 Download PDF

Info

Publication number
KR20120018124A
KR20120018124A KR1020117025383A KR20117025383A KR20120018124A KR 20120018124 A KR20120018124 A KR 20120018124A KR 1020117025383 A KR1020117025383 A KR 1020117025383A KR 20117025383 A KR20117025383 A KR 20117025383A KR 20120018124 A KR20120018124 A KR 20120018124A
Authority
KR
South Korea
Prior art keywords
video content
module
settings
video
quality
Prior art date
Application number
KR1020117025383A
Other languages
English (en)
Other versions
KR101761307B1 (ko
Inventor
배슈디브 바스카란
메이낙 비스와스
니킬 발람
Original Assignee
마벨 월드 트레이드 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마벨 월드 트레이드 리미티드 filed Critical 마벨 월드 트레이드 리미티드
Publication of KR20120018124A publication Critical patent/KR20120018124A/ko
Application granted granted Critical
Publication of KR101761307B1 publication Critical patent/KR101761307B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4332—Content storage operation, e.g. storage operation in response to a pause request, caching operations by placing content in organized collections, e.g. local EPG data repository
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

디코더 모듈로부터의 데이터를 기반으로 비디오 콘텐츠의 시각적 품질을 추정하도록 구성되는 품질 추정 모듈을 포함하는 시스템. 상기 시스템은 복수의 미리 결정된 설정들을 저장하도록 구성되는 설정 데이터베이스를 더 포함한다. 상기 설정 데이터베이스는 상기 시각적 품질에 응답하여 상기 미리 결정된 설정들 중 적어도 하나를 출력한다. 상기 시스템은 상기 미리 결정된 설정들 중 상기 적어도 하나를 기반으로 그 자체의 설정들을 자동으로 조정하도록 구성되는 비디오 후처리 프로세서 모듈을 포함한다. 상기 비디오 콘텐츠는 자동으로 조정된 상기 비디오 후처리 프로세서 모듈의 상기 설정들을 기반으로 처리된다.

Description

인터넷 비디오 콘텐츠의 추정된 품질을 기반으로 한 비디오 후처리 프로세서의 자동 조정{AUTOMATIC ADJUSTMENTS FOR VIDEO POST-PROCESSOR BASED ON ESTIMATED QUALITY OF INTERNET VIDEO CONTENT}
본 출원은 2009년 4월 21일에 출원된 미국 가출원 제61/171,234호에 대한 우선권을 주장한다. 상기 출원의 개시 내용은 그 전체가 참조로서 본 명세서에 통합된다.
본 개시는 인터넷 비디오 콘텐츠에 관한 것이며, 더욱 상세하게는 인터넷 비디오 콘텐츠의 품질에 관한 것이다.
본 명세서의 배경기술은 일반적으로 본 개시의 맥락을 제시하기 위한 목적으로 제공된다. 출원 당시에 선행 기술로서의 적격을 가질 수 없는 설명의 측면들 뿐만 아니라 본 배경기술 부분에 설명된 범위에서 본 명세서에 기명된 발명자들의 성과는 명시적으로나 또는 묵시적으로 본 개시에 대한 선행 기술로서 인정되지 않는다.
DVD 및 방송 환경에서 이용되는 디지털 비디오 콘텐츠는 비교적 소수의 비디오 해상도들로 제한된다. 이 비디오 해상도들은 전형적으로 "표준 해상도(standard definition)" 또는 "고 해상도(high definition)"이다.
대조적으로, 인터넷 상으로 스트리밍(streaming)되는 비디오 콘텐츠는 저 해상도의 QVGA(Quarter Video Graphics Array)(예컨대, 320×240 픽셀 해상도) 내지 고 해상도(예컨대, 720 라인의 프로그레시브 비디오(progressive video)(720p))의 광범위한 해상도들에 미친다. 나아가, 인터넷 비디오 콘텐츠는 다양한 표준 코덱들 또는 전용 코덱들 중 하나를 사용하여 압축되고, 예컨대 200 kbps 내지 5 Mbps 이상의 광범위한 비트레이트(bitrate)를 포함한다.
해상도, 코덱 아티팩트(codec artifact) 및 비트레이트들에 있어서 큰 폭의 편차들은 스트리밍되는 비디오 콘텐츠에 대하여 광범위한 비디오 품질을 만들어 낸다. 나아가, 네트워크 대역폭은 종종 제한된다. 그러므로, 비디오 콘텐츠도 종종 이용가능한 대역폭으로 스케일링(scale)된다. 이 스케일링은 비디오 품질에 영향을 줄 수 있다. 따라서, 대부분의 비디오 콘텐츠 스트리밍은 전형적인 TV 방송 서비스들보다 훨씬 낮은 품질을 가진다.
많은 수신기들, 예컨대 인터넷 프로토콜 TV(Internet Protocol TV: IPTV) 셋톱박스(set top box)는 비디오 콘텐츠의 품질을 개선하기 위해 비디오 후처리 기능을 포함한다.
디코더 모듈로부터의 데이터를 기반으로 비디오 콘텐츠의 시각적 품질(visual quality)을 추정하도록 구성되는 품질 추정 모듈(quality estimation module)을 포함하는 시스템. 상기 시스템은 복수의 미리 결정된 설정들을 저장하도록 구성되는 설정 데이터베이스(settings database)를 더 포함한다. 상기 설정 데이터베이스는 상기 시각적 품질에 응답하여 상기 미리 결정된 설정들 중 적어도 하나를 출력한다. 상기 시스템은 상기 미리 결정된 설정들 중 상기 적어도 하나를 기반으로 그 자체의 설정들을 자동으로 조정하도록 구성되는 비디오 후처리 프로세서 모듈(video post-processor module)을 포함한다. 상기 비디오 콘텐츠는 자동으로 조정된 상기 비디오 후처리 프로세서 모듈의 상기 설정들을 기반으로 처리된다.
다른 특징들로, 상기 품질 추정 모듈은 상기 비디오 콘텐츠의 상기 시각적 품질을 나타내는 품질 계수(quality factor)를 결정한다. 상기 데이터는 상기 비디오 콘텐츠에 대한 전송 특징들(transmission features)을 가리키는 메타데이터 정보(metadata information)를 포함한다. 상기 시스템은 상기 품질 계수를 기반으로 상기 미리 결정된 설정들 중 상기 적어도 하나를 선택하기 위해 데이터베이스 제어 모듈(database control module)을 더 포함한다. 상기 데이터베이스 제어 모듈은 상기 비디오 후처리 프로세서 모듈의 비디오 출력들을 기반으로 상기 미리 결정된 설정들 중 상기 적어도 하나의 선택을 조정하는 추정 모듈을 포함한다.
다른 특징들로, 상기 시스템은 상기 후처리 프로세서 모듈로부터의 출력 신호들에서 레지듀얼 아티팩트들(residual artifacts)을 추정하는 추정 모듈을 더 포함한다. 상기 출력 신호들은 상기 서브-모듈 설정들이 처음 조정된 후에 상기 비디오 콘텐츠를 포함한다. 상기 선택 모듈은 상기 서브-모듈 설정들을 다시 조정하기 위해 상기 레지듀얼 아티팩트들의 추정을 기반으로 상기 미리 결정된 설정들 중 적어도 하나로부터 재선택한다.
또 다른 특징들로, 위에서 설명된 상기 시스템 및 방법들은 하나 이상의 프로세서들에 의해 실행되는 컴퓨터 프로그램에 의해 구현되거나, 컴퓨터 하드웨어에 의해 구현되거나, 또는 하드웨어 및 소프트웨어의 조합에 의해 구현된다. 상기 컴퓨터 프로그램은 메모리, 비휘발성 데이터 저장 매체, 및/또는 다른 적합한 유형의 일시적인 저장 매체들과 같은 컴퓨터 판독가능한 매체에 존재할 수 있으며, 다만 이들 저장 매체들로만 제한되는 것은 아니다.
본 개시의 추가 응용 분야는 상세한 설명, 특허청구범위, 및 도면들로부터 자명하게 될 것이다. 상세한 설명과 특정 예들은 오로지 예시적인 목적으로 의도된 것이고 본 개시의 범위를 제한하고자 의도된 것이 아니다.
본 개시는 상세한 설명과 첨부된 도면들로부터 더욱 완전히 이해될 것이다.
도 1은 본 개시의 제1 실시예에 따른 비디오 처리 시스템을 예시한 블록도이다.
도 2는 본 개시에 따른 코딩 방법들에 대하여 비디오 품질 및 비트레이트를 그래프로 나타낸 것이다.
도 3은 본 개시에 따른 비디오 후처리 프로세서 모듈을 예시한 블록도이다.
도 4는 본 개시의 제2 실시예에 따른 비디오 처리 시스템을 예시한 블록도이다.
도 5a는 본 개시의 제3 실시예에 따른 비디오 처리 시스템을 예시한 블록도이다.
도 5b는 본 개시의 제3 실시예에 따른 데이터베이스 제어 모듈을 예시한 블록도이다.
도 6은 본 개시에 따른 비디오 처리 시스템을 운용하는 방법을 예시한 블록도이다.
본래 다음의 설명은 단지 예시적인 것이며, 본 개시, 그 응용 또는 사용을 제한하고자 하는 의도는 전혀 없다. 명료함을 위해, 동일한 도면 번호들은 도면들에서 유사한 구성요소들을 식별하도록 사용될 것이다. 본 명세서에서 사용된 바와 같이, A, B 및 C 중 적어도 하나라는 구절은 비-배타적 논리합(non-exclusive logical OR)을 사용하여 논리적으로 (A 또는 B 또는 C)를 의미하는 것으로 해석되어야 한다. 방법 내에서의 단계들은 본 개시의 원리를 변경시키지 않고 서로 다른 순서로 실행될 수 있다는 것을 이해하여야 한다.
본 명세서에서 사용된 바와 같이, 모듈(module)이라는 용어는 주문형 반도체(ASIC), 전자 회로, 하나 이상의 소프트웨어 또는 펌웨어 프로그램들을 실행하는 프로세서(공유된, 전용의, 또는 그룹의) 및/또는 메모리(공유된, 전용의, 또는 그룹의), 조합 논리 회로(combinational logic circuit), 및/또는 설명된 기능들을 제공하는 다른 적합한 컴포넌트들을 지칭하거나, 그 일부이거나, 또는 이들을 포함할 수 있다.
이제 도 1을 보면, 비디오 처리 시스템(10)이 예시되어 있다. 시스템(10)의 외부에 있는 콘텐츠 전송 시스템(11)이 인터넷 비디오 콘텐츠를 포함하여 인터넷 비디오 신호들과 같은 입력을 시스템(10)의 네트워크 프로세서 모듈(12)로 제공한다. 한 실시예에서, 콘텐츠 전송 시스템(11)은 인터넷 프로토콜 텔레비전(IPTV) 전송기, 인터넷 텔레비전(ITV) 전송기, 및/또는 스트리밍 TV 전송기이다.
디코더 모듈(decoder module)(14)은 네트워크 프로세서 모듈(12)로부터 비디오 신호들을 수신하고 디코딩한다. 디코더 모듈(14)의 한 예는 서로 다른 유형의 인코더(encoder)들로부터의 데이터를 디코딩하는 다중-포맷(multi-format) 비디오 디코더이다.
비디오 품질 추정 모듈(16)은 디코더 모듈(14)로부터 데이터를 수신한다. 데이터의 한 예는 콘텐츠가 어떻게 전송되었는지, 즉 데이터에 대한 전송 특징들을 기술하는 코딩된 스트림 메타데이터(coded stream metadata)이다. 메타데이터의 예들은 비트레이트(bitrate), 공간 해상도(spatial resolution), 시간 해상도(temporal resolution), 및 코덱 유형(codec type)이다. 비디오 품질 추정 모듈(16)은 디코더 모듈(14)로부터의 데이터의 일부 또는 전부를 기반으로 품질 계수(quality factor)를 추정한다. 품질 계수는 비디오 콘텐츠의 시각적 품질에 대한 추정을 제공한다. 시각적 품질은 디스플레이되는 비디오 이미지에 대한 공인 표준 품질에 해당한다.
한 실시예에서, 품질 계수는 미리 결정된 레벨에 있거나 그 레벨 가까이에 있는 비디오 콘텐츠의 품질을 개선하기 위한 조정량을 제안한다. 다른 실시예에서, 품질 계수는 비디오 콘텐츠가 받은 압축의 양을 가리킨다.
데이터베이스 제어 모듈(18)은 품질 계수를 수신하고 데이터베이스(20)로부터 복수의 설정들 중 하나를 선택한다. 데이터베이스 설정들은 미리 결정되어 있고 비디오 후처리 프로세서 모듈(22)에 대한 설정들에 해당한다.
비디오 후처리 프로세서 모듈(22)은 데이터베이스(20)로부터 데이터베이스 설정들을 수신하고 데이터베이스 설정들을 기반으로 후처리 설정들을 조정한다. 한 실시예에서, 후처리 설정들의 조정은 비디오 후처리 프로세서 모듈(22)의 설정들을 온(on)시키거나 오프(off)시키는 것을 포함한다. 다른 실시예에서, 후처리 설정들의 조정은 비디오 후처리 프로세서 모듈(22)의 설정들을 미리 결정된 레벨들로 증가시키거나 감소시키는 것을 포함한다.
한 실시예에서, 미리 결정된 레벨들은 서로 다른 비트레이트들로 코딩된 콘텐츠에 대하여 품질 계수들을 계산하여 실험을 통하여 결정된다. 서로 다른 비트레이트들로 코딩된 콘텐츠에 대하여, 비디오 후처리 프로세서 모듈(22)의 모듈들 각각의 설정들은 디스플레이(26) 상에서 시각적으로 만족스러운 결과를 산출하도록 조정된다. 디스플레이(26)는 후처리 프로세서 설정들을 기반으로 비디오 콘텐츠를 수신하고 디스플레이한다. 비디오 후처리 프로세서 모듈(22)에 대하여 미리 결정된 레벨들을 산출하기 위하여 다양한 콘텐츠 및 시각적 평가들에 대하여 추가의 조정 및 디스플레이 분석(시각적으로 만족스러운 결과들을 위한)이 반복된다.
한 실시예에서, 후처리 설정들의 조정은 미리 결정된 양만큼 후처리 프로세서 모듈(22)의 설정들을 증가시키거나 감소시키는 것을 포함한다. 데이터베이스 제어 모듈(18)은 비디오 콘텐츠에 영향을 주는 아티팩트(artifact)들을 제거하거나 아니면 감소시키기 위하여 후처리 프로세서 설정들을 조정한다.
아티팩트들의 예들은 블록키 현상(blockyness), 링잉(ringing), 폴스 에지(false edge), 블러링(blurring), 컬러 손상(loss of colorfulness)이다. 블록키 현상은 변환 데이터(transform data)의 공격적인 양자화(quantization)로 인한 왜곡이다. 링잉은 평활한(smooth) 영역들에 가까이 있는 고 명암비 에지(high contrast edge)에 존재하는 왜곡이다. 폴스 에지는 블록키 아티팩트의 움직임 보상(motion compensation)으로 인한 왜곡이다. 블러링은 기본이 되는 코딩된 블록 유닛에 의해 표현되는 신호 중에서 고주파 성분들의 손실로 인한 왜곡이다. 컬러 손상은 루마(luma)에 비해 크로마(chroma) 성분들의 공격적인 양자화 및 동적 범위(dynamic range)의 감소로 인한 것이다. 그러므로, 후처리 프로세서 설정들의 예들은 블록키 현상, 링잉, 모스키토 노이즈(mosquito noise), 폴스 에지, 블러링, 및 컬러 손상을 위한 설정들이다.
한 실시예에서, 콘텐츠 전송 시스템(11)은 전체 비디오 스트림 전반에 걸쳐 일관된 비트레이트를 가지는 세션들에 대하여 스트림 세션(stream session)을 기준으로 비디오 콘텐츠의 메타데이터를 선택적으로 포함한다. 이 실시예의 경우, 후처리 프로세서 모듈(22)은 품질 계수를 기반으로 하여 스트림 세션 단위로 설정들을 조정한다.
다른 실시예에서, 콘텐츠 전송 시스템(11)은 그룹 오브 픽처(group of picture: GOP) 기준으로 비디오 콘텐츠의 메타데이터를 선택적으로 포함한다. 그룹 오브 픽처의 기준은 스트리밍 사이트가 임의의 정해진 시간에 이용할 수 있는 대역폭에 따라 비트레이트와 공간 해상도를 변화시킬 때 사용된다. 이 실시예의 경우, 후처리 프로세서 모듈(22)은 품질 계수를 기반으로 하여 그룹 오브 픽처 기준으로 설정들을 조정한다.
또 다른 실시예에서, 콘텐츠 전송 시스템(11)은 프레임(frame) 기준으로 메터데이터를 포함한다. 이 실시예의 경우, 후처리 프로세서 모듈(22)은 품질 계수를 기반으로 하여 프레임 기준으로 설정들을 조정한다.
비디오 품질 추정 모듈(16)은 메타데이터 및/또는 비디오 콘텐츠를 기반으로 각각의 세션, 그룹 오브 픽처, 또는 프레임에 대하여 품질 계수를 결정한다.
한 실시예에서, 비디오 품질 추정 모듈(16)은 다음과 같이 품질 계수(QF)를 추정한다.
Figure pct00001
공간 해상도는 예를 들어 픽셀 단위로 프레임 폭 곱하기 프레임 높이에 해당한다. 코덱 가중치(codec weight)는 한 코덱을 사용할 때 다른 코덱에 상대적으로 품질 개선을 나타내는 가중치 인자에 해당한다. 코덱 가중치는 1의 코덱 가중치를 가지는 미리 선택된 표준에 상대적으로 표현되므로, 품질 계수는 0보다 크다.
한 실시예에서, 서로 다른 코덱 가중치들이 비트레이트를 기반으로 서로 다른 코딩 방법들에 할당된다. 예를 들면, 제1 코딩 방법은 1 Mbps보다 작거나 큰 비트레이트들에 대해 1의 코덱 가중치를 가진다. 제2 코딩 방법은 1 Mbps보다 작거나 큰 비트레이트들에 대해 1.33의 코덱 가중치를 가진다. 제3 코딩 방법은 1 Mbps보다 작은 비트레이트들에 대해 1.74의 코덱 가중치를 가지고 1 Mbps보다 큰 비트레이트들에 대해 2.75의 코덱 가중치를 가진다. 제4 코딩 방법은 1 Mbps보다 작은 비트레이트들에 대해 2의 코덱 가중치를 가지고 1 Mbps보다 큰 비트레이트들에 대해 3.16의 코덱 가중치를 가진다. 각각의 코딩 방법에 대하여, 동일한 콘텐츠를 사용할 때, 비트레이트는 서로 다르다.
이제 도 2를 보면, 제1 코딩 방법(100)과 제4 코딩 방법(102)을 그래프로 나타낸 것이 예시되어 있다. 후자의 방법 대 전자의 방법(즉, 후자의 방법 나누기 전자의 방법)의 코덱 가중치는 비트레이트 b1에서 Y/X이고 비트레이트 b2에서 Y'/X'이다. 서로 다른 코덱들은 비트레이트들의 범위 전반에 걸쳐 균일하지 않은 거동을 보여준다. 다시 말해, 보다 높은 비트 레이트들에서 코덱들 사이에 성능 갭들이 나타난다. 하지만, 보다 낮은 비트 레이트드에서 코덱들은 거의 동일한 성능을 가진다.
품질 계수의 경우, 픽셀 당 비트수(즉, 비트레이트/(공간 해상도×시간 해상도))가 높을수록 품질 계수도 높아지는 경향이 있다. 한 실시예에서, 품질 계수가 높다는 것은 비디오 신호(예컨대, 코딩된 비디오 스트림)의 품질이 높다는 것과 낮은 품질 계수를 가지는 비디오 신호보다 신호 압축에 의해 유발되는 아티팩트들이 적다는 것을 가리킨다. 코덱들은 비디오 콘텐츠를 더 높은 픽셀 당 비트수로 표현할 수 있을 때 더 높은 품질 계수를 제공하는 경향이 있다. 코덱 가중치는 코덱들 전반에 걸쳐 품질 편차를 표시한다. 또한, 동일한 비트레이트에 대하여, 후자의 코딩 방법은 덜 효율적인 전자의 코딩 방법보다 더 높은 품질을 제공한다.
한 실시예에서, 콘텐츠 전송 시스템(11)의 인코더 모듈(미도시됨)에서 몇몇 파라미터들이 설정된다. 상기 파라미터들은 콘텐츠 전송 시스템(11)이 특정한 코덱을 사용하여 특정 비트레이트와 시간/공간 해상도로 비디오 콘텐츠를 인코딩할 때 설정된다. 콘텐츠 전송 시스템(11)은 비디오 신호를 시스템(10)으로 전송한다. 비디오 신호는 비디오 콘텐츠와 함께 상기 파라미터들의 표시(indication)를 포함한다. 파라미터들은 메타데이터와 서로 다른 것이고 콘텐츠 품질의 직접적인 표시를 제공한다.
파라미터들의 예들은 평균 양자화 파라미터(quantization parameter: QP) 값, 비트레이트/프레임 레이트(프레임당 비트수), 인터 블록(inter block)들의 개수, 스킵된 블록(skipped block)들의 개수, 프레임 레이트, 8×8, 16×8, 8×16과 같은 제1 사이즈를 가지는 인터 블록들의 개수, 4×4, 8×4, 4×8과 같은 제2 사이즈를 가지는 인터 블록들의 개수, 및 평균 움직임 벡터(motion vector) 길이이다.
N개의 파라미터들을 가지는 시퀀스에 대하여, 비디오 품질 추정 모듈(16)은 비디오 시퀀스의 지각적 비디오 품질 메트릭(perceptual video quality metric: PVQM)(즉, 지각적 품질 계수)을 구하기 위해 가중 합(weighted sum)을 형성한다. 가중 합은 다음 식과 같고, 이 식에서 β는 훈련용 세트로부터 계산되는 상수들에 해당하고, x는 특정한 파라미터에 해당한다.
Figure pct00002
지각적 품질 계수의 범위는 더 작은 범위들로 분할될 수 있다. 더 작은 범위들 각각은 그룹 오브 픽처 또는 프레임들과 같은 비디오 시퀀스의 서브세트로 범주화된다. 한 실시예에서, 비디오 품질 추정 모듈(16)은 디코더 모듈(14)로부터 N개의 파라미터들을 수신한다.
비디오 품질 추정 모듈(16)은 지각적 품질 계수를 빈들(bins)(미도시됨)로 양자화한다. 그런 다음, 데이터베이스 제어 모듈(18)은 인덱스(index)(미도시됨)를 통해 빈들에 해당하는 품질 계수들을 위해 필요한 비디오 후처리 프로세서 설정들을 액세스한다. 예를 들면, 비디오 품질 추정 모듈(16)은 지각적 품질 계수를 4 비트 내지 2 비트의 빈들로 양자화하고 각각의 품질 계수를 위해 필요한 비디오 후처리 프로세서 설정들을 액세스하기 위한 2 비트의 인덱스를 구현한다.
이제 도 3을 보면, 후처리 프로세서 모듈(22)이 더욱 상세히 예시되어 있다. 후처리 프로세서 모듈(22)은 디코더 모듈(14)로부터 압축 해제된(decompressed) 비디오 신호를 수신하고 데이터베이스(20)로부터 후처리 프로세서 설정들을 수신한다. 후처리 프로세서 모듈(22)은 설정들을 기반으로 조정되는 복수의 모듈들과 서브-모듈들을 가진다.
예를 들면, 각각의 설정은 압축된 비디오 신호를 기반으로 디스플레이되는 이미지에 대하여 압축된 비디오 신호의 품질을 변화시키기 위하여 모듈들 및/또는 서브-모듈들 중 하나 이상을 조정한다. 한 실시예에서, 모듈들 및 서브-모듈들 각각은 데이터베이스 설정들에 응답하여 자동으로 그 자신의 설정을 조정한다. 다른 실시예에서, 설정 제어 모듈(150)은 데이터베이스 설정들을 기반으로 모듈들 및/또는 서브-모듈들의 설정들을 제어한다. 한 실시예에서, 설정 제어 모듈(150)은 데이터베이스 설정들을 기반으로 모듈들 및/또는 서브-모듈들의 설정들을 자동으로 제어한다.
모듈들 및 서브-모듈들의 예들은 압축 아티팩트 감소 모듈(compression artifact reducer module)(200), 모스키토 및 링잉 노이즈 감소 모듈일 수 있는 비표준 블록 노이즈(nonstandard block noise) 감소 모듈(206), 및 표준 블록 노이즈(standard block noise) 감소 모듈(204)이다.
예를 들면, 품질 계수가 비디오 신호가 과도한 블록키 현상을 가진다고 표시하면, 데이터베이스 제어 모듈(18)은 데이터베이스(20)에서 블록키 현상용 설정을 선택한다. 한 실시예에서, 블록키 현상용 설정은 단순히 후처리 프로세서 모듈(22)에서 표준 블록 노이즈 감소 모듈(204)을 온/오프 시킨다. 다른 실시예에서, 블록키 현상용 설정은 표준 블록 노이즈 감소 모듈(204)을 미리 결정된 레벨로 설정한다. 또 다른 실시예에서, 블록키 현상용 설정은 단순히 표준 블록 노이즈 감소 모듈(204) 내의 값을 표준 블록 노이즈 감소 모듈(204)의 최소 및 최대 범위 사이에서 증가시키거나 감소시킨다.
모듈들 및 서브-모듈들의 추가 예들은 비표준 블록 노이즈 감소 모듈(206), 노이즈 감소 모듈(208), 저주파 통과 필터(low pass filter: LPF) 모듈(210), 및 스케일러(scaler) 모듈(212)이다. 모듈들 및 서브-모듈들의 추가 예들은 다중-스케일 에지 향상 모듈(multi-scale edge enhancement module)(214), 컬러 관리 모듈(color management module)(216), 적응 명암비 향상 모듈(adaptive contrast enhancement module)(218), 컬러 재매핑 모듈(color remapping module)(220), 트루 컬러 모듈(true color module)(222), 및 필름 그레인 발생 모듈(film grain generation module)(230)이다.
압축 아티팩트 감소 모듈(200)은 들어오는 압축 해제된 비디오 신호로부터 아티팩트들을 감소시킨다. 압축 아티팩트 감소 모듈(200)은 다양한 아티팩트 감소 서브-모듈들을 가진다. 상기 서브-모듈들은 모스키토 및 링잉 노이즈 감소 모듈(202), 표준 블록 노이즈 감소 모듈(204), 및 비표준 블록 노이즈 감소 모듈(206)이다. 서브-모듈들 각각은 압축 해제된 비디오 신호에서 모스키토 및 링잉 노이즈, 표준 및 비표준 블록 노이즈와 같은 서로 다른 유형의 아티팩트를 처리한다. 비표준 블록 노이즈 감소 모듈(202)은 압축 해제된 비디오 신호가 스케일링될 때 블록 노이즈 감소를 다룬다.
공간-시간적 노이즈 감소 모듈(spatio-temporal reducer module)(208)은 압축 해제된 비디오 신호에서 가우시안 노이즈(Gaussian noise)와 같은 노이즈를 감소시킨다. LPF 모듈(210)은 압축 해제된 비디오 신호를 수신하고 적응식으로 필터링한다. 스케일러 모듈(212)은 압축 해제된 비디오 신호를 미리 결정된 출력 해상도로 업스케일링(upscale)한다. 다중-스케일 에지 향상 모듈(214)은 신호의 겉보기 선명도(apparent sharpness)를 개선하기 위해 압축 해제된 비디오 신호를 필터링하여 신호의 에지 명암비를 향상시킨다. 예를 들면, 에지 향상 모듈(214)은 압축 해제된 비디오 신호에서 미세한 부분들을 향상시키고 루미넌스/크로미넌스 천이(luminance/chrominance transition)의 개선을 제공한다.
컬러 관리 모듈(216)은 압축 해제된 비디오 신호에서 컬러 현시(appearance of colors)를 관리한다. 컬러 관리 모듈(216)은 컬러 현시를 관리하기 위해 다양한 서브-모듈들을 가진다. 컬러 관리 모듈(216)의 한 실시예는 적응 명암비 향상 모듈(218), 컬러 재매핑 모듈(220), 및 트루 컬러 모듈(222)을 가진다.
적응 명암비 향상 모듈(218)은 압축 해제된 비디오 신호 내의 명암비를 조정한다. 컬러 재매핑 모듈(220)은 휴/새츄레이션(hue/saturation) 조정을 제공하고 플레시-톤 검출 및 보정(flesh-tone detection and correction)을 포함한다. 트루 컬러 모듈(222)은 밴딩 아티팩트(banding artifact)를 감소시킨다. 밴딩 아티팩트는 입력 신호에 비해 루미넌스 또는 컬러 신호의 더 많은 음영들을 재현할 수 있는 고 명암비 디스플레이 상에서 X 비트의 콘텐츠가 디스플레이될 때 일어난다. 트루 컬러 모듈(222)은 또한 저 명암비 블록킹 아티팩트들을 감소시킨다. 필름 그레인 발생 모듈(230)은 과도한 압축으로 인해 세세한 부분들의 손실이 있는 경우에 필름 그레인과 비슷한 노이즈를 압축된 비디오 신호에 부가한다.
한 실시예에서, 데이터베이스(20)의 설정들은 후처리 프로세서 모듈(22)의 하나 이상의 모듈들에 대한 다양한 설정들의 테스트를 통하여 미리 결정된다. 다시 말해, 특정한 품질 계수에 대하여, 기술자가 디스플레이(26)를 관찰하고 디스플레이 상의 이미지들을 개선하기 위해 후처리 프로세서 모듈(22)의 설정들을 조정한다. 그런 다음, 상기 설정들은 각각 복수의 품질 계수들 중 하나에 할당된다. 품질 계수들은 콘텐츠 품질의 레벨에 해당하고, 이는 한 실시예에서 저, 중, 고로 특징지어진다.
예를 들면, 저 품질 계수, 예컨대 0.15 미만은 낮은 비트레이트의 콘텐츠, 예컨대 500 kbps 미만의 비트레이트 및/또는 384×288 이하의 공간 해상도를 가지는 콘텐츠를 가리킨다.
한 실시예에서, 후처리 프로세서 모듈 설정들은 낮은 품질 계수의 경우에 공격적이다. 공격적이라는 것은 설정들이 오프에서 온으로 설정되는 것을 의미하거나 설정들이 높은 범위로 설정되는 것을 의미한다. 공격적인 설정들은 압축 아티팩트 감소 모듈(200)과 에지 향상 모듈(214)과 같은 하나 이상의 후처리 프로세서 모듈들에 특유한 것이다. 저 비트레이트 콘텐츠는 광범위한 블록키 현상, 링잉 아티팩트, 및 물빠진 컬러를 가지는 경향이 있다. 한 실시예에서, 특정한 모듈들에 대하여 현재의 아티팩트들에 가장 큰 영향을 주는 설정들이 선택된다. 예를 들면, 압축 아티팩트 감소 모듈(200)과 다중-스케일 에지 향상 모듈(214)은 광범위한 블록키 현상, 링잉 아티팩트, 및 물빠진 컬러에 가장 큰 영향을 주기 때문에 그 모듈들에 대한 설정들이 선택된다.
또한, 중 품질 계수, 예컨대 0.15 내지 0.5의 범위는 중간 비트레이트 콘텐츠, 예컨대 500 kbps 내지 약 1 Mbps의 비트레이트 및 480×360(360p) 이상의 공간 해상도를 가지는 콘텐츠를 가리킨다.
한 실시예에서, 후처리 프로세서 모듈 설정들은 중간 품질 계수의 경우에 공격적이다. 공격적인 설정들은 압축 아티팩트 감소 모듈(200)과 에지 향상 모듈(214)과 같은 하나 이상의 후처리 프로세서 모듈들에 특유한 것이다. 중간 비트레이트 콘텐츠는 블록키 현상 및 링잉 아티팩트들을 일부 가지는 경향이 있다. 한 실시예에서, 압축 아티팩트 감소 모듈(200)과 에지 향상 모듈(214)은 블록키 현상 및 링잉 아티팩트에 가장 큰 영향을 주기 때문에 그 모듈들에 대한 설정들이 선택된다.
또한, 고 품질 계수, 예컨대 0.5를 초과하는 것은 높은 비트레이트 콘텐츠, 예컨대 1 Mbps를 초과하고 1280×720(720p)을 포함하여 480×360(360p) 이상의 공간 해상도를 가지는 콘텐츠를 가리킨다.
한 실시예에서, 후처리 프로세서 모듈 설정들은 고 품질 계수의 경우에 공격적이지 않다. 이들 설정들은 압축 아티팩트 감소 모듈(200)과 에지 향상 모듈(214)과 같은 하나 이상의 후처리 프로세서 모듈들에 특유한 것이다. 높은 비트레이트 콘텐츠는 블록키 현상 및 링잉 아티팩트들을 사소하게 가지는 경향이 있다. 한 실시예에서, 압축 아티팩트 감소 모듈(200)과 에지 향상 모듈(214)은 블록키 현상 및 링잉 아티팩트에 가장 큰 영향을 주기 때문에 그 모듈들에 대한 설정들이 선택된다.
다른 실시예에서, 품질 계수들은 단순히 고 또는 저로 특징지어진다. 고 품질 계수들의 경우, 후처리 프로세서 모듈(22)에 대하여 온건한 설정들이 사용된다. 중 내지 저 품질 계수들의 경우, 공격적인 설정들이 사용된다.
공격적인 설정들의 한 예는 압축 아티팩트 감소 모듈(200)을 높게 설정하고, 에지 향상 모듈(214)을 높게 설정하고, 공간-시간적 노이즈 감소 모듈(208)을 오프로 설정하고, 스케일러 모듈(212)을 온으로 설정하고, 컬러 재매핑 모듈(220)을 비디오 콘텐츠에 따라 중간으로(예컨대, 높은 설정과 낮은 설정 사이로) 설정하고, 트루 컬러 모듈(222)을 온으로/높게 설정하고, 필름 그레인 발생 모듈(230)을 비디오 콘텐츠에 따라 오프나 온으로 설정하는 것이다.
온건한 설정들의 한 예는 압축 아티팩트 감소 모듈(200)을 온건하게(예컨대, 높은 설정과 낮은 설정 사이지만 높은 설정보다는 낮은 설정에 더 가깝게) 설정하고, 다중-스케일 에지 향상 모듈(214)을 온건하게 설정하고, 공간-시간적 노이즈 감소 모듈(208)을 오프로 설정하고, 스케일러 모듈(212)을 온으로 설정하고, 컬러 재매핑 모듈(220)을 공격적인 설정들과 동일하게 설정하고, 트루 컬러 모듈(222)을 온으로/높게 설정하고, 필름 그레인 발생 모듈(230)을 오프로 설정하는 것이다.
이제 도 4를 보면, 시스템(10)의 대체가능한 실시예가 예시되어 있다. 이 실시예에서, 사용자 입력(400)이 제공되며 사용자는 후처리 프로세서 모듈(22)에 설정들을 제공한다. 사용자는 디스플레이(26)를 확인하고 데이터베이스(20)로부터 후처리 프로세서 모듈(22)의 설정들을 보충하거나 변화시킨다. 사용자나 사용자들의 그룹은 비디오 콘텐츠의 디스플레이에 대하여 시각적으로 만족스러운 결과를 얻기 위해 데이터베이스 제어 모듈(18)을 통해 설정들을 조정한다.
대체가능한 것으로, 후처리 프로세서 모듈(22)에 대한 설정들은 모듈들 전부를 설정하는 것은 아니다. 그 대신에, 사용자 입력은 데이터베이스 설정들에 의해 설정되지 않은 모듈들에 대하여 후처리 프로세서 모듈(22)을 위한 설정들을 제공한다. 한 실시예에서, 사용자 입력(400)은 비디오 콘텐츠 신호에서 이용할 수 있는 해당 메타데이터를 가지지 않는 모듈들, 예를 들어 비표준 블록 노이즈 감소 모듈(202)과 필름 그레인 발생 모듈(230)을 설정한다.
이제 도 5a를 보면, 시스템(10)의 대체가능한 실시예가 예시되어 있다. 이 실시예에서, 품질 계수를 기반으로 설정들이 조정된 후에 데이터베이스 제어 모듈(18)은 후처리 프로세서 모듈(22)의 출력들을 수신한다.
다시 말해, 도 5a는 폐루프 방식을 예시한 것이며, 품질 계수는 후처리 프로세서 모듈(22)의 설정들을 초기에 선택하기 위해 사용된다. 초기 설정들이 구현된 후에 출력 비디오에서 레지듀얼 아티팩트(residual artifacts)를 추정하기 위해 후처리 프로세서 모듈(22)의 입력 및 출력 신호들이 모니터링된다. 레지듀얼 아티팩트의 예들은 블록키 현상과 블러링 현상이다. 설정 선택은 설정들의 조정을 기반으로 후속 시퀀스, 그룹 오브 픽처, 또는 프레임을 처리하기에 앞서 더 미세하게 조정된다. 출력 비디오의 레지듀얼 아티팩트에 응답하여 설정들의 조정이 이루어진다.
그러므로, 도 5a의 시스템은 후처리 프로세서 모듈(22)의 설정들에 대하여 자동화된 조정 메커니즘을 제공한다. 예를 들면, 비디오 후처리 프로세서 모듈(22)의 출력들에서 레지듀얼 아티팩트의 양을 기반으로 설정들이 온건에서 공격적으로 조정될 수 있다.
이제 도 5b를 보면, 데이터베이스 제어 모듈(18)이 예시되어 있다. 데이터베이스 제어 모듈(18)은 비디오 품질 추정 모듈(16)로부터 품질 계수들을 수신하는 선택 모듈(300)을 가진다. 선택 모듈(300)은 데이터베이스(20)로부터 설정들을 선택한다. 추정 모듈(310)은 비디오 후처리 프로세서 모듈(22)로부터의 출력 신호들의 레지듀얼 아티팩트를 추정한다. 선택 모듈(300)은 추정 모듈(310)로부터 추정들을 수신하고 추정들과 품질 계수들을 기반으로 설정들의 선택을 조정한다. 그런 다음 선택 모듈(300)은 조정된 설정들의 선택을 기반으로 데이터베이스(20)로부터 설정들을 선택한다.
이제 도 6을 보면, 후처리 프로세서 모듈(22)의 설정들을 조정하는 데 사용되는 동작들의 예가 예시되어 있다. 401에서, 네트워크 프로세서 모듈(12)이 메타데이터와 같이 비디오 콘텐츠의 전송 특징들을 기술하는 데이터와 함께 비디오 콘텐츠를 수신한다. 402에서, 디코더 모듈(14)이 비디오 콘텐츠를 디코딩한다. 406에서, 디코더 모듈(14)은 메타데이터를 비디오 품질 추정 모듈(16)로 제공한다. 408에서, 비디오 품질 추정 모듈(16)은 메타데이터를 기반으로 품질 계수를 추정한다.
410에서, 데이터베이스 제어 모듈(18)이 품질 계수를 기반으로 후처리 프로세서 모듈(22)에 대한 설정들을 선택한다. 412에서, 후처리 프로세서 모듈(22)이 품질 계수를 기반으로 설정들을 조정한다. 414에서, 후처리 프로세서 모듈(22)로부터의 출력들을 기반으로 추가 조정이 이루어질 수 있다. 사용자 입력 및/또는 데이터베이스 제어 모듈(18)이 추가 조정들을 제공할 수 있다. 416에서, 만일 비디오 콘텐츠의 모든 프레임들이 처리된 것이라면, 제어는 402로 되돌아간다.
본 개시의 전반적인 가르침은 다양한 형태로 구현될 수 있다. 그러므로, 비록 본 개시가 특정한 예들을 포함하고 있지만, 도면들, 명세서, 및 첨부된 특허청구범위를 연구한다면 다른 수정들이 자명하게 될 것이기 때문에 본 개시의 진정한 범위는 이러한 특정한 예들로만 제한되어서는 안 된다.

Claims (20)

  1. 디코더 모듈로부터의 데이터를 기반으로 비디오 콘텐츠의 시각적 품질(visual quality)을 추정하도록 구성되는 품질 추정 모듈(quality estimation module)과,
    복수의 미리 결정된 설정들을 저장하도록 구성되는 설정 데이터베이스(settings database)와, 상기 설정 데이터베이스는 상기 시각적 품질에 응답하여 상기 미리 결정된 설정들 중 적어도 하나를 출력하며,
    상기 미리 결정된 설정들 중 상기 적어도 하나를 기반으로 그 자체의 설정들을 자동으로 조정하도록 구성되는 비디오 후처리 프로세서 모듈(video post-processor module)을 포함하며, 상기 비디오 콘텐츠는 자동으로 조정된 상기 비디오 후처리 프로세서 모듈의 상기 설정들을 기반으로 처리되는
    시스템.
  2. 제1항에 있어서,
    상기 품질 추정 모듈은 상기 비디오 콘텐츠의 상기 시각적 품질을 나타내는 품질 계수(quality factor)를 결정하고,
    상기 데이터는 상기 비디오 콘텐츠에 대한 전송 특징들(transmission features)을 가리키는 메타데이터 정보(metadata information)를 포함하는
    시스템.
  3. 제2항에 있어서,
    상기 메타데이터 정보는 상기 비디오 콘텐츠의 비트레이트(bitrate), 상기 비디오 콘텐츠의 공간 해상도(spatial resolution), 상기 비디오 콘텐츠의 시간 해상도(temporal resolution), 상기 비디오 콘텐츠의 코덱 유형(codec type)을 포함하는
    시스템.
  4. 제3항에 있어서,
    상기 품질 추정 모듈은 상기 비트레이트와 코덱 가중치(codec weight)를 상기 공간 해상도와 상기 시간 해상도로 나누기한 것을 기반으로 상기 품질 계수를 추정하고,
    상기 코덱 유형은 다른 코덱 유형들에 상대적으로 가중치가 주어지고 상기 코덱 가중치는 상기 다른 코덱 유형들에 상대적으로 상기 코덱 유형에 대하여 할당되는 가중치인
    시스템.
  5. 제3항에 있어서,
    상기 메타데이터 정보는 상기 시스템의 외부에 있는 전송 소스로부터 상기 비디오 콘텐츠와 함께 전송되는
    시스템.
  6. 제2항에 있어서,
    상기 품질 계수를 기반으로 상기 미리 결정된 설정들 중 상기 적어도 하나를 선택하기 위해 데이터베이스 제어 모듈(database control module)을 더 포함하고,
    상기 데이터베이스 제어 모듈은 상기 비디오 후처리 프로세서 모듈의 비디오 출력들을 기반으로 상기 미리 결정된 설정들 중 상기 적어도 하나의 선택을 조정하는 추정 모듈(estimation module)을 포함하는
    시스템.
  7. 제2항에 있어서,
    상기 메타데이터 정보는 상기 비디오 콘텐츠에 대한 복수의 파라미터들을 포함하고,
    상기 품질 추정 모듈은 상기 복수의 파라미터들의 가중 합(weighted sum)을 발생시킴으로써 상기 품질 계수를 결정하는
    시스템.
  8. 제1항에 있어서,
    상기 디코더 모듈은 상기 비디오 콘텐츠를 상기 비디오 콘텐츠의 플로우들(flows), 상기 비디오 콘텐츠의 그룹 오브 픽처들(group of pictures), 및 상기 비디오 콘텐츠의 프레임들(frames) 중 하나로 구분하고,
    상기 품질 추정 모듈은 상기 비디오 콘텐츠의 상기 플로우들, 상기 비디오 콘텐츠의 상기 그룹 오브 픽처들, 및 상기 비디오 콘텐츠의 상기 프레임들 중 상기 하나의 각각에 대한 상기 시각적 품질을 추정하는
    시스템.
  9. 제1항에 있어서,
    상기 후처리 프로세서 모듈은 상기 미리 결정된 설정들 중 상기 적어도 하나를 기반으로 조정되는 복수의 서브-모듈들(sub-modules)을 포함하고,
    상기 서브-모듈들 중 하나는 상기 비디오 콘텐츠에서 블록키 현상(blockyness), 링잉(ringing), 모스키토 노이즈(mosquito noise), 폴스 에지(false edges), 블러링(blurring), 및 컬러 손상(loss of colorfulness) 중 적어도 하나를 조정하는
    시스템.
  10. 제9항에 있어서,
    상기 후처리 프로세서 모듈은 상기 미리 결정된 설정들 중 상기 적어도 하나를 기반으로 상기 복수의 서브-모듈들 중 적어도 하나의 서브-모듈 설정들을 자동으로 조정하는
    시스템.
  11. 제10항에 있어서,
    상기 후처리 프로세서 모듈로부터의 출력 신호들에서 레지듀얼 아티팩트들(residual artifacts)을 추정하는 추정 모듈을 더 포함하고,
    상기 출력 신호들은 상기 서브-모듈 설정들이 처음에 조정된 후에 상기 비디오 콘텐츠를 포함하고,
    상기 선택 모듈은 상기 서브-모듈 설정들을 재차 조정하기 위해 상기 레지듀얼 아티팩트들의 추정을 기반으로 상기 미리 결정된 설정들 중 적어도 하나로부터 재선택하는
    시스템.
  12. 디코더 모듈로부터의 데이터를 기반으로 비디오 콘텐츠의 시각적 품질을 추정하는 단계와;
    복수의 미리 결정된 설정들을 저장하는 단계와;
    상기 시각적 품질에 응답하여 상기 미리 결정된 설정들 중 적어도 하나를 출력하는 단계와; 그리고
    상기 미리 결정된 설정들 중 상기 적어도 하나를 기반으로 비디오 후처리 프로세서 모듈의 설정들을 자동으로 조정하는 단계를 포함하며, 상기 비디오 콘텐츠는 자동으로 조정된 상기 비디오 후처리 프로세서 모듈의 상기 설정들을 기반으로 처리되는
    방법.
  13. 제12항에 있어서,
    상기 비디오 콘텐츠의 상기 시각적 품질을 나타내는 품질 계수를 결정하는 단계를 더 포함하며, 상기 데이터는 상기 비디오 콘텐츠에 대한 전송 특징들을 가리키는 메타데이터 정보를 포함하는
    방법.
  14. 제13항에 있어서,
    상기 메타데이터 정보는 상기 비디오 콘텐츠의 비트레이트, 상기 비디오 콘텐츠의 공간 해상도, 상기 비디오 콘텐츠의 시간 해상도, 및 상기 비디오 콘텐츠의 코덱 유형을 포함하는
    방법.
  15. 제14항에 있어서,
    상기 비트레이트와 코덱 가중치를 상기 공간 해상도와 상기 시간 해상도로 나누기한 것을 기반으로 상기 품질 계수를 추정하는 단계와;
    다른 코덱 유형들에 상대적으로 상기 코덱 유형에 가중치를 주는 단계와; 그리고
    상기 다른 코덱 유형들에 상대적으로 상기 코덱 유형에 대하여 상기 코덱 가중치를 할당하는 단계
    를 더 포함하는 방법.
  16. 제14항에 있어서,
    상기 방법을 구현하는 시스템의 외부에 있는 전송 소스로부터 상기 비디오 콘텐츠와 함께 상기 메타데이터 정보를 전송하는 단계
    를 더 포함하는 방법.
  17. 제13항에 있어서,
    상기 품질 계수를 기반으로 상기 미리 결정된 설정들 중 상기 적어도 하나를 선택하는 단계와; 그리고
    상기 비디오 후처리 프로세서 모듈의 비디오 출력들을 기반으로 상기 미리 결정된 설정들 중 상기 적어도 하나의 선택을 조정하는 단계
    를 더 포함하는 방법.
  18. 제13항에 있어서,
    상기 비디오 콘텐츠에 대한 복수의 파라미터들의 가중 합을 발생시킴으로써 상기 품질 계수를 결정하는 단계를 더 포함하고, 상기 메타데이터 정보는 상기 비디오 콘텐츠에 대한 상기 복수의 파라미터들을 포함하는
    방법.
  19. 제12항에 있어서,
    상기 비디오 콘텐츠를 상기 비디오 콘텐츠의 플로우들, 상기 비디오 콘텐츠의 그룹 오브 픽처들, 및 상기 비디오 콘텐츠의 프레임들 중 하나로 구분하는 단계와; 그리고
    상기 비디오 콘텐츠의 상기 플로우들, 상기 비디오 콘텐츠의 상기 그룹 오브 픽처들, 및 상기 비디오 콘텐츠의 상기 프레임들 중 상기 하나의 각각에 대한 상기 시각적 품질을 추정하는 단계
    를 더 포함하는 방법.
  20. 제12항에 있어서,
    상기 후처리 프로세서 모듈로부터의 출력 신호들에서 레지듀얼 아티팩트들을 추정하는 단계와, 상기 출력 신호들은 상기 비디오 후처리 프로세서 모듈의 서브-모듈들에 대한 서브-모듈 설정들이 처음에 조정된 후에 상기 비디오 콘텐츠를 포함하며; 그리고
    상기 서브-모듈 설정들을 재차 조정하기 위해 상기 레지듀얼 아티팩트들의 추정을 기반으로 상기 미리 결정된 설정들 중 적어도 하나로부터 재선택하는 단계
    를 더 포함하는 방법.
KR1020117025383A 2009-04-21 2010-04-21 인터넷 비디오 콘텐츠의 추정된 품질을 기반으로 한 비디오 후처리기에 대한 자동 조정들 KR101761307B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17123409P 2009-04-21 2009-04-21
US61/171,234 2009-04-21
PCT/US2010/031911 WO2010124002A1 (en) 2009-04-21 2010-04-21 Automatic adjustments for video post-processor based on estimated quality of internet video content

Publications (2)

Publication Number Publication Date
KR20120018124A true KR20120018124A (ko) 2012-02-29
KR101761307B1 KR101761307B1 (ko) 2017-07-25

Family

ID=42244579

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117025383A KR101761307B1 (ko) 2009-04-21 2010-04-21 인터넷 비디오 콘텐츠의 추정된 품질을 기반으로 한 비디오 후처리기에 대한 자동 조정들

Country Status (5)

Country Link
US (2) US8570438B2 (ko)
EP (1) EP2422505B1 (ko)
KR (1) KR101761307B1 (ko)
CN (1) CN102405644B (ko)
WO (1) WO2010124002A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8843983B2 (en) * 2009-12-10 2014-09-23 Google Inc. Video decomposition and recomposition
FR2954035B1 (fr) * 2009-12-11 2012-01-20 Thales Sa Procede d'estimation de la qualite video a une resolution quelconque
KR101092650B1 (ko) * 2010-01-12 2011-12-13 서강대학교산학협력단 양자화 코드를 이용한 화질 평가 방법 및 장치
JP5736652B2 (ja) * 2010-03-09 2015-06-17 セイコーエプソン株式会社 画像表示装置および画像表示方法
WO2011150109A1 (en) 2010-05-26 2011-12-01 Qualcomm Incorporated Camera parameter- assisted video frame rate up conversion
KR101641612B1 (ko) * 2010-11-30 2016-07-21 삼성전자주식회사 영상처리장치 및 그 영상처리방법
US20120169924A1 (en) * 2011-01-05 2012-07-05 Mediatek Inc. Video processing apparatus capable of dynamically controlling processed picture quality based on runtime memory bandwidth utilization
EP2518719B1 (en) 2011-04-08 2016-05-18 Dolby Laboratories Licensing Corporation Image range expansion control methods and apparatus
US9203708B2 (en) 2011-09-26 2015-12-01 Telefonaktiebolaget L M Ericsson (Publ) Estimating user-perceived quality of an encoded stream
EP2745518B1 (en) * 2011-09-26 2017-06-14 Telefonaktiebolaget LM Ericsson (publ) Estimating user-perceived quality of an encoded video stream
WO2013085538A1 (en) * 2011-12-09 2013-06-13 Intel Corporation Control of video processing algorithms based on measured perceptual quality characteristics
WO2013089684A2 (en) * 2011-12-13 2013-06-20 Empire Technology Development, Llc Graphics render matching for displays
US9137548B2 (en) * 2011-12-15 2015-09-15 Flextronics Ap, Llc Networked image/video processing system and network site therefor
US9197904B2 (en) * 2011-12-15 2015-11-24 Flextronics Ap, Llc Networked image/video processing system for enhancing photos and videos
WO2014021566A1 (en) * 2012-08-02 2014-02-06 Samsung Electronics Co., Ltd. Display apparatus, image post-processing apparatus and method for image post-processing of contents
KR102160123B1 (ko) 2012-08-02 2020-09-25 삼성전자주식회사 컨텐츠에 대한 영상 후처리를 위한 디스플레이 장치, 영상 후처리 장치 및 방법
US10356405B2 (en) 2013-11-04 2019-07-16 Integrated Device Technology, Inc. Methods and apparatuses for multi-pass adaptive quantization
US20150208069A1 (en) * 2014-01-23 2015-07-23 Magnum Semiconductor, Inc. Methods and apparatuses for content-adaptive quantization parameter modulation to improve video quality in lossy video coding
KR102249147B1 (ko) * 2014-03-29 2021-05-07 삼성전자주식회사 복합 네트워크에서 멀티미디어 데이터 관련 정보를 송수신하기 위한 장치 및 방법과 그 구조
US10560514B2 (en) * 2014-03-29 2020-02-11 Samsung Electronics Co., Ltd. Apparatus and method for transmitting and receiving information related to multimedia data in a hybrid network and structure thereof
US9432662B2 (en) 2014-11-25 2016-08-30 Echostar Technologies L.L.C. Systems and methods for picture quality monitoring
US9693063B2 (en) * 2015-09-21 2017-06-27 Sling Media Pvt Ltd. Video analyzer
US9749686B2 (en) 2015-09-21 2017-08-29 Sling Media Pvt Ltd. Video analyzer
CN105681867B (zh) * 2016-01-08 2019-01-22 成都网丁科技有限公司 一种视频同步播放系统及其同步播放方法
US10200571B2 (en) 2016-05-05 2019-02-05 Nvidia Corporation Displaying an adjusted image according to ambient light conditions
KR102531676B1 (ko) 2018-09-12 2023-05-11 삼성전자주식회사 디스플레이장치, 그 제어방법 및 기록매체
US20220212100A1 (en) * 2021-01-04 2022-07-07 Microsoft Technology Licensing, Llc Systems and methods for streaming interactive applications
US11930222B1 (en) * 2021-03-30 2024-03-12 Amazon Technologies, Inc. Encoding video for film grain synthesis
US11968245B2 (en) * 2021-08-27 2024-04-23 Bitmovin, Inc. Adaptive bitrate algorithm deployed at edge nodes
WO2023233631A1 (ja) * 2022-06-02 2023-12-07 日本電信電話株式会社 映像品質推定装置、映像品質推定方法及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6782132B1 (en) * 1998-08-12 2004-08-24 Pixonics, Inc. Video coding and reconstruction apparatus and methods
US7634011B2 (en) 2000-04-21 2009-12-15 Microsoft Corporation Application program interface (API) facilitating decoder control of accelerator resources
JP2003087785A (ja) * 2001-06-29 2003-03-20 Toshiba Corp 動画像符号化データの形式変換方法及び装置
US6704362B2 (en) 2001-07-06 2004-03-09 Koninklijke Philips Electronics N.V. Resource scalable decoding
AU2003202771A1 (en) 2002-03-08 2003-09-22 Koninklijke Philips Electronics N.V. Quality of video
US7038710B2 (en) * 2002-07-17 2006-05-02 Koninklijke Philips Electronics, N.V. Method and apparatus for measuring the quality of video data
JP4194029B2 (ja) * 2003-02-26 2008-12-10 Ｋｄｄｉ株式会社 画像劣化自動検出装置
US7369159B2 (en) * 2004-03-17 2008-05-06 Rgb Systems, Inc. Method and apparatus for dynamically testing video equipment
JP3112392U (ja) * 2005-05-10 2005-08-11 船井電機株式会社 Ｈｄｔｖ
US20070234385A1 (en) 2006-03-31 2007-10-04 Rajendra Bopardikar Cross-layer video quality manager
CA2604139C (en) * 2006-05-09 2014-02-18 Nippon Telegraph And Telephone Corporation Video quality estimation apparatus, method, and program
EP2041976A4 (en) * 2006-07-12 2012-06-20 Nokia Corp SIGNALING OF SCALABILITY INFORMATION FROM THE INTERESTING REGION IN MEDIA FILES
JP4350742B2 (ja) * 2006-12-19 2009-10-21 キヤノン株式会社 映像処理装置及び映像処理装置の制御方法

Also Published As

Publication number Publication date
WO2010124002A1 (en) 2010-10-28
CN102405644A (zh) 2012-04-04
EP2422505B1 (en) 2018-05-23
KR101761307B1 (ko) 2017-07-25
US20100265334A1 (en) 2010-10-21
US8570438B2 (en) 2013-10-29
US20140049694A1 (en) 2014-02-20
EP2422505A1 (en) 2012-02-29
US8922714B2 (en) 2014-12-30
CN102405644B (zh) 2014-09-10

Similar Documents

Publication Publication Date Title
KR101761307B1 (ko) 인터넷 비디오 콘텐츠의 추정된 품질을 기반으로 한 비디오 후처리기에 대한 자동 조정들
US9554132B2 (en) Video compression implementing resolution tradeoffs and optimization
JP5290171B2 (ja) 符号器によって補助された後処理に関する方法及び装置
US8750390B2 (en) Filtering and dithering as pre-processing before encoding
US9256924B2 (en) Image processing device, moving-image processing device, video processing device, image processing method, video processing method, television receiver, program, and recording medium
CN107431818B (zh) 图像数据处理方法
US20150085943A1 (en) Video processing device, video processing method, television receiver, program, and recording medium
US8139081B1 (en) Method for conversion between YUV 4:4:4 and YUV 4:2:0
US8897581B2 (en) Guided post-prediction filtering in layered VDR coding
US10701359B2 (en) Real-time content-adaptive perceptual quantizer for high dynamic range images
US8493499B2 (en) Compression-quality driven image acquisition and processing system
JP5514344B2 (ja) 映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
EP1352515B1 (en) Apparatus and method for providing a usefulness metric based on coding information for video enhancement
Akramullah et al. Video quality metrics
US11729418B1 (en) Content adaptive encoding
WO2010101292A1 (en) Method of and apparatus for processing a video image
US20190208090A1 (en) Image processing device and associated image processing method
WO2023122039A1 (en) Film grain parameters adaptation based on viewing environment
CN117998087A (zh) 基于内容属性的视频编码参数调整方法、装置及设备

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant