KR101761307B1 - 인터넷 비디오 콘텐츠의 추정된 품질을 기반으로 한 비디오 후처리기에 대한 자동 조정들 - Google Patents

인터넷 비디오 콘텐츠의 추정된 품질을 기반으로 한 비디오 후처리기에 대한 자동 조정들 Download PDF

Info

Publication number
KR101761307B1
KR101761307B1 KR1020117025383A KR20117025383A KR101761307B1 KR 101761307 B1 KR101761307 B1 KR 101761307B1 KR 1020117025383 A KR1020117025383 A KR 1020117025383A KR 20117025383 A KR20117025383 A KR 20117025383A KR 101761307 B1 KR101761307 B1 KR 101761307B1
Authority
KR
South Korea
Prior art keywords
video content
module
settings
video
post
Prior art date
Application number
KR1020117025383A
Other languages
English (en)
Other versions
KR20120018124A (ko
Inventor
배슈디브 바스카란
메이낙 비스와스
니킬 발람
Original Assignee
마벨 월드 트레이드 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마벨 월드 트레이드 리미티드 filed Critical 마벨 월드 트레이드 리미티드
Publication of KR20120018124A publication Critical patent/KR20120018124A/ko
Application granted granted Critical
Publication of KR101761307B1 publication Critical patent/KR101761307B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4332—Content storage operation, e.g. storage operation in response to a pause request, caching operations by placing content in organized collections, e.g. local EPG data repository
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4425—Monitoring of client processing errors or hardware failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

디코더 모듈로부터의 데이터를 기반으로 비디오 콘텐츠의 시각적 품질을 추정하도록 구성되는 품질 추정 모듈을 포함하는 시스템. 상기 시스템은 복수의 미리 결정된 설정들을 저장하도록 구성되는 설정 데이터베이스를 더 포함한다. 상기 설정 데이터베이스는 상기 시각적 품질에 응답하여 상기 미리 결정된 설정들 중 적어도 하나를 출력한다. 상기 시스템은 상기 미리 결정된 설정들 중 상기 적어도 하나를 기반으로 그 자체의 설정들을 자동으로 조정하도록 구성되는 비디오 후처리기 모듈을 포함한다. 상기 비디오 콘텐츠는 자동으로 조정된 상기 비디오 후처리기 모듈의 상기 설정들을 기반으로 처리된다.

Description

인터넷 비디오 콘텐츠의 추정된 품질을 기반으로 한 비디오 후처리기에 대한 자동 조정들{AUTOMATIC ADJUSTMENTS FOR VIDEO POST-PROCESSOR BASED ON ESTIMATED QUALITY OF INTERNET VIDEO CONTENT}
본 출원은 2009년 4월 21일에 출원된 미국 가출원 제61/171,234호에 대한 우선권을 주장한다. 상기 출원의 개시 내용은 그 전체가 참조로서 본 명세서에 통합된다.
본 발명은 인터넷 비디오 콘텐츠에 관한 것이며, 더욱 상세하게는 인터넷 비디오 콘텐츠의 품질에 관한 것이다.
본 명세서에 제공된 배경 설명은 일반적으로 본 발명의 컨텍스트(context)를 제시하기 위한 목적이다. 출원 당시에 선행 기술로서의 적격을 가질 수 없는 설명의 양상들뿐만 아니라 본 배경기술 섹션에 설명된 범위에서 본 명세서에 기명된 발명자들의 성과는 명시적으로도 또는 묵시적으로도 본 발명에 대한 선행 기술로서 인정되지 않는다.
DVD들 및 방송 환경에서 이용가능한 디지털 비디오 콘텐츠는 비교적 적은 비디오 해상도들로 제한된다. 이 비디오 해상도들은 전형적으로 "표준 해상도(standard definition)" 또는 "고 해상도(high definition)"이다.
대조적으로, 인터넷 상으로 스트리밍(streaming)되는 비디오 콘텐츠는 저 해상도의 QVGA(Quarter Video Graphics Array)(예컨대, 320×240 픽셀 해상도) 내지 고 해상도(예컨대, 720 라인의 프로그레시브 비디오(progressive video)(720p))의 광범위한 해상도들에 미친다. 나아가, 인터넷 비디오 콘텐츠는 다양한 표준 코덱들 또는 전용 코덱들 중 하나를 사용하여 압축되고, 예컨대 200 kbps 부터 5 Mbps 이상까지의 광범위한 비트레이트들(bitrates)을 포함한다.
해상도들, 코덱 아티팩트들(codec artifacts) 및 비트레이트들에 있어서 큰 폭의 편차들은 스트리밍되는 비디오 콘텐츠에 대하여 광범위한 비디오 품질을 만들어 낸다. 나아가, 네트워크 대역폭은 종종 한정된다. 그러므로, 비디오 콘텐츠도 종종 이용가능한 대역폭으로 스케일링(scaling)된다. 이 스케일링은 비디오 품질에 영향을 줄 수 있다. 따라서, 대부분의 비디오 콘텐츠 스트리밍은 전형적인 TV 방송 서비스들보다 훨씬 낮은 품질을 가진다.
예컨대 인터넷 프로토콜 TV(Internet Protocol TV: IPTV) 셋톱박스(set top box)와 같은, 많은 수신기들은 비디오 콘텐츠의 품질을 개선하기 위해 비디오 후처리 기능을 포함한다.
디코더 모듈로부터의 데이터를 기반으로 비디오 콘텐츠의 시각적 품질(visual quality)을 추정하도록 구성되는 품질 추정 모듈(quality estimation module)을 포함하는 시스템. 상기 시스템은 복수의 미리 결정된 설정들을 저장하도록 구성되는 설정 데이터베이스(settings database)를 더 포함한다. 상기 설정 데이터베이스는 상기 시각적 품질에 응답하여 상기 미리 결정된 설정들 중 적어도 하나를 출력한다. 상기 시스템은 상기 미리 결정된 설정들 중 상기 적어도 하나를 기반으로 그 자체의 설정들을 자동으로 조정하도록 구성되는 비디오 후처리기 모듈(video post-processor module)을 포함한다. 상기 비디오 콘텐츠는 자동으로 조정된 상기 비디오 후처리기 모듈의 상기 설정들을 기반으로 처리된다.
다른 특징들로, 상기 품질 추정 모듈은 상기 비디오 콘텐츠의 상기 시각적 품질을 나타내는 품질 계수(quality factor)를 결정한다. 상기 데이터는 상기 비디오 콘텐츠에 대한 전송 특징들(transmission features)을 표시하는 메타데이터 정보(metadata information)를 포함한다. 상기 시스템은 상기 품질 계수를 기반으로 상기 미리 결정된 설정들 중 상기 적어도 하나를 선택하기 위한 데이터베이스 제어 모듈(database control module)을 더 포함한다. 상기 데이터베이스 제어 모듈은 상기 비디오 후처리기 모듈의 비디오 출력들을 기반으로 상기 미리 결정된 설정들 적어도 하나의 상기 선택을 조정하기 위한 추정 모듈을 포함한다.
다른 특징들로, 상기 시스템은 상기 후처리기 모듈로부터의 출력 신호들에서 잔류 아티팩트들(residual artifacts)을 추정하기 위한 추정 모듈을 더 포함한다. 상기 출력 신호들은 상기 비디오 후처리기 모듈의 서브 모듈들에 대한 상기 서브-모듈 설정들이 첫 번째로 조정된 뒤의 상기 비디오 콘텐츠를 포함한다. 상기 선택 모듈은 상기 서브-모듈 설정들을 두 번째로 조정하기 위해 상기 잔류 아티팩트들의 추정을 기반으로 상기 미리 결정된 설정들 중 적어도 하나로부터 재선택한다.
또 다른 특징들로, 위에서 설명된 상기 시스템들 및 방법들은 하나 이상의 프로세서들에 의해 실행되는 컴퓨터 프로그램, 컴퓨터 하드웨어, 또는 하드웨어 및 소프트웨어의 조합에 의해 구현된다. 상기 컴퓨터 프로그램은 메모리, 비휘발성 데이터 저장소, 및/또는 다른 적합한 유형의 일시적인 저장 매체들과 같은 컴퓨터 판독가능한 매체에 상주(reside)할 수 있으나, 이들에 한정되는 것은 아니다.
본 발명의 추가 응용 분야들은 상세한 설명, 청구항들, 및 도면들로부터 명백하게 될 것이다. 상세한 설명과 특정 예들은 오로지 설명적인 목적들로 의도된 것일 뿐이고 본 발명의 범위를 한정하고자 의도된 것이 아니다.
본 발명은 상세한 설명과 첨부하는 도면들로부터 더욱 완전히 이해될 것이다.
도 1은 본 발명의 제1 실시예에 따른 비디오 처리 시스템을 설명하는 블록도이다.
도 2는 본 발명에 따른 코딩 방법들에 대한 비디오 품질 및 비트레이트를 그래프로 나타낸 것이다.
도 3은 본 발명에 따른 비디오 후처리기 모듈을 설명한 블록도이다.
도 4는 본 발명의 제2 실시예에 따른 비디오 처리 시스템을 설명한 블록도이다.
도 5a는 본 발명의 제3 실시예에 따른 비디오 처리 시스템을 설명한 블록도이다.
도 5b는 본 발명의 제3 실시예에 따른 데이터베이스 제어 모듈을 설명한 블록도이다.
도 6은 본 발명에 따른 비디오 처리 시스템을 동작시키는 방법을 설명한 블록도이다.
본래 다음의 설명은 단지 대표적인 것이며, 본 발명, 본 발명의 응용 또는 사용들을 제한하고자 하는 의도는 전혀 없다. 명료함의 목적을 위해, 동일한 도면 번호들은 도면들에서 유사한 요소들을 식별하도록 사용될 것이다. 본 명세서에서 사용된 바와 같이, A, B 및 C 중 적어도 하나라는 구절은 비-배타적 논리합(non-exclusive logical OR)을 사용하여 논리적으로 (A 또는 B 또는 C)를 의미하는 것으로 해석되어야 한다. 방법 내에서의 단계들은 본 발명의 원칙들을 변경시키지 않고 서로 다른 순서로 실행될 수 있다는 것이 이해되어야 한다.
본 명세서에서 사용된 바와 같이, 모듈(module)이라는 용어는 주문형 반도체(ASIC), 전자 회로, 하나 이상의 소프트웨어 또는 펌웨어 프로그램들을 실행하는 프로세서(공유된, 전용의, 또는 그룹의) 및/또는 메모리(공유된, 전용의, 또는 그룹의), 조합 논리 회로(combinational logic circuit), 및/또는 설명된 기능성을 제공하는 다른 적합한 컴포넌트들을 지칭하거나, 그 일부이거나, 또는 이들을 포함할 수 있다.
이제 도 1을 참조하면, 비디오 처리 시스템(10)이 설명되어 있다. 시스템(10)의 외부에 있는 콘텐츠 전송 시스템(11)이 인터넷 비디오 콘텐츠를 포함하여 인터넷 비디오 신호들과 같은 입력을 시스템(10)의 네트워크 프로세서 모듈(12)에 제공한다. 한 실시예에서, 콘텐츠 전송 시스템(11)은 인터넷 프로토콜 텔레비전(IPTV) 전송기, 인터넷 텔레비전(ITV) 전송기, 및/또는 스트리밍 TV 전송기이다.
디코더 모듈(decoder module)(14)은 네트워크 프로세서 모듈(12)로부터 비디오 신호들을 수신하고 디코딩한다. 디코더 모듈(14)의 한 예는 서로 다른 유형들의 인코더들(encoders)로부터의 데이터를 디코딩하는 다중-포맷(multi-format) 비디오 디코더이다.
비디오 품질 추정 모듈(16)은 디코더 모듈(14)로부터 데이터를 수신한다. 상기 데이터의 한 예는 콘텐츠가 어떻게 전송되었는지, 즉, 데이터에 대한 전송 특징들을 기술하는 코딩된 스트림 메타데이터(coded stream metadata)이다. 메타데이터의 예들은 비트레이트(bitrate), 공간 해상도(spatial resolution), 시간 해상도(temporal resolution), 및 코덱 유형(codec type)이다. 비디오 품질 추정 모듈(16)은 디코더 모듈(14)로부터의 데이터의 일부 또는 전부를 기반으로 품질 계수(quality factor)를 추정한다. 품질 계수는 비디오 콘텐츠의 시각적 품질에 대한 추정을 제공한다. 시각적 품질은 디스플레이되는 비디오 이미지에 대한 공인 표준 품질에 대응한다.
한 실시예에서, 품질 계수는 미리 결정된 레벨에 있거나 상기 미리 결정된 레벨 가까이에 있는 비디오 콘텐츠의 품질을 개선하기 위한 조정량을 제안한다. 다른 실시예에서, 품질 계수는 비디오 콘텐츠가 받은 압축의 양을 표시한킨다.
데이터베이스 제어 모듈(18)은 데이터베이스(20)로부터 품질 계수를 수신하고 복수의 설정들 중 하나를 선택한다. 데이터베이스 설정들은 미리 결정되어 있고 비디오 후처리기 모듈(22)에 대한 설정들에 대응한다.
비디오 후처리기 모듈(22)은 데이터베이스(20)로부터 데이터베이스 설정들을 수신하고 데이터베이스 설정들을 기반으로 후처리 설정들을 조정한다. 한 실시예에서, 후처리 설정들의 조정들은 비디오 후처리기 모듈(22)의 설정들을 온(on)시키거나 오프(off)시키는 것을 포함한다. 다른 실시예에서, 후처리 설정들의 조정은 비디오 후처리기 모듈(22)의 설정들을 미리 결정된 레벨들로 증가시키거나 감소시키는 것을 포함한다.
한 실시예에서, 미리 결정된 레벨들은 서로 다른 비트레이트들로 코딩된 콘텐츠에 대하여 품질 계수들을 계산하여 실험을 통하여 결정된다. 서로 다른 비트레이트들로 코딩된 콘텐츠에 대하여, 비디오 후처리기 모듈(22)의 모듈들 각각의 설정들은 디스플레이(26) 상에서 시각적으로 만족스러운 결과를 산출하도록 조정된다. 디스플레이(26)는 후처리기 설정들을 기반으로 비디오 콘텐츠를 수신하고 디스플레이한다. 비디오 후처리기 모듈(22)에 대하여 미리 결정된 레벨들을 산출하기 위하여 다양한 콘텐츠 및 시각적 평가들에 대하여 추가의 조정 및 디스플레이 분석(시각적으로 만족스러운 결과들을 위한)이 반복된다.
한 실시예에서, 후처리 설정들의 조정은 미리 결정된 양만큼 후처리기 모듈(22)의 설정들을 증가시키거나 감소시키는 것을 포함한다. 데이터베이스 제어 모듈(18)은 비디오 콘텐츠에 영향을 주는 아티팩트(artifact)들을 제거하거나 아니면 저감(reduce)시키기 위하여 후처리기 설정들을 조정한다.
아티팩트들의 예들은 블록키 현상(blockyness), 링잉(ringing), 폴스 에지(false edge), 블러링(blurring), 컬러 손상(loss of colorfulness)이다. 블록키 현상은 변환 데이터(transform data)의 공격적인 양자화(quantization)로 인한 왜곡이다. 링잉은 평활한(smooth) 영역들에 가까이 있는 고 명암비 에지(high contrast edge)에 존재하는 왜곡이다. 폴스 에지들은 블록키 아티팩트의 움직임 보상(motion compensation)으로 인한 왜곡이다. 블러링은 기본이 되는 코딩된 블록 유닛에 의해 표현되는 신호 중에서 고주파 컴포넌트들의 손실로 인한 왜곡이다. 컬러 손상은 루마(luma)에 비해 크로마(chroma) 컴포넌트들의 공격적인 양자화 및 동적 범위(dynamic range)의 저감으로 인한 것이다. 그러므로, 후처리기 설정들의 예들은 블록키 현상, 링잉, 모스키토 노이즈(mosquito noise), 폴스 에지들, 블러링, 및 컬러 손상에 대한 설정들이다.
한 실시예에서, 콘텐츠 전송 시스템(11)은 전체 비디오 스트림 전반에 걸쳐 일관된 비트레이트를 가지는 세션들에 대하여 스트림 세션(stream session)을 기준으로 비디오 콘텐츠의 메타데이터를 선택적으로 포함한다. 이 실시예의 경우, 후처리기 모듈(22)은 품질 계수를 기반으로 하여 스트림 세션 단위로 설정들을 조절한다.
다른 실시예에서, 콘텐츠 전송 시스템(11)은 화상 그룹(group of picture: GOP) 기준으로 비디오 콘텐츠의 메타데이터를 선택적으로 포함한다. 화상 그룹의 기준은 스트리밍 사이트가 어떤 정해진 시간에 이용할 수 있는 대역폭에 따라 비트레이트 및 공간 해상도를 변화시킬 때 사용된다. 이 실시예의 경우, 후처리기 모듈(22)은 품질 계수를 기반으로 하여 화상 그룹 기준으로 설정들을 조절한다.
또 다른 실시예에서, 콘텐츠 전송 시스템(11)은 프레임(frame) 기준으로 메타데이터를 포함한다. 이 실시예의 경우, 후처리기 모듈(22)은 품질 계수를 기반으로 하여 프레임 기준으로 설정들을 조절한다.
비디오 품질 추정 모듈(16)은 메타데이터 정보 및/또는 비디오 콘텐츠를 기반으로 각각의 세션, 화상 그룹, 또는 프레임에 대하여 품질 계수를 결정한다.
한 실시예에서, 비디오 품질 추정 모듈(16)은 다음과 같이 품질 계수(QF)를 추정한다.
Figure 112015032623309-pct00005
공간 해상도는 예를 들어 픽셀 단위로 프레임 폭 곱하기 프레임 높이에 대응한다. 코덱 가중치(codec weight)는 한 코덱을 사용할 때 다른 코덱에 상대적으로 품질 개선을 나타내는 가중치 인자에 대응한다. 코덱 가중치는 1의 코덱 가중치를 가지는 미리 선택된 표준에 상대적으로 표현되므로, 품질 계수는 0보다 크다.
한 실시예에서, 서로 다른 코덱 가중치들이 비트레이트를 기반으로 서로 다른 코딩 방법들에 할당된다. 예를 들면, 제1 코딩 방법은 1 Mbps보다 작거나 큰 비트레이트들에 대해 1의 코덱 가중치를 가진다. 제2 코딩 방법은 1 Mbps보다 작거나 큰 비트레이트들에 대해 1.33의 코덱 가중치를 가진다. 제3 코딩 방법은 1 Mbps보다 작은 비트레이트들에 대해 1.74의 코덱 가중치를 가지고 1 Mbps보다 큰 비트레이트들에 대해 2.75의 코덱 가중치를 가진다. 제4 코딩 방법은 1 Mbps보다 작은 비트레이트들에 대해 2의 코덱 가중치를 가지고 1 Mbps보다 큰 비트레이트들에 대해 3.16의 코덱 가중치를 가진다. 각각의 코딩 방법에 대하여, 동일한 콘텐츠를 사용할 때, 비트레이트는 서로 다르다.
이제 도 2를 보면, 제1 코딩 방법(100) 및 제4 코딩 방법(102)을 그래프로 나타낸 것이 설명되어 있다. 후자의 방법 대 전자의 방법(즉, 후자의 방법 나누기 전자의 방법)의 코덱 가중치는 비트레이트 b1에서 Y/X이고 비트레이트 b2에서 Y'/X'이다. 서로 다른 코덱들은 비트레이트들의 범위 전반에 걸쳐 균일하지 않은 동작을 보여준다. 다시 말해, 보다 높은 비트 레이트들에서 코덱들 사이에 성능 갭들(performance gaps)이 나타난다. 하지만, 보다 낮은 비트 레이트들에서 코덱들은 거의 동일한 성능을 가진다.
품질 계수의 경우, 픽셀 당 비트수(즉, 비트레이트/(공간 해상도×시간 해상도))가 높을수록 품질 계수도 높아지는 경향이 있다. 한 실시예에서, 품질 계수가 높다는 것은 비디오 신호(예컨대, 코딩된 비디오 스트림)의 품질이 높다는 것과 낮은 품질 계수를 가지는 비디오 신호보다 신호 압축에 의해 유발되는 아티팩트들이 적다는 것을 가리킨다. 코덱들은 비디오 콘텐츠를 더 높은 픽셀 당 비트수로 표현할 수 있을 때 더 높은 품질 계수를 제공하는 경향이 있다. 코덱 가중치는 코덱들 전반에 걸쳐 품질 편차를 표시한다. 또한, 동일한 비트레이트에 대하여, 전자의 코딩 방법은 덜 효율적인 후자의 코딩 방법보다 더 높은 품질을 제공한다.
한 실시예에서, 콘텐츠 전송 시스템(11)의 인코더 모듈(미도시됨)에서 몇몇 파라미터들이 설정된다. 상기 파라미터들은 콘텐츠 전송 시스템(11)이 특정한 코덱을 사용하여 특정 비트레이트 및 시간/공간 해상도로 비디오 콘텐츠를 인코딩할 때 설정된다. 콘텐츠 전송 시스템(11)은 비디오 신호를 시스템(10)으로 전송한다. 비디오 신호는 비디오 콘텐츠와 함께 상기 파라미터들의 표시(indication)를 포함한다. 파라미터들은 메타데이터와 서로 다른 것이고 콘텐츠 품질의 직접적인 표시를 제공한다.
파라미터들의 예들은 평균 양자화 파라미터(quantization parameter: QP) 값, 비트레이트/프레임 레이트(프레임당 비트수), 인터 블록(inter block)들의 개수, 스킵된 블록(skipped block)들의 개수, 프레임 레이트, 8×8, 16×8, 8×16과 같은 제1 사이즈를 가지는 인터 블록들의 개수, 4×4, 8×4, 4×8과 같은 제2 사이즈를 가지는 인터 블록들의 개수, 및 평균 움직임 벡터(motion vector) 길이이다.
N개의 파라미터들을 가지는 시퀀스에 대하여, 비디오 품질 추정 모듈(16)은 비디오 시퀀스의 지각적 비디오 품질 메트릭(perceptual video quality metric: PVQM)(즉, 지각적 품질 계수)을 구하기 위해 가중 합(weighted sum)을 형성한다. 가중 합은 다음과 일치하고, 이 식에서 β는 트레이닝 세트로부터 계산되는 상수들에 대응하고, x는 특정한 파라미터에 대응한다.
Figure 112011084041104-pct00002
지각적 품질 계수의 범위는 더 작은 범위들로 분할될 수 있다. 더 작은 범위들 각각은 화상 그룹들 또는 프레임들과 같은 비디오 시퀀스의 부분 세트로 범주화된다. 한 실시예에서, 비디오 품질 추정 모듈(16)은 디코더 모듈(14)로부터 N개의 파라미터들을 수신한다.
비디오 품질 추정 모듈(16)은 지각적 품질 계수를 빈들(bins)(미도시됨)로 양자화한다. 그 후에, 데이터베이스 제어 모듈(18)은 인덱스(index)(미도시됨)를 통해 빈들에 대응하는 품질 계수들을 위해 필요한 비디오 후처리기 설정들에 액세스한다. 예를 들면, 비디오 품질 추정 모듈(16)은 지각적 품질 계수를 4 비트 내지 2 비트의 빈들로 양자화하고 각각의 품질 계수를 위해 필요한 비디오 후처리기 설정들에 액세스하기 위한 2 비트의 인덱스를 구현한다.
이제 도 3을 참조하면, 후처리기 모듈(22)이 더욱 상세히 설명되어 있다. 후처리기 모듈(22)은 디코더 모듈(14)로부터 압축 해제된(decompressed) 비디오 신호를 수신하고 데이터베이스(20)로부터 후처리기 설정들을 수신한다. 후처리기 모듈(22)은 상기 설정들을 기반으로 조정되는 복수의 모듈들 및 서브-모듈들을 가진다.
예를 들면, 각각의 설정은 압축된 비디오 신호를 기반으로 디스플레이되는 이미지에 대하여 압축된 비디오 신호의 품질을 변화시키기 위하여 모듈들 및/또는 서브-모듈들 중 하나 이상을 조정한다. 한 실시예에서, 모듈들 및 서브-모듈들 각각은 데이터베이스 설정들에 응답하여 자동으로 그 자신의 설정을 조정한다. 다른 실시예에서, 설정 제어 모듈(150)은 데이터베이스 설정들을 기반으로 모듈들 및/또는 서브-모듈들의 설정들을 제어한다. 한 실시예에서, 설정 제어 모듈(150)은 데이터베이스 설정들을 기반으로 모듈들 및/또는 서브-모듈들의 설정들을 자동으로 제어한다.
모듈들 및 서브-모듈들의 예들은 압축 아티팩트 저감기 모듈(compression artifact reducer module)(200), 모스키토 및 링잉 노이즈 저감기 모듈일 수 있는 비표준 블록 노이즈(nonstandard block noise) 저감기 모듈(206), 및 표준 블록 노이즈(standard block noise) 저감기 모듈(204)이다.
예를 들면, 비디오 신호가 과도한 블록키 현상을 가진다는 것을 품질 계수가 표시하면, 데이터베이스 제어 모듈(18)은 데이터베이스(20)에서 블록키 현상용 설정을 선택한다. 한 실시예에서, 블록키 현상용 설정은 단순히 후처리기 모듈(22)에서 표준 블록 노이즈 저감기 모듈(204)을 온/오프 시킨다. 다른 실시예에서, 블록키 현상용 설정은 표준 블록 노이즈 저감기 모듈(204)을 미리 결정된 레벨로 설정한다. 또 다른 실시예에서, 블록키 현상용 설정은 단순히 표준 블록 노이즈 저감기 모듈(204) 내의 값을 표준 블록 노이즈 저감기 모듈(204)의 최소 및 최대 범위 사이에서 증가시키거나 감소시킨다.
모듈들 및 서브-모듈들의 추가 예들은 비표준 블록 노이즈 저감기 모듈(206), 노이즈 저감기 모듈(208), 저주파 통과 필터(low pass filter: LPF) 모듈(210), 및 스케일러(scaler) 모듈(212)이다. 모듈들 및 서브-모듈들의 추가 예들은 다중-스케일 에지 향상 모듈(multi-scale edge enhancement module)(214), 컬러 관리 모듈(color management module)(216), 적응적 명암비 향상 모듈(adaptive contrast enhancement module)(218), 컬러 재매핑 모듈(color remapping module)(220), 트루 컬러 모듈(true color module)(222), 및 필름 그레인 발생 모듈(film grain generation module)(230)이다.
압축 아티팩트 저감기 모듈(200)은 들어오는 압축 해제된 비디오 신호로부터 아티팩트들을 감소시킨다. 압축 아티팩트 저감기 모듈(200)은 다양한 아티팩트 감소 서브-모듈들을 가진다. 상기 서브-모듈들은 모스키토 및 링잉 노이즈 저감기 모듈(202), 표준 블록 노이즈 저감기 모듈(204), 및 비표준 블록 노이즈 저감기 모듈(206)이다. 서브-모듈들 각각은 압축 해제된 비디오 신호에서 모스키토 및 링잉 노이즈, 표준 및 비표준 블록 노이즈와 같은 서로 다른 유형의 아티팩트를 다룬다. 비표준 블록 노이즈 저감기 모듈(202)은 압축 해제된 비디오 신호가 스케일링될 때 블록 노이즈 감소를 다룬다.
공간-시간적 노이즈 저감기 모듈(spatio-temporal reducer module)(208)은 압축 해제된 비디오 신호에서, 가우시안 노이즈(Gaussian noise)와 같은 노이즈를 저감시킨다. LPF 모듈(210)은 압축 해제된 비디오 신호를 수신하고 적응식으로 필터링한다. 스케일러 모듈(212)은 압축 해제된 비디오 신호를 미리 결정된 출력 해상도로 업스케일링(upscaling)한다. 다중-스케일 에지 향상 모듈(214)은 신호의 겉보기 선명도(apparent sharpness)를 개선하기 위해 압축 해제된 비디오 신호를 필터링하여 신호의 에지 명암비를 향상시킨다. 예를 들면, 에지 향상 모듈(214)은 압축 해제된 비디오 신호에서 미세한 부분들을 향상시키고 루미넌스/크로미넌스 천이(luminance/chrominance transition)의 개선을 제공한다.
컬러 관리 모듈(216)은 압축 해제된 비디오 신호에서 컬러들의 외관(appearance of colors)을 관리한다. 컬러 관리 모듈(216)은 컬러들의 외관을 관리하기 위해 다양한 서브-모듈들을 가진다. 컬러 관리 모듈(216)의 한 실시예는 적응 명암비 향상 모듈(218), 컬러 재매핑 모듈(220), 및 트루 컬러 모듈(222)을 가진다.
적응 명암비 향상 모듈(218)은 압축 해제된 비디오 신호 내의 명암비를 조정한다. 컬러 재매핑 모듈(220)은 휴/새츄레이션(hue/saturation) 조정을 제공하고 플레시-톤 검출 및 보정(flesh-tone detection and correction)을 구비한다. 트루 컬러 모듈(222)은 밴딩 아티팩트들(banding artifacts)을 저감시킨다. 밴딩 아티팩트들은 입력 신호에 비해 루미넌스 또는 컬러 신호의 더 많은 음영들을 재현할 수 있는 고 명암비 디스플레이 상에서 X 비트의 콘텐츠가 디스플레이될 때 일어난다. 트루 컬러 모듈(222)은 또한 저 명암비 블록킹 아티팩트들을 저감시킨다. 필름 그레인 발생 모듈(230)은 과도한 압축으로 인해 세세한 부분들의 손실이 있는 경우에 필름 그레인과 유사한 노이즈를 압축된 비디오 신호에 부가한다.
한 실시예에서, 데이터베이스(20)의 설정들은 후처리기 모듈(22)의 하나 이상의 모듈들에 대한 다양한 설정들의 테스트를 통하여 미리 결정된다. 다시 말해, 특정한 품질 계수들에 대하여, 기술자가 디스플레이(26)를 관찰하고 디스플레이 상의 이미지들을 개선하기 위해 후처리기 모듈(22)의 설정들을 조정한다. 그런 다음, 상기 설정들은 각각 복수의 품질 계수들 중 하나에 할당된다. 품질 계수들은 콘텐츠 품질의 레벨에 대응하고, 이는 한 실시예에서 저, 중, 고로 특징지어진다.
예를 들면, 저 품질 계수, 예컨대 0.15 미만은 낮은 비트레이트의 콘텐츠, 예컨대 500 kbps 미만의 비트레이트 및/또는 384×288 이하의 공간 해상도를 가지는 콘텐츠를 표시한다.
한 실시예에서, 후처리기 모듈 설정들은 낮은 품질 계수의 경우에 공격적이다. 공격적이라는 것은 설정들이 오프에서 온으로 설정되는 것을 의미하거나 설정들이 높은 범위로 설정되는 것을 의미한다. 공격적인 설정들은 압축 아티팩트 저감기 모듈(200) 및 에지 향상 모듈(214)과 같은 하나 이상의 후처리기 모듈들에 특유한 것이다. 저 비트레이트 콘텐츠는 광범위한 블록키 현상, 링잉 아티팩트, 및 빛바랜 컬러들(washed out colors)을 가지는 경향이 있다. 한 실시예에서, 특정한 모듈들에 대하여 현재의 아티팩트들에 가장 큰 영향을 주는 설정들이 선택된다. 예를 들면, 압축 아티팩트 저감기 모듈(200)과 다중-스케일 에지 향상 모듈(214)은 광범위한 블록키 현상, 링잉 아티팩트들, 및 빛바랜 컬러들에 가장 큰 영향을 주기 때문에 그 모듈들에 대한 설정들이 선택된다.
또한, 중 품질 계수, 예컨대 0.15 내지 0.5의 범위는 중간 비트레이트 콘텐츠, 예컨대 500 kbps 내지 약 1 Mbps의 비트레이트 및 480×360(360p) 이상의 공간 해상도를 가지는 콘텐츠를 표시한다.
한 실시예에서, 후처리기 모듈 설정들은 중간 품질 계수의 경우에 공격적이다. 공격적인 설정들은 압축 아티팩트 저감기 모듈(200) 및 에지 향상 모듈(214)과 같은 하나 이상의 후처리기 모듈들에 특유한 것이다. 중간 비트레이트 콘텐츠는 블록키 현상 및 링잉 아티팩트들을 일부 가지는 경향이 있다. 한 실시예에서, 압축 아티팩트 저감기 모듈(200)과 에지 향상 모듈(214)은 블록키 현상 및 링잉 아티팩트에 가장 큰 영향을 주기 때문에 그 모듈들에 대한 설정들이 선택된다.
또한, 고 품질 계수, 예컨대 0.5를 초과하는 것은 높은 비트레이트 콘텐츠는, 예컨대 1 Mbps를 초과하고 1280×720(720p)을 포함하여 480×360(360p) 이상의 공간 해상도를 가지는 콘텐츠를 가리킨다.
한 실시예에서, 후처리기 모듈 설정들은 고 품질 계수의 경우에 공격적이지 않다. 이들 설정들은 압축 아티팩트 저감기 모듈(200)과 에지 향상 모듈(214)과 같은 하나 이상의 후처리기 모듈들에 특유한 것이다. 높은 비트레이트 콘텐츠는 블록키 현상 및 링잉 아티팩트들을 작게 가지는 경향이 있다. 한 실시예에서, 압축 아티팩트 저감기 모듈(200)과 에지 향상 모듈(214)은 블록키 현상 및 링잉 아티팩트에 가장 큰 영향을 주기 때문에 그 모듈들에 대한 설정들이 선택된다.
다른 실시예에서, 품질 계수들은 단순히 고 또는 저로 특징지어진다. 고 품질 계수들의 경우, 후처리기 모듈(22)에 대하여 온건한 설정들이 사용된다. 중 내지 저 품질 계수들의 경우, 공격적인 설정들이 사용된다.
공격적인 설정들의 한 예는 압축 아티팩트 저감기 모듈(200)을 높게 설정하고, 에지 향상 모듈(214)을 높게 설정하고, 공간-시간적 노이즈 저감기 모듈(208)을 오프로 설정하고, 스케일러 모듈(212)을 온으로 설정하고, 컬러 재매핑 모듈(220)을 비디오 콘텐츠에 따라 중간으로(예컨대, 높은 설정과 낮은 설정 사이로) 설정하고, 트루 컬러 모듈(222)을 온으로/높게 설정하고, 필름 그레인 발생 모듈(230)을 비디오 콘텐츠에 따라 오프나 온으로 설정하는 것이다.
온건한 설정들의 한 예는 압축 아티팩트 저감기 모듈(200)을 온건하게(예컨대, 높은 설정과 낮은 설정 사이지만 높은 설정보다는 낮은 설정에 더 가깝게) 설정하고, 다중-스케일 에지 향상 모듈(214)을 온건하게 설정하고,컬러 재매핑 모듈(220)을 공격적인 설정들과 동일하게 설정하고, 공간-시간적 노이즈 저감기 모듈(208)을 오프로 설정하고, 스케일러 모듈(212)을 온으로 설정하고, 컬러 재매핑 모듈(220)을 공격적인 설정들과 동일하게 설정하고, 트루 컬러 모듈(222)을 온으로/높게 설정하고, 필름 그레인 발생 모듈(230)을 오프로 설정하는 것이다.
이제 도 4를 보면, 시스템(10)의 대체가능한 실시예가 설명되어 있다. 이 실시예에서, 사용자 입력(400)이 제공되며, 이에 의해 사용자는 후처리기 모듈(22)에 설정들을 제공한다. 사용자는 디스플레이(26) 및 데이터베이스(20)로부터의 후처리기 모듈(22)의 설정들의 보충들 또는 변화들을 리뷰한다. 사용자 또는 사용자들의 그룹은 비디오 콘텐츠의 디스플레이에 대하여 시각적으로 만족스러운 결과를 얻기 위해 데이터베이스 제어 모듈(18)을 통해 설정들을 조정한다.
대안적으로, 후처리기 모듈(22)에 대한 설정들은 모듈들 전부를 설정하는 것은 아니다. 대신에, 사용자 입력은 데이터베이스 설정들에 의해 설정되지 않은 모듈들에 대하여 후처리기 모듈(22)에 대한 설정들을 제공한다. 한 실시예에서, 사용자 입력(400)은 비디오 콘텐츠 신호에서 이용할 수 있는 대응하는 메타데이터를 가지지 않는 모듈들, 예를 들어 비표준 블록 노이즈 저감기 모듈(202)과 필름 그레인 발생 모듈(230)을 설정한다.
이제 도 5a를 참조하면, 시스템(10)의 대안적인 실시예가 예시되어 있다. 이 실시예에서, 품질 계수를 기반으로 설정들이 조정된 후에 데이터베이스 제어 모듈(18)은 후처리기 모듈(22)의 출력들을 수신한다.
다시 말해, 도 5a는 폐루프 방식을 예시한 것이며, 품질 계수는 후처리기 모듈(22)의 설정들을 초기에 선택하기 위해 사용된다. 초기 설정들이 구현된 후에 출력 비디오에서 잔류 아티팩트들을 추정하기 위해 후처리기 모듈(22)의 입력 및 출력 신호들이 모니터링된다. 잔류 아티팩트의 예들은 블록키 현상과 블러링 현상이다. 설정 선택은 설정들의 조정을 기반으로 후속 시퀀스, 화상 그룹들, 또는 프레임을 처리하기에 앞서 더 미세하게 조정된다. 출력 비디오의 잔류 아티팩트들에 응답하여 설정들에 대한 조정이 이루어진다.
그러므로, 도 5a의 시스템은 후처리기 모듈(22)의 설정들에 대하여 자동화된 조정 메커니즘을 제공한다. 예를 들면, 비디오 후처리기 모듈(22)의 출력들에서 잔류 아티팩트의 양을 기반으로 설정들이 온건한 설정에서 공격적인 설정으로 조정될 수 있다.
이제 도 5b를 참조하면, 데이터베이스 제어 모듈(18)이 설명되어 있다. 데이터베이스 제어 모듈(18)은 비디오 품질 추정 모듈(16)로부터 품질 계수들을 수신하는 선택 모듈(300)을 구비한다. 선택 모듈(300)은 데이터베이스(20)로부터 설정들을 선택한다. 추정 모듈(310)은 비디오 후처리기 모듈(22)로부터의 출력 신호들의 잔류 아티팩트들을 추정한다. 선택 모듈(300)은 추정 모듈(310)로부터 추정들을 수신하고 추정들 및 품질 계수들 모두를 기반으로 설정들의 선택을 조정한다. 그런 다음 선택 모듈(300)은 조정된 설정들의 선택을 기반으로 데이터베이스(20)로부터 설정들을 선택한다.
이제 도 6을 참조하면, 후처리기 모듈(22)의 설정들을 조정하는 데 사용되는 동작들의 예가 설명되어 있다. 401에서, 네트워크 프로세서 모듈(12)은 메타데이터와 같이 비디오 콘텐츠의 전송 특징들을 기술하는 데이터와 함께 비디오 콘텐츠를 수신한다. 402에서, 디코더 모듈(14)은 비디오 콘텐츠를 디코딩한다. 406에서, 디코더 모듈(14)은 메타데이터를 비디오 품질 추정 모듈(16)에 제공한다. 408에서, 비디오 품질 추정 모듈(16)은 메타데이터를 기반으로 품질 계수를 추정한다.
410에서, 데이터베이스 제어 모듈(18)이 품질 계수를 기반으로 후처리기 모듈(22)에 대한 설정들을 선택한다. 412에서, 후처리기 모듈(22)이 품질 계수를 기반으로 설정들을 조정한다. 414에서, 후처리기 모듈(22)로부터의 출력들을 기반으로 추가 조정이 이루어질 수 있다. 사용자 입력 및/또는 데이터베이스 제어 모듈(18)이 추가 조정들을 제공할 수 있다. 416에서, 만일 비디오 콘텐츠의 모든 프레임들이 처리된 것이 아니라면, 제어는 402로 되돌아간다.
본 발명의 전반적인 교시(teaching)는 다양한 형태로 구현될 수 있다. 그러므로, 비록 본 발명이 특정한 예들을 포함하고 있지만, 도면들, 명세서, 및 다음의 청구항들을 연구한다면 다른 수정들이 자명하게 될 것이기 때문에 본 발명의 진정한 범위는 이러한 특정한 예들에만 한정되어서는 안 된다.

Claims (20)

  1. 시스템에 있어서,
    디코더 모듈(decoder module)로부터 수신된 데이터에 기반해서, 비디오 콘텐츠의 시각적 품질(visual quality)에 대응하는 품질 계수(quality factor)를 추정하도록 구성된 품질 추정 모듈(quality estimation module)과, 상기 데이터는 상기 비디오 콘텐츠의 전송 특징들(transmission features)을 기술하고, 상기 데이터는 상기 전송 특징들을 표시하는 메타데이터 정보(metadata information)를 포함하고, 상기 메타데이터 정보는 상기 비디오 콘텐츠의 비트레이트(bitrate), 상기 비디오 콘텐츠의 공간 해상도(spatial resolution), 상기 비디오 콘텐츠의 시간 해상도(temporal resolution), 및 상기 비디오 콘텐츠의 코덱 유형(codec type) 중 적어도 하나를 포함하며;
    비디오 후처리(video post-processing)를 위한 복수의 미리 결정된 설정들을 저장하도록 구성된 설정 데이터베이스(settings database)와, 상기 설정 데이터베이스는 상기 품질 계수에 응답하여 적어도 하나의 상기 미리 결정된 설정들을 출력하고, 그리고 상기 미리 결정된 설정들 각각은 비디오 후처리기 모듈을 위한 복수의 서로 다른 설정들에 대한 각각의 조정들을 포함하고; 그리고
    상기 디코더 모듈에 의해 디코딩된 상기 비디오 콘텐츠를 수신하고 상기 설정 데이터베이스로부터 출력된 적어도 하나의 상기 미리 결정된 설정들에 기반해서 비디오 후처리기 모듈의 설정들을 자동적으로 조정하도록 구성된 비디오 후처리기 모듈(video post-processor module)을 포함하고, 상기 비디오 콘텐츠는 자동적으로 조정되었던 상기 비디오 후처리기 모듈의 상기 설정들에 기반해서 처리되며,
    상기 품질 추정 모듈은 상기 비트레이트, 및 코덱 가중치(codec weight)를 상기 공간 해상도 및 상기 시간 해상도로 나눈 것에 기반해서 상기 품질 계수를 추정하고, 그리고 상기 코덱 유형은 다른 코덱 유형들에 대해 상대적으로 가중치가 주어지고, 상기 코덱 가중치는 상기 다른 코덱 유형들에 상대적인 상기 코덱 유형에 대한 할당된 가중치인 것을 특징으로 하는 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1항에 있어서,
    상기 메타데이터 정보는 상기 시스템의 외부에 있는 전송 소스(transmission source)로부터 상기 비디오 콘텐츠와 함께 전송되는 것을 특징으로 하는 시스템.
  6. 제 1항에 있어서,
    상기 품질 계수에 기반해서 상기 미리 결정된 설정들 중 적어도 하나를 선택하기 위한 데이터베이스 제어 모듈을 더 포함하고,
    상기 데이터베이스 제어 모듈은 상기 비디오 후처리기 모듈의 비디오 출력들에 기반해서 상기 미리 결정된 설정들 중 적어도 하나의 선택을 조정하기 위한 추정 모듈을 포함하는 것을 특징으로 하는 시스템.
  7. 제 1항에 있어서,
    상기 메타데이터 정보는 상기 비디오 콘텐츠에 대한 복수의 파라미터들을 포함하고, 그리고
    상기 품질 추정 모듈은 상기 복수의 파라미터들의 가중 합(weighted sum)을 생성함으로써 상기 품질 계수를 결정하는 것을 특징으로 하는 시스템.
  8. 제 1항에 있어서,
    상기 디코더 모듈은 상기 비디오 콘텐츠를 상기 비디오 콘텐츠의 플로우들(flows), 상기 비디오 콘텐츠의 화상 그룹들(group of pictures) 및 상기 비디오 콘텐츠의 프레임들(frames) 중 하나로 구분(section)하고, 그리고
    상기 품질 추정 모듈은 상기 비디오 콘텐츠의 상기 플로우들, 상기 비디오 콘텐츠의 상기 화상 그룹들 및 상기 비디오 콘텐츠의 프레임들 중 상기 하나의 각각에 대한 상기 시각적 품질을 추정하는 것을 특징으로 하는 시스템.
  9. 제 1항에 있어서,
    상기 후처리기 모듈은 상기 미리 결정된 설정들 중 적어도 하나에 기반해서 조정되는 복수의 서브-모듈들(sub-modules)을 포함하고, 그리고
    상기 서브-모듈들 중 하나는 상기 비디오 콘텐츠에서 블록키 현상(blockyness), 링잉(ringing), 모스키토 노이즈(mosquito noise), 폴스 엣지(false edges), 블러링(blurring) 및 컬러 손상(loss of colorfulness) 중 적어도 하나를 조정하는 것을 특징으로 하는 시스템.
  10. 제 9항에 있어서,
    상기 후처리기 모듈은 상기 미리 결정된 설정들 중 적어도 하나에 기반해서 상기 복수의 서브-모듈들 중 적어도 하나의 서브-모듈 설정들을 자동적으로 조정하는 것을 특징으로 하는 시스템.
  11. 제 10항에 있어서,
    상기 후처리기 모듈로부터 출력 신호들에서 잔류 아티팩트들(residual artifacts)을 추정하기 위한 추정 모듈을 더 포함하고,
    상기 출력 신호들은 상기 서브-모듈 설정들이 첫 번째로 조정된 후의 상기 비디오 콘텐츠를 포함하고, 그리고
    상기 잔류 아티팩트들의 추정들에 기반해서 상기 서브-모듈 설정들을 두 번째로 조정하기 위해 상기 미리 결정된 설정들 중 적어도 하나로부터 재선택하기 위한 선택 모듈을 더 포함하는 것을 특징으로 하는 시스템.
  12. 방법에 있어서,
    디코더 모듈로부터의 데이터에 기반해서, 비디오 콘텐츠의 시각적 품질에 대응하는 품질 계수를 추정하는 단계와, 상기 데이터는 상기 비디오 콘텐츠의 전송 특징들을 기술하고, 상기 데이터는 상기 전송 특징들을 표시하는 메타데이터 정보를 포함하고, 상기 메타데이터 정보는 상기 비디오 콘텐츠의 비트레이트, 상기 비디오 콘텐츠의 공간 해상도, 상기 비디오 콘텐츠의 시간 해상도, 및 상기 비디오 콘텐츠의 코덱 유형 중 적어도 하나를 포함하며;
    비디오 후처리를 위한 복수의 미리 결정된 설정들을 저장하는 단계와;
    상기 품질 계수에 응답하여 상기 미리 결정된 설정들 중 적어도 하나를 출력하는 단계와, 상기 미리 결정된 설정들 각각은 비디오 후처리기 모듈을 위한 복수의 서로 다른 설정들에 대한 각각의 조정들을 포함하고;
    상기 미리 결정된 설정들 중 적어도 하나에 기반해서 상기 비디오 후처리기 모듈의 설정들을 자동적으로 조정하는 단계를 포함하고, 상기 비디오 콘텐츠는 자동적으로 조정되었던 상기 비디오 후처리기 모듈의 상기 설정들에 기반해서 처리되며;
    상기 비트레이트, 및 코덱 가중치를 상기 공간 해상도 및 상기 시간 해상도로 나눈 것에 기반해서 상기 품질 계수를 추정하는 단계와;
    다른 코덱 유형들에 대해 상대적으로 상기 코덱 유형에 가중치를 주는 단계와; 그리고
    상기 코덱 가중치에 상기 다른 코덱 유형들에 상대적으로 상기 코덱 유형에 대한 가중치를 할당하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 제 12항에 있어서,
    상기 메타데이터 정보를 상기 방법을 구현하는 시스템의 외부에 있는 전송 소스로부터 상기 비디오 콘텐츠와 함께 전송하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  17. 제 12항에 있어서,
    상기 품질 계수에 기반해서 상기 미리 결정된 설정들 중 적어도 하나를 선택하는 단계; 그리고
    상기 비디오 후처리기 모듈의 비디오 출력들에 기반해서 상기 미리 결정된 설정들 중 적어도 하나의 선택을 조정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  18. 제 12항에 있어서,
    상기 비디오 콘텐츠에 대한 복수의 파라미터들의 가중 합을 발생시킴으로써 상기 품질 계수를 결정하는 단계를 더 포함하고, 상기 메타데이터 정보는 상기 비디오 콘텐츠에 대한 상기 복수의 파라미터들을 포함하는 것을 특징으로 하는 방법.
  19. 제 12항에 있어서,
    상기 비디오 콘텐츠의 플로우들, 상기 비디오 콘텐츠의 화상 그룹들, 상기 비디오 콘텐츠의 프레임들 중 하나로 상기 비디오 콘텐츠를 구분하는 단계와; 그리고
    상기 비디오 콘텐츠의 상기 플로우들, 상기 비디오 콘텐츠의 화상 그룹들, 및 상기 비디오 콘텐츠의 프레임들 중 하나 각각에 대한 상기 시각적 품질을 추정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  20. 제 12항에 있어서,
    상기 후처리기 모듈로부터 출력 신호들에서 잔류 아티팩트들을 추정하는 단계와, 상기 출력 신호들은 상기 비디오 후처리기 모듈의 서브-모듈들에 대한 서브-모듈 설정들이 첫 번째로 조정된 이후의 상기 비디오 콘텐츠를 포함하고; 그리고
    상기 서브-모듈 설정들을 두 번째로 조정하기 위해 상기 잔류 아티팩트들의 추정들에 기반해서 상기 미리 결정된 설정들 중 적어도 하나로부터 재선택하는 단계를 더 포함하는 것을 특징으로 하는 방법.
KR1020117025383A 2009-04-21 2010-04-21 인터넷 비디오 콘텐츠의 추정된 품질을 기반으로 한 비디오 후처리기에 대한 자동 조정들 KR101761307B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17123409P 2009-04-21 2009-04-21
US61/171,234 2009-04-21
PCT/US2010/031911 WO2010124002A1 (en) 2009-04-21 2010-04-21 Automatic adjustments for video post-processor based on estimated quality of internet video content

Publications (2)

Publication Number Publication Date
KR20120018124A KR20120018124A (ko) 2012-02-29
KR101761307B1 true KR101761307B1 (ko) 2017-07-25

Family

ID=42244579

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117025383A KR101761307B1 (ko) 2009-04-21 2010-04-21 인터넷 비디오 콘텐츠의 추정된 품질을 기반으로 한 비디오 후처리기에 대한 자동 조정들

Country Status (5)

Country Link
US (2) US8570438B2 (ko)
EP (1) EP2422505B1 (ko)
KR (1) KR101761307B1 (ko)
CN (1) CN102405644B (ko)
WO (1) WO2010124002A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8843983B2 (en) * 2009-12-10 2014-09-23 Google Inc. Video decomposition and recomposition
FR2954035B1 (fr) * 2009-12-11 2012-01-20 Thales Sa Procede d'estimation de la qualite video a une resolution quelconque
KR101092650B1 (ko) * 2010-01-12 2011-12-13 서강대학교산학협력단 양자화 코드를 이용한 화질 평가 방법 및 장치
JP5736652B2 (ja) * 2010-03-09 2015-06-17 セイコーエプソン株式会社 画像表示装置および画像表示方法
WO2011150109A1 (en) 2010-05-26 2011-12-01 Qualcomm Incorporated Camera parameter- assisted video frame rate up conversion
KR101641612B1 (ko) * 2010-11-30 2016-07-21 삼성전자주식회사 영상처리장치 및 그 영상처리방법
US20120169924A1 (en) * 2011-01-05 2012-07-05 Mediatek Inc. Video processing apparatus capable of dynamically controlling processed picture quality based on runtime memory bandwidth utilization
EP2518719B1 (en) 2011-04-08 2016-05-18 Dolby Laboratories Licensing Corporation Image range expansion control methods and apparatus
EP2745518B1 (en) * 2011-09-26 2017-06-14 Telefonaktiebolaget LM Ericsson (publ) Estimating user-perceived quality of an encoded video stream
US9203708B2 (en) 2011-09-26 2015-12-01 Telefonaktiebolaget L M Ericsson (Publ) Estimating user-perceived quality of an encoded stream
US8994882B2 (en) * 2011-12-09 2015-03-31 Intel Corporation Control of video processing algorithms based on measured perceptual quality characteristics
US8888590B2 (en) * 2011-12-13 2014-11-18 Empire Technology Development Llc Graphics render matching for displays
US9137548B2 (en) * 2011-12-15 2015-09-15 Flextronics Ap, Llc Networked image/video processing system and network site therefor
US9197904B2 (en) * 2011-12-15 2015-11-24 Flextronics Ap, Llc Networked image/video processing system for enhancing photos and videos
KR102160123B1 (ko) 2012-08-02 2020-09-25 삼성전자주식회사 컨텐츠에 대한 영상 후처리를 위한 디스플레이 장치, 영상 후처리 장치 및 방법
WO2014021566A1 (en) * 2012-08-02 2014-02-06 Samsung Electronics Co., Ltd. Display apparatus, image post-processing apparatus and method for image post-processing of contents
US10356405B2 (en) 2013-11-04 2019-07-16 Integrated Device Technology, Inc. Methods and apparatuses for multi-pass adaptive quantization
US20150208069A1 (en) * 2014-01-23 2015-07-23 Magnum Semiconductor, Inc. Methods and apparatuses for content-adaptive quantization parameter modulation to improve video quality in lossy video coding
KR102249147B1 (ko) * 2014-03-29 2021-05-07 삼성전자주식회사 복합 네트워크에서 멀티미디어 데이터 관련 정보를 송수신하기 위한 장치 및 방법과 그 구조
US10560514B2 (en) * 2014-03-29 2020-02-11 Samsung Electronics Co., Ltd. Apparatus and method for transmitting and receiving information related to multimedia data in a hybrid network and structure thereof
US9432662B2 (en) 2014-11-25 2016-08-30 Echostar Technologies L.L.C. Systems and methods for picture quality monitoring
US9749686B2 (en) 2015-09-21 2017-08-29 Sling Media Pvt Ltd. Video analyzer
US9693063B2 (en) * 2015-09-21 2017-06-27 Sling Media Pvt Ltd. Video analyzer
CN105681867B (zh) * 2016-01-08 2019-01-22 成都网丁科技有限公司 一种视频同步播放系统及其同步播放方法
US10200571B2 (en) 2016-05-05 2019-02-05 Nvidia Corporation Displaying an adjusted image according to ambient light conditions
KR102531676B1 (ko) 2018-09-12 2023-05-11 삼성전자주식회사 디스플레이장치, 그 제어방법 및 기록매체
US20220212100A1 (en) * 2021-01-04 2022-07-07 Microsoft Technology Licensing, Llc Systems and methods for streaming interactive applications
US11930222B1 (en) * 2021-03-30 2024-03-12 Amazon Technologies, Inc. Encoding video for film grain synthesis
US11968245B2 (en) * 2021-08-27 2024-04-23 Bitmovin, Inc. Adaptive bitrate algorithm deployed at edge nodes
WO2023233631A1 (ja) * 2022-06-02 2023-12-07 日本電信電話株式会社 映像品質推定装置、映像品質推定方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030001964A1 (en) * 2001-06-29 2003-01-02 Koichi Masukura Method of converting format of encoded video data and apparatus therefor
US20080143877A1 (en) * 2006-12-19 2008-06-19 Canon Kabushiki Kaisha Video processing apparatus and control method for the video processing apparatus

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6782132B1 (en) * 1998-08-12 2004-08-24 Pixonics, Inc. Video coding and reconstruction apparatus and methods
US7634011B2 (en) * 2000-04-21 2009-12-15 Microsoft Corporation Application program interface (API) facilitating decoder control of accelerator resources
US6704362B2 (en) * 2001-07-06 2004-03-09 Koninklijke Philips Electronics N.V. Resource scalable decoding
CN1640139A (zh) 2002-03-08 2005-07-13 皇家飞利浦电子股份有限公司 视频质量
US7038710B2 (en) * 2002-07-17 2006-05-02 Koninklijke Philips Electronics, N.V. Method and apparatus for measuring the quality of video data
JP4194029B2 (ja) * 2003-02-26 2008-12-10 Ｋｄｄｉ株式会社 画像劣化自動検出装置
US7369159B2 (en) * 2004-03-17 2008-05-06 Rgb Systems, Inc. Method and apparatus for dynamically testing video equipment
JP3112392U (ja) * 2005-05-10 2005-08-11 船井電機株式会社 Ｈｄｔｖ
US20070234385A1 (en) * 2006-03-31 2007-10-04 Rajendra Bopardikar Cross-layer video quality manager
WO2007129423A1 (ja) * 2006-05-09 2007-11-15 Nippon Telegraph And Telephone Corporation 映像品質推定装置、方法、およびプログラム
CN101507281B (zh) 2006-07-12 2013-06-05 诺基亚公司 媒体文件中的兴趣区域可缩放性信息的信号发送

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030001964A1 (en) * 2001-06-29 2003-01-02 Koichi Masukura Method of converting format of encoded video data and apparatus therefor
US20080143877A1 (en) * 2006-12-19 2008-06-19 Canon Kabushiki Kaisha Video processing apparatus and control method for the video processing apparatus

Also Published As

Publication number Publication date
US20100265334A1 (en) 2010-10-21
US20140049694A1 (en) 2014-02-20
EP2422505A1 (en) 2012-02-29
US8922714B2 (en) 2014-12-30
WO2010124002A1 (en) 2010-10-28
EP2422505B1 (en) 2018-05-23
KR20120018124A (ko) 2012-02-29
US8570438B2 (en) 2013-10-29
CN102405644A (zh) 2012-04-04
CN102405644B (zh) 2014-09-10

Similar Documents

Publication Publication Date Title
KR101761307B1 (ko) 인터넷 비디오 콘텐츠의 추정된 품질을 기반으로 한 비디오 후처리기에 대한 자동 조정들
JP5399578B2 (ja) 画像処理装置、動画像処理装置、映像処理装置、画像処理方法、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
US10701359B2 (en) Real-time content-adaptive perceptual quantizer for high dynamic range images
US9554132B2 (en) Video compression implementing resolution tradeoffs and optimization
US8750390B2 (en) Filtering and dithering as pre-processing before encoding
US8948253B2 (en) Networked image/video processing system
CN101371589B (zh) 用以提高视频编码器性能的自适应滤波方法及系统
CN107431818B (zh) 图像数据处理方法
US8897581B2 (en) Guided post-prediction filtering in layered VDR coding
US8493499B2 (en) Compression-quality driven image acquisition and processing system
EP2311007B1 (en) Method and apparatus for banding artifact detection
US9137548B2 (en) Networked image/video processing system and network site therefor
US20150085943A1 (en) Video processing device, video processing method, television receiver, program, and recording medium
WO2002005121A2 (en) System and method for calculating an optimum display size for a visual object
US10142664B2 (en) Method and device for determining properties of a graphical overlay for a video stream
EP3714603A1 (en) Method and apparatus for colour correction during hdr to sdr conversion
EP1352515B1 (en) Apparatus and method for providing a usefulness metric based on coding information for video enhancement
Akramullah et al. Video quality metrics
US11729418B1 (en) Content adaptive encoding
WO2023122039A1 (en) Film grain parameters adaptation based on viewing environment
JP2007013398A (ja) ポストフィルタ、ポストフィルタリングプログラムおよび電子情報機器
US20190208090A1 (en) Image processing device and associated image processing method
CN117998087A (zh) 基于内容属性的视频编码参数调整方法、装置及设备

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant