KR20060116000A - 무선 매체를 통해 전송된 비디오의 전체 품질을 고르게하기 위한 방법 및 장치 - Google Patents

무선 매체를 통해 전송된 비디오의 전체 품질을 고르게하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20060116000A
KR20060116000A KR1020067009042A KR20067009042A KR20060116000A KR 20060116000 A KR20060116000 A KR 20060116000A KR 1020067009042 A KR1020067009042 A KR 1020067009042A KR 20067009042 A KR20067009042 A KR 20067009042A KR 20060116000 A KR20060116000 A KR 20060116000A
Authority
KR
South Korea
Prior art keywords
quality level
quality
media
output image
frame
Prior art date
Application number
KR1020067009042A
Other languages
English (en)
Inventor
페트루스 데시데리우스 빅터 반 데르 스톡
클레멘스 크리스티안 웨스트
드미트리 자르니코프
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20060116000A publication Critical patent/KR20060116000A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Complex Calculations (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 스케일러블 비디오 애플리케이션을 마르코프 결정 프로세스로 모델링하여 이를 제어하기 위한 시스템 및 방법에 관한 것이다. 이 모델은 애플리케이션의 상대 진행을 측정하는 것에 기초하며, 상대 진행은 프레임을 처리하기 위해 할당된 CPU 예산과 프레임을 처리하는데 사용된 실제 CPU 사이클 간의 차이다. 제어 전략은 가장 최근에 디코딩된 레벨의 수와 수신된 층의 수(최대 품질 레벨)와 예산된 CPU 시간에 기초해 다음 프레임에 대해 디코딩될 수 있는 최대 레벨에 기초한다. 이 목적은 품질 레벨 제어 전략을 개발하여 프레임 간의 품질 전환을 매끄럽게 하는 것이며, 이 전략은 데드라인을 놓치는(프레임이 완전히 디코딩되지 않는) 회수와 품질 레벨 변경 회수 모두를 최소화하면서, 품질 레벨을 최대화한다. 품질 레벨 변경 회수가 적을수록, 시청하는 이미지가 더욱 매끄러워 진다.

Description

무선 매체를 통해 전송된 비디오의 전체 품질을 고르게 하기 위한 방법 및 장치{METHOD AND APPARATUS FOR SMOOTHING OVERALL QUALITY OF VIDEO TRANSPORTED OVER A WIRELESS MEDIUM}
본 발명은 전체 품질을 고르게 하기 위해 무선 매체를 통해 전송된 비디오 프레임의 디코딩 품질을 제어하기 위한 스케일러블(scalable) 비디오 애플리케이션을 위한 방법에 관한 것이다.
무선 매체의 대역폭 변동(bandwidth fluctuations)(예, IEEE 802.11)은 일반적으로 매우 크다. 무선 매체를 통해 전송된 비디오의 합리적인 시청 경험을 가능하게 하기 위해, 코드는 베이스 층(BL; Base Layer)과 하나 이상의 강화층(EL; Enhancement Layer)(예, MPEG4 또는 MPEG2 스케일러블 프로파일)으로 전송된다. 이 기술은 스케일러블 비디오 스트림이라고 한다. 스케일러블 비디오의 개념은 BL의 전송 및 디코딩이 인지가능한 품질의 비디오를 재구성하기에 충분한 반면, EL의 전송 및 처리가 수신된 비디오 시퀀스의 품질의 추가적 개선을 위해서만 필요한, 방법으로 비디오 데이터를 BL 및 EL로 분할하는(partitioning) 것을 제안한다. 예를 들어, 하나의 EL을 가진 BL은 적당한 품질의 이미지를 전송하는 반면, 모든 EL을 가진 BL은 최대 품질의 비디오 이미지를 전송한다. BL은 우선 각 프레임에 대한 네 트워크로 전송되며, 이 프레임에 속하는 연속적인 EL 부분이 후속된다.
대역폭이 상당히 변동할 때, 오직 BL은 한 프레임에 대해 도달하는 반면, 다른 프레임에 대해 하나 이상의 EL을 가진 BL은 디스플레이에 도달한다. 이로써 일정하게 이미지 품질이 변화한다. 이러한 품질의 변화는 수신된 이미지를 시청하는 최종 사용자가 식별할 수 없다.
본 발명은 복수의 품질 레벨의, 비디오 프레임과 같은 매체 프레임을 처리할 수 있는 매체 처리 애플리케이션의 전체 출력 품질을 제어하기 위한 시스템 및 방법을 제공한다. 품질 레벨은 BL 및 특정 수의 EL(0 이상)을 처리하는 것에 대응한다. 각 품질 레벨은 CPU와 같은, 구별가능한(그러나, 반드시 고정되지 않은) 양의 자원을 필요로 한다. 더 높은 품질 레벨(예, 더 많은 수의 처리된 EL)은 더 많은 자원의 사용에 대한 비용으로, 더 나은 품질 이미지를 초래한다. 품질 레벨은 프레임 단위로 선택된다. 자원이 한정되어 있으므로, 처리는 이 출력 처리의 완료에 대한 데드라인(deadline)에 의해 출력 품질의 주어진 레벨에 대해 완료되지 않을 수 있는데, 즉, 데드라인을 놓칠 수 있다. 데드라인을 놓칠 때마다 출력에 심각한 결함이 야기된다. 무선 매체 속성으로 인해, 주어진 프레임에 대해 수신된 층의 수는 시간에 따라 변화하며, 이것은 프레임에 대해 선택될 수 있는 품질 레벨의 수를 한정한다. 바람직한 실시예에서, 비디오 프레임과 같은, 매체 프레임이 수신되고, 디스플레이되어야 할 때마다, 수신된 층의 수가 검사된다. 처리될 수 있는 층의 최대 수는 프레임에 대한 수신된 층의 수와 CPU가 대응 데드라인을 놓치는 최소한의 위험을 가진 프레임의 층을 처리하기 위해 이용가능한 시간에 의해 결정된다. 그러나, 품질 레벨 변화는 인식가능한 결함을 야기할 수 있다. 시간에 따라 품질 레벨 변동(jump)의 횟수를 최소화함으로써, 즉, 시간에 따라 수신된 이미지를 매끄럽게 함으로써, 사용자는 매우 안정된 품질을 가진 이미지를 시청한다. 이 균일화는, 바람직한 실시예에서, 마르코프 체인을 설정하고 값 함수를 한정함으로써 수행된다. 네트워크 상태에 의해 야기되지 않은 품질 레벨 변화는 많은 음의 값을 발생시킨다. 네트워크 변동으로 야기된 품질 레벨 변화는 품질 감소의 경우 0의 값을 발생시킨다. 어떠한 이미지도 보이지 않는 것은 가장 높은 페널티를 수신한다. 반면에, 더 많은 수의 처리된 층은 더 높은 값을 발생시킨다.
현실적인 패킷 손실을 가진 많은 비디오를 재생함으로써 층 선택 절차는 값 함수에 대해 최적화되어 개발된다. 이러한 방법으로 개발된 최적화된 층 선택 함수는, 주어진 프레임에 대해 그리고 이전 프레임에 대해 수신된 층의 수의 함수로서 디스플레이되어야 하는 층의 수를 결정하는데 사용된다.
자원 소비를 최적화하고 출력 품질을 최대화하는 것을 처리하는 다수의 접근 방법이 존재한다. 한 가지는 스케일러블 비디오의 디코딩에 스케일러블 비디오 알고리즘을 적용하기 위한 본 발명의 접근 방식이다. 품질 레벨은 처리될 다수의 층으로 한정된다. 종래 기술의 알고리즘은 안정된 입력(예, DVD)을 추정한다. 안정된 입력은 전송 중에 정보의 손실이 없으며, 따라서 이것은 비디오 데이터의 디코딩 중에 임의의 품질 레벨이 선택될 수 있다는 것을 의미한다. 본 발명은 불안정한 입력도 다룬다. 이것은 CPU 가용성뿐만 아니라 애플리케이션의 입력을 조명함으로써 디코딩( 및 가능하게, 사후-처리) 전략을 최적화한다. 기본적으로, 본 발명은 네트워크로부터의 의존성을 제어 전략에 도입한다. 따라서, 본 발명은 안정적(예, CD, DVD, HDD) 및 불안정적(무선 네트워크) 입력과 협력할 수 있다.
도 1은 스케일러블 비디오 애플리케이션의 일반도(general view)를 도시한 도면.
도 2는 본 발명의 실시예에 따라 스케일러블 비디오 애플리케이션의 예의 타임라인(timeline)을 도시한 도면.
도 3은 데드라인(d3)을 놓친 예의 타임라인을 도시한 도면.
도 4는 b=40000 및 ｜∏｜=300인 본 발명에 따른 최적의 전략에 대한 q0,q1,q2 및 q3에 대한 상대적 진행 대 이전에 사용된 품질 레벨을 도시한 도면.
도 5는 본 발명에 따른 스케일러블 애플리케이션의 행동을 도시한 도면.
도 6은 간단한 애플리케이션을 가진 본 발명에 따른 스케일러블 비디오 애플리케이션의 정성적 비교를 도시한 도면.
도 7은 최대 품질 레벨의 1000회의 변경에 대한 본 발명에 따른 스케일러블 비디오 애플리케이션의 정성적 비교를 도시한 도면.
도 8은 본 발명의 실시예에 따른 시스템의 아키텍처를 도시한 직통화된 블록도.
도 9는 본 발명에 따라 변경된 TV 세트.
도 10은 본 발명에 따라 변경된 셋톱 박스를 도시한 도면.
당업자는 다음 설명이 제한이 아닌, 설명의 목적으로 제공되었다는 것을 이해할 것이다. 숙련공(artisan)은 본 발명의 정신 및 첨부된 청구항의 범위 내에 있는 많은 변형예가 존재한다는 것을 이해한다. 알려진 기능과 작동의 불필요한 세부 사항은 본 발명을 모호하게 하지 않도록 본 설명에서 생략될 수 있다.
본 발명은 자원 사용과 출력 품질 사이의 트레이드-오프를 해결하기 위한 내부 설정의 동적 변경을 허용하는 스케일러블 비디오 애플리케이션을 제어하기 위한 비디오 제어 메커니즘을 위한 시스템 및 방법을 제공한다. 도 1은 파라미터(103) 세트에 의해 스케일러블 애플리케이션(101)의 행동에 영향을 미치는 제어 메커니즘(102)을 가진 스케일러블 비디오 프로세서의 기본 개념을 도시한다. 비디오 처리를 수행하기 위한 스케일러블 애플리케이션의 사용은 출력 품질이 달성되어 이에 따라 자원 소비가 출력 품질에 대해 균형될 수 있도록 하기 위해 애플리케이션의 일부가 즉시 스케일링되도록 한다.
비디오 디코더를 스케일러블 비디오 애플리케이션(SVA)으로 간주한다. 이 비디오 디코더는 가변 품질의 출력 비디오 스트림을 생성하기 위해 내부 설정을 변경함으로써 제어될 수 있다. 표 1에 도시된 것처럼, 디코더는 가장 낮은 품질 레벨에서 작동할 때 기본 층만 처리한다. 품질 레벨의 증가에 따라, 디코더는 처리될 층의 수뿐만 아니라, 처리 시간( 및, 명백히 자원 소비)도 증가시킨다.
품질 레벨 처리될 층의 수
q0 BL
q1 BL+EL1
q2 BL+EL1+EL2
... ...
qn BL+EL1+EL2+...+ELN
그러나, 모든 층이 항상 이용가능한 것은 아니다. 디코더가 네트워크로부터 층을 수신하는 경우, 시간상 임의의 순간에 디코더로의 층 입력의 수에 대한 보장이 없다. 그러므로, 얼마나 많은 층이 다음에 처리될 지가 불확실하다. 이용가능한 층의 수에 관한 정보는 입력 버퍼로부터 얻어질 수 있다.
일반적으로 본 발명의 스케일러블 애플리케이션에 의한 처리는 다음과 같이 설명된다. 이 애플리케이션은 입력 버퍼로부터 작업 (프레임)의 유닛을 페칭(fetch)하며, 이를 처리하고 그 결과를 출력 버퍼에 넣는다. 이 애플리케이션은 작업 유닛, 즉 비디오 프레임을 처리하기 위한 CPU 시간의 고정된 예산을 주기적으로 수신한다. 작업의 유닛은 크기와 복잡성이 다르며, 이로 인해 작업의 유닛을 처리하는데 필요한 시간차가 발생한다. 작업의 유닛의 완료는 마일스톤(milestone)이라고 하고 이러한 각 마일스톤에 대해 데드라인이 존재한다. 스케일러블 비디오 애플리케이션의 환경에서, 프레임의 디코딩은 엄격히 주기적인 데드라인을 가지는 작업 유닛이며, 즉, 데드라인은 주어진 고정된 주기(P)로 발생한다. 데드라인을 놓치는 것이 예방된다.
각 마일스톤에서, 상대적 진행은 데드라인 기간에 표현된, 마일스톤의 데드라인까지 남아있는 보장된 자원 예산의 양으로 계산된다. 버퍼 크기가 한정되어 있으므로, 포함할 수 있는 프레임의 수에 대한 최대 한계가 존재한다. 이 프레임의 수는 다음과 같이 미리 디코딩될 수 있는 프레임의 수에 대한 범위를 제공하는데 사용될 수 있다.
{min[입력 버퍼 내의 프레임 수], max[출력 버퍼 내의 프레임 수]}
마일스톤에서 상대적 진행이 네거티브(negative)로 판명된 경우, 적어도 하나의 데드라인을 놓친 것으로서, 즉, 상대적 진행이 네거티브가 되도록 적어도 하나의 프레임을 처리하기 위해 보장된 예산보다 더 많이 취해질 수 있었던 것이다. 이러한 데드라인을 놓치는 효과는 어떠한 조치도 취해지지 않았을 때 누적된다. 이러한 누적적인 데드라인 놓침을 방지하려면, 애플리케이션은 각 마일 스톤에서 실행되는 품질 레벨을 적응시켜야 한다.
세 가지 목적이 품질 레벨을 선택하기 위해 채용된다.
1. 품질 레벨은 최대화된다;
2. 데드라인 놓침은 최소화된다; 그리고
3. 품질 레벨 변화는 최소화된다.
사후 처리는 본 발명의 응용으로 고려되지 않는다.
이들 목적을 다시 말하자면, 품질 레벨 제어 전략은 스케일러블 매체 처리 애플리케이션에 대해 요구되며, 이것은 데드라인을 놓치는 횟수와 품질 레벨 변경의 횟수를 모두 최소화하면서, 품질 레벨을 최대화하기 위해 고정된 CPU 예산이 할당된다.
이 발명에 따라, 이 문제는 마르코프 결정 문제로서 모델링된다. 이 모델은 마일스톤에서 애플리케이션의 상대적 진행을 계산하는 것을 기초로 한다. 마르코프 결정 문제를 해결하면 실행 시간동안 적용될 수 있는 품질 레벨 제어 전략이 야기되면서도 적은 오버헤드만이 발생한다.
셋톱 박스와 디지털 TV 세트와 같은, 소비자 단말기는 시장에서 개방되고 융통성이 있을 것이 요구된다. 이것은, 등가의 매체 처리 애플리케이션을 실행하는 CPU에 의해, 특정 매체 처리 애플리케이션을 수행하는 여러 전용 하드웨어 구성요소를 교체함으로써, 달성된다. CPU 시간, 메모리 및 버스 대역폭과 같은, 자원은 이들 애플리케이션 간에 공유된다. 본 명세서에서는, 바람직하게 오직 CPU 자원만이 고려된다.
각 마일스톤에서, 애플리케이션의 상대적 진행이 계산된다. 본 명세서에서, 마일스톤에서 상대적 진행은 데드라인 기간에서 표현된, 마일스톤의 데드라인까지의 시간으로 한정된다.
마일스톤에서 상대적 진행은 다음과 같이 계산될 수 있다. 일반성의 손실이 없이, 애플리케이션은 시간 t=0에서 처리를 시작한다고 가정한다. 마일스톤(m)의 시간은 cm으로 표시된다. 다음으로, 마일스톤(m)의 데드라인은 dm으로 표시된다. 데드라인은 엄격히 주기적이며, 이것은 이들이 다음과 같이 표현될 수 있다는 것을 의미한다.
dm = d0 + m*P
P는 2개의 연속적인 데드라인 사이의 기간이며 d0는 오프셋이다.
Figure 112006032622005-PCT00001
으로 표시된, 마일스톤(m)에서 상대적 진행은 이제 다음과 같이 주어진다.
Figure 112006032622005-PCT00002
상대적 진행의 계산을 도시하려면, 도 2에 도시된 예의 타임라인을 고려한다. 이 예에서, P=1이며 d0=1이다. (1)을 사용하여 계산된, 마일스톤 1에서 5까지의 상대적 진행는,
Figure 112006032622005-PCT00003
,
Figure 112006032622005-PCT00004
,
Figure 112006032622005-PCT00005
,
Figure 112006032622005-PCT00006
및
Figure 112006032622005-PCT00007
로 주어진다. 마일스톤 4는 데드라인에 맞췄다는 것에 주의한다.
마일스톤(m+1)th에서의 상대적 진행이 0이하로 감소된 경우,
Figure 112006032622005-PCT00008
(
Figure 112006032622005-PCT00009
다음으로 큰 정수) 데드라인 놓침은 mth 마일스톤 이후에 발생한다. 데드라인 놓침의 처리 방법은, 응용 특정적이다. 본 명세서에서, 작업 보전 접근 방식이 가정되는데, 이것은 막 생성된 출력은 버려지지 않고 어쨌든 사용된다는 것을 의미한다. 한 가지 방법이 첫 번째 다음 데드라인에서 이 출력을 사용할 것이며, 이것은 적응된 상대적 진행
Figure 112006032622005-PCT00010
이 얻어진다는 것을 의미한다. 보수적인 접근 방식은 가능한 가장 작은 값인,
Figure 112006032622005-PCT00011
을 선택함으로써 가정되며, 이것은 어떤 의미에서 생성과 동시에 즉시 출력을 사용하는 것에 대응한다. 다시 말해, 데드라인 dm 및 후속하는 것들은
Figure 112006032622005-PCT00012
의 양만큼 지연된다. 결과적으로, (1)을 사용한 마일스톤에서의 상대적 진행은 계산될 수 있지만, 새 오프셋은
Figure 112006032622005-PCT00013
이다.
이 프로세스는 도 3에 도시된 예의 타임라인에 의해 설명된다. 이 예에서, P=1이고 d0=0.5이다. (1)을 사용하여, 다음이 유도될 수 있다:
Figure 112006032622005-PCT00014
,
Figure 112006032622005-PCT00015
및
Figure 112006032622005-PCT00016
. 마일스톤 3에서 상대적 진행은 0 이하로 감소되어서,
Figure 112006032622005-PCT00017
데드라인 놓침은 마일스톤 2, 즉, t=3.5 이후로부터 발생했다. 다음으로, 데드라인 d3은 d'3 = c3 = 4으로 지연되며, 추가 데드라인은 또한 0.5만큼 지연된다. 계속해서,
Figure 112006032622005-PCT00018
및
Figure 112006032622005-PCT00019
이 발견된다.
마일스톤에서 애플리케이션의 상태는 상대적 진행에 의해 주어진다. 이것은, 그러나, 상태의 무한히 큰 세트를 제공하는 반면, 마르코프 결정 프로세스는 유한 세트를 요구한다. 후자는 다음과 같이 달성된다: p>0이 상대적 진행의 상한 값이라고 하자. 수(p)는 애플리케이션이 앞서 작동할 수 있는 기간의 수의 측정값이며, 이것은 전술한 것처럼 버퍼 크기에서 유도된다. 0과 p 사이의 상대적 진행 공간은 유한 세트
Figure 112006032622005-PCT00020
(n≥1)
진행 간격
Figure 112006032622005-PCT00021
,(k=0,....n-1)
로 나뉘어진다.
진행 간격(
Figure 112006032622005-PCT00022
)의 하한 값과 상한 값은 각각
Figure 112006032622005-PCT00023
과
Figure 112006032622005-PCT00024
으로 표시된다.
각 마일스톤에서, 결정은 작업의 다음 유닛이 처리될 품질 레벨에 대해 취해져야 한다. 따라서, 한 상태, 즉, 마르코프 결정 문제에서 취해질 수 있는 결정 세트는, 애플리케이션이 실행할 수 있는 품질 레벨의 세트에 대응한다. 이 세트는 Q로 표시된다.
모든 품질 레벨은 처리된 층의 수에 대응한다. 그러므로, 주어진 프레임에 대해 입력 버퍼에서보다 더 많은 층을 디코딩할 것을 요구하는 품질 레벨을 선택하는 것이 가능하지 않다. 따라서, 선택될 수 있는 최대 품질 레벨은 수신된 층의 수에 의해 제공되며 maxq(i)로 한정된다.
품질 레벨 변경이 또한 고려되며, 따라서 각 마일스톤에서 이전에 사용된 품질 레벨이 알려져야 한다. 이것은 품질 레벨을 가진 상태의 세트를 연장함으로써 실현될 수 있다. 그러므로, 상태(i)는 다음에 의해 한정된다.
●π(i)로 표시된, 상태(i)에서 상대적 진행 간격;
●maxq(i)로 표시된, 상태(i)에서의 작업의 다음 유닛을 위해 선택하는 것이 가능한 최대 품질 레벨;
●q(i)로 표시된, 상태(i)에서의 이전에 사용된 품질 레벨.
그러므로, 상태의 세트는
Figure 112006032622005-PCT00025
이 된다.
마르코프 결정 문제를 구성하는 제 2 요소는 전환 확률의 세트이다. 품질 레벨(q)이 작업의 다음 유닛을 처리하기 위해 선택된 경우,
Figure 112006032622005-PCT00026
가 현재 마일스톤에서 상태(i)로부터 다음 마일스톤에서의 상태(j)로의 전환하기 위한 전환 확률을 표시한다고 하자. 전환 이후에, q(j)=q이며 maxq(i)≥q인데, 이것은 q≠q(j)이거나 q>maxq(i)인 경우
Figure 112006032622005-PCT00027
인 것을 의미한다.
일반성을 잃지 않으면서, 애플리케이션이 마일스톤(m)에서 상태(i)에 있다고 가정하자. 각 품질 레벨(q)에 대해, 임의의 변수 Xq를 도입하며, 이것은 애플리케이션이 품질 레벨(q)에 있는 작업의 한 유닛을 처리할 필요가 있는 시간을 제공한다. 애플리케이션이 기간(P)마다 계산 예산(b)를 수신한다고 가정하면, 상대적 진행(
Figure 112006032622005-PCT00028
)는 다음의 귀납식(recursive equation)에 의해
Figure 112006032622005-PCT00029
으로 표현될 수 있다.
Figure 112006032622005-PCT00030
다음의 식이 사용된다.
Figure 112006032622005-PCT00031
Figure 112006032622005-PCT00032
가 임의의 변수라고 하고, 이것은 다음 마일스톤, m+1에서 애플리케이션의 상대적 진행(
Figure 112006032622005-PCT00033
)가 진행 간격(π) 내에 있으며 이 마일스톤에서 선택될 수 있는 최대 품질 레벨은 maxqm+1이라는 확률을 제공하는데, 이 때 현재 마일스톤에서 상대적 진행은
Figure 112006032622005-PCT00034
이며, 최대 품질 레벨은
Figure 112006032622005-PCT00035
이고 품질 레벨(q)은 선택된다.
변수
Figure 112006032622005-PCT00036
는 2개의 독립 사건의 확률을 표현하며- 다음 마일스톤에서의 애플리케이션은 진행 간격(π)에 있으며 최대 품질 레벨 maxqm는 maxqm+1로 설정된다. 따라서,
Figure 112006032622005-PCT00037
이제, 다음 식이 도출된다:
Figure 112006032622005-PCT00038
Fq가 Xq의 누적 분포 함수라고 하고 다음 간격에서 가장 작은 값을 선택하여
Figure 112006032622005-PCT00039
의 염세적(pessimistic) 근사를 한다.
Figure 112006032622005-PCT00040
위에 주어진 식으로, 확률
Figure 112006032622005-PCT00041
은 다음에 의해 근사될 수 있다.
Figure 112006032622005-PCT00042
더 많은 진행 간격이 선택될수록, (3)에서의 근사가 더 나은 것처럼, 전환 확률의 모델링이 더욱 정확해진다.
마르코프 결정 문제를 구성하는 제 3 요소는 이윤(revenue)이다. 상태(i)에서 품질 레벨(q)을 선택하기 위한 이윤은
Figure 112006032622005-PCT00043
로 표시된다. 이윤은 세 가지 문제의 목적을 실행하기 위해 사용된다.
첫째, 작업의 유닛이 처리되는 품질 레벨은 가능한 높아야 한다. 이것은 각
Figure 112006032622005-PCT00044
에 대해 보상을 배정함으로써 실현되며, 이것은 함수 u(q)로 주어진다. 이 함수는 이용(utility) 함수라고 한다. 이것은 품질 레벨(q)에서 실행하는 애플리케이션의 출력의 인지된 품질과 직접 관련된, 양의 값을 반환한다.
둘째, 데드라인을 놓치는 횟수는 가능한 적어야 한다. 데드라인 놓침 페널티 함수는 품질 레벨(q)이 현재 상태에서 선택되는 경우, 놓칠 것으로 예상하는 데드라인의 횟수와 관련된 양의 값을 반환한다. 이 값은 이윤에서 빼야 한다. 마지막으로, 품질 레벨 변경의 횟수는 가능한 작아야 한다. 이것은 각
Figure 112006032622005-PCT00045
에서, 함수 c(q(i),q)에 의해 주어진, 페널티를 뺌으로써 수행된다. 이 함수는 양의 값을 반환하며, 이것은 q(i)와 q(i)≠q인 경우, q, 및 그렇지 않은 경우, 0 간의 차의 크기에 따라 증가할 수 있다. 게다가, 품질 레벨에서의 증가는 품질 레벨의 감소보다 더 낮은 페널티가 주어질 수 있다. 함수 c(q(i),q)는 품질 변경 함수라고 한다.
한정된 수의 전환만이 고려되는 경우(소위 유한 시간 범위), 마르코프 결정 문제의 해결책은 모든 전환에 대한 이윤의 합계를 최대화하는 결정 전략에 의해 주어지며, 이것은 동적 프로그래밍에 의해 발견될 수 있다. 그러나, 전환의 횟수가 제한될 수 없으므로, 무한 시간 범위가 존재한다. 이 경우, 최대화할 유용한 표준은 전환에 대한 평균 이윤에 의해 주어진다. 이 표준은 모든 전환이 똑같이 중요하다는 것을 강조한다. 연속적인 근사, 정책 반복 및 선형 프로그래밍 같은, 무한 시간 범위 마르코프 결정 문제를 위한 다수의 해결책 기술이 존재한다. 이에 대해서는 Martin L. Puterman의 마르코프 결정 프로세스: 이산 확률 동적 프로그래밍, 1994년 John Wiley & Sons Inc.의, 확률 및 수학적 통계에서의 와일리(Wiley) 시리즈 및 1993년, John Wiley & Sons Inc.의, D.J. White의 마르코프 결정 프로세스를 참조한다. 본 명세서에서 설명된 실험에 대해서는, 연속적인 근사가 사용된다.
마르코프 결정 문제를 해결하면 최적의 고정된(stationary) 전략이 나온다. 이 명세서에서 "고정된"은 적용된 결정 전략이 모든 마일스톤에서 동일한 것, 즉, 마일스톤의 수에 따라 변하지 않는 것을 의미한다.
Figure 112006032622005-PCT00046
에 대한, 예의 제어 전략은 도 4에 도시된다. 이 도면은, 예컨대, 특정 마일스톤에서 상대적 진행이 1인 경우, 이전에 사용된 품질 레벨이 q3이고, 다음 프레임에 대한 최대 품질 레벨이 q3인 경우, 품질 레벨 q3는 작업의 다음 유닛, 즉, 다음 프레임을 처리하기 위해 선택되어야 한다.
최적성을 잃지 않고, 소위 단조로운(monotonic) 제어 전략이 사용될 수 있는데, 즉, 이전에 사용된 품질 레벨마다, 더 높은 상대적 진행은 더 높거나 같은 품질 레벨 선택을 야기한다고 가정될 수 있다. 이후, 최적의 제어 전략을 저장하기 위해, 이전에 사용된 품질 레벨마다, 제어 전략이 특정 품질 레벨에서 다른 품질 레벨로 변하는, 상대적 진행 한계값(bounds)만이 저장되어야 한다. 제어 전략은 그러므로, O(
Figure 112006032622005-PCT00047
)의 공간 복잡도를 가지며, 이것은 진행 간격의 수와 무관하다.
마르코프 결정 문제는, 애플리케이션이 실행을 시작하기 전에, 오프라인으로 해결될 수 있다. 다음으로, 다음과 같이, 최적 제어 전략을 온라인으로 적용한다. 각 마일스톤에서, 이전에 사용된 품질과 최대 품질 레벨은 알려지며, 애플리케이션의 상대적 진행이 계산된다. 이후, 작업의 다음 유닛이 처리될 품질 레벨이 검색된다. 이러한 접근 방법은 미미한 오버헤드를 초래한다.
실험을 위한 입력으로서, 120,000개의 프레임으로 구성된 비디오 시퀀스의 추적 파일을 디코딩하는 MPEG-2 신호대 잡음비(SNR)가 사용된다. 이 추적 파일은 각 프레임에 대해 이를 디코딩하기 위해 필요한 처리 시간을 포함하며, 이것은 품질 레벨 순서를 증가시키는데 q0에서 q3까지 라벨링된, 네 가지 다른 품질 레벨 각각으로, TriMedia 상에서 CPU 사이클로 표시된다. 즉, 강화층의 수는 3으로 설정되었고 모든 층에 대한 비트-율은 동일하다.
본 발명의 평가에서 제 1 단계로서, 한 최대 품질 레벨에서 다른 품질 레벨로의 전환의 확률이 동일하다는 가정이 이루어졌다. 그러므로, 마일스톤(m)에서 변수
Figure 112006032622005-PCT00048
는 임의의 쌍 maxqm 및 maxqm+1에 대해 같은 값을 가진다.
둘째, 문제 파라미터는 다음과 같이 한정된다. 상대 진행(p)에 대한 상한값은 2와 같이 선택되며, 이것은 출력 버퍼는 사용되며, 이것은 적어도 2개의 디코딩된 프레임을 저장할 수 있다고 가정한다. 이것은 또한 입력 버퍼는 임의의 시간에 적어도 2개의 프레임을 포함한다고 가정한다.
비디오의 감지(perceptive) 품질은 비디오 스트림의 실제 비트-율에 의존하며, 이것은 품질 레벨에 직접 연결된다. 품질 계수가 계수 2만큼 증가되고, 모든 품질 레벨이 증가되는 경우, 이용 함수는 다음에 의해 한정된다.
u(q0)=2 u(q1)=4 u(q2)=7.5 u(q3)=12.
데드라인 놓침 페널티는 100,000으로 선택되며, 이것은 대략 8000개의 프레임 당 대략 1번의 데드라인 놓침이 허용된다는 것을 의미한다. 다시 말해, 많아야 1개의 프레임이 비디오의 5분마다 스킵된다.
품질 레벨이 각각 1,2 및 3만큼 증가되는 경우, 품질 레벨을 증가시키기 위한 품질 레벨 변화 페널티는 5, 50 및 500으로 설정된다. 품질 레벨을 감소시키기 위해, 페널티는 각각 1,2, 및 3 레벨만큼의 감소에 대해 50, 500 및 5000으로 설정된다. 품질 레벨이 상태(j)에 대한 최대 품질 레벨이 상태(j)에서 주어진 이용가능한 층의 수인, q(j)와 같기 때문에 q(i)에서 q(j)로 감소되면, 이것은 강요된 변화로 간주되고 품질 레벨 변화 페널티는 0으로 설정된다.
본 발명을 가능한 많은 층이 주어진 CPU 예산 내에서 디코딩된 직통 알고리즘과 비교하는 평가가 수행되었다. 전술한 것처럼, 연속적인 근사는 문제 사례를 풀이하기 위해 사용된다. 계산 부정확성과는 별도로, 연속적인 근사는 최적의 제어 전략을 발견한다. 0.001의 값은 부정확성 허용치(tolerance)로 사용되었다. 최종 제어 전략은 각 마일스톤에서, 다음 프레임이 디코딩되어야 할, 품질레벨을 제공하며, 상대 진행, 이전에 사용된 품질 레벨 및 최대 품질 레벨이 주어진다.
i. 테스트 1
첫 번째 테스트는 40ms 및 최대 품질 레벨의 예산을 사용하였으며, 네트워크 처리량은 모든 층의 전송을 위해 충분하다고 가정한다. 표 2는 본 발명의 스케일러블 애플리케이션을 위한 품질 레벨의 변경을 포함한다. 표 3은 직통(straightforward) 애플리케이션을 위한 품질 레벨의 변경을 포함한다. 표 2와 표 3에 도시된 것처럼, 직통 알고리즘은 평균 매 4번째 프레임 상의 품질 레벨을 변경하며, 이것은 본 발명에서 이뤄진 변경의 회수의 1300배이다. 동시에, 본 발명의 스케일러블 애플리케이션에 대한 평균 품질은 표 4에 도시된 것처럼, 직통 애플리케이션에 대한 것보다 높으며, 이것은 품질 레벨 사용의 비율(percentage)을 도시한다.
Figure 112006032622005-PCT00049
Figure 112006032622005-PCT00050
Figure 112006032622005-PCT00051
ii. 테스트 2
두 번째 테스트에 대해 예산은 40ms이며 프레임의 처리하기 위해 선택될 수 있는 최대 품질 레벨(즉, 버퍼에서 이용가능한 프레임에 대한 층의 개수)은 임의로 생성된다. 표 5~표 7에 나타난 것처럼, 두 번째 테스트에서(최대 품질 레벨 변경의 횟수가 1228번), 본 발명의 스케일러블 애플리케이션에 의해 이뤄진 일부 변경은 한 레벨에서 다른 레벨로의 종종 발생하는 전환을 매끄럽게 하려는 시도에 의해 야기되며, 이것은 도 5에 도시된다.
Figure 112006032622005-PCT00052
Figure 112006032622005-PCT00053
Figure 112006032622005-PCT00054
iii. 비교
이들 두 가지 애플리케이션은 데드라인 놓침을 초래한다. 도 6은 예산과 고정된 최대 품질 레벨을 변화시키기 위한 두 가지 애플리케이션에 대한 데드라인 놓침의 비율 및 평균 품질 레벨을 도시한다. 직통 애플리케이션은 다른 품질 레벨 사이에서 쉽게 이동하면서 주어진 CPU 예산 내에 남아 있다. 그러므로, 낮은 CPU 예산 상황 하에서, 직통 애플리케이션에 대핸 평균 품질이 본 발명의 그것보다 상당히 높다. 그러나, 품질 레벨의 불필요한 증가에 대한 페널티는 데드라인을 놓치는 횟수가 매우 많아진다는 것이다. 본 발명의 바람직한 실시예의 스케일러블 비디오 애플리케이션은 주어진 CPU 예산에 대한 데드라인 놓침의 횟수가 8000개의 프레임 당 1개의 미리 한정된 한계 내에 있다는 것을 보장한 후에만 품질 레벨 증가를 허용한다.
도 7은 최대 품질 레벨이 임의로 선택된 경우에 대한 결과를 도시한다. 도 7에서 도시된 것처럼, 최대 품질 레벨이 종종 변경할 때, 직통 애플리케이션은 평균적으로, 본 발명의 스케일러블 애플리케이션보다 더 높은 품질 레벨을 가진다. 이것은 스케일러블 애플리케이션이 품질 레벨 변동을 더욱 매끄럽게 한다는 사실로 인해 야기되며, 이로써 품질 레벨의 성장이 강제로 감소된 후 품질 레벨의 더 느린 성장을 초래한다.
고정된 CPU 예산을 가지는 스케일러블 매체 처리 애플리케이션에 대한 품질 레벨 제어는 마르코프 결정 문제로서 모델링되었다. 이 모델은 마일스톤에서 계산된, 애플리케이션의 상대 진행와, 애플리케이션의 입력 버퍼에서 이용가능한 비디오 데이터(예, 수신된 층)의 양에 기초했다. 다음의 세 가지 목적이 품질 레벨을 선택하기 위해 이용되었다:
1. 품질 레벨이 최대화된다;
2. 데드라인 놓침은 최소화된다; 그리고
3. 품질 레벨 변경이 최소화된다.
이들은 수신된 층의 수에 의해 결정된 최대 품질 레벨을 고려한 것이다. 사후 처리는 고려되지 않았다.
이들 목적을 다시 말하면, 품질 레벨 제어 전략은 스케일러블 매체 처리 애플리케이션에 대해 개발되었으며, 이것은 데드라인을 놓치는 횟수와 품질 레벨 변경 횟수를 최소화하면서, 품질 레벨을 최대화하도록 고정된 CPU 예산을 할당한다. 이 모델에서의 파라미터는 품질 레벨 변경의 회수이다. 변경 회수가 적을수록 시청되는 이미지가 더 매끄러워 진다.
도 8은 본 발명에 따른 시스템(1200)을 개략적으로 도시한다. 시스템(1200)은 소프트웨어 버스(1208)를 통해 CPU(1210)와 통신하는 메모리(1202)를 포함한다. 메모리(1202)는 이전에 설명된 것처럼 매체 프레임을 처리하는데 사용될 CPU 사이클의 양을 결정하기 위해 설계된 컴퓨터 판독가능 코드(1204)를 포함한다. 더욱이, 메모리(1202)는 마일스톤에서 계산된 매체 처리 애플리케이션의 상대 진행에 기초한 매체 프레임의 품질 레벨을 제어하기 위해 설계된 컴퓨터 판독가능한 코드(1206)를 포함한다. 바람직하게, 매체 프레임의 처리하는 품질 레벨은 이전에 설명된 것처럼 다수의 매체 프레임을 처리하기 위해 모델링된 마르코프 결정 문제에 기초하여 설정된다. 컴퓨터 판독가능한 코드는 본 발명에 따른 방법을 수행하기 위해 설계된 컴퓨터 프로그램 제품을 포함하는 기억장치 디바이스(1212)로부터 갱신될 수 있다. 기억장치 디바이스는 시스템(1200)에 연결된 CD 판독기(1214)와 같은, 적절한 판독 디바이스에 의해 판독된다. 시스템은 하드웨어 및 소프트웨어 또는 소프트웨어를 작동할 수 있는 임의의 다른 표준 아키텍처에서 실현될 수 있다.
도 9는 본 발명에 따른 시스템의 실시예를 포함하는 본 발명에 따른 텔레비전 세트(1310)를 개략적으로 도시한다. 본 명세서에서, 안테나(1300)는 텔레비전 신호를 수신한다. 위성 접시, 케이블, 기억장치 디바이스, 인터넷, 또는 이더넷과 같은 텔레비전 신호를 수신하거나 재생할 수 있는 임의의 디바이스는 또한 안테나(1300)를 대체할 수 있다. 수신기(1302)는 텔레비전 신호를 수신한다. 수신기(1302) 외에도, 텔레비전 세트는 프로그래밍가능한 집적 회로와 같은, 프로그래밍 가능한 구성요소(1304)를 포함한다. 이 프로그래밍 가능한 구성요소는 본 발명(1306)에 따른 시스템을 포함한다. 텔레비전 스크린(1308)은 수신기(1302)에 의해 수신되고 프로그래밍가능한 구성요소(1304)에 의해 처리된 문서를 보여준다. 텔레비전 세트(1310)는 텔레비전 신호를 제공하는 DVD 플레이어(1312)를 선택적으로, 포함하거나 이에 연결될 수 있다.
도 10은 본 발명에 다른 시스템의 일 실시예를 포함하는 셋톱 박스(1402)의 가장 중요한 부분을 개략적으로 도시한다. 여기에서, 안테나(1400)는 텔레비전 신호를 수신한다. 안테나는 또한 위성 접시, 케이블, 기억장치 디바이스, 인터넷, 이더넷 또는 텔레비전 신호를 수신할 수 있는 임의의 다른 디바이스가 될 수 있다. 셋톱 박스(1402)는 신호를 수신한다. 신호는 예를 들어 디지털이 될 수 있다. 셋톱 박스에 포함되지만, 본 명세서에 도시되지 않은 일반적인 부분 외에도, 셋톱 박스는 본 발명에 따른 시스템(1404)을 포함한다. 텔레비전 신호는 셋톱 박스(1402)에 연결된 텔레비전 세트(1406) 상에 도시된다.
전술한 실시예는 본 발명을 제한하기보다는 설명하는 것이며, 당업자는 첨부된 청구항의 범위에서 이탈하지 않고 많은 대안적인 실시예를 설계할 수 있음을 주목해야 한다. 본 발명은 여러 분리된 요소를 포함하는 하드웨어에 의해, 그리고 적합하게 프로그래밍된 컴퓨터에 의해 구현될 수 있다. 더욱이, 특정 상황에 적응하기 위한 많은 변형이 이루어질 수 있으며 본 발명의 교시는 중심 범위에서 이탈하지 않는 상응하는 방법으로 적응될 수 있다. 그러므로, 본 발명은 이를 수행하기 위해 고려된 최상의 모드로서 개시된 특정 실시예에 제한되지 않지만, 본 발명은 첨부된 청구항의 범위 내에 해당하는 모든 실시예를 포함하는 것으로 의도된다.
본 발명은 전체 품질을 고르게 하기 위해 무선 매체를 통해 전송된 비디오 프레임의 디코딩 품질을 제어하기 위한 스케일러블(scalable) 비디오 애플리케이션을 위한 방법에 이용가능하다.

Claims (12)

  1. 매체 처리 애플리케이션에 의한 매체 프레임의 출력 이미지의 품질 레벨을 설정하는 방법으로서,
    상기 매체 프레임을 처리하기 위해 사용될 자원의 양을 결정하는 단계;
    i. 마일스톤에서 계산된 매체 처리 애플리케이션의 상대적 진행,
    ii. 출력 이미지에 대해 선택할 수 있는 최대 품질 레벨,
    iii. 출력 이미지의 이전에 사용된 품질 레벨, 및
    iv. 수신된 층의 개수에 기초한 최대 품질 레벨
    에 기초하여 출력 이미지의 품질 레벨을 제어하는 단계
    를 포함하는, 매체 처리 애플리케이션에 의한 매체 프레임의 출력 이미지의 품질 레벨을 설정하는 방법.
  2. 제 1항에 있어서, 상기 품질 레벨은 다음 프레임을 처리하기 위해 가능한 최고의 품질 레벨의 최소값과 상기 출력 이미지의 품질을 유지하는데 필요한 최고의 품질 레벨에 기초해 선택되는, 매체 처리 애플리케이션에 의한 매체 프레임의 출력 이미지의 품질 레벨을 설정하는 방법.
  3. 제 1항에 있어서,
    상기 매체 프레임의 품질 레벨을 제어하는 단계는 상태 세트, 결정 세트, 전 환 확률 세트 및 이윤 세트 마르코프 결정 문제로서 모델링되는 단계와;
    최적의 전략을 유도하기 위해 마르코프 결정 문제를 해결하는 단계; 및
    이 해결책에 기초해 디코딩된 매체 프레임의 층의 개수를 결정하는 단계
    를 포함하는, 매체 처리 애플리케이션에 의한 매체 프레임의 출력 이미지의 품질 레벨을 설정하는 방법.
  4. 제 3항에 있어서,
    마일스톤에서 매체 처리 애플리케이션의 상대적 진행과 이전에 사용된 품질 레벨을 포함하기 위해 상태 세트를 한정하는 단계;
    상기 매체 처리 애플리케이션이 제공할 수 있는 복수의 품질 레벨을 포함하기 위해 결정의 세트를 한정하는 단계;
    현재 마일스톤에서 상태의 세트의 상태로부터 상기 복수의 품질 레벨의 주어진 품질 레벨에 대한 다음 마일스톤에서 상태의 세트의 다른 상태로의 전환이 이루어지는 확률을 포함하기 위해 전환 확률의 세트를 한정하는 단계; 및
    상기 매체 프레임의 품질 레벨과 관련된 정의 이윤, 데드라인 놓침과 관련된 부의 이윤 및 품질 레벨 변경과 관련된 부의 이윤을 포함하기 위해 이윤의 세트를 한정하는 단계
    를 포함하는, 매체 처리 애플리케이션에 의한 매체 프레임의 출력 이미지의 품질 레벨을 설정하는 방법.
  5. 스케일러블 매체 처리 애플리케이션에 의해 매체 프레임의 출력 이미지의 품질 레벨을 설정하기 위한 시스템으로서,
    상기 매체 프레임을 처리하기 위해 사용될 자원의 양을 결정하기 위한 결정 수단;
    i. 마일스톤에서 계산된 매체 처리 애플리케이션의 상대적 진행,
    ii. 상기 매체 프레임의 출력 이미지에 대해 선택할 수 있는 최대 품질 레벨,
    iii. 매체 프레임의 출력 이미지의 이전에 사용된 품질 레벨, 및
    iv. 수신된 층의 개수에 기초한 최대 품질 레벨
    에 기초한 상기 매체 프레임의 출력 이미지의 품질 레벨을 제어하기 위한 제어 수단
    을 포함하는, 스케일러블 매체 처리 애플리케이션에 의해 매체 프레임의 출력 이미지의 품질 레벨을 설정하기 위한 시스템.
  6. 제 5항에 있어서, 선택된 상기 품질 레벨은, 상기 다음 프레임을 처리하기 위해 가능한 가장 높은 품질 레벨의 최소값과 상기 출력 이미지의 품질을 유지하기 위해 요구된 가장 높은 품질 레벨에 더 기초하는, 스케일러블 매체 처리 애플리케이션에 의해 매체 프레임의 출력 이미지의 품질 레벨을 설정하기 위한 시스템.
  7. 제 5항에 있어서, 상기 제어 수단은
    상태의 세트, 결정의 세트, 전환 확률의 세트 및 이윤의 세트를 포함하는 마르코프 결정 문제로서 매체 프레임의 품질 레벨의 제어를 모델링하며,
    결정 전략을 사용하여 마르코프 결정 문제에 대한 해결책이 되고,
    이 해결책에 기초해 매체 프레임의 품질 레벨을 설정하기 위해 추가로 구성되는, 스케일러블 매체 처리 애플리케이션에 의해 매체 프레임의 출력 이미지의 품질 레벨을 설정하기 위한 시스템.
  8. 제 7항에 있어서,
    상기 상태의 세트는 마일스톤에서 매체 처리 애플리케이션의 상대적 진행과 이전 매체 프레임의 이전에 사용된 품질 레벨을 포함하고;
    상기 결정 세트는 상기 스케일러블 매체 처리 애플리케이션이 제공할 수 있는 복수의 품질 레벨을 포함하며;
    상기 전환 확률 세트는 상기 복수의 품질의 주어진 품질 레벨에 대해 현재 마일스톤에서 상태 세트의 상태로부터 다음 마일스톤에서 상태의 세트의 다른 상태 세트로의 전환이 이루어지는 확률을 포함하고;
    상기 이윤 세트는 상기 매체 프레임의 포지티브 품질 레벨에 관한 정의 이윤과, 데드라인 놓침에 관한 부의 이윤 및 품질 레벨 변경에 관한 부의 이윤을 포함하는, 스케일러블 매체 처리 애플리케이션에 의해 매체 프레임의 출력 이미지의 품질 레벨을 설정하기 위한 시스템.
  9. 제 1항에 따른 상기 방법을 수행하기 위해 설계된 컴퓨터 프로그램 제품.
  10. 제 9항에 따른 컴퓨터 프로그램 제품을 포함하는 기억장치 디바이스.
  11. 제 5항에 따른 시스템을 포함하는 텔레비전 세트.
  12. 제 5항에 따른 시스템을 포함하는 셋톱 박스.
KR1020067009042A 2003-11-13 2004-11-11 무선 매체를 통해 전송된 비디오의 전체 품질을 고르게하기 위한 방법 및 장치 KR20060116000A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US51980903P 2003-11-13 2003-11-13
US60/519,809 2003-11-13

Publications (1)

Publication Number Publication Date
KR20060116000A true KR20060116000A (ko) 2006-11-13

Family

ID=34590447

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067009042A KR20060116000A (ko) 2003-11-13 2004-11-11 무선 매체를 통해 전송된 비디오의 전체 품질을 고르게하기 위한 방법 및 장치

Country Status (6)

Country Link
US (1) US20070153891A1 (ko)
EP (1) EP1685718A1 (ko)
JP (1) JP2007515866A (ko)
KR (1) KR20060116000A (ko)
CN (1) CN1883205A (ko)
WO (1) WO2005048606A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8355403B2 (en) * 2006-11-13 2013-01-15 Fujitsu Semiconductor Limited Stale data removal using latency count in a WiMAX scheduler
US7953880B2 (en) 2006-11-16 2011-05-31 Sharp Laboratories Of America, Inc. Content-aware adaptive packet transmission
US7668170B2 (en) 2007-05-02 2010-02-23 Sharp Laboratories Of America, Inc. Adaptive packet transmission with explicit deadline adjustment
EP2383999A1 (en) * 2010-04-29 2011-11-02 Irdeto B.V. Controlling an adaptive streaming of digital content
EP2485441B1 (en) * 2011-01-31 2014-10-08 Alcatel Lucent A video packet scheduling method for multimedia streaming
JP6160066B2 (ja) * 2012-11-29 2017-07-12 三菱電機株式会社 映像表示システム及び映像表示装置
GB2548789B (en) 2016-02-15 2021-10-13 V Nova Int Ltd Dynamically adaptive bitrate streaming
US10075671B2 (en) * 2016-09-26 2018-09-11 Samsung Display Co., Ltd. System and method for electronic data communication
GB2570449B (en) * 2018-01-23 2022-05-18 Canon Kk Method and system for auto-setting of cameras
CN110049315B (zh) * 2019-04-26 2020-04-24 山西大学 一种提高直播视频系统用户体验质量的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997046929A2 (en) * 1996-06-04 1997-12-11 Werbos Paul J 3-brain architecture for an intelligent decision and control system
AU2002353299A1 (en) * 2001-12-10 2003-06-23 Koninklijke Philips Electronics N.V. Method of and system to set a quality of a media frame
US7657861B2 (en) * 2002-08-07 2010-02-02 Pact Xpp Technologies Ag Method and device for processing data

Also Published As

Publication number Publication date
JP2007515866A (ja) 2007-06-14
US20070153891A1 (en) 2007-07-05
EP1685718A1 (en) 2006-08-02
CN1883205A (zh) 2006-12-20
WO2005048606A1 (en) 2005-05-26

Similar Documents

Publication Publication Date Title
Wust et al. Qos control strategies for high-quality video processing
KR101103187B1 (ko) 복잡도 인식 인코딩
CN101518088B (zh) 针对有效速率控制和增强视频编码质量的ρ域帧级比特分配的方法
CN102833538B (zh) 多通路视频编码
CN104885455B (zh) 一种用于视频编码的计算机实现的方法及装置
JP5738950B2 (ja) ビデオ処理における電力及び計算負荷管理技法
US9762931B2 (en) Encoding time management in parallel real-time video encoding
CN112672153B (zh) 融合视频特征分析的可伸缩编码视频码率自适应选择方法
CN111787322B (zh) 视频编码的方法、装置、电子设备及计算机可读存储介质
KR20060116000A (ko) 무선 매체를 통해 전송된 비디오의 전체 품질을 고르게하기 위한 방법 및 장치
KR20040065261A (ko) 미디어 시스템 상의 미디어 신호 처리
CN1682189A (zh) 在应用程序之间分配共享资源的方法和系统
Wu et al. Towards much better SVT-AV1 quality-cycles tradeoffs for VOD applications
US20160127730A1 (en) Methods and systems for encoding pictures associated with video data
US20060192850A1 (en) Method of and system to set an output quality of a media frame
KR20040068215A (ko) 미디어 프레임의 품질을 설정하는 방법 및 그 시스템
Mastronarde et al. Online reinforcement learning for dynamic multimedia systems
Akella et al. Proactive energy optimization algorithms for wavelet-based video codecs on power-aware processors
Wüst Intelligent control for scalable video processing
JP2006524461A (ja) メディアフレームの出力品質を設定する方法およびシステム
Wüst et al. Dynamic control of scalable media processing applications
Albers et al. Task complexity analysis and QoS management for mapping dynamic video-processing tasks on a multi-core platform
Mastronarde et al. Online reinforcement learning for multimedia buffer control
Blanch et al. Runtime Scheduling for Video Decoding on Heterogeneous Architectures.
Chang Maximizing qos for interactive dtv clients

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid