KR101201275B1 - 수신기에서의 비디오 디코딩 - Google Patents

수신기에서의 비디오 디코딩 Download PDF

Info

Publication number
KR101201275B1
KR101201275B1 KR1020087027079A KR20087027079A KR101201275B1 KR 101201275 B1 KR101201275 B1 KR 101201275B1 KR 1020087027079 A KR1020087027079 A KR 1020087027079A KR 20087027079 A KR20087027079 A KR 20087027079A KR 101201275 B1 KR101201275 B1 KR 101201275B1
Authority
KR
South Korea
Prior art keywords
video
frames
decoding
video frames
dropped
Prior art date
Application number
KR1020087027079A
Other languages
English (en)
Other versions
KR20090006170A (ko
Inventor
브라이언 윌리엄 오어
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20090006170A publication Critical patent/KR20090006170A/ko
Application granted granted Critical
Publication of KR101201275B1 publication Critical patent/KR101201275B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 개시는 수신기에 관한 것이다. 수신기는 비디오 디코더, 및 복수의 비디오 프레임들을 포함하는 비디오 시퀀스를 수신하도록 구성된 프레임 스로틀을 포함한다. 프레임 스로틀은 또한, 비디오 시퀀스를 비디오 디코더에 제공하기 전에 비디오 시퀀스로부터 하나 이상의 비디오 프레임들을 드롭시키도록 구성된다.
수신기, 비디오 디코더, 프레임 스로틀, 비디오 시퀀스, 비디오 프레임, 비디오 디코딩

Description

수신기에서의 비디오 디코딩{VIDEO DECODING IN A RECEIVER}
35 U.S.C. §119 하의 우선권 주장
본 특허출원은, 본원의 양수인에게 양도되고 참조로서 본원에 명백하게 통합된, 2006년 4월 4일 출원된 "A Method and Apparatus For CPU Optimized Selective Decoding" 라는 제목의 미국 가특허출원 제 60/789,456 호에 기초하여 우선권을 주장한다.
배경
분야
본 개시는 일반적으로 통신 시스템에 관한 것이고, 더욱 상세하게는, 수신기에서의 비디오 디코딩을 위한 개념들 및 기술들에 관한 것이다.
배경
대역폭에 할증이 붙는 통신계에서는, 비디오 인코딩은 중요한 역할을 한다. 비디오 인코딩은, 수신기에서 비디오 이미지를 재생하도록 송신 매체를 통해 전송되어야만 하는 정보량을 극적으로 감소시킬 수 있다. 이는 비디오 시퀀스에서 2 개의 인접한 프레임들 간에 매우 적은 차이만이 존재한다는 사실을 활용함으로써 달성된다. 종종, 차이라고는 이미지의 몇몇 부분들이 프레임들 사이에서 약간 시프트된 것 뿐이다. 비디오 인코딩은, 이러한 차이를 표현하는 정보를 생성하고, 그 정보를 압축하는 프로세스이다.
수신기에서, 압축된 정보는 이미지를 복원하기 위해 디코딩된다. 각 프레임을 디코딩하는데 필요한 시간량은 그 프레임의 정보량에 의존한다. 실시간으로 동작할 때, 비디오 디코더는 1/(프레임 레이트) 보다 적은 평균 디코딩 시간 "
Figure 112008076572010-pct00001
" 을 유지하여야 한다. 하지만, 정교한 비디오 인코딩 기술들에도 불구하고, 소정 수의 프레임들이 높은 레벨의 정보 콘텐츠를 가지는 경우, 시스템의 실시간 제한들 (real time constraints) 은 여전히 충족되지 않을 것이다. 이는 비디오 디코딩이 다른 수신기 기능들과 공유되는 중앙 처리 유닛 (CPU) 에 의해 수행되는 경우 더욱 그러하다. 실시간 제한들이 충족되지 않는다면, 비디오 이미지는 둔감 (stall) 해지거나 오디오와의 동기를 놓치게 된다. 또한, 비디오 프레임들은 그들 모두를 디코딩할 충분한 시간이 없기 때문에 분실될 것이다.
따라서, 비디오 프레임들이 높은 레벨의 정보 콘텐츠를 포함할 때, 화상 품질의 임의적인 감소를 최소화하는 동시에, 수신기의 연산 자원들의 이용을 최적화하기 위해 비디오 시퀀스에서 프레임들을 선택적으로 드롭 (drop) 시키는 기술들이 당해 기술분야에서 필요하다.
요약
수신기의 일 양태가 개시된다. 본 수신기는, 비디오 디코더, 및 복수의 비디오 프레임들을 포함하는 비디오 시퀀스를 수신하도록 구성된 프레임 스로틀 (frame throttle) 을 포함하며, 이 프레임 스로틀은 또한, 비디오 시퀀스를 비디오 디코더에 제공하기 전에 그 비디오 시퀀스로부터 하나 이상의 비디오 프레임들을 드롭시키도록 구성된다.
비디오 프레임들을 디코딩하는 방법의 일 양태가 개시된다. 본 방법은, 복수의 비디오 프레임들을 포함하는 비디오 시퀀스를 수신하는 단계, 비디오 시퀀스를 디코딩하는 단계, 및 비디오 시퀀스를 디코딩하기 전에 비디오 시퀀스로부터 하나 이상의 비디오 프레임들을 드롭시키는 단계를 포함한다.
수신기의 또 다른 양태가 개시된다. 수신기는, 복수의 비디오 프레임들을 포함하는 비디오 시퀀스를 수신하는 수단, 비디오 시퀀스를 디코딩하는 수단, 비디오 시퀀스를 디코딩 수단에 제공하기 전에 비디오 시퀀스로부터 하나 이상의 비디오 프레임들을 드롭시키는 수단을 포함한다.
도면의 간단한 설명
첨부 도면들에서는 다양한 양태들의 무선 통신 시스템이 한정적인 방식으로서가 아니라 예시적인 방식으로 도시된다.
도 1 은 멀티미디어 브로드캐스트 시스템의 일예를 나타내는 개념적 블록도이다.
도 2 는 멀티미디어 브로드캐스트 시스템의 송신기 및 수신기의 일예를 나타내는 개념적 블록도이다.
도 3a 는 비디오 디코더의 일예를 나타내는 개념적 블록도이다.
도 3b 는 프레임 스로틀을 구비하는 비디오 디코더의 일예를 나타내는 개념적 블록도이다.
도 4 는 수신기의 하드웨어 구현의 일예를 나타내는 블록도이다.
도 5 는 비디오 디코더의 프레임 스로틀에 의해 실시되는 프레임 드롭 방법 의 일예를 나타내는 플로우차트이다.
도 6 은 수신기의 일예를 나타내는 기능적 블록도이다.
상세한 설명
첨부 도면들과 함께 이하 전개되는 상세한 설명은 본 발명의 다양한 구성을 설명하기 위한 것이며, 본 발명이 실시될 수도 있는 구성들만을 나타내려는 의도는 아니다. 상세한 설명은 본 발명의 완전한 이해를 제공할 목적으로 구체적인 상세한 내용들을 포함한다. 하지만, 본 발명은 이들 구체적인 상세한 내용들 없이도 실시될 수도 있다는 것은 당업자에게는 자명할 것이다. 어떤 경우에는, 본 발명의 개념들을 모호하게 하는 것을 피하기 위해, 주지의 구조들 및 컴포넌트들은 블록도 형태로 나타내어진다.
본원에 설명된 개념들 및 기술들은 여러 가지 유선 및 무선 통신 시스템에서 이용될 수도 있다. 유선 시스템의 예로는, 이더넷 시스템, 디지털 가입자 회선 (DSL), 케이블 모뎀, 광섬유, 표준 전화 회선 등을 포함한다. 무선 시스템의 예로는, 셀룰러 시스템, 브로드캐스트 시스템, 무선 로컬 영역 네트워크 (WLAN) 시스템 등을 포함한다. 셀룰러 시스템은, 코드 분할 다중 접속 (CDMA) 시스템, 시간 분할 다중 접속 (TDMA) 시스템, 주파수 분할 다중 접속 (FDMA) 시스템, 직교 주파수 분할 다중 접속 (OFDMA) 시스템, 단일 캐리어 FDMA (SC-FDMA) 시스템, 및 기타 다중 접속 시스템을 포함한다. 브로드캐스트 시스템은, 미디어FLO 시스템, 휴대기기용 디지털 비디오 브로드캐스팅 (DVB-H) 시스템, 지상파 텔레비젼 브로드캐스팅용 통합 서비스 디지털 브로드캐스팅 (ISDB-T) 시스템, 및 기타 브로드 캐스트 시스템을 포함한다. WLAN 시스템은 IEEE 802.11 시스템, Wi-Fi 시스템 등일 수도 있다. 이들 시스템은 당해 기술분야에서 공지되어 있다.
본원에 설명된 개념들 및 기술들은 다중 서브캐리어들을 이용하는 시스템 뿐만 아니라 단일 서브캐리어를 이용하는 시스템에도 아주 적합하다. 다중 서브캐리어들은 OFDM, SC-FDMA, 또는 몇몇 다른 변조 기법을 이용하여 획득될 수도 있다. OFDM 및 SC-FDMA 는 주파수 대역 (예를 들어, 시스템 대역폭) 을 톤, 빈 등으로도 불리는 다수의 직교 서브캐리어들로 분할한다. 각각의 서브캐리어는 데이터로 변조될 수도 있다. 일반적으로, 변조 심볼들은, OFDM 을 이용하여 주파수 도메인에서, 그리고 SC-FDMA 를 이용하여 시간 도메인에서, 서브캐리어들을 통해 전송된다. OFDM 은, 미디어FLO, DVB-H 및 ISDB-T 브로드캐스트 시스템, IEEE 802.11a/g WLAN 시스템, 및 몇몇 셀룰러 시스템 등과 같은 다양한 시스템에서 이용된다. 어떤 양태들의 그리고 어떤 구성들의 수신기가 OFDM, 예를 들어, 미디어FLO 시스템을 이용하는 브로드캐스트 시스템에 대해 이하 설명된다.
도 1 은 멀티미디어 브로드캐스트 시스템의 일예를 나타내는 개념적 블록도이다. 브로드캐스트 시스템 (100) 이, 국가적 및 지역적 콘텐츠 제공자가 다수의 무선 가입자 유닛들 (106) 에게 광역 및 로컬 영역 콘텐츠를 배포하기 위한 액세스 포인트로서 기능하는 분배 센터 (102) 와 함께 도시된다. 몇몇 지리적 영역들에서, 광역 및/또는 로컬 영역 콘텐츠가 송신기 유닛들의 네트워크 (108) 를 통해 무선 가입자 유닛들 (106) 로 직접 배포된다. 광역 및/ 로컬 영역 콘텐츠는 또한 셀룰러 네트워크 (110) 를 통해 무선 가입자 유닛들 (106) 로 배포될 수도 있다.
무선 가입자 유닛 (106) 은 고정될 수도 있고 이동가능할 수도 있으며, 또한, 액세스 단말기, 핸드셋, 무선 가입자, 무선 유닛, 무선 디바이스, 무선 통신 디바이스, 무선 원격통신 디바이스, 무선 전화, 셀룰러 전화기, 사용자 단말기, 사용자 장치, 이동국, 이동 유닛, 가입자국, 무선국, 이동 라디오, 라디오 전화기, 또는 몇몇 다른 용어들로 불릴 수도 있다. 무선 가입자 유닛 (106) 은 이동 전화기, PDA, 퍼스널 또는 랩톱 컴퓨터, 게임 콘솔, 또는 광역 및/또는 로컬 영역 콘텐츠를 수신할 수 있는 다른 디바이스일 수도 있다.
도 2 는 멀티미디어 브로드캐스트 시스템 (200) 의 송신기 (202) 및 수신기 (204) 의 개념적 블록도이다. 이러한 구성에서, 송신기 (202) 는 송신기 유닛, 또는 기지국의 일부일 수도 있고, 수신기 (204) 는 무선 가입자 유닛의 일부일 수도 있다. 다르게는, 송신기 (202) 는 무선 가입자 유닛의 일부일 수도 있고, 수신기 (204) 는 기지국의 일부일 수도 있다. 일반적으로, 송신기 (202) 및 수신기 (204) 는 송신 매체를 통해 통신하는 임의의 적합한 디바이스들의 일부일 수도 있다.
송신기 (202) 에서, 비디오 인코더 (206) 는 비디오 시퀀스의 프레임들을 인코딩한다. 일 구성의 비디오 인코더 (206) 에서, 각각의 프레임은 I-프레임, P-프레임, 또는 B-프레임 중 어느 하나로서 인코딩된다. I-프레임, 또는 "인트라프레임 (intraframe)" 은 비디오 시퀀스의 다른 프레임들에 독립적으로 비디오 인코더 (206) 에 의해 프로세싱되는 데이터의 프레임이다. P-프레임, 또는 "예 측된 프레임" 은 I-프레임을 뒤따르고, 비디오 시퀀스에서 선행하는 I-프레임으로부터의 변화를 나타내는 데이터만 포함한다. B-프레임, 또는 "양방향성 (bi-directional) 프레임" 은 선행하는 프레임으로부터의 변화를 나타내거나, 비디오 시퀀스의 다음 프레임으로부터의 콘텐츠의 차이를 나타내는 데이터만을 포함한다.
인코딩 프로세스는 각 프레임의 데이터를 이산 공간 주파수 계수들로 변환하는 것, 및 그 변환 계수들을 양자화하는 것을 포함한다. 일 구성에서, 비디오 인코더 (206) 는 비디오 시퀀스를, 기본 채널과 강화된 채널 (enhanced channel), 이 2 개의 채널들로 분리한다. 기본 채널은 강화된 채널보다 더 높은 양자화를 갖는다.
양자화된 변환 계수들은 적합한 알고리즘을 이용하여 압축된다. 통상의 압축 알고리즘은 엔트로피 인코딩을 활용하는 H.264 이다. 엔트로피는, 짧은 코드들은 자주 발생하는 계수들을 대체하는데 이용되고 더 긴 코드들은 덜 빈번한 계수들을 대체하는데 이용되는 기법이다. 결과는 가변-길이 바이너리 코드들의 시퀀스이고, 이는, 동기 및 제어 정보와 결합될 때, 압축된 비디오 비트 스트림을 생성한다.
송신 (TX) 데이터 프로세서 (208) 는 압축된 비디오 비트 스트림을 프로세싱 (예를 들어, 터보 인코딩, 인터리빙, 및 심볼 맵핑) 하여 데이터 심볼들을 생성한다. 변조기 (210) 는 데이터 심볼들에 대해 OFDM 변조를 수행하여 OFDM 심볼들을 생성한다. 아날로그 프론트 엔드 (AFE) (212) 는 OFDM 심볼들을 프로세싱 (예를 들어, 아날로그 변환, 증폭, 필터링, 및 주파수 상황변환) 하여 변조된 신호 를 생성하고, 이 변조된 신호는 안테나 (214) 를 통해 송신된다.
수신기 (204) 에서, 안테나 (216) 는 송신기 (202) 로부터 변조된 신호를 수신하고, 그것을 AFE (218) 로 제공한다. AFE (218) 는 변조된 신호를 프로세싱 (예를 들어, 필터링, 증폭, 및 주파수 하향변환) 하여, OFDM 심볼들을 복원한다. 복조기 (220) 는 OFDM 심볼들에 대해 OFDM 복조를 수행하여, 송신기 (202) 에 의해 전송된 데이터 심볼들의 추정치들인, 데이터 심볼 추정치들을 생성한다. 복조기 (220) 는 데이터 심볼 추정치들을 수신 (RX) 데이터 프로세서 (222) 로 제공한다. RX 데이터 프로세서 (222) 는 데이터 심볼 추정치들을 프로세싱 (예를 들어, 심볼 디맵핑, 디인터리빙, 및 터보 디코딩) 하여, 압축된 비디오 비트 스트림을 복원한다. 비디오 디코더 (224) 는 압축된 비디오 비트 스트림을 디코딩하여 디스플레이 (226) 에 프리젠팅 (presenting) 하기 위한 일련의 비디오 프레임들을 생성한다.
도 3a 는 비디오 디코더의 개념적 블록도이다. 비디오 디코더 (224) 는 RX 데이터 프로세서 (222) (도 2 참조) 로부터 출력된 압축된 비디오 비트 스트림을 버퍼링하는 프레임 버퍼 (302) 를 포함한다. 프레임 버퍼 (302) 는 플로우 제어, 핸드쉐이크, 및 에러 검출/복원 등과 같은 전송층 기능들을 또한 수행할 수도 있다. 제 1 디코더 (304) 는 기본 채널 및 강화된 채널의 각각의 비디오 프레임에 대해 양자화된 변환 계수들을 복원하기 위해 엔트로피 디코딩을 수행한다. 이 양자화된 변환 계수들은, 채널 결합, 역양자화, 및 역변환을 위해 제 2 디코더 (306) 에 제공되어 완전히 재구성된 비디오 프레임을 생성한다. P-프레임들 및 B-프레임들의 경우, 제 2 디코더 (306) 의 동작은 하나 이상의 인접한 비디오 프레임들을 참조하여 수행된다. 비디오 렌더러 (renderer) (308) 는 비디오 프레임들을 오디오와 동기화하고, 적절한 프레임 레이트로 적당한 시퀀스에서 비디오 프레임들을 디스플레이 (226) (도 2 참조) 에 프리젠팅한다.
전술한 바와 같이, 시스템의 실시간 제한들은 비디오 프레임을 디코딩하기 위한 평균 시간이
Figure 112008076572010-pct00002
을 초과하지 않을 것을 필요로 한다. 이는, 어떤 수의 P-프레임들 및/또는 B-프레임들은, 디코딩하는데
Figure 112008076572010-pct00003
보다 더 길 필요가 있는 임의의 I-프레임들에 대해 보상하기 위해
Figure 112008076572010-pct00004
미만에서 디코딩할 필요가 있을 것이라는 것을 의미한다. 확실히, 더 많은 I-프레임들이 비디오 시퀀스 내에 포함되는 경우 비디오 품질은 향상될 것이지만, 비디오 디코더 (224) 는 I-프레임의 수가 너무 높으면 시스템의 실시간 제한들을 충족할 수 없을 수도 있다.
임의의 주어진 비디오 시퀀스의 I-프레임들의 수 외에도, 수신기 디코더의 하드웨어 구현 또한 시스템의 실시간 제한들을 충족하기 위한 그 능력에 영향을 미칠 수도 있다. 수신기의 하드웨어 구성의 일예가 도 4 에 나타내어져 있다. 도 2 내지 도 4 를 참조하면, 수신기 (204) 는 디지털 신호 프로세서 (DSP) (402) 를 포함한다. DSP (402) 는 고속으로 신호 처리 기능들을 수행하기 위해 설계된 특정 용도 프로세서이다. 본 예에서, DSP (402) 는 수신기 (204) 에서 복조기 (220) 및 RX 데이터 프로세서 (222) 기능들을 구현한다. 마이크로프로세서 (404) 는 인터페이스를 디스플레이 (미도시) 로 핸들링하고, 송신기 (202) 와의 명 령 및 제어 시그널링을 처리하고, 수신기 (204) 내의 모든 다른 기능들을 조정한다. 수신기 (204) 의 일구성에서, 마이크로프로세서 (404) 는 제 1 디코더 (304) 의 기능 (즉, 엔트로피 디코딩) 을 또한 수행한다. 비디오 코어 (406) 는 제 2 디코더 (306) 의 기능 (즉, 양자화된 변환 계수들로부터 온전히 재구성된 비디오 프레임들을 형성) 을 제공하는데 이용된다. 일 구성에서, 비디오 코어 (406) 는 주문형 반도체 (ASIC) 를 이용하여 구현될 수도 있다. 오디오 회로 (408) 는 비디오 시퀀스의 프레임들에 오디오를 제공하는데 이용된다. 마지막으로, AFE (410) 는 안테나 (412) 에 의해 수신된 변조된 신호를 프로세싱한다.
엔트로피 디코딩을 수행하기 위한 마이크로프로세서 (404) 의 이용은, 시스템의 실시간 제한들을 충족하기 위한 비디오 디코더의 능력에 관해 어떤 불확실성을 초래할 수 있다. 이러한 구성에서, 엔트로피 디코딩 기능은 제한된 양의 프로세싱 자원들로 인해 다른 수신기 기능들과 경쟁하여야만 한다. 그 결과, 비디오 디코더 (224) 는 평균 디코딩 시간
Figure 112008076572010-pct00005
을 유지하지 못할 수도 있다.
비디오 디코더 (224) 의 시스템의 실시간 제한들을 충족하는 것에 대한 무능력은 프레임들이 비디오 렌더러 (308) 에 늦게 도착하는 결과를 초래할 수도 있다. 자신의 프리젠팅 시간 후에 비디오 렌더러 (308) 에 도착하는 임의의 프레임은 비디오와 오디오 사이의 동기를 유지하기 위해 드롭되어야만 한다. 그 결과, 비디오 디코더 (224) 는 결코 사용되지 않을 프레임들을 디코딩하는데 값진 프로세싱 자원들을 낭비할 수도 있다. 따라서, 프레임을 디코딩하는 평균 시간이 시스템의 실시간 제한들을 넘어 증가할 때, 디코딩 전에 비디오 프레임이 드롭될 수 있다면, 성능의 상당한 향상이 실현될 수도 있다.
도 3b 에서, 프레임 스로틀 (301) 은, 비디오 프레임들이 프레임 버퍼 (302) 를 통과하기 전에 비디오 프레임들을 폐기하는데 이용된다. 비디오 디코더 (224) 의 일 구성에서, 제 1 디코더 (304) 로부터의 피드백은 프레임 스로틀 (301) 로 제공된다. 이 피드백은 각각의 비디오 프레임을 디코딩하는데 걸리는 시간의 측정을 제공한다. 프레임 스로틀 (301) 은 이들 측정치들을, 들어오는 비디오 프레임을 연산하기 위해 걸리는 시간의 추정치를 계산하기 위해 예측 모듈 (미도시) 에 제공한다. 프레임 스로틀 (301) 은, 예측된 추정치가 증가할 때 프레임 드롭 레이트를 증가시키고, 예측된 추정치가 감소할 때 프레임 드롭 레이트를 감소시킬 수도 있다.
프레임 스로틀 (301) 은 비디오 렌더러 (308) 로부터 피드백을 또한 수신한다. 피드백은, 비디오 렌더러 (308) 가 큐 (queue) 의 헤드에서 비디오 프레임을 분석할 때마다 측정치를 프레임 스로틀 (301) 에 제공한다. 비디오 프레임이 시간에 맞는 경우, 측정치는 제로다. 프레임이 늦는 경우, 측정치는 프레임이 얼마나 늦었는지를 나타낸다. 프레임 스로틀 (301) 은, 평균 측정치가 증가하는 경우 프레임 드롭 레이트를 증가시키고, 평균 측정치가 감소하는 경우, 프레임 드롭 레이트를 감소시킬 수도 있다.
제 1 디코더 (304) 및 비디오 렌더러 (308) 로부터의 피드백에 기초하여 프레임 드롭 레이트들을 조정하는데 다양한 여러 가지 프레임 스로틀 알고리즘들이 이용될 수도 있다는 것은 당업자에게 있어 자명하다. 사용되는 구체적인 알고 리즘은, 특정 응용, 서비스 품질 요건들, 및 시스템에 부과된 전체 설계 제한들을 포함하는 여러 가지 팩터들에 의존한다. 제 1 디코더 (304) 가 마이크로프로세서 또는 몇몇 다른 공유된 프로세싱 자원을 이용하여 구현되는 일 구성에서, 프레임 스로틀 (301) 은, 마이크로프로세서가 부하가 과중하게 걸릴 때 적극적인 프레임 드롭 방침을 구현할 수도 있고, 마이크로프로세서에 대한 부하가 감소될 때 프레임 드롭 방침을 완화할 수도 있다.
프레임 스로틀 알고리즘의 일예를 도 5 를 참조하여 설명할 것이다. 단계 502 에서, 프레임 스로틀은, 예측된 추정치가 xl 개의 연속적인 프레임들에 대해 실시간 디코딩 한계를 초과하였는지 여부를 결정한다. 프레임 스로틀은, 예측된 추정치가 xl 개의 연속적인 프레임들에 대해 실시간 디코딩 한계를 초과한 경우, 단계 504 에서 프레임 드롭 레이트를 증가시킨다. 그렇지 않은 경우, 프레임 스로틀 알고리즘은 단계 506 으로 진행한다.
단계 506 에서, 프레임 스로틀은, 비디오 렌더러가 x2 개의 연속적인 프레임들을 드롭시켰는지 여부를 결정한다. 비디오 렌더러가 x2 개의 연속적인 프레임들을 드롭시킨 경우, 단계 504 에서 프레임 스로틀은 프레임 드롭 레이트를 증가시킨다. 그렇지 않은 경우, 프레임 스로틀 알고리즘은 단계 508 로 진행한다.
단계 508 에서, 프레임 스로틀은, 예측된 추정치가 x3 개의 연속적인 프레임들에 대한 실시간 디코딩 한계 미만이 되었는지를 여부를 결정한다. 예측된 추 정치가 x3 개의 연속적인 프레임들에 대한 실시간 디코딩 한계 미만이 아닌 경우, 프레임 스로틀 알고리즘은 단계 502 로 돌아간다. 그렇지 않은 경우, 프레임 스로틀 알고리즘은 단계 510 으로 진행한다.
단계 510 에서, 프레임 스로틀은 비디오 렌더러가 최종 x4 개의 연속적인 프레임들을 디스플레이하였는지 여부를 결정한다. 비디오 렌더러가 x4 개의 연속적인 프레임들을 디스플레이한 경우, 단계 512 에서 프레임 스로틀은 프레임 드롭 레이트를 감소시킨다. 그렇지 않은 경우, 프레임 스로틀 알고리즘은 단계 502 로 복귀한다.
비디오 프레임들을 드롭할 때, 프레임 스로틀은 어느 프레임들을 드롭시킬 지를 신중하게 선택하여야 한다. 랜덤하게 비디오 프레임들을 폐기하는 경우 화상 품질의 열화를 초래할 수 있다. 도 3b 로 돌아가서, 프레임 스로틀 (301) 은 최소량의 정보 콘텐츠를 갖는 비디오 프레임들을 드롭시킴으로써 평균 디코딩 시간의 증가로부터 회복하기를 시도할 수도 있다. 예로서, 강화된 IPB 프레임 및 기본 IPB 프레임 양자 모두를 포함하는 멀티미디어 브로드캐스트 시스템에서, 프레임 스로틀 (301) 은 강화 채널의 B-프레임들을 제일 먼저 드롭시킬 수도 있다. 강화 채널에서 B-프레임들을 드롭시킨 후 평균 디코딩 시간이
Figure 112008076572010-pct00006
로 감소될 수 없다면, 프레임 스로틀 (301) 은 기본 채널의 B-프레임들을 드롭시키기 시작할 수도 있다. 프레임 스로틀 (301) 은, 강화 채널의 P-프레임들을 먼저 드롭시키고, 그 후, 기본 채널의 P-프레임들을 드롭시켜 B-프레임들을 드롭시킨 후에도 회 복할 수 없다면 더욱 적극적이 될 수도 있다. 이러한 프레임 드롭 방침 하에서, 프레임 스로틀은 마지막으로 I-프레임들을 드롭시킬 것이고, 기본 채널의 I-프레임들을 드롭시키기 전에 강화 채널의 I-프레임들을 드롭시킨다. 이러한 방침은 가장 높은 화상 품질을 촉진한다.
다르게는, 프레임 스로틀 (301) 은 평균 디코딩 시간의 증가에 대해 더빨리 응답하는 프레임 드롭 방침을 구현할 수도 있다. 예로서, 프레임 스로틀 (301) 은 기본 채널 또는 강화된 채널의 P-프레임들과 같은, 높은 정보 콘텐츠를 갖는 프레임들을 제일 먼저 드롭시킬 수도 있다. 더욱 적극적인 프레임 드롭 방칩은 몇몇 I-프레임들을 드롭시켜 평균 디코딩 시간의 증가로부터 더 빨리 회복하기를 요청할 수도 있다. 몇몇 구성들에서, 프레임 스로틀 (301) 은 높은 화상 품질과 빠른 회복 시간 사이의 트레이드오프 (tradeoff) 를 조화하는 방침을 구현할 수도 있다. 당업자라면, 성능 요건들 및 수신기에 부과된 설계 제한들에 기초하여 특정 애플리케이션에 대해 가장 적합한 프레임 드롭 방침을 쉽게 결정할 수 있을 것이다.
도 6 은 수신기를 나타내는 기능적 블록도이다. 수신기 (602) 는, 복수의 비디오 프레임들을 포함하는 비디오 시퀀스를 수신하는 모듈 (604), 비디오 시퀀스를 디코딩하는 모듈 (608), 비디오 시퀀스를 디코딩 수단으로 제공하기 전에 비디오 시퀀스로부터 하나 이상의 비디오 프레임들을 드롭시키는 모듈 (606) 을 포함한다.
본원에 개시된 실시형태들과 함께 설명된 다양한 예시적인 논리 블록들, 모 듈들, 회로들, 소자들, 및/또는 컴포넌트들은, 범용 프로세서, 디지털 신호 프로세서 (DSP), 주문형 집적 회로 (ASIC), 필드 프로그래머블 게이트 어레이 (FPGA), 또는 다른 프로그래머블 논리 컴포넌트, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본원에 설명된 기능들을 수행하도록 설계된 이들의 임의의 조합을 이용하여 구현 또는 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 다르게는, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 결합된 하나 이상의 마이크로프로세서, 또는 임의의 다른 이러한 구성과 같은, 연산 컴포넌트들의 조합으로서 또한 구현될 수도 있다.
본원에 개시된 실시형태들과 함께 설명된 방법들 또는 알고리즘들은 하드웨어에 바로 구현될 수도 있고, 프로세서에 의해 실행되는 소프트웨어 모듈로 구현될 수도 있으며, 또는 이 둘의 조합으로 구현될 수도 있다. 소프트웨어 모듈은 RAM 메모리, 플래쉬 메모리, ROM 메모리, EPROM 메모리,EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM, 또는 당해 기술분야에서 공지된 임의의 다른 형태의 저장 매체에 상주할 수도 있다. 저장 매체는 프로세서가 그 저장 매체로부터 정보를 판독할 수 있고, 그 저장 매체에 정보를 기록할 수 있도록 프로세서에 커플링될 수도 있다. 다르게는, 저장 매체는 프로세서에 통합될 수도 있다.
전술한 내용들은 본원에 설명된 다양한 실시형태들을 당업자가 실시할 수 있도록 하기 위해 제공된 것이다. 이들 실시형태들에 대한 다양한 변형들은 당업 자에게 있어 자명한 것이며, 본원에 정의된 고유한 원리들은 다른 실시형태들에 적용될 수도 있다. 따라서, 청구범위는 여기에 나타낸 실시형태들에 한정되지 아니하며, 언어적 청구범위와 일치하는 전체 범위에 부합되며, 청구범위에서, 요소에 대한 단수 참조는 구체적으로 그렇게 언급되지 않는 한 "오직 하나" 를 의미하는 것이 아니고, 오히려 "하나 이상" 을 의미하는 것으로 의도된다. 당업자에게 있어 공지의 또는 나중에 공지될, 본원 개시 전체를 통해 설명된 다양한 실시형태들의 요소들에 대한 모든 구조적 및 기능적 균등물들은 참조로서 본원에 명백히 통합되며, 청구범위에 의해 포함되도록 의도된다. 또한, 본원에 개시된 어떠한 것도, 이러한 개시가 명시적으로 청구범위에 인용되었는지 여부와 무관하게 공중에 제공할 목적이 아니다. 어떠한 청구항 요소도, 그 요소가 "~하는 수단 (means for)" 구문을 이용하여, 또는 방법 청구항의 경우 "~하는 단계 (step for)" 구문을 이용하여, 명시적으로 기술되지 않는 한, 35 U.S.C. §112, 제 6 문단의 조항들 하에서 해석되지 않는다.

Claims (36)

  1. 비디오 디코더; 및
    복수의 비디오 프레임들을 포함하는 비디오 시퀀스를 수신하도록 구성된 프레임 스로틀을 포함하며,
    상기 프레임 스로틀은 또한, 상기 비디오 시퀀스를 상기 비디오 디코더에 제공하기 전에, 상기 비디오 시퀀스로부터 상기 비디오 프레임들 중 하나 이상을 드롭시키고,
    상기 비디오 프레임들은 I-프레임들, P-프레임들, 및 B-프레임들을 포함하며, 상기 프레임 스로틀은 상기 I-프레임들을 드롭시키기 전에 상기 P-프레임들 및 B-프레임들을 드롭시키도록 구성된, 수신기.
  2. 제 1 항에 있어서,
    상기 프레임 스로틀은 또한, 상기 비디오 시퀀스로부터 드롭되는 상기 비디오 프레임들의 레이트를, 디스플레이를 위한 목표 프레임 레이트를 충족하도록 조정하도록 구성된, 수신기.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 프레임 스로틀에 의해 드롭되는 비디오 프레임들의 수는, 상기 비디오 디코더의 디코딩 시간의 함수인, 수신기.
  5. 제 1 항에 있어서,
    상기 프레임 스로틀에 의해 드롭되는 비디오 프레임들의 수는, 상기 비디오 디코더로부터의 피드백의 함수인, 수신기.
  6. 제 5 항에 있어서,
    상기 피드백은, 상기 비디오 디코더에 제공된 상기 비디오 시퀀스의 상기 비디오 프레임들의 각각을 디코딩하기 위한 시간을 나타내는, 수신기.
  7. 제 6 항에 있어서,
    상기 프레임 스로틀은 또한, 상기 프레임 스로틀에 의해 수신된 상기 비디오 시퀀스의 상기 하나 이상의 비디오 프레임들을 디코딩하는데 필요한 시간을 예측하기 위해 상기 피드백을 이용하도록 구성되며, 상기 프레임 스로틀은 또한, 상기 비디오 시퀀스의 어느 프레임들을 드롭시킬 지를 결정하기 위해 상기 시간 예측을 이용하도록 구성된, 수신기.
  8. 제 1 항에 있어서,
    상기 비디오 디코더의 적어도 일부는, 다른 수신기 기능들을 지원하도록 구성된 프로세서 상에서 구현되는, 수신기.
  9. 제 1 항에 있어서,
    비디오 렌더러 (video renderer) 를 더 포함하며,
    상기 비디오 디코더는 또한, 복수의 디코딩된 비디오 프레임들을 갖는 상기 비디오 시퀀스를 상기 비디오 렌더러에 제공하도록 구성되고,
    상기 비디오 렌더러는 상기 비디오 시퀀스를 디스플레이에 프리젠팅 (prensenting) 하기 전에 상기 디코딩된 비디오 프레임들 중 하나 이상을 드롭시키도록 구성된, 수신기.
  10. 제 9 항에 있어서,
    상기 프레임 스로틀에 의해 드롭되는 비디오 프레임들의 수는, 상기 비디오 렌더러에 의해 드롭된 상기 디코딩된 비디오 프레임들의 수의 함수인, 수신기.
  11. 제 10 항에 있어서,
    상기 프레임 스로틀에 의해 드롭되는 비디오 프레임들의 수는 또한, 상기 비디오 디코더의 디코딩 시간의 함수인, 수신기.
  12. 제 9 항에 있어서,
    상기 프레임 스로틀에 의해 드롭되는 비디오 프레임들의 수는, 상기 비디오 렌더러로부터의 피드백의 함수인, 수신기.
  13. 제 12 항에 있어서,
    상기 프레임 스로틀에 의해 드롭되는 비디오 프레임들의 수는 또한, 상기 비디오 디코더로부터의 피드백의 함수인, 수신기.
  14. 제 1 항에 있어서,
    상기 프레임 스로틀에 의해 수신된 상기 비디오 시퀀스의 상기 비디오 프레임들은 상이한 양들의 정보 콘텐츠를 가지며, 상기 프레임 스로틀은 또한, 상기 하나 이상의 비디오 프레임들 중 어느 것을 드롭시킬 지를, 상기 비디오 프레임들의 상기 정보 콘텐츠의 양의 함수로서 결정하도록 구성된, 수신기.
  15. 복수의 비디오 프레임들을 포함하는 비디오 시퀀스를 수신하는 단계;
    상기 비디오 시퀀스를 디코딩하는 단계; 및
    상기 비디오 시퀀스를 디코딩하기 전에 상기 비디오 시퀀스로부터 상기 비디오 프레임들 중 하나 이상을 드롭시키는 단계를 포함하며,
    상기 비디오 프레임들은 I-프레임들, P-프레임들, 및 B-프레임들을 포함하며, 상기 I-프레임들이 드롭되기 전에 상기P-프레임들 및 B-프레임들이 드롭되는, 비디오 프레임 디코딩 방법.
  16. 제 15 항에 있어서,
    상기 비디오 시퀀스의 드롭되는 상기 비디오 프레임들의 레이트를, 디스플레이를 위한 목표 프레임 레이트를 충족하도록 조정하는 단계를 더 포함하는, 비디오 프레임 디코딩 방법.
  17. 삭제
  18. 제 15 항에 있어서,
    상기 비디오 시퀀스로부터 드롭되는 비디오 프레임들의 수는, 디코딩 시간의 함수인, 비디오 프레임 디코딩 방법.
  19. 제 18 항에 있어서,
    상기 비디오 시퀀스의 상기 하나 이상의 비디오 프레임들을 디코딩하는데 필요한 시간을 예측하기 위해 상기 디코딩 시간을 이용하는 단계, 및 상기 비디오 시퀀스의 어느 프레임들을 드롭시킬 지를 결정하기 위해 상기 시간 예측을 이용하는 단계를 더 포함하는, 비디오 프레임 디코딩 방법.
  20. 제 15 항에 있어서,
    상기 비디오 시퀀스의 디코딩은 복수의 디코딩된 비디오 프레임들을 생성하는 것을 포함하고,
    상기 비디오 프레임 디코딩 방법은, 상기 비디오 시퀀스를 디스플레이에 프리젠팅 (presenting) 하기 전에 상기 디코딩된 비디오 프레임들 중 하나 이상을 드롭시키는 단계를 더 포함하며,
    상기 비디오 시퀀스를 디코딩하기 전에 상기 비디오 시퀀스로부터 드롭된 비디오 프레임들의 수는, 드롭된 상기 디코딩된 비디오 프레임들의 수의 함수인, 비디오 프레임 디코딩 방법.
  21. 제 20 항에 있어서,
    상기 비디오 시퀀스를 디코딩하기 전에 상기 비디오 시퀀스로부터 드롭된 비디오 프레임들의 수는 또한, 디코딩 시간의 함수인, 비디오 프레임 디코딩 방법.
  22. 제 15 항에 있어서,
    상기 비디오 시퀀스의 상기 비디오 프레임들은 상이한 양들의 정보 콘텐츠를 가지며,
    상기 비디오 프레임 디코딩 방법은, 상기 하나 이상의 비디오 프레임들 중 어느 것을 상기 비디오 시퀀스로부터 드롭시킬 지를, 상기 비디오 프레임들의 상기 정보 콘텐츠의 양의 함수로서 결정하는 단계를 더 포함하는, 비디오 프레임 디코딩 방법.
  23. 복수의 비디오 프레임들을 포함하는 비디오 시퀀스를 수신하는 수단;
    상기 비디오 시퀀스를 디코딩하는 수단;
    상기 비디오 시퀀스를 상기 디코딩하는 수단에 제공하기 전에, 상기 비디오 시퀀스로부터 상기 비디오 프레임들 중 하나 이상을 드롭시키는 수단; 및
    상기 비디오 프레임들은 I-프레임들, P-프레임들, 및 B-프레임들을 포함하며, 상기 비디오 프레임들 중 하나 이상을 드롭시키는 수단은, 상기 I-프레임들을 드롭시키기 전에 상기 P-프레임들 및 B-프레임들을 드롭시키는 수단을 포함하는, 수신기.
  24. 제 23 항에 있어서,
    상기 비디오 시퀀스로부터 드롭되는 상기 비디오 프레임들의 레이트를, 디스플레이를 위한 목표 프레임 레이트를 충족하도록 조정하는 수단을 더 포함하는, 수신기.
  25. 삭제
  26. 제 23 항에 있어서,
    상기 드롭되는 비디오 프레임들의 수는, 상기 디코딩하는 수단의 디코딩 시 간의 함수인, 수신기.
  27. 제 23 항에 있어서,
    상기 드롭되는 비디오 프레임들의 수는, 상기 디코딩하는 수단으로부터의 피드백의 함수인, 수신기.
  28. 제 27 항에 있어서,
    상기 피드백은, 상기 디코딩하는 수단에 제공된 상기 비디오 시퀀스의 상기 비디오 프레임들의 각각을 디코딩하기 위한 시간을 나타내는, 수신기.
  29. 제 28 항에 있어서,
    상기 비디오 프레임들 중 하나 이상을 드롭시키는 수단은, 상기 비디오 시퀀스의 상기 하나 이상의 비디오 프레임들을 디코딩하는데 필요한 시간을 예측하기 위해 상기 피드백을 이용하며, 상기 비디오 시퀀스의 어느 프레임들을 드롭시킬 지를 결정하기 위해 상기 시간 예측을 이용는, 수신기.
  30. 제 23 항에 있어서,
    상기 디코딩하는 수단의 적어도 일부는, 다른 수신기 기능들을 지원하도록 구성된 프로세서 상에서 구현되는, 수신기.
  31. 제 23 항에 있어서,
    복수의 디코딩된 비디오 프레임들을 갖는 비디오 시퀀스를 디스플레이에 프리젠팅 (prensenting) 하는 수단, 및 상기 비디오 시퀀스가 상기 디스플레이에 프리젠팅되기 전에 상기 디코딩된 비디오 프레임들 중 하나 이상을 드롭시키는 수단을 더 포함하는, 수신기.
  32. 제 31 항에 있어서,
    상기 드롭되는 비디오 프레임들의 수는, 상기 드롭된 디코딩된 비디오 프레임들의 수의 함수인, 수신기.
  33. 제 32 항에 있어서,
    상기 드롭되는 비디오 프레임들의 수는 또한, 상기 디코딩하는 수단의 디코딩 시간의 함수인, 수신기.
  34. 제 31 항에 있어서,
    상기 드롭되는 비디오 프레임들의 수는, 상기 디코딩된 비디오 프레임들 중 하나 이상을 드롭시키는 수단으로부터의 피드백의 함수인, 수신기.
  35. 제 34 항에 있어서,
    상기 드롭되는 비디오 프레임들의 수는 또한, 상기 디코딩하는 수단으로부터 의 피드백의 함수인, 수신기.
  36. 제 23 항에 있어서,
    상기 비디오 시퀀스의 상기 비디오 프레임들은 상이한 양들의 정보 콘텐츠를 가지며, 상기 수신기는, 상기 하나 이상의 비디오 프레임들 중 어느 것을 드롭시킬 지를, 상기 비디오 프레임들의 상기 정보 콘텐츠의 양의 함수로서 결정하는 수단을 더 포함하는, 수신기.
KR1020087027079A 2006-04-04 2007-04-04 수신기에서의 비디오 디코딩 KR101201275B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US78945606P 2006-04-04 2006-04-04
US60/789,456 2006-04-04
US11/556,907 US8897371B2 (en) 2006-04-04 2006-11-06 Video decoding in a receiver
US11/556,907 2006-11-06
PCT/US2007/065993 WO2007115320A1 (en) 2006-04-04 2007-04-04 Video decoding in a receiver

Publications (2)

Publication Number Publication Date
KR20090006170A KR20090006170A (ko) 2009-01-14
KR101201275B1 true KR101201275B1 (ko) 2012-11-14

Family

ID=38335612

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087027079A KR101201275B1 (ko) 2006-04-04 2007-04-04 수신기에서의 비디오 디코딩

Country Status (8)

Country Link
US (1) US8897371B2 (ko)
EP (1) EP2002660B1 (ko)
JP (2) JP2009533000A (ko)
KR (1) KR101201275B1 (ko)
CN (1) CN101411198B (ko)
CL (1) CL2007000938A1 (ko)
TW (1) TW200810564A (ko)
WO (1) WO2007115320A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7853839B2 (en) 2006-04-04 2010-12-14 Qualcomm Incorporated Method and apparatus for verifying the correctness of FTAP data packets received on the FLO waveform
US8421842B2 (en) * 2007-06-25 2013-04-16 Microsoft Corporation Hard/soft frame latency reduction
US8665281B2 (en) * 2008-02-07 2014-03-04 Microsoft Corporation Buffer management for real-time streaming
US20080259796A1 (en) * 2008-04-17 2008-10-23 Glen Patrick Abousleman Method and apparatus for network-adaptive video coding
EP2779655B1 (en) * 2010-01-06 2019-05-22 Dolby Laboratories Licensing Corporation Complexity-adaptive scalable decoding and streaming for multi-layered video systems
CN102256138A (zh) * 2010-05-18 2011-11-23 安凯(广州)微电子技术有限公司 一种改善视频播放效果的方法
CN102368823A (zh) * 2011-06-28 2012-03-07 上海盈方微电子有限公司 一种基于分级机制的视频丢帧策略
CN103310820B (zh) * 2012-03-14 2016-03-09 三星电子（中国）研发中心 一种对多媒体播放器进行优化的方法
US9740886B2 (en) * 2013-03-15 2017-08-22 Sony Interactive Entertainment Inc. Enhanced security for hardware decoder accelerator
US20180115795A1 (en) * 2016-10-22 2018-04-26 Gopro, Inc. Adaptive bit rate algorithm for point-to-point wifi devices
US11830225B2 (en) 2018-05-30 2023-11-28 Ati Technologies Ulc Graphics rendering with encoder feedback
US11438545B2 (en) * 2019-12-23 2022-09-06 Carrier Corporation Video image-based media stream bandwidth reduction
US11463651B2 (en) * 2019-12-23 2022-10-04 Carrier Corporation Video frame-based media stream bandwidth reduction
CN113542795B (zh) * 2020-04-21 2023-04-18 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
US11658671B2 (en) * 2021-09-22 2023-05-23 Apple Inc. Latency reduction in analog-to-digital converter-based receiver circuits

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005117445A1 (en) * 2004-05-27 2005-12-08 Vividas Technologies Pty Ltd Adaptive decoding of video data

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1357758A3 (en) * 1995-08-02 2004-10-27 Matsushita Electric Industrial Co., Ltd. Video coding device and video transmission system using the same, quantization control method and average throughput calculation method used therein
US6262776B1 (en) * 1996-12-13 2001-07-17 Microsoft Corporation System and method for maintaining synchronization between audio and video
US6498865B1 (en) 1999-02-11 2002-12-24 Packetvideo Corp,. Method and device for control and compatible delivery of digitally compressed visual data in a heterogeneous communication network
JP2000350197A (ja) * 1999-06-02 2000-12-15 Hitachi Ltd 映像伝送方法とそれを用いた監視システム
BR0015959A (pt) * 1999-12-14 2002-08-06 Scientific Atlanta Sistema e método para o processamento de vìdeo adaptativo com alocação de recursos coordenados
US7042944B2 (en) * 2000-09-22 2006-05-09 Koninklijke Philips Electronics N.V. Single-loop motion-compensation fine granular scalability
US6631163B1 (en) * 2000-11-14 2003-10-07 Koninklijke Philips Electronics N.V. Dynamic adaptation of complexity in an MPEG-2 scalable decoder
JP3825276B2 (ja) * 2001-04-26 2006-09-27 日本電信電話株式会社 番組紹介・情報提供システム，番組紹介・情報提供処理方法および番組紹介・情報提供システム用プログラム
KR100522938B1 (ko) 2001-08-13 2005-10-24 삼성전자주식회사 블록화현상 제거장치 및 제거방법, 블록화현상 제거장치가 구비된 디스플레이장치
US7397858B2 (en) 2002-05-29 2008-07-08 Innovation Management Sciences, Llc Maintaining a plurality of codebooks related to a video signal
US7116828B2 (en) 2002-09-25 2006-10-03 Lsi Logic Corporation Integrated video decoding system with spatial/temporal video processing
AU2003283723A1 (en) 2002-12-10 2004-06-30 Koninklijke Philips Electronics N.V. A unified metric for digital video processing (umdvp)
KR100619007B1 (ko) * 2003-06-24 2006-08-31 삼성전자주식회사 비디오 트랜스포트 스트림 동기화 제어 장치 및 방법
US8625680B2 (en) 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering
KR100710290B1 (ko) * 2003-11-29 2007-04-23 엘지전자 주식회사 비디오 디코딩 장치 및 방법
US8355452B2 (en) * 2006-02-27 2013-01-15 Sharp Laboratories Of America, Inc. Selective frame dropping for initial buffer delay reduction

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005117445A1 (en) * 2004-05-27 2005-12-08 Vividas Technologies Pty Ltd Adaptive decoding of video data

Also Published As

Publication number Publication date
EP2002660B1 (en) 2018-10-24
CN101411198A (zh) 2009-04-15
CL2007000938A1 (es) 2008-04-18
JP2009533000A (ja) 2009-09-10
TW200810564A (en) 2008-02-16
KR20090006170A (ko) 2009-01-14
CN101411198B (zh) 2015-07-01
EP2002660A1 (en) 2008-12-17
JP2012231472A (ja) 2012-11-22
JP5296245B2 (ja) 2013-09-25
US20070230581A1 (en) 2007-10-04
WO2007115320A1 (en) 2007-10-11
US8897371B2 (en) 2014-11-25

Similar Documents

Publication Publication Date Title
KR101201275B1 (ko) 수신기에서의 비디오 디코딩
US8374246B2 (en) Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
KR100799784B1 (ko) 시간적 스케일러빌러티를 가능하게 하는 하이브리드 비디오압축에서의 프레임 예측 방법 및 장치
CA2713414C (en) Fast macroblock delta qp decision
US8218633B2 (en) Bidirectionally decodable Wyner-Ziv video coding
US8320464B2 (en) Method and apparatus to construct bi-directional predicted frames for temporal scalability
RU2372743C2 (ru) Масштабируемое видеокодирование с двухуровневым кодированием и одноуровневым декодированием
US20110274180A1 (en) Method and apparatus for transmitting and receiving layered coded video
US20170094294A1 (en) Video encoding and decoding with back channel message management
KR20070119677A (ko) 비디오 레이트 제어에서의 콘텍스트-적응형 밴드폭 조정
CN101322415A (zh) 用于可变数据速率编码的时间分片技术
KR100964778B1 (ko) 다중 계층 비디오 인코딩
US20080212599A1 (en) Methods and systems for encoding data in a communication network
US7724819B2 (en) Wireless image transmission device and image transmission method
JP2005524356A (ja) データ分割及び不等のエラープロテクトを利用した無線ｌａｎ用の誤り回復力のある映像伝送システム
Chen et al. Robust video streaming over wireless LANs using multiple description transcoding and prioritized retransmission
Matsuura et al. Realtime transmission of full high-definition 30 frames/s videos over 8× 8 MIMO-OFDM channels using HACP-based lossless coding
KR100620275B1 (ko) 네트워크 전송 속도에 적응하는 ｍｐｅｇ-4방식의 압축된동영상 데이터의 전송 방법
Sim et al. Adaptive error protection for video transmission over ultra-wideband wireless multimedia sensor networks
Zhao et al. Influence of MPEG-4 parameters on system energy
Li et al. Solution for hybrid bandwidth variation in wireless video environments
Ashibani et al. Video Delivery over Broadband Mobile Networks

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20100816

Effective date: 20120921

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150930

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161028

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170929

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee