KR20080112369A - 규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을 이용하는 방법 및 장치 - Google Patents

규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을 이용하는 방법 및 장치 Download PDF

Info

Publication number
KR20080112369A
KR20080112369A KR1020087027670A KR20087027670A KR20080112369A KR 20080112369 A KR20080112369 A KR 20080112369A KR 1020087027670 A KR1020087027670 A KR 1020087027670A KR 20087027670 A KR20087027670 A KR 20087027670A KR 20080112369 A KR20080112369 A KR 20080112369A
Authority
KR
South Korea
Prior art keywords
frame
frames
fruc
macroblock
encoding
Prior art date
Application number
KR1020087027670A
Other languages
English (en)
Other versions
KR100913260B1 (ko
Inventor
비자야라크쉬미 알. 라빈드란
고든 켄트 왈커
Original Assignee
콸콤 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콸콤 인코포레이티드 filed Critical 콸콤 인코포레이티드
Publication of KR20080112369A publication Critical patent/KR20080112369A/ko
Application granted granted Critical
Publication of KR100913260B1 publication Critical patent/KR100913260B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

비디오 스트림을 인코딩하는 방법은 상기 비디오 스트림을 다수의 메인층 프레임들을 갖는 메인층, 및 다수의 보간층(interpolated layer) 프레임들을 갖는 보간층으로 분할하는 단계 - 여기서, 상기 다수의 메인층 프레임들은 F-프레임들 및 비-F 프레임들을 포함함 -; 프레임 레이트 업 변환(FRUC) 프레임을 보간하는 단계; 및 상기 보간된 FRUC 프레임의 지원으로 상기 메인층의 F-프레임들을 인코딩하고, 상기 보간된 FRUC 프레임의 지원없이 상기 메인층의 비-F 프레임들을 인코딩하는 단계를 포함한다.

Description

규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을 이용하는 방법 및 장치{METHOD AND APPARATUS FOR USING FRAME RATE UP CONVERSION TECHNIQUES IN SCALABLE VIDEO CODING}
본 출원은 2004년 7월 1일 출원된 "Method and Apparatus for Using Frame Rate up Conversion(FRUC) Technique in Scalable Video Coding"이란 명칭의 가출원 No.60/585,154를 우선권으로 청구한다.
또한, 본 출원은 2005년 3월 22일 출원된 "Method and Apparatus for Using Frame Rate UP Conversion Techniques in Scalable Video Coding"이라는 명칭의 가출원 No.60/665,816을 우선권으로 청구하며, 이들은 본 출원의 양수인에게 양도되었으며, 본 명세서에 참조된다.
본 발명은 통상적으로 비디오 압축에 관한 것이며, 특히 규모 가변적 비디오 코딩에서 프레임 레이트 업 변환(FRUC)을 이용하는 방법 및 장치에 관한 것이다.
비디오 및 오디오 압축에서의 레이트 적응은 통상적으로 다양한 비트 레이트로 코딩된 비트 스트림들과 다중 비트 레이트 모드들 사이에서 스위칭하는 규모 가변성(SNR, 공간적, 시간적) 기술을 통해 달성되었는데, 인코더는 가변 대역폭의 다 양한 미디어 스트림으로서 콘텐츠를 서버에 전달한다. 그리고 서버는 네트워크 상태 및/또는 대상 청중을 기초로 적절한 스트림을 전달한다.
낮은 비트 레이트 비디오 애플리케이션에서 이용 가능한 한정된 대역폭 때문에, 소정의 인코더는 요구되는 압축비를 충족시키기 위해 시간적(temporal) 샘플링 기술(또한 프레임 스킵으로도 불림)을 적용한다. 이러한 각본 하에, 입력 시퀀스의 프레임들은 인코딩 프로세스로부터 주기적으로 누락(drop)되며, 그 결과 전송되지 않는다. 따라서, 전체 입력 시퀀스 대신에, 디코더는 특정 시점에서 단지 일부 정보만을 수신한다. 그 결과, 움직임 급변(jerkiness)과 같은 일시적 인공물이 수신 측에 삽입된다. 시간적 인공물을 감소시키기 위해 디코더에서 프레임 레이트 업 변환(FRUC)이 사용되어 스킵된 프레임들을 재생성한다. FRUC를 위해 다양한 기술이 제안되었다. 전형적으로, 움직임 보상 보간(MCI) 기술이 시간적 FRUC 애플리케이션에서 최상의 해결책을 제공한다. 그러나 비디오 스트림의 비트 레이트를 최소화하면서 디코더 상에서의 FRUC 기술 구현을 최적화하는 것이 바람직하다.
규모 가변적 비디오 코딩에서 FRUC를 이용하고, 인코더 지원 FRUC(EA-FRUC)로 지칭되는 인코더 측에 대한 FRUC 압축 기술의 통합을 가능하게 하는 다양한 방식이 설명된다.
일 실시예에서, 비디오 스트림을 인코딩하는 방법은 상기 비디오 스트림을 다수의 메인층 프레임들을 갖는 메인층, 및 다수의 보간층(interpolated layer) 프레임들을 갖는 보간층으로 분할하는 단계 - 여기서, 상기 다수의 메인층 프레임들은 F-프레임들 및 비-F 프레임들을 포함함 -; 프레임 레이트 업 변환(FRUC) 프레임을 보간하는 단계; 및 상기 보간된 FRUC 프레임의 지원으로 상기 메인층의 F-프레임들을 인코딩하고, 상기 보간된 FRUC 프레임의 지원없이 상기 메인층의 비-F 프레임들을 인코딩하는 단계를 포함한다.
다른 실시예에서, EA-FRUC는 명령이 저장된 컴퓨터 판독 가능 매체로서 구현될 수 있으며, 저장된 명령은 프로세서에 의해 실행될 때, 프로세서가 비디오 스트림을 인코딩하는 방법을 수행하게 한다. 상기 방법은 상기 비디오 스트림을 다수의 메인층 프레임들을 갖는 메인층, 및 다수의 보간층(interpolated layer) 프레임들을 갖는 보간층으로 분할하는 단계 - 여기서, 상기 다수의 메인층 프레임들은 F-프레임들 및 비-F 프레임들을 포함함 -; 프레임 레이트 업 변환(FRUC) 프레임을 보간하는 단계; 및 상기 보간된 FRUC 프레임의 지원으로 상기 메인층의 F-프레임들을 인코딩하고, 상기 보간된 FRUC 프레임의 지원없이 상기 메인층의 비-F 프레임들을 인코딩하는 단계를 포함한다.
또 다른 실시예에서, 시스템은 비디오 스트림을 수신하는 비디오 인코더 프로세서로서 구현된다. 비디오 인코더 프로세서는 수신된 비디오 스트림으로부터 다수의 프레임 레이트 업 변환(FRUC) 프레임들을 생성하는 FRUC 모듈; 상기 FRUC 모듈에 연결되어, 다수의 FRUC 프레임들을 수신하고, 상기 다수의 FRUC 프레임들 중 하나의 매크로블록에 기초하여 F 프레임 매크로블록 레이트 왜곡 코스트(RD_cost)를 계산하는 RD_cost 계산 모듈; 및 상기 RD_cost 계산 모듈에 연결되어, 상기 다수의 FRUC 프레임들 중 하나의 매크로블록에 기초한 F 프레임 매크로블록 RD_cost를 해당 B 프레임의 해당 매크로블록에 대한 B 프레임 매크로블록 RD_cost와 비교하도록 구성되는 모드 선택 모듈을 포함한다.
다른 목적, 특징 및 장점은 이하의 설명으로부터 당업자에게 명확할 것이다. 그러나 설명되고 특정된 예들은 발명의 실시예를 나타내는 것으로 본 발명을 한정하지는 않는다. 본 발명의 사상을 벗어나지 않고 많은 변화 및 변경이 행해질 수 있다.
본 발명은 첨부한 도면을 참조하여 더욱 용이하게 이해될 것이다.
도면 전반에서 동일한 번호는 동일한 구성 요소를 나타낸다.
FRUC 기술은 통상적으로 디코더 측에서 사용되지만, 인코더 측으로 확장될 수 있다. 특히, 움직임 보상 프레임에 대한 추가 예측 모드로서 FRUC 프레임을 이용하는 것이 유용하다. 인터(inter) 예측 프레임에 대한 여분의 예측 모드를 부가 함으로써, 비트 레이트 절약이 달성될 수 있다. 다시 말해, 동일한 재구성 시각화 품질에 대한 압축비가 개선될 수 있다.
표준 기반 비디오 인코딩의 경우, 여분의 FRUC 모드의 도입으로 인해 비트 스트림 신택스(syntax)가 보강되어야 한다. 그러나 표준 신택스에 대한 컴플라이언스(compliance)는 국제 통신 협회, 통신 표준 섹터(ITU-T)에 의해 공표된 H.264 비디오 코딩 표준에서와 같이 사용자 데이터 필드 또는 보충 확장 정보(SEI) 필드의 예측 프레임에서 FRUC의 사용을 플래깅(flagging)함으로써 유지될 수 있다. 이러한 특징은 FRUC 기능이 디코더에 의해 실행되는 비디오 송신 시스템에서 특히 유리하다. 더욱이, 비디오 디코더에 대한 변경이 가능한 폐쇄 시스템은 송신 대역폭 및 압축 효율의 관점에서 현저히 장점을 갖는다.
디코더 측에서, 송신된 비트 스트림 및 재구성된 인트라(intra) 픽처(I)/예상(prediction) 픽처(P)(I/P) 프레임을 수신할 때, 인코더 측에 적용된 동일 기술을 이용하여 FRUC 프레임이 보간된다. 이어 동일한 시간 인스턴스의 재구성된 I/P 프레임 및 FRUC 프레임에 기초하여 인터(inter) 프레임이 재구성된다. 디코더 및 인코더 측에서 동일한 기술이 사용되는 한, 에러 또는 드리프트 문제가 없을 것이다.
시스템의 대안적 애플리케이션은 규모 가변적 비디오 코딩일 것이다. 시간적 규모 가변성이 사용될 경우, 소정의 예측 프레임, 특히 양방향 예측/보간 픽처 프레임이 확장층으로 송신되고; I 및 P 프레임이 베이스 층으로 송신된다. 이러한 시나리오에서, 만일 확장층이 수신 또는 요청되지 않는다면, 디코더에서 재구성된 비디오의 프레임 레이트는 소스 프레임 레이트보다 더 낮다. 베이스 층에서 FRUC 프레임 및 B 프레임의 차를 전송하는 것은 디코더에서 FRUC를 통해 B 프레임의 근사치의 재구성을 가능하게 할 수 있다. 결과는 (비트의) 차분의 코스트가 현저히 적고 결국 베이스 층 비디오의 비트 레이트에 영향을 주지 않음을 보여준다. 차분은 (예를 들어, FRUC에 의해 재구성될 수 없는 홀과 같은) 두드러진 영역에 대한 정보를 한정하는 임계화(또는 양자화)를 통해 FRUC의 순수한 나머지(residual)로서, 또는 (예를 들어, 진정한 움직임 벡터 데이터 또는 양자화된 진정 움직임 벡터 데이터와 같은) 공지된 FRUC 방법으로서 계산될 수 있다. 또한, 이러한 차분 정보는 표준 신택스의 "사용자 데이터" 필드에서, 또는 H.264 표준에서와 같은 SEI 필드에서 실행될 수 있다.
디코더 자원의 이용 가능성에 기초하여, 계산 복잡성의 정도에 기초하여 다른 FRUC 기술이 선택될 수 있다. 주목할 부분은 FRUC가 통상적으로 B 프레임을 디코딩하는 것보다 적은 계산 사이클을 쓴다는 것인데, 이는 FRUC가 B 프레임의 모든 매크로블록(때때로 1보다 많은 움직임 보상(MC)/매크로블록(MB))에 대한 양방향 움직임 보상(MC)과 비교하여; 상대적으로 작은 탐색 공간에서 낮은 비율의 프레임에 대해 간단한 3 또는 5-탭 필터링 및 움직임 추정(ME)을 포함하기 때문이다. FRUC는 시각화 품질의 작은 코스트로 중간 프레임을 재구성하기 위해 적용된 정밀 레벨에 기초한 복잡한 레벨의 정교성을 제공한다.
통상적으로, B 프레임은 P 프레임보다 계산적으로 더욱 고가이며, I 프레임은 세 타입의 프레임 중 비용이 가장 적게 든다. 이러한 점에서, 규모 가변적 비 디오 코딩에 부가된 본 시스템의 장점 및 확장성은 계산 사이클을 감소시키고, 결국, 휴대용 장치의 귀중한 전력을 절약(이는 더 긴 대기 및 통화 시간을 의미함)하는데 있다. 전력 절약은 이용 가능한 사이클에 기초하여 디코더가 B 프레임을 디코딩할지 FRUC를 통해 보간된 프레임을 재구성할지 선택할 수 있고, 차분 데이터로부터 정교함을 제공할 수 있기 때문에, B 프레임이 수신되는지에 무관하게 실행된다.
블록 기반 FRUC 알고리즘은 계산 복잡도에 기초하여 다음과 같이 분류될 수 있다.
1. 프레임 반복 및 프레임 평균과 같은 비움직임 보상 알고리즘;
2. MV 프로세싱이 없는 쌍일차 움직임 보상된 보간(MCI);
3. MV 프로세싱을 갖는 MCI; 및
4. MV 프로세싱을 갖는 시딩된 ME 지원 MCI.
소정의 전술한 FRUC 지원 인코딩 기술은 코딩 계층화(layering) 기술과 통합될 수 있다. 송신 채널의 레이트 적응은 코딩 계층화에 의해 달성될 수 있다. 압축된 비트 스트림의 베이스 층은 통상적으로 더 중요한 데이터를 포함하며, 확장층은 더 큰 송신 에러율을 갖기 쉬운 덜 중요한 데이터를 포함한다.
일 실시예에서, 베이스 층 비트 스트림은 표준을 따르는 것이 바람직하며, 송신 대역폭이 소정의 임계치 이하로 감소하면 확장층 비트 스트림은 누락이 허용된다. 이러한 시나리오 하에서,
1. 각각의 확장 프레임과 각각의 잠재 FRUC 프레임 사이에 1대1 관계가 있는 방식으로, 인입 프레임 시퀀스를 베이스 층 프레임과 확장층 프레임으로 분할하고,
2. 베이스 층 프레임을 표준 방식으로 인코딩하고,
3. 인코딩될 확장 프레임과 동일한 시간 인스턴스에서 FRUC 프레임을 보간하고, 및
4. 보간된 FRUC 프레임에 기초하여 확장 프레임을 인코딩하는 것이 바람직하다.
이러한 방식의 장점은 2 가지이다. 우선, 확장층 프레임에 대한 하나의 추가 예측 모드를 도입함으로써, 확장층의 압축률이 증가할 것이다. 따라서 고정된 송신 대역폭에 대해, 확장층 비트 스트림은 확장층이 누락될 송신 레이트의 임계치를 초과할 가능성이 더 적기 때문에 확장층 비트 스트림을 누락시킬 가능성이 감소한다. 그러나 둘째로, 설명된 바와 같이, 열화된 송신 상태 하에서 확장층 비트 스트림이 누락되어야 하는 경우에도, 베이스 층 및 확장층 프레임이 분할되는 방식으로 인해, 디코더는 누락된 확장층 프레임을 보간된 FRUC 프레임들로 대체함으로써 이를 재생성할 수 있다.
도1은 베이스 층(104) 및 확장층(102)을 포함하는 비디오 시퀀스(106)의 통상의 2-층 인코딩 방식을 도시한다. 비디오 시퀀스(106)의 올바른 재구성을 위한 중요성으로 인해 P 프레임(112 및 114)과 같은 I 및 P 프레임은 베이스 층(104)으로 분할되는 반면, B 프레임(110)과 같이 덜 중요한 B 프레임은 확장층(102)에 존재한다. 이러한 종래 기술의 방식에서, 확장층(102)에서 확장 프레임의 재구성은 베이스 층(104)의 재구성된 베이스 층 프레임에만 의존하며, 확장층(102)의 재구성 된 프레임에는 의존하지 않는다. 구체적으로, B 프레임들이 장래의 B 프레임을 예측하는데 사용될 수 있지만, 확장층(102)의 B 프레임들은 베이스 층(104)의 프레임의 시간적 예측을 위한 참조로서 사용되지 않는다.
도2는 인코딩 방식의 일 실시예에 따라 인코딩된 비디오 시퀀스(206)를 도시하는데, I 프레임(212)은 표준 인트라 프레임(시간적 예측을 경험하지 않는 프레임)이며, P 프레임(220)은 표준 예측 프레임이다. 도면에 도시된 바와 같이, 메인층(202)의 프레임은 보간층(204)의 사용을 통해 인코딩된다.
PF 프레임은 FRUC 보간된 프레임이 다수의 기준 픽처 중 하나로 사용되는 P 프레임이다. 예를 들어, FRUC FRM(224)는 PF FRM(216)에 대한 기준 픽처이다. 대조적으로, 표준 방식은 P 프레임에 대한 유일한 기준 픽처로서 I FRM(212)를 이용한다. 따라서, 일 실시예에서, FRUC FRM은 보간된 프레임의 메인층 디코딩을 위해 기준 픽처로서 사용된다.
BF 프레임은 다수의 기준 픽처 중 하나로서 FRUC 보간된 프레임을 갖는 B 프레임이다. 따라서, 일 실시예에서, BF 프레임들에 대한 기준 픽처는 I, B, P, PF 또는 BF 프레임들 중 하나 이상을 포함할 수 있다. 예를 들어, BF 프레임(214)은 다수의 기준 픽처 중 하나로서 FRUC 보간된 프레임(222)을 갖는 B 프레임이며, BF 프레임(218)은 다수의 기준 프레임들 중 하나로서 FRUC 보간된 프레임(226)을 갖는 B 프레임이다. 대조적으로, 비록 표준 B(양방향성) 예측 프레임이 다수의 기준 픽처를 가질지라도, 이러한 기준 픽처는 단지 I, B 또는 P 프레임을 포함한다.
참조된 바와 같이, "F 프레임"이란 용어는 FRUC 보간된 프레임이 기준 픽처 로 사용되는 예측 프레임인 프레임을 의미한다. 따라서, PF 프레임 및 BF 프레임은 모두 F 프레임이다. 일 실시예에서, 다수의 기준 픽처가 F 프레임의 예상을 위해 사용된다. 게다가, FRUC 보간된 프레임이 F 프레임의 예측을 위해 사용된 기준 픽처일 수 있다. 게다가, 설명된 구조는 FRUC 보간된 프레임으로부터 단지 특정한 매크로블록(소정 크기 또는 형상의 블록일 수 있음)을 이용하는 것과 같이, FRUC 보간된 프레임의 일부가 참조로서 사용되는 방식을 포함한다.
도3은 도2에 설명된 비트 스트림에 대한 FRUC 인코딩 프로세스의 예의 흐름도이다. 단계(302)에서, 인입 미디어(비디오) 시퀀스는 F 프레임 및 비 F 프레임으로 분할되는데, 여기서 F 프레임은 전술한 바와 같이, PF 및 BF 프레임이며, 비 F 프레임은 I, B 또는 P 프레임이다. 일 실시예에서, 각각의 F 프레임과 각각의 잠재 FRUC 프레임 사이에 1대1 관계가 있다. 다른 실시예에서, 잠재 FRUC 프레임에 대한 확장 프레임의 비는 1대1 대응을 가져야 하는 것은 아니다. 일단 비디오 시퀀스가 분할되면, 동작은 단계(304)로 계속하며, 비 F 프레임은 사용된 표준 인코딩 방식에 기초하여 인코딩된다. 예를 들어, H.264 표준에서 공표된 바와 같은 코딩 표준이 이러한 비 F 프레임에 대해 사용될 수 있다. 이어, 단계(306)에서, 장래에 인코딩될 확장 프레임의 동일한 시간 인스턴스에서 FRUC 프레임이 보간된다. 일 실시예에서, FRUC 프레임은 재구성된 현재 프레임 및 저장된 이전의 프레임에 의존할 수 있다. 다른 실시예는 전술한 다른 FRUC 알고리즘을 이용할 수도 있다. 단계(308)에서, 확장층에서 프레임은 도4에서 설명되는 바와 같이, 보간된 FRUC 프레임의 지원으로 인코딩된다. 따라서, FRUC 프레임의 이용 가능성으로 인 해, 메인층에서 예측 프레임에 대해 추가 예측 모드(FRUC 모드)가 선택될 수 있다.
도4는 일실시예에 따라 구성된 인코더 블록 다이어그램을 도시한다. 초기에, F 프레임 검출기(402)는 새로운 프레임이 F 프레임인지를 결정한다. 만일 그렇지 않다면, P 또는 B 프레임 인코더(404)는 프레임을 인코딩하고, 가변 길이 코딩(VLC) 인코더(406)는 출력 비트 스트림(404)으로 출력하기 위해 인코딩된 P 또는 B 프레임에 대한 최종 비트 스트림을 생성한다. P 또는 B 프레임에 대한 움직임 벡터가 움직임 벡터 버퍼(408)에 저장되는 한편, 재구성된 프레임 버퍼(410)는 재구성된 P 또는 B 프레임을 저장한다. FRUC 유닛(412)은 FRUC 알고리즘을 실행하고, FRUC 프레임 버퍼(414)에 저장되는 FRUC 프레임을 생성하기 위해, MV 버퍼(408) 및 재구성된 프레임 버퍼(410)에 결합된다. 전술한 바와 같이, FRUC 프레임은 다양한 F(예를 들어, BF 또는 PF) 프레임을 생성하기 위해 사용된다.
만일 F 프레임 검출기(402)가 새로운 프레임이 F 프레임이라고 결정하면, F 프레임 인코딩 유닛(428)은 새로운 F 프레임의 매크로블록 인코딩에 의해 매크로블록을 실행한다. 인코딩된 F 프레임 매크로블록은 움직임 벡터를 송신하는데 필요한 비트를 포함하는 B 프레임에 대해 송신될 필요가 있는 비트의 수를 결정하는 블록(434)으로 전송된다. 이어 B 프레임 매크로블록 RD_cost는 B-블록 RD_cost 계산기(436)에서 계산된다. 더욱이, B 프레임 인코딩에 기반하여, 비교기(430)는 FRUC 프레임 버퍼(414)로부터의 FRUC에 기반한 F 프레임 매크로블록의 차의 절대값의 합(SAD_f)과 대응하는 B 프레임 매크로블록으로부터의 차의 절대값의 합(SAD_b) 사이의 감산 결과 (SAD_b - SAD_f)를 미리 결정된 임계치(TH)와 비교한다. 만일 감산 의 결과가 임계치보다 크거나 같다면, 품질 감소는 너무 클 것이며, 결국 인코더는 인코더 지원 FRUC 프레임 정보를 전송할 필요가 있다. 일 실시예에서, 임계치는 사용되는 블록 크기(예를 들어, 16×16 블록 크기)의 6배이다. 비록 통상적으로 16×16 픽셀 엘리먼트의 표준 블록 크기로 적용되는 "매크로블록"이라는 용어가 사용되지만, 소정의 블록 크기가 사용될 수도 있음을 알아야 한다. 게다가, 블록은 소정의 형태일 수도 있다.
만일 B 프레임 매크로블록의 SAD와 F 프레임 매크로블록의 SAD 사이의 차가 임계치 이하인 경우, 인코더는 F 프레임 매크로블록이 모듈(432)에 사용되어야 하고, F 모드를 나타내기 위한 비트가 출력 비스 스트림(440)으로 배치될 것을 나타낼 것이다. 그렇지 않다면, 소스(근원) 매크로블록 및 콜로케이트된 FRUC 프레임 블록의 나머지가 모듈(416)에서 계산되며, 그 결과는 이산 코사인 변환(DCT)/양자화/VLC 모듈(418)에서 양자화된다. FRUC 프레임 정보를 송신하기 위해 필요한 FRUC 프레임 블록 비트의 수는 F 블록 비트 모듈(420)에서 결정되고, 상기 계산에 기초하여, F-블록 RD_cost 모듈(422)에서 FRUC 프레임 매크로블록 RD_cost가 결정된다. RD_cost 계산은 도5와 관련하여 설명된다.
계산된 B 프레임 매크로블록 RD_cost 및 F 프레임 매크로블록 RD_cost에 기초하여, 비교기 모듈(424)은 어떤 비트를 출력 비트 스트림(440)에 배치할지를 결정한다. 일 실시예에서, 만일 B 프레임 매크로블록 RD_cost가 F 프레임 매크로블록 RD_cost 이하이면, 생성된 움직임 벡터를 포함하는 B 프레임 매크로블록에 대한 비트가 출력 비트 스트림(440)에 배치될 것이다. 그렇지 않으며, F 프레임 매크로 블록에 대한 비트가 출력 비트 스트림(440)에 배치될 것이다.
도5는 확장층에서 프레임을 인코딩하는 동안, 확장층 B 프레임 매크로블록의 모드 선택 프로세스에 대한 일 실시예에 따라 구현된 알고리즘을 설명한다. 단계(502)에서, B 프레임 매크로블록에 대해 순방향 및 역방향 움직임 벡터가 획득된다. 일 실시예에서, 통상의 양방향 움직임 추정을 실행함으로써 벡터가 획득된다. 따라서 FRUC 프레임으로부터의 어떠한 정보도 사용되지 않는다. 이어, 단계(504)에서, B 프레임 매크로블록에 대한 최상의 모드가 결정된다. 일 실시예에서, 최상의 모드는 세 모드, 즉 순방향 예측 모드, 역방향 예측 모드 및 쌍일차 예측 모드 중 하나로부터 선택된다. 더욱이, 최상 모드의 선택은 FRUC 프레임의 관련 없이 실행된다.
단계(506)에서, 선택된 최상의 모드에 기초한 B 프레임 매크로블록과 소스 프레임(즉, 장래에 인코딩될 소스 프레임)으로부터의 원본 매크로블록 사이에 에러 나머지(error residue)가 획득된다. 이어 단계(508)에서 원본 매크로블록과 FRUC 프레임 매크로블록 사이의 에러 나머지 정보가 획득된다. 일 실시예에서, B 프레임 매크로블록과 FRUC 프레임 매크로블록에 대한 에러 나머지는 B 프레임 매크로블록 또는 FRUC 프레임 매크로블록으로부터 각각 원본 매크로블록을 감산함으로써 계산된다. 게다가, 레이트 왜곡 코스트(RD_cost)로 불리는 변수가 B 프레임 매크로블록(B_RD_cost) 및 FRUC 프레임 매크로블록(FRUC_RD_cost)에 대해 다음과 같이 계산된다.
RD_cost = Distortion＋Lambda*Rate
일 실시예에서, Rate는 소정의 블록(소정 블록은 각각의 매크로블록의 에러 나머지를 이용함)을 인코딩하는데 사용되는 전체 비트이며, Distortion은 왜곡 메트릭이며, Lambda는 매크로블록의 양자화에 의존하는 미리 정의된 가중 팩터이다. 일 실시예에서, Distortion은 차의 절대값의 합에 의해 결정된다. 다른 실시예에서, 차의 왜곡 메트릭이 사용될 수도 있다. 더욱이, 일 실시예에서, Lambda는 양자화 파라미터에 의존하여 경험적으로 유도된다.
전술한 바와 같이, FRUC 프레임 또는 B 프레임 모드 중 어떤 것이 선택될지는 차의 절대값의 합(SAD)에 기초하는데, 이는 왜곡의 효율적인 측정치이며, 나머지를 인코딩하는데 요구되는 비트의 수이다. 이러한 두 값들은 합산되고, 하나는 람다(lambda)에 의해 가중되고, "최상" 모드가 결과를 최소화하는 것에 기초하여 결정된다. 왜곡 및 비트 레이트의 합이 사용되는 이유는 인코더가 이미지 품질과 비트 레이트 사이에서 트레이드 오프할 수 있기 때문이다. 따라서, 예를 들어, 앞서와 같이 동일한 양자화 파라미터가 사용될 경우, 인코더가 매우 많은 왜곡으로부터 어려움을 겪을 매우 복잡한 매크로블록을 경험하게 되면, 인코더는 더 많은 비트를 인코딩할 필요가 있더라도, 왜곡에서의 트레이드 오프를 가능하게 하기 위해 양자화 값을 낮출 수 있을 것이다.
일단 에러 나머지 및 그에 따른 B_RD_cost(B 프레임 매크로블록의 RD_cost), 에러 나머지 및 그에 따른 FRUC_RD_cost(FRUC 프레임 매크로블록의 RD_cost)가 결정되면, 단계(510)는 코스트들을 비교하고 FRUC_RD_cost가 B_RD_cost보다 작은지를 결정한다. 더 작다면, 단계(512)에서 FRUC 모드가 선택된다. 그렇지 않으면, 단 계(504)에서 결정된 바와 같이, 단계(514)에서 최상의 모드가 선택된다.
도6은 일 실시예의 인코딩 방식에 따라 인코딩된 비디오 시퀀스(606)을 도시하는데, 미디어 데이터를 베이스 층(604) 및 확장층(602)을 포함하는 두 층으로 분할하는 층 결정 블록(608)을 포함한다. P 프레임(612 및 614)과 같은 I 및 P 프레임들은 비디오 시퀀스(606)의 올바른 재구성을 위한 이들의 중요성으로 인해 베이스 층(604)으로 분할되는 반면, B 프레임(610)과 같은 덜 중요한 B 프레임들은 확장층(602)에 남는다. 도면에 도시된 바와 같이, FRUC 프레임(616)은 베이스 층(604)에 또한 존재할 수도 있다.
도7은 전술한 바와 같이, 일 실시예에 따른 FRUC 인코딩 프로세스의 흐름도이다. 단계(702)에서, 인입 미디어(비디오) 시퀀스가 베이스 층 프레임들과 확장층 프레임들로 분할된다. 일 실시예에서, 각각의 확장 프레임 및 각각의 잠재 FRUC 프레임 사이에 1대1 관계가 있다. 다른 실시예에서, 잠재 FRUC 프레임에 대한 확장 프레임의 비는 1대1 대응을 가져야 하는 것은 아니다. 일단 비디오 시퀀스가 분할되면, 연산은 단계(704)로 진행하는데, 여기서 베이스 층의 프레임들은 사용된 표준 인코딩 방식을 기초로 인코딩된다. 예를 들어, H.264 표준으로 공표된 코딩 표준이 사용될 수도 있다. 이어, 단계(706)에서, 장래에 인코딩될 확장 프레임과 동일한 시간 인스턴스에서 FRUC 프레임이 보간된다. 일 실시예에서, FRUC 프레임은 재구성된 현재 프레임 및 저장된 이전의 프레임에 의존할 수도 있다. 다른 실시예는 전술한 다른 FRUC 알고리즘을 사용할 수도 있다. 단계(708)에서, 확장층의 프레임은 보간된 FRUC 프레임의 도움으로 인코딩된다.
언급된 모듈 및 프로세싱 블록은 다양한 하드웨어/소프트웨어 구현으로 실행될 수 있음을 알아야 한다. 따라서, 기술 분야의 당업자는 예를 들어, 동일한 프로세서가 SAD 계산은 물론 FRUC 연산도 실행할 수 있음을 이해할 것이다. 더욱이, 디지털 신호 프로세서(DSP) 또는 다른 특성화된 프로세서가 설명된 기능을 실행하기 위해 범용 프로세서와 함께 사용될 수도 있다. 특정 기능 또는 기능들을 실행하는 모듈 또는 유닛에 대한 참조는 상기 기능 또는 기능들을 실행하기 위한 특정 회로를 포함하는 것에 제한되지 않으며, 게다가 상기 기능 또는 기능들을 실행하기 위해 구성된 프로세서를 포함할 수도 있다.
본 발명은 전술한 모드 선택 방법에 기초하기 때문에, 시각적 품질에서 어떠한 저하도 없이 송신된 비트 스트림을 절약할 수 있다. 예를 들어, 동일 품질 레벨에서 표준(H.26X/MPEG-X) 비트 스트림 구문의 증가로 인한 비트-레이트/대역폭 감소가 존재한다. 이는 확장 비트 스트림을 누락시킬 가능성을 감소시킬 것이며, 결국 재구성된 비디오 품질을 향상시킨다. 일 실시예에서, 확장층을 인코딩하는데 있어서, 움직임 벡터 정보는, 상기 정보가 단일 보간 기능을 통해 디코더에서 복구/계산될 수 있기 때문에 송신될 필요가 없다. 따라서, 최대한의 비트 레이트 절약이 실현될 수 있다.
게다가, 계산의 규모 가변성은 수신자의 하드웨어 자원의 최적 사용에 기초한 적절한 FRUC 알고리즘의 적합한 선택에 의해 달성될 수 있다. 예를 들어, 디코더가 내장형 움직임 추정 가속기를 갖는 경우, MV 프로세싱 FRUC 프로세싱 알고리즘을 갖는 시딩된 ME 지원 MCI가 선택될 수 있다. FRUC 특징을 이용함으로써, 비 디오가 베이스 층 비트 스트림이 수신될 때에만 FRUC 프레임이 삽입되는 전체 프레임 레이트를 재생하게 됨에 따라 더 양호한 시간적 규모 가변성이 달성될 수도 있다. 또한, 디코더에서의 전력 절약이 특히 휴대용 기기에서 달성될 수 있는데, 여기서 비디오 스트림의 FRUC 지원 재구성은 완전한 B 프레임의 재구성에 비해 더 적은 사이클을 필요로 한다.
IBP 픽처 그룹(GOP) 구조가 사용될 때, B 프레임이 전체 비트 레이트의 30%까지 점유할 것으로 예상된다. 따라서, 본 발명은 B 프레임들을 송신하는데 할당된 데이터를 감소시킴으로써 전체 비트 레이트를 감소시킬 수 있다. 예를 들어, IBP GOP 구조의 경우, 베이스 층 및 확장층이 합쳐지는(put together) 경우, 비트 레이트는 15%까지 감소할 수 있다. 이러한 비율은 IBBP GOP 또는 IBBBP GOP 구조와 같이 더 많은 B 프레임들을 사용할 경우 증가한다. I와 P 사이의 B 프레임들의 수가 증가함에 따라 비율도 증가한다.
도8은 무선 시스템에서 액세스 터미널(802x) 및 액세스 포인트(804x)의 블록도이다. 논의된 바와 같이, "액세스 터미널"은 사용자에게 음성 및/또는 데이터 접속을 제공하는 장치를 의미한다. 액세스 터미널은 랩탑 컴퓨터 또는 데스크탑 컴퓨터와 같은 컴퓨터 장치에 접속될 수 있거나, 개인용 디지털 보조기와 같은 독립 장치일 수도 있다. 액세스 터미널은 가입자 유닛, 이동국, 모바일, 원격국, 원격 터미널, 사용자 터미널, 사용자 에이전트, 또는 사용자 설비로 지칭될 수 있다. 이러한 액세스 터미널은 가입자국, 무선 장치, 셀룰러 전화, PCS 전화, 무선 전화, 세션 개시 프로토콜(SIP) 전화, 무선 가입자 회선(WLL)국, 개인용 디지털 보조 기(PDA), 무선 접속 성능을 갖는 휴대용 장치, 또는 무선 모뎀에 연결된 다른 프로세싱 장치일 수 있다. 설명된 바와 같이, "액세스 포인트"는 액세스 터미널을 갖는 하나 이상의 섹터를 통해, 무선 인터페이스로 통신하는 액세스 네트워크의 장치를 의미한다. 액세스 포인트는 수신된 무선 인터페이스 프레임을 IP 패킷으로 변환함으로써, 액세스 터미널과 IP 네트워크를 포함할 수도 있는 나머지 액세스 네트워크 사이의 라우터로서 작용한다. 액세스 포인트는 또한 무선 인터페이스에 대한 속성의 관리를 조절한다.
역방향 링크의 경우, 액세스 터미널(802x)에서, 송신(TX) 데이터 프로세서(814)는 데이터 버퍼(812)로부터 트래픽 데이터를 수신하고, 선택된 코딩 및 변조 방식에 기초하여 각각의 데이터 패킷을 프로세싱(예를 들어, 인코딩, 인터리빙 및 심볼 맵핑)하고 데이터 심볼을 제공한다. 데이터 심볼은 데이터에 대한 변조 심볼이며, 파일럿 심볼은 파일럿에 대한 변조 심볼(이는 선험적임)이다. 변조기(816)는 데이터 심볼, 파일럿 심볼, 및 가능하게는 역방향 링크에 대한 시그널링을 수신하고, (예를 들어, OFDM) 변조 및/또는 시스템에 의해 특정된 다른 프로세싱을 실행하고, 및 출력 칩의 스트림을 제공한다. 송신기 유닛(TMTR)(818)은 출력 칩 스트림을 프로세싱(예를 들어, 아날로그로 변환, 필터링, 증폭 및 주파수 변환)하고, 안테나(820)로부터 송신되는 변조된 신호를 생성한다.
액세스 포인트(804x)에서, 액세스 터미널(802x) 및 액세스 포인트(804x)와 통신하는 다른 터미널에 의해 송신된 변조된 신호들은 안테나(852)에 의해 수신된다. 수신기 유닛(RCVR)(854)은 안테나(852)로부터 수신된 신호를 프로세싱(예를 들어, 조절 및 디지털화)하고 수신된 샘플들을 제공한다. 복조기(Demod)(856)는 수신된 샘플들을 프로세싱(예를 들어, 변조 및 검출)하고, 검출된 데이터 심볼들을 제공하는데, 이들은 터미널에 의해 액세스 포인트(804x)로 송신된 데이터 심볼의 잡음 추정치이다. 수신(RX) 데이터 프로세서(858)는 각각의 터미널에 대해 검출된 데이터 심볼들을 프로세싱(예를 들어, 심볼 디맵핑, 디인터리빙, 및 디코딩)하고, 터미널에 대한 검출된 데이터를 제공한다.
순방향 링크의 경우, 액세스 포인트(804x)에서, 트래픽 데이터는 데이터 심볼들을 생성하기 위해 TX 데이터 프로세서(860)에 의해 프로세싱된다. 변조기(862)는 데이터 심볼, 파일럿 심볼, 및 순방향 링크에 대한 시그널링을 수신하며, (예를 들어, OFDM) 변조 및/또는 다른 적절한 프로세싱을 실행하며, 출력 칩 스트림을 제공하는데, 출력 칩 스트림은 송신기 유닛(864)에 의해 추가로 조절되고 안테나(852)로부터 송신된다. 순방향 링크 시그널링은 역방향 링크 상에서 액세스 포인트(804x)로 송신하는 모든 터미널에 대해 제어기(870)에 의해 생성된 전력 제어 명령을 포함할 수도 있다. 액세스 터미널(802x)에서, 액세스 포인트(804x)에 의해 송신된 변조된 신호가 안테나(820)에 의해 수신되고, 수신기 유닛에 의해 조절 및 디지털화되며, 검출된 데이터 심볼을 획득하기 위해 복조기(824)에 의해 프로세싱된다. RX 데이터 프로세서(826)는 검출된 데이터 심볼을 프로세싱하고, 터미널 및 순방향 링크 시그널링에 대해 디코딩된 데이터를 제공한다. 제어기(830)는 전력 제어 명령을 수신하고, 데이터 송신을 제어하며, 역방향 링크 상에서 액세스 포인트(804x)로 전력을 송신한다. 제어기(830 및 870)는 각각 액세스 터미 널(802x) 및 액세스 포인트(804x)의 연산을 조정한다. 메모리 유닛(832 및 872)은 각각 제어기(830 및 870)에 의해 사용된 프로그램 코드 및 데이터를 저장한다.
개시된 실시예는 이하의 기술, 즉 코드 분할 다중 액세스(CDMA) 시스템, 다중 캐리어 CDMA(MC-CDMA), 광대역 CDMA(W-CDMA), 고속 다운링크 패킷 액세스(HSDPA), 시분할 다중 액세스(TDMA) 시스템, 주파수 분할 다중 액세스(FDMA) 시스템, 및 직교 주파수 분할 다중 액세스(OFDMA) 시스템 중 하나 또는 조합에 적용될 수 있다.
설명된 방법은 기술 분야의 당업자에 의해 공지된 다양한 통신 하드웨어, 프로세서 및 시스템상에서 구현될 수 있다. 예를 들어, 설명된 바와 같은 동작을 위해 클라이언트에 대해 통상적으로 요구되는 것은 클라이언트가 콘텐츠 및 정보를 디스플레이하기 위한 디스플레이, 클라이언트의 연산을 제어하기 위한 프로세서, 및 클라이언트의 연산과 관련한 데이터 및 프로그램을 저장하기 위한 메모리를 갖는다는 것이다. 일 실시예에서, 클라이언트는 셀룰러 폰이다. 다른 실시예에서, 클라이언트는 통신 설비를 갖는 휴대용 컴퓨터이다. 또 다른 실시예에서, 클라이언트는 통신 설비를 갖는 개인용 컴퓨터이다. 게다가, GPS 수신기와 같은 하드웨어는 다양한 실시예를 구현하기 위해 클라이언트에 필요할 때 통합될 수 있다. 개시된 실시예와 관련하여 다양하게 설명된 로직, 로직 블록, 모듈, 및 회로는 범용 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드 프로그램 가능한 게이트 어레이(FPGA), 또는 다른 프로그램 가능한 로직 장치, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트, 또는 설명된 기능을 실행하도록 설 계된 이들의 조합으로 구현될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 택일적으로, 프로세서는 소정의 통상의 프로세서, 제어기, 마이크로제어기, 도는 상태 기계일 수도 있다. 프로세서는 계산 장치, 예를 들어, DSP 및 마이크로프로세서의 조합, 다수의 마이크로프로세서, DSP 코어와 관련한 하나 이상의 마이크로프로세서, 또는 소정의 다른 구성으로 구현될 수도 있다.
개시된 실시예는 이하의 기술, 즉 코드 분할 다중 액세스(CDMA) 시스템, 다중 캐리어 CDMA(MC-CDMA), 광대역 CDMA(W-CDMA), 고속 다운링크 패킷 액세스(HSDPA), 시분할 다중 액세스(TDMA) 시스템, 주파수 분할 다중 액세스(FDMA) 시스템, 및 직교 주파수 분할 다중 액세스(OFDMA) 시스템 중 하나 또는 조합에 적용될 수도 있다.
설명된 방법은 기술 분야의 당업자 중 하나에 의해 알려진 다양한 통신 하드웨어, 프로세서 및 시스템상에서 구현될 수도 있다. 예를 들어, 설명된 바와 같은 동작을 위해 클라이언트에 대해 통상적으로 요구되는 것은 클라이언트가 콘텐츠 및 정보를 디스플레이하기 위한 디스플레이, 클라이언트의 연산을 제어하기 위한 프로세서, 및 클라이언트의 연산과 관련한 데이터 및 프로그램을 저장하기 위한 메모리를 갖는다는 것이다. 일 실시예에서, 클라이언트는 셀룰러 폰이다. 다른 실시예에서, 클라이언트는 통신 설비를 갖는 휴대용 컴퓨터이다. 또 다른 실시예에서, 클라이언트는 통신 설비를 갖는 개인용 컴퓨터이다.
개시된 실시예와 관련하여 다양하게 설명된 로직, 로직 블록, 모듈, 및 회로는 범용 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드 프 로그램 가능한 게이트 어레이(FPGA), 또는 다른 프로그램 가능한 로직 장치, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트, 또는 설명된 기능을 실행하도록 설계된 이들의 조합으로 구현될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 택일적으로, 프로세서는 소정의 통상의 프로세서, 제어기, 마이크로제어기, 도는 상태 기계일 수도 있다. 프로세서는 계산 장치, 예를 들어, DSP 및 마이크로프로세서의 조합, 다수의 마이크로프로세서, DSP 코어와 관련한 하나 이상의 마이크로프로세서, 또는 소정의 다른 구성으로 구현될 수도 있다.
개시된 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계는 하드웨어, 프로세서에 의해 실행된 소프트웨어 모듈, 또는 이 둘의 조합으로 직접 실행될 수도 있다. 소프트웨어 모듈은 기술 분야에서 알려진, RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드디스크, 이동식 디스크, CD-ROM, 또는 소정의 다른 형태의 저장 매체에 상주할 수도 있다. 예로든 저장 매체는 프로세서에 결합되어, 프로세서가 저장 매체 사이에서 정보를 판독 및 기록할 수 있게 한다. 택일적으로, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서 및 저장 매체는 ASIC로 존재할 수도 있다. ASIC는 사용자 터미널에 존재할 수도 있다. 택일적으로, 프로세서 및 저장 매체는 사용자 터미널에서 개별 컴포넌트로서 존재할 수도 있다.
개시된 실시예의 설명은 기술분야의 당업자가 본 발명을 실시 및 이용하게 하기 위해 제공된다. 이러한 실시예에 대한 다양한 변형이 기술 분야의 당업자에게 명백하며, 한정된 일반 원리는 본 실시예의 사상을 벗어나지 않고, 예를 들어, 즉각 메시지 서비스 또는 소정의 일반적인 무선 데이터 통신 애플리케이션과 같은 다른 실시예에 적용할 수 있다. 따라서, 본 발명의 사상은 실시예에 한정되지 않으며, 설명된 원리 및 새로운 특징과 양립하는 광의의 개념과 조화된다. 예라는 용어는 예증, 실례 또는 실시예라는 의미로 사용된다. 설명된 소정의 실시예는 단지 예이며 다른 실시예에 비해 반드시 유리하게 구성된 것만을 아니다.
도1은 베이스 층 및 확장층을 갖는 통상의 2-층 인코딩을 설명하는 다이어그램이다.
도2는 일 실시예에 따라 구성된 인코딩 방식을 설명하는 다이어그램으로, 메인층은 FRUC 프레임의 지원으로 인코딩된다.
도3은 일 실시예에 따른 FRUC 프레임의 지원으로 베이스 층을 인코딩하는 방법의 흐름도이다.
도4는 일 실시예에 따라 구성된 인코딩 시스템의 블록도이다.
도5는 일 실시예에 따른 인코딩을 위한 모드 선택 방법의 흐름도이다.
도6은 일 실시예에 따라 구성된 2-층 인코딩 방식을 설명하는 블록도로서, 확장층이 FRUC 프레임의 지원으로 인코딩된다.
도7은 일 실시예에 따른 FRUC 프레임의 지원으로 확장층을 인코딩하고, 미디어 데이터를 두 층으로 분할하는 방법의 흐름도이다.
도8은 액세스 터미널 및 무선 시스템의 액세스 포인트의 블록도이다.

Claims (23)

  1. 비디오 스트림을 인코딩하는 방법으로서,
    상기 비디오 스트림을 다수의 메인층 프레임들을 갖는 메인층, 및 다수의 보간층(interpolated layer) 프레임들을 갖는 보간층으로 분할하는 단계 - 여기서, 상기 다수의 메인층 프레임들은 F-프레임들 및 비-F 프레임들을 포함함 -;
    프레임 레이트 업 변환(FRUC) 프레임을 보간하는 단계; 및
    상기 보간된 FRUC 프레임의 지원으로 상기 메인층의 F-프레임들을 인코딩하고, 상기 보간된 FRUC 프레임의 지원없이 상기 메인층의 비-F 프레임들을 인코딩하는 단계를 포함하는, 비디오 스트림 인코딩 방법.
  2. 제1항에 있어서,
    각각의 F-프레임과 각각의 잠재 FRUC 프레임 사이에 1대1 관계가 존재하는 것을 특징으로 하는 비디오 스트림 인코딩 방법.
  3. 제1항에 있어서,
    상기 FRUC 프레임은 재구성된 현재 프레임 및 저장된 이전의 프레임에 의존하는 것을 특징으로 하는 비디오 스트림 인코딩 방법.
  4. 제1항에 있어서,
    상기 FRUC 프레임을 보간하는 단계는 인코딩될 F-프레임의 동일 시간 인스턴스에서 상기 FRUC 프레임을 보간하는 단계를 포함하는 것을 특징으로 하는 비디오 스트림 인코딩 방법.
  5. 제1항에 있어서,
    상기 보간된 FRUC 프레임의 지원으로 상기 메인층의 F-프레임들을 인코딩하는 단계는 상기 다수의 보간층 프레임들에서 하나의 보간층 프레임의 매크로블록의 모드 선택 프로세스를 실행하는 단계를 포함하는 것을 특징으로 하는 비디오 스트림 인코딩 방법.
  6. 프로세서에 의해 실행될 때, 상기 프로세서가 비디오 스트림을 인코딩하는 방법을 수행하게 하는 명령들이 저장된 컴퓨터 판독 가능 매체로서, 상기 방법은,
    상기 비디오 스트림을 다수의 메인층 프레임들을 갖는 메인층, 및 다수의 보간층 프레임들을 갖는 보간층으로 분할하는 단계- 여기서, 상기 다수의 메인층 프레임들은 F-프레임들 및 비-F 프레임들을 포함함 -;
    프레임 레이트 업 변환(FRUC) 프레임을 보간하는 단계; 및
    상기 보간된 FRUC 프레임의 지원으로 상기 메인층의 F-프레임들을 인코딩하고, 상기 보간된 FRUC 프레임의 지원없이 상기 메인층의 비-F 프레임들을 인코딩하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
  7. 제6항에 있어서,
    각각의 F-프레임과 각각의 잠재 FRUC 프레임 사이에 1대1 관계가 존재하는 것을 특징으로 하는 컴퓨터 판독 가능 매체.
  8. 제6항에 있어서,
    상기 FRUC 프레임은 재구성된 현재 프레임 및 저장된 이전의 프레임에 의존하는 것을 특징으로 하는 컴퓨터 판독 가능 매체.
  9. 제6항에 있어서,
    상기 FRUC 프레임을 보간하는 단계는 인코딩될 F-프레임의 동일 시간 인스턴스에서 상기 FRUC 프레임을 보간하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능 매체.
  10. 제6항에 있어서,
    상기 보간된 FRUC 프레임의 지원으로 상기 메인층의 F-프레임들을 인코딩하는 단계는 상기 다수의 보간층 프레임들에서 하나의 보간층 프레임의 매크로블록의 모드 선택 프로세스를 실행하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능 매체.
  11. 비디오 스트림을 인코딩하는 장치로서,
    상기 비디오 스트림을 다수의 메인층 프레임들을 갖는 메인층, 및 다수의 보간층 프레임들을 갖는 보간층으로 분할하는 수단- 여기서, 상기 다수의 메인층 프레임들은 F-프레임들 및 비-F 프레임들을 포함함 -;
    프레임 레이트 업 변환(FRUC) 프레임을 보간하는 수단; 및
    상기 보간된 FRUC 프레임의 지원으로 상기 메인층의 F-프레임들을 인코딩하고, 상기 보간된 FRUC 프레임의 지원없이 상기 메인층의 비-F 프레임들을 인코딩하는 수단을 포함하는, 비디오 스트림 인코딩 장치.
  12. 제11항에 있어서,
    각각의 F-프레임과 각각의 잠재 FRUC 프레임 사이에 1대1 관계가 존재하는 것을 특징으로 하는 비디오 스트림 인코딩 장치.
  13. 제11항에 있어서,
    상기 FRUC 프레임은 재구성된 현재 프레임 및 저장된 이전의 프레임에 의존하는 것을 특징으로 하는 비디오 스트림 인코딩 장치.
  14. 제11항에 있어서,
    상기 FRUC 프레임을 보간하는 수단은 인코딩될 F-프레임의 동일 시간 인스턴스에서 상기 FRUC 프레임을 보간하는 수단을 포함하는 것을 특징으로 하는 비디오 스트림 인코딩 장치.
  15. 제11항에 있어서,
    상기 보간된 FRUC 프레임의 지원으로 상기 메인층의 F-프레임들을 인코딩하는 수단은 상기 다수의 보간층 프레임들에서 하나의 보간층 프레임의 매크로블록의 모드 선택 프로세스를 실행하는 수단을 포함하는 것을 특징으로 하는 비디오 스트림 인코딩 장치.
  16. 비디오 스트림을 수신하는 비디오 인코더 프로세서로서,
    수신된 비디오 스트림으로부터 다수의 프레임 레이트 업 변환(FRUC) 프레임들을 생성하는 FRUC 모듈;
    상기 FRUC 모듈에 연결되어, 다수의 FRUC 프레임들을 수신하고, 상기 다수의 FRUC 프레임들 중 하나의 매크로블록에 기초하여 F 프레임 매크로블록 레이트 왜곡 코스트(RD_cost)를 계산하는 RD_cost 계산 모듈; 및
    상기 RD_cost 계산 모듈에 연결되어, 상기 다수의 FRUC 프레임들 중 하나의 매크로블록에 기초한 F 프레임 매크로블록 RD_cost를 상응하는 B 프레임의 상응하는 매크로블록에 대한 B 프레임 매크로블록 RD_cost와 비교하도록 구성되는 모드 결정 모듈을 포함하는, 비디오 인코더 프로세서.
  17. 제16항에 있어서,
    상기 모드 결정 모듈은 상기 다수의 FRUC 프레임들 중 하나의 매크로블록에 기초한 F 프레임 매크로블록 RD_cost가 상기 상응하는 B 프레임의 상기 상응하는 매크로블록에 대한 B 프레임 매크로블록 RD_cost보다 낮을 때, 출력 비디오 스트림에 대한 F 프레임 인코딩 모드를 선택하도록 구성되는 것을 특징으로 하는 비디오 인코더 프로세서.
  18. 제16항에 있어서,
    B 프레임 인코더를 더 포함하며,
    상기 B 프레임 인코더는 상기 대응하는 B 프레임을 생성하는 것을 특징으로 하는 비디오 인코더 프로세서.
  19. 제16항에 있어서,
    상기 FRUC 모듈에 연결되어, 상기 다수의 FRUC 프레임들 중 하나의 매크로블록에 기초한 차의 절대값의 합(SAD) 값, 및 상기 상응하는 B 프레임의 상응하는 매크로블록에 대한 SAD 값을 계산하도록 구성되는 SAD 계산 모듈을 더 포함하는 것을 특징으로 하는 비디오 인코더 프로세서.
  20. 제19항에 있어서,
    상기 SAD 계산 모듈은 상기 다수의 FRUC 프레임들 중 하나의 상기 매크로블록에 기초한 SAD 값과, 상기 상응하는 B 프레임의 상응하는 매크로블록에 대한 SAD 값의 차를 계산하고, 상기 차를 미리 결정된 임계치와 비교하도록 구성되며,
    상기 차가 상기 미리 결정된 임계치보다 작다면, 상기 SAD 계산 모듈은 F 프레임 모드를 나타내기 위한 단일 비트를 생성하는 것을 특징으로 하는 비디오 인코더 프로세서.
  21. 비디오 스트림을 인코딩하는 방법으로서,
    수신된 비디오 스트림으로부터 다수의 프레임 레이트 업 변환(FRUC) 프레임들을 생성하는 단계;
    상기 다수의 FRUC 프레임들 중 하나의 매크로블록에 기초하여 F 프레임 매크로블록 RD_cost를 계산하는 단계;
    상기 계산된 F 프레임 매크로블록 RD_cost를 상응하는 B 프레임의 상응하는 매크로블록에 대한 B 프레임 매크로블록 RD_cost와 비교하는 단계; 및
    상기 비교의 결과에 기초하여 인코딩 방식을 선택하는 단계를 포함하는, 비디오 스트림 인코딩 방법.
  22. 비디오 스트림을 인코딩하는 장치로서,
    수신된 비디오 스트림으로부터 다수의 프레임 레이트 업 변환(FRUC) 프레임들을 생성하는 수단;
    상기 다수의 FRUC 프레임들 중 하나의 매크로블록에 기초하여 F 프레임 매크로블록 RD_cost를 계산하는 수단;
    상기 계산된 F 프레임 매크로블록 RD_cost를 상응하는 B 프레임의 상응하는 매크로블록에 대한 B 프레임 매크로블록 RD_cost와 비교하는 수단; 및
    상기 비교의 결과에 기초하여 인코딩 방식을 선택하는 수단을 포함하는, 비디오 스트림 인코딩 장치.
  23. 프로세서에 의해 실행될 때, 상기 프로세서가 비디오 스트림을 인코딩하는 방법을 수행하게 하는 명령들이 저장된 컴퓨터 판독 가능 매체로서, 상기 방법은,
    수신된 비디오 스트림으로부터 다수의 프레임 레이트 업 변환(FRUC) 프레임들을 생성하는 단계;
    상기 다수의 FRUC 프레임들 중 하나의 매크로블록에 기초하여 F 프레임 매크로블록 RD_cost를 계산하는 단계;
    상기 계산된 F 프레임 매크로블록 RD_cost를 상응하는 B 프레임의 상응하는 매크로블록에 대한 B 프레임 매크로블록 RD_cost와 비교하는 단계; 및
    상기 비교의 결과에 기초하여 인코딩 방식을 선택하는 단계를 포함하는, 컴퓨터 판독 가능 매체.
KR1020087027670A 2004-07-01 2005-07-01 규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을 이용하는 방법 및 장치 KR100913260B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US58515404P 2004-07-01 2004-07-01
US60/585,154 2004-07-01
US66581605P 2005-03-22 2005-03-22
US60/665,816 2005-03-22

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020077002477A Division KR20070053212A (ko) 2004-07-01 2005-07-01 규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을이용하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080112369A true KR20080112369A (ko) 2008-12-24
KR100913260B1 KR100913260B1 (ko) 2009-08-21

Family

ID=35116155

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020077002477A KR20070053212A (ko) 2004-07-01 2005-07-01 규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을이용하는 방법 및 장치
KR1020087027670A KR100913260B1 (ko) 2004-07-01 2005-07-01 규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을 이용하는 방법 및 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020077002477A KR20070053212A (ko) 2004-07-01 2005-07-01 규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을이용하는 방법 및 장치

Country Status (15)

Country Link
US (1) US8948262B2 (ko)
EP (1) EP1774779A2 (ko)
JP (2) JP5038134B2 (ko)
KR (2) KR20070053212A (ko)
CN (1) CN101010964B (ko)
AR (1) AR049454A1 (ko)
AU (1) AU2005262409A1 (ko)
BR (1) BRPI0512816A (ko)
CA (1) CA2572605C (ko)
IL (1) IL180444A0 (ko)
MX (1) MX2007000254A (ko)
PE (1) PE20060536A1 (ko)
RU (1) RU2370909C2 (ko)
TW (1) TWI392374B (ko)
WO (1) WO2006007527A2 (ko)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200607355A (en) * 2004-05-04 2006-02-16 Qualcomm Inc Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video
TWI392374B (zh) 2004-07-01 2013-04-01 Qualcomm Inc 於可調節視訊編碼中用以使用框率上升轉換技術之方法與裝置
CN101189882B (zh) 2004-07-20 2012-08-01 高通股份有限公司 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置
US8553776B2 (en) 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
US9258519B2 (en) * 2005-09-27 2016-02-09 Qualcomm Incorporated Encoder assisted frame rate up conversion using various motion models
US20070076796A1 (en) * 2005-09-27 2007-04-05 Fang Shi Frame interpolation using more accurate motion information
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US8750387B2 (en) 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8634463B2 (en) 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
US8582660B2 (en) 2006-04-13 2013-11-12 Qualcomm Incorporated Selective video frame rate upconversion
US8565216B2 (en) * 2006-06-07 2013-10-22 Qualcomm Incorporated Methods and apparatus for supporting tunneling related to wireless uplink signaling flows
JP2009540694A (ja) * 2006-06-07 2009-11-19 クゥアルコム・インコーポレイテッド 制御値を使用して通信処理を制御する方法および装置
US8565217B2 (en) * 2006-06-07 2013-10-22 Qualcomm Incorporated Methods and apparatus for supporting tunneling related to wireless downlink signaling flows
CN100584006C (zh) * 2006-06-20 2010-01-20 中兴通讯股份有限公司 一种基于时间分辨率变换的视频转换处理方法
US10084627B2 (en) 2006-07-10 2018-09-25 Qualcomm Incorporated Frequency hopping in an SC-FDMA environment
US8457221B2 (en) 2006-09-08 2013-06-04 Qualcomm Incorporated Signaling transmission with localized spreading for wireless communication
CN101536351B (zh) 2006-11-06 2013-09-18 高通股份有限公司 根据子带负荷进行发射功率控制的方法
US8199812B2 (en) 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US9072095B2 (en) 2007-01-09 2015-06-30 Samsung Electronics Co., Ltd. Apparatus and method for allocating resources in a single carrier-frequency division multiple access system
US8848793B2 (en) * 2007-10-31 2014-09-30 Broadcom Corporation Method and system for video compression with integrated picture rate up-conversion
US8767831B2 (en) * 2007-10-31 2014-07-01 Broadcom Corporation Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
US8514939B2 (en) * 2007-10-31 2013-08-20 Broadcom Corporation Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
US8953685B2 (en) * 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
JP4296218B1 (ja) * 2008-02-21 2009-07-15 シャープ株式会社 映像表示装置
US8284839B2 (en) * 2008-06-23 2012-10-09 Mediatek Inc. Joint system for frame rate conversion and video compression
US8494058B2 (en) 2008-06-23 2013-07-23 Mediatek Inc. Video/image processing apparatus with motion estimation sharing, and related method and machine readable medium
US20100008419A1 (en) * 2008-07-10 2010-01-14 Apple Inc. Hierarchical Bi-Directional P Frames
US20100149301A1 (en) * 2008-12-15 2010-06-17 Microsoft Corporation Video Conferencing Subscription Using Multiple Bit Rate Streams
US8009567B2 (en) * 2009-02-05 2011-08-30 Cisco Technology, Inc. System and method for improved data transmission reliability over a network
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
WO2011150109A1 (en) 2010-05-26 2011-12-01 Qualcomm Incorporated Camera parameter- assisted video frame rate up conversion
US8947492B2 (en) * 2010-06-18 2015-02-03 Microsoft Corporation Combining multiple bit rate and scalable video coding
KR101750047B1 (ko) 2010-10-11 2017-06-22 삼성전자주식회사 3차원 영상 제공 및 처리 방법과 3차원 영상 제공 및 처리 장치
RU2446471C1 (ru) * 2010-12-23 2012-03-27 Государственное образовательное учреждение высшего профессионального образования "Тамбовский государственный технический университет" ГОУ ВПО ТГТУ Способ обнаружения движущихся объектов и определения их параметров
JP5950541B2 (ja) * 2011-11-07 2016-07-13 キヤノン株式会社 動きベクトル符号化装置、動きベクトル符号化方法及びプログラム、動きベクトル復号装置、動きベクトル復号方法及びプログラム
US8661491B1 (en) * 2012-08-02 2014-02-25 Ericsson Television Inc. Methods using base content and additive content and related client devices and network server devices
US10230956B2 (en) * 2012-09-26 2019-03-12 Integrated Device Technology, Inc. Apparatuses and methods for optimizing rate-distortion of syntax elements
CN103152566B (zh) * 2013-02-22 2016-03-09 华中科技大学 一种视频帧率提升方法
WO2014174591A1 (ja) * 2013-04-23 2014-10-30 富士通株式会社 画像符号化装置、画像符号化方法、及び撮像装置
CN103929648B (zh) * 2014-03-27 2017-04-19 华为技术有限公司 一种帧率上采样中的运动估计方法和装置
US10432946B2 (en) * 2014-12-23 2019-10-01 Apple Inc. De-juddering techniques for coded video
US10055807B2 (en) 2016-03-02 2018-08-21 Samsung Electronics Co., Ltd. Hardware architecture for acceleration of computer vision and imaging processing
CN107770511A (zh) * 2016-08-15 2018-03-06 中国移动通信集团山东有限公司 一种多视点视频的编解码方法、装置和相关设备
JP2022008719A (ja) * 2016-11-23 2022-01-14 セルヴァス エーアイ インコーポレイテッド 疾患発症予測方法及び装置
US10523961B2 (en) 2017-08-03 2019-12-31 Samsung Electronics Co., Ltd. Motion estimation method and apparatus for plurality of frames
US11483565B2 (en) * 2018-08-10 2022-10-25 Saturn Licensing Llc Receiving apparatus, receiving method, transmitting apparatus, and transmitting method

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3670096A (en) * 1970-06-15 1972-06-13 Bell Telephone Labor Inc Redundancy reduction video encoding with cropping of picture edges
EP0018856B1 (en) 1979-05-08 1990-08-16 British Broadcasting Corporation Television display system
JPH0317883A (ja) * 1989-06-15 1991-01-25 Sony Corp 時間情報発生装置
JP3159365B2 (ja) 1989-09-27 2001-04-23 ソニー株式会社 映像信号伝送方法及び映像信号伝送装置
GB2247587B (en) * 1990-08-31 1994-07-20 Sony Broadcast & Communication Movie film and video production
US5122875A (en) 1991-02-27 1992-06-16 General Electric Company An HDTV compression system
FR2675002B1 (fr) * 1991-04-05 1993-06-18 Thomson Csf Procede de classification des pixels d'une image appartenant a une sequence d'images animees et procede d'interpolation temporelle d'images utilisant ladite classification.
US5784107A (en) * 1991-06-17 1998-07-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for picture coding and method and apparatus for picture decoding
KR0151410B1 (ko) * 1992-07-03 1998-10-15 강진구 영상신호의 운동벡터 검출방법
JPH08510880A (ja) * 1993-06-01 1996-11-12 トムソン マルチメディア ソシエテ アノニム 動き補償された補間の方法及び装置
JP2900983B2 (ja) * 1994-12-20 1999-06-02 日本ビクター株式会社 動画像帯域制限方法
JP3604752B2 (ja) 1995-01-09 2004-12-22 沖電気工業株式会社 動きベクトル検出装置および方法
JP3577354B2 (ja) 1995-02-08 2004-10-13 富士写真フイルム株式会社 補間画像データ生成装置および方法
FR2742900B1 (fr) * 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede d'interpolation de trames progressives
JPH09182083A (ja) 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
US5852565A (en) 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
WO1997046022A2 (en) 1996-05-24 1997-12-04 Philips Electronics N.V. Motion estimation
JP2000512091A (ja) * 1996-05-24 2000-09-12 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 動作ベクトル処理
JP3363036B2 (ja) 1996-08-23 2003-01-07 ケイディーディーアイ株式会社 動画像符号化ビットストリーム変換装置
EP0883107B9 (en) * 1996-11-07 2005-01-26 Matsushita Electric Industrial Co., Ltd Sound source vector generator, voice encoder, and voice decoder
US6043846A (en) * 1996-11-15 2000-03-28 Matsushita Electric Industrial Co., Ltd. Prediction apparatus and method for improving coding efficiency in scalable video coding
US6480541B1 (en) * 1996-11-27 2002-11-12 Realnetworks, Inc. Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts
US6008865A (en) * 1997-02-14 1999-12-28 Eastman Kodak Company Segmentation-based method for motion-compensated frame interpolation
FR2764156B1 (fr) 1997-05-27 1999-11-05 Thomson Broadcast Systems Dispositif de pretraitement pour codage mpeg ii
JP4092778B2 (ja) 1997-06-04 2008-05-28 株式会社日立製作所 画像信号の方式変換装置及びテレビジョン受像機
EP0883298A3 (en) 1997-06-04 2000-03-29 Hitachi, Ltd. Conversion apparatus for image signals and TV receiver
JP4083266B2 (ja) 1997-10-07 2008-04-30 株式会社日立製作所 動きベクトルの生成方法および装置
WO1999022525A1 (en) 1997-10-23 1999-05-06 Mitsubishi Denki Kabushiki Kaisha Image encoding method, image encoder, image decoding method, and image decoder
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
US6560371B1 (en) * 1997-12-31 2003-05-06 Sarnoff Corporation Apparatus and method for employing M-ary pyramids with N-scale tiling
US6404901B1 (en) * 1998-01-29 2002-06-11 Canon Kabushiki Kaisha Image information processing apparatus and its method
US6192079B1 (en) * 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
JP4004653B2 (ja) * 1998-08-03 2007-11-07 カスタム・テクノロジー株式会社 動きベクトル検出方法および装置、記録媒体
US6229570B1 (en) * 1998-09-25 2001-05-08 Lucent Technologies Inc. Motion compensation image interpolation—frame rate conversion for HDTV
JP2000134585A (ja) 1998-10-23 2000-05-12 Hitachi Ltd 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
US6597738B1 (en) * 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
US6618439B1 (en) * 1999-07-06 2003-09-09 Industrial Technology Research Institute Fast motion-compensated video frame interpolator
CA2279797C (en) * 1999-08-06 2010-01-05 Demin Wang A method for temporal interpolation of an image sequence using object-based image analysis
US7003038B2 (en) * 1999-09-27 2006-02-21 Mitsubishi Electric Research Labs., Inc. Activity descriptor for video sequences
US6704357B1 (en) * 1999-09-28 2004-03-09 3Com Corporation Method and apparatus for reconstruction of low frame rate video conferencing data
JP2003513565A (ja) * 1999-10-29 2003-04-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ符号化方法
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
EP1287492A2 (en) 2000-05-18 2003-03-05 Koninklijke Philips Electronics N.V. Motion estimator for reduced halos in motion compensated picture rate up-conversion
EP1296525A4 (en) 2000-06-28 2006-07-26 Mitsubishi Electric Corp IMAGE ENCODER AND IMAGE ENCODING METHOD
RU2182727C2 (ru) 2000-07-20 2002-05-20 Дворкович Александр Викторович Способ поиска векторов движения деталей в динамических изображениях
US7042941B1 (en) * 2001-07-17 2006-05-09 Vixs, Inc. Method and apparatus for controlling amount of quantization processing in an encoder
CA2574127A1 (en) * 2002-01-18 2003-07-31 Kabushiki Kaisha Toshiba Video encoding method and apparatus and video decoding method and apparatus
AU2003202777A1 (en) 2002-02-28 2003-09-09 Koninklijke Philips Electronics N.V. Method and apparatus for field rate up-conversion
KR100850705B1 (ko) * 2002-03-09 2008-08-06 삼성전자주식회사 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치
US6975359B2 (en) 2002-04-25 2005-12-13 Trident Microsystems, Inc. Method and system for motion and edge-adaptive signal frame rate up-conversion
US20030215011A1 (en) 2002-05-17 2003-11-20 General Instrument Corporation Method and apparatus for transcoding compressed video bitstreams
KR100850706B1 (ko) * 2002-05-22 2008-08-06 삼성전자주식회사 적응적 동영상 부호화 및 복호화 방법과 그 장치
JP4318019B2 (ja) 2002-05-28 2009-08-19 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
WO2003103288A1 (en) * 2002-05-29 2003-12-11 Diego Garrido Predictive interpolation of a video signal
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
DE10232372B3 (de) 2002-07-17 2004-01-22 Micronas Gmbh Verfahren zur Interpolation eines Bildpunktes einer Zwischenzeile eines Halbbildes
US20050243925A1 (en) 2002-09-11 2005-11-03 Koninklijke Philips Electronics N.V. Video coding method and device
JP3910510B2 (ja) 2002-09-17 2007-04-25 株式会社東芝 フレーム補間システム及びフレーム補間方法
JP4007594B2 (ja) 2002-09-26 2007-11-14 株式会社東芝 動画像符号化装置及び方法、動画像符号化方式変換装置及び方法
US7116716B2 (en) * 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
KR100517504B1 (ko) * 2003-07-01 2005-09-28 삼성전자주식회사 Ｂ-픽처의 움직임 보상 모드 결정방법 및 장치
FR2857205B1 (fr) * 2003-07-04 2005-09-23 Nextream France Dispositif et procede de codage de donnees video
US7366462B2 (en) 2003-10-24 2008-04-29 Qualcomm Incorporated Method and apparatus for seamlessly switching reception between multimedia streams in a wireless communication system
JP4198608B2 (ja) * 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
US20050201471A1 (en) 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
TW200607355A (en) * 2004-05-04 2006-02-16 Qualcomm Inc Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video
TWI392374B (zh) 2004-07-01 2013-04-01 Qualcomm Inc 於可調節視訊編碼中用以使用框率上升轉換技術之方法與裝置
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
CN101189882B (zh) * 2004-07-20 2012-08-01 高通股份有限公司 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置
US8553776B2 (en) 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
US8649436B2 (en) 2004-08-20 2014-02-11 Sigma Designs Inc. Methods for efficient implementation of skip/direct modes in digital video compression algorithms
US20060133495A1 (en) 2004-12-22 2006-06-22 Yan Ye Temporal error concealment for video communications
KR100703744B1 (ko) * 2005-01-19 2007-04-05 삼성전자주식회사 디블록을 제어하는 ｆｇｓ 기반의 비디오 인코딩 및디코딩 방법 및 장치
US8644386B2 (en) * 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US8750387B2 (en) * 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8634463B2 (en) * 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
JP4764273B2 (ja) * 2006-06-30 2011-08-31 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、記憶媒体
US8045783B2 (en) * 2006-11-09 2011-10-25 Drvision Technologies Llc Method for moving cell detection from temporal image sequence model estimation

Also Published As

Publication number Publication date
JP5175370B2 (ja) 2013-04-03
KR100913260B1 (ko) 2009-08-21
US20060002465A1 (en) 2006-01-05
TW200625963A (en) 2006-07-16
JP2011182408A (ja) 2011-09-15
TWI392374B (zh) 2013-04-01
EP1774779A2 (en) 2007-04-18
WO2006007527A2 (en) 2006-01-19
CA2572605C (en) 2013-04-02
WO2006007527A3 (en) 2006-08-17
PE20060536A1 (es) 2006-06-28
US8948262B2 (en) 2015-02-03
JP5038134B2 (ja) 2012-10-03
CA2572605A1 (en) 2006-01-19
CN101010964B (zh) 2012-01-04
AU2005262409A1 (en) 2006-01-19
RU2370909C2 (ru) 2009-10-20
IL180444A0 (en) 2007-06-03
JP2008505555A (ja) 2008-02-21
MX2007000254A (es) 2007-04-09
AR049454A1 (es) 2006-08-02
KR20070053212A (ko) 2007-05-23
BRPI0512816A (pt) 2008-04-08
RU2007103812A (ru) 2008-08-10
CN101010964A (zh) 2007-08-01

Similar Documents

Publication Publication Date Title
KR100913260B1 (ko) 규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을 이용하는 방법 및 장치
KR100907847B1 (ko) 순간적 비디오 압축으로 이동 벡터 예측을 위한 방법 및장치
JP5081305B2 (ja) フレーム間予測符号化の方法および装置
KR101024231B1 (ko) 비디오 압축에서의 강화된 프레임 보간의 장치 및 방법
JP5372754B2 (ja) 適応性のあるビデオフレーム補間
JP5069099B2 (ja) 時間スケーラビリティを可能にするハイブリッド映像圧縮におけるフレーム予測のための方法および装置
EP2250813B1 (en) Method and apparatus for predictive frame selection supporting enhanced efficiency and subjective quality
US20090245376A1 (en) Method and apparatus for encoding/decoding motion vector information
TW201008291A (en) Video encoding by filter selection
CA2600750A1 (en) Content adaptive multimedia processing
Ye et al. Improved side information generation with iterative decoding and frame interpolation for distributed video coding
WO2000067487A1 (en) Low bit rate video coding method and system
KR20100082700A (ko) 와이너-지브 부호화 및 복호화 시스템 및 방법
KR0124162B1 (ko) 예측 부호화 방법
Li et al. Motion information exploitation in H. 264 frame skipping transcoding
Slowack et al. Refining WZ rate estimation in DVC with feedback channel constraints
Yi et al. A fast video transcoder from Wyner-Ziv to AVS
Wang et al. A novel local smoothness constrained side-information frame generator
Elamin et al. Transform domain slice based distributed video coding

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120727

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130729

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140730

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 10