KR20070053212A - 규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을이용하는 방법 및 장치 - Google Patents

규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을이용하는 방법 및 장치 Download PDF

Info

Publication number
KR20070053212A
KR20070053212A KR1020077002477A KR20077002477A KR20070053212A KR 20070053212 A KR20070053212 A KR 20070053212A KR 1020077002477 A KR1020077002477 A KR 1020077002477A KR 20077002477 A KR20077002477 A KR 20077002477A KR 20070053212 A KR20070053212 A KR 20070053212A
Authority
KR
South Korea
Prior art keywords
frame
fruc
frames
macroblock
video stream
Prior art date
Application number
KR1020077002477A
Other languages
English (en)
Inventor
비자야라크쉬미 알. 라빈드란
고든 켄트 왈커
Original Assignee
콸콤 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 콸콤 인코포레이티드 filed Critical 콸콤 인코포레이티드
Publication of KR20070053212A publication Critical patent/KR20070053212A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

비디오 스트림을 엔코딩하는 방법은, 비디오 스트림을 다수의 메인층 프레임을 갖는 메인층, 및 다수의 인터폴레이팅된 프레임을 갖는 인터폴레이팅된 층으로 분할하는 단계; 프레임 레이트 업 변환(FRUC) 프레임을 인터폴레이팅하는 단계; 및 메인 FRUC 프레임의 지원으로 인터폴레이팅된 층에서 다수의 메인층 프레임을 엔코딩하는 단계를 포함한다. 상기 방법을 실시하는 비디오 엔코더는가 또한 개시된다.

Description

규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을 이용하는 방법 및 장치{METHOD AND APPARATUS FOR USING FRAME RATE UP CONVERSION TECHNIQUES IN SCALABLE VIDEO CODING}
본 출원은 2004년 7월 1일 출원된 "Method and Apparatus for Using Frame Rate up Conversion(FRUC) Technique in Scalable Video Coding"이란 명칭의 가출원 No.60/585,154를 우선권으로 청구한다.
또한, 본 출원은 2005년 3월 22일 출원된 "Method and Apparatus for Using Frame Rate UP Conversion Techniques in Scalable Video Coding"이라는 명칭의 가출원 No.60/665,816을 우선권으로 청구하며, 이들은 본 출원의 양수인에게 양도되었으며, 본 명세서에 참조된다.
본 발명은 통상적으로 비디오 압축에 관한 것이며, 특히 규모 가변적 비디오 코딩에서 프레임 레이트 업 변환(FRUC)을 이용하는 방법 및 장치에 관한 것이다.
비디오 및 오디오 압축에서 레이트 애플리케이션은 통상적으로 다양한 비트 레이트에서 코딩된 비트 스트림과 다중 비트 레이트 모드 사이에서 스위칭하는, 규모 가변성(SNR, 공간적, 시간적) 기술을 통해 달성되었는데, 엔코더는 가변 대역폭에서 다양한 미디어 스트림으로서의 콘텐츠를 서버에 전달한다. 이어 서버는 네트 워크 조건 및/또는 대상 청중에 기초한 적절한 스트림을 전달한다.
낮은 비트 레이트 비디오 애플리케이션에서 적용가능한 제한된 대역폭 때문에, 소정의 엔코더는 요구되는 압축비를 충족시키기 위해 일시적 샘플링 기술(또한 프레임 스키핑으로도 불림)을 적용한다. 이러한 각본 하에, 입력 시퀀스의 프레임들은 엔코딩 프로세스로부터 주기적으로 드롭핑되며, 그 결과 전송되지 않는다. 따라서, 전체 입력 시퀀스 대신에, 디코더는 일시적 방침으로 단지 부분 정보만을 수신한다. 그 결과, 움직임 급변(jerkiness)과 같은 일시적 인공물이 수신측에 삽입된다. 프레임 레이트 업 변환(FRUC)은 일시적 인공물을 감소시키기 위해 스키핑된 프레임들을 재생성하기 위해 디코더에서 사용된다. 다양한 기술이 FRUC를 위해 제안되었다. 전형적으로 움직임 보상 인터폴레이션(MCI)은 일시적 FRUC 애플리케이션에서 최상의 해결책을 제공한다. 그러나 비디오 스트림의 비트 레이트를 최소화하면서 디코더 상에서 FRUC 기술의 구현을 최적화하는 것이 요구된다.
규모 가변적 비디오 코딩에서 FRUC를 이용하고, 엔코더 지원 FRUC(EA-FRUC)로 언급되는 엔코더측에 대해 FRUC 압축 기술의 통합을 가능하게 하는 다양한 방식이 설명된다.
일 실시예에서, 비디오 스트림을 엔코딩하는 방법은 비디오 스트림을 다수의 메인 층 프레임을 갖는 메인 층, 및 다수의 인터폴레이팅된 층 프레임을 갖는 인터폴레이팅된 층으로 분할하는 단계; 및 인터폴레이팅된 FRUC 프레임의 지원으로 메인층에서 다수의 메인층 프레임을 엔코딩하는 단계를 포함한다.
다른 실시예에서, EA-FRUC는 명령이 저장된 컴퓨터 판독가능 매체로서 구현될 수 있으며, 저장된 명령은 프로세서에 의해 실행될 때, 프로세서가 비디오 스트림을 엔코딩하는 방법을 실행하게 한다. 상기 방법은 비디오 스트림을 다수의 메인층 프레임을 갖는 메인층, 및 다수의 인터폴레이팅된 층 프레임을 갖는 인터폴레이팅된 층으로 분할하는 단계; 프레임 레이트업 버젼(FRUC) 프레임을 인터폴레이팅하는 단계; 및 인터폴레이팅된 FRUC 프레임의 지원을 받는 메인층에서 다수의 메인층 프레임을 엔코딩하는 단계를 포함한다.
또다른 실시예에서, 시스템은 비디오 스트림을 수신하는 비디오 엔코더 프로세서로서 구현된다. 비디오 엔코더 프로세서는 수신된 비디오 프레임으로부터 다수의 FRUC 프레임을 생성하는 프레임 레이트 업 변환(FRUC); FRUC 모듈에 결합된 레이트 왜곡 코스트(Rd_cost) 계산 모듈을 포함하는데, RD_cost 계산 모듈은 다수의 FRUC 프레임을 수신하고, 다수의 FRUC 프레임 중 하나에서 매크로 블록에 기초한 F 프레임 매크로 블록(RD_cost)을 계산하며; 및 RD_cost 계산 모듈에 결합된 모드 결정 모듈을 포함하며, 모드 결정 모듈은 다수의 FRUC 프레임 중 하나인 매크로 블록에 기초한 FRUC 프레임 매크로 블록 RD_cost를 대응하는 B 프레임의 대응하는 매크로 블록에 대한 B 프레임 매크로 블록 RD_cost와 비교한다.
다른 목적, 특징 및 장점은 이하의 설명으로부터 당업자에게 명확할 것이다. 그러나 설명되고 특정된 예들은 발명의 실시예를 나타내는 것으로 본 발명을 한정하지는 않는다. 본 발명의 사상을 벗어나지 않고 많은 변화 및 변경이 행해질 수 있다.
본 발명은 첨부한 도면을 참조하여 더욱 용이하게 이해될 것이다.
도1은 베이스층 및 확장층을 갖는 통상의 두 층 엔코딩을 설명하는 다이어그램이다.
도2는 일 실시예에 따라 구성된 엔코딩 방식을 설명하는 다이어그램으로, 메인층은 FRUC 프레임의 지원으로 디코딩된다.
도3은 일 실시예에 따른 FRUC 프레임의 지원으로 베이스층을 엔코딩하는 방법의 흐름도이다.
도4는 일 실시예에 따라 구성된 엔코딩 시스템의 블록도이다.
도5는 일 실시예에 따른 엔코딩을 위해 모드 선택을 위한 방법의 흐름도이다.
도6은 일 실시예에 따라 구성된 두 층 엔코딩 방식을 설명하는 블록도로서, 확장층이 FRUC 프레임의 지원으로 엔코딩된다.
도7은 일 실시예에 따른 FRUC 프레임의 지원으로 확장층을 엔코딩하고, 미디어 데이터를 두 층으로 분할하는 방법의 흐름도이다.
도8은 액세스 터미널 및 무선 시스템의 액세스 포인트의 블록도이다.
유사한 번호는 도면을 통해 유사한 구성 요소를 나타낸다.
비록 FRUC 기술이 통상적으로 디코더측에 기초하고 있지만, 엔코더측으로 확장될 수 있다. 특히, 모션 보상 프레임에 대한 추가의 예상 모드로서 FRUC 프레임 을 이용하는 것은 유용하다. 상호 예상 프레임에 대한 여분의 예상 모드를 부가함으로써, 비트 레이트 절약이 달성될 수 있다. 다시 말해, 동일하게 재구성된 시각화 품질에 대한 압축비가 개선될 수 있다.
표준 기반 비디오 엔코딩의 경우, 비트 스트림 구문은 여분의 FRUC 모드의 도입으로 인해 입증되어야 한다. 그러나 표준 구문에 대한 승낙은 국제 통신 협회, 통신 표준 섹터(ITU-T)에 의해 공표된 H.264 비디오 코딩 표준에서와 같이 사용자 데이터 필드 또는 보충 확장 정보(SEI) 필드의 예상 프레임에서 FRUC의 사용을 플래깅함으로써 유지될 수 있다. 이러한 특징은 비디오 송신 시스템에서 특히 유리하며, FRUC 기능은 디코더에 의해 실행된다. 더욱이, 비디오 디코더에 대한 변경이 가능한 폐쇄 시스템은 송신 대역폭 및 압축 효율의 관점에서 현저히 장점을 갖는다.
디코드측의 경우, 송신된 비트 스트림 및 재구성된 내부 픽쳐(I)/예상 픽쳐(P)(I/P)프레임을 수신한 때, FRUC 프레임은 엔코더측에 적용된 동일 기술을 이용하여 인터폴레이팅된다. 이어 상호 프레임이 동일한 시간 인스턴스의 재구성된 I/P 프레임 및 FRUC 프레임에 기초하여 재구성된다. 동일한 기술이 데코더 및 엔코더측에서 사용되는 한, 에러 또는 드리프트 문제가 없을 것이다.
시스템의 택일적 애플리케이션은 규모 가변적 비디오 코딩일 것이다. 시간적 규모 가변성이 사용될 경우, 소정의 예상 프레임, 특히 양방향 예측/인터폴레이팅된 픽쳐 프레임이 확장층으로 송신되고; 및 I 및 P 프레임이 베이스층에 송신된다. 이러한 시나리오에서, 만일 확장층이 수신 또는 요청되지 않으면, 디코더에서 재구성된 비디오의 프레임 레이트가 소스 프레임 레이트보다 더 낮다. 베이스층에서 FRUC 프레임 및 B 프레임의 차를 전송하는 것은 디코더에서 FRUC를 통해 B 프레임의 근사치의 재구성을 가능하게 할 수 있다. 결과는 (비트에서) 차의 코스트가 현저히 적고 결국 베이스층 비디오의 비트 레이트에 영향을 주지 않음을 보여준다. 차는 (예를 들어, FRUC에 의해 재구성될 수 없는 홀과 같은) 현저한 영역에 대한 정보를 한정하는 임계치(또는 양자화)를 통해 FRUC의 순수 잔여로서, 또는 (예를 들어, 진정 모션 벡터 데이터 또는 양자화된 진정 모션 벡터 데이터와 같은) 알려진 FRUC 방법으로서 계산될 수 있다. 또한, 이러한 상이한 정보는 표준 구문의 "사용자 데이터" 필드에서, 또는 H.264 표준에서와 같은 SEI 필드에서 실행될 수 있다.
디코더 리소스의 이용가능성에 기초하여, 상이한 FRUC 기술이 계산 복작성의 정도에 기초하여 선택될 수 있다. 알아야 할 부분은 FRUC가 B 프레임을 디코딩하는 것보다 통상적으로 덜 계산적인 사이클을 확장시킨다는 것인데, 이는 FRUC가 B 프레임의 모든 매크로블록(때때로 하나의 모션 보상(MC)/B 프레임의 매크로블록(MB))상의 양방향 모션 보상(MC)과 비교하여; 상대적으로 작은 탐색 공간에서 프레임의 작은 비율에 대해 간단한 3 또는 5-탭 필터링 및 모션 추정(ME)을 포함하기 때문이다. FRUC는 시각화 품질의 작은 코스트로 중간 프레임을 재구성하기 위해 적용된 정밀 레벨에 기초한 복잡한 레벨의 정교성을 제공한다.
통상적으로, B 프레임은 P 프레임보다 계산적으로 더욱 고가이며, I 프레임은 세 타입의 프레임의 최소 비용이다. 이러한 점에서, 규모 가변적 비디오 코딩 에 부가된 시스템의 장점 및 확장성은 계산 사이클을 감소시키고, 결국, 휴대용 장치의 귀중한 전력을 절약(이는 더 긴 대기 및 통화 시간을 의미함)하는데 있다. 전력 절약은, 이용가능한 사이클에 기초하여 디코더가 B 프레임을 디코딩하도록 선택되거나 FRUC를 통해 인터폴레이팅된 프레임을 재구성하고 상이한 데이터로부터 정교함을 제공할 수 있기 때문에, B 프레임이 수신되는지에 무관하게 실행된다.
블록 기반 FRUC 알고리즘은 계산 복잡도를 증가시키는 것에 기초하여 분류될 수 있다.
1. 프레임 반복 및 프레임 평균과 같은 비모션 보상 알고리즘;
2. MV 프로세싱이 없는 쌍일차 모션 보상된 간섭(MCI);
3. MV 프로세싱을 갖는 MCI; 및
4. MV 프로세싱을 갖는 시딩된 ME 지원 MCI.
소정의 전술한 FRUC 지원 엔코딩 기술은 성층(layering) 코딩 기술과 함께 통합될 수 있다. 송신 채널의 레이트 적용은 성층 코딩에 의해 달성될 수 있다. 압축된 비트 스트림의 베이스층은 통상적으로 더욱 중요한 데이터를 포함하며, 확장층은 더 큰 송신 에러율을 갖기 쉬운 덜 중요한 데이터를 포함한다.
일 실시예에서, 베이스층 비트 스트림이 표준인 것이 바람직하며, 확장층 비트 스트림은 송신 대역폭이 소정의 임계치 이하로 감소되면 드롭핑된다. 이러한 시나리오하에서,
1. 각각의 확장 프레임과 각각의 잠재 FRUC 프레임 사이에 1대1 관계가 있는 방식으로, 인입 프레임 시퀀스를 베이스층 프레임확장층 프레임으로 분할하고,
2. 베이스층 프레임 표준을 엔코딩하고,
3. 엔코딩될 확장 프레임과 동일한 시간 인스턴스에서 FRUC 프레임을 인터폴레이팅하고, 및
4. 인터폴레이팅된 FRUC 프레임에 기초하여 확장 프레임을 엔코딩하는 것이 바람직하다.
이러한 방식의 장점은 두 폴드이다. 우선, 확장층 프레임에 대한 하나의 여분의 예상 모드를 도입함으로써, 확장층의 압축율이 증가할 것이다. 따라서, 고정된 송신 대역폭에 대해, 확장층 비트 스트림이 확장층이 드롭핑될 송신율의 임계치를 초과하는 것이 더욱 발생하기 어렵기 때문에, 확장층 비트 스트림을 드롭핑할 가능성이 감소된다. 그러나 둘째로, 설명된 바와 같이, 베이스층 및 확장층 프레임이 분할되는 방식으로 인해, 심지어 확장층 비트 스트림이 송신 조건을 저하시키는 상황하에서 드롭핑되면, 디코더는 인터폴레이팅된 FRUC 프레임들로 대체함으로써 소실된 확장층 프레임을 재생성할 수 있다.
도1은 베이스층(104) 및 확장층(102)을 포함하는 비디오 시퀀스(106)의 통상의 두 층 엔코딩 방식을 도시한다. P 프레임(112 및 114)과 같은 I 및 P 프레임은 비디오 시퀀스(106)의 올바른 재구성을 위한 중요성으로 인해 베이스층(104)으로 분할되는 반면, B 프레임(110)과 같은 덜 중요한 B 프레임은 확장층(102)에 존재한다. 이러한 종래 기술의 방식에서, 확장층(102)에서 확장 프레임의 재구성은 단지 베이스층(104)의 재구성된 베이스층 프레임에 의존하지만, 확장층(102)의 재구성된 프레임에 의존하지 않는다. 특히, 확장층(102)의 B 프레임은 비록 B 프레임이 장 래의 B 프레임을 예측하는데 사용될 수 있지만, 베이스층(104)의 프레임의 시간적 예측에 대한 참조로서 사용되지 않는다.
도2는 엔코딩 방식의 일 실시예에 따라 디코딩된 비디오 시퀀스(206)을 도시하는데, I 프레임(212)은 표준 상호 프레임(시간적 예상을 경험하지 않는 프레임)이며, P 프레임(220)은 표준 예상 프레임이다. 도면에 도시된 바와 같이, 메인층(202)의 프레임은 인터폴레이팅된 층(204)의 사용을 통해 엔코딩된다.
PF 프레임은 FRUC 인터폴레이팅된 프레임이 다수의 기준 픽쳐 중 하나로 사용되는 P 프레임이다. 예를 들어, FRUC FRM(224)는 PF FRM(216)에 대한 기준 픽쳐이다. 대조적으로, 표준 방식은 P 프레임에 대한 유일한 기준 픽쳐로서 I FRM(212)를 이용한다. 따라서, 일 실시예에서, FRUC FRM은 인터폴레이팅된 프레임의 메인층 디코딩을 위해 기준 픽쳐로서 사용된다.
BF 프레임은 다수의 기준 픽쳐 중 하나로서 FRUC 인터폴레이팅된 프레임은 갖는 B 프레임이다. 따라서, 일 실시예에서, BF 프레임들에 대한 기준 픽쳐는 I, B, P, PF 또는 BF 프레임들 중 하나 이상을 포함할 수 있다. 예를 들어, BF 프레임(214)은 다수의 기준 픽쳐 중 하나로서 FRUC 인터폴레이팅된 프레임(222)을 갖는 B 프레임이며, BF 프레임(218)은 다수의 기준 프레임들 중 하나로서 FRUC 인터폴레이팅된 프레임(226)을 갖는 B 프레임이다. 대조적으로, 비록 표준 B(양방향성) 예측 프레임이 다수의 기준 픽쳐를 가질 지라도, 이러한 기준 픽쳐는 단지 I, B 또는 P 프레임을 포함한다.
참조된 바와 같이, "F 프레임"이란 용어는 참조 픽쳐로 사용된 FRUC 인터폴 레이팅된 프레임을 갖는 예측된 프레임인 프레임을 의미한다. 따라서, PF 프레임 및 BF 프레임은 모두 F 프레임이다. 일 실시예에서, 다수의 기준 픽쳐는 F 프레임의 예상을 위해 사용된다. 게다가, FRUC 인터폴레이팅된 프레임은 F 프레임의 예상을 위해 사용된 기준 픽쳐일 수 있다. 게다가, 설명된 구조는 FRUC 인터폴레이팅된 프레임으로부터 단지 특정한 매크로블록(소정 크기 또는 형상의 블록일 수 있음)을 이용하는 것과 같이, FRUC 인터폴레이팅된 프레임의 일부가 참조로서 사용되는 방식을 포함한다.
도3은 도2에 설명된 비트 스트림에 대한 FRUC 엔코딩 프로세스의 예의 흐름도이다. 단계(302)에서, 인입 미디어(비디오) 시퀀스는 F 프레임 및 비 F 프레임으로 분할되는데, 여기서 F 프레임은 전술한 바와 같이, PF 및 BF 프레임이며, 비 F 프레임은 I, B 또는 P 프레임이다. 일 실시예에서, 각각의 F 프레임과 각각의 잠재 FRUC 프레임 사이에 1대1 관계가 있다. 다른 실시예에서, 잠재 FRUC 프레임에 대한 확장 프레임의 비는 1대1 대응을 가져야 하는 것은 아니다. 일단 비디오 시퀀스가 분할되면, 동작은 단계(304)로 계속하며, 비 F 프레임은 사용된 표준 엔코딩 방식에 기초하여 엔코딩된다. 예를 들어, H.264 표준에서 공표된 바와 같은 코딩 표준이 이러한 비 F 프레임에 대해 사용될 수 있다. 이어, 단계(306)에서, FRUC 프레임은 장래에 엔코딩될 확장 프레임의 동일한 시간 인스턴스에서 인터폴레이팅된다. 일 실시예에서, FRUC 프레임은 재구성된 현재 프레임 및 저장된 이전의 프레임에 의존할 수 있다. 다른 실시예는 전술한 다른 FRUC 알고리즘을 이용할 수도 있다. 단계(308)에서, 확장층에서 프레임은 도4에서 설명된 바와 같이, 인터폴 레이팅된 FRUC 프레임의 지원으로 엔코딩된다. 따라서, FRUC 프레임의 이용가능성으로 인해, 외부 예상 모드(FRUC 모드)는 메인층에서 예상 프레임에 대해 선택될 수 있다.
도4는 일실시예에 따라 구성된 엔코더 블록 다이어그램을 도시한다. 초기에, P 프레임 디코더(402)는 새로운 프레임이 F 프레임인지를 결정한다. 만일 그렇지 않다면, P 또는 B 프레임 엔코더(404)는 프레임을 엔코딩하고, 가변 길이 코딩(VLC) 엔코더(406)는 출력 비트 스트림(404)으로 출력하기 위해 엔코딩된 P 또는 B 프레임에 대한 최종 비트 스트림을 생성한다. P 또는 B 프레임에 대한 모션 벡터는 모션 벡터 버퍼(408)에 저장되는 반면, 재구성된 프레임 버퍼(410)는 재구성된 P 또는 B 프레임을 저장한다. FRUC 유닛(412)은 FRUC 알고리즘을 실행하고, FRUC 프레임 버퍼(414)에 저장되는 FRUC 프레임을 생성하기 위해, MV 버퍼(408) 및 재구성된 프레임 버퍼(410)에 결합된다. 전술한 바와 같이, FRUC 프레임은 다양한 F(예를 들어, BF 또는 PF) 프레임을 생성하기 위해 사용된다.
만일 F 프레임 검출기(402)가 새로운 프레임이 F 프레임이라고 결정하면, F 프레임 엔코딩 유닛(428)은 새로운 F 프레임의 매크로블록 엔코딩에 의해 매크로블록을 실행한다. 엔코딩된 F 프레임 매크로블록은 모션 벡터를 송신하는데 필수적인 비트를 포함하는 B 프레임에 대해 송신될 필요가 있는 비트의 수를 결정하는 블록(434)로 전송된다. 이어 B 프레임 매크로블록 RD_cost는 B-블록 RD_cost 계산기(436)에서 계산된다. 더욱이, B 프레임 엔코딩에 기초하여, 비교기(430)는 대응하는 B 프레임 매크로블록(SAD_b)을 감산함으로써 FRUC 프레임 버퍼로부터 검색된 FRUC 프레임에 기초한 F 프레임 매크로블록의 차의 절대값의 합(SAD)의 수치를 예정된 임계치(TH)와 비교한다. 만일 감산의 결과가 임계치보다 크거나 같다면, 품질 감소는 너무 클 것이며, 결국 엔코더는 엔코더 지원 FRUC 프레임 정보를 전송할 필요가 있다. 일 실시예에서, 임계치는 사용되는 블록 크기(예를 들어, 16×16 블록 크기)의 6배이다. 비록 통상적으로 16×16 픽셀 엘리먼트의 표준 블록 크기로 적용되는 "매크로블록"이라는 용어가 사용되지만, 소정의 블록 크기가 사용될 수도 있음을 알아야 한다. 게다가, 블록은 소정의 형태일 수도 있다.
만일 B 프레임 매크로블록의 SAD와 F 프레임 매크로블록의 SAD 사이의 차가 임계치 이하인 경우, 엔코더는 F 프레임 매크로블록이 모듈(432)에 사용되어야 하고, F 모드를 나타내기 위한 비트가 출력 비스 스트림(440)으로 배치될 것을 나타낼 것이다. 그렇지 않다면, 소스(근원) 매크로블록 및 콜로케이트된 FRUC 프레임 블록의 나머지가 모듈(416)에서 계산되며, 그 결과는 이산 코사인 변환(DCT)/양자화/VLC 모듈(418)에서 양자화된다. FRUC 프레임 정보를 송신하기 위해 필요한 FRUC 프레임 블록 비트의 수는 F 블록 비트 모듈(420)에서 결정되고, 상기 계산에 기초하여, FRUC 프레임 매크로블록 RD_cost는 F-블록 RD_cost 모듈(422)에서 결정된다. RD_cost 계산은 도5와 관련하여 설명된다.
계산된 B 프레임 매크로블록 RD_cost 및 F 프레임 매크로블록 RD_cost에 기초하여, 비교기 모듈(424)은 어떤 비트를 출력 비트 스트림(440)에 배치할지를 결정한다. 일 실시예에서, 만일 B 프레임 매크로블록 RD_cost가 F 프레임 매크로블록 RD_cost이하이면, 생성된 모션 벡터를 포함하는 B 프레임 매크로블록에 대한 비 트는 출력 비트 스트림(440)에 배치될 것이다. 그렇지 않으며, F 프레임 매크로블록에 대한 비트는 출력 비트 스트림(440)에 배치될 것이다.
도5는 확장층에서 프레임을 엔코딩하는 동안, 확장층 B 프레임 매크로블록의 모드 선택 프로세스에 대한 일 실시예에 따라 구현된 알고리즘을 설명한다. 단계(502)에서, 순방향 및 역방향 모션 벡터는 B 프레임 매크로블록에 대해 획득된다. 일 실시예에서, 벡터는 통상의 양방향 모션 추정을 실행함으로써 획득된다. 따라서, FRUC 프레임으로부터의 어떠한 정보도 사용되지 않는다. 이어, 단계(504)에서, B 프레임 매크로블록에 대한 최상의 모드가 결정된다. 일 실시예에서, 최상의 모드는 세 모드, 즉 순방향 예상 모드, 역방향 예상 모드 및 쌍일차 예상 모드 중 하나로부터 선택된다. 더욱이, 최상 모드의 선택은 FRUC 프레임의 관련없이 실행된다.
단계(506)에서, 에러 나머지는 선택된 최상의 모드에 기초한 B 프레임 매크로블록과 소스 프레임(즉, 장래에 엔코딩될 소스 프레임)으로부터의 근본 매크로블록 사이에서 획득된다. 이어 근본 매크로불록과 FRUC 프레임 매크로블록 사이의 에러 나머지 정보는 단계(508)에서 획득된다. 일 실시예에서, B 프레임 매크로블록과 FRUC 프레임 매트로블록에 대한 에러 나머지는 B 프레임 매크로블록 또는 FRUC 프레임 매크로블록으로부터 각각 근본 매크로블록을 감산함으로써 계산된다. 게다가, 레이트 왜곡 코스트(RD_cost)로 불리는 변수는 B 프레임 매크로블록(B_RD_cost) 및 이하의 식으로 주어지는 FRUC 프레임 매크로블록(FRUC_RD_cost)에 대해 계산된다.
RD_cost = Distortion＋Lambda*Rate
일 실시예에서, 레이트는 소정의 블록(이는 각각의 매크로블록의 에러 나머지를 이용함)을 엔코딩하는데 사용되는 전체 비트이며, Distortion은 왜곡 메트릭이며, Lambda는 매크로블록의 양자화에 의존하는 미리 정의된 가중 팩터이다. 일 실시예에서, Distortion은 차의 절대값의 합에 의해 결정된다. 다른 실시예에서, 차의 왜곡 메트릭이 사용될 수도 있다. 더욱이, 일 실시예에서, Lambda는 양자화 파라미터에 의존하여 경험적으로 유도된다.
전술한 바와 같이, 엔코딩의 FRUC 프레임 또는 B 프레임 모드 중 어떤 것이 선택될 지의 여부는 차의 절대값의 합(SAD)에 기초하는데, 이는 왜곡의 효율적인 측정치이며, 나머지를 엔코딩하는데 요구되는 비트의 수이다. 이러한 두 값들은 합산되고, 하나는 람다(lambda)에 의해 가중되고, "최상" 모드가 결과를 최소화하는 것에 기초하여 결정된다. 왜곡 및 비트 레이트의 합이 사용되는 이유는 엔코더가 이미지 품질과 비트 레이트 사이에서 트레이드 오프할 수 있기 때문이다. 따라서, 예를 들어, 앞서와 같이 동일한 양자화 파라미터가 사용될 경우, 엔코더는 매우 많은 왜곡으로부터 어려움을 겪을 매우 복잡한 매크로블록을 경험하게 되면, 엔코더는 심지어 엔코딩할 더 많은 비트가 필요하더라도, 왜곡에서의 트레이드 오프를 가능하게 하기 위해 양자화 값을 낮출 수 있을 것이다.
일단 에러 나머지 및 결론적으로, B_RD_cost(B 프레임 매크로블록의 RD_cost), 및 에러 나머지 및 결론적으로 FRUC_RD_cost(FRUC 프레임 매크로블록의 RD_cost)가 결정되면, 단계(510)는 코스트들을 비교하고 FRUC_RD_cost가 B_RD_cost 보다 작은지를 결정한다. 만일 그렇다면, FRUC 모드는 단계(512)에서 선택된다. 그렇지 않으면, 단계(504)에서 결정된 바와 같이, 최상의 모드는 단계(514)에서 선택된다.
도6은 일 실시예의 엔코딩 방식에 따라 엔코딩된 비디오 시퀀스(606)을 도시하는데, 미디어 데이터를 베이스층(604) 및 확장층(602)을 포함하는 두 층으로 분할하는 층 결정 블록(608)을 포함한다. P 프레임(612 및 614)와 같은 I 및 P 프레임들은 비디오 시퀀스(606)의 올바른 재구성을 위한 이들의 중요성으로 인해 베이스층(604)으로 분할되는 반면, B 프레임(610)과 같은 덜 중요한 B 프레임들은 확장층(602)에 잔류한다. 도면에 도시된 바와 같이, FRUC 프레임(616)은 베이스층(604)에 또한 존재할 수도 있다.
도7은 전술한 바와 같이, 일 실시예에 따른 FRUC 엔코딩 프로세스의 흐름도이다. 단계(702)에서, 인입 미디어(비디오) 시퀀스는 베이스층 프레임들과 확장층 프레임들로 분할된다. 일 실시예에서, 각각의 확장 프레임 및 각각의 잠재 FRUC 프레임 사이에 1대1 관계가 있다. 다른 실시예에서, 잠재 FRUC 프레임에 대한 확장 프레임의 비는 1대1 대응을 가져야 하는 것은 아니다. 일단 비디오 시퀀스가 분할되면, 연산은 단계(704)로 진행하는데, 여기서 베이스층의 프레임들은 사용된 표준 엔코딩 방식을 기초로 엔코딩된다. 예를 들어, H.264 표준으로 공표된 코딩 표준이 사용될 수도 있다. 이어, 단계(706)에서, FRUC 프레임은 장래에 엔코딩될 확장 프레임의 동일한 시간 인스턴스에서 인터폴레이팅된다. 일 실시예에서, FRUC 프레임은 재구성된 현재 프레임 및 저장된 이전의 프레임에 의존할 수도 있다. 다 른 실시예는 전술한 다른 FRUC 알고리즘을 사용할 수도 있다. 단계(708)에서, 확장층의 프레임은 인터폴레이팅된 FRUC 프레임의 도움으로 엔코딩된다.
언급된 모듈 및 프로세싱 블록이 다양한 하드웨어/소프트웨어 구현으로 실행될수 있음을 알아야 한다. 따라서, 기술 분야의 당업자는 예를 들어, 동일한 프로세서가 SAD 계산은 물론 FRUC 연산도 실행할 수 있음을 이해할 것이다. 더욱이, 디지털 신호 프로세서(DSP) 또는 다른 특정화된 프로세서는 설명된 기능을 실행하기 위해 범용 프로세서와 함께 사용될 수도 있다. 특정 기능 또는 기능들을 실행하는 모듈 또는 유닛에 대한 참조는 상기 기능 또는 기능들을 실행하기 위한 특정 회로를 포함하는 것에 제한되지 않으며, 게다가 상기 기능 또는 기능들을 실행하기 위해 구성된 프로세서를 포함할 수도 있다.
본 발명은 전술한 모드 선택 방법에 기초하기 때문에, 시각화 품질에서 어떠한 저하도 없이 송신된 비트 스트림을 절약할 수 있다. 예를 들어, 동일 품질 레벨에서 표준(H.26X/MPEG-X) 비트 스트림 구문의 증가로 인한 비트-레이트/대역폭 감소가 존재한다. 이는 확장 비트 스트림을 드롭핑하는 가능성을 감소시킬 것이며, 결국 재구성된 비디오 품질을 향상시킨다. 일 실시예에서, 확장층을 엔코딩하는데 있어서, 모션 벡터 정보는, 상기 정보가 단일 인터폴레이션 기능을 통해 디코더에서 복구/계산될 수 있기 때문에 송신될 필요가 없다. 따라서, 최대한의 비트 레이트 절약이 실현될 수 있다.
게다가, 계산의 규모 가변성은 수신자의 하드웨어 리소스의 최적 사용에 기초한 적절한 FRUC 알고리즘의 적합한 선택에 의해 달성될 수 있다. 예를 들어, 만 일 디코더가 내장형 모션 추정 가속기를 갖는 경우, MV 프로세싱 FRUC 프로세싱 알고리즘을 갖는 시딩된 ME 지원 MCI가 선택될 수 있다. 더욱 양호한 규모 가변성은, FRUC 특징을 이용함으로써, 비디오가 전체 프레임 레이트를 재생함에 따라 달성될 수도 있는데, 여기서 FRUC 프레임은 베이스층 비트 스트림이 달성될 때에만 삽입된다. 특히 휴대용 기기에서, 디코더에서의 전력 절약이 또한 달성될 수 있는데, 여기서 비디오 스트림의 FRUC 지원 재구성은 완전한 B 프레임의 재구성에 비해 더 작은 사이클을 필요로 한다.
IBP 픽쳐 그룹(GOP) 구조가 사용될 때, B 프레임이 전체 비트 레이트의 30%까지 점유할 것이 예상된다. 따라서, 본 발명은, B 프레임들을 송신하도록 허가된 데이터를 감소시킴으로써, 전체 비트 레이트를 감소시킬 수 있다. 예를 들어, IBP GOP 구조의 경우, 베이스층 및 확장층이 모두 배치된 경우, 비트 레이트는 15%까지 감소될 수 있다. 이러한 비율은, IBBP GOP 또는 IBBBP GOP 구조가 더 많은 B 프레임들을 이용하면서 이들 구조가 사용될 경우, 증가한다. I 와 P 사이의 B 프레임들의 수가 증가함에 따라 비율도 증가한다.
도8은 무선 시스템에서 액세스 터미널 802x 및 액세스 포인트 804x의 블록도이다. 논의된 바와 같이, "액세스 터미널"은 사용자에게 음성 및/또는 데이터 접속을 제공하는 장치를 의미한다. 액세스 터미널은 랩탑 컴퓨터 또는 데스크탑 컴퓨터와 같은 컴퓨터 장치에 접속될 수 있거나, 개인용 디지털 보조기와 같은 독립 장치일 수도 있다. 액세스 터미널은 가입자 유닛, 이동국, 모바일, 원격국, 원격 터미널, 사용자 터미널, 사용자 에이전트, 또는 사용자 설비로 언급될 수 있다. 이러한 액세스 터미널은 가입자국, 무선 장치, 셀룰러 전화, PCS 전화, 무선 전화, 세션 개시 프로토콜(SIP) 전화, 무선 가입자 회선(WLL)국, 개인용 디지털 보조기(PDA), 무선 접속 성능을 갖는 휴대용 장치, 또는 무선 모뎀에 연결된 다른 프로세싱 장치일 수 있다. 설명된 바와 같이, "액세스 포인트"는 액세스 터미널을 갖는 하나 이상의 섹터를 통해, 무선 인터페이스로 통신하는 액세스 네트워크의 장치를 의미한다. 액세스 포인트는 수신된 무선 인터페이스 프레임을 IP 패킷으로 변환함으로써, 액세스 터미널과 IP 네트워크를 포함할 수도 있는 액세스 네트워크의 나머지 사이의 라우터로서 작용한다. 액세스 포인트는 또한 무선 인터페이스에 대한 속성의 관리를 조절한다.
역방향 링크의 경우, 액세스 터미널(802x)에서, 송신(TX) 데이터 프로세서(814)는 데이터 버퍼(812)로부터 트래픽 데이터를 수신하고, 선택된 코딩 및 변조 방식에 기초하여 각각의 데이터 패킷을 프로세싱(예를 들어, 엔코딩, 인터리빙 및 심볼 맵핑)하고, 데이터 심볼을 제공한다. 데이터 심볼은 데이터에 대한 변조 심볼이며, 파일럿 심볼은 파일럿에 대한 변조 심볼(이는 선험적임)이다. 변조기(816)는 데이터 심볼, 파일럿 심볼, 및 가능하게는 역방향 링크에 대한 시그널링을 수신하고, (예를 들어, OFDM) 변조 및/또는 시스템에 의해 특정된 다른 프로세싱을 실행하고, 및 출력 칩의 스트림을 제공한다. 송신기 유닛(TMTR)(818)은 출력 칩 스트림을 프로세싱(예를 들어, 아날로그로 변환, 필터링, 증폭 및 주파수 변환)하고, 안테나(820)로부터 송신되는 변조된 신호를 생성한다.
액세스 포인트(804x)에서, 액세스 터미널(802x) 및 액세스 포인트(804x)와 통신하는 다른 터미널에 의해 송신된 변조된 신호들은 안테나(852)에 의해 수신된다. 수신기 유닛(RCVR)(854)은 안테나(852)로부터 수신된 신호를 프로세싱(예를 들어, 조절 및 디지털화)하고 수신된 샘플들을 제공한다. 복조기(Demod)(856)는 수신된 샘플들을 프로세싱(예를 들어, 변조 및 검출)하고, 검출된 데이터 심볼들을 제공하는데, 이들은 터미널에 의해 액세스 포인트(804x)로 송신된 데이터 심볼의 잡음 추정치이다. 수신(RX) 데이터 프로세서(858)는 각각의 터미널에 대해 검출된 데이터 심볼들을 프로세싱(예를 들어, 심볼 디맵핑, 디인터리빙, 및 디코딩)하고, 터미널에 대한 검출된 데이터를 제공한다.
순방향 링크의 경우, 액세스 포인트(804x)에서, 트래픽 데이터는 데이터 심볼들을 생성하기 위해 TX 데이터 프로세서(860)에 의해 프로세싱된다. 변조기(862)는 데이터 심볼, 파일럿 심볼, 및 순방향 링크에 대한 시그널링을 수신하며, (예를 들어, OFDM) 변조 및/또는 다른 적절한 프로세싱을 실행하며, 출력 칩 스트림을 제공하는데, 출력 칩 스트림은 송신기 유닛(864)에 의해 추가로 조절되고 안테나(852)로부터 송신된다. 순방향 링크 시그널링은 역방향 링크 상에서 액세스 포인트(804x)로 송신하는 모든 터미널에 대해 제어기(870)에 의해 생성된 전력 제어 명령을 포함할 수도 있다. 액세스 터미널(802x)에서, 액세스 포인트(804x)에 의해 송신된 변조된 신호가 안테나(820)에 의해 수신되고, 수신기 유닛에 의해 조절 및 디지털화되며, 검출된 데이터 심볼을 획득하기 위해 복조기(824)에 의해 프로세싱된다. RX 데이터 프로세서(826)는 검출된 데이터 심볼을 프로세싱하고, 터미널 및 순방향 링크 시그널링에 대해 디코딩된 데이터를 제공한다. 제어기(830) 는 전력 제어 명령을 수신하고, 데이터 송신을 제어하며, 역방향 링크 상에서 액세스 포인트(804x)로 전력을 송신한다. 제어기(830 및 870)는 각각 애겟스 터미널(802x) 및 액세스 포인트(804x)의 연산을 조정한다. 메모리 유닛(832 및 872)은 각각 제어기(830 및 870)에 의해 사용된 프로그램 코드 및 데이터를 저장한다.
개시된 실시예는 이하의 기술, 즉 코드 분할 다중 액세스(CDMA) 시스템, 다중 캐리어 CDMA(MC-CDMA),광대역 CDMA(W-CDMA), 고속 다운링크 패킷 액세스(HSDPA), 시분할 다중 액세스(TDMA) 시스템, 주파수 분할 다중 액세스(FDMA) 시스템, 및 직교 주파수 분할 다중 액세스(OFDMA) 시스템 중 하나 또는 조합에 적용될 수 있다.
설명된 방법은 기술 분야의 당업자에 의해 공지된 다양한 통신 하드웨어, 프로ㅔㅅ서 및 시스템상에서 구현될 수 있다. 예를 들어, 설명된 바와 같은 동작을 위해 클라이언트에 대해 통상적으로 요구되는 것은 클라이언트가 콘텐츠 및 정보를 디스플레이하기 위한 디스플레이, 클라이언트의 연산을 제어하기 위한 프로세서, 및 클라이언트의 연산과 관련한 데이터 및 프로그램을 저장하기 위한 메모리를 갖는다는 것이다. 일 실시예에서, 클라이언트는 셀룰러 폰이다. 다른 실시예에서, 클라이언트는 통신 설비를 갖는 휴대용 컴퓨터이다. 또다른 실시예에서, 클라이언트는 통신 설비를 갖는 개인용 컴퓨터이다. 게다가, GPS 수신기와 같은 하드웨어는 다양한 실시예를 구현하기 위해 클라이언트에 필요할 때 통합될 수 있다. 개시된 실시예와 관련하여 다양하게 설명된 로직, 로직 블록, 모듈, 및 회로는 범용 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드 프로그램 가능 한 게이트 어레이(FPGA), 또는 다른 프로그램 가능한 로직 장치, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트, 또는 설명된 기능을 실행하도록 설계된 이들의 조합으로 구현될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 택일적으로, 프로세서는 소정의 통상의 프로세서, 제어기, 마이크로제어기, 도는 상태 기계일 수도 있다. 프로세서는 계산 장치, 예를 들어, DSP 및 마이크로프로세서의 조합, 다수의 마이크로프로세서, DSP 코어와 관련한 하나 이상의 마이크로프로세서, 또는 소정의 다른 구성으로 구현될 수도 있다.
개시된 실시예는 이하의 기술, 즉 코드 분할 다중 액세스(CDMA) 시스템, 다중 캐리어 CDMA(MC-CDMA),광대역 CDMA(W-CDMA), 고속 다운링크 패킷 액세스(HSDPA), 시분할 다중 액세스(TDMA) 시스템, 주파수 분할 다중 액세스(FDMA) 시스템, 및 직교 주파수 분할 다중 액세스(OFDMA) 시스템 중 하나 또는 조합에 적용될 수도 있다.
설명된 방법은 기술 분야의 당업자 중 하나에 의해 알려진 다양한 통신 하드웨어, 프로세서 및 시스템상에서 구현될 수도 있다. 예를 들어, 설명된 바와 같은 동작을 위해 클라이언트에 대해 통상적으로 요구되는 것은 클라이언트가 콘텐츠 및 정보를 디스플레이하기 위한 디스플레이, 클라이언트의 연산을 제어하기 위한 프로세서, 및 클라이언트의 연산과 관련한 데이터 및 프로그램을 저장하기 위한 메모리를 갖는다는 것이다. 일 실시예에서, 클라이언트는 셀룰러 폰이다. 다른 실시예에서, 클라이언트는 통신 설비를 갖는 휴대용 컴퓨터이다. 또다른 실시예에서, 클라이언트는 통신 설비를 갖는 개인용 컴퓨터이다.
개시된 실시예와 관련하여 다양하게 설명된 로직, 로직 블록, 모듈, 및 회로는 범용 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드 프로그램 가능한 게이트 어레이(FPGA), 또는 다른 프로그램 가능한 로직 장치, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트, 또는 설명된 기능을 실행하도록 설계된 이들의 조합으로 구현될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 택일적으로, 프로세서는 소정의 통상의 프로세서, 제어기, 마이크로제어기, 도는 상태 기계일 수도 있다. 프로세서는 계산 장치, 예를 들어, DSP 및 마이크로프로세서의 조합, 다수의 마이크로프로세서, DSP 코어와 관련한 하나 이상의 마이크로프로세서, 또는 소정의 다른 구성으로 구현될 수도 있다.
개시된 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계는 하드웨어, 프로세서에 의해 실행된 소프트웨어 모듈 ,또는 이 둘의 조합으로 직접 실행될 수도 있다. 소프트웨어 모듈은 기술 분야에서 알려진, RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드디스크, 이동식 디스크, CD-ROM, 또는 소정의 다른 형태의 저장 매체에 상주할 수도 있다. 예로든 저장 매체는 프로세서에 결합되어서, 프로세서가 저장 매체 사이에서 정보를 판독 및 기록할 수 있게 한다. 택일적으로, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서 및 저장 매체는 ASIC로 존재할 수도 있다. ASIC는 사용자 터미널에 존재할 수도 있다. 택일적으로, 프로세서 및 저장 매체는 사용자 터미널에서 개별 컴포넌트로서 존재할 수도 있다.
개시된 실시예의 설명은 기술분야의 당업자가 본 발명을 실시 및 이용하게 하기 위해 제공된다. 이러한 실시예에 대한 다양한 변형이 기술 분야의 당업자에게 명백하며, 한정된 일반 원리는 본 실시예의 사상을 벗어나지 않고, 예를 들어, 즉각 메시지 서비스 또는 소정의 일반적인 무선 데이터 통신 애플리케이션과 같은 다른 실시예에 적용할 수 있다. 따라서, 본 발명의 사상은 실시예에 한정되지 않으며, 설명된 원리 및 새로운 특징과 양립하는 광의의 개념과 조화된다. 예라는 용어는 예증, 실례 또는 실시예라는 의미로 사용된다. 설명된 소정의 실시예는 단지 예이며 다른 실시예에 비해 반드시 유리하게 구성된 것만을 아니다.

Claims (23)

  1. 비디오 스트림을 디코딩하는 방법으로서,
    상기 비디오 스트림을 다수의 메인층 프레임을 갖는 메인층, 및 다수의 인터폴레이팅된 층 프레임을 갖는 인터폴레이팅된 층으로 분할하는 단계;
    프레임 레이트 업 변환(FRUC) 프레임을 인터폴레이팅하는 단계; 및
    상기 인터폴레이팅된 FRUC 프레임의 지원으로 상기 메인층에서 다수의 메인층 프레임을 엔코딩하는 단계를 포함하는,
    비디오 스트림 디코딩 방법.
  2. 제1항에 있어서,
    각각의 메인층 프레임과 각각의 잠재 FRUC 프레임 사이에 1대1 관계가 존재하는 것을 특징으로 하는 비디오 스트림 디코딩 방법.
  3. 제1항에 있어서,
    상기 FRUC 프레임은 재구성된 현재 프레임 및 저장된 이전의 프레임에 의존하는 것을 특징으로 하는 비디오 스트림 디코딩 방법.
  4. 제1항에 있어서,
    상기 FRUC 프레임을 인터폴레이팅하는 단계는 장래에 엔코딩될 메인층 프레 임의 동일 시간 인스턴스에서 상기 FRUC 프레임을 인터폴레이팅하는 단계를 포함하는 것을 특징으로 하는 비디오 스트림 디코딩 방법.
  5. 제1항에 있어서,
    상기 인터폴레이팅된 FRUC 프레임의 지원으로 상기 메인층에서 다수의 메인층 프레임을 엔코딩하는 단계는, 상기 다수의 인터폴레이팅된 층 프레임에서 하나의 인터폴레이팅된 층 프레임의 매크로블록의 모드 선택 프로세스를 실행하는 단계를 포함하는 것을 특징으로 하는 비디오 스트림 디코딩 방법.
  6. 프로세서에 의해 실행될 때, 상기 프로세서가 비디오 스트림을 엔코딩하는 방법을 실행하게 하는 명령이 저장된 컴퓨터 판독가능 매체로서, 상기 방법은,
    상기 비디오 스트림을 다수의 메인층 프레임을 갖는 메인층, 및 다수의 인터폴레이팅된 층 프레임을 갖는 인터폴레이팅된 층으로 분할하는 단계;
    프레임 레이트 업 변환(FRUC) 프레임을 인터폴레이팅하는 단계; 및
    상기 인터폴레이팅된 FRUC 프레임의 지원으로 상기 메인층에서 다수의 메인층 프레임을 엔코딩하는 단계를 포함하는,
    컴퓨터 판독가능 매체.
  7. 제6항에 있어서,
    각각의 메인층 프레임과 각각의 잠재 FRUC 프레임 사이에 1대1 관계가 존재 하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  8. 제6항에 있어서,
    상기 FRUC 프레임은 재구성된 현재 프레임 및 저장된 이전의 프레임에 의존하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  9. 제6항에 있어서,
    상기 FRUC 프레임을 인터폴레이팅하는 단계는 장래에 엔코딩될 메인층 프레임의 동일 시간 인스턴스에서 상기 FRUC 프레임을 인터폴레이팅하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  10. 제6항에 있어서,
    상기 인터폴레이팅된 FRUC 프레임의 지원으로 상기 메인층에서 다수의 메인층 프레임을 엔코딩하는 단계는, 상기 다수의 인터폴레이팅된 층 프레임에서 하나의 인터폴레이팅된 층 프레임의 매크로블록의 모드 선택 프로세스를 실행하는 단계를 포함하는 것을 특징으로 하는 컴퓨터 판독가능 매체.
  11. 비디오 스트림을 엔코딩하는 장치로서,
    상기 비디오 스트림을 다수의 메인층 프레임을 갖는 메인층, 및 다수의 인터폴레이팅된 층 프레임을 갖는 인터폴레이팅된 층으로 분할하는 수단;
    프레임 레이트 업 변환(FRUC) 프레임을 인터폴레이팅하는 수단; 및
    상기 인터폴레이팅된 FRUC 프레임의 지원으로 상기 메인층에서 다수의 메인층 프레임을 엔코딩하는 수단을 포함하는,
    비디오 스트림 엔코딩 장치.
  12. 제11항에 있어서,
    각각의 메인층 프레임과 각각의 잠재 FRUC 프레임 사이에 1대1 관계가 존재하는 것을 특징으로 하는 비디오 스트림 엔코딩 장치.
  13. 제1항에 있어서,
    상기 FRUC 프레임은 재구성된 현재 프레임 및 저장된 이전의 프레임에 의존하는 것을 특징으로 하는 비디오 스트림 엔코딩 장치.
  14. 제1항에 있어서,
    상기 FRUC 프레임을 인터폴레이팅하는 단계는 장래에 엔코딩될 메인층 프레임의 동일 시간 인스턴스에서 상기 FRUC 프레임을 인터폴레이팅하는 단계를 포함하는 것을 특징으로 하는 비디오 스트림 엔코딩 장치.
  15. 제1항에 있어서,
    상기 인터폴레이팅된 FRUC 프레임의 지원으로 상기 메인층에서 다수의 메인 층 프레임을 엔코딩하는 수단은, 상기 다수의 인터폴레이팅된 층 프레임에서 하나의 인터폴레이팅된 층 프레임의 매크로블록의 모드 선택 프로세스를 실행하는 수단을 포함하는 것을 특징으로 하는 비디오 스트림 엔코딩 장치.
  16. 비디오 스트림을 수신하는 비디오 엔코더 프로세서로서,
    상기 수신된 비디오 스트림으로부터 다수의 FRUC 프레임을 생성하는 프레임 레이트 업 변환(FRUC) 모듈;
    상기 FRUC 모듈에 결합된 레이트 왜곡 코스트(RD_cost) 계산 모듈을 포함하는데, 상기 RD_cost 계산 모듈은 다수의 FRUC 프레임을 수신하고, 다수의 FRUC 프레임 중 하나의 매크로블록에 기초한 F 프레임 매크로블록 RD_cost를 계산하며; 및
    상기 RD_cost 계산 모듈과 결합된 모드 선택 모듈을 포함하며, 상기 모드 선택 모듈은 상기 다수의 FRUC 프레임 중 하나의 상기 매크로블록에 기초한 상기 F 프레임 매크로블록 RD_cost를 대응하는 B 프레임에서 대응하는 매크로블록에 대한 B 프레임 매크로블록 RD_cost와 비교하도록 구성된,
    비디오 엔코더 프로세서.
  17. 제16항에 있어서,
    상기 모드 결정 모듈은, 상기 다수의 FRUC 프레임 중 하나의 상기 매크로블록에 기초한 상기 F 프레임 매크로블록 RD_cost가 상기 대응하는 B 프레임의 상기 대응하는 매크로블록에 대한 상기 B 프레임 매크로블록 RD_cost보다 작을 때, 출력 비디오 스트림에 대한 F 프레임 엔코딩 모드를 선택하도록 추가로 구성된 것을 특징으로 하는 비디오 엔코더 프로세서.
  18. 제16항에 있어서,
    B 프레임 엔코더를 더 포함하며,
    상기 B 프레임 엔코더는 대응하는 B 프레임을 생성하는 것을 특징으로 하는 비디오 엔코더 프로세서.
  19. 제16항에 있어서,
    상기 FRUC 모듈에 결합된 차의 절대값의 합(SAD) 계산 모듈을 더 포함하며, 상기 SAD 계산 모듈은 상기 다수의 FRUC 프레임 중 하나의 상기 매크로블록에 기초한 SAD 값, 및 상기 대응하는 B 프레임의 상기 대응하는 매크로블록에 대한 SAD 값을 계산하도록 구성된 것을 특징으로 하는 비디오 엔코더 프로세서.
  20. 제19항에 있어서,
    상기 SAD 계산 모듈은 상기 다수의 FRUC 프레임 중 하나의 상기 매크로블록에 기초한 상기 SAD 값과, 상기 대응하는 B 프레임의 상기 대응하는 매크로블록에 대한 상기 SAD 값의 차를 계산하고, 상기 차를 예정된 임계치와 비교하도록 구성되며,
    상기 SAD 계산 모듈은, 만일 상기 차가 상기 예정된 임계치보다 작으면, F 프레임 모드를 나타내기 위한 단일 비트를 생성하는 것을 특징으로 하는 비디오 엔코더 프로세서.
  21. 비디오 스트림을 엔코딩하는 방법으로서,
    상기 수신된 비디오 스트림으로부터 다수의 프레임 레이트 업 변환(FRUC) 프레임을 생성하는 단계;
    상기 다수의 FRUC 프레임 중 하나의 매크로블록에 기초하여 F 프레임 매크로블록 RD_cost를 계산하는 단계;
    상기 계산된 F 프레임 매크로블록 RD_cost를 대응하는 B 프레임의 대응하는 매크로블록에 대한 B 프레임 매크로블록 RD_cost와 비교하는 단계; 및
    상기 비교의 결과에 기초하여 엔코딩 방식을 선택하는 단계를 포함하는,
    비디오 스트림을 엔코딩하는 방법.
  22. 비디오 스트림을 엔코딩하는 장치로서,
    상기 수신된 비디오 스트림으로부터 다수의 프레임 레이트 업 변환(FRUC) 프레임을 생성하는 수단;
    상기 다수의 FRUC 프레임 중 하나의 매크로블록에 기초하여 F 프레임 매크로블록 RD_cost를 계산하는 수단;
    상기 계산된 F 프레임 매크로블록 RD_cost를 대응하는 B 프레임의 대응하는 매크로블록에 대한 B 프레임 매크로블록 RD_cost와 비교하는 수단; 및
    상기 비교의 결과에 기초하여 엔코딩 방식을 선택하는 단계를 포함하는,
    비디오 스트림 엔코딩 장치.
  23. 프로세서에 의해 실행될 때, 상기 프로세서가 비디오 스트림을 엔코딩하는 방법을 실행하게 하는 명령이 저장된 컴퓨터 판독가능 매체로서, 상기 방법은,
    상기 수신된 비디오 스트림으로부터 다수의 프레임 레이트 업 변환(FRUC) 프레임을 생성하는 단계;
    상기 다수의 FRUC 프레임 중 하나의 매크로블록에 기초하여 F 프레임 매크로블록 RD_cost를 계산하는 단계;
    상기 계산된 F 프레임 매크로블록 RD_cost를 대응하는 B 프레임의 대응하는 매크로블록에 대한 B 프레임 매크로블록 RD_cost와 비교하는 단계; 및
    상기 비교의 결과에 기초하여 엔코딩 방식을 선택하는 단계를 포함하는,
    컴퓨터 판독가능 매체.
KR1020077002477A 2004-07-01 2005-07-01 규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을이용하는 방법 및 장치 KR20070053212A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US58515404P 2004-07-01 2004-07-01
US60/585,154 2004-07-01
US66581605P 2005-03-22 2005-03-22
US60/665,816 2005-03-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020087027670A Division KR100913260B1 (ko) 2004-07-01 2005-07-01 규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을 이용하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20070053212A true KR20070053212A (ko) 2007-05-23

Family

ID=35116155

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020077002477A KR20070053212A (ko) 2004-07-01 2005-07-01 규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을이용하는 방법 및 장치
KR1020087027670A KR100913260B1 (ko) 2004-07-01 2005-07-01 규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을 이용하는 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020087027670A KR100913260B1 (ko) 2004-07-01 2005-07-01 규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을 이용하는 방법 및 장치

Country Status (15)

Country Link
US (1) US8948262B2 (ko)
EP (1) EP1774779A2 (ko)
JP (2) JP5038134B2 (ko)
KR (2) KR20070053212A (ko)
CN (1) CN101010964B (ko)
AR (1) AR049454A1 (ko)
AU (1) AU2005262409A1 (ko)
BR (1) BRPI0512816A (ko)
CA (1) CA2572605C (ko)
IL (1) IL180444A0 (ko)
MX (1) MX2007000254A (ko)
PE (1) PE20060536A1 (ko)
RU (1) RU2370909C2 (ko)
TW (1) TWI392374B (ko)
WO (1) WO2006007527A2 (ko)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200607355A (en) * 2004-05-04 2006-02-16 Qualcomm Inc Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video
TWI392374B (zh) 2004-07-01 2013-04-01 Qualcomm Inc 於可調節視訊編碼中用以使用框率上升轉換技術之方法與裝置
CN101189882B (zh) 2004-07-20 2012-08-01 高通股份有限公司 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置
US8553776B2 (en) 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
US9258519B2 (en) * 2005-09-27 2016-02-09 Qualcomm Incorporated Encoder assisted frame rate up conversion using various motion models
US20070076796A1 (en) * 2005-09-27 2007-04-05 Fang Shi Frame interpolation using more accurate motion information
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US8750387B2 (en) 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8634463B2 (en) 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
US8582660B2 (en) 2006-04-13 2013-11-12 Qualcomm Incorporated Selective video frame rate upconversion
US8565216B2 (en) * 2006-06-07 2013-10-22 Qualcomm Incorporated Methods and apparatus for supporting tunneling related to wireless uplink signaling flows
JP2009540694A (ja) * 2006-06-07 2009-11-19 クゥアルコム・インコーポレイテッド 制御値を使用して通信処理を制御する方法および装置
US8565217B2 (en) * 2006-06-07 2013-10-22 Qualcomm Incorporated Methods and apparatus for supporting tunneling related to wireless downlink signaling flows
CN100584006C (zh) * 2006-06-20 2010-01-20 中兴通讯股份有限公司 一种基于时间分辨率变换的视频转换处理方法
US10084627B2 (en) 2006-07-10 2018-09-25 Qualcomm Incorporated Frequency hopping in an SC-FDMA environment
US8457221B2 (en) 2006-09-08 2013-06-04 Qualcomm Incorporated Signaling transmission with localized spreading for wireless communication
CN101536351B (zh) 2006-11-06 2013-09-18 高通股份有限公司 根据子带负荷进行发射功率控制的方法
US8199812B2 (en) 2007-01-09 2012-06-12 Qualcomm Incorporated Adaptive upsampling for scalable video coding
US9072095B2 (en) 2007-01-09 2015-06-30 Samsung Electronics Co., Ltd. Apparatus and method for allocating resources in a single carrier-frequency division multiple access system
US8848793B2 (en) * 2007-10-31 2014-09-30 Broadcom Corporation Method and system for video compression with integrated picture rate up-conversion
US8767831B2 (en) * 2007-10-31 2014-07-01 Broadcom Corporation Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
US8514939B2 (en) * 2007-10-31 2013-08-20 Broadcom Corporation Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
US8953685B2 (en) * 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
JP4296218B1 (ja) * 2008-02-21 2009-07-15 シャープ株式会社 映像表示装置
US8284839B2 (en) * 2008-06-23 2012-10-09 Mediatek Inc. Joint system for frame rate conversion and video compression
US8494058B2 (en) 2008-06-23 2013-07-23 Mediatek Inc. Video/image processing apparatus with motion estimation sharing, and related method and machine readable medium
US20100008419A1 (en) * 2008-07-10 2010-01-14 Apple Inc. Hierarchical Bi-Directional P Frames
US20100149301A1 (en) * 2008-12-15 2010-06-17 Microsoft Corporation Video Conferencing Subscription Using Multiple Bit Rate Streams
US8009567B2 (en) * 2009-02-05 2011-08-30 Cisco Technology, Inc. System and method for improved data transmission reliability over a network
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
WO2011150109A1 (en) 2010-05-26 2011-12-01 Qualcomm Incorporated Camera parameter- assisted video frame rate up conversion
US8947492B2 (en) * 2010-06-18 2015-02-03 Microsoft Corporation Combining multiple bit rate and scalable video coding
KR101750047B1 (ko) 2010-10-11 2017-06-22 삼성전자주식회사 3차원 영상 제공 및 처리 방법과 3차원 영상 제공 및 처리 장치
RU2446471C1 (ru) * 2010-12-23 2012-03-27 Государственное образовательное учреждение высшего профессионального образования "Тамбовский государственный технический университет" ГОУ ВПО ТГТУ Способ обнаружения движущихся объектов и определения их параметров
JP5950541B2 (ja) * 2011-11-07 2016-07-13 キヤノン株式会社 動きベクトル符号化装置、動きベクトル符号化方法及びプログラム、動きベクトル復号装置、動きベクトル復号方法及びプログラム
US8661491B1 (en) * 2012-08-02 2014-02-25 Ericsson Television Inc. Methods using base content and additive content and related client devices and network server devices
US10230956B2 (en) * 2012-09-26 2019-03-12 Integrated Device Technology, Inc. Apparatuses and methods for optimizing rate-distortion of syntax elements
CN103152566B (zh) * 2013-02-22 2016-03-09 华中科技大学 一种视频帧率提升方法
WO2014174591A1 (ja) * 2013-04-23 2014-10-30 富士通株式会社 画像符号化装置、画像符号化方法、及び撮像装置
CN103929648B (zh) * 2014-03-27 2017-04-19 华为技术有限公司 一种帧率上采样中的运动估计方法和装置
US10432946B2 (en) * 2014-12-23 2019-10-01 Apple Inc. De-juddering techniques for coded video
US10055807B2 (en) 2016-03-02 2018-08-21 Samsung Electronics Co., Ltd. Hardware architecture for acceleration of computer vision and imaging processing
CN107770511A (zh) * 2016-08-15 2018-03-06 中国移动通信集团山东有限公司 一种多视点视频的编解码方法、装置和相关设备
JP2022008719A (ja) * 2016-11-23 2022-01-14 セルヴァス エーアイ インコーポレイテッド 疾患発症予測方法及び装置
US10523961B2 (en) 2017-08-03 2019-12-31 Samsung Electronics Co., Ltd. Motion estimation method and apparatus for plurality of frames
US11483565B2 (en) * 2018-08-10 2022-10-25 Saturn Licensing Llc Receiving apparatus, receiving method, transmitting apparatus, and transmitting method

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3670096A (en) * 1970-06-15 1972-06-13 Bell Telephone Labor Inc Redundancy reduction video encoding with cropping of picture edges
EP0018856B1 (en) 1979-05-08 1990-08-16 British Broadcasting Corporation Television display system
JPH0317883A (ja) * 1989-06-15 1991-01-25 Sony Corp 時間情報発生装置
JP3159365B2 (ja) 1989-09-27 2001-04-23 ソニー株式会社 映像信号伝送方法及び映像信号伝送装置
GB2247587B (en) * 1990-08-31 1994-07-20 Sony Broadcast & Communication Movie film and video production
US5122875A (en) 1991-02-27 1992-06-16 General Electric Company An HDTV compression system
FR2675002B1 (fr) * 1991-04-05 1993-06-18 Thomson Csf Procede de classification des pixels d'une image appartenant a une sequence d'images animees et procede d'interpolation temporelle d'images utilisant ladite classification.
US5784107A (en) * 1991-06-17 1998-07-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for picture coding and method and apparatus for picture decoding
KR0151410B1 (ko) * 1992-07-03 1998-10-15 강진구 영상신호의 운동벡터 검출방법
JPH08510880A (ja) * 1993-06-01 1996-11-12 トムソン マルチメディア ソシエテ アノニム 動き補償された補間の方法及び装置
JP2900983B2 (ja) * 1994-12-20 1999-06-02 日本ビクター株式会社 動画像帯域制限方法
JP3604752B2 (ja) 1995-01-09 2004-12-22 沖電気工業株式会社 動きベクトル検出装置および方法
JP3577354B2 (ja) 1995-02-08 2004-10-13 富士写真フイルム株式会社 補間画像データ生成装置および方法
FR2742900B1 (fr) * 1995-12-22 1998-02-13 Thomson Multimedia Sa Procede d'interpolation de trames progressives
JPH09182083A (ja) 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
US5852565A (en) 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
WO1997046022A2 (en) 1996-05-24 1997-12-04 Philips Electronics N.V. Motion estimation
JP2000512091A (ja) * 1996-05-24 2000-09-12 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 動作ベクトル処理
JP3363036B2 (ja) 1996-08-23 2003-01-07 ケイディーディーアイ株式会社 動画像符号化ビットストリーム変換装置
EP0883107B9 (en) * 1996-11-07 2005-01-26 Matsushita Electric Industrial Co., Ltd Sound source vector generator, voice encoder, and voice decoder
US6043846A (en) * 1996-11-15 2000-03-28 Matsushita Electric Industrial Co., Ltd. Prediction apparatus and method for improving coding efficiency in scalable video coding
US6480541B1 (en) * 1996-11-27 2002-11-12 Realnetworks, Inc. Method and apparatus for providing scalable pre-compressed digital video with reduced quantization based artifacts
US6008865A (en) * 1997-02-14 1999-12-28 Eastman Kodak Company Segmentation-based method for motion-compensated frame interpolation
FR2764156B1 (fr) 1997-05-27 1999-11-05 Thomson Broadcast Systems Dispositif de pretraitement pour codage mpeg ii
JP4092778B2 (ja) 1997-06-04 2008-05-28 株式会社日立製作所 画像信号の方式変換装置及びテレビジョン受像機
EP0883298A3 (en) 1997-06-04 2000-03-29 Hitachi, Ltd. Conversion apparatus for image signals and TV receiver
JP4083266B2 (ja) 1997-10-07 2008-04-30 株式会社日立製作所 動きベクトルの生成方法および装置
WO1999022525A1 (en) 1997-10-23 1999-05-06 Mitsubishi Denki Kabushiki Kaisha Image encoding method, image encoder, image decoding method, and image decoder
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
US6560371B1 (en) * 1997-12-31 2003-05-06 Sarnoff Corporation Apparatus and method for employing M-ary pyramids with N-scale tiling
US6404901B1 (en) * 1998-01-29 2002-06-11 Canon Kabushiki Kaisha Image information processing apparatus and its method
US6192079B1 (en) * 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
JP4004653B2 (ja) * 1998-08-03 2007-11-07 カスタム・テクノロジー株式会社 動きベクトル検出方法および装置、記録媒体
US6229570B1 (en) * 1998-09-25 2001-05-08 Lucent Technologies Inc. Motion compensation image interpolation—frame rate conversion for HDTV
JP2000134585A (ja) 1998-10-23 2000-05-12 Hitachi Ltd 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
US6597738B1 (en) * 1999-02-01 2003-07-22 Hyundai Curitel, Inc. Motion descriptor generating apparatus by using accumulated motion histogram and a method therefor
US6618439B1 (en) * 1999-07-06 2003-09-09 Industrial Technology Research Institute Fast motion-compensated video frame interpolator
CA2279797C (en) * 1999-08-06 2010-01-05 Demin Wang A method for temporal interpolation of an image sequence using object-based image analysis
US7003038B2 (en) * 1999-09-27 2006-02-21 Mitsubishi Electric Research Labs., Inc. Activity descriptor for video sequences
US6704357B1 (en) * 1999-09-28 2004-03-09 3Com Corporation Method and apparatus for reconstruction of low frame rate video conferencing data
JP2003513565A (ja) * 1999-10-29 2003-04-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ符号化方法
US6639943B1 (en) 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
EP1287492A2 (en) 2000-05-18 2003-03-05 Koninklijke Philips Electronics N.V. Motion estimator for reduced halos in motion compensated picture rate up-conversion
EP1296525A4 (en) 2000-06-28 2006-07-26 Mitsubishi Electric Corp IMAGE ENCODER AND IMAGE ENCODING METHOD
RU2182727C2 (ru) 2000-07-20 2002-05-20 Дворкович Александр Викторович Способ поиска векторов движения деталей в динамических изображениях
US7042941B1 (en) * 2001-07-17 2006-05-09 Vixs, Inc. Method and apparatus for controlling amount of quantization processing in an encoder
CA2574127A1 (en) * 2002-01-18 2003-07-31 Kabushiki Kaisha Toshiba Video encoding method and apparatus and video decoding method and apparatus
AU2003202777A1 (en) 2002-02-28 2003-09-09 Koninklijke Philips Electronics N.V. Method and apparatus for field rate up-conversion
KR100850705B1 (ko) * 2002-03-09 2008-08-06 삼성전자주식회사 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치
US6975359B2 (en) 2002-04-25 2005-12-13 Trident Microsystems, Inc. Method and system for motion and edge-adaptive signal frame rate up-conversion
US20030215011A1 (en) 2002-05-17 2003-11-20 General Instrument Corporation Method and apparatus for transcoding compressed video bitstreams
KR100850706B1 (ko) * 2002-05-22 2008-08-06 삼성전자주식회사 적응적 동영상 부호화 및 복호화 방법과 그 장치
JP4318019B2 (ja) 2002-05-28 2009-08-19 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
WO2003103288A1 (en) * 2002-05-29 2003-12-11 Diego Garrido Predictive interpolation of a video signal
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
DE10232372B3 (de) 2002-07-17 2004-01-22 Micronas Gmbh Verfahren zur Interpolation eines Bildpunktes einer Zwischenzeile eines Halbbildes
US20050243925A1 (en) 2002-09-11 2005-11-03 Koninklijke Philips Electronics N.V. Video coding method and device
JP3910510B2 (ja) 2002-09-17 2007-04-25 株式会社東芝 フレーム補間システム及びフレーム補間方法
JP4007594B2 (ja) 2002-09-26 2007-11-14 株式会社東芝 動画像符号化装置及び方法、動画像符号化方式変換装置及び方法
US7116716B2 (en) * 2002-11-01 2006-10-03 Microsoft Corporation Systems and methods for generating a motion attention model
KR100517504B1 (ko) * 2003-07-01 2005-09-28 삼성전자주식회사 Ｂ-픽처의 움직임 보상 모드 결정방법 및 장치
FR2857205B1 (fr) * 2003-07-04 2005-09-23 Nextream France Dispositif et procede de codage de donnees video
US7366462B2 (en) 2003-10-24 2008-04-29 Qualcomm Incorporated Method and apparatus for seamlessly switching reception between multimedia streams in a wireless communication system
JP4198608B2 (ja) * 2004-01-15 2008-12-17 株式会社東芝 補間画像生成方法および装置
US20050201471A1 (en) 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
TW200607355A (en) * 2004-05-04 2006-02-16 Qualcomm Inc Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video
TWI392374B (zh) 2004-07-01 2013-04-01 Qualcomm Inc 於可調節視訊編碼中用以使用框率上升轉換技術之方法與裝置
US8374238B2 (en) 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
CN101189882B (zh) * 2004-07-20 2012-08-01 高通股份有限公司 用于视频压缩的编码器辅助帧率上变换（ea-fruc）的方法和装置
US8553776B2 (en) 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
US8649436B2 (en) 2004-08-20 2014-02-11 Sigma Designs Inc. Methods for efficient implementation of skip/direct modes in digital video compression algorithms
US20060133495A1 (en) 2004-12-22 2006-06-22 Yan Ye Temporal error concealment for video communications
KR100703744B1 (ko) * 2005-01-19 2007-04-05 삼성전자주식회사 디블록을 제어하는 ｆｇｓ 기반의 비디오 인코딩 및디코딩 방법 및 장치
US8644386B2 (en) * 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US8750387B2 (en) * 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
US8634463B2 (en) * 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
JP4764273B2 (ja) * 2006-06-30 2011-08-31 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、記憶媒体
US8045783B2 (en) * 2006-11-09 2011-10-25 Drvision Technologies Llc Method for moving cell detection from temporal image sequence model estimation

Also Published As

Publication number Publication date
JP5175370B2 (ja) 2013-04-03
KR20080112369A (ko) 2008-12-24
KR100913260B1 (ko) 2009-08-21
US20060002465A1 (en) 2006-01-05
TW200625963A (en) 2006-07-16
JP2011182408A (ja) 2011-09-15
TWI392374B (zh) 2013-04-01
EP1774779A2 (en) 2007-04-18
WO2006007527A2 (en) 2006-01-19
CA2572605C (en) 2013-04-02
WO2006007527A3 (en) 2006-08-17
PE20060536A1 (es) 2006-06-28
US8948262B2 (en) 2015-02-03
JP5038134B2 (ja) 2012-10-03
CA2572605A1 (en) 2006-01-19
CN101010964B (zh) 2012-01-04
AU2005262409A1 (en) 2006-01-19
RU2370909C2 (ru) 2009-10-20
IL180444A0 (en) 2007-06-03
JP2008505555A (ja) 2008-02-21
MX2007000254A (es) 2007-04-09
AR049454A1 (es) 2006-08-02
BRPI0512816A (pt) 2008-04-08
RU2007103812A (ru) 2008-08-10
CN101010964A (zh) 2007-08-01

Similar Documents

Publication Publication Date Title
KR100913260B1 (ko) 규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을 이용하는 방법 및 장치
JP5081305B2 (ja) フレーム間予測符号化の方法および装置
KR100907847B1 (ko) 순간적 비디오 압축으로 이동 벡터 예측을 위한 방법 및장치
JP5069099B2 (ja) 時間スケーラビリティを可能にするハイブリッド映像圧縮におけるフレーム予測のための方法および装置
KR101024231B1 (ko) 비디오 압축에서의 강화된 프레임 보간의 장치 및 방법
JP5372754B2 (ja) 適応性のあるビデオフレーム補間
KR101161052B1 (ko) 비디오 전화통신에서의 비트 레이트 감소를 위한 방법 및 장치
CA2600750A1 (en) Content adaptive multimedia processing
US20050105615A1 (en) Selective and/or scalable complexity control for video codecs
TW201008291A (en) Video encoding by filter selection
JP2004048552A (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
Ye et al. Improved side information generation with iterative decoding and frame interpolation for distributed video coding
KR20100082700A (ko) 와이너-지브 부호화 및 복호화 시스템 및 방법
CN109361924B (zh) 图像编码方法及装置
Slowack et al. Refining WZ rate estimation in DVC with feedback channel constraints

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
A107 Divisional application of patent
J201 Request for trial against refusal decision
WITB Written withdrawal of application
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20081112

Effective date: 20090115