KR20040032913A - 모션 보상을 사용하는 전체적 삽입 ｆｇｓ 비디오 코딩 - Google Patents

모션 보상을 사용하는 전체적 삽입 ｆｇｓ 비디오 코딩 Download PDF

Info

Publication number
KR20040032913A
KR20040032913A KR10-2004-7002166A KR20047002166A KR20040032913A KR 20040032913 A KR20040032913 A KR 20040032913A KR 20047002166 A KR20047002166 A KR 20047002166A KR 20040032913 A KR20040032913 A KR 20040032913A
Authority
KR
South Korea
Prior art keywords
frame
base layer
frames
residues
decoding
Prior art date
Application number
KR10-2004-7002166A
Other languages
English (en)
Inventor
반데르샤르미헬라
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20040032913A publication Critical patent/KR20040032913A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

스케일러블 비디오 코딩 방법은 양방향 예측 프레임(B 프레임) 또는 예측 프레임 및 양방향 예측 프레임 및 스케일러블 코더를 사용하여 완전히 코딩된 (P 및 B 프레임)을 생성하는 단일 보상 루프를 가진다.

Description

모션 보상을 사용하는 전체적 삽입 ＦＧＳ 비디오 코딩{Totally embedded FGS video coding with motion compensation}
스케일러블 개선층 비디오 코딩은 인터넷과 같은 가변하는 대역폭을 가진 컴퓨터 네트워크를 통해 전송되는 비디오를 보상하기 위하여 사용되었다. FGS 코딩 기술(ISO MPEG-4 표준에 의해 채택됨)을 사용하는 전류 개선층 비디오 코딩 방법은 도 1에 도시된다. 도시된 바와같이, 비디오 코딩 방법(10)은 비트 속도 RBL로 코팅되는 예측 기반의 베이스층(11) 및 REL로 코딩되는 FGS 개선층(12)을 포함한다.
예측 기반의 베이스층(11)은 인트라프레임 코딩된 I 프레임들, 모션 평가 보상을 사용하는 이전의 I 또는 P 프레임들로부터 일시적으로 예측된 인터프레임 코딩된 P 프레임들, 및 모션 평가 보상을 사용하여 B 프레임에 인접한 연속하는 프레임들 및 이전 프레임 양쪽으로부터 일시적으로 예측되는 인터프레임 코딩되는 양방향 B 프레임들을 포함한다. 베이스층(11)에서 예측 및/또는 내삽 코딩 즉, 모션 평가 및 대응 보상의 사용은 그 내부에서 일시적인 리던던시를 감소시키지만, 제한된 범위로만 감소시키는데, 그 이유는 단지 베이스층 프레임이 예측을 위해서만 사용되기 때문이다.
개선층(12)은 각각의 본래 프레임으로부터 그것의 각각의 재구성된 베이스층을 감산함으로써(이런 감산은 모션 보상 도메인에서 또한 발생한다) FGS 개선층 I, P 및 B 프레임들을 포함한다. 결과적으로, 이 개선층에서 FGS 개선층 I, P 및 B 프레임들은 모션 보상되지 못한다. (FGS 잔여는 동일 시점에서 프레임들로부터 얻어진다). 이것에 대한 일차적 이유는 전송 시점에서 이용 가능한 대역폭에 각각 의존하는 각각의 FGS 개선층을 절단시키는 융통성을 제공하기 위해서이다. 특히, 개선층(12)의 미세 그래뉼러스케일러블 코딩(fine granular scalable coding)은 FGS 스트림이 Rmin= RBL내지 Rmax= RBL+ RBL범위의 이용 가능한 대역폭을 가진 임의의 네트워크 세션상에서 전송되는 것을 허용한다. 예를들어, 만약 전송기 및 수신기 사이의 이용 가능한 대역폭이 B = R이면, 전송기는 속도 RBL로 베이스층 프레임을 전송하고 속도 RBL= R - RBL로 개선층 프레임의 일부만을 전송한다. 도 1에 도시된 바와같이, 개선층에서 FGS 개선층 프레임의 일부는 전송을 위해 미세 그래뉼러 스케일러블 방식으로 선택될수있다. 그러므로, 총 전송된 비트 속도는 단일 개선층을 가진 넓은 범위의 전송 대역폭을 지원하는데 있어서 융통성으로 인해 R = RBL+ RBL이다.
도 2는 도 1의 비디오 코딩 방법에서 베이스층(11) 및 개선층(12)을 코딩하기 위한 종래 FGS 인코더의 블록도를 도시한다. 도시된 바와같이, 프레임 i(FGSR(i)의 잔여 개선층은 MCR(i)-MCRQ(i)와 같고, 여기서 MCR(i)는 프레임 i의 모션 보상 잔여이고, MCRQ(i)는 양자화 및 양자화 해제 처리후 프레임 i의 모션 보상 잔여이다.
비록 도 1의 현재 FGS 개선층 비디오 코딩 방법이 매우 융통성이 있을지라도, 동일한 전송 비트 속도에서 비-스케일러블 코더 함수와 비교하여 비디오 이미지 품질의 성능이 상대적으로 낮은 단점이 있다. 이미지 품질의 감소는 개선층(12)의 미세 그래뉼러 스케일러블 코딩으로 인한 것이 아니라 개선층(12)내의 FGS 프레임중 임시 리던던시의 감소된 개발에 의한 것이다. 특히, 개선층(12)의 FGS 개선층 프레임은 그것의 각각의 베이스층 I, P 및 B 프레임의 모션 보상 잔여로부터만 유도되고, FGS 개선층 프레임은 개선층(12)에서 다른 FGS 개선층 프레임 및 베이스층(11)에서 다른 프레임을 예측하기 위하여 사용된다.
본 발명은 비디오 코딩, 및 특히 양방향 예측 프레임(B 프레임) 또는 예측 프레임 및 미세 그래뉼러 스케일러블(FGS; fine granular scalable) 코딩으로 완전히 코딩된 양방향 예측 프레임들 및 (P 및 B 프레임들)을 생성하기 위한 단일 모션 보상 루프를 사용하는 스케일러블 비디오 코딩 방법에 관한 것이다.
도 1은 현재 개선층 비디오 코딩 방법을 도시한다.
도 2는 도 1의 비디오 코딩 방법에서 베이스층 및 개선층을 코딩하기 위한 종래 인코더의 블록도이다.
도 3a는 본 발명의 제 1 실시예에 따른 스케일러블 비디오 코딩 방법을 도시한다.
도 3b는 본 발명의 제 2 실시예에 따른 스케일러블 비디오 코딩 방법을 도시한다.
도 4는 도 3a의 스케일러블 비디오 코딩 방법을 생성하기 위하여 사용될수있는 본 발명의 예시적인 실시예에 따른 인코더의 블록도이다.
도 5는 도 3b의 스케일러블 비디오 코딩 방법을 생성하는데 사용될수있는 본 발명의 실시예에 따른 인코더의 블록도이다.
도 6은 도 4의 인코더에 의해 생성된 압축된 베이스층 및 개선층 스트림을 디코딩하기 위해 사용될수있는 본 발명의 실시예에 다른 디코더의 블록도이다.
도 7은 도 6의 인코더에 의해 생성된 압축된 베이스층 및 개선층 스트림을 디코딩하는데 사용될수있는 본 발명의 실시예에 다른 디코더의 블록도이다.
도 8은 본 발명의 원리를 실행하는데 사용될수있는 시스템의 실시예를 도시한다.
따라서, 개선된 비디오 이미지 품질을 가진 스케일러블 비디오 코딩 방법은 필요하다.
본 발명은 양방향 예측 프레임(B 프레임들) 또는 예측된 프레임들 및 미세 그래뉼러 스케일러블(FGS) 코딩을 사용하여 전체적으로 코딩된 양방향 예측 프레임 및 (P 및 B 프레임들)을 생성하기 위한 단일 모션 보상 루프를 사용하는 스케일러블 비디오 코딩 방법에 관한 것이다. 본 발명의 일측면은 확장된 베이스층 기준프레임을 생성하도록 코딩되지 않은 비디오를 인코딩하는 단계로서, 각각의 상기 확장된 베이스층 기준 프레임은 관련된 기능 층 기준 프레임의 적어도 일부 및 베이스층 기준 프레임을 포함하는, 상기 인코딩하는 단계와; 코딩되지 않은 비디오 및 확장된 베이스층 기준 프레임으로부터 프레임 잔여를 예측하는 단계를 포함하는 비디오 코딩 방법을 포함한다.
본 발명의 다른 측면은 베이스층 스트림 및 개선층 스트림을 가진 압축된 비디오 디코딩 방법을 포함하고, 상기 방법은 확장된 베이스층 기준 프레임을 생성하기 위하여 베이스층 및 개선층을 디코딩하는 단계로서, 각각의 상기 확장된 베이스층 기준 프레임은 베이스층 기준 프레임 및 관련된 개선층 기준 프레임의 적어도 일부를 포함하는, 상기 디코딩하는 단계; 및 상기 확장된 베이스층 기준 프레임으로부터 프레임 잔여를 예측하는 단계를 포함한다.
본 발명의 다른 측면은 비디오 코딩 메모리 매체를 포함하고, 상기 매체는 확장된 베이스층 기준 프레임을 생성하기 위하여 코딩되지 않은 비디오를 인코딩하는 코드를 포함하는데, 각각의 확장된 베이스층 기준 프레임은 베이스층 기준 프레임 및 관련된 개선층 기준 프레임의 적어도 일부를 포함하고; 및 코딩되지 않은 비디오 및 확장된 베이스층 기준 프레임으로부터 프레임 잔여를 예측하기 위한 코드를 포함한다.
본 발명의 다른 측면은 베이스층 스트림 및 개선층 스트림을 가진 압축된 비디오를 디코딩하기 위한 메모리 매체를 포함하고, 상기 매체는 확장된 베이스층 기준 프레임을 생성하기 위하여 베이스층 및 개선층 스트림을 디코딩하기 위한 코드를 포함하는데, 각각의 상기 확장된 베이스층 기준 프레임은 베이스층 기준 프레임 및 관련된 개선층 기준 프레임의 적어도 일부를 포함하고; 및 상기 확장된 베이스층 기준 프레임으로부터 프레임 잔여를 예측하기 위한 코드를 포함한다.
본 발명의 다른 측면은 비디오를 코딩하기 위한 장치를 포함하고, 상기 장치는 확장된 베이스층 기준 프레임을 생성하기 위한 코딩되지 않은 비디오를 인코딩하기 위한 수단을 포함하는데, 각각의 상기 확장된 베이스층 기준 프레임은 베이스층 기준 프레임 및 관련된 개선층 기준 프레임의 적어도 일부를 포함하고; 및 코딩되지 않은 비디오 및 확장된 베이스층 기준 프레임으로부터 프레임 잔여를 예측하기 위한 수단을 포함한다.
본 발명의 다른 측면은 베이스층 스트림 및 개선층 스트림을 가진 압축된 비디오를 디코딩하기 위한 장치를 포함하고, 상기 장치는 확장된 베이스층 기준 프레임을 생성하기 위하여 베이스층 및 개선층 스트림을 디코딩하기 위한 수단을 포함하는데, 각각의 확장된 베이스층 기준 프레임은 베이스층 기준 프레임 및 관련된 개선층 기준 프레임의 적어도 일부를 포함하고; 및 확장된 베이스층 기준 프레임으로부터 프레임 잔여를 예측하기 위한 수단을 포함한다.
본 발명의 장점, 특성 및 다양한 구가적인 특징은 첨부 도면과 관련하여 상세히 기술될 하기 실시예를 고려하여 명백할 것이고, 동일한 참조 번호는 동일한 엘리먼트를 나타낸다.
도 3a는 본 발명의 제 1 실시예에 따른 스케일러블 비디오 코딩 방법(30)으 도시한다. 스케일러블 비디오 코딩 방법(30)은 예측 기반의 베이스층(31) 및 단일 루프 예측 기반의 개선층(32)을 포함한다.
예측 기반의 베이스층(31)은 인트라프레임 코딩 I 프레임 및 인터프레임 코딩 P 프레임을 포함하도록 코딩되고, 이것은 표준 베이스층 I 및 P 기준 프레임으로부터 베이스층(비스케일러블) 코딩 동안 통상적으로 생성된다. 인터프레임 코딩 양방향 B 프레임은 베이스층에서 코딩된다.
본 발명의 원리에 따라, 예측 기반의 개선층(32)은 인터프레임 코딩 양방향 ㅠ 프레임을 포함하도록 코딩되고, 이것은 베이스층 코딩 동안 "확장" 또는 "개선" 베이스층 I 및 P 또는 P 및 P 기준 프레임(이후 확장된 베이스층 I 및 P 기준 프레임이라 함)으로부터 모션 예측된다. 각각의 확장된 베이스층 기준 프레임은 표준 베이스층 기준 프레임, 및 관련된 개선층 기준 프레임의 적어도 일부(관련된 개선층 기준 프레임의 하나 이상의 비트면 또는 부분 비트면이 사용될수있다)를 포함한다.
개선층(32)은 각각의 본래 베이스층 프레임 잔여로부터 각각의 재구성된(디코드된) 베이스층 프레임 잔여를 감산함으로써 통상적으로 생성되는 개선층 I 및 P 프레임을 포함하도록 코딩된다. 개선층 I, B 및 P 프레임은 임의의 적당한 스케일러블 코덱으로 코딩될수있다. 예를들어, 스케일러블 코덱은 DCT 기반의 코덱(FGS), 웨이블릿(wavelet) 기반의 코덱 또는 임의의 다른 내장 코덱일수있다. 도 3a에 도시된 실시예에서, 스케일러블 코덱은 FGS를 포함한다.
당업자가 인식하는 바와 같이, 본 발명의 비디오 코딩 방법(30)은 비디오의 이미지 품질을 개선시킨다. 이것은 비디오 코딩 방법(30)은 개선층 B 프레임에서 일시적 잔여를 감소시키기 위하여 확장된 베이스층 기준 프레임을 사용하기 때문이다.
도 4는 본 발명의 실시예에 따른 도 3a의 스케일러블 비디오 코딩 방법을 생성하는데 사용될수있는 인코더(40)의 블록도이다. 도시된 바와같이, 인코더(40)는 베이스층 인코더(41) 및 개선층 인코더(42)를 포함한다. 베이스층 인코더(41)는 프레임 메모리(60)에 저장된 확장된 베이스층 기준 프레임 및 본래의 비디오 시퀀스 및 베이스층으로부터 모션 정보(모션 벡터 및 예측 모드)를 생성하는 모션 평가기(43)를 포함한다. 이 모션 정보는 모션 보상기(44)에 인가되어 모션 정보 및 종래 기준 프레임 및 프레임 메모리(60)에 저장된 확장된 베이스층 I 및 P 기준 프레임을 사용하여 본 발명의 확장된 베이스층 I 및 P 기준 프레임의 모션 보상 버젼 및 종래의 모션 보상 베이스층 기준 프레임(모두 Ref(i))로 표현됨)을 생성한다. 제 1 감산기(45)는 베이스층 I 및 P 프레임의 모션 보상 잔여를 생성하기 위하여 본래의 비디오 시퀀스로부터 종래 모션 보상 기준 프레임을 감산한다. 제 1 프레임 흐름 제어 장치(62)는 보상된 베이스층 스트림의 일부를 형성하는 베이스층 I 및 P 프레임을 생성하기 위하여 이산 코사인 트랜스폼(DCT)에 의해 처리하기 위한 베이스층 I 및 P 프레임 MCR(i)의 모션 보상 잔여를 이코더(46), 양자화기(47) 및 엔트로피 인코더(48)에 루틴한다. 모션 평가기(43)에 의해 생성된 모션 정보는 압축된 베이스층 스트림을 완성시키기 위하여 베이스층 I 및 P 프레임과 모션 정보를 결합하는 멀티플렉서(49)에 인가된다. 양자화기(47)의 출력에서 생성된 베이스층 I 및 P 프레임 MCR(i)의 양자화된 모션 보상 잔여는 인버스 양자화기(50)에 의해 양자화 해제되고, 인버스 DCT 디코더(51)에 의해 디코드된다. 이런 과정은 인버스DCT(51)의 출력에서 베이스층 I 및 P 프레임 MCRQ(i)의 모션 보상 잔여의 양자화/양자화 해제 버젼을 생성한다. 인버스 DCT(51)의 출력에서 베이스층 I 및 P 프레임의 양자화/양자화해제 모션 보상 잔여는 대응 모션 보상 베이스층 기준 프레임 Ref(i)와 합산시키는 제 1 가산기(61)에 인가되고, 상기된 바와같이 프레임 메모리(60)에 저장된 종래 베이스층 기준 프레임을 생성한다.
베이스층 I 및 P 프레임의 양자화/양자화 해제 모션 보상 잔여들은 개선층 인코더(42)의 제 2 감산기(53)에 인가된다. 제 2 감산기(53)는 차동 I 및 P 프레임 잔여를 생성하기 위하여 베이스층 I 및 P 프레임의 대응 모션 보상 잔여로부터 베이스층 I 및 P 프레임의 양자화/양자화해제 모션 보상 잔여를 감산한다. 제 2 감산기(53)의 출력은 FGS 인코더(53) 또는 동일한 스케일러블 인코더에 의해 스케일러블 코딩된다. FGS 인코더(54)는 일부분의 압축된 개선층 스트림을 형성하는 스케일러블(FGS) 인코딩 I 및 P 프레임을 생성하기 위하여 종래 비트면 DCT 스캐닝 및 종래 엔트로피 인코딩 다음 종래 DCT 인코딩을 사용한다. 마스킹 장치(55)는 하나 이상의 스케일러블 인코딩 I 및 P 프레임의 코딩 비트 평면을 취하고, 선택적으로 제 3 프레임 흐름 제어 장치(65)를 통하여 루틴되고, 이 데이타를 제 2 가산기(56)의 제 1 입력(57)에 인가한다. 베이스층 인코더(41)에 의해 생성된 I 및 P 프레임 MCRQ(i)의 모션 보상 잔여의 양자화/양자화해제 버젼은 제 2 가산기(56)의 제 2 입력(58)에 추가로 인가된다. 제 2 가산기(56)는 각각의 I 및 P 프레임 잔여 MCRQ(i)와 개선층 인코딩 I 및 P 프레임의 하나 이상의 코딩 비트면을 가산함으로써 개선층 I 및 P 기준 프레임을 생성한다. 제 2 가산기(56)에 의해 계산된 개선층 I 및 P 기준 프레임은 베이스층 인코더(41)의 제 3 가산기(52)에 인가된다. 제 3 가산기(52)는 확장된 베이스층 I 및 P 기준 프레임을 생성하기 위하여 대응 모션 보상 베이스층 I 및 P 기준 프레임 Ref(i) 및 대응 양자화/양자화해제 모션 보상 베이스층 I 및 P 프레임 잔여와 개선층 I 및 P 기준 프레임을 합산하여, 이것은 프레임 메모리(60)에 저장된다.
모션 보상기(44)는 프레임 메모리(60)에 저장된 확장된 베이스층 I 및 P 기준 프레임 및 모션 정보를 사용하여 확장된 베이스층 I 및 P 기준 프레임을 모션 보상 버전을 생성한다. 제 1 감산기(45)는 모션 보상 B 프레임 잔여를 생성하기 위하여 본래 비디오 시퀀스로부터 모션 보상된 확장된 베이스층 기준 프레임을 감산한다. 제 1 프레임 제어 장치(62)는 스케일러블 인코딩을 위하여 모션 보상 B 프레임 잔여를 개선층 인코더(42)의 스케일러블(FGS) 인코더(54)에 루틴한다. 스케일러블(FGS) 인코딩 B 프레임은 압축된 개선층 스트림의 잔여 부분을 형성한다. 모션 평가기(43)에 의해 생성된 B 프레임에 속하는 모션 정보는 제 3 프레임 제어 장치(62)를 통해 개선층 인코더(42)의 제 2 멀티플렉서(64)에 인가된다. 제 2 멀티플렉서(64)는 압축된 개선층 스트림을 완성시키기 위하여 개선층 프레임과 B 프레임 모션 정보를 결합한다.
도 6은 도 4의 인코더(40)에 의해 생성된 압축된 베이스층 및 개선층 스트림을 디코딩하기 위해 사용될수있는 본 발명의 실시예에 따른 디코더(70)의 블록도이다. 도시된 바와같이, 디코더(70)는 베이스층 디코더(71) 및 개선층 디코더(72)를 포함한다. 베이스층 디코더(71)는 인코드된 베이스층 스트림을 수신하고 모션 정보를 포함하는 제 1 데이타 스트림(75a), 및 텍스쳐 정보를 포함하는 제 2 데이타 스트림(75b)을 디멀티플렉스하는 디멀티플렉서(73)를 포함한다. 개선층 디코더(72)는 인코드된 개선층 스트림을 수신하고 이 스트림을 텍스쳐 정보를 포함하는 제 3 데이타 스트림(74a), 및 모션 정보를 포함하는 제 4 데이타 스트림(74b)으로 디멀티플렉스하는 디멀티플렉서(92)를 포함한다. 모션 보상기(76)는 제 4 데이타 스트림(74b)의 모션 정보 및 관련된 베이스층 프레임 메모리(77)에 저장된 확장된 베이스층 기준 프레임을 사용하여 모션 보상 확장된 베이스층 기준(I 및 P) 프레임을 재구성한다. 모션 보상기(76)는 제 1 데이타 스트림(75A)의 I 및 P 모션 정보 및 베이스층 프레임 메모리(77)에 저장된 종래 베이스층 기준 프레임을 사용하여 종래 모션 보상 베이스층(I 및 P) 기준 프레임을 재구성한다. 모션 보상 확장된 베이스층 기준 프레임 및 종래 모션 보상 베이스층 기준 프레임은 이하에 더 설명될 바와같이 제 2 프레임 흐름 제어 장치(93)에 의해 처리된다.
제 2 데이타 스트림(75b)의 텍스쳐 정보는 디코딩을 위한 베이스층 가변 길이 코드 디코더(81), 및 양자화해제를 위한 인버스 양자화기(82)에 인가된다. 양자화된 계수는 인버스 이산 코사인 트랜스폼 디코더(83)에 인가되고, 여기서 양자화된 코드는 제 1 가산기(78)의 제 1 입력(80)에 인가된 베이스층 프레임 잔여로 변형된다. 제 1 가산기(78)는 제 2 프레임 흐름 제어 장치(93)에 의해 제 1 가산기의 제 2 입력(79)에 선택적으로 루틴되는 각각의 모션 보상 베이스층 기준 프레임과 베이스층 P 프레임 잔여를 합산하고, 모션 예측 P 프레임을 출력한다. (베이스층 I 잔여는 베이스층 I 프레임으로서 제 1 가산기 78에 의해 출력된다.) 제 1가산기(78)에 의해 출력된 I 및 P 베이스층 프레임은 베이스층 프레임 메모리(77)에 저장되고 종래 베이스층 기준 프레임을 형성한다. 부가적으로, 제 1 가산기(78)에 의해 출력된 I 및 P 프레임은 베이스층 비디오로서 선택적으로 출력될수있다.
개선층 디코더(72)는 제 2 가산기(90)에 인가되는 차동 I 및 P 프레임 잔여 및 B 프레임 잔여를 재구성하기 위하여 압축된 개선층 스트림을 디코드하는 FGS 비트면 디코더(84) 또는 동일한 스케일러블 디코더를 포함한다. I 및 P 차동 프레임 잔여는 제 1 프레임 흐름 제어 장치(85)에 의해 하나 이상의 차동 I 및 P 프레임 잔여의 재구성된 개선층 비트면(또는 그 일부)을 취하고 그것들을 제 3 가산기(87)의 제 1 입력(88)에 인가하는 마스킹 장치(86)로 선택적으로 루틴된다. 제 3 가산기(87)는 프레임 메모리(77)에 저장된 확장된 베이스층 I 및 P 기준 프레임을 재구성하기 위하여 베이스층 디코더(71)의 제 2 입력(89)에 인가된 대응 베이스층 I 및 P 프레임과 I 및 P 프레임 잔여를 합산한다.
모션 보상 확장된 베이스층 I 및 P 기준 프레임은 제 2 프레임 제어 장치(93)에 의해 제 2 가산기(90)로 선택적으로 루틴되어, 개선층 B 프레임을 재구성하도록 대응 B 프레임 잔여 및 B 프레임 모션 정보(압축된 개선층 스트림에서 전성됨)와 모션 보상 확장된 베이스층 I 및 P 기준 프레임을 합산한다.
베이스층 디코더(71)의 제 1 가산기(78)에 의해 출력된 베이스층 I 및 P 프레임은 제 3 프레임 흐름 제어 장치(91)에 의해 제 2 가산기(90)로 선택적으로 루틴되고, 개선된 I 및 P 프레임을 생성하기 위하여 각각의 베에스 층 I 및 P 프레임과 개선층 I 및 P 프레임을 합산한다. 개선된 I 및 P 프레임 및 개선층 B은 개선된 비디오로서 제 2 가산기(90)에 의해 출력된다.
도 3b는 본 발명의 제 2 실시예에 따른 스케일러블 비디오 코딩 방법(100)을 도시한다. 제 2 실시예의 스케일러블 비디오 코딩 방법(100)은 인트라프레임 코딩 I 프레임을 가진 단일 루프 예측 기반의 스케일러블 층(132); 인터프레임 코딩 모션 에측 P 프레임; 및 인터프레임 코딩 모션 양방향 예측 B 프레임만을 포함한다. 이 실시예에서, 모든 프레임(I, P 및 B 프레임)은 스케일러블 코덱으로 완전히 코딩된다. 스케일러블 코덱은 DCT 바탕(FGS), 웨이블릿 기반의 또는 임의의 다른 내장 코덱일수있다. P 및 B 프레임은 인코딩 동안 확장된 베이스층 I 및 P 또는 P 및 P 기준 프레임으로부터 완전히 모션 예측된다.
당업자는 베이스층의 제거가 이런 코딩 방법에서 매우 효과적이고 개선층 P 및 B 프레임에서 일시적으로 감소하기 때문에 비디오 이미지 품질을 추가로 개선시킨다는 것을 인식할것이다.
도 5는 도 3b의 스케일러블 비디오 코딩 방법을 생성하는데 사용될수있는 본 발명의 실시예에 따른 인코더(140)의 블록도를 도시한다. 도시된 바와같이, 도 5의 인코더(140)는 모션 보상 및 평가 유니트(141) 및 스케일러블 텍스쳐 인코더(142)를 포함한다. 모션 보상 및 평가 유니트(141)는 확장된 베이스층 I 및 P 기준 프레임을 포함하는 프레임 메모리(60)를 포함한다. 모션 평가기(43)는 프레임 메모리(60)에 저장된 확장된 베이스층 I 및 P 기준 프레임 및 본래의 비디오 시퀀스로부터 모션 정보(모션 벡터 및 예측 모드)를 생성한다. 이 모션 정보는 모션 보상기(44) 및 멀티플렉서(49)에 인가된다. 모션 보상기(44)는 프레임 메모리(60)에 저장된 확장된 베이스층 I 및 P 기준 프레임 및 모션 정보를 사용하여 확장된 베이스층 I 및 P 기준 프레임 Ref(i)의 모션 보상 버젼을 생성한다. 감산기(45)는 모션 보상 프레임 잔여 MCR(i)을 생성하기 위하여 본래의 비디오 시퀀스로부터 확장된 베이스층 기준 프레임 Ref(i)의 모션 보상 버젼을 감산한다.
스케일러블 텍스쳐 인코더(142)는 종래 FGS 인코더(54) 또는 동일한 스케일러블 인코더를 포함한다. FGS 인코더(54)의 경우, 베이스층 인코더941)의 감산기(45)에 의해 출력된 모션 보상 프레임 잔여는 DCT 인코드되고, 비트면 DCT 스캔되고, 엔트로피 인코드되어 압축된 개선층(FGS 코딩) 프레임을 생성한다. 멀티플렉서(49)는 모션 평가기(43)에 의해 생성된 모션 정보와 압축된 개선층 프레임을 결합함으로써 압축된 출력 스트림을 생성한다. 마스킹 장치(55)는 개선층 코딩 I 및 P 프레임의 하나 이상의 코딩 비트 면을 취하고 그것들을 가산기(52)에 인가한다. 가산기(52)는 프레임 메모리(60)에 저장된 새로운 확장된 베이스층 I 및 P 기준 프레임을 생성하기 위하여 대응 모션 보상 확장된 베이스층 I 및 P 기준 프레임 Ref(i)와 이 데이타를 합산한다.
본 발명의 스케일러블 비디오 코딩 방식들은 비디오 시퀀스의 다양한 부분 또는 다양한 비디오 시퀀스를 위하여 도 1의 현재 비디오 코딩 방법으로 변경 또는 스위칭된다. 부가적으로, 스위칭은 도 3a, 3B의 스케일러블 비디오 코딩 방법 및 도 1의 현재 비디오 코딩 방법 및/또는 상기된 공동 미국특허출원에 기술된 비디오 코딩 방법 및/또는 다른 비디오 코딩 방법중에서 수행될수있다. 비디오 코딩 방법의 상기 스위칭은 채널 특성을 바탕으로 행해지고 인코딩 또는 전송시에 수행될수있다. 게다가 본 발명의 비디오 코딩 방법은 복잡성이 약간 증가(도 3a) 또는 감소(도 3b)만을 가지고 코딩 효율성에서 큰 이득을 달성한다.
도 7은 도 5의 인코더에 의해 생성된 출력 스트림을 디코딩하기 위하여 사용될수있는 본 발명의 실시예에 따른 디코더(170)의 블록도이다. 도시된 바와같이, 디코더(170)는 인코드된 스케일러블 스트림을 수신하고 상기 스트림을 제 1 및 제 2 데이타 스트림(174 및 175)로 디멀티플렉스하는 디멀티플렉서(173)를 포함한다. 모션 정보(모션 벡터 및 모션 예측 모드)를 포함하는 제 1 데이타 스트림(174)은 모션 보상기(176)에 인가된다. 모션 보상기(176)는 베이스층 프레임 메모리(177)에 저장된 확장된 베이스층 I 및 P 기준 프레임 및 모션 정보를 사용하여 모션 보상 확장된 베이스층 I 및 P 기준 프레임을 재구성한다.
디멀티플렉서(173)에 의해 디멀티플렉스된 제 2 데이타 스트림(175)은 제 1 가산기(190)에 인가된 I, P, 및 B 프레임 잔여를 재구성하기 위하여 제 2 데이타 스트림(175)을 디코드하는 FGS 비트면 디코더(184) 또는 유사한 스케일러블 디코더를 포함하는 텍스쳐 디코더(172)에 인가된다. I 및 P 프레임 잔여는 I 및 P 프레임 잔여의 하나 이상의 코드 비트 면(또는 그것의 일부)을 취하고 그것들을 제 2 가산기(187)의 제 1 입력에 인가하는 프레임 흐름 제어 장치(185)를 통해 마스킹 장치(186)에 인가된다. 제 2 가산기(187)는 프레임 메모리(177)에 저장된 새로운 확장된 베이스층 I 및 P 기준 프레임을 재구성하기 위하여 모션 보상기(176)에 의해 제 2 입력(189)에 인가된 대응 재국성 모션 보상 확장된 베이스층 I 및 P 프레임과 I 및 P 프레임 잔여 데이타를 합산한다.
모션 보상 확장된 베이스층 I 및 P 기준 프레임은 제 1 가산기(190)로 루틴되어, 개선된 비디오로서 제 1 가산기(190)에 의해 계산된 개선된 I, P 및 B 프레임을 생성하기 위하여 대응 재구성 프레임 잔여(FGS 디코더 184로부터)와 합산된다.
도 8은 본 발명의 원리를 실행하기 위해 사용될수있는 시스템(200)의 실시예를 도시한다. 시스템(200)은 텔레비젼, 셋톱 박스, 데스크톱, 랩톱 또는 팜톱 컴퓨터, 개인용 디지탈 어시스턴트(PDA), 비디오 카세트 레코더(VCR)같은 비디오/이미지 저장 장치, 디지탈 비디오 레코더(DVR), TIVO 장치 등뿐 아니라 이들 및 다른 장치의 일부 또는 결합을 나타낼수있다. 시스템(200)은 하나 이상의 비디오/이미지 소스(201), 하나 이상의 입력/출력 장치(202), 프로세서(203) 및 메모리(204)를 포함한다. 비디오/이미지 소스(201)는 텔레비젼 수신기, VCR 또는 다른 비디오/이미지 저장 장치를 나타낼수있다. 소스(201)는 예를들어 인터넷 같은 글로벌 컴퓨터 통신 네트워크, 광역 네트워크, 메트로폴리탄 영역 네트워크, 로컬 영역 네트워크, 지구상 방송 시스템, 케이블 네트워크, 위성 네트워크, 무선 네트워크 또는 전화 네트워크뿐 아니라, 이들 및 다른 형태의 네트워크의 일부 또는 결합을 통해 서버 또는 서버들로부터 비디오를 수신하기 위한 하나 이상의 네트워크 접속을 나타낼수있다.
입력/출력 장치(202), 프로세서(203) 및 메모리(204)는 통신 매체(205)를 통해 토인할수있다. 통신 매체(205)는 버스, 통신 네트워크, 하나 이상의 내부 회로접속, 회로 카드 또는 다른 장치뿐 아니라 이들 및 다른 통신 매체의 일부 및 결합을 나타낼수있다. 소스(201)로부터의 입력 비디오 데이타는 메모리(204)에 저장된 하나 이상의 소프트웨어 프로그램에 따라 처리되고 디스플레이 장치(206)에 공급된 출력 비디오/이미지를 생성하기 위하여 프로세서(203)에 의해 실행된다.
바람직한 실시예에서, 본 발명의 원리를 사용하는 코딩 및 디코딩은 시스템에 의해 실행되는 컴퓨터 판독 가능 코드에 의해 실행될수있다. 코드는 메모리(204)에 저장되거나 CD-ROM 또는 플로피 디스크 같은 메모리 매체로부터 판독/다운로드될수있다. 다른 실시예에서, 하드웨어 회로는 본 발명을 실행하기 위한 소프트웨어 명령 대신, 또는 결합하여 사용될수있다. 예를들어, 도 4-7에 도시된 엘리먼트는 이산 하드웨어 엘리먼트로서 실행될수있다.
본 발명이 특정 실시예의 측면에서 상기에서 기술되었지만, 상기된 실시예로 한정 또는 제한되지 않는 것이 이해될것이다. 예를들어, DCT외에 다른 변형은 사용될수있고, 웨이블릿 또는 매칭 업무로 제한되지 않는다. 이들 및 다른 변형 및 변화는 첨부된 청구항의 범위내이도록 고려된다.

Claims (36)

  1. 비디오 코딩 방법에 있어서:
    확장된 베이스층 기준 프레임들을 생성하도록 코딩되지 않은 비디오를 인코딩(41, 141, 42, 142)하는 단계로서, 각각의 상기 확장된 베이스층 기준 프레임들은 베이스층 기준 프레임 및 적어도 일부의 관련된 개선층 기준 프레임을 포함하는, 상기 인코딩(41, 141, 42, 142)하는 단계와;
    코딩되지 않은 비디오 및 상기 확장된 베이스층 기준 프레임들로부터 프레임 잔여들(45)을 생성하는 단계를 포함하는, 비디오 코딩 방법.
  2. 제 1 항에 있어서, 개선층 프레임들을 생성하도록 상기 프레임 잔여들을 DCT 기반의 코덱들 또는 웨이블릿 기반의 코덱들로 구성된 그룹으로부터 선택된 스케일러블 코덱(scalable codec)으로 코딩(54)하는 단계를 더 포함하는, 비디오 코딩 방법.
  3. 제 1 항에 있어서, 미세 그래뉼러 스케일러블 개선층 프레임들을 생성하도록 상기 프레임 잔여를 미세 그래뉼러 스케일러블 코덱으로 프레임 잔여들을 코딩(54)하는 단계를 더 포함하는, 비디오 코딩 방법.
  4. 제 1 항에 있어서, 상기 프레임 잔여들은 B 프레임 잔여들을 포함하는, 비디오 코딩 방법.
  5. 제 4 항에 있어서, 상기 프레임 잔여는 P 프레임 잔여들을 더 포함하는, 비디오 코딩 방법.
  6. 제 1 항에 있어서, 상기 프레임 잔여는 P 프레임 잔여들을 포함하는, 비디오 코딩 방법.
  7. 베이스층 스트림 및 개선층 스트림을 가진 압축된 비디오를 디코딩하는 방법으로서,
    확장된 베이스층 기준 프레임들을 생성하도록 상기 베이스층 및 개선층 스트림들을 디코딩(71, 72, 172)하는 단계로서, 각각의 상기 확장된 베이스층 기준 프레임들은 베이스층 기준 프레임 및 적어도 일부의 관련된 개선층 기준 프레임을 포함하는, 상기 디코딩(71, 72, 172)하는 단계와;
    상기 확장된 베이스층 기준 프레임들로부터 프레임 잔여들을 예측(78)하는 단계를 포함하는, 압축된 비디오 디코딩 방법.
  8. 제 7 항에 있어서, 상기 프레임 잔여들을 DCT 기반의 디코딩 또는 웨이블릿 기반의 디코딩으로 구성된 그룹으로부터 선택된 스케일러블 디코딩(84)으로 디코딩하는 단계를 더 포함하는, 압축된 비디오 디코딩 방법.
  9. 제 8 항에 있어서, 상기 프레임 잔여들부터 개선층 프레임들을 생성하는 단계와;
    상기 베이스층 프레임들 및 상기 개선층 프레임들로부터 개선된 비디오를 생성(90)하는 단계를 더 포함하는, 압축된 비디오 디코딩 방법.
  10. 제 7 항에 있어서, 상기 프레임 잔여들은 B 프레임 잔여들을 포함하는, 압축된 비디오 디코딩 방법.
  11. 제 10 항에 있어서, 상기 프레임 잔여들은 P 프레임 잔여들을 더 포함하는, 압축된 비디오 디코딩 방법.
  12. 제 7 항에 있어서, 상기 프레임 잔여들은 P 프레임 잔여들을 포함하는, 압축된 비디오 디코딩 방법.
  13. 비디오 코딩용 메모리 매체에 있어서:
    확장된 베이스층 기준 프레임들을 생성하도록 코딩되지 않은 비디오를 인코딩하는 코드(41, 141, 42, 142)로서, 각각의 상기 확장된 베이스층 기준 프레임들은 베이스층 기준 프레임 및 적어도 일부의 관련된 개선층 기준 프레임을 포함하는, 상기 인코딩 코드(41, 141, 42, 142)와;
    상기 코딩되지 않은 비디오 및 상기 확장된 베이스층 기준 프레임들로부터 프레임 잔여들을 예측하는 코드(45)를 포함하는, 메모리 매체.
  14. 제 13 항에 있어서, 상기 프레임 잔여들을 스케일러블 인코딩하는 코드(54)를 더 포함하는, 메모리 매체.
  15. 제 13 항에 있어서, 상기 프레임 잔여들을 미세 그래뉼러 스케일러블 인코딩하는 코드(54)를 더 포함하는, 메모리 매체.
  16. 제 13 항에 있어서, 상기 프레임 잔여들은 B 프레임 잔여들을 포함하는, 메모리 매체.
  17. 제 16 항에 있어서, 상기 프레임 잔여들은 P 프레임 잔여들을 더 포함하는, 메모리 매체.
  18. 제 13 항에 있어서, 상기 프레임 잔여들은 P 프레임 잔여들을 포함하는, 메모리 매체.
  19. 베이스층 스트림 및 개선층 스트림을 가진 압축된 비디오를 디코딩하는 메모리 매체에 있어서:
    확장된 베이스층 기준 프레임들을 생성하도록 상기 베이스층 및 개선층 스트림들을 디코딩하는 코드(71, 72, 172)로서, 각각의 상기 확장된 베이스층 기준 프레임들은 베이스층 기준 프레임 및 적어도 일부의 관련된 개선층 기준 프레임을 포함하는 상기 디코딩 코드(71, 72, 172)와;
    상기 확장된 베이스층 기준 프레임들로부터 프레임 잔여들을 예측하는 코드(78)를 포함하는, 메모리 매체.
  20. 제 19 항에 있어서, 상기 프레임 잔여들을 스케일러블 디코딩는 코드(84)를 더 포함하고, 상기 스케일러블 디코딩하는 코드는 DCT 기반의 코드 또는 웨이블릿 기반의 코드로 구성된 그룹으로부터 선택되는, 메모리 매체.
  21. 제 20 항에 있어서, 상기 프레임 잔여들로부터 개선층 프레임들을 생성하는 코드와;
    상기 베이스층 프레임들 및 상기 개선층 프레임들로부터 개선된 비디오를 생성(90)하는 코드를 더 포함하는, 메모리 매체.
  22. 제 19 항에 있어서, 상기 프레임 잔여들은 B 프레임 잔여들을 포함하는, 메모리 매체.
  23. 제 22 항에 있어서, 상기 프레임 잔여들은 P 프레임 잔여들을 더 포함하는,메모리 매체.
  24. 제 19 항에 있어서, 상기 프레임 잔여들은 P 프레임 잔여들을 포함하는, 메모리 매체.
  25. 비디오 코딩 장치(40, 140)에 있어서:
    확장된 베이스층 기준 프레임들을 생성하도록 코딩되지 않은 비디오를 인코딩하는 수단(41, 141, 42, 142)으로서, 각각의 상기 확장된 베이스층 기준 프레임들은 베이스층 기준 프레임 및 적어도 일부의 관련된 개선층 기준 프레임들 포함하는, 상기 인코딩하는 수단(41, 141, 42, 142)과;
    상기 코딩되지 않은 비디오 및 상기 확장된 베이스층 기준 프레임들로부터 프레임 잔여들을 예측하는 수단(45)을 포함하는, 비디오 코딩 장치.
  26. 제 25 항에 있어서, 상기 프레임 잔여들을 스케일러블 인코딩하는 수단(54)을 더 포함하는, 비디오 코딩 장치.
  27. 제 25 항에 있어서, 상기 프레임 잔여들을 미세 그래뉼러 스케일러블 인코딩하는 코드(54)를 더 포함하는, 비디오 코딩 장치.
  28. 제 25 항에 있어서, 상기 프레임 잔여들은 B 프레임 잔여들을 포함하는, 비디오 코딩 장치.
  29. 제 28 항에 있어서, 상기 프레임 잔여들은 P 프레임 잔여들을 더 포함하는, 비디오 코딩 장치.
  30. 제 25 항에 있어서, 상기 프레임 잔여들은 P 프레임 잔여들을 포함하는, 비디오 코딩 장치.
  31. 베이스층 스트림 및 개선층 스트림을 가진 압축된 비디오를 디코딩하기 위한 장치(70, 170)로서,
    확장된 베이스층 기준 프레임들을 생성하도록 상기 베이스층 및 개선층 스트림들을 디코딩하는 수단(71, 72, 172)으로서, 각각의 상기 확장된 베이스층 기준 프레임들은 베이스층 기준 프레임 및 적어도 일부의 관련된 개선층 기준 프레임을 포함하는, 상기 디코딩하는 수단(71, 72, 172)과;
    상기 확장된 베이스층 기준 프레임들로부터 프레임 잔여들을 예측하는 수단(78)을 포함하는, 압축된 비디오 디코딩 장치.
  32. 제 31 항에 있어서, 상기 프레임 잔여들을 디코딩하는 스케일러블 디코딩 수단(84)을 더 포함하고, 상기 스케일러블 디코딩 수단은 DCT 기반의 디코딩 수단 또는 웨이블릿 기반의 디코딩 수단으로 구성된 그룹으로부터 선택되는, 압축된 비디오 디코딩 장치.
  33. 제 32 항에 있어서, 상기 프레임 잔여들로부터 개선층 프레임들을 생성하는 수단과;
    상기 베이스층 프레임들 및 상기 개선층 프레임들로부터 개선된 비디오를 생성(90)하는 수단을 더 포함하는, 압축된 비디오 디코딩 장치.
  34. 제 31 항에 있어서, 상기 프레임 잔여는 B 프레임 잔여들을 포함하는, 압축된 비디오 디코딩 장치.
  35. 제 34 항에 있어서, 상기 프레임 잔여는 P 프레임 잔여들을 더 포함하는 것을 특징으로 하는, 압축된 비디오 디코딩 장치.
  36. 제 31 항에 있어서, 상기 프레임 잔여는 P 프레임 잔여들을 포함하는 것을 특징으로 하는, 압축된 비디오 디코딩 장치.
KR10-2004-7002166A 2001-08-15 2002-07-11 모션 보상을 사용하는 전체적 삽입 ｆｇｓ 비디오 코딩 KR20040032913A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/930,672 US20020037046A1 (en) 2000-09-22 2001-08-15 Totally embedded FGS video coding with motion compensation
US09/930,672 2001-08-15
PCT/IB2002/002924 WO2003017672A2 (en) 2001-08-15 2002-07-11 Totally embedded fgs video coding with motion compensation

Publications (1)

Publication Number Publication Date
KR20040032913A true KR20040032913A (ko) 2004-04-17

Family

ID=25459599

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2004-7002166A KR20040032913A (ko) 2001-08-15 2002-07-11 모션 보상을 사용하는 전체적 삽입 ｆｇｓ 비디오 코딩

Country Status (6)

Country Link
US (1) US20020037046A1 (ko)
EP (1) EP1435178A2 (ko)
JP (1) JP2005500754A (ko)
KR (1) KR20040032913A (ko)
CN (1) CN1636407A (ko)
WO (1) WO2003017672A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101046912B1 (ko) * 2003-06-19 2011-07-07 톰슨 라이센싱 저 복잡도의 공간 스케일러블 인코딩을 위한 방법 및 장치

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1413142A2 (de) * 2001-01-08 2004-04-28 Siemens Aktiengesellschaft Optimale snr-skalierbare videocodierung
US20030076858A1 (en) * 2001-10-19 2003-04-24 Sharp Laboratories Of America, Inc. Multi-layer data transmission system
US6944222B2 (en) * 2002-03-04 2005-09-13 Koninklijke Philips Electronics N.V. Efficiency FGST framework employing higher quality reference frames
US6944346B2 (en) 2002-05-28 2005-09-13 Koninklijke Philips Electronics N.V. Efficiency FGST framework employing higher quality reference frames
US7283589B2 (en) * 2003-03-10 2007-10-16 Microsoft Corporation Packetization of FGS/PFGS video bitstreams
US8107535B2 (en) 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
US7627040B2 (en) 2003-06-10 2009-12-01 Rensselaer Polytechnic Institute (Rpi) Method for processing I-blocks used with motion compensated temporal filtering
US7653133B2 (en) 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
KR101145261B1 (ko) * 2004-02-27 2012-05-24 삼성전자주식회사 멀티미디어 데이터를 기록한 정보저장매체, 그 재생방법및 재생장치
US20050195896A1 (en) * 2004-03-08 2005-09-08 National Chiao Tung University Architecture for stack robust fine granularity scalability
CN1753493A (zh) * 2004-09-24 2006-03-29 松下电器产业株式会社 无线多媒体通信系统的跨层联合方法
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
KR100763178B1 (ko) * 2005-03-04 2007-10-04 삼성전자주식회사 색 공간 스케일러블 비디오 코딩 및 디코딩 방법, 이를위한 장치
US20070014348A1 (en) * 2005-04-12 2007-01-18 Nokia Corporation Method and system for motion compensated fine granularity scalable video coding with drift control
US20060271990A1 (en) 2005-05-18 2006-11-30 Rodriguez Arturo A Higher picture rate HD encoding and transmission with legacy HD backward compatibility
KR100878827B1 (ko) 2005-07-08 2009-01-14 엘지전자 주식회사 영상 신호의 코딩정보를 압축/해제하기 위해 모델링하는방법
JP2009510807A (ja) 2005-07-08 2009-03-12 エルジー エレクトロニクス インコーポレイティド ビデオ信号のコーディング情報を圧縮／展開するためにコーディング情報モデリング方法
US7894523B2 (en) 2005-09-05 2011-02-22 Lg Electronics Inc. Method for modeling coding information of a video signal for compressing/decompressing coding information
US20070147371A1 (en) * 2005-09-26 2007-06-28 The Board Of Trustees Of Michigan State University Multicast packet video system and hardware
KR100891663B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
WO2007040344A1 (en) * 2005-10-05 2007-04-12 Lg Electronics Inc. Methods and apparatuses for constructing a residual data stream and methods and apparatuses for reconstructing image blocks
KR20070096751A (ko) * 2006-03-24 2007-10-02 엘지전자 주식회사 영상 데이터를 코딩/디코딩하는 방법 및 장치
KR20070038396A (ko) 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
KR100891662B1 (ko) * 2005-10-05 2009-04-02 엘지전자 주식회사 비디오 신호 디코딩 및 인코딩 방법
JP2009522974A (ja) * 2006-01-09 2009-06-11 ノキア コーポレイション 低複雑度の動き補償付き微細粒度スケーラブルビデオ符号化のためのシステムと装置
US20070201550A1 (en) * 2006-01-09 2007-08-30 Nokia Corporation Method and apparatus for entropy coding in fine granularity scalable video coding
EP1806930A1 (en) * 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
JP2009531940A (ja) * 2006-03-24 2009-09-03 韓國電子通信研究院 Ｆｇｓレイヤーの動きデータを利用してインターレイヤーリダンダンシを除去するコーディング方法及びその装置
CN101507281B (zh) * 2006-07-12 2013-06-05 诺基亚公司 媒体文件中的兴趣区域可缩放性信息的信号发送
US8457214B2 (en) 2007-09-10 2013-06-04 Cisco Technology, Inc. Video compositing of an arbitrary number of source streams using flexible macroblock ordering
BRPI0918619A2 (pt) * 2008-09-17 2019-09-03 Sharp Kk aparelho de decodificação de fluxo de vídeo escalonável e aparelho de geração de fluxo de vídeo escalonável
CN104937932B (zh) 2012-09-28 2019-04-19 英特尔公司 可适性视频编码的增强参考区域利用
US9992493B2 (en) * 2013-04-01 2018-06-05 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding
JP2016015009A (ja) * 2014-07-02 2016-01-28 ソニー株式会社 情報処理システム、情報処理端末、および情報処理方法
GB2538997A (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
US10567703B2 (en) 2017-06-05 2020-02-18 Cisco Technology, Inc. High frame rate video compatible with existing receivers and amenable to video decoder implementation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4723161A (en) * 1985-03-20 1988-02-02 Nec Corporation Method and arrangement of coding digital image signals utilizing interframe correlation
FR2697393A1 (fr) * 1992-10-28 1994-04-29 Philips Electronique Lab Dispositif de codage de signaux numériques représentatifs d'images, et dispositif de décodage correspondant.
US6148026A (en) * 1997-01-08 2000-11-14 At&T Corp. Mesh node coding to enable object based functionalities within a motion compensated transform video coder
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
US6621935B1 (en) * 1999-12-03 2003-09-16 Microsoft Corporation System and method for robust image representation over error-prone channels
US6614936B1 (en) * 1999-12-03 2003-09-02 Microsoft Corporation System and method for robust video coding using progressive fine-granularity scalable (PFGS) coding
US6510177B1 (en) * 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
US7042944B2 (en) * 2000-09-22 2006-05-09 Koninklijke Philips Electronics N.V. Single-loop motion-compensation fine granular scalability

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101046912B1 (ko) * 2003-06-19 2011-07-07 톰슨 라이센싱 저 복잡도의 공간 스케일러블 인코딩을 위한 방법 및 장치
KR101047541B1 (ko) * 2003-06-19 2011-07-08 톰슨 라이센싱 저-복잡도의 공간 스케일러블 디코딩을 위한 방법 및 장치

Also Published As

Publication number Publication date
WO2003017672A2 (en) 2003-02-27
JP2005500754A (ja) 2005-01-06
EP1435178A2 (en) 2004-07-07
US20020037046A1 (en) 2002-03-28
WO2003017672A3 (en) 2004-04-22
CN1636407A (zh) 2005-07-06

Similar Documents

Publication Publication Date Title
KR20040032913A (ko) 모션 보상을 사용하는 전체적 삽입 ｆｇｓ 비디오 코딩
US6940905B2 (en) Double-loop motion-compensation fine granular scalability
US7042944B2 (en) Single-loop motion-compensation fine granular scalability
US6944222B2 (en) Efficiency FGST framework employing higher quality reference frames
US6639943B1 (en) Hybrid temporal-SNR fine granular scalability video coding
KR20020090239A (ko) 미세한 그레뉼라 스케일러빌리티 비디오 코딩에서확장층에 대한 개선된 예측 구조들
WO2006137709A1 (en) Video coding method and apparatus using multi-layer based weighted prediction
KR20010080644A (ko) 기저층 양자화 데이터를 이용하여 향상층 데이터를 엔코딩및 디코딩하는 시스템 및 방법
US20070121719A1 (en) System and method for combining advanced data partitioning and fine granularity scalability for efficient spatiotemporal-snr scalability video coding and streaming
JP2005160084A (ja) ＳＮＲ（ｓｉｇｎａｌｔｏｎｏｉｓｅｒａｔｉｏ）スケーラビリティを実現するための動映像処理装置及びその方法
US6944346B2 (en) Efficiency FGST framework employing higher quality reference frames
US6904092B2 (en) Minimizing drift in motion-compensation fine granular scalable structures
US20060088100A1 (en) Video coding method and apparatus supporting temporal scalability
KR100860950B1 (ko) 이중 루프 움직임 보상 파인 그래뉼 스케일러빌러티
WO2006043754A1 (en) Video coding method and apparatus supporting temporal scalability

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application