KR100860950B1 - Double-loop motion-compensation fine granular scalability - Google Patents

Double-loop motion-compensation fine granular scalability Download PDF

Info

Publication number
KR100860950B1
KR100860950B1 KR1020027006542A KR20027006542A KR100860950B1 KR 100860950 B1 KR100860950 B1 KR 100860950B1 KR 1020027006542 A KR1020027006542 A KR 1020027006542A KR 20027006542 A KR20027006542 A KR 20027006542A KR 100860950 B1 KR100860950 B1 KR 100860950B1
Authority
KR
South Korea
Prior art keywords
motion
differential frame
base layer
frame residues
frames
Prior art date
Application number
KR1020027006542A
Other languages
Korean (ko)
Other versions
KR20020056940A (en
Inventor
미하엘라 반데르사르
하이더 라다
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US09/887,743 external-priority patent/US6940905B2/en
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20020056940A publication Critical patent/KR20020056940A/en
Application granted granted Critical
Publication of KR100860950B1 publication Critical patent/KR100860950B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 파인 그래뉼 스케일러블 코딩된 강화층 내에 움직임 보상을 갖는 비디오 코딩 기술에 관한 것이다. 일 실시예에서, 비디오 코딩 기술은 비움직임 예측 강화층 I- 및 P-프레임들 및 움직임 예측된 강화층 B-프레임들을 포함하는 이중-루프 예측에 기초한 강화층을 포함한다. 움직임 예측된 강화층 B-프레임들은 1) 2개의 일시적으로 인접한 차동 I- 및 P- 또는 P- 및 P-프레임 잔류분으로부터 움직임-예측을 이용하고, 2) 원래의 기저층 B-프레임 잔류분으로부터 디코딩된 기저층 B-프레임 잔류분을 감산함으로써 얻어진 차동 B-프레임 잔류분을 이용함으로써 계산된다. 제 2 실시예에서, 강화층은 움직임 예측된 강화층 P-프레임들을 더 포함한다. 움직임 예측된 강화층 P-프레임들은 1) 일시적으로 인접한 차동 I- 또는 P-프레임 잔류분으로부터 움직임-예측을 이용하고, 2) 원래의 기저층 P-프레임 잔류분으로부터 디코딩된 기저층 P-프레임 잔류분을 감산함으로써 얻어진 차동 P-프레임 잔류분을 이용하여 계산된다.

스케일러블 코딩, 움직임 예측된 강화층 프레임, 차동 프레임, 비디오 코딩, 파인 그래뉼 스케일러빌러티

Figure 112006067309869-pct00013

The present invention relates to a video coding technique having motion compensation in a fine granular scalable coded enhancement layer. In one embodiment, the video coding technique includes an enhancement layer based on double-loop prediction that includes the empty prediction enhancement layer I- and P-frames and the motion predicted enhancement layer B-frames. Motion predicted enhancement layer B-frames 1) use motion-prediction from two temporarily adjacent differential I- and P- or P- and P-frame residues, and 2) from the original base layer B-frame residues. Calculated by using the differential B-frame residue obtained by subtracting the decoded base layer B-frame residue. In a second embodiment, the enhancement layer further includes motion predicted enhancement layer P-frames. Motion predicted enhancement layer P-frames 1) use motion-prediction from temporarily adjacent differential I- or P-frame residues, and 2) base layer P-frame residues decoded from the original base layer P-frame residues. It is calculated using the differential P-frame residual obtained by subtracting.

Scalable coding, motion predicted enhancement layer frames, differential frames, video coding, fine granular scalability

Figure 112006067309869-pct00013

Description

이중 루프 움직임 보상 파인 그래뉼 스케일러빌러티{Double-loop motion-compensation fine granular scalability}Double-loop motion-compensation fine granular scalability

본 발명은 비디오 코딩에 관한 것이며, 특히 쌍방향 예측 프레임들(B-프레임들) 및 예측 프레임들과, 쌍방향 예측 프레임들 및 (P-프레임, B-프레임)에 대한 강화층(enhancement layer) 내의 움직임 보상을 이용하는 스케일러블 강화층 비디오 코딩 방법(scalable enhancement layer video coding scheme)에 관한 것이다.TECHNICAL FIELD The present invention relates to video coding, and in particular, motion in an enhancement layer for bidirectional prediction frames (B-frames) and prediction frames, and for bidirectional prediction frames and (P-frames, B-frames). A scalable enhancement layer video coding scheme using compensation.

스케일러블 강화층 비디오 코딩은 인터넷과 같은 변화하는 대역폭을 갖는 컴퓨터 네트워크들을 통해 전송된 비디오를 압축하기 위해 이용되어 왔다. 파인 그래뉼 스케일러블 코딩 기술들(ISO MPEG-4 표준에 의해 채택됨)을 이용하는 본 강화층 비디오 코딩 방법이 도 1에 도시되어 있다. 도시된 바와 같이, 비디오 코딩 방법(10)은 비트율(RBL)로 코딩된 예측에 기초한 기저층(prediction-based base layer; 11), 및 REL로 코딩된 FGS 강화층(12)을 포함한다.Scalable enhancement layer video coding has been used to compress video transmitted over computer networks with varying bandwidth, such as the Internet. The present enhancement layer video coding method using fine granular scalable coding techniques (adopted by the ISO MPEG-4 standard) is shown in FIG. As shown, the video coding method 10 includes a prediction-based base layer 11 coded at a bit rate R BL , and an FGS enhancement layer 12 coded with R EL .

예측에 기초한 기저층(11)은 인트라프레임 코딩된 I 프레임들(intraframe coded I frames), 움직임 추정-보상(motion estimation-compensation)을 이용하여 이전의 I-프레임 또는 P-프레임으로부터 시간적으로 예측되는 인터프레임 코딩된 P 프레임들(interframe coded P frames), 및 움직임 추정-보상을 이용하여 B-프레임에 인접한 이전 프레임 및 다음의 프레임 양자 모두로부터 시간적으로 예측되는 인터프레임 코딩된 쌍방향 B-프레임들을 포함한다. 기저층(11) 내에서 예측 및/또는 보간 코딩, 즉, 움직임 추정 및 대응하는 보상의 이용은 내부의 시간적인 용장도(redundancy)를 감소시킨다.The base layer 11 based on prediction is an interframe that is predicted temporally from a previous I-frame or P-frame using intraframe coded I frames, motion estimation-compensation. Interframe coded P frames, and interframe coded bidirectional B-frames that are predicted temporally from both the previous frame and the next frame adjacent to the B-frame using motion estimation-compensation. . The use of prediction and / or interpolation coding, ie motion estimation and corresponding compensation, within the base layer 11 reduces internal temporal redundancy.

강화층(12)은 각각의 원래의 프레임들로부터 각각의 재구성된 기저층 프레임들을 감산함으로써(이러한 감산 역시 움직임 보상된 영역에서 발생할 수 있음) 유도된 FGS 강화층 I-프레임, P-프레임 및 B-프레임을 포함한다. 따라서, 강화층 내의 FGS 강화층 I-프레임, P-프레임 및 B-프레임은 움직임 보상되지 않는다(FGS 잔류분은 동시에 프레임들로부터 취해진다.). 이러한 주된 이유는, 전송 시점에서 이용가능한 대역폭에 개별적으로 의존하여 각각의 FGS 강화층 프레임의 절단(truncation)을 허용하는 유연성(flexibility)을 제공하기 때문이다. 특히, 강화층(12)의 파인 그래뉼 스케일러블 코딩(fine granular scalable coding)은 Rmin=RBL 내지 Rmax=RBL+REL 범위의 이용가능한 대역폭으로 임의의 네트워크 세션을 통해 FGS 비디오 스트림이 전송되게 한다. 예를 들면, 송신기와 수신기 간의 이용가능한 대역폭이 B=R인 경우, 송신기는 기저층 프레임들을 비트율 RBL로 전송하고, 강화층 프레임들의 일부만을 비트율 REL=R-RBL로 전송한다. 도 1로부터 알 수 있듯이, 강화층 내의 FGS 강화층 프레임들의 일부들은 전송을 위한 파인 그래뉼 스케일러블 방식으로 선택될 수 있다. 그러므로, 전체 전송된 비트율은 R=RBL+REL이다. 그 유연성 때문에, 단일 강화층으로 폭넓은 범위의 전송 대역폭이 지원된다.Enhancement layer 12 derives each FGS enhancement layer I-frame, P-frame and B- derived by subtracting each reconstructed base layer frames from each original frame (this subtraction can also occur in a motion compensated region). Contains a frame. Therefore, the FGS enhancement layer I-frames, P-frames and B-frames in the enhancement layer are not motion compensated (FGS residues are taken from the frames at the same time). The main reason for this is that it provides flexibility to allow truncation of each FGS enhancement layer frame depending on the bandwidth available at the time of transmission. In particular, fine granular scalable coding of the enhancement layer 12 may be used to ensure that the FGS video stream can be routed through any network session with an available bandwidth in the range of R min = R BL to R max = R BL + R EL. To be transmitted. For example, when the available bandwidth between the transmitter and the receiver is B = R, the transmitter transmits base layer frames at the bit rate R BL and only a portion of the enhancement layer frames at the bit rate R EL = RR BL . As can be seen from FIG. 1, some of the FGS enhancement layer frames in the enhancement layer may be selected in a fine granular scalable manner for transmission. Therefore, the total transmitted bit rate is R = R BL + R EL . Because of its flexibility, a wide range of transmission bandwidths are supported with a single enhancement layer.

도 2는 도 1의 비디오 코딩 방법의 기저층(11) 및 강화층(12)을 코딩하기 위한 종래의 FGS 인코더의 블록도를 도시한다. 도시한 바와 같이, 프레임 i(FGSR(i))의 강화층 잔류분은 MCR(i)-MCRQ(i)와 동일하고, 여기에서 MCR(i)은 프레임 i의 움직임 보상된 잔류분이고, MCRQ(i)는 양자화 공정(quantization process) 및 역양자화 공정(dequantization process) 이후의 프레임 i의 움직임 보상된 잔류분이다.FIG. 2 shows a block diagram of a conventional FGS encoder for coding the base layer 11 and the enhancement layer 12 of the video coding method of FIG. 1. As shown, the reinforcement layer residue of frame i (FGSR (i) is the same as MCR (i) -MCRQ (i), where MCR (i) is the motion compensated residue of frame i, and MCRQ ( i) is the motion compensated residue of frame i after the quantization process and the dequantization process.

도 1의 본 FGS 강화층 비디오 코딩 방법은 매우 유연성이 있지만, 비디오 화질의 면에서 그 성능은 동일한 전송 비트율에서 기능하는 넌-스케일러블 코더(non-scalable coder)에 비해 비교적 낮다는 단점을 갖는다. 화질의 감소는 강화층(12)의 파인 그래뉼 스케일러블 코딩으로 인한 것이 아니라, 주로 강화층(12) 내의 FGS 잔류 프레임들 간의 시간적인 용장도의 감소된 이용에 기인한다. 특히, 강화층(12)의 FGS 강화층 프레임들은 단지 이들 각각의 기저층 I-프레임, P-프레임, 및 B-프레임의 움직임 보상된 잔류분으로부터 유도되고, FGS 강화층 프레임들은 강화층(12) 내의 다른 FGS 강화층 프레임들 또는 기저층(11) 내의 다른 프레임들을 예측하는데 이용되지 않는다.Although the present FGS enhancement layer video coding method of FIG. 1 is very flexible, its performance in terms of video quality is relatively low compared to non-scalable coders functioning at the same transmission bit rate. The decrease in image quality is not due to the fine granular scalable coding of the reinforcement layer 12, but mainly due to the reduced use of temporal redundancy between FGS residual frames in the reinforcement layer 12. In particular, the FGS reinforcement layer frames of reinforcement layer 12 are derived only from the motion compensated residues of their respective base layer I-frames, P-frames, and B-frames, and the FGS reinforcement layer frames are reinforcement layer 12. It is not used to predict other FGS enhancement layer frames in the frame or other frames in the base layer 11.

따라서, 본 FGS 비디오 코딩 방법에 전형적인 유연성 및 흥미 있는 특성들의 대부분을 보존하면서 화질을 개선시키기 위해 강화층 내에 움직임-보상을 이용하는 스케일러블 강화층 비디오 코딩 방법이 필요하다.Therefore, there is a need for a scalable enhancement layer video coding method that uses motion-compensation in the enhancement layer to improve image quality while preserving most of the flexibility and interesting features typical of the present FGS video coding method.

본 발명의 일 양태는 청구항 제 1 항에 기재된 바와 같은 비디오 코딩 방법을 제공한다. 또한, 본 발명은 강화층 비디오 코딩 방법, 특히 예측 프레임 및 쌍방향 예측 프레임을 위해 강화층 내에 움직임 보상을 이용하는 FGS 강화층 비디오 코딩 방법에 관한 것이다. 본 발명의 일 양태는 기저층 프레임들(base layer frames)을 생성하기 위해 넌-스케일러블 코덱(non-scalable codec)으로 코딩되지 않은 비디오를 코딩하는 단계; 상기 코딩되지 않은 비디오 및 상기 기저층 프레임들로부터 차동 프레임 잔류분들(differential frame residulas)을 계산하는 단계로서, 상기 차동 프레임 잔류분들 중 특정한 차동 프레임 잔류분들의 적어도 일부들은 참조들로 동작하는, 상기 계산 단계; 참조 움직임 보상된 차동 프레임 잔류분을 생성하기 위해 참조들로서 동작하는 상기 차동 프레임 잔류분의 적어도 일부에 움직임-보상을 적용하는 단계; 및 움직임 예측되는 강화층 프레임들(motion-predicted enhancement layer frames)을 생성하기 위해 상기 차동 프레임 잔류분들의 각각의 차동 프레임 잔류분들로부터 상기 참조 움직임 보상된 차동 프레임 잔류분들을 감산하는 단계(60)를 포함하는 방법을 포함할 수 있다.One aspect of the invention provides a video coding method as described in claim 1. The invention also relates to an enhancement layer video coding method, in particular an FGS enhancement layer video coding method using motion compensation in the enhancement layer for prediction frames and bidirectional prediction frames. One aspect of the present invention relates to a method of encoding a video that is not coded with a non-scalable codec to generate base layer frames; Calculating differential frame residulas from the uncoded video and the base layer frames, wherein at least some of the specific differential frame residues act as references. ; Applying motion-compensation to at least a portion of the differential frame residue acting as references to produce a reference motion compensated differential frame residue; And subtracting (60) the reference motion compensated differential frame residues from respective differential frame residues of the differential frame residues to produce motion-predicted enhancement layer frames. It may include a method of including.

본 발명의 다른 양태는 청구항 제 7 항에 기재된 바와 같은 압축된 비디오 디코딩 방법을 제공한다. 또한, 본 발명은 기저층 비디오 프레임들을 생성하기 위해 상기 기저층 스트림을 디코딩하는 단계; 차동 프레임 잔류분들을 생성하기 위해 상기 강화층 스트림을 디코딩하는 단계로서, 상기 차동 프레임 잔류분들 중 특정한 차동 프레임 잔류분들의 적어도 일부들은 참조들로 동작하는, 상기 디코딩 단계; 참조 움직임 보상된 차동 프레임 잔류분들을 생성하기 위해 참조들로서 동작하는 차동 프레임 잔류분 중 적어도 일부들에 상기 움직임-보상을 적용하는 단계; 움직임 예측되는 강화층 프레임들을 생성하기 위해 상기 차동 프레임 잔류분들의 각각의 차동 프레임 잔류분들을 상기 참조 움직임 보상된 차동 프레임 잔류분들에 부가하는 단계; 및 강화된 비디오(enhanced video)를 생성하기 위해 상기 기저층 프레임들의 각각의 기저층 프레임들과 상기 움직임 예측되는 강화층 프레임들을 조합하는 단계를 포함하는 방법을 포함할 수 있다.Another aspect of the invention provides a compressed video decoding method as described in claim 7. The present invention also provides a method of decoding a base layer stream to generate base layer video frames; Decoding the enhancement layer stream to produce differential frame residues, wherein at least some of the specific differential frame residues operate as references; Applying the motion-compensation to at least some of the differential frame residues operating as references to produce reference motion compensated differential frame residues; Adding respective differential frame residues of the differential frame residues to the reference motion compensated differential frame residues to produce motion predicted enhancement layer frames; And combining the base layer frames with each of the base layer frames and the motion predicted enhancement layer frames to produce an enhanced video.

본 발명의 또 다른 양태는 청구항 제 11 항에 기재된 바와 같은 컴퓨터 판독가능 메모리 매체를 제공한다. 또한, 본 발명은 코딩되지 않은 비디오를 기저층 프레임들로 넌-스케일러블 인코딩하는 코드; 상기 코딩되지 않은 비디오 및 상기 기저층 프레임들로부터 차동 프레임 잔류분들을 계산하는 코드로서, 상기 차동 프레임 잔류분들 중 특정한 차동 프레임 잔류분들의 적어도 일부들은 참조들로 동작하는, 상기 계산 코드; 참조 움직임 보상된 차동 프레임 잔류분을 생성하기 위해 참조들로서 동작하는 상기 차동 프레임 잔류분들의 적어도 일부들에 움직임-보상을 적용하는 코드; 및 움직임 예측되는 강화층 프레임들을 생성하기 위해 상기 차동 프레임 잔류분들의 각각의 차동 프레임 잔류분들로부터 상기 참조 움직임 보상된 차동 프레임 잔류분들을 감산하는 코드를 포함하는 비디오를 인코딩하기 위한 메모리 매체를 포함할 수 있다.Another aspect of the invention provides a computer readable memory medium as described in claim 11. The invention also provides code for non-scalable encoding of uncoded video into base layer frames; Code for calculating differential frame residues from the uncoded video and the base layer frames, wherein at least some of the specific differential frame residues act as references; Code for applying motion-compensation to at least some of the differential frame residues operating as references to produce a reference motion compensated differential frame residue; And a memory medium for encoding a video comprising code for subtracting the reference motion compensated differential frame residues from respective differential frame residues of the differential frame residues to produce motion predicted enhancement layer frames. Can be.

본 발명의 또 다른 양태는 청구항 제 17 항에 기재된 바와 같은 컴퓨터 판독가능 메모리 매체를 제공한다. 또한, 본 발명은 기저층 비디오 프레임들을 생성하기 위해 상기 기저층 스트림을 디코딩하는 코드; 상기 차동 프레임 잔류분들을 생성하기 위해 상기 강화층 스트림을 디코딩하는 코드로서, 상기 차동 프레임 잔류분들 중 특정한 차동 프레임 잔류분들의 적어도 일부들은 참조들로 동작하는, 상기 디코딩 코드; 참조 움직임 보상된 차동 프레임 잔류분을 생성하기 위해 참조들로서 동작하는 상기 차동 프레임 잔류분들 중 적어도 일부들에 움직임-보상을 적용하는 코드; 움직임 예측되는 강화층 프레임들을 생성하기 위해 상기 차동 프레임 잔류분들의 각각의 차동 프레임 잔류분들에 상기 참조 움직임 보상된 차동 프레임 잔류분을 부가하는 코드; 및 강화된 비디오를 생성하기 위해 상기 기저층 프레임들의 각각의 기저층 프레임들과 상기 움직임 예측되는 강화층 프레임들을 조합하는 코드를 포함하는 기저층 스트림 및 강화층 스트림을 갖는 압축된 비디오를 디코딩하는 메모리 매체를 포함할 수 있다.Another aspect of the invention provides a computer readable memory medium as described in claim 17. The present invention also provides code for decoding the base layer stream to produce base layer video frames; Code for decoding the enhancement layer stream to produce the differential frame residues, wherein at least some of the specific differential frame residues operate as references; Code for applying motion-compensation to at least some of the differential frame residues operating as references to produce a reference motion compensated differential frame residue; Code for adding the reference motion compensated differential frame residue to respective differential frame residues of the differential frame residues to produce motion predicted enhancement layer frames; And a memory medium for decoding the compressed video having an enhancement layer stream and a base layer stream comprising code for combining each of the base layer frames and the motion predicted enhancement layer frames to produce an enhanced video. can do.

본 발명의 또 다른 양태는 청구항 제 21 항에 기재된 바와 같은 비디오 코딩 장치를 제공한다. 또한, 본 발명은 기저층 프레임들을 생성하기 위해 코딩되지 않은 비디오를 넌-스케일러블 코딩하는 수단; 코딩되지 않은 비디오 및 기저층 프레임들로부터 차동 프레임 잔류분들을 계산하는 수단으로서, 상기 차동 프레임 잔류분들 중 특ds정한 차동 프레임 잔류분들의 적어도 일부들은 참조들로 동작하는, 상기 계산 수단; 참조 움직임 보상된 차동 프레임 잔류분들을 생성하기 위해 참조들로서 동작하는 상기 차동 프레임 잔류분들 중 적어도 일부들에 움직임-보상을 적용하는 수단; 및 움직임 예측된 강화층 프레임들을 생성하기 위해 상기 차동 프레임 잔류분들의 각각의 차동 프레임 잔류분들로부터 상기 참조 움직임 보상된 차동 프레임 잔류분들을 감산하는 수단을 포함하는 비디오 코딩 장치를 포함할 수 있다.Another aspect of the invention provides a video coding apparatus as described in claim 21. The present invention also provides a means for non-scalable coding uncoded video to produce base layer frames; Means for calculating differential frame residues from uncoded video and base layer frames, wherein at least some of the specified differential frame residues act as references; Means for applying motion-compensation to at least some of said differential frame residues operating as references to produce reference motion compensated differential frame residues; And means for subtracting the reference motion compensated differential frame residues from respective differential frame residues of the differential frame residues to produce motion predicted enhancement layer frames.

본 발명의 또 다른 양태는 청구항 제 27 항에 기재된 바와 같은 압축된 비디오를 디코딩하는 장치를 제공한다. 또한, 본 발명은 기저층 비디오 프레임들을 생성하기 위해 상기 기저층 스트림을 디코딩하는 수단; 차동 프레임 잔류분들을 생성하기 위해 상기 강화층 스트림을 디코딩하는 수단으로서, 상기 차동 프레임 잔류분들 중 특정한 차동 프레임 잔류분들의 적어도 일부들은 참조들로 동작하는, 상기 디코딩 수단; 참조 움직임 보상된 차동 프레임 잔류분들을 생성하기 위해 참조들로서 동작하는 상기 차동 프레임 잔류분들 중 적어도 일부들에 움직임-보상을 적용하는 수단; 움직임 예측된 강화층 프레임들을 생성하기 위해 상기 차동 프레임 잔류분들의 각각의 차동 프레임 잔류분들에 상기 참조 움직임 보상된 차동 프레임 잔류분들을 부가하는 수단; 및 강화된 비디오를 생성하기 위해 상기 기저층 프레임들의 각각의 기저층 프레임들과 움직임 예측된 강화층 프레임들을 조합하는 수단을 포함하는, 기저층 스트림 및 강화층 스트림을 갖는 압축된 비디오를 디코딩하는 장치를 포함할 수 있다.Another aspect of the invention provides an apparatus for decoding compressed video as described in claim 27. The invention also provides means for decoding the base layer stream to produce base layer video frames; Means for decoding the enhancement layer stream to produce differential frame residues, wherein at least some of the specific differential frame residues operate as references; Means for applying motion-compensation to at least some of said differential frame residues operating as references to produce reference motion compensated differential frame residues; Means for adding the reference motion compensated differential frame residues to respective differential frame residues of the differential frame residues to produce motion predicted enhancement layer frames; And means for combining each of the base layer frames and the motion predicted enhancement layer frames to produce an enhanced video, the apparatus for decoding the compressed video having the base layer stream and the enhancement layer stream. Can be.

도 1은 본 강화층 비디오 코딩 방법을 도시하는 도면.1 illustrates the present enhancement layer video coding method.

도 2는 도 1의 비디오 코딩 방법의 기저층 및 강화층을 코딩하기 위한 종래의 인코더를 도시하는 블록도.2 is a block diagram illustrating a conventional encoder for coding the base layer and enhancement layer of the video coding method of FIG.

도 3a는 본 발명의 제 1 예시적인 실시예에 따른 강화층 비디오 코딩 방법을 도시하는 도면.3A illustrates an enhancement layer video coding method according to the first exemplary embodiment of the present invention.

도 3b는 본 발명의 제 2 예시적인 실시예에 따른 강화층 비디오 코딩 방법을 도시하는 도면.3B illustrates an enhancement layer video coding method according to a second exemplary embodiment of the present invention.

도 4는 본 발명의 예시적인 실시예에 따라 도 3a의 강화층 비디오 코딩 방법을 생성하기 위해 이용될 수 있는 인코더를 도시하는 블록도.4 is a block diagram illustrating an encoder that may be used to generate the enhancement layer video coding method of FIG. 3A in accordance with an exemplary embodiment of the present invention.

도 5는 본 발명의 예시적인 실시예에 따라 도 3b의 강화층 비디오 코딩 방법을 생성하기 위해 이용될 수 있는 인코더를 도시하는 블록도.FIG. 5 is a block diagram illustrating an encoder that may be used to generate the enhancement layer video coding method of FIG. 3B, in accordance with an exemplary embodiment of the present invention. FIG.

도 6은 본 발명의 예시적인 실시예에 따라 도 4의 인코더에 의해 생성된 압축 기저층 및 강화층 스트림을 디코딩하기 위해 이용될 수 있는 디코더를 도시하는 블록도.6 is a block diagram illustrating a decoder that can be used to decode the compressed base layer and enhancement layer streams generated by the encoder of FIG. 4 in accordance with an exemplary embodiment of the present invention.

도 7은 본 발명의 예시적인 실시예에 따라 도 5의 인코더에 의해 생성된 압축 기저층 및 강화층 스트림을 디코딩하기 위해 이용될 수 있는 디코더를 도시하는 블록도.FIG. 7 is a block diagram illustrating a decoder that may be used to decode the compressed base layer and enhancement layer streams generated by the encoder of FIG. 5 in accordance with an exemplary embodiment of the present invention. FIG.

도 8은 본 발명의 원리들을 구현하기 위해 이용될 수 있는 시스템의 예시적인 실시예를 도시하는 도면.8 illustrates an exemplary embodiment of a system that may be used to implement the principles of the present invention.

본 발명의 장점, 특성 및 다양한 부가적인 특징들은 동일한 참조 번호는 도면들 전반에 걸쳐 동일한 소자로 간주되는 첨부한 도면과 연관하여 상세히 기재될 예시적인 실시예들을 고려하여 보다 명백해질 것이다.Advantages, features and various additional features of the present invention will become more apparent in light of the illustrative embodiments which will be described in detail in conjunction with the accompanying drawings wherein like reference numerals are considered to be like elements throughout.

도 3a는 본 발명의 제 1 예시적인 실시예에 따른 강화층 비디오 코딩 방법(30)을 도시한다. 도시된 바와 같이, 비디오 코딩 방법(30)은 예측에 기초한 기저층(31) 및 이중-루프 예측에 기초한 강화층(32)을 포함한다.3A illustrates an enhancement layer video coding method 30 according to the first exemplary embodiment of the present invention. As shown, the video coding method 30 includes a base layer 31 based on prediction and an enhancement layer 32 based on double-loop prediction.

예측에 기초한 기저층(31)은 도 1에서 나타낸 종래의 강화층 비디오 방법에서와 같이, 인트라프레임 코딩된 I 프레임, 인터프레임 코딩된 예측 P-프레임, 및 인터프레임 코딩된 쌍방향 예측 B-프레임을 포함한다. 기저층 I-, P- 및 B-프레임들은 종래의 넌-스케일러블 프레임 예측 코딩 기술들을 이용하여 코딩될 수 있다(기저층 I-프레임은 물론 움직임-예측되지 않는다.).The prediction based base layer 31 includes intraframe coded I frames, interframe coded prediction P-frames, and interframe coded bidirectional prediction B-frames, as in the conventional enhancement layer video method shown in FIG. do. Base layer I-, P- and B-frames may be coded using conventional non-scalable frame predictive coding techniques (base layer I-frames are not motion-predicted, of course).

이중-루프 예측에 기초한 강화층(32)은 비움직임 예측 강화층(non-motion-predicted enhancement layer) I- 및 P-프레임들 및 움직임 예측된 강화층 B-프레임들을 포함한다. 종래에는 비움직임 예측 강화층 I- 및 P-프레임들이 이들 각각의 원래의 기저층 I- 및 P-프레임 잔류분들로부터 이들 각각의 재구성된(디코딩된) 기저층 I- 및 P-프레임 잔류분들을 감산함으로써 유도된다.The enhancement layer 32 based on double-loop prediction includes non-motion-predicted enhancement layer I- and P-frames and motion predicted enhancement layer B-frames. Conventionally, the empty predictive enhancement layer I- and P-frames are subtracted from their respective original base layer I- and P-frame residues by subtracting their respective reconstructed (decoded) base layer I- and P-frame residues. Induced.

본 발명에 따라, 움직임 예측된 강화층 B-프레임들은 각각 1) 2 개의 시간적으로 인접한 차동 I- 및 P- 또는 P- 및 P-프레임 잔류분들(즉, 강화층 프레임들)로부터의 움직임 예측, 및 2) 원래의 기저층 B-프레임 잔류분으로부터 디코딩된 기저층 B-프레임 잔류분을 감산함으로써 얻어진 차동 B-프레임 잔류분을 이용함으로써 계산된다. 1) 2 개의 시간적으로 인접한 움직임 보상된 차동 프레임 잔류분으로부터 얻어진 B-프레임 움직임 예측과 2) 차동 B-프레임 잔류분 간의 차이는 강화층(32) 내에 움직임 예측된 강화층 B-프레임을 제공한다. 이러한 공정으로부터 초래되는 움직임 예측된 강화층 B 프레임들 및 비움직임 예측 강화층 I- 및 P-프레임들 양자 모두는, 임의의 적절한 스케일러블 코덱, 바람직하게는 도 3a에 도시된 바와 같이 파인 그래뉼 스케일러블(FGS) 코덱으로 코딩될 수 있다.According to the present invention, the motion predicted enhancement layer B-frames are respectively 1) motion prediction from two temporally adjacent differential I- and P- or P- and P-frame residues (ie, enhancement layer frames), And 2) the differential B-frame residue obtained by subtracting the decoded base layer B-frame residue from the original base layer B-frame residue. The difference between 1) B-frame motion prediction obtained from two temporally adjacent motion compensated differential frame residues and 2) differential B-frame residues provides a motion predicted enhancement layer B-frame in enhancement layer 32. . Both the motion predicted enhancement layer B frames and the empty prediction enhancement layer I- and P-frames resulting from this process may be of any suitable scalable codec, preferably a fine granule scale as shown in FIG. 3A. It may be coded with a flexible (FGS) codec.

본 발명의 비디오 코딩 방법(30)은 그것이 강화층(32)의 강화층 B-프레임에서 일시적인 용장도를 감소시키기 때문에 비디오 화질을 개선시킨다. 강화층 B-프레임들이 화상들 구조의 IBBP 그룹(GOP)에서 강화층(32)에 대한 전체 비트율 버짓(total bit-rate budget)의 66%을 차지하기 때문에, 강화층 B-프레임들에 대해서만 움직임 보상을 수행하는 것과 연관된 화질의 손실은 대부분의 비디오 시퀀스들에 대해 매우 제한적이다(종래의 강화층 비디오 코딩 방법에서, 통상적인 비트율 제어는 동일한 수의 비트를 모든 강화층 I-, P- 및 B-프레임들에 할당함으로써 강화층 내에서 주로 수행된다.).The video coding method 30 of the present invention improves video quality because it reduces temporary redundancy in the enhancement layer B-frame of the enhancement layer 32. Since the enhancement layer B-frames account for 66% of the total bit-rate budget for the enhancement layer 32 in the IBBP group (GOP) of the pictures structure, only the enhancement layer B-frames are moved. The loss of picture quality associated with performing compensation is very limited for most video sequences (in conventional enhancement layer video coding methods, conventional bit rate control uses the same number of bits for all enhancement layers I-, P- and B). -Mainly performed in the enhancement layer by assignment to frames).

더욱이, 비트율 제어가 본 발명의 비디오 코딩 방법에 의해 우수한 성능을 달성하기 위한 중요한 역할을 한다는 것을 주목하는 것이 중요하다. 그러나, Btot=bI*No._I_프레임들+bP*No._P_프레임들+bB*No._B_프레임들(여기에서, bI>bP>bB)에 따라 GOP에 대해 전체 비트-버짓 Btot를 할당하는 단순한 접근법조차도 이미 매우 우수한 결과를 제공한다. 또한, 상이한 수의 강화층 비트들/비트평면들(비트들/비트평면들의 수가 정수여야 하는 것은 아님)은 움직임 보상 루프들에 이용된 각각의 강화층 참조 프레임에 대해 고려될 수 있다는 것을 주목해야 한다. 더욱이, 바람직한 경우, 강화층 참조 프레임 내의 특정 부분 또는 주파수만이 강화층 움직임 보상된 루프 내에 통합될 필요가 있다.Moreover, it is important to note that bit rate control plays an important role in achieving good performance by the video coding method of the present invention. However, the full bit-budget Btot for the GOP according to Btot = bI * No._I_frames + bP * No._P_frames + bB * No._B_frames (here, bI> bP> bB). Even a simple approach to assigning an algorithm already gives very good results. It should also be noted that different numbers of enhancement layer bits / bitplanes (the number of bits / bitplanes need not be an integer) can be considered for each enhancement layer reference frame used in the motion compensation loops. do. Moreover, if desired, only certain portions or frequencies within the enhancement layer reference frame need to be incorporated into the enhancement layer motion compensated loop.

상기 방법의 패킷-손실 견고성(packet-loss robustness)은 도 1의 본 강화층 코딩 방법과 유사하고: 움직임 예측된 강화층 B-프레임에서 에러가 발생하는 경우, 이러한 에러는 다음에 수신된 I- 또는 P-프레임의 범위를 넘어서 전파되지 않을 것이다. 2 개의 패킷-손실 시나리오들이 발생할 수 있다:The packet-loss robustness of the method is similar to the present enhancement layer coding method of FIG. 1: if an error occurs in the motion predicted enhancement layer B-frame, this error is then received in the received I−. Or it will not propagate beyond the range of the P-frame. Two packet-loss scenarios can occur:

● 움직임 예측된 강화층 B-프레임에서 에러가 발생하는 경우, 에러는 B-프레임으로만 한정되고;When an error occurs in the motion predicted enhancement layer B-frame, the error is limited to the B-frame only;

● 강화층 I- 또는 P-프레임에서 에러가 발생하는 경우, 그 에러는 이들 강화층 프레임들을 참조들로 이용하는 (2 개의) 움직임 예측된 강화층 B-프레임들의 범위를 넘지 않을 것이다. 따라서, 움직임 예측된 강화층 B-프레임들 중 어느 하나가 폐기될 수 있고, 프레임-반복이 적용될 수 있거나, 다른 오염되지 않은 참조 강화층 프레임을 이용하여 에러 은폐(error concealment)가 적용될 수 있다.If an error occurs in an enhancement layer I- or P-frame, the error will not go beyond the range of (two) motion predicted enhancement layer B-frames using these enhancement layer frames as references. Thus, either of the motion predicted enhancement layer B-frames may be discarded, frame-repeat may be applied, or error concealment may be applied using other uncontaminated reference enhancement layer frames.

도 4는 도 3a의 강화층 비디오 코딩 방법을 생성하기 위해 이용될 수 있는, 본 발명의 예시적인 실시예에 따른 인코더(40)의 블록도를 도시한다. 도시된 바와 같이, 인코더(40)는 기저층 인코더(41) 및 강화층 인코더(42)를 포함한다. 기저층 인코더(41)는 종래의 것이고, 메모리(44) 내에 저장된 적절한 참조 프레임 및 원래의 비디오 시퀀스로부터 움직임 정보(움직임 벡터 및 예측 모드들)를 생성하는 움직임 추정기(43)를 포함한다. 제 1 움직임 보상 루프(62)에서의 제 1 움직임 보상기(45)는 움직임 정보를 처리하고, 움직임 보상된 기저층 참조 프레임들(Ref(i))을 생성한다. 제 1 감산기(46)는 기저층 프레임들 MCR(i)의 움직임 보상된 잔류분들을 생성하기 위해 원래의 비디오 시퀀스로부터 움직임 보상된 기저층 참조 프레임들 Ref(i)을 감산한다. 기저층 프레임들 MCR(i)의 움직임 보상된 잔류분들은 이산 코사인 변환(DCT) 인코더(47), 양자화기(48) 및 엔트로피 인코더(entropy encoder; 49)에 의해 원래의 비디오 시퀀스로부터 압축된 기저층 스트림(기저층 프레임들)의 일부로 처리된다. 움직임 추정기(43)에 의해 생성된 움직임 정보는 또한 제 1 감산기(46), DCT 인코더(47), 양자화기(48) 및 엔트로피 인코더(49)에 의해 처리된 기저층 스트림의 일부와 함께 멀티플렉서(50)를 통해 조합된다. 양자화기(48)의 출력단에서 생성된 기저층 프레임들 MCR(i)의 양자화된 움직임 보상된 잔류분은 역양자화기(51)에 의해 탈양자화되고, 이어서, 역 DCT 유니트(52)를 통해 역 DCT 변환된다. 이러한 공정은 역 DCT(52)의 출력단에서 기저층 프레임들 MCRQ(i)의 움직임 보상된 잔류분들의 양자화 및 탈양자화 버전들(quantized-and-dequantized versions)을 생성한다. 기저층 프레임 MCRQ(i) 및 이들의 각각의 움직임 보상된 기저층 참조 프레임들 Ref(i)의 양자화 및 탈양자화 움직임 보상 잔류분들은 제 1 프레임 메모리(44) 내에 저장되고, 다른 프레임들을 처리하기 위해 움직임 추정기(43) 및 움직임 보상기(45)에 의해 이용되는 새로운 참조 프레임들을 생성하기 위해 가산기(53)에서 합산된다.4 shows a block diagram of an encoder 40 according to an exemplary embodiment of the present invention, which may be used to generate the enhancement layer video coding method of FIG. 3A. As shown, the encoder 40 includes a base layer encoder 41 and an enhancement layer encoder 42. The base layer encoder 41 is conventional and includes a motion estimator 43 that generates motion information (motion vectors and prediction modes) from the original video sequence and the appropriate reference frame stored in memory 44. The first motion compensator 45 in the first motion compensation loop 62 processes the motion information and generates motion compensated base layer reference frames Ref (i). The first subtractor 46 subtracts the motion compensated base layer reference frames Ref (i) from the original video sequence to produce motion compensated residues of the base layer frames MCR (i). The motion compensated residues of the base layer frames MCR (i) are the base layer stream compressed from the original video sequence by a discrete cosine transform (DCT) encoder 47, quantizer 48 and entropy encoder 49. As part of (base layer frames). The motion information generated by the motion estimator 43 is also multiplexer 50 together with the portion of the base layer stream processed by the first subtractor 46, the DCT encoder 47, the quantizer 48 and the entropy encoder 49. ) Is combined. The quantized motion compensated residue of the base layer frames MCR (i) generated at the output of the quantizer 48 is dequantized by the inverse quantizer 51, and then inversed DCT via the inversed DCT unit 52. Is converted. This process produces quantized-and-dequantized versions of the motion compensated residues of the base layer frames MCRQ (i) at the output of inverse DCT 52. Quantization and dequantization motion compensation residues of the base layer frame MCRQ (i) and their respective motion compensated base layer reference frames Ref (i) are stored in the first frame memory 44 and are moved to process other frames. Sum in adder 53 to generate new reference frames used by estimator 43 and motion compensator 45.

다시, 도 4로 참조하면, 바람직하게는 FGS 강화층 인코더(도 4에 도시됨)를 포함하는 강화층 인코더(42)는 차동 I-, P-, 및 B-프레임 잔류분 FGSR(i)을 생성하기 위해(I- 및 P-프레임 잔류분들의 경우에, 강화층 I- 및 P-프레임들임) 기저층 프레임 의 움직임 보상된 잔류분 MCR(i)과 기저층 프레임의 양자화 및 탈양자화 움직임 보상된 잔류분 MCRQ(i) 간의 차를 계산하는 제 2 감산기(54)를 포함한다. 프레임 흐름 제어 장치(55)는 차동 B-프레임 잔류분들이 본 발명의 원리들에 따라 강화층 내의 움직임-보상에 의해 처리되면서 차동 I- 및 P-프레임 잔류분들이 종래와 같이 처리될 수 있도록 제공된다. 프레임 흐름 제어 장치(55)는 제 2 감산기(54)에 의해 출력되는 프레임의 유형에 따라 상이한 방식으로 제 2 감산기(54)의 출력단에서 데이터 흐름을 야기시킴으로써 이러한 작업을 수행한다. 특히, 제 2 감산기(54)의 출력단에서 생성된 차동 I- 및 P-프레임 잔류분들은 압축된 강화층 스트림의 일부(비움직임 예측 강화층 I- 및 P-프레임)를 생성하기 위해 비트평면 DCT 스캐닝 및 엔트로피 인코딩이 후속하는 종래의 DCT 인코딩을 이용하여, FGS 코딩용 프레임 제어 장치(55)에 의해 FGS 인코더(61)(또는 유사한 스케일러블 인코더)로 라우팅(route)된다. 제 2 감산기(54)의 출력단에서 생성된 차동 I- 및 P-프레임 잔류분들은 또한 이들이 이후 움직임-보상에 이용되는 경우 제 2 프레임 메모리(58)로 라우팅된다. 제 2 감산기(54)의 출력단에서 생성된 차동 B-프레임 잔류분들은 프레임 제어 장치(55)에 의해 제 3 감산기(60) 및 제 2 프레임 메모리(58)로 라우팅된다. 제 2 움직임 보상 루프(63)에서 제 2 움직임 보상기(59)는 원래의 비디오 시퀀스(기저층 인코더(41)의 움직임 추정기(43)의 출력단)로부터 움직임 정보를 재이용하고, 참조 움직임 보상된 차동(I- 및 P- 또는 P- 및 P-) 프레임 잔류분들 MCRGSR(i)을 생성하기 위해 참조들로 이용되는 제 2 프레임 메모리(58) 내에 저장된 차동 I- 및 P-프레임 잔류분들을 재이용한다. 바람직한 경우 전체 참조 차동 프레임 잔류분이 이용될 수 있더라도, 각각의 참조 차동 I- 및 P-프레임 잔류분의 일부, 예를 들면 여러 개의 비트평면만이 필요하다는 것을 주목한다. 제 3 감산기(60)는 각각의 차동 B-프레임 잔류분 FGSR(i)로부터 참조 움직임 보상된 차동 (I- 및 P- 또는 P- 또는 P-) 프레임 잔류분 MCFGSR(i)을 감산함으로써 각각의 움직임 예측된 강화층 B-프레임 MCFGS(i)를 생성한다. 프레임 흐름 제어 장치(55)는, 비트평면 DCT 주사 및 엔트로피 인코딩이 후속하는 종래 DCT 인코딩을 이용하여, FGS 코딩하기 위해 FGS 인코더(61)로 움직임 예측된 강화층 B-프레임 FCFGS(i)를 라우팅하고, 여기서 이들이 압축된 강화층 스트림에 부가된다.Referring again to FIG. 4, the enhancement layer encoder 42, preferably comprising an FGS enhancement layer encoder (shown in FIG. 4), provides differential I-, P-, and B-frame residuals FGSR (i). To produce (in the case of I- and P-frame residues, the enhancement layer I- and P-frames) the motion compensated residue MCR (i) of the base layer frame and the quantized and dequantized motion compensated residue of the base layer frame And a second subtractor 54 to calculate the difference between the minutes MCRQ (i). The frame flow control device 55 provides for differential I- and P-frame residues to be processed as conventional while differential B-frame residues are processed by motion-compensation in the enhancement layer in accordance with the principles of the present invention. do. The frame flow control device 55 performs this task by causing data flow at the output of the second subtractor 54 in a different way depending on the type of frame output by the second subtractor 54. In particular, the differential I- and P-frame residues generated at the output of the second subtractor 54 are bitplane DCT to generate a portion of the compressed enhancement layer stream (empty predictive enhancement layer I- and P-frames). Scanning and entropy encoding are then routed to the FGS encoder 61 (or similar scalable encoder) by the frame control device 55 for FGS coding using conventional DCT encoding. The differential I- and P-frame residues generated at the output of the second subtractor 54 are also routed to the second frame memory 58 when they are then used for motion compensation. The differential B-frame residues generated at the output of the second subtractor 54 are routed by the frame control device 55 to the third subtractor 60 and the second frame memory 58. In the second motion compensation loop 63, the second motion compensator 59 reuses the motion information from the original video sequence (the output end of the motion estimator 43 of the base layer encoder 41) and uses the reference motion compensated differential (I). And reuse the differential I- and P-frame residues stored in the second frame memory 58 used as references to generate the P- or P- and P-) frame residues MCRGSR (i). Note that although a full reference differential frame residue may be used if desired, only a portion of each reference differential I- and P-frame residue, for example several bit planes, is needed. The third subtractor 60 subtracts the respective reference motion compensated differential (I- and P- or P- or P-) frame residue MCFGSR (i) from each differential B-frame residue FGSR (i). Generate a motion predicted enhancement layer B-frame MCFGS (i). The frame flow control device 55 routes the motion predicted enhancement layer B-frame FCFGS (i) to the FGS encoder 61 for FGS coding using conventional DCT encoding followed by bitplane DCT scanning and entropy encoding. Where they are added to the compressed enhancement layer stream.

이하 명백한 바와 같이, 기저층은 도 3a의 강화층 비디오 코딩 방법에서 변함이 없다. 더욱이, 강화층 I- 및 P-프레임들은 도 1의 본 FGS 비디오 코딩 방법에서와 실질적으로 동일한 방식으로 처리되고, 따라서, 이들 프레임들은 강화층 내에서 움직임-예측되지 않는다. 움직임 예측된 강화층 B-프레임들의 경우에, i번째 프레임 MCFGS의 강화층에서 코딩될 신호는 하기 식과 동일함이 명백해져야 할 것이다:As will be apparent below, the base layer remains unchanged in the enhancement layer video coding method of FIG. 3A. Moreover, enhancement layer I- and P-frames are processed in substantially the same manner as in the present FGS video coding method of FIG. 1, and therefore, these frames are not motion-predicted in the enhancement layer. In the case of motion predicted enhancement layer B-frames, it should be evident that the signal to be coded in the enhancement layer of the i th frame MCFGS is equal to the following equation:

MCFGS(i)=FGSR(i)-MCFGSR(i)=MCR(i)-MCRQ(i)-MCFGSR(i)MCFGS (i) = FGSR (i) -MCFGSR (i) = MCR (i) -MCRQ (i) -MCFGSR (i)

여기에서 MCR(i)는 양자화 및 탈양자화 공정 이후 프레임 i의 움직임 보상된 잔류분이고, FGSR(i)는 도 1의 본 FSG 비디오 코딩 방법과 실질적으로 동일하고, 즉, FGSR(i)는 MCR(i)-MCRQ(i)이고, MCFGSR(i)는 프레임(i)에 대한 참조 움직임 보상된 차동 프레임 잔류분이다. 본 발명의 강화층 B-프레임 처리방법은 움직임 예측된 강화층 B-프레임을 제공하기 위해 강화층 내에 단지 추가의 움직임-보상 루프를 필요로 하는 것이 주목되어야 한다.Where MCR (i) is the motion compensated residue of frame i after the quantization and dequantization processes, and FGSR (i) is substantially the same as the present FSG video coding method of FIG. i) -MCRQ (i), and MCFGSR (i) is the reference motion compensated differential frame residual for frame i. It should be noted that the enhancement layer B-frame processing method of the present invention only needs an additional motion-compensation loop in the enhancement layer to provide a motion predicted enhancement layer B-frame.

도 6은 도 4의 인코더(40)에 의해 생성된 강화층 스트림 및 압축된 기저층을 디코딩하기 위해 이용될 수 있는, 본 발명의 하나의 예시적인 실시예에 따른 디코더(70)의 블록도를 도시한다. 도시한 바와 같이, 디코더(70)는 기저층 디코더(71) 및 강화층 디코더(72)를 포함한다. 기저층 디코더(71)는 인코딩된 기저층 스트림을 수신하고, 이러한 스트림을 제 1 및 제 2 데이터 스트림(76, 77)으로 디멀티플렉싱하는 디멀티플렉서(75)를 포함한다. 움직임 정보(움직임 벡터들 및 움직임 예측 모드들)를 포함하는 제 1 데이터 스트림(76)이 제 1 움직임 보상기(78)에 적용된다. 움직임 보상기(78)는 제 1 가산기(80)의 제 1 입력단(81)에 인가되는 움직임 예측된 기저층 P- 및 B-프레임을 생성하기 위해 연관된 기저층 프레임 메모리(79)에 저장된 움직임 정보 및 기저층 참조 비디오 프레임들을 이용한다. 제 2 데이터 스트림(77)은 디코딩을 위해 기저층 가변 길이 코드 디코더(83)에 인가되고, 탈양자화를 위해 역양자화기(84)에 인가된다. 탈양자화된 코드는 역 DCT 디코더(85)에 인가되고, 여기에서 탈양자화된 코드는 기저층 잔류 비디오 I-, P- 및 B- 프레임들로 변환되고, 이는 제 1 가산기(80)의 제 2 입력단(82)에 인가된다. 기저층 잔류 비디오 프레임들 및 움직임 보상기(78)에 의해 생성된 움직임 예측 기저층 프레임들은 기저층 프레임 메모리(79)에 저장되고 임의로 기저층 비디오로서 출력되는 기저층 비디오 I-, P-, 및 B-프레임들을 생성하기 위해 제 1 가산기(80)에서 합산된다.6 shows a block diagram of a decoder 70 according to one exemplary embodiment of the present invention, which may be used to decode the enhancement layer stream and the compressed base layer generated by the encoder 40 of FIG. 4. do. As shown, the decoder 70 includes a base layer decoder 71 and an enhancement layer decoder 72. The base layer decoder 71 includes a demultiplexer 75 that receives the encoded base layer streams and demultiplexes such streams into first and second data streams 76, 77. A first data stream 76 including motion information (motion vectors and motion prediction modes) is applied to the first motion compensator 78. The motion compensator 78 references motion information and base layer stored in the associated base layer frame memory 79 to generate motion predicted base layer P- and B-frames applied to the first input terminal 81 of the first adder 80. Use video frames. The second data stream 77 is applied to the base layer variable length code decoder 83 for decoding and to the dequantizer 84 for dequantization. The dequantized code is applied to the inverse DCT decoder 85, where the dequantized code is converted into base layer residual video I-, P- and B- frames, which is the second input of the first adder 80. Is applied to (82). Base layer residual video frames and motion prediction base layer frames generated by the motion compensator 78 generate base layer video I-, P-, and B-frames stored in the base layer frame memory 79 and optionally output as base layer video. In order to add up in the first adder 80.

강화층 디코더(72)는 제 1 및 제 2 프레임 흐름 제어 장치들(87, 91)로 각각 인가되는 차동 I-, P- 및 B-프레임 잔류분을 제 1 및 제 2 출력단(73, 74)에서 생성하기 위해 압축된 강화층 스트림을 디코딩하는 FGS 비트평면 디코더(86) 또는 유사한 스케일러블 디코더를 포함한다. 제 1 및 제 2 프레임 흐름 제어 장치(87, 91)는, 디코더(86)에 의해 출력되는 강화층 프레임의 유형에 따라 상이한 방식으로 FGS 비트 평면 디코더(86)의 출력단들(73, 74)에서 데이터 흐름을 야기시킴으로써, 차동 B-프레임 잔류분들로부터 차동 I- 및 P-프레임 잔류분들이 상이하게 처리되게 한다. FGS 비트평면 디코더(86)의 제 1 출력단(73)에서 차동 I- 및 P-프레임 잔류분들은, 이들이 움직임 보상을 위해 저장되고 이후에 이용되는, 강화층 프레임 메모리(88)로 제 1 프레임 제어 장치(87)에 의해 라우팅된다. FGS 비트평면 디코더(86)의 제 1 출력단(73)에서 차동 B-프레임 잔류분들은 제 1 프레임 제어 장치(87)에 의해 라우팅되고 이후 설명되는 바와 같이 처리된다.Enhancement layer decoder 72 receives differential I-, P- and B-frame residuals applied to first and second frame flow control devices 87, 91, respectively, at first and second output stages 73, 74. A FGS bitplane decoder 86 or similar scalable decoder that decodes the compressed enhancement layer stream for generation in. The first and second frame flow control devices 87 and 91 are connected at the output stages 73 and 74 of the FGS bit plane decoder 86 in a different way depending on the type of enhancement layer frame output by the decoder 86. By causing the data flow, the differential I- and P-frame residues from the differential B-frame residues are processed differently. The differential I- and P-frame residues at the first output 73 of the FGS bitplane decoder 86 are first frame controlled by the enhancement layer frame memory 88, where they are stored for motion compensation and later used. Routed by device 87. The differential B-frame residues at the first output 73 of the FGS bitplane decoder 86 are routed by the first frame control device 87 and processed as described below.

제 2 움직임 보상기(90)는 참조 움직임 보상된 차동(I- 및 P- 또는 P- 및 P-)프레임 잔류분들을 생성하기 위해, 강화층 프레임 메모리(88) 내에 저장된 차동 I- 및 P-프레임 잔류분들 및 기저층 디코더(71)에 의해 수신된 움직임 정보를 재이용하고, 이는 강화층 B-프레임들을 예측하기 위해 이용된다. 제 2 가산기(92)는 강화층 B-프레임을 생성하기 위해 각각의 참조 움직임 보상된 차동 프레임 잔류분과 각각의 차동 B-프레임 잔류분을 합산한다.Second motion compensator 90 stores differential I- and P-frames stored in enhancement layer frame memory 88 to generate reference motion compensated differential (I- and P- or P- and P-) frame residues. Reuse the motion information received by the residues and the base layer decoder 71, which is used to predict the enhancement layer B-frames. The second adder 92 sums each reference motion compensated differential frame residue and each differential B-frame residue to produce an enhancement layer B-frame.

제 2 프레임 제어 장치(91)는 FGS 비트평면 디코더(86)의 제 2 출력단(74)에서 강화층 I- 및 P-프레임들(차동 I- 및 P-프레임 잔류분들), 제 2 가산기(92)의 출력단(93)에서의 움직임 예측된 강화층 B-프레임들을 순차로 제 3 가산기(89)에 라우팅한다. 제 3 가산기(89)는 강화된 비디오를 생성하기 위해 강화층 I-, P-, 및 B-프레임들을 이들의 대응하는 기저층 I-, P- 및 B-프레임들과 함께 합산한다.The second frame control device 91 adds enhancement layer I- and P-frames (differential I- and P-frame residues) and a second adder 92 at the second output terminal 74 of the FGS bitplane decoder 86. The motion predicted enhancement layer B-frames at the output terminal 93 of < RTI ID = 0.0 > The third adder 89 sums the enhancement layer I-, P-, and B-frames together with their corresponding base layer I-, P- and B-frames to produce the enhanced video.

도 3b는 본 발명의 제 2의 예시적인 실시예에 따른 강화층 비디오 코딩 방법(100)을 도시한다. 도시된 바와 같이, 제 2 실시예의 비디오 코딩 방법(100)은 두 개의 루프 예측에 기초한 강화층(132)에서 강화층 P-프레임들이 강화층 B-프레임들과 마찬가지로 움직임-예측되는 것을 제외하고는 도 3a의 제 1 실시예와 실질적으로 동일하다.3B illustrates an enhancement layer video coding method 100 according to a second exemplary embodiment of the present invention. As shown, the video coding method 100 of the second embodiment is that the enhancement layer P-frames in the enhancement layer 132 based on the two loop predictions are motion-predicted like the enhancement layer B-frames. It is substantially the same as the first embodiment of Fig. 3A.

움직임 예측된 강화층 P-프레임들은 강화층 B-프레임들과 유사한 방식으로 계산되고, 즉, 각각의 움직임 예측된 강화층 P-프레임은 1) 일시적으로 인접한 차동 I- 및 P-프레임 잔류분으로부터 움직임-예측을 이용하고, 2) 원래의 기저층 P-프레임 잔류분으로부터 디코딩된 기저층 P-프레임 잔류분을 감산함으로써 얻어진 차동 P-프레임 잔류분을 이용하여 계산된다. 1) 일시적으로 인접한 움직임 보상된 차동 프레임 잔류분으로부터 얻어진 P-프레임 움직임 예측과 2) 차동 P-프레임 잔류분 간의 차는 강화층(132)에서 움직임 예측된 강화층 P-프레임을 제공한다. 이러한 공정으로부터 초래되는 움직임 예측된 강화층 P- 및 B-프레임들과 비움직임 예측 강화층 I-프레임들 양자 모두는 임의의 적절한 스케일러블 코덱, 바람직하게는 도 3b에 나타낸 바의 파인 그래뉼 스케일러블(FGS) 코덱으로 코딩될 수도 있다.The motion predicted enhancement layer P-frames are calculated in a similar manner to the enhancement layer B-frames, ie each motion predicted enhancement layer P-frame is: It is calculated using the differential P-frame residue obtained by using motion-prediction and 2) subtracting the decoded base layer P-frame residue from the original base layer P-frame residue. The difference between 1) P-frame motion prediction obtained from temporarily adjacent motion compensated differential frame residues and 2) differential P-frame residues provides a motion predicted enhancement layer P-frame in enhancement layer 132. Both the motion predicted enhancement layer P- and B-frames and the empty predictive enhancement layer I-frames resulting from this process can be of any suitable scalable codec, preferably fine granular scalable as shown in FIG. 3B. It may be coded with a (FGS) codec.

도 3b의 비디오 코딩 방법(100)은 비디오 화질의 다른 개선을 제공한다. 이것은 비디오 코딩 방법(100)이 강화층(132)의 P- 및 B-프레임 양자 모두에서 일시적인 용장성을 감소시키기 때문이다.The video coding method 100 of FIG. 3B provides another improvement of video quality. This is because video coding method 100 reduces temporal redundancy in both the P- and B-frames of enhancement layer 132.

본 발명의 비디오 코딩 방법들은 비디오 시퀀스의 다양한 부분들 또는 다양한 비디오 시퀀스들을 위해 도 1의 본 비디오 코딩 방법에 의해 변경될 수 있다. 부가적으로, 모든 3개 비디오 코딩 방법들, 즉, 도 1의 본 비디오 코딩 방법 및 도 3a 및 3b에 개시된 비디오 코딩 방법들 모두 간의 스위칭은 채널 특성들에 기초하여 행해질 수 있고, 인코딩 시에 또는 전송 시점에 수행될 수 있다. 더욱이, 본 발명의 비디오 코딩 방법은 복잡도의 제한된 증가만으로 코딩 효율에서 큰 이득을 얻을 수 있다.The video coding methods of the present invention may be modified by the present video coding method of FIG. 1 for various parts of the video sequence or for various video sequences. In addition, switching between all three video coding methods, i.e., both the present video coding method of FIG. 1 and the video coding methods disclosed in FIGS. 3A and 3B, can be done based on channel characteristics, It may be performed at the time of transmission. Moreover, the video coding method of the present invention can obtain a large gain in coding efficiency with only a limited increase in complexity.

도 5는 도 3b의 강화층 비디오 코딩 방법을 생성하기 위해 이용될 수 있는, 본 발명의 예시적인 실시예에 따른 인코더(140)의 블록도를 도시한다. 도시한 바와 같이, 도 5의 인코더(140)는 인코더(40)에 이용된 프레임 흐름 제어 장치(55)가 생략된 것을 제외하고는, 도 4의 인코더(40)(도 3a의 강화층 비디오 코딩 방법을 생성하기 위해 이용됨)와 실질적으로 동일하다. 프레임 흐름 제어 장치는 차동 I-프레임 잔류분이 움직임 보상에 의해 처리되지 않고, 따라서 강화층 인코더(142)의 차동 P- 및 B-프레임 잔류분들로부터 상이하게 라우팅될 필요가 없기 때문에 이러한 인코더(140)에 이용될 필요가 없다.5 shows a block diagram of an encoder 140 in accordance with an exemplary embodiment of the present invention, which may be used to generate the enhancement layer video coding method of FIG. 3B. As shown, the encoder 140 of FIG. 5 has the encoder 40 of FIG. 4 (enhanced layer video coding of FIG. 3A) except that the frame flow control device 55 used in the encoder 40 is omitted. Are used to create the method). The frame flow control device is such an encoder 140 because the differential I-frame residues are not processed by motion compensation and therefore do not need to be routed differently from the differential P- and B-frame residues of the enhancement layer encoder 142. Need not be used for

따라서, 제 2 감산기(54)의 출력단에서 생성된 차동 I-프레임 잔류분들은, 압축된 강화층 스트림의 일부(비움직임 예측 강화층 I-프레임)를 생성하기 위해, 비트평면 DCT 스캐닝 및 엔트로피 인코딩에 후속되는 종래 DCT 인코딩을 이용하여 FGS 코딩용 FGS 인코더(61)로 전달된다. 차동 I-프레임 잔류분들은 또한 이들이 이후 움직임-보상을 위해 이용되는 차동 P-프레임 잔류분들과 함께 제 2 프레임 메모리(58)로 전달된다. 제 2 감산기(54)의 출력단에서 생성된 차동 P- 및 B-프레임 잔류분들은 또한 제 3 감산기(60)로 전달된다. 제 2 움직임 보상 루프(63)에서의 제 2 움직임 보상기(59)는 움직임-예측 강화층 P-프레임을 위한 참조 움직임 보상된 차동 (I 또는 P) 프레임 및 움직임 예측된 강화층 B-프레임을 위한 참조(I- 및 P- 또는 P- 및 P-) 프레임 잔류분들 MCFGSR(i)을 생성하기 위해, 참조들로서 이용되는 제 2 프레임 메모리(58) 내에 저장된 차동 I- 및 P-프레임 잔류분과 원래의 비디오 시퀀스(기저층 인코더(41)의 움직임 추정기(43)의 출력단)로부터의 움직임 정보를 재이용한다. 제 3 감산기(60)는 각각의 차동 P- 또는 B-프레임 잔류분 FGSR(i)로부터 참조 움직임 보상된 차동(I 또는 P) 또는 (I- 및 P- 또는 P- 및 P-)프레임 잔류분 MCFGSR(i)을 감산함으로써, 각각의 움직임 예측된 강화층 P- 또는 B-프레임 FCFGS(i)를 생성한다. 이어서, 움직임 예측된 강화층 P- 및 B-프레임들 MCFGS(i)는, 이들이 압축된 강화층 스트림에 부가되는, 비트평면 DCT 스캐닝 및 엔트로피 인코딩에 후속되는 종래의 DCT 인코딩을 이용하여 FGS 코딩하기 위해 FGS 인코더(61)로 전달된다.Thus, the differential I-frame residues generated at the output of the second subtractor 54 are bitplane DCT scanning and entropy encoding to generate a portion of the compressed enhancement layer stream (empty prediction enhancement layer I-frame). Is passed to the FGS encoder 61 for FGS coding using conventional DCT encoding. The differential I-frame residues are also passed to the second frame memory 58 along with the differential P-frame residues they are then used for motion-compensation. The differential P- and B-frame residues generated at the output of the second subtractor 54 are also passed to the third subtractor 60. The second motion compensator 59 in the second motion compensation loop 63 is for the reference motion compensated differential (I or P) frame for the motion-prediction enhancement layer P-frame and the motion predicted enhancement layer B-frame. Reference I- and P- or P- and P- Frame Residues Original and differential I- and P-frame residues stored in a second frame memory 58 used as references to generate MCFGSR (i) The motion information from the video sequence (the output end of the motion estimator 43 of the base layer encoder 41) is reused. The third subtractor 60 is a reference motion compensated differential (I or P) or (I- and P- or P- and P-) frame residue from each differential P- or B-frame residue FGSR (i). By subtracting MCFGSR (i), each motion predicted enhancement layer P- or B-frame FCFGS (i) is generated. The motion predicted enhancement layer P- and B-frames MCFGS (i) are then subjected to FGS coding using conventional DCT encoding followed by bitplane DCT scanning and entropy encoding, which are added to the compressed enhancement layer stream. Is passed to the FGS encoder 61.

도 3a의 비디오 코딩 방법에서와 같이, 기저층은 도 3b의 강화층 비디오 코딩 방법에서 변화가 없다. 더욱이, 본 발명의 P- 및 B-프레임 처리 방법은 움직임 예측된 강화층 P- 및 B-프레임들을 제공하기 위해 단지 강화층 내에 추가의 움직임-보상 루프를 필요로 하는 것을 주목해야 한다.As in the video coding method of FIG. 3A, the base layer remains unchanged in the enhancement layer video coding method of FIG. 3B. Moreover, it should be noted that the P- and B-frame processing methods of the present invention only require an additional motion-compensation loop in the enhancement layer to provide the motion predicted enhancement layer P- and B-frames.

도 7은 도 5의 인코더(140)에 의해 생성된 강화층 스트림 및 압축된 기저층을 디코딩하기 위해 이용될 수 있는, 본 발명의 하나의 예시적인 실시예에 따른, 디코더(170)의 블록도를 도시한다. 도시된 바와 같이, 도 7의 디코더(170)는 디코더(70)에 이용된 프레임 흐름 제어 장치(87, 91)가 생략된 것을 제외하고는 도 6의 디코더(70)와 실질적으로 동일하다. 프레임 흐름 제어 장치는 차동 I-프레임 잔류분들이 움직임-보상 처리되지 않고, 따라서 강화층 디코더(172)에서 디코딩된 차동 P- 및 B-프레임 잔류분들로부터 상이하게 라우팅될 필요가 없기 때문에, 필요하지 않다. FIG. 7 illustrates a block diagram of a decoder 170, in accordance with one exemplary embodiment of the present invention, which may be used to decode the enhancement layer stream and the compressed base layer generated by the encoder 140 of FIG. 5. Illustrated. As shown, the decoder 170 of FIG. 7 is substantially the same as the decoder 70 of FIG. 6 except that the frame flow control devices 87 and 91 used in the decoder 70 are omitted. The frame flow control apparatus is not necessary because the differential I-frame residues are not motion-compensated and therefore need not be routed differently from the differential P- and B-frame residues decoded in the enhancement layer decoder 172. not.

따라서, FGS 비트평면 디코더(86)의 제 1 출력단(73)에서 차동 I- 및 P-프레임 잔류분은 이들이 저장되고 이후 움직임 보상을 위해 이용되는 강화층 프레임 메모리(88)로 전달된다. FGS 비트평면 디코더(86)의 제 2 출력단(74)에서 차동 P- 및 B-프레임 잔류분은 제 2 가산기(92)로 전달된다. FGS 비트평면 디코더(86)의 제 2 출력단(74)에서 차동 I-프레임 잔류분(이후, 강화층 I-프레임)은 제 3 가산기(89)로 전달되고, 그러한 목적은 이후 설명할 것이다. 제 2 움직임 보상기(90)는 1) 강화층 B-프레임들을 예측하기 위해 이용되는 참조 움직임 보상된 차동(I- 및 P- 또는 P- 및 P-)프레임 잔류분들, 및 2) 강화층 P-프레임을 예측하기 위해 이용되는 참조 움직임 보상된 차동(I- 또는 P-)프레임 잔류분을 생성하기 위해, 강화층 프레임 메모리(88)에 저장된 차동 I- 및 P-프레임 잔류분들 및 기저층 디코더(71)에 의해 수신된 움직임 정보를 재이용한다. 제 2 가산기(92)는 강화층 B- 및 P-프레임을 생성하기 위해 참조 움직임 보상된 차동 프레임 잔류분들을 이들의 각각의 B-프레임 잔류분들 또는 P-프레임 잔류분들과 합산한다. 제 3 가산기(89)는 강화된 비디오를 생성하기 위해 강화층 I-, P- 및 B-프레임들을 이들의 대응하는 기저층 I-, P- 및 B-프레임들과 함께 합산한다.Thus, the differential I- and P-frame residues at the first output 73 of the FGS bitplane decoder 86 are transferred to the enhancement layer frame memory 88 where they are stored and then used for motion compensation. The differential P- and B-frame residuals at the second output stage 74 of the FGS bitplane decoder 86 are passed to a second adder 92. The differential I-frame residuals (hereafter enhancement layer I-frames) at the second output stage 74 of the FGS bitplane decoder 86 are transferred to a third adder 89, the purpose of which will be described later. The second motion compensator 90 includes 1) reference motion compensated differential (I- and P- or P- and P-) frame residues used to predict the enhancement layer B-frames, and 2) the enhancement layer P-. Differential I- and P-frame residues and base layer decoder 71 stored in enhancement layer frame memory 88 to generate a reference motion compensated differential (I- or P-) frame residue used to predict the frame. Reuse the motion information received by The second adder 92 sums the reference motion compensated differential frame residues with their respective B-frame residues or P-frame residues to produce the enhancement layer B- and P-frames. The third adder 89 sums the enhancement layer I-, P- and B-frames together with their corresponding base layer I-, P- and B-frames to produce the enhanced video.

도 8은 본 발명의 원리들을 구현하기 위해 이용될 수 있는 시스템(200)의 예시적인 실시예를 나타낸다. 이 시스템(200)은 텔레비전, 셋-톱 박스, 데스크탑, 랩탑(laptop) 또는 팜탑 컴퓨터(palmtop computer), 개인용 휴대 정보 단말기(PDA), 비디오 카세트 레코더(VCR), 디지털 비디오 레코더, TiVO 장치 등의 비디오/이미지 기억 장치뿐만 아니라 이들 장치 및 기타 장치의 일부 또는 조합을 나타낼 수도 있다. 이러한 시스템(200)은 하나 이상의 비디오/화상 소스들(201), 하나 이상의 입출력 장치들(202), 프로세서(203) 및 메모리(204)를 포함한다. 비디오/화상 소스(들)(201)는, 예를 들면 텔레비전 수상기, VCR 또는 기타 비디오/화상 기억 장치를 나타낼 수 있다. 소스(들)(201)는 예를 들면 인터넷, 광역 네트워크, 대도시권 네트워크, 지역 네트워크, 지상 방송 시스템, 케이블 네트워크, 위성 네트워크, 무선 네트워크, 또는 전화 네트워크 등의 포괄적인 컴퓨터 통신 네트워크뿐만 아니라, 이들 유형 또는 기타 유형의 네트워크의 일부들 또는 조합들에 의해 서버 또는 서버들로부터 비디오를 수신하는 하나 이상의 네트워크 접속들을 선택적으로 나타낼 수 있다.8 illustrates an exemplary embodiment of a system 200 that may be used to implement the principles of the present invention. The system 200 includes a television, set-top box, desktop, laptop or palmtop computer, personal digital assistant (PDA), video cassette recorder (VCR), digital video recorder, TiVO device, and the like. It may also represent some or a combination of these and other devices as well as video / image storage devices. Such a system 200 includes one or more video / picture sources 201, one or more input / output devices 202, a processor 203 and a memory 204. Video / picture source (s) 201 may, for example, represent a television receiver, a VCR or other video / picture storage device. Source (s) 201 may be any of these types, as well as comprehensive computer communication networks such as the Internet, wide area networks, metropolitan area networks, regional networks, terrestrial broadcast systems, cable networks, satellite networks, wireless networks, or telephone networks, for example. Or one or more network connections that receive video from the server or servers by portions or combinations of other types of networks.

입출력 장치들(202), 프로세서(203) 및 메모리(204)는 통신 매체(205)을 통해 통신할 수 있다. 통신 매체(205)는 예를 들면 버스, 통신 네트워크, 회로, 회로 카드 또는 기타 장치의 1개 이상의 내부 접속뿐만 아니라 이들 및 기타 통신 매체의 일부 또는 조합을 나타낼 수 있다. 소스(들)(202)로부터의 입력 비디오 데이터는 메모리(204)에 저장된 하나 이상의 소프트웨어 프로그램들에 따라 처리되고, 디스플레이 장치(206)로 공급되는 출력 비디오/화상들을 생성하기 위해 처리기(203)에 의해 실행된다.The input / output devices 202, the processor 203, and the memory 204 may communicate via a communication medium 205. Communication medium 205 may represent, for example, one or more internal connections of a bus, communication network, circuit, circuit card or other device, as well as some or a combination of these and other communication media. Input video data from the source (s) 202 is processed in accordance with one or more software programs stored in the memory 204 and sent to the processor 203 to generate output video / images to be supplied to the display device 206. Is executed by

바람직한 실시예에서, 본 발명의 원리를 이용한 코딩 및 디코딩은 시스템에 의해 실행된 컴퓨터 판독가능한 코드에 의해 구현될 수 있다. 코드는 메모리(204)에 저장될 수 있거나 CD-ROM 또는 플로피 디스크 등의 기억 매체로부터 판독 또는 다운로딩될 수 있다. 기타 실시예들에서, 하드웨어 회로는 본 발명을 구현하기 위한 소프트웨어 명령 대신에 또는 그와 조합하여 이용될 수도 있다. 예를 들면, 도 4 내지 도 7에 도시된 소자들은 이산적인 하드웨어 소자로서 구현될 수도 있다.In a preferred embodiment, coding and decoding using the principles of the present invention may be implemented by computer readable code executed by the system. The code may be stored in the memory 204 or may be read or downloaded from a storage medium such as a CD-ROM or floppy disk. In other embodiments, hardware circuitry may be used in place of or in combination with software instructions for implementing the present invention. For example, the elements shown in FIGS. 4-7 may be implemented as discrete hardware elements.

본 발명을 특정 실시예들로서 상기하였지만, 본 발명은 본 명세서에 개시된 바의 실시예들로만 한정되거나 제한되도록 의도되지 않았다는 것을 이해해야 한다. 예를 들면, 웨이브릿들(wavelets) 또는 매칭-수행들(matching-pursuits)을 포함하지만, 이들로만 제한되지 않는 DCT 외의 기타 변환들이 이용될 수 있다. 다른 실시예에서, 움직임-보상은 기저층으로부터 움직임 데이터를 재이용하여 상기 실시예에서 수행되지만, 본 발명의 다른 실시예들은 강화층 내에 추가의 움직임 추정기를 이용할 수 있고, 이는 추가적인 움직임 벡터들을 전송하는 것을 필요로 한다. 또 다른 실시예에서, 본 발명의 다른 실시예들은 단지 P-프레임들에 대한 강화층에서 움직임 보상을 이용할 수도 있다. 이들 및 다른 모든 변형 및 변화는 첨부된 특허 청구의 범위 내에 속하는 것으로 고려된다.Although the invention has been described above as specific embodiments, it is to be understood that the invention is not intended to be limited or limited to the embodiments as disclosed herein. For example, other transforms other than DCT may be used, including, but not limited to, wavelets or matching-pursuits. In another embodiment, motion-compensation is performed in the above embodiment by reusing the motion data from the base layer, but other embodiments of the present invention may use an additional motion estimator in the enhancement layer, which may involve sending additional motion vectors. in need. In another embodiment, other embodiments of the present invention may only use motion compensation in the enhancement layer for P-frames. These and all other modifications and variations are considered to be within the scope of the appended claims.

Claims (30)

비디오를 코딩하는 방법에 있어서,In a method of coding a video, 기저층 프레임들(base layer frames)을 생성하기 위해 넌-스케일러블 코덱(non-scalable codec)으로 코딩되지 않은 비디오를 코딩하는 단계(41, 42);Coding (41, 42) uncoded video with a non-scalable codec to generate base layer frames; 상기 코딩되지 않은 비디오 및 상기 기저층 프레임들로부터 차동 프레임 잔류분들(differential frame residulas)을 계산하는 단계(54)로서, 상기 차동 프레임 잔류분들은 상기 기저층 프레임들의 양자화 에러(quantization error)에 대응하는, 상기 계산 단계(54);Calculating 54 differential frames residulas from the uncoded video and the base layer frames, wherein the differential frame residues correspond to quantization errors of the base layer frames. Calculating step 54; 움직임 예측 코딩되는 차동 프레임 잔류분들과 비움직임 예측 코딩되는(non-motion predicted coded) 차동 프레임 잔류분들 사이를 구분하는 단계(55);Discriminating 55 between differential frame residues that are motion predictively coded and non-motion predicted coded differential frame residues; 비움직임 예측 코딩되는 각각의 차동 프레임 잔류분의 적어도 일부를 저장하는 단계(58)로서, 상기 저장된 차동 프레임 잔류분들은 참조들(references)로서 동작하는, 상기 저장 단계(58);Storing (58) at least a portion of each differential frame residue that is non-predictive coded, wherein the stored differential frame residues operate as references; 움직임 보상된 차동 프레임 잔류분들을 생성하기 위해 상기 저장된 차동 프레임 잔류분들에 움직임-보상(59)을 적용하는 단계; 및Applying motion-compensation (59) to the stored differential frame residues to produce motion compensated differential frame residues; And 움직임 예측된 강화층 프레임들(motion-predicted enhancement layer frames)을 생성하기 위해 상기 움직임 예측 코딩되는 차동 프레임 잔류분들로부터 상기 움직임 보상된 차동 프레임 잔류분들을 감산하는 단계(60)를 포함하는, 비디오 코딩 방법.Subtracting (60) the motion compensated differential frame residues from the motion predictive coded differential frame residues to produce motion-predicted enhancement layer frames. Way. 제 1 항에 있어서,The method of claim 1, 스케일러블 코덱(scalable codec)으로 상기 움직임 예측된 강화층 프레임들을 코딩하는 단계(61)를 더 포함하는, 비디오 코딩 방법.Coding (61) said motion predicted enhancement layer frames with a scalable codec. 제 1 항에 있어서,The method of claim 1, 파인 그래뉼 스케일러블 코덱(fine granular scalable codec)으로 상기 움직임 예측된 강화층 프레임들을 코딩하는 단계(61)를 더 포함하는, 비디오 코딩 방법.Coding (61) said motion predicted enhancement layer frames with a fine granular scalable codec. 제 1 항에 있어서,The method of claim 1, 상기 움직임 예측 코딩되는 차동 프레임 잔류분들은, 쌍방향 움직임 예측되는 B형의 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 비디오 코딩 방법.And the motion prediction coded differential frame residues comprise differential frame residues calculated from bidirectional motion predicted B-type base layer frames. 제 4 항에 있어서,The method of claim 4, wherein 상기 움직임 예측 코딩되는 차동 프레임 잔류분들은, 단방향 움직임 예측되는 P형의 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 비디오 코딩 방법.And the motion predictive coded differential frame residues comprise differential frame residues calculated from unidirectional motion predicted P-type base layer frames. 제 1 항에 있어서,The method of claim 1, 상기 움직임 보상(59)은 기저층 프레임들을 생성하는 넌-스케일러블 코덱으로부터의 움직임 정보를 재이용하는, 비디오 코딩 방법.The motion compensation (59) reuses motion information from a non-scalable codec that generates base layer frames. 기저층 스트림 및 강화층 스트림을 갖는 압축된 비디오를 디코딩하는 방법에 있어서,A method of decoding compressed video having a base layer stream and an enhancement layer stream, the method comprising: 기저층 비디오 프레임들을 생성하기 위해 상기 기저층 스트림을 디코딩하는 단계(71, 171);Decoding (71, 171) the base layer stream to generate base layer video frames; 차동 프레임 잔류분들을 생성하기 위해 상기 강화층 스트림을 디코딩하는 단계(72, 172)로서, 상기 차동 프레임 잔류분들은 상기 기저층 프레임들의 양자화 에러에 대응하는, 상기 디코딩 단계(72, 172);Decoding (72, 172) the enhancement layer stream to produce differential frame residues, wherein the differential frame residues correspond to quantization errors of the base layer frames; 움직임 예측 코딩되는 차동 프레임 잔여분들과 비움직임 예측 코딩되는 차동 프레임 잔여분들 사이를 구분하는 단계(87);Distinguishing 87 between motion predictive coded differential frame residuals and non-movement predictive coded differential frame residuals; 비움직임 예측 코딩되는 각각의 차동 프레임 잔여분의 적어도 일부를 저장하는 단계(88)로서, 상기 저장된 차동 프레임 잔류분들은 참조들로서 동작하는, 상기 저장 단계(88);Storing (88) at least a portion of each differential frame residue being non-predictively coded, wherein the stored differential frame residues operate as references; 움직임 보상된 차동 프레임 잔여분들을 생성하기 위해 상기 저장된 차동 프레임 잔류분들에 움직임 보상(90)을 적용하는 단계;Applying motion compensation (90) to the stored differential frame residues to produce motion compensated differential frame residues; 움직임 예측된 강화층 프레임들을 생성하기 위해 상기 움직임 예측 코딩되는 차동 프레임 잔류분들에 상기 움직임 보상된 차동 프레임 잔류분들을 부가하는 단계(92); 및Adding (92) the motion compensated differential frame residues to the motion predictive coded differential frame residues to produce motion predicted enhancement layer frames; And 강화된 비디오(enhanced video)를 생성하기 위해 상기 기저층 프레임들의 각각과 상기 움직임 예측된 강화층 프레임들을 조합하는 단계(89)를 포함하는, 압축된 비디오 디코딩 방법.Combining (89) each of the base layer frames and the motion predicted enhancement layer frames to produce enhanced video. 제 7 항에 있어서,The method of claim 7, wherein 상기 움직임 예측 코딩되는 차동 프레임 잔류분들은, 쌍방향 움직임 예측되는 B형의 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 압축된 비디오 디코딩 방법.And the motion predictive coded differential frame residues comprise differential frame residues calculated from bidirectional motion predicted B-type base layer frames. 제 8 항에 있어서,The method of claim 8, 상기 움직임 예측 코딩되는 차동 프레임 잔류분들은, 단방향 움직임 예측되는 P형의 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 압축된 비디오 디코딩 방법.And the motion predictive coded differential frame residues comprise differential frame residues calculated from unidirectional motion predicted P-type base layer frames. 제 7 항에 있어서,The method of claim 7, wherein 상기 움직임 보상(90)을 적용하는 단계는 기저층 프레임들을 생성하는 상기 기저층 스트림을 디코딩하는 단계(71, 171)로부터의 움직임 정보를 재이용하는, 압축된 비디오 디코딩 방법.Applying the motion compensation (90) reuses the motion information from (71, 171) decoding the base layer stream producing base layer frames. 비디오를 인코딩하는 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 메모리 매체에 있어서,A computer readable memory medium having recorded thereon a computer program for encoding a video, the method comprising: 상기 컴퓨터 프로그램은:The computer program is: 코딩되지 않은 비디오를 기저층 프레임들로 넌-스케일러블 인코딩하는 코드(41, 141);Code (41, 141) for non-scalable encoding of uncoded video into base layer frames; 상기 코딩되지 않은 비디오 및 상기 기저층 프레임들로부터 차동 프레임 잔류분들을 계산하는 코드(54)로서, 상기 차동 프레임 잔류분들은 상기 기저층 프레임들의 양자화 에러에 대응하는, 상기 계산 코드(54);Code (54) for calculating differential frame residues from the uncoded video and the base layer frames, wherein the differential frame residues correspond to quantization errors of the base layer frames; 움직임 예측 코딩되는 차동 프레임 잔류분들과 비움직임 예측 코딩되는 차동 프레임 잔류분들 사이를 구분하는 코드(55);Code 55 for distinguishing between motion frame-coded differential frame residues and non-motion predictive-coded differential frame residues; 비움직임 예측 코딩되는 각각의 차동 프레임 잔류분의 적어도 일부를 저장하는 코드(58)로서, 상기 저장된 차동 프레임 잔류분들은 참조들로서 동작하는, 상기 저장 코드(58);Code 58 for storing at least a portion of each differential frame residue that is non-predictive coded, the stored differential frame residues operating as references; 움직임 보상된 차동 프레임 잔류분들을 생성하기 위해 상기 저장된 차동 프레임 잔류분들에 움직임 보상(59)을 적용하는 코드; 및Code for applying motion compensation (59) to the stored differential frame residues to produce motion compensated differential frame residues; And 움직임 예측 강화층 프레임들을 생성하기 위해 상기 움직임 예측 코딩되는 차동 프레임 잔류분들로부터 상기 움직임 보상된 차동 프레임 잔류분들을 감산하는 코드(60)를 포함하는, 컴퓨터 판독가능 메모리 매체.And code (60) to subtract the motion compensated differential frame residues from the motion predictive coded differential frame residues to produce motion prediction enhancement layer frames. 제 11 항에 있어서,The method of claim 11, 상기 움직임 예측된 강화층 프레임들을 스케일러블 인코딩하는 코드(61)를 더 포함하는, 컴퓨터 판독가능 메모리 매체.And code (61) for scalable encoding the motion predicted enhancement layer frames. 제 11 항에 있어서, The method of claim 11, 상기 움직임 예측된 강화층 프레임들을 파인 그래뉼 스케일러블 인코딩하는 코드(61)를 더 포함하는, 컴퓨터 판독가능 메모리 매체.And code (61) for fine granular scalable encoding of the motion predicted enhancement layer frames. 제 11 항에 있어서,The method of claim 11, 상기 구분 코드는, 움직임 예측 코딩되는 상기 차동 프레임 잔류분에서 쌍방향 움직임 예측되는 상기 B형의 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 컴퓨터 판독가능 메모리 매체.And the discriminating code comprises differential frame residues calculated from the B-type base layer frames that are bi-directionally predicted in the differential frame residues that are motion predictive coded. 제 14 항에 있어서, The method of claim 14, 상기 구분 코드는, 움직임 예측 코딩되는 상기 차동 프레임 잔류분에서 상기 P형의 기저층 프레임들은 단방향 움직임 예측되는 상기 P형의 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 컴퓨터 판독가능 메모리 매체.Wherein the discriminating code comprises differential frame residues calculated from the P-type base layer frames in which the P-type base layer frames in the differential frame residue being motion predictive coded are unidirectional motion predicted. 제 14 항에 있어서, The method of claim 14, 상기 움직임 보상을 위한 코드는 기저층 프레임을 생성하는 상기 넌-스케일러블 인코딩을 위한 코드로부터의 움직임 정보를 재이용하는, 컴퓨터 판독가능 메모리 매체.And the code for motion compensation reuses motion information from the code for non-scalable encoding that generates a base layer frame. 기저층 스트림 및 강화층 스트림을 갖는 압축된 비디오를 디코딩하는 컴퓨터 프로그램을 구비하는 컴퓨터 판독가능 메모리 매체에 있어서,A computer readable memory medium having a computer program for decoding a compressed video having a base layer stream and an enhancement layer stream, 상기 컴퓨터 프로그램은:The computer program is: 상기 기저층 비디오 프레임들을 생성하기 위해 상기 기저층 스트림을 디코딩하는 코드(71, 171);Code (71, 171) for decoding the base layer stream to produce the base layer video frames; 상기 차동 프레임 잔류분들을 생성하기 위해 상기 강화층 스트림을 디코딩하는 코드(72, 172)로서, 상기 차동 프레임 잔류분들은 상기 기저층 프레임들의 양자화 에러에 대응하는, 상기 디코딩 코드(72, 172);Code (72, 172) for decoding the enhancement layer stream to produce the differential frame residues, wherein the differential frame residues correspond to quantization errors of the base layer frames; 움직임 예측 코딩되는 차동 프레임 잔류분들과 비움직임 예측 코딩되는 보상된 차동 프레임 잔류분들 사이를 구분하는 코드(87);Code 87 for distinguishing between motion predictive coded differential frame residues and non-movement predictive coded compensated differential frame residues; 비움직임 예측 코딩되는 각각의 차동 프레임 잔류분의 적어도 일부를 저장하는 코드(88)로서, 상기 저장된 차동 프레임 잔류분들은 참조들로서 동작하는, 상기 저장 코드(88);Code (88) for storing at least a portion of each differential frame residue to be non-predictively coded, the stored differential frame residues operating as references; 움직임 보상된 차동 프레임 잔류분들을 생성하기 위해 상기 저장된 차동 프레임 잔류분들에 움직임-보상을 적용하는 코드(90); Code 90 for applying motion-compensation to the stored differential frame residues to produce motion compensated differential frame residues; 움직임 예측된 강화층 프레임들을 생성하기 위해 상기 움직임 예측 코딩되는 차동 프레임 잔류분들에 상기 움직임 보상된 차동 프레임 잔류분들을 부가하는 코드(92); 및Code (92) for adding the motion compensated differential frame residues to the motion predictive coded differential frame residues to produce motion predicted enhancement layer frames; And 강화된 비디오를 생성하기 위해 상기 기저층 프레임들의 각각의 기저층 프레임들과 상기 움직임 예측된 강화층 프레임들을 조합하는 코드(89)를 포함하는, 컴퓨터 판독가능 메모리 매체.And code (89) for combining the base layer frames and each of the base layer frames and the motion predicted enhancement layer frames to produce enhanced video. 제 17 항에 있어서, The method of claim 17, 상기 구분 코드는 움직임 예측 코딩되는 상기 차동 프레임 잔류분에서 쌍방향 움직임 예측되는 B형의 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 컴퓨터 판독가능 메모리 매체.And the discriminating code comprises differential frame residues calculated from B-type base layer frames that are bi-directionally predicted in the differential frame residues that are motion predictive coded. 제 18 항에 있어서, The method of claim 18, 상기 구분 코드는 상기 움직임 예측 코딩되는 차동 프레임 잔류분들에서 단방향 예측되는 P형의 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 컴퓨터 판독가능 메모리 매체.And the discriminating code comprises differential frame residues calculated from p-type base layer frames that are unidirectionally predicted in the motion predictive coded differential frame residues. 제 17 항에 있어서, The method of claim 17, 상기 움직임 보상을 적용하기 위한 코드는 기저층 프레임들을 생성하는 상기 기저층 스트림을 디코딩하는 코드에 의해 생성된 움직임 정보를 재이용하는, 컴퓨터 판독가능 메모리 매체.Code for applying the motion compensation reuses motion information generated by code for decoding the base layer stream that generates base layer frames. 비디오를 코딩하는 장치에 있어서,In the apparatus for coding a video, 기저층 프레임들을 생성하기 위해 코딩되지 않은 비디오를 넌-스케일러블 코딩하는 수단(41, 141);Means (41, 141) for non-scalable coding of the uncoded video to generate base layer frames; 상기 코딩되지 않은 비디오 및 상기 기저층 프레임들로부터 차동 프레임 잔류분들을 계산하는 수단(42, 142)으로서, 상기 차동 프레임 잔류분들은 상기 기저층 프레임들의 양자화 에러에 대응하는, 상기 계산 수단(42, 142);Means (42, 142) for calculating differential frame residues from the uncoded video and the base layer frames, wherein the differential frame residues correspond to quantization errors of the base layer frames. ; 움직임 예측 코딩되는 차동 프레임 잔류분들 및 비움직임 예측 코딩되는 차동 프레임 잔류분들을 구분하는 수단(55);Means (55) for distinguishing motion predictive coded differential frame residues and non-motion predictive coded differential frame residues; 비움직임 예측 코딩되는 각각의 차동 프레임 잔류분의 적어도 일부를 저장하는 수단(58)으로서, 상기 저장된 차동 프레임 잔류분들은 참조들로서 동작하는, 상기 저장 수단(58);Means (58) for storing at least a portion of each differential frame residue that is non-predictively coded, the stored differential frame residues operating as references; 움직임 보상 차동 프레임 잔류분들을 생성하기 위해 저장된 프레임 잔류분들에 움직임 보상을 적용하는 수단(59); 및Means (59) for applying motion compensation to the stored frame residues to produce motion compensated differential frame residues; And 움직임 예측된 강화층 프레임들을 생성하기 위해 상기 움직임 예측 코딩되는 차동 프레임 잔류분들로부터 상기 움직임 보상되는 차동 프레임 잔류분들을 감산하는 수단(60)을 포함하는, 비디오 코딩 장치.Means (60) for subtracting the motion compensated differential frame residues from the motion predictive coded differential frame residues to produce motion predicted enhancement layer frames. 제 21 항에 있어서,The method of claim 21, 상기 움직임 예측된 강화층 프레임들을 스케일러블 코딩하는 수단(61)을 더 포함하는, 비디오 코딩 장치.Means (61) for scalable coding the motion predicted enhancement layer frames. 제 21 항에 있어서,The method of claim 21, 상기 움직임 예측된 강화층 프레임들을 파인 그래뉼 스케일러블 코딩하는 수단(61)을 더 포함하는, 비디오 코딩 장치.And means (61) for fine granular scalable coding of the motion predicted enhancement layer frames. 제 21 항에 있어서,The method of claim 21, 상기 움직임 예측 코딩되는 차동 프레임 잔류분들은 쌍방향 움직임 예측되는 B형 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 비디오 코딩 장치.The motion predictive coded differential frame residues comprise differential frame residues calculated from bidirectional motion predicted B type base layer frames. 제 24 항에 있어서,The method of claim 24, 상기 움직임 예측 코딩되는 차동 프레임 잔류분들은 단방향 움직임 예측되는 P형 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 비디오 코딩 장치.And the motion predictive coded differential frame residues comprise differential frame residues calculated from unidirectional motion predicted P-type base layer frames. 제 21 항에 있어서,The method of claim 21, 상기 움직임 보상을 적용하는 수단(59)은 기저층 프레임들을 생성하는 넌-스케일러블 코딩을 위한 수단(41, 141)으로부터 움직임 정보를 재이용하는, 비디오 코딩 장치.And means (59) for applying motion compensation reuses motion information from means (41, 141) for non-scalable coding for generating base layer frames. 기저층 스트림 및 강화층 스트림을 갖는 압축된 비디오를 디코딩하는 장치에 있어서,An apparatus for decoding compressed video having a base layer stream and an enhancement layer stream, 기저층 비디오 프레임들을 생성하기 위해 상기 기저층 스트림을 디코딩하는 수단(71, 171);Means (71, 171) for decoding the base layer stream to produce base layer video frames; 차동 프레임 잔류분들을 생성하기 위해 상기 강화층 스트림을 디코딩하는 수단(72, 172)으로서, 상기 차동 프레임 잔류분들은 상기 기저층 프레임들에서의 양자화 에러에 대응하는, 상기 디코딩 수단(72, 172);Means (72, 172) for decoding the enhancement layer stream to produce differential frame residues, wherein the differential frame residues correspond to quantization errors in the base layer frames; 움직임 예측 코딩되는 차동 프레임 잔류분들 및 비움직임 예측 코딩되는 차동 프레임 잔류분들 사이를 구분하는 수단(87);Means (87) for distinguishing between motion predictive coded differential frame residues and non-movement predictive coded differential frame residues; 비움직임 예측 코딩되는 각각의 차동 프레임 잔류분의 적어도 일부를 저장하는 수단(88)으로서, 상기 저장된 차동 프레임 잔류분들은 참조들로서 동작하는, 상기 저장 수단(88);Means (88) for storing at least a portion of each differential frame residue that is non-predictively coded, the stored differential frame residues operating as references; 움직임 보상된 차동 프레임 잔류분들을 생성하기 위해 상기 저장된 차동 프레임 잔류분들에 움직임 보상을 적용하는 수단(90);Means (90) for applying motion compensation to the stored differential frame residues to produce motion compensated differential frame residues; 움직임 예측된 강화층 프레임들을 생성하기 위해 상기 움직임 예측 코딩되는 상기 차동 프레임 잔류분들에 상기 움직임 보상된 차동 프레임 잔류분들을 부가하는 수단(92); 및Means (92) for adding the motion compensated differential frame residues to the motion predictive coded differential frame residues to produce motion predicted enhancement layer frames; And 강화된 비디오를 생성하기 위해 상기 기저층 프레임들의 각각과 상기 움직임 예측된 강화층 프레임들을 조합하는 수단(89)을 포함하는, 압축된 비디오를 디코딩하는 장치.Means (89) for combining each of said base layer frames and said motion predicted enhancement layer frames to produce an enhanced video. 제 27 항에 있어서,The method of claim 27, 상기 움직임 예측 코딩되는 차동 프레임 잔류분들은, 쌍방향 움직임 예측되는 B형의 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 압축된 비디오를 디코딩하는 장치.And the motion predictive coded differential frame residues comprise differential frame residues calculated from bidirectional motion predictive type B base layer frames. 제 28 항에 있어서,The method of claim 28, 상기 움직임 예측 코딩되는 차동 프레임 잔류분들은, 단방향 움직임 예측되는 P형의 기저층 프레임들로부터 계산되는 차동 프레임 잔류분들을 포함하는, 압축된 비디오를 디코딩하는 장치.And the motion predictive coded differential frame residues comprise differential frame residues calculated from unidirectional motion predicted P-type base layer frames. 제 27 항에 있어서,The method of claim 27, 상기 움직임 보상을 적용하는 수단(90)은 기저층 프레임들을 생성하는 상기 기저층 스트림을 디코딩하는 수단(71, 171)으로부터 움직임 정보를 재이용하는, 압축된 비디오를 디코딩하는 장치.Means (90) for applying motion compensation reuses motion information from means (71, 171) for decoding the base layer stream producing base layer frames.
KR1020027006542A 2000-09-22 2001-09-18 Double-loop motion-compensation fine granular scalability KR100860950B1 (en)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US23449900P 2000-09-22 2000-09-22
US60/234,499 2000-09-22
US09/887,743 2001-06-21
US09/887,743 US6940905B2 (en) 2000-09-22 2001-06-21 Double-loop motion-compensation fine granular scalability

Publications (2)

Publication Number Publication Date
KR20020056940A KR20020056940A (en) 2002-07-10
KR100860950B1 true KR100860950B1 (en) 2008-09-30

Family

ID=26928015

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027006542A KR100860950B1 (en) 2000-09-22 2001-09-18 Double-loop motion-compensation fine granular scalability

Country Status (7)

Country Link
EP (1) EP1323316A2 (en)
JP (1) JP2004509581A (en)
KR (1) KR100860950B1 (en)
CN (1) CN1254115C (en)
AU (1) AU2002220558A1 (en)
MY (1) MY126133A (en)
WO (1) WO2002025954A2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002054774A2 (en) * 2001-01-08 2002-07-11 Siemens Aktiengesellschaft Optimal snr scalable video coding
KR100621581B1 (en) 2004-07-15 2006-09-13 삼성전자주식회사 Method for pre-decoding, decoding bit-stream including base-layer, and apparatus thereof
EP1989883A1 (en) * 2006-01-09 2008-11-12 Nokia Corporation System and apparatus for low-complexity fine granularity scalable video coding with motion compensation

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0485230A2 (en) 1990-11-09 1992-05-13 Victor Company Of Japan, Ltd. Moving picture signal progressive coding system
US5349383A (en) 1990-10-15 1994-09-20 British Telecommunications Public Limited Company Two layer video signal coding
US5742343A (en) 1993-07-13 1998-04-21 Lucent Technologies Inc. Scalable encoding and decoding of high-resolution progressive video
US5973739A (en) 1992-03-27 1999-10-26 British Telecommunications Public Limited Company Layered video coder
US5988863A (en) 1996-01-30 1999-11-23 Demografx Temporal and resolution layering in advanced television
US6256346B1 (en) 1995-10-27 2001-07-03 Kabushiki Kaisha Toshiba Video encoding and decoding apparatus
US6339618B1 (en) 1997-01-08 2002-01-15 At&T Corp. Mesh node motion coding to enable object based functionalities within a motion compensated transform video coder

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5349383A (en) 1990-10-15 1994-09-20 British Telecommunications Public Limited Company Two layer video signal coding
EP0485230A2 (en) 1990-11-09 1992-05-13 Victor Company Of Japan, Ltd. Moving picture signal progressive coding system
US5973739A (en) 1992-03-27 1999-10-26 British Telecommunications Public Limited Company Layered video coder
US5742343A (en) 1993-07-13 1998-04-21 Lucent Technologies Inc. Scalable encoding and decoding of high-resolution progressive video
US6256346B1 (en) 1995-10-27 2001-07-03 Kabushiki Kaisha Toshiba Video encoding and decoding apparatus
US5988863A (en) 1996-01-30 1999-11-23 Demografx Temporal and resolution layering in advanced television
US6339618B1 (en) 1997-01-08 2002-01-15 At&T Corp. Mesh node motion coding to enable object based functionalities within a motion compensated transform video coder

Also Published As

Publication number Publication date
CN1254115C (en) 2006-04-26
CN1486574A (en) 2004-03-31
JP2004509581A (en) 2004-03-25
EP1323316A2 (en) 2003-07-02
WO2002025954A2 (en) 2002-03-28
WO2002025954A3 (en) 2002-10-31
AU2002220558A1 (en) 2002-04-02
KR20020056940A (en) 2002-07-10
MY126133A (en) 2006-09-29

Similar Documents

Publication Publication Date Title
US6940905B2 (en) Double-loop motion-compensation fine granular scalability
US7042944B2 (en) Single-loop motion-compensation fine granular scalability
US20020037046A1 (en) Totally embedded FGS video coding with motion compensation
US6944222B2 (en) Efficiency FGST framework employing higher quality reference frames
US6639943B1 (en) Hybrid temporal-SNR fine granular scalability video coding
US6697426B1 (en) Reduction of layer-decoding complexity by reordering the transmission of enhancement layer frames
KR100714696B1 (en) Method and apparatus for coding video using weighted prediction based on multi-layer
US20020118742A1 (en) Prediction structures for enhancement layer in fine granular scalability video coding
KR100694137B1 (en) Apparatus for encoding or decoding motion image, method therefor, and recording medium storing a program to implement thereof
US6944346B2 (en) Efficiency FGST framework employing higher quality reference frames
KR100860950B1 (en) Double-loop motion-compensation fine granular scalability
US6904092B2 (en) Minimizing drift in motion-compensation fine granular scalable structures
US20050135478A1 (en) Reduction of layer-decoding complexity by reordering the transmission of enhancement layer frames
WO2006043754A1 (en) Video coding method and apparatus supporting temporal scalability

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee