KR20080085199A - 움직임 보상이 있는 낮은 복잡도 미세 입도 규모가변성비디오 부호화를 위한 시스템 및 장치 - Google Patents

움직임 보상이 있는 낮은 복잡도 미세 입도 규모가변성비디오 부호화를 위한 시스템 및 장치 Download PDF

Info

Publication number
KR20080085199A
KR20080085199A KR1020087019138A KR20087019138A KR20080085199A KR 20080085199 A KR20080085199 A KR 20080085199A KR 1020087019138 A KR1020087019138 A KR 1020087019138A KR 20087019138 A KR20087019138 A KR 20087019138A KR 20080085199 A KR20080085199 A KR 20080085199A
Authority
KR
South Korea
Prior art keywords
block
base layer
prediction
discrete base
enhancement layer
Prior art date
Application number
KR1020087019138A
Other languages
English (en)
Inventor
시앙린 왕
마르타 카르체위츠
저스틴 릿지
네지브 아마르
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20080085199A publication Critical patent/KR20080085199A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

부호화 구조는 규모가변성 비디오 부호화를 위한 부호화 및 복잡도를 줄이면서도 부호화 효율을 개선하도록 구성된다. 특히, 이산 층 상단의 다수의 FGS 층을 부호화하는 경우가 고려된다. 다수의 FGS 층을 부호화하기 위해, 복호화기 지향 2-루프 구조가 사용된다. 복호화기 측에서, 새로운 구조는 2-루프 구조와 유사한 복잡도를 가지면서도 다중-루프 구조와 유사한 부호화 성능을 제공한다. 이산 층 간 예측을 위해 FGS 층의 사용으로 인한 부분적인 부호화의 경우의 편차 효과를 방지하기 위해 부호화 구조 및 방법이 구성되고, FGS 층 부호화에서 시간적 예측을 효과적으로 사용하여 부호화 효율을 개선하는 것을 목표로 한다. 부호화 방법은 부가의 변환 동작을 피할 수 있으며; 루프 내 블록제거 필터를 FGS 층들에 적용하는 것을 피할 수 있으며; 그리고 FGS 층들에 대해 더 단순한 잔여 변환을 사용할 수 있다.

Description

움직임 보상이 있는 낮은 복잡도 미세 입도 규모가변성 비디오 부호화를 위한 시스템 및 장치{System and apparatus for low-complexity fine granularity scalable video coding with motion compensation}
본 발명은 비디오 부호화 분야에 관한 것으로, 더 상세하게는 규모가변성 비디오 부호화에 관한 것이다.
비디오 부호화에서, 비디오 프레임들 중에 존재하는 시간적 중복성은 다른 비디오 프레임들에 기초하여 비디오 프레임을 예측하는 것에 의해 최소화될 수 있다. 이들 다른 프레임은 참조 프레임(reference frame)들이라고 불린다. 시간적 예측은 다른 방식들로 행해질 수 있다:
- 복호화기는 부호화기에 의해 사용되는 것들과 동일한 참조 프레임들을 사용한다. 이것은 기존의 비 규모가변성 비디오 부호화에서 가장 공통적인 방법이다. 정상 동작에서, 부호화기에 의해 사용된 참조 프레임들 및 복호화기에 의해 사용된 참조 프레임들 사이에는 어떠한 불일치도 있어서는 아니 된다.
- 부호화기는 복호화기에서 이용할 수 없는 참조 프레임들을 이용한다. 일 예는 부호화기가 복원된 프레임들 대신에 원본 프레임들을 참조 프레임들로서 사용한다는 것이다.
- 복호화기는 부호화기에서 사용되는 프레임들과 비교하여 부분적으로만 복원된 참조 프레임들을 사용한다. 프레임은, 만일 동일한 프레임의 비트스트림이 충분히 복호화되지 않거나 또는 자신의 참조 프레임이 부분적으로 복원되면, 부분적으로 복원된다.
시간적 예측이 제2 및 제3의 방법들에 따라 행해질 때, 부호화기에 의해 사용되는 참조 프레임들과 복호화기에 의해 사용되는 그것들 사이에는 불일치가 존재하기 쉽다. 만일 불일치가 복호화기 측에 누적되면, 복원된 비디오의 품질은 손상된다.
부호화기와 복호화기 사이의 시간적 예측의 불일치는 편차(drift)라고 불린다. 많은 비디오 부호화 시스템들이 편차가 없도록 설계되는데, 누적 오차가 복원된 비디오에서 아티팩트를 초래할 수 있기 때문이다. 때때로, 어떤 비디오 부호화 특징, 이를테면 SNR 규모가변성을 더 효율적으로 달성하기 위해서는, 항상 편차를 완전히 피할 수는 없다.
신호 대 잡음 비(SNR) 규모가변성 비디오 스트림은 낮은 품질 수준의 비디오가 부분적인 비트스트림으로부터 복원될 수 있는 속성을 가진다. 미세 입도 규모가변성(fine granularity scalability; FGS)은 규모가변성 스트림이 독단적으로 절단될 수 있는 SNR 규모가변성의 한 유형이다. 도 1은 FGS 속성의 스트림이 MPEG-4에서 생성되는 방법을 설명한다. 먼저 기본층이 비 규모가변성 비트스트림으로 부호화된다. FGS 층이 그 다음 그것의 상단에서 부호화된다. MPEG-4 FGS는 FGS 층 내의 어떠한 시간적 상관도 이용하지 않는다. 도 2에 보인 것처럼, 어떤 시간적 예측도 FGS 층 부호화에서 사용되지 않을 때, FGS 층은 기본층 복원된 프레임으로부터 예측된다. 이 접근방법은 한 프레임의 FGS 스트림의 절단이 다른 프레임들의 복호화에 영향을 미치지 않을 것이므로 최대한의 비트스트림 유연성을 가지지만, 부호화 성능은 필적하지는 않는다.
다른 예측 루프를 FGS 층 부호화에 도입하여 부호화 효율을 개선하는 것이 바람직할 수 있다. 그러나, 어떤 프레임의 FGS 층이 부분적으로 복호화될 수 있으므로, 복호화기 및 부호화기에서 사용되는 참조 프레임들 사이의 차이에 기인하는 오류는 누적될 것이고 편차가 초래된다. 이것은 도 3에서 설명된다.
누설 예측(leaky prediction)은 SNR 향상층 부호화에서 부호화 성능과 편차 제어 사이에 균형을 찾기 위해 사용되었던 기법이다(예를 들면, Huang et al. "A robust fine granularity scalability using terllis-based predictive leak", IEEE Transaction on Circuits and Systems for Video Technology", pp.372-385, vol.12, Issue 6, Hune 2002 참조). n번째 프레임의 FGS 층을 부호화하기 위해, 실제 참조 프레임은 기본층 복원된 프레임과 향상층 참조 프레임의 선형 결합으로 형성된다. 만일 향상층 참조 프레임이 복호화기에서 부분적으로 복원되면, 누설 예측 방법은 부호화기에 의해 사용되는 참조 프레임과 복호화기에 의해 사용되는 참조 프레임 사이의 불일치에 기인하는 오류의 전파를 제한할 것이다. 이것은 새로운 참조 신호가 형성될 때마다 오류가 감쇄되도록 할 것이기 때문이다.
미국 특허출원 제11/403,233호(이하 US11/403,233이라 함)는 기본층에서 부호화된 정보에 기초하여 누설 계수(leaky factor)를 적응적으로 선택하는 방법을 개시한다. 그런 방법으로, 시간적 예측은 FGS 층 부호화에 효율적으로 통합되어 부호화 성능을 개선하고 동시에 편차는 효과적으로 제어될 수 있다. US11/403,233은 다음을 개시한다: 1) FGS 층 부호화를 위한 움직임 보상에서 더 단순한 보간 방법, 예컨대, 쌍일차 방정식(bilinear)으로 차분 참조 프레임(즉 향상층 참조 프레임과 기본층 참조 프레임 사이의 차이)에 대한 보간을 수행한다. 2) 동일한 누설 계수를 적어도 일정한 수의 영이 아닌(non-zero) 계수들을 가지는 블록들에 대해 인가하는 것에 의해 변환 동작들의 수를 줄인다. US11/403,233에서, 이산(discrete) 기본층의 상단에 있는 다수의 FGS 층을 부호화하기 위한 2가지 부호화 구조, 즉 2-루프 구조와 다중-루프 구조 또한 개시되어 있다.
2-루프 구조에 따르면, 도 3에 보인 것처럼, 현재 프레임의 제1 FGS 층은 이산 기본층을 "기본층(base layer)"으로서 그리고 이전에 부호화된 프레임의 최상위 FGS 층을 "향상층(enhancement layer)"으로서 사용한다. 도 3에서 묘사된 바와 같이, 현재 프레임 n의 제1 FGS 층의 부호화가, 프레임 n-1의 제3의, 최상위 향상층을 참조 프레임으로서 사용한다. 그러면 현재 프레임의 상위의 FGS 층들, 즉 제 2, 제 3, 등등의 FGS 층들은 현재 프레임의 복원된 더 낮은 FGS 층들을 예측(prediction)으로서 사용하는데, 그것은 MPEG-4와 유사하다. 그런 구조에 따르면, 움직임 보상의 2개의 루프의 총합이 FGS 층을 부호화하기 위해 필요하다.
다중-루프 구조에 따르면, 부호화기는 다음을 수행한다:
Figure 112008055996185-PCT00001
제1 부호화 루프는 이산 기본층 프레임들을 복원하기 위한 것이다.
Figure 112008055996185-PCT00002
제2 부호화 루프는 제1 FGS 층을 복원하기 위한 것이다. "기본층"은 이산 기본층이고 "향상층"은 참조 프레임의 제1 FGS 층이다.
Figure 112008055996185-PCT00003
제3 부호화 루프는 제2 FGS 층을 복원하기 위한 것인데, 이 경우 기본층은 제2 부호화 루프로부터의 동일한 프레임의 제1 FGS 층이고 향상층은 참조 프레임의 제2 FGS 층이고, 이런 식이다.
다중-루프 구조는 도 4에 보이고 있다.
부가의 움직임 보상이 각각의 FGS 층을 부호화할 때에 필요하므로, 이것은 2-루프 구조보다 현저하게 더 복잡하다. 일반적으로, m번째 FGS 층을 부호화하기 위해, (m ＋ 1)개 루프의 움직임 보상이 필요하다.
위에 기술된 시나리오들에서, 하나의 이산 층만이 고려된다. 하나를 넘는 이산 층이 이산 층들의 상단의 FGS 층과 함께 이용할 수 있을 때, 부가의 문제들이 생길 수 있다. 이산 향상층은 공간적 향상층일 수 있다. 그것은 또한 FGS 층과는 다른 SNR 향상층, 예컨대 거친 입도 규모가변성(coarse granularity scalability; CGS) 층일 수 있다.
도 6은, 2개의 이산 층이 부호화되고 이산 향상층이 공간적 향상층인 예를 보이고 있다. 하나의 FGS 층은 또한 이산 기본층의 위에서 이용할 수 있다. 이 경우, 공간적 향상층이 FGS 층으로부터 부분적으로 예측되므로, 편차 효과는 복호화기 측의 FGS 층의 부분적 복호화의 경우에 공간적 향상층에서 예상될 수 있다. 현재의 SVC 표준에 따르면, 다른 이산층들 사이의 예측은 다음을 포함하지만 그것들로 한정되지는 않는다:
1. 베이스 내(intra-base) 모드라고도 불리는 텍스처 예측. 복원된 기본층 블록은 향상층 블록을 예측하기 위해 사용된다.
2. 잔여 예측. 복원된 기본층 블록 예측은 향상층 블록 예측 잔여를 예측하기 위해 사용된다.
본 발명은 복호화기 지향 2-루프 구조를 사용하여 다수의 FGS 층을 부호화하기 위한 방법 및 시스템을 제공한다. 복호화기 측에서, 새로운 구조는 2-루프 구조와 유사한 복잡도를 가지면서도 다중-루프 구조와 유사한 부호화 성능을 제공한다. 본 발명은 또한 이산 층 간(inter-discrete-layer) 예측을 위해 FGS 층의 사용으로 인한 부분적인 복호화의 경우의 편차 효과를 방지하기 위한 방법을 제공한다. 본 발명은 FGS 층 부호화에서 시간적 예측을 효과적으로 이용하여 부호화 효율을 개선하는 것을 목표로 한다.
따라서, 본 발명의 제1양태는 디지털 비디오 시퀀스의 프레임을 부호화하거나 부호화된 디지털 비디오 시퀀스를 복호화하여 이산 기본층 프레임들과 복수 개의 향상층 프레임들을 생성하는 방법으로서, 각각의 상기 프레임들은 복수 개의 블록들로 분할되는 화소들의 어레이를 포함하는 방법이다. 이 방법은,
현재 프레임의 현재 블록의 향상층을 부호화하기 위한 예측(prediction)을, 이산 기본층에서 현재 블록의 병치(collocated) 블록을 위해 사용되는 참조 블록과 이전에 부호화된 프레임의 동일한 향상층에서의 현재 블록을 위한 참조 블록 둘 다에 기초하여 결정하는 단계;
현재 블록의 예측 잔여들의 합을 하위 층들의 모두로부터 계산하는 단계; 및
상기 예측 잔여들의 합을 상기 예측에 가산하는 것에 의해 상기 향상층을 부호화하기 위한 참조 블록을 형성하는 단계를 포함한다.
본 발명에 따르면, 이산 기본층의 현재 블록의 병치 블록은 하나 이상의 계수를 가지고, 만일 이산 기본층의 병치 블록의 상기 하나 이상의 계수 모두가 영이라면, 현재 블록의 예측은 이산 기본층의 참조 블록 및 향상층의 참조 블록의 가중 평균으로서 계산된다.
본 발명에 따르면, 만일 이산 기본층의 병치 블록의 영이 아닌 계수들의 수가 기설정된 문턱을 초과하면, 현재 블록의 상기 하나 이상의 계수 모두는 단일 누설 계수를 사용하는데, 상기 누설 계수는 이산 기본층의 영이 아닌 계수들의 수에 기초하여 결정되고, 현재 블록의 예측은 이산 기본층의 참조 블록 및 향상층의 참조 블록의 가중 평균이며; 그리고
만일 이산 기본층에서 병치 블록의 영이 아닌 계수들의 수가 영보다 크고 기설정된 문턱 이하이면, 현재 블록에서 상기 하나 이상의 계수의 모두는 단일 누설 계수를 사용하고, 상기 누설 계수는 이산 기본층에서의 영이 아닌 계수들의 수에 기초하여 결정되고, 예측은 변환계수 도메인에서 이산 기본층의 참조 블록의 변환계수들과 향상층의 참조 블록의 변환계수들의 가중 평균으로서 형성된다.
기설정된 문턱 값은 0으로 설정될 수 있다.
본 발명은 또한 이산 기본층 프레임들 및 이산 기본층 프레임들 상단의 복수 개의 비 이산(non-discrete) 향상층 프레임들에 기초하여 디지털 비디오 시퀀스의 프레임을 부호화하거나 부호화된 디지털 비디오 시퀀스를 복호화하여 이산 향상층 프레임들을 생성하는 방법으로서, 각각의 상기 프레임들은 복수 개의 블록들로 분할되는 화소들의 어레이를 포함하는 방법을 제공한다. 그 부호화 방법은, 이산 향상층 프레임을 위한 예측을 그것의 이산 기본층 프레임 또는 하위 향상층 프레임들 중의 어느 하나로부터 형성하는 단계; 및 상기 예측이 그것의 이산 기본층 프레임으로부터 형성되는지 아니면 하위 향상층 프레임들 중의 하나로부터 형성되는지를 비트스트림에 표시하는 단계를 포함한다. 그 복호화 방법은, 헌재 프레임의 현재 블록의 향상층을 부호화하기 위한 예측이 이산 기본층 프레임으로부터 왔는지 아니면 저 향상층 프레임들의 하나로부터 왔는지의 표시를 비트스트림으로 수신하는 단계; 및 수신된 정보에 기초하여 현재 이산 향상층 프레임을 복호화하기 위한 예측을 그것의 이산 기본층 프레임으로부터 또는 하위 향상층 프레임들 중의 하나로부터 형성하는 단계를 포함한다.
본 발명의 제2양태는 디지털 비디오 시퀀스의 프레임을 부호화하여 이산 기본층 프레임들과 복수 개의 향상층 프레임들을 생성하는 부호화기로서, 각각의 상기 프레임들은 복수 개의 블록들로 분할되는 화소들의 어레이를 포함하는 부호화기이다. 이 부호화기는,
이산 기본층에서 현재 블록의 병치 블록을 위해 사용되는 참조 블록과 이전에 부호화된 프레임의 동일한 향상층에서 현재 블록을 위한 참조 블록 둘 다에 기초하여 현재 프레임의 현재 블록의 향상층을 부호화하기 위한 예측을 결정하는 모듈;
현재 블록의 예측 잔여들의 합을 하위 층들의 모두로부터 계산하는 모듈; 및
상기 예측 잔여들의 합을 상기 예측에 가산하는 것에 의해 상기 향상층을 부호화하기 위한 참조 블록을 형성하는 모듈을 포함한다.
본 발명의 제3양태는 부호화된 디지털 비디오 시퀀스를 복호화하여 이산 기본층 프레임들 및 복수 개의 향상층 프레임들을 생성하는 복호화기로서, 각각의 상기 프레임들은 복수 개의 블록들로 분할되는 화소들의 어레이를 포함하는 복호화기이다. 이 복호화기는,
이산 기본층에서 현재 블록의 병치 블록을 위해 사용되는 참조 블록과 이전에 부호화된 프레임의 동일한 향상층에서의 현재 블록을 위한 참조 블록 둘 다에 기초하여 현재 프레임의 현재 블록의 향상층을 부호화하기 위한 예측을 결정하는 모듈;
현재 블록의 예측 잔여들의 합을 하위 층들의 모두로부터 계산하는 모듈; 및
상기 예측 잔여들의 합을 상기 예측에 가산하는 것에 의해 상기 향상층을 부호화하기 위한 참조 블록을 형성하는 모듈을 포함한다.
본 발명의 제4양태는 전술한 바와 같은 부호화기와 복호화기를 가지는 기기, 이를테면 이동 전화기이다.
본 발명의 제5양태는 디지털 비디오 시퀀스의 부호화 또는 부호화된 디지털 비디오 시퀀스를 복호화에 사용하기 위한 소프트웨어 애플리케이션을 가지는 컴퓨터 판독가능 저장매체를 포함하는 소프트웨어 애플리케이션 제품인데, 이 소프트웨어 애플리케이션은 전술한 바와 같은 부호화 및 복호화 방법을 수행하는 프로그래밍 코드들을 가진다.
도 1은 MPEG-4에 따른 FGS 층에 시간적 예측이 없는 미세 입도 규모가변성을 도시한다.
도 2는 FGS 층에 시간적 예측이 있는 미세 입도 규모가변성을 도시한다.
도 3은 FGS 층들에 시간적 예측이 있는 미세 입도 규모가변성을 2-루프 구조로 도시한다.
도 4는 FGS 층들에 시간적 예측이 있는 미세 입도 규모가변성을 다중-루프 구조로 도시한다.
도 5는 복호화기 지향 2-루프 구조에서 FGS 층들에 시간적 예측이 있는, 본 발명에 따른 미세 입도 규모가변성을 도시한다.
도 6은 FGS 층들과 함께 다수의 이산 층들의 예를 도시한다.
도 7은 참조 블록의 기본층 의존 형성을 가지는 FGS 부호화기를 도시한다.
도 8은 참조 블록의 기본층 의존 형성을 가지는 FGS 복호화기를 도시한다.
도 9는 규모가변성 부호화기 및 규모가변성 복호화기 중의 적어도 하나를 가지는 본 발명에 따른 전자 기기를 도시한다.
본 발명의 각종 실시예들은 규모가변성 비디오 부호화를 위한 부호화 및 복호화 복잡도가 감소된 개선된 부호화 효율을 위한 부호화 구조 및 방법을 제공한다. 특히, 이산 층의 상단의 다수의 FGS 층을 부호화하는 경우가 고려된다.
다수의 FGS 층을 부호화하기 위해, 복호화기 지향(decoder-oriented) 2-루프 구조가 사용된다. 복호화기 측에서, 새로운 구조는 다중-루프 구조와 유사한 부호화 성능을 제공하면서도 2-루프 구조와 유사한 복잡도를 가진다.
본 발명의 각종 실시예들은 이산 층 간 예측을 위한 FGS 층의 사용 때문에 부분적인 복호화의 경우에 편차 효과를 방지하기 위한 방법을 제공하기도 한다.
본 발명은 시간적 예측을 FGS 층 부호화에서 효과적으로 이용하여 부호화 효율을 개선하는 것을 목표로 한다. 그러나, FGS 층 부호화를 위해 시간적 정보를 예측에 통합하는 것은 FGS 프레임의 부분적인 복호화의 경우에는 복호화기 측에서 편차 문제를 초래할 수도 있다. 편차 효과를 제어하면서도 FGS 층 부호화에서 예측을 위해 시간적 정보를 효율적으로 이용하는 방법이 본 발명의 주요한 초점이다.
FGS 층이 더 높은 이산 층을 위한 예측(prediction)으로서 사용될 때, FGS 층의 부분적인 복호화의 경우의 예측 편차는 부호화 성능에 현저하게 영향을 미칠 수 있다.
이전의 솔루션들에 대한 추가적인 단순화
A. 부가의 변환 동작 회피
US11/403,233에 기술된 방법에서는, FGS 층의 블록을 부호화하기 위해 예측을 형성할 때 일반적으로 다음 3가지 경우가 고려된다.
a) 만일 기본층의 그것의 병치 블록의 모든 계수들이 영이면, 현재 블록의 예측은 기본층의 참조 블록 및 향상층의 참조 블록의 가중 평균으로서 계산된다. 이 경우, 평균화 연산은 공간 도메인에서 수행될 수 있고 어떤 부가의 변환 동작도 필요하지 않다.
b) 만일 기본층의 그것의 병치 블록의 영이 아닌 계수들의 수가 어떤 문턱(Tc)을 초과하면, 이 블록의 모든 계수들은 단일 누설 계수(leaky factor)를 사용한다. 누설 계수의 값은 기본층에서 영이 아닌 계수들의 수에 의존할 수 있다. 이 경우, 현재 블록의 예측은 또한 기본층의 참조 블록과 향상층의 참조 블록의 가중 평균이다. 평균화 연산은 공간 도메인에서 수행될 수 있고 어떤 변환도 필요하지 않다.
c) 만일 기본층에서의 그것의 병치 블록의 영이 아닌 계수들의 수가 영이 아니고 문턱(Tc)을 초과하지 않으면, 변환이 수행되고 다른 누설 계수들이 다른 계수들에 적용될 수 있다.
단순화 메커니즘뿐만 아니라 특별한 경우로서, 경우 (c)는 문턱 Tc를 0으로 설정하는 것에 의해 단순히 경우 (b)에 병합될 수 있다. 그 결과, 어떤 부가의 변환도 이 방법에 필요하지 않다. 알고리즘의 대부분의 복잡도가 경우 (c)의 처리와 연관되므로, 경우 (c)를 제거하는 것은 전체 알고리즘 복잡도를 현저하게 단순화시킬 수 있다. 특히 다중-루프 구조가 다중 FGS 층을 부호화하기 위해 사용될 때, 그런 단순화가 바람직하고 일반적으로 적용되어야만 한다.
B. 루프 내(in-loop) 블록제거(de-blocking) 필터를 FGS 층에 인가하지 않음.
H.264에서, 루프 내 블록제거 필터가 부호화 블록 경계 주위에서 블록 아티 팩트를 줄이기 위해 적용될 수 있다. 그런 필터는 루프 필터라고 불린다. 그것은 블록 아티팩트를 줄이기 위해서뿐만 아니라 부호화 성능을 끌어올리기 위해서도 사용될 수 있는데, 더 나은(즉, 필터링된) 프레임이 후속 프레임들을 부호화하기 위한 참조 프레임으로서 사용될 수 있기 때문이다. 그러나, 루프 필터의 사용은 또한 전체 부호화 복잡도를, 특히 다중-루프 구조의 경우에, 현저하게 증가시킨다.
복잡도를 줄이는 적합한 방법은 루프 내 필터를 이산 기본층에 대해서만 허용하는 것이다. 이 이산 기본층의 상단의 FGS 층에 대해, 어떤 루프 내 필터도 적용되지 않는다. 최종 FGS 층, 즉 복호화기 측에서의 최종 복원된 FGS 층에 대해, 루프 필터는 포스트 필터로서 선택적으로 적용될 수 있다. 이것은 최종 FGS 층이 복호화되고 난 후에 필터가 블록 아티팩트를 제거하기 위해 선택적으로 복호화된 시퀀스에 적용될 수 있지만 필터링된 FGS 프레임은 부호화 루프에 관련이 없다는 것을 의미한다.
C. FGS 층들에 대한 더 단순한 잔여 변환의 사용
복잡도를 더 줄이기 위해, 더 단순한 잔여 변환들이 FGS 층 부호화를 위해 사용될 수 있다. H.264에서, DCT에 기초한 정수 변환이 정의되고 잔여 변환을 위해 사용된다. 그러나, 잔여 변환으로서 더 단순한 변환, 이를테면 4x4 아다마르(Hadamard) 변환을 사용하는 것은 명백한 부호화 성능 하락을 가져오지 않는다는 것을 확인하였다. 4x4 아다마르 변환은 DCT에 기초한 정수 변환보다 훨씬 더 단순하다.
다수의 FGS 층들을 부호화하기 위한 복호화기 지향 2-루프 구조
US11/403,233에서, 2-루프 구조와 다중-루프 구조는 양쪽 다가 이산 기본층의 상단의 다수의 FGS 층들을 부호화하기 위해 개시되어 있다. 그러나, 2개의 구조의 각각은 일부 단점들을 가진다.
다중-루프 구조의 경우, 문제는 그것의 복잡도이다. 도 4에 보인 것처럼, 다중-루프 구조에 따르면 각각의 FGS 층의 예측은 그것의 기본층 및 그것의 참조 프레임의 동일한 FGS 층으로부터 형성된다. FGS 층들은 하나씩 연속적으로 부호화될 필요가 있다. 부호화기 측에서, 이산 기본층이 부호화되고 난 후, 제1 FGS 층은 부호화될 수 있다. 제2 FGS 층은 제1 FGS 층이 부호화되고 난 후 등에서만 부호화될 수 있다. 이 상황은 복호화기에 대해 동일하다. 복호화기 측에서, 이산 기본층이 복호화되고 난 후, 제1 FGS 층은 복호화될 수 있다. 그 다음 제2 FGS 층 그리고 그 다음 제3 FGS 층 등이 복호화될 수 있다. 그래서 예를 들면 제3 FGS 층을 복호화기 측에서 복원하기 위해서는, 이산 기본층들인 제1 FGS 층과 제2 FGS 층의 각각은 복호화되고 복원되어야만 한다. 움직임 보상이 현재 층뿐 아니라 하위 층들의 각각을 복호화할 때에도 필요하다.
2-루프 구조는 다중-루프 구조보다 훨씬 낮은 복잡도를 가지는데, 그것이 어느 FGS 층인지에 무관하게, 그것은 FGS 층을 부호화하기 위해 움직임 보상의 2개의 루프만을 필요로 하기 때문이다. 도 3에 보인 것처럼, 제1 FGS 층을 부호화할 때, 이산 기본층과 그것의 참조 프레임의 최상위 FGS 층은 예측을 형성하기 위해 사용된다. 제2 FGS 층을 부호화할 때, 복원된 제1 FGS 층 프레임은 예측으로서 사용되 고 그러므로 더 이상의 움직임 보상이 필요하지 않다. 마찬가지로, 제3 FGS 층을 부호화할 때, 복원된 제2 FGS 층 프레임은 예측으로서 사용되는 등등이다. 그래서 전체적으로, 움직임 보상의 2개의 루프가 FGS 층을 부호화하기 위해 필요하다. 그런 상황은 부호화기와 복호화기 양쪽 다에 대해 동일하다.
그러나, 2-루프 구조의 경우, 문제는 그 성능이다. 제1 FGS 층 프레임을 부호화할 때 예측이 현재 프레임의 이산 기본층과 그것의 참조 프레임의 최상위 FGS 층으로부터 형성되므로, 예측 편차는 FGS 층의 부분적인 복호화의 경우에는 기대될 수 있다. 예를 들어, 3개의 FGS 층이 부호화기 측에서 도 3에 따라 부호화된다고 가정한다. 복호화기 측에서 제1 FGS 층만을 복호화할 때, 제1 FGS 층을 위한 예측은 도 2에 보인 방식으로 형성될 것이다. 이 경우, 제1 FGS 층만이 각각의 복호화된 프레임에 이용할 수 있고 그러므로 이 층(즉 이용할 수 있는 최상위 층)은 FGS 층 예측을 위해 사용된다. 이것은 제3 FGS 층 프레임이 예측을 위해 사용되는 부호화기 측에서의 경우와는 다르다. 부호화기 측 및 복호화기 측에서 사용되는 예측기들 사이의 불일치는 편차 효과를 초래한다. 그 결과, 제2 FGS 층뿐만 아니라 제1 FGS 층의 부호화 성능은 극적으로 영향을 받을 수 있다.
본 발명의 각종 실시예들에서, 새로운 2-루프 구조가 제시된다. 새로운 2-루프 부호화 구조에 따르면, 다중-루프 움직임 보상은 부호화기 측에서 여전히 사용될 수 있지만, 복호화기 측에서는 2-루프 움직임 보상만이 사용될 수 있다. 이 이유 때문에, 이 구조는 본 발명의 다음의 각종 실시예들의 설명에서 복호화기 지향 2-루프 구조라고 불린다.
FGS 층 프레임의 시간적 예측은 도 5에 도시된 바와 같이 형성된다. 제1 FGS 층의 예측인 P1은 제11/403,233호에 개시된 FGS 부호화 방법에 따른 다중-루프 부호화 구조와 동일한 방식으로 형성된다. 제2 FGS 층에 대해, 초기 예측인 P2'은, 먼저, 제안된 것과 동일하지만 이산 기본층을 "기본층"으로서 그리고 제2 FGS 층을 "향상층"으로서 사용하는 FGS 부호화 방법에 따라 계산된다. 그 다음 P2'이 제1 FGS 층 복원된 예측 잔여(D1)(이것은 도 5에서 속이 빈 화살표로 표시된다)와 더해지고 합인 P2는 실제 예측으로서 사용된다.
P2 = P2' ＋ α*D1
α는 매개변수이고 0≤α≤1이다. 비슷하게, 제3 FGS 층에 대해, 초기 예측인 P3'은 먼저 이산 기본층을 "기본층"으로서 그리고 제3 FGS 층을 "향상층"으로서 사용하는 동일한 FGS 부호화 방법에 따라 계산된다. 그 다음 P3'은 제1 및 제2 FGS층 복원된 예측 잔여들인 D1과 D2의 둘 다와 더해지고 합인 P3는 실제 예측으로서 사용된다.
P3 = P3' ＋ α*D1 ＋ β*D2
β 역시 매개변수이고 0≤β≤1이다. β는 α와 동일하거나 다를 수 있다. 보통 α과 β 둘 다는 1로서 설정될 수 있다.
복호화기 지향 2-루프 구조와 다중-루프 구조 사이의 차이는, 복호화기 지향 2-루프 구조에서, 각각의 FGS 층의 예측은 현재 프레임의 이산 기본층과 그것의 참 조 프레임의 동일한 FGS 층으로부터 형성되는 반면, 다중-루프 구조에서, 각각의 FGS 층의 예측은 그것의 인접한 기본층으로부터 형성된다는 것이다.
복호화기 지향 2-루프 구조와 더불어, 다중-루프 움직임 보상이 부호화기 측에 여전히 필요하다. 이산 기본층이 부호화되고 난 후, 제1 FGS 층이 부호화된다. 제2 FGS 층은 제1 FGS 층이 부호화되고 난 후에만 부호화될 수 있고 이런 식으로 부호화가 된다. 움직임 보상이 각각의 FGS 층을 부호화할 때에 필요하다. 그러나, 복호화기 측에서, FGS 층이 어느 FGS 층인지에 무관하게 그 FGS 층을 복호화하기 위해 움직임 보상의 2개의 루프만이 필요한데, 하나는 이산 기본층에 있고 하나는 현재의 FGS 층에 있다. 예를 들면, 제2 FGS 층을 복호화하기 위해, 이산 기본층은 먼저 움직임 보상으로 복호화된다. 그 다음 제1 FGS 층 잔여는 복호화되고 어떤 움직임 보상도 필요하지 않다. 마침내 제2 FGS 층은 도 5에 보인 구조에 따라 움직임 보상으로 복호화된다.
FGS 층들의 시간적 예측에 대해, FGS 층이 그것의 이산 기본층의 동일한 움직임 벡터들을 사용할 수 있다는 점에 유의할 필요가 있다. 그러나, FGS 층은 또한 그것의 기본층으로부터 다른 움직임 벡터를 사용할 수 있다. 어느 쪽이든, 다수의 FGS 층들을 위한 부호화 구조뿐만 아니라 제안된 FGS 부호화 방법은 적용 가능하다.
본 발명에서, 2-루프 또는 다중-루프 또는 복호기 지향 2-루프 부호화 구조의 선택은 부호화기 선택일 수 있고 비트스트림으로 신호될 수 있다는 것 또한 주의해야 한다. 그러므로, 시퀀스에서, 다른 프레임들(또는 슬라이스들)이 다른 부호 화 구조에 따라 부호화되고 부호화 구조의 선택은 각각의 프레임(또는 슬라이스)을 위해 신호된다는 것이 가능하다.
FGS 부분 복호화 때문인 이산 향상층의 편차 효과 방지
FGS 층이 이용가능하고 더 높은 이산 층을 예측하기 위해 사용될 때, 도 6에 보인 것처럼, 예측 편차 문제는 FGS 층 부분 복호화의 경우에는 기대될 수 있다. 그런 편차 효과는 부호화 성능에 현저하게 영향을 미칠 수 있다. 그러나, 만일 FGS 층 대신에 이산 기본층이 예측을 위해 사용되면, 부호화 성능 또한 영향을 받는데, 이산 기본층이 FGS 층보다 낮은 화상 품질을 가지기 때문이다.
그런 예측 편차를 극복하기 위한 실제적인 방법은 어떤 이산 향상층에 대한 예측이 이산 기본층 상단의 FGS 층 대신에 이산 기본층으로부터 비롯되어야 한다는 것을 부가의 신호(또는 플래그 비트)를 사용하여 복호화기에 신호하는 것이다. 이산 기본층이 이용할 수 있고 복호화될 수 있다고는 항상 보장되지는 않으므로, 이 경우 예측 편차는 없다. 한편, 그런 플래그는 단지 때때로만 사용 가능하게 되고 항상 그렇지는 않다. 그래서, 대부분의 시간 동안, FGS 층은 양호한 부호화 성능을 위해 예측에 여전히 사용될 수 있다. 본질적으로, 그런 신호(또는 플래그 비트)는 누적되는 예측 편차 효과를 방지하기 위해 향상 이산 층에 대한 예측을 얻기 위한 방법의 관점에서 복호화기에 주기적인 리프레시를 제공한다.
플래그 비트들을 부호화하는 것에 다른 방법들이 있다. 그것은 프레임 레벨(즉 H.264에 따른 슬라이스 헤더)에서 신호 될 수 있다. 그래서, 어떤 프레임(또는 슬라이스)에 대해, 이산 향상층의 모든 블록들은 예측을 위해 이산 기본층을 사용한다. 그것은 또한 매크로-블록 레벨에서 신호 될 수 있다. 이 경우, 신호되는 이산 향상층의 그들 매크로블록만이 예측을 위해 이산 기본층을 사용한다. 그렇지 않으면, 이산 기본층의 FGS 층은 예측을 위해 사용될 수 있다.
본 발명의 각종 실시예들은 다수의 FGS 층을 부호화하기 위해 복호화기 지향 2-루프 구조를 사용한다. 이 2-루프 구조는 도 3에 보인 것과 같은 2-루프 구조와 동일한 복호화기 복잡도를 가지지만, 도 4에 보인 것과 같은 다중-루프 구조의 부호화 성능에 필적하는 부호화 성능을 제공할 수 있다.
FGS 층이 이용가능하고 더 높은 이산 층을 예측하기 위해 사용될 때, 본 발명은 FGS 층 부분 복호화 때문인 예측 편차 문제에 대한 솔루션을 제공한다.
FGS 부호화기의 개요
도 7 및 8은 참조 블록들의 형성이 기본층에 의존하는 본 발명의 FGS 부호화기 및 복호화기의 블록도들이다. 이들 블록도에서, 하나의 FGS 층만이 보이고 있다. 그러나, 하나의 FGS 층의 다수의 FGS 층을 가지는 구조로의 확장이 간단하다는 것이 인정되어야만 한다.
블록도들에서 알 수 있는 바와 같이, FGS 부호화기는 부가의 "참조 블록 형성 모듈"이 있는 2-루프 비디오 부호화기이다.
도 9는 본 발명의 실시예에 따른 전형적인 이동식 기기를 묘사한다. 도 9에 보인 이동식 기기(10)는 셀룰러 데이터 및 음성 통신들을 할 수 있다. 본 발명이 다수의 다른 실시예들 중의 하나를 나타내는 이 특정 실시예에 제한되지 않는다는 점에 유의할 필요가 있다. 이동식 기기(10)는 (메인) 마이크로프로세서 또는 마이크로제어기(100) 뿐 아니라 이동식 기기의 동작을 제어하는 마이크로프로세서와 연관된 구성요소들을 포함한다. 이 구성요소들은 디스플레이 제어기(130)와 이것에 연결된 디스플레이 모듈(135), 비휘발성 메모리(140), 랜덤 액세스 메모리(RAM)와 같은 휘발성 메모리(150), 오디오 입력/출력(I/O) 인터페이스(160)와 이것에 연결된 마이크로폰(161), 스피커(162) 및/또는 헤드셋(163), 키패드 제어기(170) 및 그것에 연결된 키패드(175) 또는 키보드, 임의의 보조 입력/출력(I/O) 인터페이스(200), 그리고 근거리 통신 인터페이스(180)를 포함한다. 그런 기기는 또한 전부가 190으로 표시된 다른 기기 서브시스템들을 보통 포함한다.
이동식 기기(10)는 음성 네트워크를 통해 통신할 수 있고 및/또는 마찬가지로 예컨대 디지털 셀룰러 네트워크, 특히 이동 통신 세계화 시스템(GSM) 또는 범용 이동통신 시스템(UMTS) 형태의 어떤 공중 육상 이동 통신망(PLMN)과 같은 데이터 네트워크를 통해 통신할 수 있다. 전형적으로 음성 또는 데이터 통신은 무선 인터페이스, 즉 셀룰러 네트워크의 기반구조의 무선 접속망(RAN)의 부분인 기지국(BS) 또는 노드 B(미도시)에 추가의 구성요소들(상기 참조)과 협력하는 셀룰러 통신 인터페이스 서브시스템을 경유하여 이루어진다. 도 9에서 예시적으로 묘사된 셀룰러 통신 인터페이스 서브시스템은 셀룰러 인터페이스(110), 디지털 신호 처리기(DSP; 120), 수신기(Rx; 121), 전송기(TX; 122), 및 하나 이상 국부 발진기(LO; 123)를 포함하고, 하나 이상의 공중 육상 이동 통신망(PLMN)과의 통신을 가능하게 한다. 디지털 신호 처리기(DSP; 120)는 통신신호들(124)을 전송기(TX; 122)에 송신하고 통신 신호들(125)을 수신기(RX; 121)로부터 수신한다. 통신신호들을 처리하는 것에 더하여, 디지털 신호 처리기(120)는 수신기에 제어신호들(126)을 그리고 전송기에 제어신호들(127)을 제공하기도 한다. 예를 들면, 전송하려는 신호와 수신되는 신호의 변조와 복조 외에, 수신기(RX; 121) 및 전송기(TX; 122)에서 신호를 통신하기 위해 적용되는 이득 레벨들은 디지털 신호 처리기(DSP; 120)에 구현된 자동 이득 제어 알고리즘을 통해 적응적으로 제어될 수 있다. 다른 송수신기 제어 알고리즘들 또한 송수신기(122)의 더 정교한 제어를 제공하기 위해 디지털 신호 처리기(120)에 구현될 수도 있다. PLMN을 통한 이동식 기기(10)의 통신이 단일 주파수 매우 근접한 주파수들의 집합에서 발생하는 경우, 단일 국부 발진기(LO; 123)가 전송기(TX; 122)와 수신기(RX; 121)와 관련하여 사용될 수 있다. 대신에, 만일 다른 주파수들이 음성/데이터 통신 또는 전송 대 수신을 위해 이용되면, 복수 개의 국부 발진기가 복수 개의 상응하는 주파수들을 생성하기 위해 사용될 수 있다. 비록 도 9에서 묘사된 이동식 기기(10)가 안테나(129)와 함께 또는 다이버시티 안테나 시스템(미도시)과 함께 사용되지만, 이동식 기기(10)는 단일 수신 및 전송을 위해 단일 안테나 구조와 함께 사용될 수 있다. 음성과 데이터 정보 둘 다를 포함한 정보는 셀룰러 인터페이스(110)와는 디지털 신호 처리기(120)와의 사이의 데이터 링크를 통해 통신한다. 셀룰러 인터페이스(110)의 세부적 설계, 예컨대 주파수 대역, 구성요소 선택, 전력 레벨 등은 이동식 기기(10)가 동작하려고 하는 무선 네트워크에 의존할 것이다.
셀룰러 네트워크들에서의 등록을 위해 필요한 가입자 식별(인증) 모듈(SIM; 210)에 관계가 있을 수 있는 어떤 요구된 네트워크 등록 또는 활성화 절차들이 완료된 후, 이동식 기기(10)는 음성 및 데이터 신호들을 포함한 통신 신호들을 무선 네트워크를 통해 송신하고 수신할 수 있다. 안테나(129)에 의해 무선 네트워크로부터 수신된 신호는 수신기(121)에 발송되는데, 수신기는 신호 증폭, 주파수 하향 변환, 필터링, 선국, 및 아날로그-디지털 변환과 같은 그런 동작들을 위해 제공된다. 수신된 신호의 아날로그-디지털 변환은 디지털 신호 처리기(DSP; 120)를 사용하여 수행되는 디지털 복조 및 복호화와 같은 더 복잡한 통신 기능들을 허용한다. 유사한 방식으로, 네트워크에 전송하려는 신호들이, 예를 들면, 디지털 신호 처리기(DSP; 120)에 의해 변조 및 부호화를 포함하여 처리되고, 그 다음 디지털-아날로그 변환, 주파수 상향 변환, 필터링, 증폭 ,및 안테나(129)를 경유한 무선 네트워크로의 전송을 위해 전송기(122)에 제공된다.
기기 플랫폼 마이크로프로세서로서 지정될 수 있는 마이크로프로세서/마이크로컨트롤러(μC; 100)는 이동식 기기(10)의 기능들을 관리한다. 프로세서(100)에 의해 사용되는 운영체계 소프트웨어(149)는 바람직하게는, 예를 들면, 플래시 메모리, 배터리 백업 RAM, 어떤 다른 비휘발성 저장 기술, 또는 그것들의 임의의 조합으로서 구현될 수 있는 비휘발성 메모리(140)와 같은 영구적인 저장기기에 저장된다. 이동식 기기(10)의 기본(그래픽) 사용자 인터페이스 기능들뿐만 아니라 로우-레벨의 기능들을 제어하는 운영체계(149)에 더하여, 비휘발성 메모리(140)는 복수 개의 하이-레벨 소프트웨어 응용 프로그램들 또는 모듈들, 이를테면 음성 통신 소 프트웨어 애플리케이션(142), 데이터 통신 소프트웨어 애플리케이션(141), 오거나이저 모듈(미도시), 임의의 다른 유형의 소프트웨어 모듈(미도시)을 포함한다. 이 모듈들은 프로세서(100)에 의해 실행되고, 이동식 기기(10)와 이동식 기기(10)의 사용자 사이에 하이-레벨 인터페이스를 제공한다. 이 인터페이스는 디스플레이 제어기(130)에 의해 제어되는 디스플레이(135)를 통해 제공되는 그래픽 구성요소와 키패드 제어기(170)를 경유하여 프로세서(100)에 접속된 키패드(175)를 통하여 제공된 입출력 구성 요소들, 보조 입력/출력(I/O) 인터페이스(200) 및/또는 근거리(SR) 통신 인터페이스(180)를 통상 구비한다. 보조 I/O 인터페이스(200)는 특히 범용 시리얼 버스(USB) 인터페이스, 직렬 인터페이스, 멀티미디어 카드(MMC) 인터페이스 및 관련된 인터페이스 기술들/표준들, 그리고 임의의 다른 표준화된 또는 사설 데이터 통신 버스 기술을 포함하는 반면, 근거리 통신 인터페이스 무선 주파수(RF) 저 전력 인터페이스는 특히 무선 근거리 통신망(WLAN)과 블루투스 통신 기술 또는 적외선 데이터 접근(IRDA) 인터페이스를 포함한다. 여기에 언급된 RF 저 전력 인터페이스 기술은 특히 그것의 설명이 전기 전자 기술자 협회로부터 획득할 수 있는 어떤 IEEE 801.xx 표준 기술이라도 포함한다고 이해되어야만 한다. 더군다나, 근거리 통신 인터페이스(18)뿐 아니라 보조 I/O 인터페이스(200)는 각각이 하나 이상의 입력/출력 인터페이스 기술들 및 통신 인터페이스 기술들을 각각 지원하는 하나 이상의 인터페이스를 나타낼 수 있다. 운영 체계, 특정 기기 소프트웨어 애플리케이션들 또는 모듈들 또는 그 부품들은 랜덤 액세스 메모리(보통 고속 동작을 위한 DRAM(direct random access memory) 기술을 기초로 하여 구현됨)와 같은 휘발성 저장소(150)에 일시적으로 로드될 수 있다. 더군다나, 수신된 통신 신호들은 또한 그것들을 비휘발성 메모리(140) 또는 데이터를 저장하기 위해 보조 I/O 인터페이스를 경유하여 바람직하게는 탈착식으로 연결된 어떤 대용량 저장기기에라도 위치하는 파일 시스템에 영구적으로 기록하기 전에 휘발성 메모리(150)에 일시적으로 저장될 수 있다. 위에 기술된 구성요소들이 여기에 셀룰러 전화기 형태로 구현된 전통 이동식 기기(10)의 전형적인 구성요소들을 나타낸다는 것이 이해되어야만 한다. 본 발명은 단지 예시를 위해 그리고 완전성을 위하여 묘사된 이들 특정 구성요소들과 그것들의 구현예에 한정되지 않는다.
이동식 기기(10)의 전형적인 소프트웨어 애플리케이션 모듈은 전형적으로 연락처(contact) 관리자, 달력, 태스크 관리자 등을 포함한 PDA 기능을 제공하는 개인 정보 관리자 애플리케이션이다. 그런 개인 정보 관리자는 프로세서(100)에 의해 실행되며, 이동식 기기(10)의 구성요소들에 접근을 할 수 있고, 다른 소프트웨어 애플리케이션 모듈들과 상호 작용할 수 있다. 예를 들어, 음성 통신 소프트웨어 애플리케이션을 이용한 상호작용(대화)은 전화 호, 음성 메일 등을 관리하는 것을 허용하고, 데이터 통신 소프트웨어 애플리케이션을 이용한 상호작용은 소프트 매시지 서비스(SMS), 멀티미디어 서비스(MMS), 이메일 통신과 다른 데이터 전송을 관리하는 것을 가능하게 한다. 비휘발성 메모리(140)는 특히 달력 엔트리들, 연락처 등을 포함하여 기기에 데이터 항목들의 영구 저장을 용이하게 하기 위해 바람직하게는 파일 시스템을 제공한다. 예컨대 셀룰러 인터페이스, 근거리 통신 인터페이스 또는 보조 I/O 인터페이스를 통한 네트워크들과의 데이터 통신을 위한 능력은 그런 네트 워크들을 경유하여 업로드, 다운로드, 및 동기화를 가능하게 한다.
애플리케이션 모듈들(141 내지 149)은 프로세서(100)에 의해 실행되도록 구성된 기기 기능들 또는 소프트웨어 애플리케이션들을 나타낸다. 대부분의 알려진 이동식 기기들에서, 단일 프로세서는 모든 기기 기능들과 소프트웨어 애플리케이션뿐만 아니라 이동식 기기의 전체 동작을 관리하고 제어한다. 그런 개념은 오늘날의 이동식 기기에 적용 가능하다. 확장 멀티미디어 기능들의 구현은, 예를 들면, 비디오 스트리밍 애플리케이션들의 재생, 디지털 이미지들, 및 통합형 또는 착탈식으로 연결된 디지털 카메라 기능부에 의해 포착된 비디오 시퀀스들의 조작을 포함한다. 이 구현은 계산 능력 요건을 완수하는 복잡한 그래픽을 가지는 게이밍 애플리케이션들을 포함할 수도 있다. 과거에 추구되었던 계산 능력 요건을 다루는 하나의 방법은 강력하고 범용의 프로세서 코어들을 구현하는 것에 의해 계산 능력을 증가시키기 위한 문제를 해결하는 것이다. 계산 능력을 제공하기 위한 다른 접근방법은 이 기술분야에서 잘 알려진 방법론인 2개 이상의 독립적인 강력하고 범용의 프로세서 코어들을 구현하는 것이다. 몇 개의 독립적인 프로세서 코어들의 이점들은 이 기술분야의 숙련된 자들에 의해 곧바로 인식될 수 있다. 범용 프로세서가 독특한 태스크들의 사전 선택에 대한 전문화 없이 다수의 다른 태스크들을 수행하기 위해 디자인되는 반면, 다중-프로세서 배치구성은 하나 이상의 범용 프로세서와 사전 정의된 태스크들의 집합을 처리하기에 적합하게 된 하나 이상의 전문화된 프로세서를 구비할 수 있다. 그럼에도 불구하고, 하나의 기기, 특히 이동식 기기(10)와 같은 모바일 기기 내에 몇 개의 프로세서들의 구현은 구성요소들의 완전하고 복잡한 재 설계를 전통적으로 필요로 한다.
다음에서, 본 발명은 비싸고 완전하고 복잡한(정교한) 재설계의 생략을 가능하게 하는 현존하는 처리 기기 속에 부가의 프로세서 코어들의 단순한 통합을 허용하는 개념을 제공할 것이다. 본 발명 개념은 시스템-온-어-칩(SoC) 설계에 관해서 기술될 것이다. 시스템-온-어-칩(SoC)은 처리 기기의 적어도 다수의(또는 모든) 구성요소들을 단일 고-집적 칩 속에 통합하는 개념이다. 그런 시스템-온-어-칩은 디지털, 아날로그, 혼합형 신호, 종종 무선 주파수 기능들 모두를 하나의 칩에 담을 수 있다. 전형적인 처리 기기는 다른 태스크들을 수행하는 다수의 집적회로를 포함한다. 이들 집적 회로는 특히 마이크로프로세서, 메모리, 범용 비동기 송수신기(UART)들, 직렬/병렬 포트들, 직접 메모리 접근(DMA) 제어기 등을 포함할 수 있다. 범용 비동기 송수신기(UART)는 데이터의 병렬 비트들과 직렬 비트들 간을 번역한다. 반도체 기술의 근래의 개선은 초 대규모 집적(VLSI) 집적회로들이 복잡도가 현저하게 증가하는 것을 허용하여, 시스템의 다수의 구성요소들을 단일 칩에 통합하는 것을 가능하게 하였다. 도 9를 참조하면, 하나 이상의 구성요소, 예컨대 제어기들(130 및 160), 메모리 구성요소들(150 및 140), 그리고 인터페이스들(200, 180 및 110) 중의 하나 이상은 최종적으로 시스템-온-어-칩(SoC)을 형성하는 단일 칩으로 프로세서(100)와 함께 통합될 수 있다.
부가적으로, 상기 기기(10)에는 본 발명의 발명적 동작에 따라 비디오 데이터의 규모가변성 부호화(105) 및 규모가변성 복호화(106)를 위한 모듈이 갖추어진다. CPU(100)에 의해 상기 모듈들(105, 106)은 개별적으로 사용될 수 있다. 그러 나, 상기 기기(10)는 비디오 데이터 부호화 또는 복호화를 각각 수행하기에 적합하게 된다. 상기 비디오 데이터는 기기의 통신 모듈들에 의해 수신될 수 있고 그것은 또한 기기(10) 내의 어떤 상상 가능한 저장 수단 내에 저장될 수도 있다.
요컨대, 본 발명은 복호화기 지향 2-루프 구조가 사용되는 다수의 FGS 층들을 부호화하기 위한 방법과 시스템을 제공한다. 복호화기 측에서, 새로운 구조는 2-루프 구조와 유사한 복잡도를 가지면서도 다중-루프 구조와 유사한 부호화 성능을 제공한다. 본 발명은 또한 부분적 복호화의 경우의 이산 층 간 예측을 위한 FGS 층의 사용 때문인 편차 효과를 방지하기 위한 방법을 제공한다. 본 발명은 시간적 예측을 FGS 층 부호화에서 효과적으로 이용하여 부호화 효율을 개선하는 것을 목표로 한다.
본 발명은 디지털 비디오 시퀀스의 프레임을 부호화하거나 부호화된 디지털 비디오 시퀀스를 복호화하여 이산 기본층 프레임들과 복수 개의 향상층 프레임을 생성하는 방법으로서, 각각의 상기 프레임들은 복수 개의 블록들로 분할된 화소들의 어레이를 포함하는 방법을 제공한다. 이 방법은, 현재 프레임의 현재 블록의 향상층을 부호화하기 위한 예측(prediction)을, 이산 기본층에서 현재 블록의 병치 블록을 위해 사용되는 참조 블록과 이전에 부호화된 프레임의 동일한 향상층에서의 현재 블록을 위한 참조 블록 둘 다에 기초하여 결정하는 단계;
현재 블록의 예측 잔여들의 합을 하위 층들의 모두로부터 계산하는 단계; 및
상기 예측 잔여들의 합을 상기 예측에 가산하는 것에 의해 상기 향상층을 부호화하기 위한 참조 블록을 형성하는 단계를 포함한다.
본 발명에 따르면, 이산 기본층의 현재 블록의 병치 블록은 하나 이상의 계수를 가지고, 만일 이산 기본층의 병치 블록의 상기 하나 이상의 계수 모두가 영이라면, 현재 블록의 예측은 이산 기본층의 참조 블록과 향상층의 참조 블록의 가중 평균으로서 계산된다.
본 발명에 따르면, 만일 이산 기본층의 병치 블록의 영이 아닌 계수들의 수가 기설정된 문턱을 초과하면, 현재 블록의 상기 하나 이상의 계수 모두는 단일 누설 계수를 사용하고, 상기 누설 계수는 이산 기본층의 영이 아닌 계수들의 수에 기초하여 결정되고, 현재 블록의 예측은 이산 기본층의 참조 블록과 향상층의 참조 블록의 가중 평균이며; 그리고
만일 이산 기본층에서 병치 블록의 영이 아닌 계수들의 수가 영보다 크고 기설정된 문턱 이하이면, 예측은 이산 기본층의 참조 블록의 변환 계수들과 향상층의 참조 블록의 변환 계수들의 가중 평균으로서 변환 계수 영역에서 형성된다.
기설정된 문턱 값은 0으로 설정될 수 있다.
본 발명은 또한 이산 기본층 프레임들 및 이산 기본층 프레임들 상단의 복수 개의 비 이산 향상층 프레임들에 기초하여 디지털 비디오 시퀀스의 프레임을 부호화하거나 부호화된 디지털 비디오 시퀀스를 복호화하여 이산 기본층 프레임들과 복수 개의 향상층 프레임을 생성하는 방법으로서, 각각의 상기 프레임들은 복수 개의 블록들로 분할되는 화소들의 어레이를 포함하는 방법을 제공한다. 그 부호화 방법은 이산 향상층 프레임을 위한 예측을 그것의 이산 기본층 또는 하위 향상층 프레임들 중의 어느 하나로부터 형성하는 단계; 및 상기 예측이 그것의 이산 기본층 프 레임 또는 하위 향상층 프레임들 중의 하나로부터 형성되는지를 비트스트림에 표시하는 단계를 포함한다. 그 복호화 방법은 현재 프레임의 현재 블록의 향상층을 부호화하기 위한 예측이 이산 기본층 프레임으로부터인지 아니면 하위 향상층 프레임들 중의 하나로부터인지의 표시를 비트스트림으로 수신하는 단계; 및 현재 이산 향상층 프레임을 복호화하기 위한 예측을 그것의 이산 기본층 프레임으로부터 또는 하위 향상층 프레임들 중의 하나로부터 복호화하기 위한 예측을 수신된 정보에 기초하여 형성하는 단계를 포함한다.
본 발명은 디지털 비디오 시퀀스의 프레임을 부호화하여 이산 기본층 프레임들과 복수 개의 향상층 프레임들을 생성하는 부호화기로서, 각각의 상기 프레임들은 복수 개의 블록들로 분할되는 화소들의 어레이를 포함하는 부호화기를 제공한다. 이 부호화기는,
현재 프레임의 현재 블록의 향상층을 부호화하기 위한 예측(prediction)을, 이산 기본층에서 현재 블록의 병치 블록을 위해 사용되는 참조 블록과 이전에 부호화된 프레임의 동일한 향상층에서 현재 블록을 위한 참조 블록 둘 다에 기초하여 결정하는 모듈;
현재 블록의 예측 잔여들의 합을 하위 층들의 모두로부터 계산하는 모듈; 및
상기 예측 잔여들의 합을 상기 예측에 가산하는 것에 의해 상기 향상층을 부호화하기 위한 참조 블록을 형성하는 모듈을 포함한다.
본 발명은 부호화된 디지털 비디오 시퀀스를 복호화하여 이산 기본층 프레임들 및 복수 개의 향상층 프레임들을 생성하는 복호화기로서, 각각의 상기 프레임들 은 복수 개의 블록들로 분할되는 화소들의 어레이를 포함하는 복호화기를 제공한다. 이 복호화기는 현재 프레임의 현재 블록의 향상층을 부호화하기 위한 예측을, 이산 기본층에서 현재 블록의 병치 블록을 위해 사용된 참조 블록과 이전에 부호화된 프레임의 동일한 향상층에서의 현재 블록을 위한 참조 블록 둘 다에 기초하여 결정하는 모듈;
현재 블록의 예측 잔여들의 합을 하위 층들의 모두로부터 계산하는 모듈; 및
상기 예측 잔여들의 합을 상기 예측에 가산하는 것에 의해 상기 향상층을 부호화하기 위한 참조 블록을 형성하는 모듈을 포함한다.
전술한 바와 같은 부호화기와 복호화기는 이동 전화기와 같은 전자 장치에서 실행될 수 있다.
게다가, 전술한 부호화 및 복호화를 위한 방법은 소프트웨어 애플리케이션 제품에 구현될 수 있다. 전형적으로, 소프트웨어 애플리케이션 제품은 디지털 비디오 시퀀스를 부호화하거나 부호화된 디지털 비디오 시퀀스를 복호화할 때에 사용하기 위한 소프트웨어 애플리케이션을 가지는 컴퓨터 판독가능 저장 매체를 가지는데, 소프트웨어 애플리케이션은 전술한 바와 같은 부호화 및 복호화 방법을 수행하도록 하는 프로그래밍 코드들을 가진다.
따라서, 비록 본 발명이 하나 이상의 실시예들에 관해서 기술되었지만, 이 기술분야의 숙련된 자들에게는 그것의 형태 및 세부에서 전술한 및 각종 다른 변경들, 생략 및 개조가 본 발명의 범위로부터 벗어남 없이 만들어질 수 있다는 것이 이해될 것이다.

Claims (32)

  1. 디지털 비디오 시퀀스의 프레임을 부호화하여 이산 기본층 프레임들과 복수 개의 향상층 프레임들을 생성하는 방법으로서, 각각의 상기 프레임들은 복수 개의 블록들로 분할되는 화소들의 어레이를 포함하는 방법에 있어서,
    이산 기본층에서 현재 블록의 병치 블록을 위해 사용되는 참조 블록과 이전에 부호화된 프레임의 동일한 향상층에서의 현재 블록을 위한 참조 블록 둘 다에 기초하여 현재 프레임의 현재 블록의 향상층을 부호화하기 위한 예측(prediction)을 결정하는 단계를 특징으로 하는 방법.
  2. 제1항에 있어서,
    현재 블록의 예측 잔여들의 합을 하위 층들의 모두로부터 계산하는 단계; 및
    상기 예측 잔여들의 합을 상기 예측에 가산하는 것에 의해 상기 향상층을 부호화하기 위한 참조 블록을 형성하는 단계를 추가의 특징으로 하는 방법.
  3. 제1항에 있어서, 이산 기본층의 현재 블록의 병치 블록은 하나 이상의 계수를 가지고,
    만일 이산 기본층에서 병치 블록의 상기 하나 이상의 계수의 모두가 영이면, 현재 블록의 예측은 이산 기본층의 참조 블록과 향상층의 참조 블록의 가중 평균으로서 계산되는 것을 특징으로 하는 방법.
  4. 제1항에 있어서, 이산 기본층의 현재 블록의 병치 블록은 하나 이상의 영이 아닌 계수를 가지고,
    만일 이산 기본층에서 병치 블록의 영이 아닌 계수들의 수가 기설정된 문턱을 초과하면, 현재 블록에서 상기 하나 이상의 계수의 모두는 단일 누설 계수를 사용하고, 상기 누설 계수는 이산 기본층에서의 영이 아닌 계수들의 수에 기초하여 결정되고, 현재 블록의 예측은 이산 기본층의 참조 블록과 향상층의 참조 블록의 가중 평균인 것을 특징으로 하는 방법.
  5. 제1항에 있어서, 이산 기본층의 현재 블록의 병치 블록은 하나 이상의 영이 아닌 계수를 가지고,
    만일 이산 기본층에서 병치 블록의 영이 아닌 계수들의 수가 영보다 크고 상기 영이 아닌 계수들의 수가 기설정된 문턱 이하이면, 예측은 변환 계수 영역에서 이산 기본층의 참조 블록의 변환 계수들 및 향상층의 참조 블록의 변환 계수들의 가중 평균으로서 형성되는 것을 특징으로 하는 방법.
  6. 제4항에 있어서, 상기 기설정된 문턱의 값은 0인 것을 특징으로 하는 방법.
  7. 이산 기본층 프레임들과 이산 기본층 프레임들 상단의 복수 개의 비 이산(non-discrete) 향상층 프레임들에 기초하여 디지털 비디오 시퀀스의 프레임을 부호화하여 이산 향상 프레임들을 생성하는 방법으로서, 각각의 상기 프레임들은 복수 개의 블록들로 분할되는 화소들의 어레이를 포함하는 방법에 있어서,
    이산 향상층 프레임을 위한 예측을 그것의 이산 기본층 또는 하위 향상층 프레임들 중의 어느 하나로부터 형성하는 단계; 및
    상기 예측이 그것의 이산 기본층 프레임으로부터 형성되는지 아니면 하위 향상층 프레임들 중의 어느 하나로부터 형성되는지를 비트스트림에 표시하는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 부호화된 디지털 비디오 시퀀스를 복호화하여 이산 기본층 프레임들 및 복수 개의 향상층 프레임들을 생성하는 방법으로서, 각각의 상기 프레임들은 복수 개의 블록들로 분할되는 화소들의 어레이를 포함하는 방법에 있어서,
    이산 기본층에서 현재 블록의 병치 블록을 위해 사용되는 참조 블록과 이전에 부호화된 프레임의 동일한 향상층에서의 현재 블록을 위한 참조 블록 둘 다에 기초하여 현재 프레임의 현재 블록의 향상층을 부호화하기 위한 예측(prediction)을 결정하는 단계를 특징으로 하는 방법.
  9. 제8항에 있어서,
    현재 블록의 예측 잔여들의 합을 하위 층들의 모두로부터 계산하는 단계; 및
    상기 예측 잔여들의 합을 상기 예측에 가산하는 것에 의해 상기 향상층을 부호화하기 위한 참조 블록을 형성하는 단계를 추가의 특징으로 하는 방법.
  10. 제8항에 있어서, 이산 기본층의 현재 블록의 병치 블록은 하나 이상의 계수를 가지고,
    만일 이산 기본층에서 병치 블록의 상기 하나 이상의 계수의 모두가 영이면, 현재 블록의 예측은 이산 기본층의 참조 블록과 향상층의 참조 블록의 가중 평균으로서 계산되는 것을 특징으로 하는 방법.
  11. 제8항에 있어서, 이산 기본층의 현재 블록의 병치 블록은 하나 이상의 영이 아닌 계수를 가지고,
    만일 이산 기본층에서 병치 블록의 영이 아닌 계수들의 수가 기설정된 문턱을 초과하면, 현재 블록에서 상기 하나 이상의 계수의 모두는 단일 누설 계수를 사용하고, 상기 누설 계수는 이산 기본층에서의 영이 아닌 계수들의 수에 기초하여 결정되고, 현재 블록의 예측은 이산 기본층의 참조 블록과 향상층의 참조 블록의 가중 평균인 것을 특징으로 하는 방법.
  12. 제8항에 있어서, 이산 기본층의 현재 블록의 병치 블록은 하나 이상의 영이 아닌 계수를 가지고,
    만일 이산 기본층에서 병치 블록의 영이 아닌 계수들의 수가 영보다 크고 상기 영이 아닌 계수들의 수가 기설정된 문턱 이하이면, 예측은 변환 계수 영역에서 이산 기본층의 참조 블록의 변환 계수들 및 향상층의 참조 블록의 변환 계수들의 가중 평균으로서 형성되는 것을 특징으로 하는 방법.
  13. 제11항에 있어서, 상기 기설정된 문턱 값은 0인 것을 특징으로 하는 방법.
  14. 이산 기본층 프레임들 및 이산 기본층 프레임들 상단의 복수 개의 비 이산(non-discrete) 향상층 프레임들에 기초하여, 부호화된 디지털 비디오 시퀀스를 복호화하여 이산 향상 프레임들을 생성하는 방법으로서, 각각의 상기 프레임들은 복수 개의 블록들로 분할되는 화소들의 어레이를 포함하는 방법에 있어서,
    현재 프레임의 현재 블록의 향상층을 부호화하기 위한 예측이 이산 기본층 프레임으로부터인지 아니면 하위 향상층 프레임들 중의 하나로부터인지의 표시를 비트스트림으로 수신하는 단계; 및
    현재 이산 향상층 프레임을 그것의 이산 기본층 프레임으로부터 또는 하위 향상층 프레임들 중의 하나로부터 복호화하기 위한 예측을, 수신된 정보에 기초하여 형성하는 단계를 포함하는 것을 특징으로 하는 방법.
  15. 디지털 비디오 시퀀스의 프레임을 부호화하여 이산 기본층 프레임들과 복수 개의 향상층 프레임들을 생성하는 부호화기로서, 각각의 상기 프레임들은 복수 개의 블록들로 분할되는 화소들의 어레이를 포함하는 부호화기에 있어서,
    이산 기본층에서 현재 블록의 병치 블록을 위해 사용되는 참조 블록과 이전에 부호화된 프레임의 동일한 향상층에서의 현재 블록을 위한 참조 블록 둘 다에 기초하여 현재 프레임의 현재 블록의 향상층을 부호화하기 위한 예측을 결정하는 모듈을 특징으로 하는 부호화기.
  16. 제15항에 있어서,
    현재 블록의 예측 잔여들의 합을 하위 층들의 모두로부터 계산하는 모듈; 및
    상기 예측 잔여들의 합을 상기 예측에 가산하는 것에 의해 상기 향상층을 부호화하기 위한 참조 블록을 형성하는 모듈을 추가의 특징으로 하는 부호화기.
  17. 제15항에 있어서, 이산 기본층의 현재 블록의 병치 블록은 하나 이상의 계수를 가지고,
    만일 이산 기본층에서 병치 블록의 상기 하나 이상의 계수의 모두가 영이면, 상기 계산 모듈은 현재 블록의 예측을 이산 기본층의 참조 블록과 향상층의 참조 블록의 가중 평균으로서 계산하기에 적합하게 되는 것을 특징으로 하는 부호화기.
  18. 제15항에 있어서, 이산 기본층의 현재 블록의 병치 블록은 하나 이상의 영이 아닌 계수를 가지고,
    만일 이산 기본층에서 병치 블록의 영이 아닌 계수들의 수가 기설정된 문턱을 초과하면, 현재 블록에서 상기 하나 이상의 계수의 모두는 단일 누설 계수를 사용하고, 상기 누설 계수는 이산 기본층에서의 영이 아닌 계수들의 수에 기초하여 결정되고, 현재 블록의 예측은 이산 기본층의 참조 블록과 향상층의 참조 블록의 가중 평균인 것을 특징으로 하는 부호화기.
  19. 제15항에 있어서, 이산 기본층의 현재 블록의 병치 블록은 하나 이상의 영이 아닌 계수를 가지고,
    만일 이산 기본층에서 병치 블록의 영이 아닌 계수들의 수가 영보다 크고 기설정된 문턱 이하이면, 예측은 변환 계수 영역에서 이산 기본층의 참조 블록의 변환 계수들 및 향상층의 참조 블록의 변환 계수들의 가중 평균으로서 형성되는 것을 특징으로 하는 부호화기.
  20. 제18항에 있어서, 상기 기설정된 문턱 값은 0인 것을 특징으로 하는 부호화기.
  21. 이산 기본층 프레임들과 이산 기본층 프레임들 상단의 복수 개의 비 이산 향상층 프레임들에 기초하여 디지털 비디오 시퀀스의 프레임을 부호화하여 이산 향상 프레임들을 생성하는 부호화기로서, 각각의 상기 프레임들은 복수 개의 블록들로 분할되는 화소들의 어레이를 포함하는 부호화기에 있어서,
    이산 향상층 프레임을 위한 예측을 그것의 이산 기본층 또는 하위 향상층 프레임들 중의 어느 하나로부터 형성하는 모듈; 및
    상기 예측이 그것의 이산 기본층 프레임으로부터 형성되는지 아니면 하위 향상층 프레임들 중의 하나로부터 형성되는지를 비트스트림에 표시하는 모듈을 포함 하는 것을 특징으로 하는 부호화기.
  22. 부호화된 디지털 비디오 시퀀스를 복호화하여 이산 기본층 프레임들 및 복수 개의 향상층 프레임들을 생성하는 복호화기로서, 각각의 상기 프레임들은 복수 개의 블록들로 분할되는 화소들의 어레이를 포함하는 복호화기에 있어서,
    이산 기본층에서 현재 블록의 병치 블록을 위해 사용되는 참조 블록과 이전에 부호화된 프레임의 동일한 향상층에서의 현재 블록을 위한 참조 블록 둘 다에 기초하여 현재 프레임의 현재 블록의 향상층을 부호화하기 위한 예측을 결정하는 모듈을 특징으로 하는 복호화기.
  23. 제22항에 있어서,
    현재 블록의 예측 잔여들의 합을 하위 층들의 모두로부터 계산하는 모듈; 및
    상기 예측 잔여들의 합을 상기 예측에 가산하는 것에 의해 상기 향상층을 부호화하기 위한 참조 블록을 형성하는 모듈을 추가의 특징으로 하는 복호화기.
  24. 제22항에 있어서, 이산 기본층의 현재 블록의 병치 블록은 하나 이상의 계수를 가지고,
    만일 이산 기본층에서 병치 블록의 상기 하나 이상의 계수의 모두가 영이면, 현재 블록의 예측은 이산 기본층의 참조 블록과 향상층의 참조 블록의 가중 평균으로서 계산되는 것을 특징으로 하는 복호화기.
  25. 제22항에 있어서, 이산 기본층의 현재 블록의 병치 블록은 하나 이상의 영이 아닌 계수를 가지고,
    만일 이산 기본층에서 병치 블록의 영이 아닌 계수들의 수가 기설정된 문턱을 초과하면, 현재 블록에서 상기 하나 이상의 계수의 모두는 단일 누설 계수를 사용하고, 상기 누설 계수는 이산 기본층에서의 영이 아닌 계수들의 수에 기초하여 결정되고, 현재 블록의 예측은 이산 기본층의 참조 블록과 향상층의 참조 블록의 가중 평균인 것을 특징으로 하는 복호화기.
  26. 제8항에 있어서, 이산 기본층의 현재 블록의 병치 블록은 하나 이상의 영이 아닌 계수를 가지고,
    만일 이산 기본층에서 병치 블록의 영이 아닌 계수들의 수가 영보다 크고 상기 영이 아닌 계수들의 수가 기설정된 문턱 이하이면, 예측은 변환 계수 영역에서 이산 기본층의 참조 블록의 변환 계수들 및 향상층의 참조 블록의 변환 계수들의 가중 평균으로서 형성되는 것을 특징으로 하는 복호화기.
  27. 제25항에 있어서, 상기 기설정된 문턱 값은 0인 것을 특징으로 하는 복호화기.
  28. 이산 기본층 프레임들 및 이산 기본층 프레임들 상단의 복수 개의 비 이산 향상층 프레임들에 기초하여, 부호화된 디지털 비디오 시퀀스를 복호화하여 이산 향상 프레임들을 생성하는 복호화기로서, 각각의 상기 프레임들은 복수 개의 블록들로 분할되는 화소들의 어레이를 포함하며, 복호화기는 현재 프레임의 현재 블록의 향상층을 부호화하기 위한 예측이 이산 기본층 프레임으로부터인지 아니면 하위 향상층 프레임들 중의 하나로부터인지의 표시를 비트스트림으로 수신하도록 구성된 복호화기에 있어서,
    현재 이산 향상층 프레임을 그것의 이산 기본층 프레임으로부터 또는 하위 향상층 프레임들 중의 하나로부터 복호화하기 위한 예측을, 수신된 정보에 기초하여 형성하는 단계를 포함하는 방법.
  29. 디지털 비디오 시퀀스의 프레임을 부호화하고 복호화하여 이산 기본층 프레임과 복수 개의 향상층 프레임을 생성하는 부호화기 및 복호화기로서 각각의 상기 프레임들은 복수 개의 블록들로 분할되는 화소들의 어레이를 포함하는 부호화기 및 복호화기를 특징으로 하는 장치로서, 부호화기는,
    이산 기본층에서 현재 블록의 병치 블록을 위해 사용되는 참조 블록과 이전에 부호화된 프레임의 동일한 향상층에서의 현재 블록을 위한 참조 블록 둘 다에 기초하여 현재 프레임의 현재 블록의 향상층을 부호화하기 위한 예측을 결정하는 모듈을 포함하고,
    복호화기는,
    이산 기본층에서 현재 블록의 병치 블록을 위해 사용되는 참조 블록과 이전 에 부호화된 프레임의 동일한 향상층에서의 현재 블록을 위한 참조 블록 둘 다에 기초하여 현재 프레임의 현재 블록의 향상층을 부호화하기 위한 예측을 결정하는 모듈을 포함하는 장치.
  30. 제29항에 있어서, 이동 단말을 포함하는 장치.
  31. 이산 기본층 프레임들 및 복수 개의 향상층 프레임들을 생성하기 위해 디지털 비디오 시퀀스의 프레임을 부호화할 때에 사용하기 위한 소프트웨어 애플리케이션을 가지는 컴퓨터 판독가능 저장 매체를 포함하는 소프트웨어 애플리케이션 제품에 있어서,
    이산 기본층에서 현재 블록의 병치 블록을 위해 사용되는 참조 블록과 이전에 부호화된 프레임의 동일한 향상층에서의 현재 블록을 위한 참조 블록 둘 다에 기초하여 현재 프레임의 현재 블록의 향상층을 부호화하기 위한 예측을 결정하기 위한 프로그래밍 코드;
    현재 블록의 예측 잔여들의 합을 하위 층들의 모두로부터 계산하기 위한 프로그래밍 코드; 및
    상기 예측 잔여들의 합을 상기 예측에 가산하는 것에 의해 상기 향상층을 부호화하기 위한 참조 블록을 형성하기 위한 프로그래밍 코드를 특징으로 하는 소프트웨어 애플리케이션 제품.
  32. 이산 기본층 프레임들 및 복수 개의 향상층 프레임들을 생성하기 위해 부호화된 디지털 비디오 시퀀스를 복호화할 때에 사용하기 위한 소프트웨어 애플리케이션을 가지는 컴퓨터 판독가능 저장 매체를 포함하는 소프트웨어 애플리케이션 제품에 있어서,
    이산 기본층에서 현재 블록의 병치 블록을 위해 사용되는 참조 블록과 이전에 부호화된 프레임의 동일한 향상층에서의 현재 블록을 위한 참조 블록 둘 다에 기초하여 현재 프레임의 현재 블록의 향상층을 부호화하기 위한 예측을 결정하기 위한 프로그래밍 코드;
    현재 블록의 예측 잔여들의 합을 하위 층들의 모두로부터 계산하기 위한 프로그래밍 코드; 및
    상기 예측 잔여들의 합을 상기 예측에 가산하는 것에 의해 상기 향상층을 부호화하기 위한 참조 블록을 형성하기 위한 프로그래밍 코드를 특징으로 하는 소프트웨어 애플리케이션 제품.
KR1020087019138A 2006-01-09 2007-01-09 움직임 보상이 있는 낮은 복잡도 미세 입도 규모가변성비디오 부호화를 위한 시스템 및 장치 KR20080085199A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US75774606P 2006-01-09 2006-01-09
US60/757,746 2006-01-09

Publications (1)

Publication Number Publication Date
KR20080085199A true KR20080085199A (ko) 2008-09-23

Family

ID=38256030

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087019138A KR20080085199A (ko) 2006-01-09 2007-01-09 움직임 보상이 있는 낮은 복잡도 미세 입도 규모가변성비디오 부호화를 위한 시스템 및 장치

Country Status (7)

Country Link
US (1) US20070201551A1 (ko)
EP (1) EP1989883A1 (ko)
JP (1) JP2009522974A (ko)
KR (1) KR20080085199A (ko)
CN (1) CN101416513A (ko)
TW (1) TW200737993A (ko)
WO (1) WO2007080491A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
CN101043619A (zh) * 2006-03-24 2007-09-26 华为技术有限公司 视频编码的误差控制系统和方法
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
GB2440004A (en) * 2006-07-10 2008-01-16 Mitsubishi Electric Inf Tech Fine granularity scalability encoding using a prediction signal formed using a weighted combination of the base layer and difference data
KR100809301B1 (ko) * 2006-07-20 2008-03-04 삼성전자주식회사 엔트로피 부호화/복호화 방법 및 장치
KR101244917B1 (ko) * 2007-06-11 2013-03-18 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US9571856B2 (en) 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
US8213503B2 (en) 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
EP2334082A1 (en) * 2008-09-17 2011-06-15 Sharp Kabushiki Kaisha Scalable video stream decoding apparatus and scalable video stream generating apparatus
KR20110068792A (ko) * 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
US9001883B2 (en) * 2011-02-16 2015-04-07 Mediatek Inc Method and apparatus for slice common information sharing
EP2723079A4 (en) * 2011-06-15 2015-03-04 Korea Electronics Telecomm MODULABLE VIDEO ENCODING AND DECODING METHOD AND DEVICE APPLYING THE SAME
US9648318B2 (en) 2012-09-30 2017-05-09 Qualcomm Incorporated Performing residual prediction in video coding
US10097825B2 (en) 2012-11-21 2018-10-09 Qualcomm Incorporated Restricting inter-layer prediction based on a maximum number of motion-compensated layers in high efficiency video coding (HEVC) extensions
CN105519115A (zh) * 2013-09-10 2016-04-20 株式会社Kt 用于对可扩展视频信号进行编码/解码的方法及装置
WO2015060616A1 (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015060614A1 (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150050408A (ko) * 2013-10-29 2015-05-08 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US12058310B2 (en) 2021-02-26 2024-08-06 Lemon Inc. Methods of coding images/videos with alpha channels
US20220279185A1 (en) * 2021-02-26 2022-09-01 Lemon Inc. Methods of coding images/videos with alpha channels

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU1928999A (en) * 1997-12-19 1999-07-12 Kenneth Rose Scalable predictive coding method and apparatus
CN1254115C (zh) * 2000-09-22 2006-04-26 皇家菲利浦电子有限公司 双回路移动补偿精细颗粒的可标度性
US7042944B2 (en) * 2000-09-22 2006-05-09 Koninklijke Philips Electronics N.V. Single-loop motion-compensation fine granular scalability
US20020037046A1 (en) * 2000-09-22 2002-03-28 Philips Electronics North America Corporation Totally embedded FGS video coding with motion compensation
US6907070B2 (en) * 2000-12-15 2005-06-14 Microsoft Corporation Drifting reduction and macroblock-based control in progressive fine granularity scalable video coding
US7072394B2 (en) * 2002-08-27 2006-07-04 National Chiao Tung University Architecture and method for fine granularity scalable video coding
JP2004159157A (ja) * 2002-11-07 2004-06-03 Kddi R & D Laboratories Inc 階層符号化された動画像の復号装置
US7283589B2 (en) * 2003-03-10 2007-10-16 Microsoft Corporation Packetization of FGS/PFGS video bitstreams
KR100703774B1 (ko) * 2005-04-13 2007-04-06 삼성전자주식회사 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
US8619860B2 (en) * 2005-05-03 2013-12-31 Qualcomm Incorporated System and method for scalable encoding and decoding of multimedia data using multiple layers

Also Published As

Publication number Publication date
TW200737993A (en) 2007-10-01
CN101416513A (zh) 2009-04-22
WO2007080491A1 (en) 2007-07-19
EP1989883A1 (en) 2008-11-12
JP2009522974A (ja) 2009-06-11
US20070201551A1 (en) 2007-08-30

Similar Documents

Publication Publication Date Title
KR20080085199A (ko) 움직임 보상이 있는 낮은 복잡도 미세 입도 규모가변성비디오 부호화를 위한 시스템 및 장치
US20070014348A1 (en) Method and system for motion compensated fine granularity scalable video coding with drift control
US20080240242A1 (en) Method and system for motion vector predictions
JP4903195B2 (ja) ビデオデータを効果的に符号化及び復号する方法，デバイス及びシステム
US20070160137A1 (en) Error resilient mode decision in scalable video coding
US20070053441A1 (en) Method and apparatus for update step in video coding using motion compensated temporal filtering
US20070009050A1 (en) Method and apparatus for update step in video coding based on motion compensated temporal filtering
US20060256863A1 (en) Method, device and system for enhanced and effective fine granularity scalability (FGS) coding and decoding of video data
WO2007020516A1 (en) Method and apparatus for sub-pixel interpolation for updating operation in video coding
KR100931871B1 (ko) 비디오 데이터의 효과적인 ｆｇｓ 부호화 및 복호화를 위한방법, 장치, 시스템
JP2009522973A (ja) 細粒度スケーラブル映像符号化におけるエントロピ符号化の方法及び装置
CN101185340A (zh) 具有漂移控制的运动补偿精细粒度可伸缩视频编码方法和系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application