KR20080006607A - 편차 제어를 통한 움직임 보상된 미세 입도 규모 가변성비디오 부호화를 위한 방법 및 시스템 - Google Patents

편차 제어를 통한 움직임 보상된 미세 입도 규모 가변성비디오 부호화를 위한 방법 및 시스템 Download PDF

Info

Publication number
KR20080006607A
KR20080006607A KR1020077026289A KR20077026289A KR20080006607A KR 20080006607 A KR20080006607 A KR 20080006607A KR 1020077026289 A KR1020077026289 A KR 1020077026289A KR 20077026289 A KR20077026289 A KR 20077026289A KR 20080006607 A KR20080006607 A KR 20080006607A
Authority
KR
South Korea
Prior art keywords
reference block
base layer
transform coefficients
block
layer
Prior art date
Application number
KR1020077026289A
Other languages
English (en)
Inventor
이리앙 바오
마르타 카르크제윅즈
저스틴 릿지
시앙린 왕
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20080006607A publication Critical patent/KR20080006607A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

적응적으로 형성된 참조블이 규모가변 층에서 현재 프레임의 블록을 부호화하기 위해 이용된다. 특히, 참조블록은 기본층 복원된 프레임의 참조블록 및 향상층 참조프레임의 참조블록과 함께 기본층 복원된 예측 잔여 블록으로부터 형성된다. 게다가, 부호화를 위한 참조블록은 기본층 복원된 잔여 층의 변환계수들에 따라 조정된다. 더욱이, 부호화에 사용된 실제 참조 신호는 기본층 복원 예측 잔여와 함께 기본층의 복원된 프레임으로부터의 참조 신호 및 향상층 참조프레임으로부터의 참조 신호의 가중 평균이다.

Description

편차 제어를 통한 움직임 보상된 미세 입도 규모 가변성 비디오 부호화를 위한 방법 및 시스템{Method and system for motion compensated fine granularity scalable video coding with drift control}
본 발명은 비디오 부호화 분야에 관한 것으로, 더 상세하게는 규모 가변성 비디오 부호화에 관한 것이다.
비디오 부호화에서, 비디오 프레임들 중에 존재하는 시간적 중복성은 비디오 프레임을 다른 비디오 프레임들에 기초하여 예측하는 것에 의해 최소화될 수 있다. 이 다른 프레임들은 참조프레임들이라고 불린다. 시간적 예측은 다음의 다른 방식들로 수행될 수 있다:
- 복호기는 부호기에 의해 사용되는 것들과 동일한 참조프레임들을 사용한다. 이것은 종래의 비 규모 가변성 비디오 부호화에서 가장 흔한 방법이다. 정상 동작에서, 부호기에 의해 사용된 참조프레임들 및 복호기에 의해 사용된 참조프레임들 사이에는 어떠한 불일치도 있어서는 안 된다.
- 부호기는 복호기에 이용할 수 없는 참조프레임들을 이용한다. 일 예는 부호기가 복원된 프레임들 대신에 원본 프레임들을 참조프레임들로서 사용하는 것이다.
- 복호기는 부호기에서 사용되는 프레임들과 비교하여 부분적으로만 복원된 참조프레임들을 사용한다. 프레임은, 만일 동일한 프레임의 비트스트림이 완전히 복호화되지 않거나 또는 자신 소유의 참조프레임들이 부분적으로 복원되면, 부분적으로 복원된다.
시간적 예측이 제2 및 제3의 방법들에 따라 수행될 때, 부호기에 의해 사용되는 참조프레임들 및 복호기에 의해 사용되는 참조프레임들 사이에는 불일치가 존재하기가 쉽다. 만일 불일치가 복호기 측에 누적되면, 복원된 비디오의 품질은 영향을 받는다.
부호기 및 복호기 사이의 시간적 예측에서의 불일치는 편차(drift)라고 불린다. 많은 비디오 부호화 시스템들은 편차가 없도록 디자인되는데 누적 오차가 복원된 비디오에서 인조잡상(artifacts)을 생기게 할 수 있었기 때문이다. 때때로, 어떤 비디오 부호화 특징들을, 이를테면 SNR 규모 가변성을 더 효율적으로 달성하기 위해서는, 편차가 언제나 완전히 피해지지는 않는다.
신호 대 잡음 비(SNR) 규모 가변성 비디오 스트림은 낮은 품질 수준의 비디오가 부분적인 비트스트림으로부터 복원될 수 있게 하는 속성을 가진다. 미세 입도 규모 가변성(fine granularity scalability; FGS)은 규모 가변성 스트림이 임의로 절단될 수 있는 규모 가변성의 일종이다.
도 1은 FGS 속성의 스트림이 MPEG-4에서 생성되는 방법을 도시한다. 먼저 기본층(base layer)이 비 규모 가변성 비트스트림으로 부호화된다. 그 다음 FGS 층은 그것의 상단 위에서 부호화된다. MPEG-4 FGS는 FGS 층 내의 어떠한 시간적 상관관 계도 이용하지 않는다. 도 2에 보인 것처럼, 어떤 시간적 예측도 FGS 층 부호화에서 사용되지 않을 때, FGS 층은 기본층 복원된 프레임으로부터 예측된다. 이 접근법은, 하나의 프레임의 FGS 스트림의 절단이 다른 프레임들의 복호화에 영향을 미치지 않을 것이므로 최대 비트스트림 유연성을 가지지만, 부호화 성능은 경쟁력이 없다.
부호화 효율을 개선하기 위해 다른 예측 루프를 FGS 층 부호화에 도입하는 것이 바람직하다. 그러나, 어떤 프레임의 FGS 층이 부분적으로 복호화될 수 있으므로, 복호기 및 부호기에서 사용된 참조프레임들 사이에서 차이에 의해 발생하는 오류는 누적될 것이고 편차가 초래된다. 이것은 도 3에서 도시되어 있다.
새는 예측(leaky prediction)은 SNR 향상층 부호화에서 부호화 성능 및 편차 제어 사이의 균형을 탐색하기 위해 사용되었던 기법이다(예를 들면, Huang et al. "A robust fine granularity scalability using trellis-based predictive leak", IEEE Transaction on Circuits and Systems for Video Technology", pp.372-385, vol.12, Issue 6, June 2002 참조). FGS 층의 n번째 프레임을 부호화하기 위해, 실제 참조프레임이 기본층 복원된 프레임(
Figure 112007081000077-PCT00001
) 및 향상층 참조프레임(
Figure 112007081000077-PCT00002
)의 선형 결합으로 형성된다. 만일 향상층 참조프레임이 복호기에서 부분적으로 복원되면, 부호기에 의해 사용된 참조프레임(
Figure 112007081000077-PCT00003
) 및 복호기에 의해 사용된 참조프레임(
Figure 112007081000077-PCT00004
) 사이의 불일치에 의해 야기된 오차(
Figure 112007081000077-PCT00005
)가 새로운 참조신호가 형성될 때마다 감쇄될 것이므로, 상기 오차의 전파를 새는 예측 방법이 제한할 것이다.
Figure 112007081000077-PCT00006
여기서,
Figure 112007081000077-PCT00007
,
Figure 112007081000077-PCT00008
는 각각 복호기 및 부호기에서 FGS 층 부호화에 사용된 실제 참조프레임들이고, α는 오차 신호를 획득하기 위하여 0<α≤1에 의해 주어진 값이다.
세 번째 기법은 향상층에서 부호화하려는 블록의 DCT 계수들을 기본층의 상응하는 양자화된 계수들의 값에 따라 분류하는 기법이다(Comer "Conditional replacement for improved coding efficiency in fine-grain scalable video coding", International Conference on Image Processing, vol.2, pp. 57-60, 2002). 기본 또는 향상층이 예측을 위해 이용되는지에 관한 결정은 각각의 계수마다 이루어진다. 만일 기본층의 양자화된 계수가 영(제로)이라면, 향상층의 상응하는 DCT 계수는 향상층 참조프레임으로부터 계산된 DCT 계수를 사용하여 예측될 것이다. 만일 기본층의 이 양자화된 계수가 영이 아니라면, 향상층의 상응하는 DCT 계수는 참조블록으로부터 계산된 DCT 계수를 사용하여 기본층 복원된 프레임으로부터 예측될 것이다.
FGS 부호기는 개발되었고 AVC의 규모 가변성 확장에 관한 표준화 활동을 위한 MPEG/VCEG에 의해 사용되는 공식 모델인 JSVM 1.0(Joint Scalable Video Mode 1.0)에 포함되었다. 그러나, JSVM1.0 FGS 부호기는 편차를 관리하기 위해 디자인되지 않는다. GOP(group of picture)의 경계에 있는 앵커 프레임의 FGS 층은 시간적 중복성이 이용되지 않는 MPEG-4 FGS와 유사한 방식으로 부호화된다. 일부 애플리케이션들의 경우, GOP의 길이는 1 프레임만큼 짧을 수 있었다. 이 경우, JSVM1.0 FGS 부호기는 매우 비능률적인데 모든 프레임이 앵커 프레임으로서 부호화되기 때문이다.
도 4는 3-층 규모 가변성 비디오 스트림에 예측 경로들을 준다. FGS 층은 2개의 개별 층들 사이에 삽입된다. 상위의 개별 향상층은 공간적 향상층 또는 거친 SNR 규모 가변성 층일 수 있다. 이 상위 향상층은 FGS 층에 기초하여 기본층 텍스처 예측 모드나 잔여 예측 모드를 사용하여 보통 부호화된다. 기본층 텍스처 예측 모드에서, 복원된 FGS 층의 블록은 상위 개별 향상층의 블록을 부호화하기 위한 참조로서 사용된다. 잔여 예측 모드에서, 기본층 및 FGS 층으로부터 복원된 잔여는 향상층에서 예측 잔여를 부호화하기 위한 예측으로서 사용된다. 상위 향상층의 복호화는 비록 중앙의 FGS 층이 단지 부분적으로만 복원되는 경우라도 여전히 수행될 수 있다. 그러나, 상위 향상층은 FGS 층의 부분적인 복호화 때문에 편차 문제를 가진다.
본 발명은 편차가 제어되는 동안 부호화 성능을 개선하기 위해 FGS 층에서 시간적 중복성을 이용하는 미세 입도 SNR 규모 가변성 비디오 코덱을 제공한다. 더 상세하게는 본 발명은 FGS 층에서의 예측 부호화에서 이용되는 참조블록들이 형성되어야 하는 방법과 그 방법을 제어하는데 필요한 신호통지(signaling) 및 메커니즘에 집중한다.
본 발명은 FGS 부호화의 효율성을, 특히 저 지연 제약 하에서 개선한다. 본 발명은 편차를 제어함에 있어 효과적이고, 그래서 양호한 성능의 미세 입도 규모 가변성(FGS) 부호기가 결과적으로 디자인될 수 있다.
본 발명에 따르면, 현재 프레임의 블록을 향상층에서 부호화할 때, 적응적으로 형성된 참조블록이 사용된다. 특히, 이 참조블록은 기본층 복원된 프레임의 참조블록 및 향상층 참조프레임의 참조블록과 함께 기본층 복원된 예측 잔여 블록으로부터 형성된다. 게다가, 부호화를 위한 참조블록은 기본층에서 부호화된 계수들에 따라 조정된다. 더욱이, 부호화를 위해 사용된 실제 참조신호는 기본층의 복원된 프레임으로부터의 참조신호 및 향상층 참조프레임으로부터의 참조신호와 함께 기본층 복원 예측 잔여의 가중 평균이다.
따라서, 본 발명의 제1양태는 움직임 보상된 규모 가변성 비디오 부호화를 위한 방법을 제공하는데, 이 방법은 참조블록을 형성하는 동작과 참조블록을 조정하는 동작을 포함한다. 이 방법은 참조블록이 기본층 참조블록 및 향상층 참조블록의 가중 평균으로서 형성되도록 가중계수를 선택하는 동작을 더 포함한다.
본 발명의 제2양태는 본 발명의 방법을 수행하는 프로그램 코드들을 저장하는 저장매체를 가지는 소프트웨어 애플리케이션 생성물을 제공한다.
본 발명의 제3양태는 움직임 보상된 비디오 부호화에서의 사용을 위한 전자모듈을 제공한다. 이 전자모듈은 본 발명의 방법에 따라 참조블록을 형성하기 위한 형성 블록 및 참조블록을 조정하기 위한 조정 블록을 포함한다.
본 발명의 제4양태는 복호화 모듈과, 움직임 보상된 비디오 부호화를 위한 모듈을 가지는 부호화 모듈 중의 하나 또는 그것들 둘 다를 가지는 전자 기기, 이를테면 이동 단말을 제공한다. 전자 모듈은 참조블록을 형성하기 위한 형성 블록과 본 발명의 방법에 따라 참조블록을 조정하기 위한 조정 블록을 포함한다.
본 발명은 도 5-11에 관련하여 명세서를 읽으면 명확하게 될 것이다.
도 1은 FGS 층(MPEG-4)에서 시간적 예측이 없는 미세 입도 규모 가변성을 도시한다.
도 2는 어떤 시간적 예측도 FGS 층 부호화에서 사용되지 않을 경우, 기본층 및 FGS 층을 부호화할 때에 사용되고 있는 참조블록들을 도시한다.
도 3은 미세 입도 규모 가변성을 시간적 예측과 함께 도시한다.
도 4는 상위 향상층을 예측할 때의 FGS 정보의 사용을 보이고 있다.
도 5는 본 발명에 따른, FGS 층 시간적 예측 및 편차 제어와 함께 참조블록의 생성을 도시한다.
도 6은 본 발명에 따른, 기본층 의존형 적응적 참조블록 형성을 도시한다.
도 7은 본 발명에 따른, 차분 참조프레임에 대한 보간을 수행하는 것에 의한 참조블록 형성을 도시한다.
도 8은 본 발명에 따른, 기본층 의존형 차분 참조블록 조정을 도시한다.
도 9는 본 발명에 따른, 기본층 의존형 참조블록 형성을 가지는 FGS 부호기를 도시한다.
도 10은 본 발명에 따른, 기본층 의존형 참조블록 형성을 가지는 FGS 복호기 를 도시한다.
도 11은 본 발명에 따른, 규모 가변성 부호기 및 규모 가변성 복호기 중의 적어도 하나를 가지는 전자 기기를 도시한다.
비 규모 가변성 단일 층 비디오 코덱에서의 전형적인 예측 부호화에서와 같이, FGS 층에서 크기 MxN 화소들의 블록(Xn)을 부호화하기 위해, 참조블록(
Figure 112007081000077-PCT00009
)이 사용된다.
Figure 112007081000077-PCT00010
은 기본층 복원된 프레임으로부터의 참조블록(
Figure 112007081000077-PCT00011
) 및 향상층 참조블록으로부터의 참조블록(
Figure 112007081000077-PCT00012
)으로부터 기본층에서 부호화된 계수들(
Figure 112007081000077-PCT00013
)에 기초하여 적응적으로 형성된다. 도 5는 이 블록들 사이의 관계를 제공한다. 여기서 블록은 프레임에 있는 직사각형 영역이다. 공간영역에 있는 블록의 크기는 계수영역에 있는 상응하는 블록의 크기와 동일하다.
FGS 부호기에서, 본 발명에 따르면, 동일한 원본 프레임은 향상층 및 기본층에서 부호화되지만, 다른 품질 수준들에 있다. 기본층에 배치된 블록들은 향상층에서 처리된 것과 동일한 원본 블록에 상응하는, 기본층에서 부호화된 양자화된 계수들의 블록을 언급한다.
다음에서,
Figure 112007081000077-PCT00014
은 향상층에서의 부호화된 동일한 원본 블록에 상응하는 기본층에서 부호화된 양자화된 계수들의 블록이다. 본 발명에서, 개개의 계수들인
Figure 112007081000077-PCT00015
이 영인지 아닌지의 정보만이 중요하다.
만일
Figure 112007081000077-PCT00016
=0, 즉, 0≤μ<M이고 0≤ν<N인 모든 계수들(
Figure 112007081000077-PCT00017
)이 영이면, 참조블록(
Figure 112007081000077-PCT00018
)은
Figure 112007081000077-PCT00019
및
Figure 112007081000077-PCT00020
의 가중 평균으로서 다음과 같이 계산된다:
Figure 112007081000077-PCT00021
여기서 α는 가중계수이다.
그렇지 않으면, 변환은 변환계수들인
Figure 112007081000077-PCT00022
,
Figure 112007081000077-PCT00023
을 각각 얻기 위하여
Figure 112007081000077-PCT00024
및
Figure 112007081000077-PCT00025
에 대해 수행된다. 0≤μ<M이고 0≤ν<N인 계수블록(
Figure 112007081000077-PCT00026
)이 기본층 계수값에 기초하여 다음과 같이 형성된다:
Figure 112007081000077-PCT00027
Figure 112007081000077-PCT00028
여기서 β는 가중계수이다.
그러면 실제 참조블록은
Figure 112007081000077-PCT00029
에 대해 역변환을 다음과 같이 수행하는 것에 의해 얻어진다:
Figure 112007081000077-PCT00030
.
모든 가중계수들은 항상 범위 [0, 1]에 있다. 기본층 의존형 적응적 참조블 록 형성은 도 6에서 도시된다.
본 발명의 일 실시예에서, 가중계수(α)는 0으로 설정되고, 가중계수(β)는 1로 설정된다. 이 경우, 만일 FGS 층에서 부호화되어 있는 블록이 기본층에서 일부의 영 아닌 계수들을 가지면, 기본층 복원된 블록은 실제 참조블록으로서 선택될 것이거나, 또는 만일 부호화되어 있는 블록이 기본층에서 어떠한 영 아닌 계수라도 가지지 않는다면, 향상층 참조블록이 실제 참조블록으로서 선택될 것이다. 이것은 간단한 디자인이다. 참조블록의 데이터가 기본층 복원된 프레임 또는 향상층 참조프레임의 으로부터 와야하는지에 대한 결정은 블록 수준에서만 행해지고 부가적인 변형 또는 가중평균화 동작들은 필요하지 않다.
본 발명의 또 다른 실시예에서, 가중계수(α)의 값은 제한되지 않고, 가중계수(β)의 값은 고려되고 있는 계수의 빈도에 의존한다.
또 다른 실시예에서, 가중계수(α)는 제한되지 않고, 가중계수(β)의 값은 현재의 계수가 부호화되는 FGS 부호화 사이클에 달려 있다.
다음에서, 소문자 변수들, 이를테면
Figure 112007081000077-PCT00031
및
Figure 112007081000077-PCT00032
은 일반적 설명을 위해 이용된다. 대문자 변수들, 이를테면
Figure 112007081000077-PCT00033
및
Figure 112007081000077-PCT00034
은 공간영역에서 신호들을 나타내기 위해 이용되는 반면, 그것들의 상응하는 변환계수들은
Figure 112007081000077-PCT00035
및
Figure 112007081000077-PCT00036
로서 표시된다.
본 발명은 FGS 층 부호화에서 사용하려는 최적의 참조신호들을 생성하기 위한 다수의 알고리즘을 제공한다. 이 알고리즘들로, 시간적 예측은 FGS 층 부호화에 효율적으로 통합되어 부호화 성능을 개선하면서도 편차가 효과적으로 제어된다.
위에서 의논한 바와 같이, FGS 층에 시간적 예측을 도입하고 편차를 제어하기 위해서는, 실제 참조신호는 기본층의 복원된 프레임으로부터의 참조신호 및 향상층 참조프레임으로부터의 참조신호의 가중 평균이 된다:
Figure 112007081000077-PCT00037
기본층 복원된 신호(
Figure 112007081000077-PCT00038
) 자체는 기본층 참조신호(
Figure 112007081000077-PCT00039
) 및 기본층 복원된 예측 잔여(
Figure 112007081000077-PCT00040
)로부터 다음과 같이 계산된다:
Figure 112007081000077-PCT00041
실제 참조신호는 다음과 같이 구성될 수 있다:
Figure 112007081000077-PCT00042
본 발명에 따르면, 이 관계는 기본층 복원된 예측 잔여(
Figure 112007081000077-PCT00043
)에 대해 독립 규모가변(스케일링) 계수(
Figure 112007081000077-PCT00044
)를 도입하는 것의 의해 일반화된다:
Figure 112007081000077-PCT00045
독립 스케일링 계수(
Figure 112007081000077-PCT00046
)는 0과 1 사이의 값을 가진다. 독립 스케일링 계수 가 1일 때, 기본층 복원된 예측 잔여는 규모가 가변되지 않는다.
따라서, 실제 참조블록을 생성하기 위한 알고리즘은 다음과 같이 일반화될 수 있다:
● 만일 모든 계수들(
Figure 112007081000077-PCT00047
)이 영이면,
Figure 112007081000077-PCT00048
이다. 실제 참조블록(
Figure 112007081000077-PCT00049
)이 다음과 같이
Figure 112007081000077-PCT00050
및
Figure 112007081000077-PCT00051
의 가중 평균으로서 계산된다:
Figure 112007081000077-PCT00052
● 그렇지 않으면, 변환은 변환계수들인
Figure 112007081000077-PCT00053
및
Figure 112007081000077-PCT00054
을 얻기 위하여
Figure 112007081000077-PCT00055
및
Figure 112007081000077-PCT00056
에 대해 각각 수행된다. 기본층 참조프레임 및 향상층 참조프레임으로부터의 계수들의 가중평균인 각각의 계수를 가지는 0≤μ<M이고 0≤ν<N인 계수블록(
Figure 112007081000077-PCT00057
)이 형성된다. 가중계수는 기본층 계수값에 의존한다.
Figure 112007081000077-PCT00058
Figure 112007081000077-PCT00059
● 그 다음 실제 참조블록은
Figure 112007081000077-PCT00060
에 대해 다음의 역변환을 수행하는 것에 의해 얻어진다:
Figure 112007081000077-PCT00061
수학식 9, 10 및 11은 다음과 같이 재편될 수 있다:
Figure 112007081000077-PCT00062
Figure 112007081000077-PCT00063
Figure 112007081000077-PCT00064
수학식 12, 13 및 14에서,
Figure 112007081000077-PCT00065
은 차분 참조블록인
Figure 112007081000077-PCT00066
이다.
변환이 선형이므로, 변환계수들 사이의 차이들은 다음과 같이 차분 참조블록에 대해 변환을 수행하는 것에 의해 계산될 수 있다:
Figure 112007081000077-PCT00067
3개의 수학식들은 다음과 같이 통합 수학식으로 결합될 수 있다:
Figure 112007081000077-PCT00068
함수
Figure 112007081000077-PCT00069
는 다음과 같이 정의된다:
● 만일 기본층 블록의 모든 계수들이 영이라면, 차분 참조블록은 다음과 같이 하나의 스케일링 계수 (1-α)에 의해 규모 가변 된다:
Figure 112007081000077-PCT00070
● 그렇지 않으면, 변환은 변환계수들인
Figure 112007081000077-PCT00071
를 얻기 위해
Figure 112007081000077-PCT00072
에 대해 수행된다. 각각의 계수는 기본층 계수가 영인지에 기초하여 규모 가변(스케일링)된다.
Figure 112007081000077-PCT00073
Figure 112007081000077-PCT00074
●
Figure 112007081000077-PCT00075
에 대한 역변환은
Figure 112007081000077-PCT00076
를 얻기 위하여 수행된다.
이 접근법으로,
Figure 112007081000077-PCT00077
은 향상층 참조프레임에서 기본층 참조프레임을 감산하는 것에 의해 계산되는 차분 참조프레임에 대해 움직임 보상을 수행하는 것에 의해 생성될 수 있다. 차분 참조프레임에 대해 보간을 수행하는 것에 의한 참조블록 형성은 도 7에 보이고 있고, 기본층 의존형 차분 참조블록 조절이 도 8에 도시되어 있다. 보간 필터의 일 예는 이중선형 보간을 위한 필터이다. 차분 참조프레임을 이 용하는 것에 의해, 보간의 복잡도의 축소 외에도, 하나의 순방향 변환만 필요하다.
위의 설명에서, 만일 기본층 복원된 예측 잔여가 0이면, 기본층 복원(
Figure 112007081000077-PCT00078
)은 기본층 참조신호(
Figure 112007081000077-PCT00079
)와 동일하다. 일부 구현들을 위해, 애플리케이션은 구현을 단순화하기 위해 수학식 12, 13 및 14 대신에 다음 수학식들을 선택할 수 있다:
Figure 112007081000077-PCT00080
Figure 112007081000077-PCT00081
Figure 112007081000077-PCT00082
부가적인 동작들, 이를테면 루프 필터링이 기본층 복원에 대해 수행되는 경우에도 수학식 20, 21 및 22는 이용될 수 있지만, "
Figure 112007081000077-PCT00083
"에 대한 부가적인 동작들 때문에
Figure 112007081000077-PCT00084
는 이제 항상
Figure 112007081000077-PCT00085
와 동일하다.
본 발명에 따르면, 기본층 계수들이 모두 영인 블록들에 대해 추가의 분류가 수행되고, 다른 가중계수들이 다른 부류들의 블록들을 위해 이용될 수 있다.
하나의 분류 기법은 블록을 그 블록이 영 아닌 기본층 계수들을 가지는 인근 블록들을 가지는지에 따라 분류하는 것이다. 그러한 분류를 수행하는 하나의 방식 은 H.264에 정의된 바와 같은 기본층에서 부호화된 블록 플래그를 부호화하기 위한 부호화 콘텍스트 지수(index)를 사용하는 것이다. H.264에서, 만일 왼쪽 인근 블록과 상단 인근 블록 둘 다의 부호화된 블록 플래그가 영이라면, 부호화 콘텍스트 지수는 0이다. 만일 왼쪽 인근 블록의 부호화된 블록 플래그만이 영이 아니리면, 부호화 콘텍스트 지수는 1이다. 만일 상단 인근 블록의 부호화된 블록 플래그가 영이 아니라면, 부호화 콘텍스트 지수는 2다. 그렇지 않으면, 부호화 콘텍스트 지수는 3이다.
다른 분류 기법은 참조블록이 단지 기본층 복원된 프레임만으로부터인지 또는 본 발명에서 기재된 바와 같은 방식으로 기본층 복원된 프레임 및 향상층 참조프레임 사이의 가중평균으로부터인지, 또는 향상층으로부터인지를 나타내는 명시적인 신호통지를 이용하는 것이다. 신호통지는 매크로블록(MB) 수준에서 그리고 기본층에 어떠한 영 아닌 계수들도 가지지 않는 그러한 MB들에 대해서만 수행될 수 있다. 만일 기본층의 블록이 어느 영 아닌 계수들을 가지면 블록 내의 다른 계수들에 대해 다른 가중계수들이 사용되기 때문에 변환 동작이 필요하다. 만일 동일한 가중계수가 블록 내의 모든 계수들에 사용되면, 변환 동작은 필요하지 않다.
본 발명에 따르면, 영 아닌 계수들의 수는 기본층 블록에서 카운트된다. 만일 영 아닌 계수들의 수가 미리 결정된 수(Tc) 이상이면, 이 블록의 모든 계수들은 단일 가중계수를 사용한다. 가중계수의 값은 기본층에서 영 아닌 계수들의 수에 의존할 수 있다. 이 문턱 수(Tc)는 전체 블록이 동일한 가중계수를 사용해야만 하는지를 결정한다. Tc는 1과 블록사이즈 사이의 범위에 있다. 예를 들면, 4x4 블록의 경우, 16개 계수들이 블록 내에 있고, Tc는 1과 16 사이의 범위 내에 있다.
하나의 특수한 경우는 Tc = 1이다. 즉, 블록의 모든 계수들이 항상 동일한 가중계수를 사용한다. 이 경우, 어떤 부가 변환도 필요하지 않다. 그러나, 가중계수의 값은 기본층의 블록에서 영 아닌 계수들의 수에 의존할 수 있다.
가중계수들
가중계수들은 프레임마다 또는 슬라이스마다 변할 수 있거나, 또는 그것들은 일정 량의 프레임들 또는 슬라이스들에 대해 고정될 수 있다. 가중계수(β)는 기본층의 영 아닌 계수들의 수에 따라 달라질 수도 있다.
여기에 가중계수들인 β 및 γ와 기본층에서의 영 아닌 계수들의 수 사이의 관계의 예가 있다. 이 예에서, γ는 슬라이스를 위한 정수이다. 기본층에 영 아닌 계수가 하나만 있을 때, β는 β1과 같고, β1≤γ이다. 기본층의 영 아닌 계수들의 수가 n이고 n은 Tc보다 작을 때, β는 수학식
Figure 112007081000077-PCT00086
을 이용하여 계산된다. 만일 n이 Tc 이상이면, β는 γ와 같다.
다수의 FGS 층들의 부호화
개별 기본층이 있고 이 개별 기본층 상단에 다수의 FGS 층들이 있을 경우에, 사용자는 위에서 언급된 알고리즘들을 구현하기 위해 개별 기본층을 "기본층"으로서 그리고 "최상단 FGS 층을 "향상층"으로서 사용하도록 선택할 수 있다. 이것은 2-루프 구조라고 한다.
사용자는 또한 다중 루프 부호화 구조를 다음과 같이 사용할 수도 있다:
- 제1 부호화 루프는 정상적인 개별 기본층 부호화 루프이다.
- 제2 부호화 루프는 이 개시내용에 기재된 알고리즘들을 이용하여 제1 FGS 층을 부호화하기 위한 것이다. "기본층"은 개별 기본층이고 "향상층"은 제1 FGS 층이다.
- 제3 부호화 루프에서, "기본층"은 제1 FGS 층이고 "향상층"은 제2 FGS 층인 식으로 된다.
일단 "기본층"이 FGS 층이면, 고려되는 "기본층" 계수들은 이 FGS 층뿐 아니라 이 FGS 층 아래의 다른 층들에 있는 것들이다. 만일 이러한 층들 중의 어느 것에서의 동일한 위치에 있는 계수가 영이 아니면
Figure 112007081000077-PCT00087
는 영이 아닌 것으로 간주된다. 다른 부호화 구조들을 사용하여 FGS 부호기에 알고리즘들을 적용하는 것은 더 간단하다.
다중 루프 구조에는, 제2 FGS 층 또는 상위 FGS 층들을 부호화할 때에 이용되는 실제 참조신호를 계산하는 서로 다른 방식들이 있다. FGS 층들을 구별하는 것이 필요하므로, 수학식 16은 약간 변경될 필요가 있다. 기본층은 여전히 아래 첨자 "b"를 사용하지만, 기본층 바로 상단에 있는 층인 제1 FGS 향상층은 아래 첨자 "e1"을 사용하고, 제2 FGS 향상층은 아래 첨자 "e2"를 사용하는 식이다.
Figure 112007081000077-PCT00088
은 제1 FGS 향상층을 부호화하기 위해 계산된 조정된 차분 참조신호이다. 수학식 23은 아래 첨자들의 변경을 제외하면 수학식 16과 동등하다.
Figure 112007081000077-PCT00089
제2 FGS 향상층의 경우, 실제 참조신호는 수학식 24에서와 같이 계산될 수 있다.
Figure 112007081000077-PCT00090
는 제1 향상층의 참조프레임 및 제2 FGS 향상층의 참조프레임 사이의 차이인 차분 참조프레임으로부터 계산된다. 하나 이상의 복원된 잔여 항이 있다는 것을 제외하면 다음 수학식 24는 수학식 23과는 많이 다르지는 않다는 것을 알 수 있다.
Figure 112007081000077-PCT00091
Figure 112007081000077-PCT00092
을 계산하는 3가지 다른 방법들이 있다. 첫 번째 방법은 제1 FGS 향상층의 참조프레임에 대해 움직임 보상을 수행하는 것이다. 본 발명에서,
Figure 112007081000077-PCT00093
을 계산하기 위한 2개의 다른 방법들(방법 A 및 방법 B) 중의 하나가 이용될 수 있다. 방법 A를 위해,
Figure 112007081000077-PCT00094
은
Figure 112007081000077-PCT00095
과 동일하게끔 설정된다. 방법 B를 위해,
Figure 112007081000077-PCT00096
은
Figure 112007081000077-PCT00097
과 동일하게끔 설정된다.
본 방법에서, 2-루프 또는 다중-루프 FGS 부호화의 선택은 부호기 선택일 수 있고 비트스트림으로 신호통지될 수 있다. 비트스트림이 프레임을 위해 2-루프 FGS 부호화에서 다중-루프 부호화로 변경될 때, 이 프레임은 2개의 참조프레임들인 기 본층 참조프레임 및 최상위 향상 참조프레임에 접근을 한다. 그러나, 이 프레임의 모든 계층들이 완전히 복원될 것이고 그래서 다음 프레임은 다중-루프 FGS 부호화에 필요한 모든 참조프레임들을 가진다. 만일 비트스트림이 다중-루프에서 2-루프로 변경되면, 현재 프레임은 다중-루프에서 부호화될 것이지만, 단지 기본층 및 최상위 FGS 층만은 완전히 복원되는데, 어느 중간 층들의 프레임들이 다음 프레임을 위해 더 이상 필요하지 않기 때문이다.
본 발명으로는, 새로운 예측변수(predictor)들이 FGS 층을 부호화하기 위한 움직임 보상을 이용하여 계산된다. 이것은 필요한 향상층 참조프레임의 복원을 필요로 한다. 그러나, 만일 복호기가 이 FGS 층들 위의 층들을 복호화하고 싶어하면, FGS 층들의 완전한 복원은 어떤 제약하에서 불가피하다. 예를 들면, 개별 기본층(L0), L0 상단의 2개의 FGS 층들(F1, F2)이 있고, FGS 층(F2) 상단에 개별 향상층(L3)이 있다고 가정한다. 만일 층 L3이 기본층(L0)에서 인터-MB로서 부호화된 완전히 복원된 매크로블록을 예측변수들로서 사용하지 않고 대신에 복원된 잔여만을 예측에 사용한다면, 복호기가 층 L3를 복원하고 싶어할 때, 층 F1과 F2의 잔여 정보를 복호화하는 것만 필요하고 어떤 움직임 보상도 필요하지 않다.
FGS 부호기 개관
도 9 및 10은 본 발명의 FGS 부호기 및 복호기의 블록도들인데, 이 도면들에서 참조블록들의 형성은 기본층에 달려 있다. 이 블록도들에서, 단지 하나의 FGS 층만이 보이고 있다. 그러나, 하나의 FGS 층의 다중 FGS 층들을 가지는 구조로의 확장이 간단하다는 것이 제대로 인정되어야만 한다.
이 블록도들로부터 알 수 있는 바와 같이, FGS 부호기는 부가적인 "참조블록 형성 모듈"을 가지는 2-루프 비디오 부호기이다.
도 11은 본 발명의 실시예에 따라 전형적인 이동 기기를 묘사한다. 도 11에 보인 이동 기기(1)는 셀룰러 데이터 및 음성 통신을 할 수 있다. 본 발명이 수많은 다른 실시예들 중의 하나를 나타내는 이 특정 실시예에 한정되지 않는다는 것에 유의할 필요가 있다.
이동 기기(1)는 (메인) 마이크로프로세서 또는 마이크로제어기(100)뿐 아니라 이동 기기의 동작을 제어하는 마이크로프로세서에 관련된 구성요소들을 구비한다. 이 구성요소들은 디스플레이 제어기(130)와 이것에 연결된 디스플레이 모듈(135), 비휘발성 메모리(140), 랜덤 액세스 메모리와 같은 휘발성 메모리(150), 오디오 입력/출력(I/O) 인터페이스(60) 및 이것에 연결된 마이크로폰(161), 스피커(162) 및/또는 헤드셋(163), 키패드 제어기(170) 및 이것에 연결된 키패드(175) 또는 키보드, 임의의 보조 입력/출력(I/O) 인터페이스(200), 그리고 단거리 통신 인터페이스(180)를 구비한다. 그러한 기기는 또한 일반적으로 190으로 보인 다른 기기 서브시스템들도 전형적으로 구비한다.
이동 기기(1)는 음성 네트워크를 통해 통신할 수 있고 및/또는 예컨대, 디지털 셀룰러 네트워크, 특히 이동 통신 세계화 시스템(GSM) 또는 범용 이동식 원격통신 시스템(UMTS) 형태의 어느 공중육상 이동통신망(PLMN)들과 같은 데이터 네트워크를 통해 마찬가지로 통신할 수 있다. 전형적으로 음성 및/또는 데이터 통신은 무선 인터페이스, 즉 셀룰러 통신 인터페이스 서브시스템을 통해 셀룰러 네트워크의 기반구조의 무선접속망(RAN)의 부분인 기지국(BS) 또는 노드 B(미도시)에 대한 추가의 구성요소들과 연동하여 동작된다.
도 11에서 도식적으로 묘사된 셀룰러 통신 인터페이스 서브시스템은, 셀룰러 인터페이스(110), 디지털 신호 처리기(DSP; 120), 수신기(RX; 121), 전송기(TX; 122), 및 하나 이상의 국부 발진기(LO; 123)를 포함하고, 하나 이상의 공중육상 이동통신망(PLMN)들과 통신할 수 있다. 디지털 신호 처리기(DSP; 120)는 통신신호들(124)을 전송기(TX; 122)에 송신하고 수신기(RX; 121)로부터 통신신호들(125)을 수신한다. 통신신호를 처리하는 것 외에도, 디지털 신호 처리기(120)는 수신기 제어신호들(126) 및 전송기 제어신호(127)를 제공한다. 예를 들면, 전송하려는 신호들 및 수신된 신호들의 변조 및 복조 각각 외에도, 수신기(RX; 121) 및 전송기(TX; 122)의 통신신호들에 인가된 이득 레벨들은 디지털 신호 처리기(DSP; 120)에 구현된 자동 이득제어 알고리즘을 통해 적응적으로 제어될 수 있다. 다른 송수신기 제어 알고리즘들은 송수신기(121/122)의 더 복잡한 제어를 제공하기 위하여 디지털 신호 처리기(DSP; 120)에 구현될 수도 있다.
PLMN을 통한 이동 기기(1) 통신들이 단일 주파수의 일단의 근접 간격의 주파수들에서 발생할 경우에, 단일 국부 발진기(LO; 123)가 전송기(TX; 122) 및 수신기(RX; 121)에 관련하여 사용될 수 있다. 대신에, 만일 다른 주파수들이 음성/데이터 통신 또는 전송이나 수신을 위해 이용되면, 복수 개의 국부 발진기들이 복수 개의 상응하는 주파수들을 생성하기 위해 사용될 수 있다.
비록 도 11에 묘사된 이동 기기(1)가 안테나(129)와 함께 또는 다이버시티 안테나 시스템(미도시)과 함께 사용되지만, 이동 기기(1)는 신호 수신뿐 아니라 전송을 위해 단일 안테나 구조와 함께 사용될 수 있었다. 음성 및 데이터 둘 다를 포함하는 정보는 셀룰러 인터페이스(110)에 대해서는 디지털 신호 처리 처리기(DSP; 120)와의 사이의 데이터 링크를 통해 전해진다. 셀룰러 인터페이스(110)의 주파수 대역, 구성요소 선택, 전력 레벨 등과 같은 세부적 설계는 이동 기기(1)가 동작할 것이 의도되는 무선 네트워크에 의존할 것이다.
셀룰러 네트워크에서 등록을 위해 요구된 가입자 식별 모듈(SIM; 210)에 관계가 있을 수 있는 어떤 요구된 네트워크 등록 또는 기동 절차들이 완료된 후에, 이동 기기(1)는 음성 및 데이터 신호들 둘 다를 포함한 통신신호들을 무선 네트워크상에서 송신하고 수신할 수 있다. 안테나(129)에 의해 무선 네트워크로부터 수신된 신호는 수신기(121)에 보내어지고, 그 수신기는 신호 증폭, 주파수 하향 변환, 필터링, 채널 선택, 및 아날로그-디지털 변환과 같은 동작들을 제공한다. 수신된 신호의 아날로그 디지털 변환은 더 복잡한 통신 기능들, 이를테면 디지털 복조 및 복호화가 디지털 신호 처리기(DSP; 120)를 사용하여 수행되는 것을 허용한다. 유사한 방식으로, 네트워크에 전송하려는 신호는 예를 들면 디지털 신호 처리기(DSP; 120)에 의해 변조 및 복호화를 포함한 처리를 받고 그 다음 디지털-아날로그 변환, 주파수 상향 변환, 필터링, 증폭, 및 안테나(129)를 통한 무선 네트워크에의 전송을 위해 전송기(122)에 제공된다.
기기 플랫폼 마이크로프로세서로서 지정될 수도 있는 마이크로프로세서/마이크로제어기(μC; 110)는 이동 기기(1)의 기능들을 관리한다. 마이크로프로세 서(110)에 의해 사용되는 운영체계 소프트웨어(149)는 바람직하게는 지속성 저장소 이를테면 비휘발성 메모리(140)에 저장되는데, 이 비휘발성 메모리는, 예를 들면, 플래시 메모리, 배터리 백업형 RAM, 어떤 다른 비휘발성 저장 기술, 또는 그것들의 어떠한 조합으로도 구현될 수 있다. 이동 기기(1)의 (그래픽) 기본 사용자 인터페이스 기능들뿐 아니라 저 레벨 기능들을 제어하는 운영체계(149) 외에도, 비휘발성 메모리(140)는 복수 개의 고 레벨 소프트웨어 응용 프로그램들 또는 모듈들, 이를테면 음성 통신 소프트웨어 애플리케이션(142), 데이터 통신 소프트웨어 애플리케이션(141), 오거나이저 모듈(미도시), 또는 어느 다른 유형의 소프트웨어 모듈(미도시)을 포함한다. 이 모듈들은 프로세서(100)에 의해 실행되고 이동 기기(1)의 사용자 및 이동 기기(1) 사이에 고 레벨 인터페이스를 제공한다. 이 인터페이스는 디스플레이 제어기(130)에 의해 제어되는 디스플레이(135)를 통하여 제공된 그래픽 구성요소 및 키패드 제어기(170)를 통해 프로세서(100)에 연결된 키패드(175)를 통하여 제공된 입력/출력 구성요소들, 보조 입력/출력(I/O) 인터페이스(200) 및/또는 단거리(SR) 통신 인터페이스(180)를 전형적으로 포함한다. 보조 I/O 인터페이스(200)는 특히 범용 직렬 버스(USB) 인터페이스, 직렬 인터페이스, 멀티미디어 카드(MMC) 인터페이스 및 관련된 기술들/표준들, 그리고 어느 다른 표준화된 또는 사설 데이터 통신 버스 기술을 포함하는 반면, 단거리 통신 인터페이스 무선 주파수(RF) 저전력 인터페이스는 특히 무선 근거리 통신망(WLAN)과 블루투스 통신기술 또는 적외선 데이터 접근(IRDA) 인터페이스를 포함한다. 여기서 RF 저전력 인터페이스 기술이라고 하는 것은 그 설명이 전기 전자 기술자 협회로부터 획득될 수 있 는 어떠한 IEEE 801.xx 표준 기술이라도 포함한다고 특별히 이해되어야 한다. 더욱이, 단거리 통신 인터페이스(180)뿐 아니라 보조 I/O 인터페이스(200)는 하나 이상의 입출력 인터페이스 기술들 및 통신 인터페이스 기술들을 지원하는 하나 이상의 인터페이스를 각각 나타낼 수 있다. 운영체계, 특화 기기 소프트웨어 애플리케이션들 또는 모듈들, 또는 그 부품들은 임의 접근 메모리(통상 고속 동작을 위한 DRAM(direct random access memory) 기술을 기초로 하여 구현됨)와 같은 휘발성 저장소(150)에 일시적으로 적재될 수 있다. 더욱이, 수신된 통신신호들은 그것들을 비휘발성 메모리(140) 또는 데이터 저장을 위해 보조 I/O 인터페이스를 통해 바람직하게는 탈착 가능하게 연결된 어떤 대용량 저장소에 위치된 파일 시스템에 영구적으로 기록하기 전에 휘발성 메모리(150)에 일시적으로 저장될 수도 있다. 위에 기술된 구성요소들은 셀룰러 전화기 형태로 여기에 구현된 전통적인 이동 기기(1)의 전형적인 구성요소들을 나타낸다는 것이 이해되어야만 한다. 본 발명은 단지 설명을 위해 그리고 완전함을 위하여 묘사된 이 특정 구성요소들 및 그것들의 구현에 제한되지 않는다.
이동 기기(1)의 예시적인 소프트웨어 애플리케이션 모듈은 전형적으로 콘택트 관리자, 캘린더, 태스크 관리자 등을 포함한 PDA 기능을 제공하고 있는 개인 정보 관리자 애플리케이션이다. 그런 개인 정보 관리자는 프로세서(100)에 의해 실행되며, 이동 기기(1)의 구성요소들에 접근을 할 수 있고, 다른 소프트웨어 애플리케이션 모듈과 상호 작용할 수 있다. 예를 들어, 음성 통신 소프트웨어 애플리케이션과의 상호 작용은 전화 호들, 음성 우편들 등을 관리할 수 있게 하고, 데이터 통신 소프트웨어 애플리케이션과의 상호 작용은 SMS(soft message service), MMS(multimedia service), 이메일 통신 및 다른 데이터 전송을 관리할 수 있게 한다. 비휘발성 메모리(140)는 바람직하게는 특히 캘린더 엔트리들, 콘택트 등을 포함한 데이터 항목들을 기기에 영구 저장하는 것을 용이하게 하기 위해 파일 시스템을 제공한다. 예컨대, 셀룰러 인터페이스, 단거리 통신 인터페이스, 또는 보조 I/O 인터페이스를 통한 네트워크들과의 데이터 통신을 위한 능력은 그러한 네트워크를 통한 업로드, 다운로드 및 동기화를 가능하게 한다.
애플리케이션 모듈들(141 내지 149)은 프로세서(100)에 의해 실행되도록 구성되는 기기 기능들 또는 소프트웨어 애플리케이션을 나타낸다. 대부분의 알려진 이동 기기들에서, 단일 프로세서는 모든 기기 기능들 및 소프트웨어 애플리케이션들뿐 아니라 이동 기기의 전체 동작을 관리하고 제어한다. 그런 개념은 오늘날의 이동 기기들에 적용 가능하다. 향상된 멀티미디어 기능들의 구현은, 예를 들면, 일체화된 또는 탈착 가능하게 연결된 디지털 카메라 기능에 의한 비디오 스트리밍 애플리케이션들의 재생, 디지털 영상들의 조작, 및 비디오 시퀀스들의 캡처링을 포함한다. 이 구현은 또한 복잡한 그래픽과 필요한 계산 능력을 가지는 게이밍 애플리케이션들을 포함할 수도 있다. 과거에 추구되었던 계산 능력을 위한 요건을 다루는 하나의 방식은 강력하고 범용인 프로세서 코어들을 구현하는 것에 의해 그 문제를 해결하여 계산 능력을 증가시키는 것이다. 계산 능력을 제공하기 위한 다른 접근법은 이 기술분야의 주지의 방법론인 둘 이상의 독립 프로세서 코어들을 구현하는 것이다. 몇 개의 독립 프로세서 코어들의 이점들은 이 기술분야의 숙련된 자들에 의 해 즉시 제대로 인식될 수 있다. 범용 프로세서가 독특한 태스크들의 사전 선택에 대한 전문화 없이 다수의 다른 태스크들을 수행하기 위해 디자인되지만, 멀티프로세서 배치구성은 하나 이상의 범용 프로세서 및 한 집합의 미리 정의된 태스크들을 처리하기에 적합하게 된 하나 이상의 전문화 프로세서를 구비할 수도 있다. 그럼에도 불구하고, 하나의 기기, 특히 이동 기기(1)와 같은 모바일 기기 내의 몇 개의 프로세서들의 구현은 전통적으로 구성요소들의 완전하고 복잡한 재설계를 필요로 한다.
다음으로, 본 발명은 값비싼 완전하고 정교한 재설계의 생략을 가능하게 하는 기존 프로세싱 기기에 부가적인 프로세서 코어들의 단순한 통합을 허용하는 개념을 제공할 것이다. 본 발명의 독창적인 개념은 시스템-온-어-칩(System-on-a-chip; SoC) 설계에 관해서 기술될 것이다. 시스템-온-어-칩(SoC)은 프로세싱 기기의 최소한 다수의 (또는 모든) 구성요소들을 단일 고집적 칩에 통합하는 개념이다. 그런 시스템-온-어-칩은 디지털, 아날로그, 혼합된 신호, 및 종종 무선 주파수 기능들 모두를 하나의 칩에 담고 있을 수 있다. 전형적인 프로세싱 기기는 다른 태스크들을 수행하는 다수의 집적 회로들을 포함한다. 이 집적 회로들은 특히 마이크로프로세서, 메모리, 범용 비동기 송수신기들(UART들), 직렬/병렬 포트들, 직접 메모리 액세스(DMA) 제어기 등을 포함할 수도 있다. 범용 비동기 송수신기(UART)는 데이터의 병렬 비트들 및 직렬 비트들 사이를 번역한다. 반도체 기술의 근래의 개선은 초 대규모적 집적(VLSI) 집적회로들이 복잡도에서의 상당한 성장을 가능하게 하여, 시스템의 다수의 구성요소들을 단일 칩에 통합하는 것을 가능하게 한다. 도 11 을 참조하면, 하나 이상의 구성요소, 예컨대 제어기들(130 및 170), 메모리 구성요소들(150 및 140), 및 하나 이상의 인터페이스들(200, 180 및 110)이 시스템-온-어-칩(SoC)을 결국에는 형성하는 단일 칩에 프로세서(100)와 함께 통합될 수 있다.
부가적으로, 이동 기기(1)에는 본 발명의 발명적 개념의 동작에 따라 비디오 데이터의 규모 가변성 부호화(105) 및 규모 가변성 복호화(106)를 위한 모듈이 갖추어진다. CPU(100)에 의해 상기 모듈들(105, 106)은 개별적으로 사용될 수도 있다. 그러나, 이동 기기(1)는 비디오 데이터 부호화 또는 복호화를 각각 수행하기에 적합하게 된다. 상기 비디오 데이터는 이동 기기의 통신 모듈에 의해 수신될 수 있거나 또는 그것은 이동 기기(1) 내의 어떤 상상할 수 있는 저장 수단 내에 저장될 수도 있다.
비록 본 발명이 그것의 하나 이상의 실시예에 관해서 기술되었지만, 형태 및 그 세부에서의 전술한 및 각종 다른 변경, 생략 및 개조가 본 발명의 범위로부터 벗어나는 일 없이 행해질 수 있다는 것이 당업자에게는 이해될 것이다.

Claims (41)

  1. 움직임 보상된 규모 가변성 비디오 부호화를 위한 방법에 있어서,
    기본층 참조블록 및 향상층 참조블록과 함께 기본층 복원된 예측 잔여 블록에 기초하여 참조블록을 형성하는 동작으로서, 참조블록은 현재 프레임의 블록을 미세입자 규모가변 층에서 부호화하기 위한 것이며, 기본층 참조블록은 기본층에서의 프레임의 복원을 위한 기준으로서 사용되고, 향상층 참조블록은 미세입자 규모가변 층에서 참조프레임들로부터 형성되는, 동작; 및
    기본층 복원된 예측 잔여 블록의 변환계수들에 최소한 기초하여 참조블록을 조정하는 동작을 포함하는, 방법.
  2. 제1항에 있어서, 기본층 복원된 예측 잔여 블록의 변환계수들은 모두 영일 때, 상기 조정하는 동작은,
    기본층 참조블록 및 향상층 참조블록의 가중 평균으로서 참조블록이 형성되도록 가중계수를 선택하는 동작을 포함하는, 방법.
  3. 제1항에 있어서, 기본층 복원된 예측 잔여 블록의 변환계수들은 하나 이상의 영 아닌 계수들을 포함할 때, 상기 형성하는 동작은,
    기본층 참조블록을 기본층 변환계수들로 변환하는 동작;
    향상층 참조블록을 향상층 변환계수들로 변환하는 동작;
    기본층 변환계수들 및 향상층 변환계수들에 기초하여 참조블록을 위한 변환계수들을 계산하는 동작; 및
    참조블록을 얻기 위하여 참조블록 변환계수들을 바꾸는 동작을 포함하는, 방법.
  4. 제3항에 있어서, 상기 계산하는 동작은,
    각각의 참조블록 변환계수들에 대해,
    만일 기본층 복원된 예측 잔여 블록의 공동배치된 변환계수가 영이라면, 참조블록 변환계수는, 적어도 제1가중계수에 기초하여, 공동배치된 기본층 변환계수 및 공동배치된 향상층 변환계수의 가중평균으로서 형성되도록; 그리고
    만일 기본층 복원된 예측 잔여 블록의 공동배치된 변환계수가 영이 아니라면, 참조블록 변환계수는, 적어도 제2가중계수에 기초하여, 공동배치된 기본층 변환계수 및 공동배치된 향상층 변환계수의 가중평균으로서 형성되도록,
    제1가중계수 및 및 제2가중계수를 선택하는 동작을 포함하는, 방법.
  5. 제4항에 있어서, 제1 및 제2 가중계수들 중의 적어도 하나는 변환계수들의 각각에 대해 그 변환계수의 주파수에 기초하여 개별적으로 결정되며, 상기 주파수는 변환된 블록에서의 위치에 의해 나타내어지는, 방법.
  6. 제4항에 있어서, 제1 및 제2 가중계수들 중의 적어도 하나는 현재 계수가 부 호화되는 미세입자 규모가변 사이클에 기초하여 결정되는, 방법.
  7. 제2항에 있어서, 가중계수는, 기본층 복원된 예측 잔여 블록의 영 아닌 변환계수들을 가지는 하나 이상의 인근 블록들을 블록이 가지는지에 최소한 기초하여 결정되는, 방법.
  8. 제7항에 있어서, 가중계수는, 기본층 복원된 예측 잔여 블록의 부호화된 블록 플래그를 부호화하기 위한 부호화 콘텍스트 지수에 최소한 기초하여 결정되는, 방법.
  9. 제2항에 있어서, 참조블록은,
    a) 기본층 참조블록으로부터만 형성되는 방식;
    b) 향상층 참조블록으로부터만 형성되는 방식; 및
    c) 기본층 참조블록 및 향상층 참조블록의 가중 평균으로서 형성되는 방식으로서, 참조블록이 매크로블록 내의 블록들을 위해 형성되는 방식을 신호통지하기 위해 매크로블록 수준에서 플래그가 이용되는 방식이란 3가지 방식들 중의 하나에 따라 매크로블록 내의 블록들을 위해 형성되는, 방법.
  10. 제4항에 있어서,
    기본층 복원된 예측 잔여 블록의 영 아닌 변환계수들의 수를 미리 결정된 값 과 비교하는 동작, 및
    만일 상기 수가 미리 결정된 값 이상이면 제1가중계수를 제2가중계수로 설정하는 동작을 더 포함하는 방법.
  11. 제10항에 있어서, 제1 및 제2 가중계수들은 동일하게 되도록 설정될 때, 그 가중계수들의 값은 기본층 복원된 예측 잔여 블록에서 영 아닌 변환계수들의 수에 기초하여 계산되는, 방법.
  12. 제1항에 있어서, 형성된 참조블록 및 규모 가변된 버전의 기본층 복원된 예측 잔여 블록의 합은 부호화를 위한 기준 신호로서 사용되는, 방법.
  13. 제12항에 있어서, 규모가변 계수 1이 규모 가변된 버전의 기본층 복원된 예측 잔여 블록을 계산하는데 이용되는, 방법.
  14. 제1항에 있어서, 미세입자 규모가변 층은 최상단 층을 구비한 다중 미세입자 규모가변 층들을 포함하고, 개별 기본층이 기본층 참조블록을 얻기 위하여 사용되고, 최상단 층은 향상층 참조블록을 얻기 위해 사용되는, 방법.
  15. 제1항에 있어서, 미세입자 규모가변 층은 최상단 층을 구비한 다중 미세입자 규모가변 층들을 포함하고, 현재 층이 향상층 참조블록을 얻기 위하여 사용되고, 현재 층 바로 아래의 층이 기본층 참조블록을 얻기 위해 이용되는, 방법.
  16. 제1항에 있어서, 상기 조정하는 동작은,
    향상층 참조블록 및 기본층 참조블록 사이의 차이로서 차분 참조블록을 계산하는 동작;
    기본층 복원된 예측 잔여 블록의 변환계수들에 최소한 기초하여 차분 참조블록을 조정하는 동작; 및
    조정된 차분 참조블록 및 기본층 참조블록의 합으로서 참조블록을 얻는 동작을 포함하는, 방법.
  17. 제16항에 있어서, 기본층 복원된 예측 잔여 블록의 변환계수들이 모두 영일 때, 상기 차분 참조블록을 조정하는 동작은,
    참조블록이 기본층 참조블록 및 향상층 참조블록의 가중 평균으로서 형성되도록 차분 참조블록에 적용되는 가중계수를 선택하는 동작을 포함하는, 방법.
  18. 제16항에 있어서, 기본층 복원된 예측 잔여 블록의 변환계수들이 하나 이상의 영 아닌 계수들을 구비할 때, 상기 차분 참조블록을 조정하는 동작은,
    차분 참조블록을 변환계수들로 변환하는 동작;
    변환계수들을 조정하는 동작; 및
    조정된 차분 참조블록을 얻기 위하여 변환계수들을 바꾸는 동작을 포함하는, 방법.
  19. 움직임 보상된 규모 가변성 비디오 부호화에서 사용하기 위한 전자모듈에 있어서,
    기본층 참조블록, 향상층 참조블록 및 기본층 복원된 예측 잔여 블록에 기초하여 참조블록을 형성하기 위한 형성모듈로서, 참조블록은 현재 프레임의 블록을 미세입자 규모가변 층에서 부호화하기 위한 것이며, 기본층 참조블록은 기본층에서 프레임의 복원을 위한 기준으로서 사용되고 향상층 참조블록은 미세입자 규모가변 층에서 참조프레임들로부터 형성되는, 형성모듈; 및
    기본층 복원된 예측 잔여 블록의 변환계수들에 최소한 기초하여 참조블록을 조정하기 위한 조정모듈을 포함하는 전자모듈.
  20. 제19항에 있어서, 기본층 복원된 예측 잔여 블록의 변환계수들이 모두 영일 때, 상기 조절 모듈은 기본층 참조블록 및 향상층 참조블록의 가중 평균으로서 참조블록이 형성되도록 가중계수를 선택하기에 적합하게 된, 전자모듈.
  21. 제19항에 있어서, 기본층 복원된 예측 잔여 블록의 변환계수들이 하나 이상의 영 아닌 계수들을 포함할 때, 상기 형성모듈은,
    기본층 참조블록을 기본층 변환계수들로 변환하고 향상층 참조블록을 향상층 변환계수들로 변환하는 변환모듈;
    기본층 변환계수들 및 향상층 변환계수들에 기초하여 참조블록을 위한 변환계수들을 계산하는 계산모듈; 및
    참조블록을 얻기 위해 참조블록 변환계수들을 바꾸는 역변환모듈을 포함하는, 전자모듈.
  22. 제21항에 있어서, 상기 계산모듈은, 각각의 참조블록 변환계수에 대해,
    만일 기본층 복원된 예측 잔여 블록의 공동배치된 변환계수가 영이라면, 참조블록 변환계수는 공동배치된 기본층 변환계수의 가중 평균으로서 형성되고, 공동배치된 향상층 변환계수는 최소한 제1가중계수에 기초를 두도록; 그리고
    만일 기본층 복원된 예측 잔여 블록의 공동배치된 변환계수가 영이 아니면, 참조블록 변환계수는 공동배치된 기본층 변환계수의 가중 평균으로서 형성되고, 공동배치된 향상층 변환계수는 제2가중계수에 기초를 두도록
    제1가중계수 및 제2가중계수를 선택하기에 적합하게 된, 전자모듈.
  23. 제20항에 있어서, 가중계수는, 기본층 복원된 예측 잔여 블록의 하나 이상의 영 아닌 변환계수들을 가지는 하나 이상의 인근 블록들을 블록이 가지는지에 최소한 기초하여 결정되는, 전자모듈.
  24. 제22항에 있어서, 상기 계산모듈은, 기본층 복원된 예측 잔여 블록의 영 아닌 변환계수들의 수를 미리 결정된 값과 비교하여서, 만일 상기 수가 미리 결정된 값 이상이면, 제1가중계수는 제2가중계수와 동일하게 설정되도록 하기에 적합하게 된, 전자모듈.
  25. 제19항에 있어서, 조정모듈은,
    향상층 참조블록 및 기본층 참조블록 사이의 차이로서 차분 참조블록을 계산하며;
    기본층 복원된 예측 잔여 블록의 변환계수들에 최소한 기초하여 차분 참조블록을 조정하며; 그리고
    조정된 차분 참조블록 및 기본층 참조블록의 합으로서 참조블록을 얻기에 적합하게 된, 전자모듈.
  26. 움직임 보상된 규모 가변성 비디오 부호화에서 사용하기 위한 소프트웨어 애플리케이션을 가지는 저장매체를 포함하는 소프트웨어 애플리케이션 생성물에 있어서, 상기 소프트웨어 애플리케이션은,
    기본층 참조블록, 향상층 참조블록 및 기본층 복원된 예측 잔여 블록에 기초하여 참조블록을 형성하기 위한 프로그램 코드로서, 참조블록은 현재 프레임의 블록을 미세입자 규모가변 층에서 부호화하기 위한 것이며, 기본층 참조블록은 기본층에서 프레임의 복원을 위한 기준으로서 사용되고, 향상층 참조블록은 미세입자 규모가변 층에서 참조프레임들로부터 형성되는, 프로그램 코드; 및
    기본층 복원된 예측 잔여 블록의 변환계수들에 최소한 기초하여 참조블록을 조정하기 위한 프로그램 코드를 포함하는, 소프트웨어 애플리케이션 생성물.
  27. 제26항에 있어서, 상기 소프트웨어 애플리케이션은,
    기본층 복원된 예측 잔여 블록의 변환계수들이 모두 영일 때, 기본층 참조블록 및 향상층 참조블록의 가중 평균으로서 참조블록이 형성되도록 가중계수를 선택하기 위한 프로그램 코드를 더 포함하는, 소프트웨어 애플리케이션 생성물.
  28. 제26항에 있어서, 참조블록을 형성하기 위한 프로그램 코드는,
    기본층 참조블록을 기본층 변환계수들로 변환하고 향상층 참조블록을 향상층 변환계수들로 변환하기 위한 코드;
    기본층 변환계수들 및 향상층 변환계수들에 기초하여 참조블록을 위한 변환계수들을 계산하기 위한 코드; 및
    기본층 복원된 예측 잔여 블록의 변환계수들이 하나 이상의 영 아닌 계수들을 포함할 때, 참조블록을 얻기 위하여 참조블록 변환계수들을 바꾸기 위한 코드를 포함하는, 소프트웨어 애플리케이션 생성물.
  29. 제28항에 있어서, 각각의 참조블록 변환계수에 대하여, 참조블록 변환계수는, 만일 기본층 복원된 예측 잔여 블록의 공동배치된 변환계수가 영이라면, 제1가중계수에 기초하여, 그리고 만일 기본층 복원된 예측 잔여 블록의 공동배치된 변환계수가 영이 아니라면, 제2가중계수에 기초하여, 공동배치된 기본층 변환계수 및 공동배치된 향상층 변환계수의 가중평균으로서 형성되는, 소프트웨어 애플리케이션 생성물.
  30. 제29항에 있어서, 소프트웨어 애플리케이션은,
    기본층 복원된 예측 잔여 블록의 영 아닌 변환계수들의 수를 미리 결정된 값과 비교하여서, 만일 상기 수가 미리 결정된 값 이상이면 제1가중계수는 제2가중계수와 동일하게 설정되도록 하기 위한 프로그램 코드로서, 제1 및 제2 가중계수들은 기본층 복원된 예측 잔여 블록의 영 아닌 변환계수들의 수에 기초하여 계산되는, 프로그램 코드를 더 포함하는, 소프트웨어 애플리케이션 생산물.
  31. 제26항에 있어서, 미세입자 규모가변 층은 최상단 층을 구비한 다중 미세입자 규모가변 층들을 포함하고, 개별 기본층이 기본층 참조블록을 얻기 위하여 사용되고, 최상단 층은 향상층 참조블록을 얻기 위해 사용되는, 소프트웨어 애플리케이션 생산물.
  32. 제26항에 있어서, 미세입자 규모가변 층은 최상단 층을 구비한 다중 미세입자 규모가변 층들을 포함하고, 현재 층이 향상층 참조블록을 얻기 위하여 사용되고, 현재 층 바로 아래의 층이 기본층 참조블록을 얻기 위해 이용되는, 소프트웨어 애플리케이션 생산물.
  33. 제26항에 있어서, 참조블록을 조정하기 위한 프로그램 코드는,
    향상층 참조블록 및 기본층 참조블록 사이의 차이로서 차분 참조블록을 계산하며;
    기본층 복원된 예측 잔여 블록의 변환계수들에 최소한 기초하여 차분 참조블록을 조정하며; 그리고
    조정된 차분 참조블록 및 기본층 참조블록의 합으로서 참조블록을 얻기 위한 코드를 포함하는 소프트웨어 애플리케이션 생성물.
  34. 비디오 데이터를 가지는 비트스트림을 전달하기 위해 다른 전자기기와의 통신링크를 확립하는 통신모듈; 및
    비디오 데이터의 움직임 보상된 규모 가변성 비디오 부호화에 사용하기 위한 비디오 데이터 처리 모듈을 포함하며, 처리모듈은,
    기본층 참조블록, 향상층 참조블록 및 기본층 복원된 예측 잔여 블록에 기초하여 참조블록을 형성하는 형성모듈로서, 참조블록은 현재 프레임의 블록을 미세입자 규모가변 층에서 부호화하기 위한 것이며, 기본층 참조블록은 기본층에서의 프레임의 복원을 위한 기준으로서 사용되고, 향상층 참조블록은 미세입자 규모가변 층에서 참조프레임들로부터 형성되는, 형성모듈; 및
    기본층 복원된 예측 잔여 블록의 변환계수들에 최소한 기초하여 참조블록을 조정하는 조정모듈을 포함하는, 전자기기.
  35. 제34항에 있어서, 기본층 복원된 예측 잔여 블록의 변환계수들이 모두 영일 때, 상기 조정모듈은 참조블록이 기본층 참조블록 및 향상층 참조블록의 가중 평균으로서 형성되도록 가중계수를 선택하기에 적합하게 된, 전자기기.
  36. 제34항에 있어서, 기본층 복원된 예측 잔여 블록의 변환계수들이 하나 이상의 영 아닌 계수들을 포함할 때, 상기 형성모듈은,
    기본층 참조블록을 기본층 변환계수들로 변환하고 향상층 참조블록을 향상층 변환계수들로 변환하는 변환모듈;
    기본층 변환계수들 및 향상층 변환계수들에 기초하여 참조블록을 위한 변환계수들을 계산하는 계산모듈; 및
    참조블록을 얻기 위해 참조블록 변환계수들을 바꾸는 역변환모듈을 포함하는, 전자기기.
  37. 제36항에 있어서, 상기 계산모듈은, 각각의 참조블록 변환계수에 대해,
    만일 기본층 복원된 예측 잔여 블록의 공동배치된 변환계수가 영이라면, 참조블록 변환계수는 공동배치된 기본층 변환계수의 가중 평균으로서 형성되고, 공동배치된 향상층 변환계수는 최소한 제1가중계수에 기초를 두도록; 그리고
    만일 기본층 복원된 예측 잔여 블록의 공동배치된 변환계수가 영이 아니면, 참조블록 변환계수는 공동배치된 기본층 변환계수의 가중 평균으로서 형성되고, 공동배치된 향상층 변환계수는 제2가중계수에 기초를 두도록
    제1가중계수 및 제2가중계수를 선택하기에 적합하게 된, 전자기기.
  38. 제37항에 있어서, 상기 계산모듈은, 기본층 복원된 예측 잔여 블록의 영 아닌 변환계수들의 수를 미리 결정된 값과 비교하여서, 만일 상기 수가 미리 결정된 값 이상이면, 제1가중계수는 제2가중계수와 동일하게 설정되도록 하기에 적합하게 된, 전자기기.
  39. 제34항에 있어서, 처리 모듈은 비디오 복호기 모듈을 포함하고 형성모듈 및 조정모듈은 비디오 복호기 모듈의 부분인, 전자기기.
  40. 제34항에 있어서, 처리 모듈은 비디오 부호기 모듈을 포함하고 형성모듈 및 조정모듈은 비디오 부호기 모듈의 부분인, 전자기기,
  41. 제34항에 있어서, 이동 단말을 포함하는 전자기기.
KR1020077026289A 2005-04-12 2006-04-12 편차 제어를 통한 움직임 보상된 미세 입도 규모 가변성비디오 부호화를 위한 방법 및 시스템 KR20080006607A (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US67079405P 2005-04-12 2005-04-12
US60/670,794 2005-04-12
US67126305P 2005-04-13 2005-04-13
US60/671,263 2005-04-13
US72452105P 2005-10-06 2005-10-06
US60/724,521 2005-10-06

Publications (1)

Publication Number Publication Date
KR20080006607A true KR20080006607A (ko) 2008-01-16

Family

ID=37086635

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077026289A KR20080006607A (ko) 2005-04-12 2006-04-12 편차 제어를 통한 움직임 보상된 미세 입도 규모 가변성비디오 부호화를 위한 방법 및 시스템

Country Status (5)

Country Link
US (1) US20070014348A1 (ko)
EP (1) EP1878257A1 (ko)
KR (1) KR20080006607A (ko)
TW (1) TW200704202A (ko)
WO (1) WO2006109141A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012036467A3 (en) * 2010-09-14 2012-05-31 Samsung Electronics Co., Ltd. Apparatus and method for multilayer picture encoding/decoding

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8401091B2 (en) * 2006-01-09 2013-03-19 Lg Electronics Inc. Inter-layer prediction method for video signal
CN101043619A (zh) * 2006-03-24 2007-09-26 华为技术有限公司 视频编码的误差控制系统和方法
WO2008010157A2 (en) * 2006-07-17 2008-01-24 Nokia Corporation Method, apparatus and computer program product for adjustment of leaky factor in fine granularity scalability encoding
KR101349837B1 (ko) * 2006-09-07 2014-01-10 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
KR20080034417A (ko) * 2006-10-16 2008-04-21 한국전자통신연구원 개선된 ａｒ-ｆｇｓ 및 ｆｇｓ 모션 리파인먼트 기법을적용하는 ｓｖｃ 부호화기, 복호화기 및 그곳에서의 부호화및 복호화 방법
CA2661981C (en) * 2006-11-09 2013-01-15 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
KR100896291B1 (ko) * 2006-11-17 2009-05-07 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
US8571104B2 (en) * 2007-06-15 2013-10-29 Qualcomm, Incorporated Adaptive coefficient scanning in video coding
US8428133B2 (en) 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
EP2164266B1 (en) 2007-07-02 2017-03-29 Nippon Telegraph and Telephone Corporation Moving picture scalable encoding and decoding method using weighted prediction, their devices, their programs, and recording media storing the programs
FR2932637B1 (fr) * 2008-06-17 2010-08-20 Canon Kk Procede et dispositif de codage d'une sequence d'images
KR101483497B1 (ko) * 2008-09-25 2015-01-20 에스케이텔레콤 주식회사 임펄스 신호를 고려한 영상 부호화/복호화 장치 및 방법
US20100098156A1 (en) 2008-10-16 2010-04-22 Qualcomm Incorporated Weighted prediction based on vectorized entropy coding
JP5344238B2 (ja) * 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
US9392274B2 (en) * 2012-03-22 2016-07-12 Qualcomm Incorporated Inter layer texture prediction for video coding
US9854259B2 (en) 2012-07-09 2017-12-26 Qualcomm Incorporated Smoothing of difference reference picture
US9843801B2 (en) * 2012-07-10 2017-12-12 Qualcomm Incorporated Generalized residual prediction for scalable video coding and 3D video coding
US9467692B2 (en) 2012-08-31 2016-10-11 Qualcomm Incorporated Intra prediction improvements for scalable video coding
US20140092977A1 (en) * 2012-09-28 2014-04-03 Nokia Corporation Apparatus, a Method and a Computer Program for Video Coding and Decoding
WO2014053519A1 (en) 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using inter-layer prediction of spatial intra prediction parameters
US9961363B2 (en) * 2012-10-09 2018-05-01 Intellectual Discovery Co., Ltd. Inter-layer prediction method for multi-layer video and device therefor
US10334259B2 (en) 2012-12-07 2019-06-25 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
GB2512563B (en) * 2013-01-04 2015-10-14 Canon Kk Method and apparatus for encoding an image into a video bitstream and decoding corresponding video bitstream with weighted residual predictions
US20140254681A1 (en) * 2013-03-08 2014-09-11 Nokia Corporation Apparatus, a method and a computer program for video coding and decoding
US9924191B2 (en) * 2014-06-26 2018-03-20 Qualcomm Incorporated Filters for advanced residual prediction in video coding
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
US20220279185A1 (en) * 2021-02-26 2022-09-01 Lemon Inc. Methods of coding images/videos with alpha channels

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6700933B1 (en) * 2000-02-15 2004-03-02 Microsoft Corporation System and method with advance predicted bit-plane coding for progressive fine-granularity scalable (PFGS) video coding
US20020037046A1 (en) * 2000-09-22 2002-03-28 Philips Electronics North America Corporation Totally embedded FGS video coding with motion compensation
US7042944B2 (en) * 2000-09-22 2006-05-09 Koninklijke Philips Electronics N.V. Single-loop motion-compensation fine granular scalability
US6944222B2 (en) * 2002-03-04 2005-09-13 Koninklijke Philips Electronics N.V. Efficiency FGST framework employing higher quality reference frames
CN100452668C (zh) * 2002-07-09 2009-01-14 诺基亚有限公司 用于在视频编码中选择插值滤波器类型的方法和系统
US7072394B2 (en) * 2002-08-27 2006-07-04 National Chiao Tung University Architecture and method for fine granularity scalable video coding

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012036467A3 (en) * 2010-09-14 2012-05-31 Samsung Electronics Co., Ltd. Apparatus and method for multilayer picture encoding/decoding
US8494294B2 (en) 2010-09-14 2013-07-23 Samsung Electronics Co., Ltd. Apparatus and method for multilayer picture encoding/decoding
US8774542B2 (en) 2010-09-14 2014-07-08 Samsung Electronics Co., Ltd. Apparatus and method for multilayer picture encoding/decoding

Also Published As

Publication number Publication date
WO2006109141A1 (en) 2006-10-19
US20070014348A1 (en) 2007-01-18
EP1878257A1 (en) 2008-01-16
WO2006109141A9 (en) 2007-12-27
TW200704202A (en) 2007-01-16

Similar Documents

Publication Publication Date Title
KR20080006607A (ko) 편차 제어를 통한 움직임 보상된 미세 입도 규모 가변성비디오 부호화를 위한 방법 및 시스템
KR20080085199A (ko) 움직임 보상이 있는 낮은 복잡도 미세 입도 규모가변성비디오 부호화를 위한 시스템 및 장치
US20080240242A1 (en) Method and system for motion vector predictions
KR100931870B1 (ko) 비디오 데이터를 효과적으로 코딩 및 디코딩하는 방법,장치 및 시스템
US20070160137A1 (en) Error resilient mode decision in scalable video coding
US20070009050A1 (en) Method and apparatus for update step in video coding based on motion compensated temporal filtering
US20070110159A1 (en) Method and apparatus for sub-pixel interpolation for updating operation in video coding
WO2007000657A1 (en) Method and apparatus for update step in video coding using motion compensated temporal filtering
US20070217502A1 (en) Switched filter up-sampling mechanism for scalable video coding
US20070030894A1 (en) Method, device, and module for improved encoding mode control in video encoding
CN102783151A (zh) 用于视频编码的装置、方法和计算机程序
JP2006295913A (ja) 空間的スケーラブルコーディングのためのアダプティブアップサンプリング方法および装置
KR100931871B1 (ko) 비디오 데이터의 효과적인 ｆｇｓ 부호화 및 복호화를 위한방법, 장치, 시스템
US20070201550A1 (en) Method and apparatus for entropy coding in fine granularity scalable video coding
CN101390398A (zh) 用于精细粒度可伸缩视频编码中的熵编码的方法和装置
CN101185340A (zh) 具有漂移控制的运动补偿精细粒度可伸缩视频编码方法和系统
Fakeh et al. Low-bit-rate scalable compression of mobile wireless video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application