KR20070014956A - 영상 신호의 인코딩 및 디코딩 방법 - Google Patents

영상 신호의 인코딩 및 디코딩 방법 Download PDF

Info

Publication number
KR20070014956A
KR20070014956A KR1020060051694A KR20060051694A KR20070014956A KR 20070014956 A KR20070014956 A KR 20070014956A KR 1020060051694 A KR1020060051694 A KR 1020060051694A KR 20060051694 A KR20060051694 A KR 20060051694A KR 20070014956 A KR20070014956 A KR 20070014956A
Authority
KR
South Korea
Prior art keywords
picture
layer
motion
fgs
motion vector
Prior art date
Application number
KR1020060051694A
Other languages
English (en)
Inventor
윤도현
전병문
박승욱
김동석
박지호
엄성현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20070014956A publication Critical patent/KR20070014956A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 신호를 인코딩 하고 디코딩 하는 방법에 관한 것이다. 본 발명에 따른 일 실시예에서, FGS 인핸스드 레이어가 베이스 퀄러티 픽처와 다른 시간의 FGS 인핸스드 픽처를 이용하여 인코딩/디코딩 될 때, FGS 인핸스드 픽처의 모션 보상에 낮은 정밀도로 양자화되는 채도 모션 벡터를 사용하여 분수 픽셀 단위의 인터폴레이션을 단순화한다. 또한, 다른 실시예에서, FGS 인핸스드 픽처에 대한 모션 보상은, 휘도 신호에 대해서만 수행하고, 채도 신호에 대해서는 생략하거나 수행 여부가 적응적으로 조절될 수 있다. 따라서, FGS 인핸스드 레이어를 인코딩 하거나 디코딩 할 때 수행되는 FGS 인핸스드 픽처에 대한 모션 보상 동작을 효율적으로 수행하게 된다.
베이스 레이어, 인핸스드 레이어, FGS, 채도 신호, 모션 보상, 모션 벡터, 양자화

Description

영상 신호의 인코딩 및 디코딩 방법 { Method for encoding and decoding video signal }
도 1은 클로즈드 루프 모션 보상 방법을 이용한 전통적인 FGS 구조를 도시한 것이고,
도 2는 오픈 루프 모션 보상 방법을 이용한 FGS 구조를 도시한 것이고,
도 3은 가중 모션 보상 방법이 FGS에 적용되는 예를 도시한 것이고,
도 4는 복합적인 모션 보상 방법을 이용한 FGS 구조를 도시한 것이고,
도 5는 복합적인 모션 보상 방법이 FGS 인핸스드 레이어가 복수 개가 있는 구조에 이용되는 예를 도시한 것이고,
도 6은 본 발명이 적용되는 영상 신호 인코딩 장치의 구성을 도시한 것이고,
도 7은 인코딩 된 데이터 스트림을 디코딩 하는 본 발명이 적용되는 장치의 블록도이다.
<도면의 주요부분에 대한 부호의 설명>
110 : 베이스 레이어 인코더 120 : FGS 인핸스드 레이어 인코더
130 : 먹서 210 : 디먹서
220 : 베이스 레이어 디코더 220 : FGS 인핸스드 레이어 디코더
본 발명은 영상 신호를 인코딩 하고 디코딩 하는 방법에 관한 것이다.
스케일러블 영상 코덱(SVC : Scalable Video Codec) 방식은 영상 신호를 인코딩 함에 있어, 최고 화질로 인코딩 하되, 그 결과로 생성된 픽처 시퀀스의 부분 시퀀스(시퀀스 전체에서 간헐적으로 선택된 프레임의 시퀀스)를 디코딩 하여 사용해도 어느 정도 화질의 영상 표현이 가능하도록 하는 방식이다.
스케일러블 방식으로 인코딩 된 픽처 시퀀스는 그 부분 시퀀스만을 수신하여 처리함으로써도 어느 정도 화질의 영상 표현이 가능하지만, 비트 레이트(bit rate)가 낮아지는 경우 화질 저하가 크게 나타난다. 이를 해소하기 위해서, 낮은 전송률을 위한 별도의 보조 픽처 시퀀스, 예를 들어 화면이 작거나 및/또는 초당 프레임 수 등이 낮은 픽처 시퀀스를 제공할 수도 있다.
보조 픽처 시퀀스를 베이스 레이어(base layer)로, 주 픽처 시퀀스를 인핸스드(enhanced) 레이어 또는 인핸스먼트(enhancement) 레이어라고 부른다. 베이스 레이어와 인핸스드 레이어는 동일한 영상 신호원을 인코딩 한 것으로, 두 레이어의 영상 신호에는 잉여 정보(리던던시(redundancy))가 존재한다. 따라서, 베이스 레이어를 제공하는 경우에는, 코딩 효율을 높이기 위해 레이어 간 예측 방법(interlayer prediction method)을 사용할 수 있다.
또한, 베이스 레이어의 SNR(Signal-to-Noise Ratio)을 향상, 즉 화질을 개선하기 위하여 인핸스드 레이어가 사용될 수도 있는데, 이를 SNR 스케일러빌러티, FGS(Fine Granular Scalability), 또는 점증적 리파인먼트(Progressive Refinement)라 한다.
FGS에 따르면, 각 화소에 대응되는 변환 계수(transform coefficients), 예를 들어 DCT(Discrete Cosine Transform) 계수가 비트 표현상의 해상도에 따라 베이스 레이어와 인핸스드 레이어로 나누어 인코딩 되고, 전송 환경이 나쁜 경우에는 인핸스드 레이어의 전송이 생략되어, 디코딩 되는 영상의 화질을 저하시키면서 비트 레이트를 낮출 수 있다. 즉, FGS는, 양자화 과정에서 발생하는 손실을 보상하기 위한 것으로, 전송 또는 디코딩 환경에 대응하여 비트 레이트를 제어할 수 있는 높은 유연성을 제공한다.
예를 들어, 변환 계수를 양자화 스텝 사이즈(일명 QP), 예를 들어 QP=32로 양자화하여 베이스 레이어가 생성되었다면, FGS 인핸스드 레이어 1은, 원래의 변환 계수와 베이스 레이어의 양자화된 계수를 역양자화하여 구한 변환 계수와의 차이에 대해서 QP 32보다 더 높은 품질에 대응되는 양자화 스텝 사이즈인, 예를 들어 QP=26으로 양자화하여 생성된다. 마찬가지로, FGS 인핸스드 레이어 2는, 원래의 변환 계수와, 베이스 레이어 및 FGS 인핸스드 레이어 1의 양자화된 계수의 합을 역양자화하여 구한 변환 계수와의 차이에 대해서, 예를 들어 QP=20으로 양자화하여 생성된다.
영상 신호가 베이스 레이어와 FGS 인핸스드 레이어로 인코딩 되는 경우, FGS 인핸스드 레이어 1을 레벨 1 또는 퀄러티 레벨 1이라고 한다. 마찬가지로, FGS 인핸스드 레이어 2를 레벨 2(또는 퀄러티 레벨 2), FGS 인핸스드 레이어 3을 레벨 3(또는 퀄러티 레벨 3)이라 하고, 베이스 레이어에 대해서는 레벨 0(또는 퀄러티 레벨 0)이라 한다.
이렇듯, FGS는 네트워크 대역폭(network bandwidth)이 변하는 경우, 즉 전송 환경이 일정하지 않은 경우에 매우 효과적인 방법이지만, 전통적인 FGS를 기반으로 하는 코딩 방법은 스케일러빌러티가 지원되지 않는 코딩 방법에 비해 코딩 효율이 상대적으로 떨어지는 현상을 보인다.
도 1은 클로즈드 루프(closed-loop) 모션 보상(motion compensation) 방법을 이용한 전통적인 FGS 구조로, 이러한 전통적인 FGS 방법이 비효율적인 이유를 보여주고 있다. 도 1에서, 픽처 P1, P2, P3의 모션 보상에 항상 베이스 퀄러티 픽처(Base quality picture)가 이용되는데, 이는 모션 예측을 위한 레퍼런스 픽처가 항상 상대적으로 품질이 낮은 것을 의미한다.
FGS 방법의 코딩 효율을 향상시키기 위해서, FGS 인핸스드 레이어가 모션 예측을 위한 레퍼런스 픽처로 사용될 수 있고, 이러한 방법은 오픈 루프(open-loop) 모션 보상으로 알려진다.
도 2는 오픈 루프 모션 보상 방법을 이용한 FGS 구조를 도시한 것이다. 도 2에 도시한 바와 같이, FGS 인핸스드 레이어가 모션 예측을 위한 레퍼런스 픽처가 된다. 레퍼런스 픽처의 퀄러티가 상대적으로 높기 때문에, 전체적인 코딩 효율이 향상될 수 있다.
하지만, 오픈 루프 모션 보상은 시간적인(temporal) 예측에 있어서 에러의 전파, 일명 드리프트(drift) 현상을 야기한다.
왜냐하면, 실질적으로 전송되는 FGS 데이터의 양은 순간적인 네트워크 대역폭에 따라 달라지게 되고, 인코더 쪽에서 가정하는 레퍼런스 픽처의 품질과 디코더 측에서 실제로 사용하게 되는 레퍼런스 픽처의 품질이 동일하지 않게 된다. 즉, 인코더와 디코더에서의 레퍼런스 픽처의 품질의 차이에 해당하는 에러가 시간 축을 따라 전파되어, 시간이 경과할수록 심각한 문제를 야기할 수 있기 때문이다.
이러한 오픈 루프 또는 클로즈드 루프 모션 보상의 문제점을 해결하기 위한 해법으로 모션 예측에 가중치가 적용되는 가중 예측(weighted prediction)(또는 leaky prediction이라고도 함)이 고려될 수 있다.
도 3은 가중 모션 보상 방법이 FGS에 적용되는 예를 도시한 것으로, 는 0 내지 1.0 사이의 가중치이다. 도 3에서, 가중치에 의해 시간이 지남에 따라 드리프트가 줄어들 수는 있지만, 인코더 측에서의 레퍼런스 픽처와 디코더 측에서의 레퍼런스 픽처 사이의 어긋남(mismatch) 때문에 드리프트가 발생할 가능성은 여전히 높다.
이러한 문제점을 해결하기 위하여, 가중치를 적용하여 또는 가중치를 적용하지 않고 복합적으로 모션 보상이 이루어지는 구조가 사용될 수 있는데, 도 4에 그러한 실시예가 도시되어 있다.
도 4는 복합적인 모션 보상 방법을 이용한 FGS 구조를 도시한 것으로, 와 는 0 내지 1.0 사이의 가중치이다.
도 4에서, 베이스 퀄러티 픽처는 이전 시간의 베이스 퀄러티 픽처를 이용하여 예측된다. 하지만, FGS 인핸스드 픽처는 이전 시간의 FGS 인핸스드 픽처와 같은 시간의 베이스 퀄러티 픽처를 모두 이용하여 예측되고, 이를 기초로 FGS 인핸스드 레이어가 생성된다.
복합적인 모션 보상 구조를 통해 현재 시간인 t1에서의 FGS 인핸스드 레이어를 구하기 위해서, 먼저 이전 시간인 t0의 FGS 인핸스드 픽처(베이스 레이어와 FGS 인핸스드 레이어로부터 복원되는 픽처) 및 현재 시간인 t1의 베이스 퀄러티 픽처(베이스 레이어로부터 복원되는 픽처)를 이용하여 t1에서의 FGS 인핸스드 픽처를 예측한다.
즉, 도 4에서와 같이, t1의 FGS 인핸스드 픽처는, t0의 FGS 인핸스드 픽처의 모션을 보상하여 만큼 가중하고, t1의 베이스 퀄러티 픽처를 만큼 가중하여, 이를 서로 더한 값으로 예측된다.
이후, t1에서의 원래 픽처와 상기 예측된 t1에서의 FGS 인핸스드 픽처의 차이를 변환, 예를 들어 DCT 변환하고 양자화하여, t1의 FGS 인핸스드 레이어를 구한다. 이때, 양자화의 스텝 사이즈는, 베이스 레이어를 구할 때 사용한 양자화 스텝 사이즈보다 더 높은 품질에 대응하는 값이 된다.
도 4에서와 같이, 베이스 퀄러티 픽처는 모션 예측을 위한 레퍼런스 픽처로 항상 베이스 퀄러티 픽처를 이용하기 때문에, 베이스 퀄러티 픽처에는 드리프트가 발생하지 않는다. FGS 인핸스드 픽처는, 모션이 보상된 이전 시간의 FGS 인핸스드 픽처, 또는 같은 시간의 베이스 퀄러티 픽처와 모션이 보상된 이전 시간의 FGS 인 핸스드 픽처의 선형 결합을 이용하여, 모션이 예측된다.
물론, FGS 코딩을 위한 예측 기준(predictor)으로 모션이 보상된 FGS 인핸스드 픽처가 이용되기 때문에, FGS 인핸스드 레이어에 드리프트가 발생할 수는 있다. 하지만, 앞서 설명한 바와 같이, 베이스 퀄러티 픽처에는 드리프트가 발생하지 않는다.
도 5는 복합적인 모션 보상 방법이 FGS 인핸스드 레이어가 복수 개가 있는 구조에 이용되는 예를 도시한 것이다. 도 4와 마찬가지로 와 는 0 내지 1.0 사이의 가중치이다.
도 4와 도 5와 같이 복합적으로 모션 보상이 이루어지는 경우, 디코더는 다수의 모션 보상 루프를 수행해야 한다. 모션 보상 동작은, 가장 복잡한 동작 중의 하나로, 디코더로 하여금 굉장히 많은 양의 계산을 하도록 하여 복잡도를 증가시킨다.
본 발명의 목적은, 영상 신호를 인코딩 또는 디코딩 할 때 수행되는 모션 보상 동작을 효율적으로 수행하는 방법을 제공하는데 있다.
본 발명의 구체적인 목적은, FGS 인핸스드 레이어를 인코딩 하거나 디코딩 할 때 수행되는 FGS 인핸스드 픽처에 대한 모션 보상 동작을 효율적으로 수행하는 방법을 제공하는데 있다.
상기한 목적을 달성하기 위해 본 발명의 일 실시예에 따른 영상 신호를 인코딩 하는 방법은, 제 1 픽처에 대한 제 2 레이어로부터 복원된 픽처를 모션 보상하는 단계; 및 상기 모션 보상된 픽처와 제 2 픽처에 대한 제 1 레이어로부터 복원된 픽처를 이용하여 상기 제 2 픽처에 대한 제 2 레이어를 생성하는 단계를 포함하여 이루어지고, 여기서, 상기 모션 보상에서, 채도 신호에 대한 모션 벡터는, 휘도 신호에 대한 모션 벡터로부터 유도되고, 상기 휘도 신호에 대한 모션 벡터보다 높지 않은 정밀도로 양자화되고, 상기 제 2 레이어는 제 1 레이어의 인코딩 과정에서 발생하는 에러를 보상하기 위한 레이어이고, 상기 제 1 픽처는 상기 제 2 픽처에 대한 모션 예측의 기준이 되는 픽처인 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따른 인코딩 된 영상 비트 스트림을 디코딩 하는 방법은, 제 1 픽처에 대한 제 2 레이어로부터 복원된 픽처를 모션 보상하는 단계; 및 상기 모션 보상된 픽처 및 제 2 픽처에 대한 제 1 레이어로부터 복원된 픽처를 이용하여, 상기 제 2 픽처에 대한 제 2 레이어로부터 픽처를 복원하는 단계를 포함하여 이루어지고, 여기서, 상기 모션 보상에서, 채도 신호에 대한 모션 벡터는, 휘도 신호에 대한 모션 벡터로부터 유도되고, 상기 휘도 신호에 대한 모션 벡터보다 높지 않은 정밀도로 양자화되고, 상기 제 2 레이어는 제 1 레이어의 인코딩 과정에서 발생하는 에러를 보상하기 위한 레이어이고, 상기 제 1 픽처는 상기 제 2 픽처에 대한 모션 예측의 기준이 되는 픽처인 것을 특징으로 한다.
상기 실시예들에서, 채도 신호에 대한 모션 벡터는 상기 휘도 신호에 대한 모션 벡터를 반올림하고 오른쪽과 왼쪽 방향으로 비트 쉬프트 함으로써 소정의 정밀도로 양자화되는데, 상기 반올림의 양과 비트 쉬프트의 양은, 휘도 신호와 채도 신호의 샘플링 포맷 및 원하는 정밀도에 의해 결정되는 것을 특징으로 한다.
분수 픽셀 단위의 인터폴레이션을 단순화하기 위해, 채도 신호에 대한 모션 벡터는 정수 픽셀 단위로 양자화될 수 있다.
또한, 본 발명의 다른 실시예에 따른 영상 신호를 인코딩 하는 방법은, 제 1 픽처에 대한 제 2 레이어로부터 복원된 픽처를 모션 보상하는 단계; 및 상기 모션 보상된 픽처와 제 2 픽처에 대한 제 1 레이어로부터 복원된 픽처를 이용하여 상기 제 2 픽처에 대한 제 2 레이어를 생성하는 단계를 포함하여 이루어지고, 여기서, 채도 신호에 대한 모션 보상의 수행 여부는 적응적으로 조절되고, 상기 제 2 레이어는 제 1 레이어의 인코딩 과정에서 발생하는 에러를 보상하기 위한 레이어이고, 상기 제 1 픽처는 상기 제 2 픽처에 대한 모션 예측의 기준이 되는 픽처인 것을 특징으로 한다.
또한, 본 발명의 또 다른 실시예에 따른 인코딩 된 영상 비트 스트림을 디코딩 하는 방법은, 제 1 픽처에 대한 제 2 레이어로부터 복원된 픽처를 모션 보상하는 단계; 및 상기 모션 보상된 픽처 및 제 2 픽처에 대한 제 1 레이어로부터 복원된 픽처를 이용하여, 상기 제 2 픽처에 대한 제 2 레이어로부터 픽처를 복원하는 단계를 포함하여 이루어지고, 여기서, 채도 신호에 대한 모션 보상의 수행 여부는 시퀀스 헤더 내의 시퀀스 파라미터 셋, 픽처 헤더 내의 픽처 파라미터 셋, 또는 슬라이스 헤더 중 적어도 어느 하나에 기록된 정보를 기초로 결정되고, 상기 제 2 레 이어는 제 1 레이어의 인코딩 과정에서 발생하는 에러를 보상하기 위한 레이어이고, 상기 제 1 픽처는 상기 제 2 픽처에 대한 모션 예측의 기준이 되는 픽처인 것을 특징으로 한다.
상기 실시예들에서, 상기 정보가 채도 신호에 대한 모션 보상을 수행하는 것을 가리킬 때, 상기 정보는 채도 신호에 대한 모션 벡터를 양자화하는 정밀도에 관한 정보를 더 제공하는 것을 특징으로 한다.
본 발명의 바람직한 실시예에 대해 첨부 도면을 참조하여 상세히 설명한다.
모션 보상과 관련된 동작 중에서, 분수 픽셀 단위의 인터폴레이션(fractional sample interpolation)의 계산이 가장 복잡하다.
본 발명에서, FGS 인핸스드 픽처의 색차(color difference) 또는 채도(chroma 또는 chrominance) 신호의 모션 보상에 대해서는, 베이스 퀄러티 픽처의 모션 보상에 사용되는 것과는 다른 별도의 방법이 적용된다.
상기 별도의 방법에는, 채도 신호의 모션 벡터를 유도하는 방법, 채도 신호를 인터폴레이션 하는 방법, 모션이 보상된 채도 신호를 가중하는 방법 등이 포함된다.
본 발명의 일 실시예에서, FGS 인핸스드 픽처의 모션 보상에 낮은 정밀도로 양자화되는 채도 모션 벡터를 사용하여, FGS 인핸스드 픽처의 채도 신호에 대한 모션 보상에 적용되는 분수 픽셀 단위의 인터폴레이션을 단순화한다.
채도 모션 벡터는 다음과 같이 유도된다.
- mvCLX[0]=((mvLX[0]+rh)>>h)<<h, mvCLX[1]=((mvLX[1]+rv)>>v)<<v
- chroma_FGS_mv_quantizer는, 정수 픽셀(integer pel) 정밀도에 대해서는 0, 1/2 pel 정밀도에 대해서는 1, 1/4 pel 정밀도에 대해서는 2
- h는 (log2(4*SubWidthC) - chroma_FGS_mv_quantizer)
- v는 (log2(4*SubHeightC) - chroma_FGS_mv_quantizer)
- rh는, h가 0이면 0, h가 0이 아니면 2^(h-1)
- rv는, v가 0이면 0, v가 0이 아니면 2^(v-1)
여기서, mvCLX[0]과 mvCLX[1]은 각각 채도 모션 벡터의 수평 성분과 수직 성분이고, 휘도(luma 또는 luminance) 모션 벡터의 수평 성분과 수직 성분인 mvLX[0]과 mvLX[1]로부터 유도된다. 또한, 휘도 모션 벡터의 정밀도는 1/4 pel이고, 채도 모션 벡터의 정밀도는, 수평 성분에 대해서는 1/(4*SubWidthC)이고 수직 성분에 대해서는 1/(4*SubHeightC)로, SubWidthC와 SubHeightC는 채도 신호의 샘플링 포맷에 의해 결정된다.
4:4:4 샘플링 포맷은, 휘도(Y)와 채도(Cb, Cr) 성분이 동일한 해상도를 갖고 있음을 의미하므로, SubWidthC와 SubHeightC는 1이다. 4:2:2 샘플링 포맷은, 채도 성분이 수평 방향으로는 휘도 성분과 동일한 해상도를 갖지만 수직 방향으로는 휘도 성분의 1/2의 해상도를 갖는 것을 의미하므로, SubWidthC는 1이고 SubHeightC는 2이다.
가장 널리 사용되는 4:2:0 샘플링 포맷은, 수평 방향과 수직 방향 모두 채도 성분이 휘도 성분의 1/2의 해상도를 갖는 것을 의미하므로, SubWidthC와 SubHeightC는 2이다. 따라서, 4:2:0 샘플링 포맷의 경우, 채도 모션 벡터의 정밀도는 1/8 픽셀이 된다.
따라서, 채도 모션 벡터는, 휘도 모션 벡터에 대해서 반올림 동작과 오른쪽과 왼쪽 방향의 비트 쉬프트 동작을 수행하여, 원하는 정밀도로 양자화되어 유도된다. 이때, 반올림의 양과 비트 쉬프트의 양은, 휘도 신호와 채도 신호의 샘플링 포맷(SubWidthC 또는 SubHeightC)과 원하는 정밀도에 의해 결정된다.
예를 들어, SubWidthC(SubHeightC)가 1인 4:4:4 샘플링 포맷에서 채도 모션 벡터를 1/4 pel 정밀도로 계산하고자 하는 경우, chroma_FGS_mv_quantizer는 2, h(v)는 0, rh(rv)는 0, mvCLX[0]=((mvLX[0]+0)>>0)<<0이 되어, 휘도 모션 벡터의 1/4 pel 정밀도가 유지된다.
또한, 4:4:4 샘플링 포맷에서 채도 모션 벡터를 1/2 pel 정밀도로 계산하고자 하는 경우, chroma_FGS_mv_quantizer는 1, h(v)는 1, rh(rv)는 1가 되어, mvCLX[0]=((mvLX[0]+1)>>1)<<1, 즉 채도 모션 벡터의 정밀도는 1/2 pel이 된다.
또한, 4:4:4 샘플링 포맷에서 채도 모션 벡터를 integer-pel 정밀도로 계산하고자 하는 경우, chroma_FGS_mv_quantizer는 0, h(v)는 2, rh(rv)는 2가 되어, mvCLX[0]=((mvLX[0]+2)>>2)<<2, 즉 채도 모션 벡터의 정밀도는 integer_pel이 된다.
FGS 인핸스드 픽처의 채도 신호에 대한 모션 보상에서 분수 픽셀 단위의 인터폴레이션을 수행하지 않기 위하여 채도 모션 벡터를 integer_pel의 정밀도로 양 자화하여 유도하는 경우, 앞서 설명한 과정에서 chroma_FGS_mv_quantizer를 0으로 하여 mvCLX[0]과 mvCLX[1]을 구한다.
본 발명의 다른 실시예에서는, FGS 인핸스드 픽처에 대한 모션 보상을 휘도 신호에 대해서만 수행하고 채도 신호에 대해서는 생략할 수 있다. 또는, 채도 신호에 대해서는 FGS 인핸스드 픽처의 모션 보상 여부를 적응적으로 조절할 수 있다.
이때, 채도 신호에 대한 FGS 인핸스드 픽처의 모션 보상 여부를 가리키기 위하여, 예를 들어 'disable_chroma_mc_FGS_flag'의 신택스 엘리먼트(syntax element)가, 시퀀스 헤더 내의 시퀀스 파라미터 셋(SPS : Sequence Parameter Set)에, 픽처 헤더 내의 픽처 파라미터 셋(PPS : Picture Parameter Set)에, 또는 슬라이스 헤더 내에 정의될 수 있다.
또한, 상기 'disable_chroma_mc_FGS_flag' 신택스 엘리먼트와 관련하여 다른 방법으로, 예를 들어 'chroma_mc_FGS_idc' 신택스 엘리먼트를 다음과 같이 정의하여 SPS, PPS, 또는 슬라이스 헤더 내에 포함시킬 수 있다.
- chroma_mc_FGS _idc가 0이면, 채도 신호에 대한 FGS 인핸스드 픽처의 모션 보상 동작은 수행되지 않는다.
- chroma_mc_FGS _idc가 1이면, FGS 인핸스드 픽처의 채도 신호에 대한 모션 보상을 수행하기 전에 채도 모션 벡터를 integer_pel 정밀도로 양자화하고, chroma_FGS_mv_quantizer는 0으로 설정한다.
- chroma_mc_FGS _idc가 2이면, FGS 인핸스드 픽처의 채도 신호에 대한 모션 보상을 수행하기 전에 채도 모션 벡터를 half_pel 정밀도로 양자화하고, chroma_FGS_mv_quantizer는 1로 설정한다.
- chroma_mc_FGS _idc가 3이면, FGS 인핸스드 픽처의 채도 신호에 대한 모션 보상을 수행하기 전에 채도 모션 벡터를 quarter_pel 정밀도로 양자화하고, chroma_FGS_mv_quantizer는 2로 설정한다.
- chroma_mc_FGS _idc가 4이면, 채도 모션 벡터는 양자화되지 않는다.
도 6은 본 발명이 적용되는 영상 신호 인코딩 장치의 구성을 도시한 것이다.
도 6의 영상 신호 인코딩 장치는, 입력되는 영상 신호를 소정의 방법으로 모션 예측하고 소정의 양자화 스텝 사이즈로 양자화하여 베이스 레이어 데이터를 생성하는 베이스 레이어(BL) 인코더(110), 상기 BL 인코더(110)로부터 제공되는 모션 정보와 베이스 레이어 데이터, 및 이전 시간의 FGS 인핸스드 레이어 데이터를 이용하여 FGS 인핸스드 레이어 데이터를 생성하는 FGS 인핸스드 레이어(FGS_EL) 인코더(120), 및 상기 BL 인코더(110)의 출력 데이터와 FGS_EL 인코더(120)의 출력 데이터를 소정의 방법으로 먹싱 하여 출력하는 먹서(130)를 포함하여 구성된다.
상기 FGS_EL 인코더(120)는, 상기 BL 인코더(110)로부터 제공되는 베이스 레이어 데이터로부터 각 시간의 베이스 퀄러티 픽처를 복원하고, 이전 시간의 FGS 인핸스드 레이어 데이터와 복원되는 이전 시간의 베이스 퀄러티 픽처를 이용하여 이전 시간의 FGS 인핸스드 픽처를 복원한다.
이후, 상기 FGS_EL 인코더(120)는, 상기 복원된 이전 시간의 FGS 인핸스드 픽처와 같은 시간의 베이스 퀄러티 픽처를 이용하여 현재 시간의 FGS 인핸스드 픽 처를 예측하고, 현재 시간에서 원래의 픽처와 상기 예측된 FGS 인핸스드 픽처의 차이를 변환하고, 베이스 레이어의 양자화 스텝 사이즈보다 높은 품질에 대응되는 양자화 스텝 사이즈로 양자화하여, 현재 시간의 FGS 인핸스드 레이어 데이터를 생성한다.
상기 FGS_EL 인코더(120)는, 현재 시간의 FGS 인핸스드 픽처를 예측할 때, 모션 추정(motion estimation)을 통해 상기 복원된 이전 시간의 FGS 인핸스드 픽처를 모션 보상하여 가중하거나, 또는 상기 BL 인코더(110)로부터 제공되는 모션 정보를 이용하여 상기 복원된 이전 시간의 FGS 인핸스드 픽처를 모션 보상하여 가중한다. 이때, 상기 FGS_EL 인코더(120)는, 앞서 설명한 바와 같이, FGS 인핸스드 픽처의 채도 신호의 모션 보상에 대해서는 베이스 퀄러티 픽처의 모션 보상에 사용되는 것과는 다른 별도의 방법을 적용한다.
즉, 상기 FGS_EL 인코더(120)는, FGS 인핸스드 픽처의 모션 보상을 수행할 때, 채도 모션 벡터에 대해서는 상기 모션 추정을 구한 휘도 모션 벡터 또는 상기 BL 인코더(110)로부터 제공되는 휘도 모션 벡터로부터 이를 유도하되 상기 휘도 모션 벡터보다 낮은 정도로 양자화함으로써, 많은 양의 계산을 필요로 하는 분수 픽셀 단위의 인터폴레이션을 단순화시킬 수 있다.
또한, 상기 FGS_EL 인코더(120)는, FGS 인핸스드 픽처에 대한 모션 보상을 휘도 신호에 대해서만 수행하고 채도 신호에 대해서는 생략하거나 또는 적응적으로 수행할 수 있다. FGS 인핸스드 픽처의 채도 신호에 대한 모션 보상을 적응적으로 하는 경우, 상기 FGS_EL 인코더(120)는, 이를 알리는 정보를 SPS, PPS, 또는 슬라 이스 헤더 내에 포함시킬 수 있다.
현재 시간의 FGS 인핸스드 레이어가 베이스 퀄러티 픽처를 기초로 생성될 때, 이전 시간의 FGS 인핸스드 픽처 대신 이후 시간의 FGS 인핸스드 픽처가 이용되는 경우도 있다. 이 경우에는, 이후 시간의 FGS 인핸스드 픽처가 현재 시간의 FGS 인핸스드 픽처보다 먼저 인코딩 되어, 현재 시간의 FGS 인핸스드 레이어의 인코딩에 이용된다.
인코딩 된 데이터 스트림은 유선 또는 무선으로 디코딩 장치에 전송되거나 기록 매체를 매개로 하여 전달된다.
도 7은, 인코딩 된 데이터 스트림을 디코딩 하는, 본 발명이 적용되는 장치의 블록도이다. 도 7의 디코딩 장치는, 수신되는 데이터 스트림에서 베이스 레이어와 인핸스드 레이어를 분리하는 디먹서(210), 입력되는 베이스 레이어 스트림을 정해진 방식으로 디코딩 하는 BL 디코더(220), 및 상기 BL 디코더(220)로부터 제공되는 모션 정보와 복원된 베이스 퀄러티 픽처, 이미 복원된, 이전 시간의 FGS 인핸스드 픽처, 및 입력되는 FGS 인핸스드 레이어 스트림을 이용하여 현재 시간의 FGS 인핸스드 레이어 픽처를 생성하는 FGS_EL 디코더(230)를 포함하여 구성된다.
상기 FGS_EL 디코더(230)는, 상기 BL 디코더(220)로부터 제공되는 같은 시간의 베이스 퀄러티 픽처와 상기 이전 시간의 FGS 인핸스드 픽처를 이용하여 현재 시간의 FGS 인핸스드 픽처를 예측하고, 입력되는 FGS 인핸스드 레이어 스트림을 역양자화 및 역변환하여 이를 상기 예측된 FGS 인핸스드 픽처에 더하여, 현재 시간의 FGS 인핸스드 픽처를 복원한다.
상기 FGS_EL 디코더(230)는, 현재 시간의 FGS 인핸스드 픽처를 예측할 때, 모션 추정을 통해 상기 이전 시간의 FGS 인핸스드 픽처를 모션 보상하여 가중하거나, 또는 상기 BL 디코더(220)로부터 제공되는 모션 정보를 이용하여 상기 이전 시간의 FGS 인핸스드 픽처를 모션 보상하고 가중한다.
상기 FGS_EL 디코더(230)는, FGS 인핸스드 픽처의 모션 보상을 수행할 때, 채도 모션 벡터에 대해서는 상기 모션 추정을 구한 휘도 모션 벡터 또는 상기 BL 디코더(220)로부터 제공되는 휘도 모션 벡터로부터 이를 유도하되 상기 휘도 모션 벡터보다 낮은 정도로 양자화함으로써, 많은 양의 계산을 필요로 하는 분수 픽셀 단위의 인터폴레이션을 단순화시킬 수 있다.
또한, 상기 FGS_EL 디코더(230)는, FGS 인핸스드 픽처에 대한 모션 보상을 휘도 신호에 대해서만 수행하고, SPS, PPS, 또는 슬라이스 헤더 내에 포함된 정보를 기초로 F 채도 신호에 대해서는 FGS 인핸스드 픽처에 대한 모션 보상을 생략하거나 또는 적응적으로 수행할 수 있다.
전술한 디코딩 장치는 이동 통신 단말기 등에 실장되거나 또는 기록 매체를 재생하는 장치에 실장될 수 있다.
이상, 전술한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것으로, 당업자라면 이하 첨부된 특허청구범위에 개시된 본 발명의 기술적 사상과 그 기술적 범위 내에서 또 다른 다양한 실시예들을 개량, 변경, 대체 또는 부가 등이 가능할 것이다.
따라서, FGS 인핸스드 레이어를 인코딩 하거나 디코딩 할 때 수행되는 FGS 인핸스드 픽처에 대한 모션 보상 동작을 효율적으로 수행하게 된다.

Claims (13)

  1. 제 1 픽처에 대한 제 2 레이어로부터 복원된 픽처를 모션 보상하는 단계; 및
    상기 모션 보상된 픽처와 제 2 픽처에 대한 제 1 레이어로부터 복원된 픽처를 이용하여 상기 제 2 픽처에 대한 제 2 레이어를 생성하는 단계를 포함하여 이루어지고,
    여기서, 상기 모션 보상에서, 채도 신호에 대한 모션 벡터는, 휘도 신호에 대한 모션 벡터로부터 유도되고, 상기 휘도 신호에 대한 모션 벡터보다 높지 않은 정밀도로 양자화되고, 상기 제 2 레이어는 제 1 레이어의 인코딩 과정에서 발생하는 에러를 보상하기 위한 레이어이고, 상기 제 1 픽처는 상기 제 2 픽처에 대한 모션 예측의 기준이 되는 픽처인 것을 특징으로 하는 영상 신호를 인코딩 하는 방법.
  2. 제 1항에 있어서,
    채도 신호에 대한 모션 벡터는, 상기 휘도 신호에 대한 모션 벡터를 반올림하고 오른쪽과 왼쪽 방향으로 비트 쉬프트 함으로써, 소정의 정밀도로 양자화되는 것을 특징으로 하는 영상 신호를 인코딩 하는 방법.
  3. 제 2항에 있어서,
    상기 반올림의 양과 비트 쉬프트의 양은, 휘도 신호와 채도 신호의 샘플링 포맷 및 원하는 정밀도에 의해 결정되는 것을 특징으로 하는 영상 신호를 인코딩 하는 방법.
  4. 제 1항에 있어서,
    채도 신호에 대한 모션 벡터는, 정수 픽셀 단위로 양자화되는 것을 특징으로 하는 영상 신호를 인코딩 하는 방법.
  5. 제 1 픽처에 대한 제 2 레이어로부터 복원된 픽처를 모션 보상하는 단계; 및
    상기 모션 보상된 픽처 및 제 2 픽처에 대한 제 1 레이어로부터 복원된 픽처를 이용하여, 상기 제 2 픽처에 대한 제 2 레이어로부터 픽처를 복원하는 단계를 포함하여 이루어지고,
    여기서, 상기 모션 보상에서, 채도 신호에 대한 모션 벡터는, 휘도 신호에 대한 모션 벡터로부터 유도되고, 상기 휘도 신호에 대한 모션 벡터보다 높지 않은 정밀도로 양자화되고, 상기 제 2 레이어는 제 1 레이어의 인코딩 과정에서 발생하는 에러를 보상하기 위한 레이어이고, 상기 제 1 픽처는 상기 제 2 픽처에 대한 모션 예측의 기준이 되는 픽처인 것을 특징으로 하는 인코딩 된 영상 비트 스트림을 디코딩 하는 방법.
  6. 제 5항에 있어서,
    채도 신호에 대한 모션 벡터는, 상기 휘도 신호에 대한 모션 벡터를 반올림 하고 오른쪽과 왼쪽 방향으로 비트 쉬프트 함으로써, 소정의 정밀도로 양자화되는 것을 특징으로 하는 인코딩 된 영상 비트 스트림을 디코딩 하는 방법.
  7. 제 6항에 있어서,
    상기 반올림의 양과 비트 쉬프트의 양은, 휘도 신호와 채도 신호의 샘플링 포맷 및 원하는 정밀도에 의해 결정되는 것을 특징으로 하는 인코딩 된 영상 비트 스트림을 디코딩 하는 방법.
  8. 제 5항에 있어서,
    채도 신호에 대한 모션 벡터는, 정수 픽셀 단위로 양자화되는 것을 특징으로 하는 인코딩 된 영상 비트 스트림을 디코딩 하는 방법.
  9. 제 1 픽처에 대한 제 2 레이어로부터 복원된 픽처를 모션 보상하는 단계; 및
    상기 모션 보상된 픽처와 제 2 픽처에 대한 제 1 레이어로부터 복원된 픽처를 이용하여 상기 제 2 픽처에 대한 제 2 레이어를 생성하는 단계를 포함하여 이루어지고,
    여기서, 채도 신호에 대한 모션 보상의 수행 여부는 적응적으로 조절되고, 상기 제 2 레이어는 제 1 레이어의 인코딩 과정에서 발생하는 에러를 보상하기 위한 레이어이고, 상기 제 1 픽처는 상기 제 2 픽처에 대한 모션 예측의 기준이 되는 픽처인 것을 특징으로 하는 영상 신호를 인코딩 하는 방법.
  10. 제 9항에 있어서,
    채도 신호에 대한 모션 보상의 수행 여부를 가리키는 정보를 시퀀스 헤더 내의 시퀀스 파라미터 셋, 픽처 헤더 내의 픽처 파라미터 셋, 또는 슬라이스 헤더 중 적어도 어느 하나에 기록하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 영상 신호를 인코딩 하는 방법.
  11. 제 10항에 있어서,
    상기 정보가 채도 신호에 대한 모션 보상을 수행하는 것을 가리킬 때, 상기 정보는 채도 신호에 대한 모션 벡터를 양자화하는 정밀도에 관한 정보를 더 제공하는 것을 특징으로 하는 영상 신호를 인코딩 하는 방법.
  12. 제 1 픽처에 대한 제 2 레이어로부터 복원된 픽처를 모션 보상하는 단계; 및
    상기 모션 보상된 픽처 및 제 2 픽처에 대한 제 1 레이어로부터 복원된 픽처를 이용하여, 상기 제 2 픽처에 대한 제 2 레이어로부터 픽처를 복원하는 단계를 포함하여 이루어지고,
    여기서, 채도 신호에 대한 모션 보상의 수행 여부는, 시퀀스 헤더 내의 시퀀스 파라미터 셋, 픽처 헤더 내의 픽처 파라미터 셋, 또는 슬라이스 헤더 중 적어도 어느 하나에 기록된 정보를 기초로 결정되고, 상기 제 2 레이어는 제 1 레이어의 인코딩 과정에서 발생하는 에러를 보상하기 위한 레이어이고, 상기 제 1 픽처는 상기 제 2 픽처에 대한 모션 예측의 기준이 되는 픽처인 것을 특징으로 하는 인코딩 된 영상 비트 스트림을 디코딩 하는 방법.
  13. 제 12항에 있어서,
    상기 정보가 채도 신호에 대한 모션 보상을 수행하는 것을 가리킬 때, 상기 정보는 채도 신호에 대한 모션 벡터를 양자화하는 정밀도에 관한 정보를 더 제공하는 것을 특징으로 하는 인코딩 된 영상 비트 스트림을 디코딩 하는 방법.
KR1020060051694A 2005-07-29 2006-06-09 영상 신호의 인코딩 및 디코딩 방법 KR20070014956A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US70346405A 2005-07-29 2005-07-29
US60/703,464 2005-07-29

Publications (1)

Publication Number Publication Date
KR20070014956A true KR20070014956A (ko) 2007-02-01

Family

ID=38080635

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060051694A KR20070014956A (ko) 2005-07-29 2006-06-09 영상 신호의 인코딩 및 디코딩 방법

Country Status (1)

Country Link
KR (1) KR20070014956A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014109594A1 (ko) * 2013-01-10 2014-07-17 삼성전자 주식회사 휘도차를 보상하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
CN112823520A (zh) * 2019-12-31 2021-05-18 北京大学 视频处理的方法与装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014109594A1 (ko) * 2013-01-10 2014-07-17 삼성전자 주식회사 휘도차를 보상하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US9877020B2 (en) 2013-01-10 2018-01-23 Samsung Electronics Co., Ltd. Method for encoding inter-layer video for compensating luminance difference and device therefor, and method for decoding video and device therefor
CN112823520A (zh) * 2019-12-31 2021-05-18 北京大学 视频处理的方法与装置
WO2021134666A1 (zh) * 2019-12-31 2021-07-08 北京大学 视频处理的方法与装置

Similar Documents

Publication Publication Date Title
US10334261B2 (en) Method and arrangement for transcoding a video bitstream
US20070195879A1 (en) Method and apparatus for encoding a motion vection
KR100888963B1 (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US8045616B2 (en) Image coding device, image coding method, image decoding device, image decoding method and communication apparatus
KR20220113326A (ko) 스케일러블 비디오 코딩 및 디코딩 방법과 이를 이용한 장치
US20050002458A1 (en) Spatial scalable compression
KR20060105409A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
US20090103613A1 (en) Method for Decoding Video Signal Encoded Using Inter-Layer Prediction
US20060133475A1 (en) Video coding
JP2005506815A5 (ko)
JP2005507589A5 (ko)
EP1878263A1 (en) Method and apparatus for scalably encoding/decoding video signal
KR20060122671A (ko) 영상 신호의 스케일러블 인코딩 및 디코딩 방법
JP2009543490A (ja) 画像符号化及び復号化
Bas et al. A new video-object watermarking scheme robust to object manipulation
US20080008241A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
KR20060069227A (ko) 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR20070014956A (ko) 영상 신호의 인코딩 및 디코딩 방법
KR20060059773A (ko) 베이스 레이어 픽처의 벡터를 이용하는 영상신호의엔코딩/디코딩 방법 및 장치
Campana et al. Multiple description coding schemes for the H. 264/AVC coder
WO2022199469A1 (en) Method, device, and medium for video processing

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination