KR101003416B1 - 영상 신호의 인코딩 및 디코딩 방법 - Google Patents

영상 신호의 인코딩 및 디코딩 방법 Download PDF

Info

Publication number
KR101003416B1
KR101003416B1 KR1020087027725A KR20087027725A KR101003416B1 KR 101003416 B1 KR101003416 B1 KR 101003416B1 KR 1020087027725 A KR1020087027725 A KR 1020087027725A KR 20087027725 A KR20087027725 A KR 20087027725A KR 101003416 B1 KR101003416 B1 KR 101003416B1
Authority
KR
South Korea
Prior art keywords
layer
upsampling
block
residual data
encoding
Prior art date
Application number
KR1020087027725A
Other languages
English (en)
Other versions
KR20090003321A (ko
Inventor
윤도현
박지호
박승욱
전병문
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20090003321A publication Critical patent/KR20090003321A/ko
Application granted granted Critical
Publication of KR101003416B1 publication Critical patent/KR101003416B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 명세서에는 영상 신호의 인코딩 방법이 개시된다. 본 방법은, 영상 신호를 인코딩하여 제1 레이어의 비트 스트림을 생성하는 단계와, 제1 레이어에 기초하여 영상 신호를 인코딩하여 제2 레이어의 비트 스트림을 생성하는 단계를 포함한다. 제1 레이어 내에서 이미지 차분에 대응하는 레지듀얼 데이터가 업샘플링되어 제2 레이어의 인코딩에 사용되는 경우, 모션 보상에 기초하여 예측된 각 블록에 대해 레지듀얼 데이터가 업샘플링된다.
영상

Description

영상 신호의 인코딩 및 디코딩 방법{METHOD OF ENCODING AND DECODING VIDEO SIGNALS}
본 발명은 영상 신호의 인코딩 및 디코딩 방법에 관한 것이다.
스케일러블 영상 코덱(SVC; Scalable Video Codec) 방식은 영상을 최고 화질로 인코딩하되, 상기 인코딩에 의해 생성된 픽처 시퀀스 중 일부(전체 픽처 시퀀스 중에서 간헐적으로 선택되는 프레임들의 시퀀스)만을 디코딩하여 사용하여도 이미지를 어느 정도의 화질의 영상 표현이 가능하도록 하는 영상 신호 인코딩 방식이다.
이러한 스케일러블 방식을 이용하여 인코딩된 픽처 시퀀스는 비록 그 중 일부 시퀀스만이 수신되어 처리되더라도 어느 정도의 화질로 표현될 수 있다. 비트 레이트가 낮은 경우, 화질이 상당히 저하된다. 이러한 문제점을 해결하기 위해, 저 비트 레이트를 위한 별도의 보조 픽처 시퀀스, 예를 들어, 소 화면 및/또는 프레임 레이트가 낮은 픽처 시퀀스가 제공될 수 있다.
보조 픽처 시퀀스는 베이스 레이어라 하고, 주 픽처 시퀀스는 인핸스드(enhanced) 레이어 또는 인핸스먼트(enhancement) 레이어라 한다. 베이스 레이어 및 그 인핸스드 레이어는 동일한 소스 영상 신호를 인코딩하여 얻은 결과이다. 이들 2개 레이어의 신호에는, 잉여 정보(리던던시(redundancy))가 존재한다. 따라서, 베이스 레이어가 제공되는 경우, 코딩 효율을 높이기 위하여, 베이스 레이어의 모션 정보 및/또는 이미지 데이터인 텍스처 정보를 이용하여 인핸스드 레이어의 영상 신호를 예측하고, 이러한 예측에 기초하여 인코딩을 수행하는 레이어간 예측 방법(interlayer prediction method)을 사용할 수 있다.
베이스 레이어의 텍스처 정보를 이용하는 예측 방법에는, 인트라 베이스 예측 모드(intra base prediction mode)와 레지듀얼 예측 모드(residual prediction mode)가 있다.
인트라 베이스 예측 모드(이하, 간략히 ‘인트라 베이스 모드’라고도 함)는, 인핸스드 레이어의 매크로 블록에 대응되고(매크로 블록을 포함하는 프레임과 동시간의 베이스 레이어의 프레임 내에 위치하고, 인핸스드 레이어와 베이스 레이어의 화면 크기의 비율에 따라 확대될 때 매크로 블록을 커버하는 영역을 갖는 블록을 의미함), 인트라 모드(intra mode)로 인코딩된 베이스 레이어의 블록을 기초로, 인핸스드 레이어의 매크로 블록을 예측하고 인코딩하는 방법이다. 이 경우, 베이스 레이어의 대응 블록은 이미지 데이터를 갖도록 디코딩된 후, 업샘플링(up-sampling)을 통해 인핸스드 레이어와 베이스 레이어의 화면 크기의 비욜로 확대되어 사용된다.
레지듀얼 예측 모드는, 이미지 데이터를 갖는 인코딩되는 베이스 레이어의 대응 블록을 사용하는 것이 아니라, 이미지 차이값인 레지듀얼 데이터를 갖도록 인 코딩된 베이스 레이어의 대응 블록을 사용한다는 점을 제외하고는, 인트라 베이스 모드와 유사하다. 인터 모드로 인코딩되어 레지듀얼 데이터를 갖는 베이스 레이어의 대응 블록에 기초하여, 인터 모드로 인코딩되어 레지듀얼 데이터를 갖는 인핸스드 레이어의 매크로 블록에 대한 예측 데이터가 생성된다. 이 때, 레지듀얼 데이터를 갖는 베이스 레이어의 대응 블록은, 인트라 베이스 모드에서와 같이, 업샘플링을 통해 확대되어 사용된다.
도 1은 인터 모드로 인코딩되어 레지듀얼 데이터를 갖는 인핸스드 레이어의 영상 블록을 베이스 레이어의 레지듀얼 데이터를 이용하여 디코딩하는 실시예를 도시하고 있다.
인핸스드 레이어의 이미지 블록이 레지듀얼 예측 모드로 인코딩되었음을 나타내는 레지듀얼 예측 플래그가 ‘1’로 설정된 경우, 베이스 레이어의 대응 레지듀얼 데이터가 인핸스드 레이어의 레지듀얼 데이터에 더해진다.
베이스 레이어와 인핸스드 레이어의 공간 해상도가 서로 일치하지 않는 경우, 베이스 레이어의 레지듀얼 데이터가 먼저 업샘플링된다. 레지듀얼 데이터에 대한 업샘플링(이하, 간략히 ‘레지듀얼 업샘플링’이라고도 함)은, 이미지 데이터로의 디코딩 이후 업샘플링이 수행되는 인트라 베이스 모드에서의 업샘플링과는 달리, 아래의 방식으로 수행된다.
1. 인핸스드 레이어의 해상도가 베이스 레이어의 해상도의 2배인 경우(다이어딕인 경우; dyadic case), 바이 리니어(bi-linear) 보간 방법이 사용된다.
2. 다이어딕이 아닌 경우(non-dyadic case), 6 탭(tap) 보간 필터가 사용된 다.
3. 동일 변환 블록(transform block) 내의 픽셀만을 사용하여 업샘플링이 수행된다. 변환 블록의 경계를 넘는 업샘플링 필터링은 허용되지 않는다.
도 2는 다이어딕인 경우 4 x 4 레지듀얼 블록의 업샘플링의 일 예를 도시하고 있다. 레지듀얼 업샘플링을 위해 간단한 바이 리니어 보간이 사용되지만, 다른 변환 블록내의 픽셀들을 사용하는 것을 회피하기 위해서, 변환 블록의 경계에는 바이 리니어 보간이 적용되지 않는다. 따라서, 도 2에 도시된 바와 같이, 변환 블록의 경계에 존재하는 픽셀들의 업샘플링을 위해서는 해당 블록의 픽셀들만이 사용된다. 또한, 변환 블록의 경계에 있는 픽셀들에 대해서는 경계에 대한 픽셀들의 상대적인 위치에 따라 서로 다른 연산이 수행된다.
변환 연산은 서로 다른 블록 크기에 대해 수행될 수 있기 때문에, 변환 블록의 경계는 베이스 레이어의 변환 블록의 크기(예를 들어, 4 x 4, 8 x 8, … 등)를 고려하여 결정되어야 한다.
업샘플링 프로세스들은, 베이스 레이어와 인핸스드 레이어의 해상도의 비율이 다이어딕이 아닌 경우에도, 6 탭 보간 필터가 사용된다는 점을 제외하고는 기본적으로 동일하다. 다른 변환 블록 내의 픽셀은 레지듀얼 업샘플링에 사용되지 않는다.
또한, 휘도 분의 신호 및 색차 성분의 신호에 동일한 업샘플링이 적용된다.
도 3은 인트라 베이스 모드로 인코딩된 인핸스드 레이어의 이미지 블록을 베이스 레이어의 디코딩된 이미지 데이터를 사용하여 디코딩하는 실시예를 도시하고 있다.
인트라 베이스 모드에서의 업샘플링에서는, 변환 블록의 경계가 고려되지 않으며, 휘도 신호와 색차 신호 양자 모두에 6 탭 보간 필터가 적용된다.
본 발명의 목적은 레이어간 예측에서 베이스 레이어를 간단하고도 효율적으로 업샘플링하는 방법을 제공하는 것이다.
전술한 목적을 달성하기 위해, 본 발명은, 영상 신호를 인코딩하는 방법을 제공하는데, 본 방법은, 영상 신호를 인코딩하여 제1 레이어의 비트 스트림을 생성하는 단계와; 상기 제1 레이어에 기초하여 상기 영상 신호를 인코딩하여 제2 레이어의 비트 스트림을 생성하는 단계를 포함하고, 상기 제1 레이어 내의 이미지 차분에 대응하는 레지듀얼 데이터가 업샘플링되어 상기 제2 레이어의 인코딩을 위해 사용되는 경우, 상기 레지듀얼 데이터는 모션 보상에 따라 예측되는 블록에 기초하여 업샘플링되는 것을 특징으로 한다.
또한, 본 발명은, 인코딩된 영상 비트 스트림을 디코딩하는 방법을 제공하는데, 본 방법은, 제1 레이어의 비트 스트림을 디코딩하는 단계와; 상기 제1 레이어에 기초하여 제2 레이어의 비트 스트림을 디코딩하는 단계를 포함하고, 이미지 차분에 대응하는 상기 제1 레이어 내에서의 레지듀얼 데이터가 업샘플링되어 상기 제2 레이어의 디코딩을 위해 사용되는 경우, 상기 레지듀얼 데이터는 모션 보상에 따라 예측되는 블록에 기초하여 업샘플링되는 것을 특징으로 한다.
일 실시예에서, 상기 제1 레이어와 상기 제2 레이어의 해상도의 비율은 2인 경우, 상기 레지듀얼 데이터는 바이 리니어 보간 필터를 사용하여 업샘플링된다. 이와는 대조적으로, 상기 제1 레이어와 상기 제2 레이어의 해상도의 비율이 2가 아닌 경우, 상기 레지듀얼 데이터는 6 탭 보간 필터를 사용하여 업샘플링 된다.
또한, 본 발명은, 영상 신호를 인코딩하는 방법을 제공하는데, 본 방법은, 영상 신호를 인코딩하여 제1 레이어의 비트 스트림을 생성하는 단계와; 상기 제1 레이어에 기초하여 영상 신호를 인코딩하여 제2 레이어의 비트 스트림을 생성하는 단계를 포함하고, 상기 제1 레이어가 업샘플링되어 상기 제2 레이어의 인코딩을 위해 사용되는 경우, 휘도 데이터와 색차 데이터에 각각 서로 다른 업샘플링 방식이 적용되는 것을 특징으로 한다.
또한, 본 발명은, 인코딩된 영상 비트 스트림을 디코딩하는 방법을 제공하는데, 본 방법은, 제1 레이어의 비트 스트림을 디코딩하는 단계와; 상기 제1 레이어에 기초하여 제2 레이어의 비트 스트림을 디코딩하는 단계를 포함하고, 상기 제1 레이어가 업샘플링되어 상기 제2 레이어의 디코딩을 위해 사용되는 경우, 휘도 데이터와 색차 데이터에 각각 서로 다른 업샘플링 방식이 적용되는 것을 특징으로 한다.
일 실시예에서, 상기 휘도 데이터는 6 탭 보간 필터를 사용하여 업샘플링되는 한편, 상기 색차 데이터는 바이 리니어 보간 필터를 사용하여 업샘플링 된다. 이러한 경우, 색차 데이터의 업샘플링에 가중치가 적용될 수 있고, 이러한 가중치는 제1 레이어와 제2 레이어의 색차 데이터 샘플들간 상대적 위치 및/또는 위상 차이에 기초하여 결정될 수 있다.
일 실시예에서, 이미지 차분에 대응하는 제1 레이어내의 레지듀얼 데이터가 제1 레이어와 제2 레이어의 해상도의 비율에 대응하는 2배 업샘플링되는 경우, 4개의 특정 색차 데이터 샘플들 사이에 삽입될 샘플들은 동일한 수학식을 사용하여 산출된다. 이 경우, 삽입될 샘플들 각각은 상기 4개 샘플들에 속하고 대각선 방향으로 위치되는 2개의 대응 픽셀들의 평균값으로서 산출될 수 있다.
베이스 레이어가 레이어간 예측으로 업샘플되는 경우, 특별히 처리되어야 할 픽셀들의 수가 감소되고, 이에 따라 업샘플링의 효율이 향상되며, 보다 간소화된 연산의 적용을 통해 연산 부하가 감소될 수 있다.
이하, 서로 다른 도면에서 동일한 참조부호는 동일하거나 유사한 구성요소를 지시하는 도면을 참조하여 보자.
도 4는 매크로 블록, 변환 블록 및 파티셔닝의 여러 예를 도시하고 있다.
매크로 블록은 일반적으로 16 x 16 픽셀 크기이다. DCT와 같은 변환은 4 x 4 또는 8 x 8 블록 단위로 수행되는데, 이 중에서 코딩 효율이 높은 것이 선택된다. 이 경우, ‘파티셔닝’, ‘매크로 블록 타입’ 또는 ‘모드’라는 용어는, 레퍼런스 블록을 포함하는 레퍼런스 프레임(레퍼런스 인덱스) 및/또는 레퍼런스 블록에 대한 변위를 나타내는 모션 벡터(레퍼런스 인덱스와 모션 벡터를 모션 정보라 함)가 상호 일치하는 서브 블록이 병합되는 다양한 형상들, 또는 일부 모션 정보가 상호 일치하는 블록들이 조합되는 매크로 블록의 파티셔닝 중 어느 하나를 칭한다.
예를 들어, AVC 규격에서는, 모드나 파티셔닝, 레퍼런스 인덱스 및 모션 벡 터 등의 모션 정보가 정의되는 최소 단위가 정해져 있다. 모션 벡터는 최소 크기가 4 x 4인 서브 블록에 기초하여 정의되고, 레퍼런스 인덱스는 최소 크기가 8 x 8인 서브 매크로 블록에 기초하여 정의된다. 또한, 모션 벡터와 레퍼런스 인덱스는 최대 크기가 16 x 16인 매크로 블록에 기초하여 정의될 수 있다. 모션 벡터가 동일한 4 x 4 서브 블록이 상호 병합되는 경우, 4 x 8, 8, x 4, 8 x 8, 8 x 16, 16 x 8 또는 16 x 16 단위로 모션 벡터가 정의될 수 있다. 이와 동일한 방식으로, 레퍼런스 인덱스가 동일한 8 x 8 서브 매크로 블록이 상호 병합되는 경우, 8 x 16, 16 x 8 또는 16 x 16 단위로 레퍼런스 인덱스가 정의될 수 있다.
MB0에서, 변환 블록의 크기는 4 x 4이고, 파티셔닝은 1개의 8 x 8 블록과, 1개의 8 x 8 블록과, 2개의 8 x 4 블록과, 2개의 4 x 8 블록으로 이루어진다. MB1에서, 변환 블록의 크기는 8 x 8이고, 파티셔닝은 16 x 8 모드, 즉, 2개의 16 x 8 블록으로 이루어진다. MB2에서, 변환 블록의 크기는 8 x 8이고, 파티셔닝은 8 x 16 모드, 즉, 2개의 8 x 16 블록으로 이루어진다. MB3에서, 변환 블록의 크기는 4 x 4이고, 파티셔닝은 16 x 16 모드, 즉, 하나의 16 x 16 블록으로 이루어진다.
레지듀얼 업샘플링에서, 고려 대상인 블록의 경계에 존재하는 픽셀들과 블록 내부에 존재하는 픽셀들은, 도 2에 도시된 바와 같이, 서로 다른 연산을 통해 새로운 픽셀들이 생성된다.
고려 대상인 블록의 경계에 존재하지 않는 픽셀들에 대해서는, 바이 리니어 보간 필터 또는 6 탭 보간 필터가 일괄적으로 사용된다. 블록의 경계에 존재하는 픽셀들에 대해서는 경계에 대한 픽셀들의 위치에 따라 서로 다른 연산들이 수행된 다. 즉, 별도의 연산들이 수행되는 픽셀들의 수, 환언하면, 경계에 존재하는 픽셀들의 수를 감소시키고, 일괄적으로 처리될 수 있는 픽셀들의 수를 증가시킨다면, 레지듀얼 업샘플링이 간소화될 수 있다.
따라서, 본 발명의 제1 실시예에서는, 레지듀얼 업샘플링이 수행되는 경우, 변환 블록의 경계 대신에 모션 보상 예측 파티셔닝을 위한 경계만이 고려된다.
즉, 변환 블록의 경계가 모션 보상 예측 파티셔닝을 위한 경계가 아닌 한, 업샘플링을 위한 필터링은 변환 블록의 경계를 넘어서 적용된다. 이 경우, 변환 블록의 경계 및 모션 보상 예측 파티셔닝을 위한 경계로서, 인핸스드 레이어의 경계가 아니라 베이스 레이어의 경계가 사용된다.
MB0에서는, 4 x 4 변환 블록의 경계 대신에, 위쪽 2개의 8 x 8 예측 블록과, 좌측 아래쪽 2개의 8 x 4 예측 블록과, 우측 아래쪽 2개의 4 x 8 예측 블록이 블록의 경계로서 고려되고, 이 경계에 존재하는 픽셀들에 대해서는 레지듀얼 업샘플링을 위한 서로 다른 연산들이 수행된다.
MB1에서는, 8 x 8 변환 블록의 경계 대신에 2개의 16 x 8 예측 블록의 경계가 업샘플링 필터를 적용할지 여부를 결정하는 블록의 경계이다. 동일한 방식으로, MB2에서는, 8 x 8 변환 블록의 경계 대신에 2개의 8 x 16 예측 블록의 경계가 블록의 경계로서 고려된다. 또한, MB3에서는, 4 x 4 변환 블록의 경계 대신에 16 x 16 매크로 블록의 경계가 블록의 경계로서 고려된다.
일반적으로, 영상 신호는 색차 정보(Cb, Cr)과 관련된 성분과 휘도 정보(Y)와 관련된 성분이 상호 분리되어 관리된다. 휘도 신호 대 색차 신호의 샘플링 비율 은 일반적으로 4:2:0이다. 색차 신호의 샘플들은 휘도 신호의 샘플들 사이에 위치된다. 즉, 영상 신호에 대해, 색차 신호의 샘플들의 수는 휘도 신호의 샘플들의 수보다 적다. 그 이유는 인간의 시신경이 색차 신호보다 휘도 신호에 민감하기 때문이다.
따라서, 본 발명의 제2 실시예에서는, 휘도 신호와 색차 신호에 대해 서로 다른 업샘플링 필터가 적용된다. 휘도 신호에 대한 샘플링 필터보다 간단한 샘플링 필터가 색차 신호에 적용된다.
도 5는, 본 발명의 제2 실시예에 따라, 레지듀얼 데이터를 갖는 베이스 레이어의 휘도 신호와 색차 신호를 서로 다른 방법을 사용하여 업샘플링하고, 인터 모드로 인코딩되어 레지듀얼 데이터를 갖는 인핸스드 레이어를 상기 업샘플링 결과를 사용하여 디코딩하는 프로세스를 도시하고 있다.
도 6은, 본 발명의 제2 실시예에 따라, 디코딩된 이미지 데이터를 갖는 베이스 레이어의 휘도 신호와 색차 신호를 서로 다른 방법을 사용하여 업샘플링하고, 인트라 베이스 모드로 인코딩되었던 인핸스드 레이어를 상기 업샘플링 결과를 사용하여 디코딩하는 프로세스를 도시하고 있다.
도 5 및 도 6에 도시된 바와 같이, 휘도 신호와 색차 신호에는 서로 다른 필터링 방법들이 적용된다. 도 5 및 도 6의 업샘플링 방법 1(upsampling method 1)은 휘도 신호를 업샘플링하는 필터링 방법이고, 도 5 및 도 6의 업샘플링 방법 2(upsampling method 2)는 색차 신호를 업샘플링하는 필터링 방법이다.
본 발명의 제2 실시예에서는, 휘도 신호를 업샘플링하기 위한 필터로서, 예 를 들어, 6 탭 보간 필터가 사용되고, 색차 신호를 업샘플링하기 위한 필터로서, 예를 들어, 바이 리니어 보간 필터가 사용될 수 있다.
한편, 레지듀얼 데이터는 인코딩 하고자 하는 영상 블록과 상기 영상 블록과 유사한 이미지 데이터를 갖는 기준 블록간 차분값으로 이루어져서, 데이터의 절대값은 작고 인접 픽셀들간 값의 변화가 적다. 또한, 전술된 바와 같이, 색차 신호는 휘도 신호에 비하여 인간의 시신경을 덜 자극한다.
이는, 레지듀얼 데이터를 갖는 휘도 신호의 업샘플링에 비해 레지듀얼 데이터를 갖는 색차 신호의 업샘플링에 보다 간단한 방법이 적용될 수 있다는 것을 의미한다. 또한, 디코딩된 이미지 데이터를 갖는 색차 신호의 업샘플링(인트라 베이스 모드)에 비해 레지듀얼 데이터를 갖는 색차 신호의 업샘플링(레지듀얼 예측 모드)에 보다 간단한 방법이 적용될 수 있다는 것을 의미한다.
따라서, 예를 들어, 베이스 레이어와 인핸스드 레이어의 해상도의 비율이 다이어딕인 경우, 경계(변환 블록의 경계 또는 모션 보상 예측 파티셔닝의 경계)내의 색차 신호들의 레지듀얼 업샘플링(도 5의 레지듀얼 업샘플링 방법 2)은 h = v = d = A + D + 1 >> 1 또는 h = v = d = B + C + 1 >> 1로 정의되어, 업샘플링을 위한 연산 부하가 감소될 수 있다.
이 경우, A, B, C, D, h, v 및 d의 상대적인 위치는 도 7에 도시되어 있다. A, B, C 및 D 색차 신호의 픽셀들(샘플들) 사이에 삽입될 픽셀들은 서로 다른 수학식을 사용하여 계산되는 것이 아니고, 픽셀들 각각은 동일한 수학식을 사용하여 대각선 방향으로 위치되는 2개의 대응 픽셀들의 평균값으로서 간단히 산출된다.
이와는 대조적으로, 베이스 레이어와 인핸스드 레이어의 해상도의 비율이 다이어딕이 아닌 경우에는, 변환 블록의 경계 또는 모션 보상 예측 파티셔닝의 경계 내의 색차 신호들의 레지듀얼 업샘플링이 바이 리니어 보간 필터를 사용하여 수행될 수 있는데, 이 경우에는 베이스 레이어와 인핸스드 레이어의 색차 샘플들(픽셀들) 사이의 상대적인 위치 및/또는 위상 차이(shift)를 고려하여 가중치가 결정된다.
또한, 인트라 베이스 모드의 색차 신호의 업샘플링에서는(도 6의 업샘플링 방법 2), 휘도 신호에 대해 사용되는 6 탭 보간 필터에 비해 간단한 바이 리니어 보간 필터를 사용하여 베이스 레이어의 색차 신호의 픽셀들이 업샘플링된다. 이 경우, 베이스 레이어와 인핸스드 레이어의 색차 샘플들 사이의 상대적인 위치 및/또는 위상 차이(shift)를 고려하여 가중치가 결정된다.
한편, 인핸스드 레이어를 레지듀얼 예측 모드 또는 인트라 베이스 모드로 인코딩하는 경우, 및 레지듀얼 예측 모드 또는 인트라 베이스 모드로 인코딩된 인핸스드 레이어를 디코딩하는 경우, 베이스 레이어의 업샘플링이 수행된다.
따라서, 본 발명에 따른 업샘플링 방법은 레이어간 예측 방법을 사용하여 영상 신호를 인코딩하고 디코딩하는 인코딩 장치 및 디코딩 장치에 모두 적용될 수 있다.
또한, 본 발명에 따른 업샘플링 방법이 적용되는 디코딩 장치는 휴대용 통신 단말 또는 기록 매체 재생 장치에 탑재될 수 있다.
본 발명이 바람직한 실시예가 예시적인 목적으로 개시되었지만, 당업자라면 본 발명의 사상 및 범위를 일탈하지 않고 본 발명에 대한 다양한 개선, 부가 및 대체가 이루어질 수 있다는 점을 이해할 것이다.
본 발명의 전술한 목적 및 그 외의 목적과, 특징 및 기타 이점 등은 첨부 도면과 함께 이하의 상세한 설명으로부터 보다 자명하게 이해될 것이다.
도 1은 인터 모드로 인코딩되어 레지듀얼 데이터를 갖는 인핸스드 레이어가, 베이스 레이어의 레지듀얼 데이터를 사용하여 디코딩되는 실시예를 도시하고 있는 도면.
도 2는 다이어딕인 경우 4 x 4 레지듀얼 블록을 업샘플링하는 예를 도시하는 도면.
도 3은 인트라 베이스 모드로 인코딩된 인핸스드 레이어가, 베이스 레이어의 디코딩된 이미지 데이터를 사용하여 디코딩되는 실시예를 도시하는 도면.
도 4는 매크로 블록, 변환 블록 및 파티셔닝의 여러 예를 도시하는 도면.
도 5는 본 발명의 제2 실시예에 따라, 레지듀얼 데이터를 갖는 베이스 레이어의 휘도 신호와 색차 신호를 서로 다른 방식을 업샘플링하고, 인터 모드로 인코딩되어 레지듀얼 데이터를 갖는 인핸스드 레이어를 이러한 업샘플링의 결과를 사용하여 디코딩하는 과정을 도시하는 도면.
도 6은 본 발명의 제2 실시예에 따라, 디코딩된 이미지 데이터를 갖는 베이스 레이어의 휘도 신호와 색차 신호를 서로 다른 방식을 사용하여 업샘플링하고, 업샘플링한 결과를 이용하여 인트라 베이스 모드로 인코딩된 인핸스드 레이어를 디코딩하는 프로세스를 도시하는 도면.
도 7은 레지듀얼 데이터를 갖는 색차 신호가 2배 업샘플링되는 본 발명의 제 2 실시예에서의 각 픽셀의 상대적인 위치를 도시하는 도면.

Claims (4)

  1. 비디오 신호로부터 참조 블록의 위치 정보와 제 1 레지듀얼 데이터를 획득하는 단계; - 여기서, 상기 참조 블록은 제 1 레이어 상에 존재하고, 현재 블록에 의해 참조되며, 상기 제 1 레지듀얼 데이터는 상기 제 1 레이어 상의 데이터임.
    상기 참조 블록의 위치 정보와 상기 제 1 레지듀얼 데이터에 기초하여 제 2 레지듀얼 데이터를 획득하는 단계; - 여기서, 상기 제 2 레지듀얼 데이터는 양-선형(바이-리니어) 보간 필터에 의해 획득됨.
    상기 제 2 레지듀얼 데이터를 이용하여 상기 현재 블록을 디코딩하는 단계를 포함하되,
    상기 참조 블록의 위치 정보는 상기 제 1 레이어의 샘플과 제 2 레이어의 샘플 간의 상대적인 위치 또는 위상 차이에 기초하여 결정되는 것을 특징으로 하는 비디오 신호의 디코딩 방법.
  2. 삭제
  3. 제 1항에 있어서,
    가중치가 상기 양-선형 보간 필터에 적용되고,
    상기 가중치는 상기 제 1 레이어의 샘플과 상기 제 2 레이어의 샘플 간의 상대적인 위치 또는 위상 차이에 기초하여 결정되는 것을 특징으로 하는 비디오 신호의 디코딩 방법.
  4. 제 1항에 있어서,
    상기 제 2 레지듀얼 데이터가 색차 데이터에 대응되고,
    가중치가 상기 양-선형 보간 필터에 적용될 때, 상기 제 2 레지듀얼 데이터는 상기 양-선형 보간 필터를 이용하여 업샘플링 되고,
    상기 가중치는 상기 제 1 레이어 샘플과 상기 제 2 레이어 샘플 간의 상대적인 위치 또는 위상 차이에 기초하여 결정되는 것을 특징으로 하는 비디오 신호의 디코딩 방법.
KR1020087027725A 2005-07-21 2006-07-21 영상 신호의 인코딩 및 디코딩 방법 KR101003416B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US70104305P 2005-07-21 2005-07-21
US60/701,043 2005-07-21
KR1020060057857 2006-06-27
KR1020060057857A KR20070012201A (ko) 2005-07-21 2006-06-27 영상 신호의 인코딩 및 디코딩 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020087003974A Division KR100913104B1 (ko) 2005-07-21 2006-07-21 영상 신호의 인코딩 및 디코딩 방법

Publications (2)

Publication Number Publication Date
KR20090003321A KR20090003321A (ko) 2009-01-09
KR101003416B1 true KR101003416B1 (ko) 2010-12-23

Family

ID=37669036

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020060057857A KR20070012201A (ko) 2005-07-21 2006-06-27 영상 신호의 인코딩 및 디코딩 방법
KR1020087027725A KR101003416B1 (ko) 2005-07-21 2006-07-21 영상 신호의 인코딩 및 디코딩 방법
KR1020087003974A KR100913104B1 (ko) 2005-07-21 2006-07-21 영상 신호의 인코딩 및 디코딩 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020060057857A KR20070012201A (ko) 2005-07-21 2006-06-27 영상 신호의 인코딩 및 디코딩 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020087003974A KR100913104B1 (ko) 2005-07-21 2006-07-21 영상 신호의 인코딩 및 디코딩 방법

Country Status (11)

Country Link
US (1) US7813428B2 (ko)
EP (1) EP1920606A4 (ko)
JP (1) JP2009502089A (ko)
KR (3) KR20070012201A (ko)
CN (2) CN101686395A (ko)
AU (1) AU2006270625C1 (ko)
BR (1) BRPI0613192A2 (ko)
CA (1) CA2615647A1 (ko)
HK (1) HK1119890A1 (ko)
RU (1) RU2008106617A (ko)
WO (1) WO2007011189A1 (ko)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1859576A (zh) * 2005-10-11 2006-11-08 华为技术有限公司 对空间分层编码视频图象的上采样方法及其系统
CN1794821A (zh) * 2006-01-11 2006-06-28 浙江大学 可分级视频压缩中插值的方法与装置
US8548056B2 (en) * 2007-01-08 2013-10-01 Qualcomm Incorporated Extended inter-layer coding for spatial scability
CN101159875B (zh) 2007-10-15 2011-10-05 浙江大学 二重预测视频编解码方法和装置
KR100963424B1 (ko) 2008-07-23 2010-06-15 한국전자통신연구원 스케일러블 영상 복호화기 및 그 제어 방법
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
WO2010041858A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for decoding a video signal
EP2367925B2 (en) 2008-12-18 2017-07-05 The Procter and Gamble Company Pearlescent agent slurry for liquid treatment composition
WO2010131903A2 (en) 2009-05-12 2010-11-18 Lg Electronics Inc. Method and apparatus for processing a video signal
US8306153B2 (en) * 2009-09-21 2012-11-06 Techwell Llc Method and system for tracking phase in a receiver for 8VSB
JP5684823B2 (ja) * 2009-11-06 2015-03-18 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ ハイブリッド映像符号化
KR20110071047A (ko) 2009-12-20 2011-06-28 엘지전자 주식회사 비디오 신호 디코딩 방법 및 장치
KR102166520B1 (ko) 2010-04-13 2020-10-16 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
ES2549734T3 (es) 2010-04-13 2015-11-02 Ge Video Compression, Llc Codificación de vídeo que usa subdivisiones multi-árbol de imágenes
CN106454371B (zh) * 2010-04-13 2020-03-20 Ge视频压缩有限责任公司 解码器、数组重建方法、编码器、编码方法及存储介质
KR101584480B1 (ko) 2010-04-13 2016-01-14 지이 비디오 컴프레션, 엘엘씨 평면 간 예측
US20120170653A1 (en) * 2010-12-30 2012-07-05 General Instrument Corporation Block based sampling coding systems
US20120230407A1 (en) 2011-03-11 2012-09-13 General Instrument Corporation Interpolation Filter Selection Using Prediction Index
US9264725B2 (en) 2011-06-24 2016-02-16 Google Inc. Selection of phase offsets for interpolation filters for motion compensation
MX2013015056A (es) 2011-07-01 2014-06-23 Motorola Mobility Llc Filtro de interpolacion de sub-pixel conjunto para prediccion temporal.
JP5830993B2 (ja) * 2011-07-14 2015-12-09 ソニー株式会社 画像処理装置及び画像処理方法
CN102970526B (zh) 2011-08-31 2016-12-14 华为技术有限公司 一种获得变换块尺寸的方法和模块
CN102957907B (zh) * 2011-08-31 2016-06-29 华为技术有限公司 一种变换块位置信息的获取方法和模块
WO2013036972A1 (en) 2011-09-09 2013-03-14 Panamorph, Inc. Image processing system and method
WO2013169049A1 (ko) * 2012-05-10 2013-11-14 엘지전자 주식회사 인터 레이어 예측 방법 및 이를 이용하는 장치
WO2013187698A1 (ko) 2012-06-12 2013-12-19 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
CN102761742B (zh) * 2012-07-03 2017-06-06 华为技术有限公司 变换块划分方法，变换块划分参数的编码方法及解码方法
WO2014042838A1 (en) * 2012-09-17 2014-03-20 Motorola Mobility Llc Selective use of chroma interpolation filters in luma interpolation process
US20140098880A1 (en) 2012-10-05 2014-04-10 Qualcomm Incorporated Prediction mode information upsampling for scalable video coding
CN103796031A (zh) * 2012-10-27 2014-05-14 朱洪波 高灵活变尺寸块变换
WO2014069889A1 (ko) * 2012-10-30 2014-05-08 엘지전자 주식회사 영상 복호화 방법 및 이를 이용하는 장치
US10085017B2 (en) 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
KR102270787B1 (ko) 2013-01-10 2021-06-29 삼성전자주식회사 휘도차를 보상하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR20140138538A (ko) 2013-05-24 2014-12-04 주식회사 케이티 복수의 레이어를 지원하는 비디오 코딩 방법 및 장치
WO2014189300A1 (ko) * 2013-05-24 2014-11-27 주식회사 케이티 복수의 레이어를 지원하는 비디오 코딩 방법 및 장치
EP3013052A4 (en) * 2013-07-12 2017-02-01 Samsung Electronics Co., Ltd. Method and apparatus for inter-layer encoding and method and apparatus for inter-layer decoding video using residual prediction
US10171821B2 (en) 2013-07-16 2019-01-01 Samsung Electronics Co., Ltd. Scalable video encoding method and apparatus and scalable video decoding method and apparatus using up-sampling filter accompanied by conversion of bit depth and color format
US11350015B2 (en) 2014-01-06 2022-05-31 Panamorph, Inc. Image processing system and method
US9286653B2 (en) 2014-08-06 2016-03-15 Google Inc. System and method for increasing the bit depth of images
US10009622B1 (en) 2015-12-15 2018-06-26 Google Llc Video coding with degradation of residuals
CN114584766A (zh) 2016-04-29 2022-06-03 英迪股份有限公司 解码和编码视频的方法以及传送比特流的方法
AU2019315029A1 (en) 2018-08-03 2021-03-11 V-Nova International Limited Transformations for signal enhancement coding

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4776014A (en) * 1986-09-02 1988-10-04 General Electric Company Method for pitch-aligned high-frequency regeneration in RELP vocoders
KR100483673B1 (ko) 1997-07-03 2005-08-29 주식회사 팬택앤큐리텔 이진 마스크의 신축형(스케일러블) 부호화시 익셉셔널 샘플 부호화 방법
US20020118742A1 (en) * 2001-02-26 2002-08-29 Philips Electronics North America Corporation. Prediction structures for enhancement layer in fine granular scalability video coding
KR100783396B1 (ko) * 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
WO2003036978A1 (en) * 2001-10-26 2003-05-01 Koninklijke Philips Electronics N.V. Method and apparatus for spatial scalable compression
US7421127B2 (en) * 2001-10-26 2008-09-02 Koninklijke Philips Electronics N.V. Spatial scalable compression scheme using spatial sharpness enhancement techniques
KR20040046890A (ko) 2002-11-28 2004-06-05 엘지전자 주식회사 동영상 코덱의 공간 스케일러빌리티 구현방법
KR20060105409A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR100703734B1 (ko) * 2004-12-03 2007-04-05 삼성전자주식회사 Ｄｃｔ 업샘플링을 이용한 다 계층 비디오 인코딩/디코딩방법 및 장치
KR100745670B1 (ko) 2004-12-07 2007-08-02 한국전자통신연구원 광원 제어정보 전송을 위한 광송수신기 및 이를 이용한광통신망

Also Published As

Publication number Publication date
CN101223783B (zh) 2010-11-17
AU2006270625C1 (en) 2010-09-09
KR100913104B1 (ko) 2009-08-21
AU2006270625A1 (en) 2007-01-25
BRPI0613192A2 (pt) 2010-12-21
RU2008106617A (ru) 2009-08-27
AU2006270625B2 (en) 2010-03-11
EP1920606A1 (en) 2008-05-14
CN101686395A (zh) 2010-03-31
CA2615647A1 (en) 2007-01-25
HK1119890A1 (en) 2009-03-13
JP2009502089A (ja) 2009-01-22
CN101223783A (zh) 2008-07-16
KR20080058329A (ko) 2008-06-25
WO2007011189A1 (en) 2007-01-25
US7813428B2 (en) 2010-10-12
EP1920606A4 (en) 2009-04-08
US20080291997A1 (en) 2008-11-27
KR20090003321A (ko) 2009-01-09
KR20070012201A (ko) 2007-01-25

Similar Documents

Publication Publication Date Title
KR101003416B1 (ko) 영상 신호의 인코딩 및 디코딩 방법
KR100891662B1 (ko) 비디오 신호 디코딩 및 인코딩 방법
JP5065051B2 (ja) 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置
JP4991699B2 (ja) ビデオ信号のスケーラブルなエンコーディング方法およびデコーディング方法
JP5112332B2 (ja) インターレイヤ動き予測方法
KR100956478B1 (ko) 동화상 복호 장치 및 동화상 복호 방법
KR100772882B1 (ko) 인트라 ｂｌ 모드를 고려한 디블록 필터링 강도 결정 방법, 및 장치
CN104247423B (zh) 可伸缩视频编码系统的帧内模式编码方法和装置
KR101253156B1 (ko) 영상 신호의 인코딩/디코딩 방법
JP4999340B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法
KR100891663B1 (ko) 비디오 신호 디코딩 및 인코딩 방법
JP4191729B2 (ja) イントラｂｌモードを考慮したデブロックフィルタリング方法、及び該方法を用いる多階層ビデオエンコーダ／デコーダ
CN108111846A (zh) 用于可伸缩视频编码的帧间层预测方法及装置
KR20060119736A (ko) 영상 신호의 인코딩 방법
KR20090037886A (ko) 저 해상도 화상의 모션 데이터로부터 고 해상도 화상을 위한 모션 데이터를 도출하는 방법, 및 이 방법을 구현하는코딩 및 디코딩하는 장치
Song et al. Research Article Improved Intra-coding Methods for H. 264/AVC
KR20140145277A (ko) 인터레이어 구조에서 저 복잡도 색차 성분 샘플 화질 향상 필터링 방법
KR20120008321A (ko) 서브샘플링을 이용한 적응적 스캐닝 및 확장된 템플릿 매칭 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131122

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141124

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151124

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161114

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20171114

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20181114

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20191114

Year of fee payment: 10