KR20080015592A - 영상의 부호화, 복호화 방법 및 장치 - Google Patents

영상의 부호화, 복호화 방법 및 장치 Download PDF

Info

Publication number
KR20080015592A
KR20080015592A KR1020060077122A KR20060077122A KR20080015592A KR 20080015592 A KR20080015592 A KR 20080015592A KR 1020060077122 A KR1020060077122 A KR 1020060077122A KR 20060077122 A KR20060077122 A KR 20060077122A KR 20080015592 A KR20080015592 A KR 20080015592A
Authority
KR
South Korea
Prior art keywords
color component
image
encoding
component image
encoded
Prior art date
Application number
KR1020060077122A
Other languages
English (en)
Other versions
KR101266168B1 (ko
Inventor
송병철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060077122A priority Critical patent/KR101266168B1/ko
Priority to US11/785,665 priority patent/US7778459B2/en
Priority to CN2007800304147A priority patent/CN101507277B/zh
Priority to PCT/KR2007/003766 priority patent/WO2008020687A1/en
Publication of KR20080015592A publication Critical patent/KR20080015592A/ko
Application granted granted Critical
Publication of KR101266168B1 publication Critical patent/KR101266168B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/04—Colour television systems using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Abstract

영상을 구성하는 복수 개의 색 성분들 사이의 상관 관계(correlation)를 이용하여 어느 하나의 색 성분 영상으로부터 다른 색 성분 영상을 예측하는 한편 입력 영상 특성에 따라 복수 개의 색 성분 영상의 부호화 순서를 적응적으로 결정하는 영상의 부호화 방법 및 장치, 복호화 방법 및 장치가 개시된다.
본 발명에 따른 영상 부호화 방법 및 장치는 소정의 부호화 순서들에 따라서 이전에 부호화된 색 성분 영상으로부터 예측된 나머지 색 성분 영상의 예측 오차 또는 발생 비트량을 비교하여 최적의 부호화 순서를 결정하고, 결정된 부호화 순서에 따라 각 색 성분 영상의 상관 관계를 이용하여 부호화를 수행하는 데에 특징이 있다.

Description

영상의 부호화, 복호화 방법 및 장치{Method and apparatus for encoding, decoding video}
도 1a 내지 1c는 각각 하나의 컬러 영상을 구성하는 R(Red) 색 성분 영상, G(Green) 색 성분 영상 및 B(Blue) 색 성분 영상의 일 예를 나타낸 도면이다.
도 2a는 도 1b 및 도 1c의 G 색 성분 영상과 B 색 성분 영상 사이의 상관 관계를 나타낸 그래프이며, 도 2b는 도 1a 및 도 1b의 R 색 성분 영상과 G 색 성분 영상 사이의 상관 관계를 나타낸 그래프이다.
도 3은 본 발명의 바람직한 일 실시예에 따른 영상 부호화 장치의 구성을 나타낸 블록도이다.
도 4는 본 발명의 바람직한 일 실시예에 따른 영상 부호화 방법을 나타낸 플로우 차트이다.
도 5a 내지 도 5c는 입력 영상에 구비된 G 색 성분 영상, B 색 성분 영상 및 R 색 성분 영상의 16×16 화소 블록을 나타낸 도면이다.
도 6a 내지 도 6c는 입력 영상에 구비된 G 색 성분 영상, B 색 성분 영상 및 R 색 성분 영상의 16×16 화소 블록과 그 주변 화소 블록의 화소값들을 나타낸 도면이다.
도 7a 내지 도 7c는 검출된 에지를 이용하여 G 색 성분 영상, B 색 성분 영 상 및 R 색 성분 영상의 화소 블록을 분리하는 일 예를 나타낸 도면이다.
도 8a 내지 도 8c는 검출된 에지를 이용하여 분리된 G 색 성분 영상, B 색 성분 영상, R 색 성분 영상의 화소 블록 및 그 주변 화소값을 나타낸 도면이다.
도 9a는 본 발명에 따른 영상 부호화 방법 및 장치에서 8×8 화소 블록의 처리 순서를 나타낸 도면이고, 도 9b는 본 발명에 따른 영상 부호화 방법 및 장치에서 4×4 화소 블록의 처리 순서를 나타낸 도면이다.
도 10은 본 발명의 다른 실시예에 따른 영상 부호화 장치를 나타낸 도면이다.
도 11은 본 발명의 다른 실시예에 따른 영상 부호화 방법을 나타낸 플로우 차트이다.
도 12는 본 발명의 바람직한 실시예에 따른 영상 복호화 장치의 구성을 나타낸 도면이다.
도 13은 본 발명에 따른 영상 복호화 방법을 나타낸 플로우 차트이다.
본 발명은 영상의 부호화 및 복호화에 관한 것으로, 보다 상세하게는 영상을 구성하는 복수 개의 색 성분들 사이의 상관 관계(correlation)를 이용하여 어느 하나의 색 성분 영상으로부터 다른 색 성분 영상을 예측하는 한편 입력 영상 특성에 따라 복수 개의 색 성분 영상의 부호화 순서를 적응적으로 결정하는 영상의 부호화 방법 및 장치, 복호화 방법 및 장치에 관한 것이다.
일반적으로 영상을 취득할 때 최초 영상은 RGB 컬러 포맷 형태로 취득된다. RGB 컬러 포맷 영상을 부호화할 때에는 일반적으로 YUV(혹은 YCbCr) 등의 컬러 포맷으로 변환한다. 이 때 Y는 흑백 영상으로 휘도 성분을 갖고 U(혹은 Cb) 및 V(혹은 Cr)는 색 성분을 갖는다. RGB 영상에서는 정보가 R, G 및 B에 골고루 분포되어 있으나, YUV(혹은 YCbCr) 영상에서는 정보가 Y 성분에 몰리게 되고 U(혹은 Cb) 및 V(혹은 Cr)에는 정보의 양이 줄어든다. 따라서 압축을 할 경우 압축 효율이 높아진다는 장점이 있다. 압축 효율을 추가적으로 개선하기 위하여, 일반적으로 YUV(혹은 YCbCr) 영상의 색도성분 U(혹은 Cb) 및 V(혹은 Cr)을 1/4 크기로 샘플링(sampling)하여 구성한 YUV(혹은 YCbCr) 4:2:0 영상을 사용한다.
그러나, YUV(혹은 YCbCr) 4:2:0 영상에서 U(혹은 Cb) 및 V(혹은 Cr)을 1/4 크기로 샘플링하는 것은 색상 왜곡이 발생하여 고화질의 응용에는 적합하지 않다. 따라서 U(혹은 Cb) 및 V(혹은 Cr)의 샘플링 과정이 없는 YUV(혹은 YCbCr) 4:4:4 영상을 효과적으로 부호화하는 방법이 필요하다. 최근에는 RGB 영상을 YUV(혹은 YCbCr)로 변환할 때 발생하는 색상 왜곡을 제거하기 위하여 RGB 4:4:4 영상을 직접 부호화하는 레지듀얼 색 변환(Residual Color Transform:RCT)이라는 기술이 제안된 바 있다.
이와 같이 YUV(혹은 YCbCr) 4:4:4 및 RGB 4:4:4 영상과 같이 색 성분 간에 같은 해상도를 갖는 영상을 바로 부호화할 경우 종래의 부호화 방법을 적용하면 부호화 효율이 떨어진다. 따라서 YUV(혹은 YCbCr) 4:4:4 영상을 부호화하거나 RGB 입력 영상을 YUV(혹은 YCbCr)로 변환하지 않고 그대로 RGB 도메인에서 부호화할 때, 영상의 통계적 특성에 맞추어 예측을 수행하여 고화질을 유지하면서도 부호화 효율을 높일 수 있는 방안이 필요하다.
본 발명이 이루고자 하는 기술적 과제는 RGB 컬러 포맷 입력 영상을 다른 컬러 포맷으로 변환하지 않고 RGB 각 색 성분 사이의 상관 관계를 고려하여 RGB 중 어느 하나의 색 성분으로부터 다른 색 성분의 영상을 예측할 때, 부호화할 영상의 특성에 따라 소정의 부호화 단위로 각 색 성분 영상의 부호화 순서를 결정함으로써 부호화 효율을 향상시키는 영상의 부호화 방법 및 장치, 복호화 방법 및 장치를 제공하는 데에 목적이 있다.
상기와 같은 기술적 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 영상 부호화 방법은 (a) 소정의 부호화 순서들에 따라 이전에 부호화되는 색 성분 영상과의 상관 관계를 이용하여, 최초 부호화되는 색 성분 영상 이후의 나머지 색 성분 영상들에 대한 예측 영상을 형성하는 단계; (b) 상기 나머지 색 성분 영상들의 원 영상과 상기 예측 영상 사이의 예측 오차를 계산하여 상기 부호화 순서들 중에서 상기 예측 오차가 최소가 되는 부호화 순서를 결정하는 단계; 및 (c) 상기 결정된 부호화 순서에 따라 상기 복수 개의 색 성분 영상들을 부호화하는 단계를 포함하는 것을 특징으로 하는 한다.
본 발명의 다른 실시예에 따른 영상 부호화 방법은 (a) 소정의 부호화 순서 들에 따라서 이전에 부호화된 후 복원된 색 성분 영상과의 상관 관계를 이용하여, 최초 부호화되는 색 성분 영상 이후의 나머지 색 성분 영상들에 대한 예측 영상을 형성하는 단계; (b) 상기 각 부호화 순서별로 상기 최초 부호화되는 색 성분 영상의 레지듀를 부호화할 때 발생되는 비트량 및 상기 나머지 색 성분 영상들의 원 영상과 상기 예측 영상 사이의 차이인 레지듀를 부호화할 때 발생되는 비트량을 합산하는 단계; 및 (c) 상기 각 부호화 순서들에 따른 발생 비트량을 비교하여 최소 비트량이 발생되는 부호화 순서를 결정하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 영상 부호화 장치는 소정의 부호화 순서들에 따라 이전에 부호화되는 색 성분 영상과의 상관 관계를 이용하여, 최초 부호화되는 색 성분 영상 이후의 나머지 색 성분 영상들에 대한 예측 영상을 형성하고, 상기 나머지 색 성분 영상들의 원 영상과 상기 예측 영상 사이의 예측 오차를 계산하여 상기 부호화 순서들 중에서 상기 예측 오차가 최소가 되는 부호화 순서를 결정하는 부호화 순서 결정부; 및 상기 결정된 부호화 순서에 따라 상기 복수 개의 색 성분 영상들을 부호화하는 부호화부를 포함하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 영상 부호화 장치는 소정의 부호화 순서들에 따라서 이전에 부호화된 후 복원된 색 성분 영상과의 상관 관계를 이용하여, 최초 부호화되는 색 성분 영상 이후의 나머지 색 성분 영상들에 대한 예측 영상을 형성하는 상관 예측부; 및 상기 각 부호화 순서별로 상기 최초 부호화되는 색 성분 영상의 레지듀를 부호화할 때 발생되는 비트량 및 상기 나머지 색 성분 영상들의 원 영상과 상기 예측 영상 사이의 차이인 레지듀를 부호화할 때 발생되는 비트량을 합 산하고, 상기 각 부호화 순서들에 따른 발생 비트량을 비교하여 최소 비트량이 발생되는 부호화 순서를 결정하는 부호화 순서 결정부를 포함하는 것을 특징으로 한다.
본 발명의 바람직한 실시예에 따른 영상 복호화 방법은 (a) 부호화된 복수 개의 색 성분 영상들을 구비하는 비트스트림을 수신하는 단계; (b) 상기 비트스트림에 구비된 상기 복수 개의 색 성분 영상들의 부호화 순서 정보를 추출하는 단계; (c) 상기 추출된 부호화 순서 정보에 따라 이전에 복호화된 색 성분 영상과의 상관 관계를 이용하여 상기 첫 번째 색 성분 영상 이후의 나머지 색 성분 영상들에 대한 예측 영상을 형성하는 단계; 및 (d) 상기 비트스트림에 구비된 상기 나머지 색 성분 영상들의 레지듀와 상기 예측 영상을 더하여 상기 나머지 색 성분 영상들을 복호화하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 바람직한 실시예에 따른 영상 복호화 장치는 상기 비트스트림으로부터 추출된 상기 복수 개의 색 성분 영상들의 부호화 순서 정보에 따라 이전에 복호화된 색 성분 영상과의 상관 관계를 이용하여 첫 번째 색 성분 영상 이후의 나머지 색 성분 영상들에 대한 예측 영상을 형성하는 상관 예측부; 및 상기 비트스트림에 구비된 상기 나머지 색 성분 영상들의 레지듀와 상기 예측 영상을 더하여 상기 나머지 색 성분 영상들을 복호화하는 가산부를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.
도 1a 내지 1c는 각각 하나의 컬러 영상을 구성하는 R(Red) 색 성분 영상, G(Green) 색 성분 영상 및 B(Blue) 색 성분 영상의 일 예를 나타낸 도면이고, 도 2a는 도 1b 및 도 1c의 G 색 성분 영상과 B 색 성분 영상 사이의 상관 관계를 나타낸 그래프이며, 도 2b는 도 1a 및 도 1b의 R 색 성분 영상과 G 색 성분 영상 사이의 상관 관계를 나타낸 그래프이다.
일반적으로 컬러 영상을 부호화할 때에 각각의 색 성분 영상별로 예측 부호화를 수행하여 각각의 색 성분 내에서 중복되는 정보를 제거한다. 도 1a 내지 도 1c를 참조하면, 하나의 컬러 영상을 구성하는 동일 위치의 RGB 색 성분 영상들의 화소값은 유사한 화소값을 갖으며, 이는 도 2a 및 2b에 도시된 상관 관계 그래프를 통해 재확인할 수 있다.
따라서, 본 발명은 영상을 구성하는 복수 개의 색 성분 영상들 사이의 상관 관계를 이용하여, 소정의 부호화 순서들에 따라 첫 번째 색 성분 영상 이후의 나머지 색 성분 영상들에 대해서는 이전에 부호화되는 색 성분 영상을 이용하여 예측 영상을 형성하고, 예측 영상과 원 영상의 차이인 예측 오차의 크기 또는 각 색 성분 영상의 레지듀를 부호화할 때 발생되는 비트량을 고려하여 복수 개의 색 성분 영상의 부호화 순서를 결정하는 영상 부호화, 복호화 방법 및 장치를 제공한다.
도 3은 본 발명의 바람직한 일 실시예에 따른 영상 부호화 장치의 구성을 나타낸 블록도이다. 이하에서는 설명의 편의를 위하여 입력 영상에 R(Red), G(Green), B(Blue)의 삼원색 영상이 구비된 경우를 중심으로 설명한다. 다만, 본 발명에 따른 영상 부호화 장치는 상기 RGB 컬러 포맷에 한정되지 않고, 다른 컬러 포맷 형태의 복수 개의 색 성분 영상을 구비한 영상의 부호화시에도 적용가능할 것 이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 영상 부호화 장치는 부호화 순서 결정부(310) 및 부호화부(320)를 포함한다. 부호화 순서 결정부(310)는 상관 예측부(311), 예측 오차 계산부(312) 및 비교부(313)를 포함한다.
n개(n은 정수)의 색 성분 영상을 구비하는 입력 영상을 부호화하는 경우, n개의 색 성분 영상의 이용 가능한 부호화 순서는 nPn 개가 존재한다. 예를 들어, 도 3에 도시된 바와 같이 RGB의 3개의 색 성분 영상을 구비하는 입력 영상의 경우 3P3, 즉 GBR, GRB, BGR, BRG, RGB, RBG 순서의 총 6개의 부호화 순서에 따라 각 색 성분 영상을 순차적으로 부호화할 수 있다.
상관 예측부(311)는 이러한 이용가능한 복수 개의 소정의 부호화 순서들에 따라 최초 부호화되는 첫 번째 색 성분 영상 이후의 나머지 색 성분 영상에 대해서 그 이전에 부호화되는 색 성분 영상을 이용하여 예측 영상을 형성한다. 예측 영상을 형성하는 구체적인 방법에 대해서는 후술하기로 한다.
예측 오차 계산부(312)는 나머지 색 성분 영상들의 원 영상과 예측 영상 사이의 예측 오차를 계산한다. 예측 오차의 계산 방법으로는 서로 대응되는 원 영상의 화소값과 예측 영상의 화소값들 사이의 절대값 차이의 합을 이용하는 SAD(Sum of Absolute Difference) 등이 이용될 수 있다.
비교부(313)는 각 부호화 순서들에 따른 예측 오차를 비교하여 예측 오차가 최소가 되는 부호화 순서를 결정한다.
부호화부(320)는 결정된 부호화 순서에 따라 각 색 성분 영상을 부호화하여 비트스트림을 생성한다. 이 때, 부호화부(320)는 일반적인 H.264이나 MPEG 표준안에 따른 부호화 장치가 그대로 이용될 수 있다. 또한, 부호화부(320)는 비트스트림의 헤더에 결정된 부호화 순서 정보 및 나머지 색 성분 영상이 이전에 부호화되는 색 성분 영상 중 어떠한 색 성분 영상을 참조하였는지에 대한 참조 정보 등을 삽입하여, 복호화단에서 비트스트림을 순차적으로 복호화할 수 있도록 한다.
도 4는 본 발명의 바람직한 일 실시예에 따른 영상 부호화 방법을 나타낸 플로우 차트이다.
단계 410에서, 상관 예측부(311)는 입력 영상에 구비된 복수 개의 색 성분 영상들의 개수에 따라 이용가능한 소정의 부호화 순서들에 따라 이전에 부호화되는 색 성분 영상과의 상관 관계를 이용하여, 최초 부호화되는 색 성분 영상 이후의 나머지 색 성분 영상들에 대한 예측 영상을 형성한다. 이하에서는 도 5a 내지 도 8c를 참조하여 본 발명에 따른 상관 예측부(311)에서 나머지 색 성분 영상들의 예측 영상을 생성하는 과정을 구체적으로 설명한다. 또한, 이하의 설명에서는 설명의 편의를 위하여 이용가능한 복수 개의 부호화 순서들 중 G 색 성분 영상, B 색 성분 영상 및 R 색 성분 영상의 순서로 부호화를 수행하는 경우를 중심으로 설명한다.
도 5a는 입력 영상에 구비된 G 색 성분 영상의 16×16 화소 블록(510), 도 5b는 입력 영상에 구비된 B 색 성분 영상의 16×16 화소 블록(520), 도 5c는 입력 영상에 구비된 R 색 성분 영상의 16×16 화소 블록(530)을 나타낸 도면이다. 여기 서, gi,j, bi,j, ri,j는 각각 G, B, R 색 성분 영상의 16×16 화소 블록에서 i번째 행 및 j번째 열에 위치한 화소값을 나타낸다.
GBR의 순서로 부호화를 수행하는 경우, 상관 예측부(311)는 최초 부호화되는 G 색 성분 영상을 참조 영상으로 이용하여 B 색 성분 영상의 예측 영상을 형성한다. 또한, 상관 예측부(311)는 다음 R 색 성분 영상의 예측 영상을 형성하는 경우 이전에 부호화되는 G색 성분 영상 또는 R 색 성분 영상 각각을 이용하여 예측 영상을 형성하고 예측 오차가 더 작은 예측 영상을 결정한다. 일 예로서, 입력된 G 색 성분 영상으로부터 R 색 성분 영상의 예측 영상을 결정하는 과정을 설명한다.
입력된 G 색 성분 영상의 16×16 화소 블록의 i번째 행, j번째 열에 위치한 화소값을
Figure 112006058181711-PAT00001
, 상기
Figure 112006058181711-PAT00002
에 대응되는 B 색 성분 영상의 화소 블록의 i번째 행, j번째 열에 위치한 화소의 예측값을
Figure 112006058181711-PAT00003
, a는 G 색 성분 영상과 B 색 성분 사이의 상관 관계를 나타내는 소정의 가중치, b는 소정의 오프셋 값이라 할 때, 상관 예측부(311)는 G 색 성분 영상의 화소값과 B 색 성분 영상 사이의 상관 관계를 다음의 수학식 1과 같이 1차 함수로 모델링하고, G 색 성분 영상의 화소값에 대응되는 B 색 성분 영상의 화소값을 예측한다.
Figure 112006058181711-PAT00004
수학식 1을 통해 얻어진 예측 화소값들은 영상의 각 화소값을 8비트로 표현 하는 경우 0과 255 사이의 정수값으로 클리핑(clipping)된다. 상기 a 및 b의 값은 화소의 위치 (i,j)에 따라서 변경될 수 있지만, 본 발명의 실시예에서는 소정의 블록 내에서 상수값을 갖는 경우를 고려한다. 일 예로, 다음의 수학식 2와 같이, 상기 a 및 b의 값은 B 색 성분 영상의 16×16 크기의 화소 블록 내의 원 화소값들(bi,j)과 상기 수학식 1을 통해 예측된 대응되는 B 색 성분 영상의 예측값들의 차이의 합(Sum of diff(rB))이 최소화되는 값으로 결정될 수 있다.
Figure 112006058181711-PAT00005
여기서, p는 1 이상의 정수이다. 상기 수학식 1에서 a 및 b를 결정하는 다른 방법으로 a의 값을 1로 결정하고, b는 다음의 수학식 3과 같이 B 색 성분 영상의 16×16 화소 블록 내의 원 화소값들(bi,j)과 입력된 G 색 성분 영상의 화소 블록의 화소값들(Gi,j)의 차이의 평균으로 결정할 수 있다.
Figure 112006058181711-PAT00006
이와 같이 수학식 1의 상수 a 및 b의 값이 결정되면, 상관 예측부(311)는 G 색 성분 영상의 화소 블록의 각 화소값들(gi,j)을 수학식 1에 대입하여 대응되는 B 색 성분 영상의 화소 블록의 화소값들을 예측한다.
또 다른 a와 b의 값의 결정 방법으로는 통계 분야에서 많이 사용하는 선형 회귀(linear regression) 모델에 기반한 방법이 이용될 수 있다.
상기 G색 성분 영상으로부터 B색 성분 영상을 예측하는 것과 유사하게, R색 성분 영상은 그 이전에 부호화되는 G색 성분 영상 및 B색 성분 영상을 이용하여 예측될 수 있다. 그리고, G색 성분 영상 및 B색 성분 영상을 이용하여 예측된 예측 영상 중에서 더 작은 예측 오차를 발생시키는 영상을 최종적인 R색 성분 영상의 참조 영상으로 결정한다. 이 경우, 부호화된 비트스트림에는 R색 성분 영상이 G색 성분 영상 및 B색 성분 영상 중에서 어떠한 색 성분 영상을 참조하였는지에 대한 정보를 추가하여야 한다.
한편, 전술한 예측 영상의 형성 과정에서는 현재 화소 블록의 화소값을 이용하여 수학식 1의 상수 a 및 b의 값을 결정하였다. 다른 실시예로서, 현재 화소 블록의 화소값 대신에 현재 블록 이전에 처리된 주변 화소 블록의 화소값을 이용하여 상기 수학식 1의 상수 a 및 b의 값을 결정할 수 있다.
도 6a는 입력 영상에 구비된 G 색 성분 영상의 16×16 화소 블록(610) 및 그 주변 화소 블록의 화소값들, 도 6b는 입력 영상에 구비된 B 색 성분 영상의 16×16 화소 블록(620) 및 그 주변 화소 블록의 화소값들, 도 6c는 입력 영상에 구비된 R 색 성분 영상의 16×16 화소 블록(630) 및 그 주변 화소 블록의 화소값들을 나타낸 도면이다. 도 6a 내지 도 6c 각각에서 해칭으로 표시된 화소들은 현재 화소 블록 이전에 처리된 주변 화소 블록의 화소들을 나타낸다.
GBR의 순서로 입력 영상에 구비된 각 색 성분 영상을 부호화할 경우 B색 성분 영상의 예측 영상을 형성하기 위한 수학식 1의 a 및 b의 값은 G색 성분 영상의 주변 화소 블록의 화소값들을 이용하여 예측된 B색 성분 영상의 주변 화소 블록의 예측 화소값들과 B색 성분 영상의 주변 화소 블록의 화소값들 사이의 차이가 최소가 되도록 하는 값으로 결정될 수 있다. 즉, 다음의 수학식 4와 같이. 상기 a 및 b의 값은 B 색 성분 영상의 주변 화소 블록 내의 화소값들(
Figure 112006058181711-PAT00007
)과 상기 수학식 1를 통해 예측된 대응되는 B 색 성분 영상의 주변 화소 블록의 예측값들(
Figure 112006058181711-PAT00008
)의 차이의 합이 최소화되는 값으로 결정될 수 있다.
Figure 112006058181711-PAT00009
수학식 4에서 a 및 b를 결정하는 다른 방법으로 a의 값을 1로 결정하고, b는 다음의 수학식 5와 같이 B 색 성분 영상의 주변 화소 블록 내의 화소값들과 G 색 성분 영상의 주변 화소 블록의 화소값들의 차이의 평균으로 결정할 수 있다.
Figure 112006058181711-PAT00010
이와 같이 수학식 1의 상수 a 및 b의 값이 결정되면, 상관 예측부(311)는 G 색 성분 영상의 화소 블록의 각 화소값들(gi,j)을 수학식 1에 대입하여 대응되는 B 색 성분 영상의 화소 블록의 화소값들을 예측한다.
또 다른 실시예로서, 상관 예측부(311)는 입력 영상에 구비된 에지를 검출하고, 검출된 에지를 이용하여 입력 영상을 분리한 다음 분리된 영역별로 서로 다른 a 및 b의 값을 갖는 예측자를 통해 예측 영상을 형성할 수 있다. 에지 검출 방법으로는 소벨 연산자(sobel operator), 캐니 에지 검출 알고리즘(canny edge detection) 등 다양한 에지 검출 알고리즘이 적용될 수 있다.
도 7a는 검출된 에지를 이용하여 G 색 성분 영상의 화소 블록을 분리하는 일 예를 나타낸 도면이고, 도 7b는 검출된 에지를 이용하여 B 색 성분 영상의 화소 블록을 분리하는 일 예를 나타낸 도면이며, 도 7c는 검출된 에지를 이용하여 R 색 성분 영상의 화소 블록을 분리하는 일 예를 나타낸 도면이다. 도 7a 내지 7c를 참조하면, 상관 예측부(311)는 최초 부호화되는 G 색 성분 영상의 화소 블록 내에 하나의 에지가 존재하는 것으로 판단되면, B 색 성분 영상의 화소 블록 및 R 색 성분 영상의 화소 블록에도 동일한 에지가 존재하는 것으로 판단하고, 검출된 에지를 이용하여 각 색 성분의 화소 블록을 2개의 영역(I,II)으로 분리한다.
상관 예측부(311)는 G 색 성분 영상의 화소 블록을 이용하여 분리된 각 영역별로 대응되는 나머지 B 색 성분 영상 및 R 색 성분 영상의 화소 블록의 화소값을 예측한다. 즉, 상관 예측부(311)는 제 1 영역(I)에 존재하는 G 색 성분 영상의 화소값들(gi,j)를 이용하여, 제 1 영역(I)에 대응되는 B 색 성분 영상의 화소 블록 내의 화소값 및 R 색 성분 영상의 화소 블록 내의 화소값을 예측한다. 유사하게, 상관 예측부(311)는 제 2 영역(II)에 존재하는 G 색 성분 영상의 화소값들(gi,j)를 이용하여, 제 2 영역(II)에 대응되는 B 색 성분 영상의 화소 블록 내의 화소값 및 R 색 성분 영상의 화소 블록 내의 화소값을 예측한다.
구체적으로, 각 색 성분 영상의 화소 블록이 n개의 영역으로 분리되고, G 색 성분 영상의 화소 블록의 k번째 영역(k=1,2,...,n) 내의 임의의 화소값을
Figure 112006058181711-PAT00011
, 상기
Figure 112006058181711-PAT00012
에 대응되는 B 색 성분 영상의 화소 블록의 k번째 영역의 화소의 예측값을
Figure 112006058181711-PAT00013
, e는 상기 G 색 성분 영상의 k번째 영역과 B 색 성분 영상의 k번째 영역 사이의 상관 관계를 나타내는 소정의 가중치, f는 소정의 오프셋 값이라 하면, 상기 B 색 성분 영상의 화소 블록의 화소값들은 전술한 수학식 1과 유사하게 다음의 수학식 6을 통해 예측될 수 있다.
Figure 112006058181711-PAT00014
상기 상수 e 및 f는 각 영역별로 예측된 B 색 성분의 화소 블록의 화소값과 대응되는 원 화소값의 차이가 최소가 되는 값으로 설정되거나, e는 1로 고정되고 f는 B 색 성분 영상의 화소 블록의 원 화소값들과 대응되는 G 색 성분 영상의 화소 블록의 화소값들의 차이의 평균을 계산하여 설정가능하다.
전술한 각 영역별 B 색 성분 영상의 화소 블록의 화소값을 각 영역별로 예측하는 것과 유사하게 R 색 성분 영상의 화소 블록의 화소값은 G 색 성분 영상 또는 B 색 성분 영상을 이용하여 각 영역별로 예측될 수 있다.
한편, 전술한 바와 같이 검출된 에지를 중심으로 나머지 색 성분 영상의 화소 블록의 화소값을 예측할 때 이용되는 수학식 6의 예측자는 주변 화소 블록의 화소값들을 이용하여 결정될 수 있다.
도 8a는 검출된 에지를 이용하여 분리된 G 색 성분 영상의 화소 블록 및 그 주변 화소값을 나타낸 도면이고, 도 8b는 검출된 에지를 이용하여 분리된 B 색 성분 영상 및 그 주변 화소값을 나타낸 도면이며, 도 8c는 검출된 에지를 이용하여 분리된 R 색 성분 영상의 화소 블록 및 그 주변 화소값을 나타낸 도면이다.
상관 예측부(311)는 검출된 에지를 중심으로 현재 화소 블록의 주변 화소 블록의 화소값들을 이용하여 수학식 6의 상수 e 및 f의 값을 결정할 수 있다. 즉, 수학식 6에서 상수 e 및 f는 G 색 성분 영상의 주변 화소 블록의 화소값들을 이용하여 예측된 B 색 성분 영상의 화소 블록의 k번째 영역에 인접한 B 색 성분 영상의 주변 화소 블록의 예측 화소값들과, B 색 성분 영상의 화소 블록의 k번째 영역에 인접한 B 색 성분 영상의 주변 화소 블록의 복원된 화소값들 사이의 차이가 최소가 되도록 하는 값으로 결정될 수 있다.
간단한 예로서, e는 1이고, f는 B 색 성분 영상의 화소 블록의 k번째 영역에 인접한 B 색 성분 영상의 주변 화소 블록의 화소값들과 B 색 성분 영상의 화소 블록의 k번째 영역에 인접한 G 색 성분 영상의 주변 화소 블록의 화소값들 사이의 차이의 평균을 이용하여 결정될 수 있다. 도 8a 및 도 8b를 참조하면, 1번째 영역(I)에 적용할 수학식 6의 f는 현재 화소 블록의 1번째 영역(I)에 인접한 G 색 성분 영상의 주변 화소 블록의 화소들(810)의 화소값 및 이에 대응되는 B 색 성분 영상의 주변 화소 블록의 화소들(812)의 화소값을 이용하여 다음의 수학식 7과 같이 정의될 수 있다.
Figure 112006058181711-PAT00015
유사하게, 2번째 영역(II)에 적용할 수학식 6의 f는 현재 화소 블록의 2번째 영역(II)에 인접한 G 색 성분 영상의 주변 화소 블록의 화소들(820,830)의 화소값 및 이에 대응되는 B 색 성분 영상의 주변 화소 블록의 화소들(822,832)의 화소값을 이용하여 다음의 수학식 8과 같이 정의될 수 있다.
Figure 112006058181711-PAT00016
전술한 각 영역별 B 색 성분 영상의 화소 블록의 화소값을 각 영역별로 예측하는 것과 유사하게 이전에 부호화된 G 색 성분 영상 및 B 색 성분 영상을 이용하여 R 색 성분 영상의 화소 블록의 화소값을 각 영역별로 예측할 수 있다.
정리하면, 상관 예측부(311)는 현재 화소 블록 또는 그 주변 화소 블록의 화소값들을 이용하여 수학식 1과 같은 예측자를 형성하고, 이전에 처리되는 색 성분 영상의 화소값들을 대입하여 나머지 색 성분 영상의 예측 영상을 생성한다. 또한, 상관 예측부(311)는 영상에 존재하는 에지를 검출하고, 검출된 에지를 중심으로 수학식 6과 같이 분리된 영역별로 독립된 예측자를 형성하고 이전에 처리된 색 성분 영상의 화소값들을 대입하여 나머지 색 성분 영상의 예측 영상을 생성할 수 있다. 또한, 상관 예측부(311)는 전술한 GBR 순서뿐만이 아니라 나머지 5개의 이용가능한 부호화 순서들 각각에 따라서 나머지 색 성분 영상의 예측 영상을 형성한다.
다시 도 4를 참조하면, 단계 420에서 예측 오차 계산부(312)는 각 부호화 순서들에 따라 생성된 나머지 색 성분 영상들의 예측 영상과 원 영상의 차이를 계산함으로써 예측 오차를 계산한다.
단계 430에서, 비교부(313)는 각 부호화 순서들에 다른 예측 오차를 비교하여 최소 예측 오차를 갖는 부호화 순서를 결정한다. 여기서, 비교부(313)는 매크 로블록 단위, 슬라이스 단위, 픽처 단위, GOP 단위 및 장면 변환 단위 중 선택된 단위를 중심으로 예측 오차를 계산하고, 선택된 단위별로 예측 오차가 최소가 되는 부호화 순서를 결정할 수 있다. 즉, 본 발명에 따른 영상 부호화 장치는 매크로블록 단위, 슬라이스 단위, 픽처 단위, GOP 단위 및 장면 변환 단위 별로 서로 다른 부호화 순서를 적용하여 각 색 성분 영상을 부호화할 수 있다.
단계 440에서, 부호화부(320)는 결정된 부호화 순서에 따라 각 색 성분 영상을 순차적으로 부호화한다. 여기서, 부호화부(320)는 각 색 성분 영상을 부호화할 때 상기 상관 예측부(311)에서 예측된 각 색 성분 영상의 예측 영상과 원 영상의 차이인 레지듀를 변환, 양자화 및 엔트로피 부호화하여 비트스트림을 생성한다. 부호화부(320)는 부호화된 비트스트림의 헤더에 결정된 부호화 순서 정보 및 나머지 색 성분 영상이 참조하는 이전 색 성분 영상 정보를 추가하는 것이 바람직하다.
도 9a는 본 발명에 따른 영상 부호화 방법 및 장치에서 8×8 화소 블록의 처리 순서를 나타낸 도면이고, 도 9b는 본 발명에 따른 영상 부호화 방법 및 장치에서 4×4 화소 블록의 처리 순서를 나타낸 도면이다.
도 9a를 참조하면, B 색 성분 영상의 화소 블록을 8×8 모드로 처리하는 경우, 4개의 B 색 성분 영상의 8×8 화소 블록들은 좌에서 우, 위에서 아래 방향의 순서로 순차적으로 예측된다. B 색 성분 영상의 8×8 화소 블록의 처리는 블록 크기만 달라졌을 뿐, 전술한 B 색 성분 영상의 16×16 화소 블록의 화소값을 예측하는 과정과 유사하게 B 색 성분 영상의 8×8 화소 블록 내의 각 화소값들을 예측할 수 있다.
도 9b를 참조하면, B 색 성분 영상의 화소 블록을 4×4 모드로 처리하는 경우, 16개의 B 색 성분 영상의 4×4 화소 블록들은 좌에서 우, 위에서 아래 방향의 순서로 순차적으로 예측된다. B 색 성분 영상의 각 4×4 화소 블록의 화소값들은 블록 크기만 달라졌을 뿐, 전술한 B 색 성분 영상의 16×16 화소 블록 또는 8×8 화소 블록의 화소값을 예측하는 과정과 유사하게 수학식 1을 통해 예측될 수 있다.
상관 예측은 각 매크로 블록(16×16)마다 16×16, 8×8, 4×4 블록 단위로 이루어질 수 있다. 한 적응적인 실시예로서, 상기 세 가지 블록 모드들 중 적합한 하나의 블록 단위로 각 매크로블록의 상관 예측이 이루어질 수 있다.
도 10은 본 발명의 다른 실시예에 따른 영상 부호화 장치를 나타낸 도면이다.
본 발명의 다른 실시예에 따른 영상 부호화 장치(1000)는 전술한 본 발명의 일 실시예와 유사하게 입력 영상에 구비된 복수 개의 색 성분 영상 사이의 상관 관계를 이용하여 예측 영상을 형성한다는 점에서 유사하지만, 예측 영상의 형성시에 이전에 부호화된 후 복원된 영상을 이용한다는 점에서 차이가 있다.
도 10을 참조하면, 영상 부호화 장치(1000)는 움직임 추정부(1002), 움직임 보상부(1004), 인트라 예측부(1006), 감산부(1007), 변환부(1008), 양자화부(1009), 재정렬부(1010), 엔트로피 코딩부(1011), 역양자화부(1012), 역변환부(1013), 상관 예측부(1014), 가산부(1015), 필터(1016), 프레임 메모리(1017), 제어부(1018) 및 부호화 순서 결정부(1020)를 구비한다.
움직임 추정부(1002) 및 움직임 보상부(1004)는 각 색 성분 영상의 현재 화 소 블록의 예측값을 이전 또는 이후의 참조 픽처에서 탐색하는 인터 예측을 수행하며, 인트라 예측부(1006)는 각 색 성분 영상의 현재 화소 블록의 예측값을 현재 픽처로부터 예측하는 인트라 예측을 수행한다.
감산부(1007)는 소정의 부호화 순서들에 따라 최초 부호화되는 첫 번째 색 성분 원 영상의 해당 화소 블록으로부터 인터 예측 또는 인트라 예측을 통해 예측된 예측 화소 블록을 빼서 제 1 레지듀(residue)를 생성한다. 생성된 제 1 레지듀는 변환부(1008)에 의하여 주파수 영역으로 변환되고, 양자화부(1009)에서 양자화된다. 양자화된 제 1 레지듀 성분의 변환 계수들은 재정렬부(1010)에서 재정렬된 다음, 엔트로피 코딩부(1014)에 의하여 부호화되어 비트스트림 형태로 출력된다.
변환 및 양자화된 제 1 레지듀는 역양자화부(1012)와 역변환부(1013)를 통해 다시 역양자화 및 역변환된다. 가산부(1015)는 역양자화 및 역변환된 제 1 레지듀 성분과 첫 번째 색 성분 영상의 예측 화소 블록을 더하여 첫 번째 색 성분 영상의 화소 블록을 복원한다. 이렇게 복원된 첫 번째 색 성분 영상은 디블록킹 필터링을 수행하는 필터(1016)를 거친 후, 프레임 메모리(1017)에 저장되었다가 다음 픽처에 대한 인터 예측을 수행하는데 사용된다. 또한, 복원된 첫 번째 색 성분 영상의 화소 블록은 다음 화소 블록의 인트라 예측을 위하여 인트라 예측부(1006)로 입력되어 참조값으로 이용된다. 또한, 복원된 첫 번째 색 성분 영상의 화소 블록은 첫 번째 색 성분 영상 이후에 부호화되는 나머지 색 성분 영상의 화소 블록의 예측을 위하여 상관 예측부(1014)로 입력된다.
상관 예측부(1014)는 컬러 영상을 구성하는 색 성분 영상들의 상관 관계를 이용하여 상기 소정의 부호화 순서들에 따라 부호화된 후 복원된 이전의 색 성분 영상으로부터 대응되는 나머지 색 성분 영상의 예측 영상을 형성한다. 여기서, 상기 상관 예측부(1014)는 이전에 부호화된 후 복원된 현재 화소 블록의 화소값을 이용하여 전술한 본 발명의 일 실시예와 유사하게 나머지 색 성분 영상의 예측 영상을 생성한다. 즉, 본 발명의 일 실시예에서는 입력 영상에 구비된 각 색 성분 영상의 화소값을 이용하여 예측자를 생성하지만, 본 발명의 다른 실시예에서는 이전에 부호화된 후 복원된 이전의 색 성분 영상을 이용하여 예측자를 생성하게 된다.
감산부(1007)는 상관 예측부(1014)에서 나머지 색 성분 영상의 해당 화소 블록으로부터 원 영상의 화소 블록을 빼서 제 2 및 제 3 레지듀를 생성한다. 제 2 및 제 3 레지듀는 전술한 제 1 레지듀와 마찬가지로 변환, 양자화 및 엔트로피 부호화 과정을 거쳐서 부호화되어 비트스트림 형태로 출력된다.
제어부(1018)는 영상 부호화 장치(1000)의 각 구성 요소를 제어하는 한편, 현재 화소 블록의 예측 모드를 결정한다. 구체적으로 제어부(1018)는 인터 예측된 영상, 인트라 예측된 영상 및 본 발명에 따라 색 성분 영상 사이의 상관 관계를 이용하여 예측된 영상의 코스트를 계산하고, 예측된 영상 중에서 가장 작은 코스트를 갖는 예측 모드를 최종적인 예측 모드로 결정한다. 제어부(1018)는 본 발명에 따라 예측된 영상의 코스트가 소정의 임계값보다 큰 경우에는 본 발명에 따른 예측 부호화 방법 대신에 종래 기술에 따른 인터 예측 또는 인트라 예측을 통해 각 색 성분 영상을 부호화하도록 선택할 수 있다.
또한, 제어부(1018)는 각 색 성분 영상 사이의 상관 관계를 나타내는 기준값을 계산하고, 각 색 성분 영상 사이의 기준값이 소정 임계치 이하인 경우에는 본 발명에 따른 예측 부호화 방법 대신에 종래 기술에 따른 인터 예측 또는 인트라 예측을 통해 각 색 성분 영상을 부호화하도록 선택할 수 있다. 여기서, 기준값으로는 각 색 성분 사이의 산포도를 나타내는 분산이나 표준 편차 등이 이용될 수 있다.
본 발명에 따른 영상 부호화 방법에 따라 부호화된 영상의 비트스트림의 헤더에는 예측 모드 정보를 삽입하여 본 발명에 따라 색 성분 영상 사이의 상관 관계를 고려하여 복호화를 수행하도록 한다.
부호화 순서 결정부(1020)는 상기 각 부호화 순서들에 따라 복수 개의 색 성분 영상들의 제 1 내지 제 3 레지듀를 부호화할 때 발생되는 비트량을 합산하고, 각 부호화 순서들에 따른 발생 비트량을 비교하여 최소 비트량이 발생되는 부호화 순서를 결정한다. 부호화 순서 결정부(1020)는 매크로 블록 단위, 슬라이스 단위, 픽처 단위, GOP(Group Of Picture) 단위 및 장면 변환 단위 중 선택된 단위별로 발생 비트량을 계산하여 각 단위별로 부호화 순서가 변경될 수 있도록 할 수 있다. 또한, 부호화 순서 결정부(1020)는 각 부호화 순서에 따른 발생 비트량과 예측 오차를 함께 고려하여 왜곡-비트율 코스트(Rate-Distortion cost)를 기준으로 최소 왜곡-비트율을 갖는 부호화 순서를 결정할 수 있다.
도 11은 본 발명의 다른 실시예에 따른 영상 부호화 방법을 나타낸 플로우 차트이다.
도 11을 참조하면, 단계 1110에서 소정의 부호화 순서들에 따라서 이전에 부호화된 후 복원된 색 성분 영상과의 상관 관계를 이용하여, 최초 부호화되는 색 성분 영상 이후의 나머지 색 성분 영상들에 대한 예측 영상을 형성한다.
단계 1120에서 각 부호화 순서별로 최초 부호화되는 색 성분 영상의 레지듀를 부호화할 때 발생되는 비트량 및 상기 나머지 색 성분 영상들의 원 영상과 상기 예측 영상 사이의 차이인 레지듀를 부호화할 때 발생되는 비트량을 합산한다.
단계 1130에서, 각 부호화 순서들에 따른 발생 비트량을 비교하여 최소 비트량이 발생되는 부호화 순서를 결정한다.
단계 1140에서, 결정된 부호화 순서에 따라 입력 영상에 구비된 복수 개의 색 성분 영상을 순차적으로 부호화한다.
도 12는 본 발명의 바람직한 실시예에 따른 영상 복호화 장치의 구성을 나타낸 도면이다.
도 12를 참조하면, 본 발명에 따른 영상 복호화 장치(1200)는 엔트로피 디코더(1210), 재정렬부(1220), 역양자화부(1230), 역변환부(1240), 인트라 예측부(1250), 움직임 보상부(1260), 상관 예측부(1270) 및 필터(1280)를 구비한다.
상기 엔트로피 디코더(1210) 및 재정렬부(1220)는 압축된 비트스트림을 수신하여 엔트로피 복호화를 수행하여 양자화된 계수를 생성한다. 상기 역양자화부(1230) 및 역변환부(1240)는 양자화된 계수에 대한 역양자화 및 역변환을 수행하여 각 색 성분 영상의 레지듀 정보, 움직임 벡터 정보, 예측 모드 정보 및 부호화 순서 정보 등을 추출한다. 여기서, 예측 모드 정보에는 본 발명에 따라 부호화된 비트스트림인지 여부를 나타내는 소정의 신택스가 포함될 수 있다. 또한, 본 발명에 따른 영상 부호화 방법에 따라 부호화된 비트스트림인 경우 상기 예측 모드 정보에는 나머지 색 성분 영상의 화소 블록의 화소값을 예측하는 데 이용되는 예측자 정보가 포함될 수 있다.
움직임 보상부(1260)은 현재 화소 블록이 인터 예측된 화소 블록인 경우 움직임 보상 및 예측을 통해 예측 화소 블록을 생성한다. 인트라 예측부(1250)는 현재 화소 블록이 인트라 예측된 화소 블록인 경우 인트라 예측을 수행하여 예측 화소 블록을 생성한다.
가산부(1275)는 상기 추출된 부호화 순서 정보에 의하여 첫 번째 부호화된 색 성분 영상의 예측 화소 블록과 역변환부(1240)에서 출력되는 제 1 레지듀를 합산하여 첫 번째 색 성분 영상의 화소 블록을 복호화한다.
복호화된 첫 번째 색 성분 영상의 화소 블록은 다시 상관 예측부(1270)로 입력된다. 상관 예측부(1270)는 복호화된 첫 번째 색 성분 영상의 화소 블록을 이용하여 대응되는 나머지 색 성분 영상의 화소 블록을 복호화한다.
구체적으로, 전술한 본 발명에 따른 도 3의 상관 예측부(311)와 동일하게 상관 예측부(1270)는 복호화된 첫 번째 색 성분 영상의 화소 블록의 화소값을 수학식 1에 대입하여 나머지 색 성분 영상의 화소 블록의 화소값을 예측할 수 있다. 만약 부호화된 비트스트림에 구비된 세 번째 색 성분 영상이 두 번째 색 성분 영상을 이용하여 예측된 경우에는 복원된 두 번째 색 성분 영상의 화소 블록의 화소값들을 이용하여 세 번째 색 성분 영상의 화소 블록의 화소값을 예측할 수 있다.
상관 예측부(1270)에서 예측된 나머지 색 성분 영상의 예측 화소 블록들 각각은 역변환부(1240)에서 출력되는 제 2 레지듀 및 제 3 레지듀 성분과 합산됨으로써 나머지 색 성분 영상의 화소 블록이 복호화된다.
한편, 전술한 본 발명의 다른 실시예에 따라 화소 블록 내에 존재하는 에지를 검출하여 각 영역별로 부호화된 비트스트림을 부호화하는 경우에는, 수신된 복수 개의 색 성분들의 부호화된 영상들을 구비하는 비트스트림에서 첫 번째 색 성분 영상의 화소 블록 내에 존재하는 에지를 검출하는 에지 검출부(미도시) 및 검출된 에지를 이용하여 각 색 성분 영상의 화소 블록을 분리하는 영역 분리부(미도시)를 더 포함할 수 있다. 이 경우, 상관 예측부(1270)는 복호화된 G 색 성분 영상의 화소 블록을 이용하여 분리된 각 영역별로 대응되는 나머지 B 색 성분 영상 및 R 색 성분 영상의 화소 블록의 화소값을 예측한다. 나머지 색 성분 영상의 화소값을 예측하는데 이용되는 예측자의 상수값은 주변 화소 블록의 복원된 화소값을 이용하여 결정되거나, 비트스트림에 구비된 예측 모드 정보를 이용하여 결정될 수 있다.
도 13은 본 발명에 따른 영상 복호화 방법을 나타낸 플로우 차트이다.
도 13을 참조하면, 단계 1310에서 부호화된 복수 개의 색 성분 영상들을 구비하는 비트스트림을 수신한다.
단계 1320에서 수신된 비트스트림에 구비된 복수 개의 색 성분 영상들의 부호화 순서 정보를 추출한다.
단계 1330에서 추출된 부호화 순서 정보에 따라 최초 부호화된 첫 번째 색 성분 영상을 복호화한다.
단계 1340에서 추출된 부호화 순서 정보에 따라 이전에 복호화된 색 성분 영상과의 상관 관계를 이용하여 첫 번째 색 성분 영상 이후의 나머지 색 성분 영상들에 대한 예측 영상을 형성한다.
단계 1350에서 비트스트림에 구비된 나머지 색 성분 영상들의 레지듀와 상기 예측 영상을 더하여 나머지 색 성분 영상들을 복호화한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
전술한 본 발명에 따르면, 하나의 영상을 구성하는 복수 개의 색 성분 영상들 사이의 상관 관계를 이용하여 예측 부호화를 수행함으로써 영상의 부호화 효율을 향상시킬 수 있다.
또한, 본 발명에 따르면, RGB 입력 영상을 YUV 도메인으로 변환하지 않고 입력 영상 그대로 RGB 도메인에서 부호화를 수행함으로써, RGB 입력 영상을 다른 컬러 포맷으로 변환하는 과정 중에 발생하는 색상의 왜곡 등을 방지하여 영상의 품질을 향상시킬 수 있다.

Claims (34)

  1. 입력 영상에 구비된 복수 개의 색 성분 영상들을 부호화하는 영상 부호화 방법에 있어서,
    (a) 소정의 부호화 순서들에 따라 이전에 부호화되는 색 성분 영상과의 상관 관계를 이용하여, 최초 부호화되는 색 성분 영상 이후의 나머지 색 성분 영상들에 대한 예측 영상을 형성하는 단계;
    (b) 상기 나머지 색 성분 영상들의 원 영상과 상기 예측 영상 사이의 예측 오차를 계산하여 상기 부호화 순서들 중에서 상기 예측 오차가 최소가 되는 부호화 순서를 결정하는 단계; 및
    (c) 상기 결정된 부호화 순서에 따라 상기 복수 개의 색 성분 영상들을 부호화하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  2. 제 1항에 있어서, 상기 (a) 단계는
    상기 나머지 색 성분 영상 이전에 부호화되는 색 성분 영상의 입력 화소 블록의 크기를 i×j(i,j는 정수), 상기 이전에 부호화되는 색 성분 영상의 입력 화소 블록의 i번째 행, j번째 열에 위치한 화소의 화소값을
    Figure 112006058181711-PAT00017
    , 상기
    Figure 112006058181711-PAT00018
    에 대응되는 상기 나머지 색 성분 영상의 예측 화소 블록의 i번째 행, j번째 열에 위치한 예측 화소값을
    Figure 112006058181711-PAT00019
    , a는 상기 이전에 부호화되는 색 성분 영상과 상기 나머지 색 성분 영상 사이의 상관 관계를 나타내는 소정의 가중치, b는 소정의 오프셋 값이라 할 때, 다음의 수학식;
    Figure 112006058181711-PAT00020
    을 이용하여 상기
    Figure 112006058181711-PAT00021
    을 예측하는 것을 특징으로 하는 영상 부호화 방법.
  3. 제 2항에 있어서, 상기 a 및 b는
    선형 회귀(linear regression) 모델에 기반하여 결정되는 것을 특징으로 하는 영상 부호화 방법.
  4. 제 2항에 있어서, 상기 a 및 b는
    상기 이전에 부호화되는 색 성분 영상의 입력 화소 블록의 화소값들을 이용하여 예측된 상기 나머지 색 성분 영상의 화소 블록의 예측 화소값들과 상기 나머지 색 성분 영상의 입력 화소 블록의 화소값들 사이의 차이가 최소가 되도록 하는 값인 것을 특징으로 하는 영상 부호화 방법.
  5. 제 2항에 있어서, 상기 a 및 b는
    상기 이전에 부호화되는 색 성분 영상의 주변 화소 블록의 화소값들을 이용 하여 예측된 상기 나머지 색 성분 영상의 주변 화소 블록의 예측 화소값들과 상기 나머지 색 성분 영상의 주변 화소 블록의 원 화소값들 사이의 차이가 최소가 되도록 하는 값인 것을 특징으로 하는 영상 부호화 방법.
  6. 제 1항에 있어서, 상기 (a) 단계는
    (a1) 상기 최초 부호화되는 색 성분 영상에 존재하는 에지를 검출하는 단계;
    (a2) 상기 검출된 에지를 이용하여 상기 복수 개의 색 성분 영상들을 분리하는 단계; 및
    (a3) 상기 분리된 각 영역별로 상기 이전에 부호화되는 색 성분과의 상관 관계를 이용하여 상기 나머지 색 성분 영상의 화소값을 예측하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  7. 제 1항에 있어서, 상기 (b) 단계는
    상기 나머지 색 성분 원 영상의 화소값들과 상기 예측 영상의 화소값들의 절대값 차이의 합을 이용하여 상기 예측 오차를 계산하는 것을 특징으로 하는 영상 부호화 방법.
  8. 제 1항에 있어서, 상기 (b) 단계는
    매크로블록 단위, 슬라이스 단위, 픽처 단위, GOP(Group Of Picture) 단위 및 장면 변환 단위 중 선택된 단위를 중심으로 상기 예측 오차를 계산하고, 상기 선택된 단위별로 상기 부호화 순서를 결정하는 것을 특징으로 하는 영상 부호화 방법.
  9. 입력 영상에 구비된 복수 개의 색 성분 영상들을 부호화하는 영상 부호화 방법에 있어서,
    (a) 소정의 부호화 순서들에 따라서 이전에 부호화된 후 복원된 색 성분 영상과의 상관 관계를 이용하여, 최초 부호화되는 색 성분 영상 이후의 나머지 색 성분 영상들에 대한 예측 영상을 형성하는 단계;
    (b) 상기 각 부호화 순서별로 상기 최초 부호화되는 색 성분 영상의 레지듀를 부호화할 때 발생되는 비트량 및 상기 나머지 색 성분 영상들의 원 영상과 상기 예측 영상 사이의 차이인 레지듀를 부호화할 때 발생되는 비트량을 합산하는 단계; 및
    (c) 상기 각 부호화 순서들에 따른 발생 비트량을 비교하여 최소 비트량이 발생되는 부호화 순서를 결정하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  10. 제 9항에 있어서, 상기 (a) 단계는
    상기 나머지 색 성분 영상 이전에 부호화된 후 복원된 색 성분 영상의 화소 블록의 크기를 i×j(i,j는 정수), 상기 이전에 부호화된 후 복원된 색 성분 영상의 화소 블록의 i번째 행, j번째 열에 위치한 화소의 화소값을
    Figure 112006058181711-PAT00022
    , 상기
    Figure 112006058181711-PAT00023
    에 대응되는 상기 나머지 색 성분 영상의 예측 화소 블록의 i번째 행, j번째 열에 위치한 예측 화소값을
    Figure 112006058181711-PAT00024
    , a는 상기 이전에 부호화된 후 복원된 색 성분 영상과 상기 나머지 색 성분 영상 사이의 상관 관계를 나타내는 소정의 가중치, b는 소정의 오프셋 값이라 할 때, 다음의 수학식;
    Figure 112006058181711-PAT00025
    을 이용하여 상기
    Figure 112006058181711-PAT00026
    을 예측하는 것을 특징으로 하는 영상 부호화 방법.
  11. 제 10항에 있어서, 상기 a 및 b는
    선형 회귀(linear regression) 모델에 기반하여 결정되는 것을 특징으로 하는 영상 부호화 방법.
  12. 제 10항에 있어서, 상기 a 및 b는
    상기 이전에 부호화된 후 복원된 색 성분 영상의 화소 블록의 화소값들을 이용하여 예측된 상기 나머지 색 성분 영상의 화소 블록의 예측 화소값들과 상기 나머지 색 성분 영상의 입력 화소 블록의 화소값들 사이의 차이가 최소가 되도록 하는 값인 것을 특징으로 하는 영상 부호화 방법.
  13. 제 10항에 있어서, 상기 a 및 b는
    상기 이전에 부호화된 후 복원된 색 성분 영상의 주변 화소 블록의 화소값들을 이용하여 예측된 상기 나머지 색 성분 영상의 주변 화소 블록의 예측 화소값들과 상기 나머지 색 성분 영상의 주변 화소 블록의 원 화소값들 사이의 차이가 최소가 되도록 하는 값인 것을 특징으로 하는 영상 부호화 방법.
  14. 제 9항에 있어서, 상기 (a) 단계는
    (a1) 상기 최초 부호화되는 색 성분 영상에 존재하는 에지를 검출하는 단계;
    (a2) 상기 검출된 에지를 이용하여 상기 복수 개의 색 성분 영상들을 분리하는 단계; 및
    (a3) 상기 분리된 각 영역별로 상기 이전에 부호화된 후 복원된 색 성분과의 상관 관계를 이용하여 상기 나머지 색 성분 영상의 화소값을 예측하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  15. 제 9항에 있어서, 상기 (a) 단계는
    상기 현재 부호화되는 색 성분 영상 이전에 부호화된 후 복원된 다른 색 성분 영상이 적어도 2개 이상 존재하는 경우 상기 다른 색 성분 영상 각각을 이용하여 예측 영상을 형성하고, 상기 다른 색 성분 영상들 중에서 상기 현재 부호화되는 색 성분의 원 영상과의 차이가 더 작은 예측 영상을 형성하는데 이용되는 다른 색 성분 영상을 선택하여 최종적인 예측 영상을 형성하는 것을 특징으로 하는 영상 부호화 방법.
  16. 제 9항에 있어서,
    (d) 상기 결정된 부호화 순서 및 상기 나머지 색 성분 영상의 예측에 이용된 이전의 색 성분 영상 정보를 부호화된 비트스트림의 헤더에 부가하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  17. 제 9항에 있어서, 상기 (c) 단계는
    슬라이스 단위, 픽처 단위, GOP(Group Of Picture) 단위 및 장면 변환 단위 중 선택된 단위를 중심으로 상기 예측 오차를 계산하고, 상기 선택된 단위별로 상기 부호화 순서를 결정하는 것을 특징으로 하는 영상 부호화 방법.
  18. 입력 영상에 구비된 복수 개의 색 성분 영상들을 부호화하는 영상 부호화 장치에 있어서,
    소정의 부호화 순서들에 따라 이전에 부호화되는 색 성분 영상과의 상관 관계를 이용하여, 최초 부호화되는 색 성분 영상 이후의 나머지 색 성분 영상들에 대한 예측 영상을 형성하고, 상기 나머지 색 성분 영상들의 원 영상과 상기 예측 영상 사이의 예측 오차를 계산하여 상기 부호화 순서들 중에서 상기 예측 오차가 최소가 되는 부호화 순서를 결정하는 부호화 순서 결정부; 및
    상기 결정된 부호화 순서에 따라 상기 복수 개의 색 성분 영상들을 부호화하는 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  19. 제 18항에 있어서, 상기 부호화 순서 결정부는
    상기 나머지 색 성분 영상 이전에 부호화되는 색 성분 영상의 입력 화소 블록의 크기를 i×j(i,j는 정수), 상기 이전에 부호화되는 색 성분 영상의 입력 화소 블록의 i번째 행, j번째 열에 위치한 화소의 화소값을
    Figure 112006058181711-PAT00027
    , 상기
    Figure 112006058181711-PAT00028
    에 대응되는 상기 나머지 색 성분 영상의 예측 화소 블록의 i번째 행, j번째 열에 위치한 예측 화소값을
    Figure 112006058181711-PAT00029
    , a는 상기 이전에 부호화되는 색 성분 영상과 상기 나머지 색 성분 영상 사이의 상관 관계를 나타내는 소정의 가중치, b는 소정의 오프셋 값이라 할 때, 다음의 수학식;
    Figure 112006058181711-PAT00030
    을 이용하여 상기
    Figure 112006058181711-PAT00031
    을 예측하는 것을 특징으로 하는 영상 부호화 장치.
  20. 제 18항에 있어서, 상기 부호화 순서 결정부는
    상기 최초 부호화되는 색 성분 영상에 존재하는 에지를 검출하는 에지 검출부; 및
    상기 검출된 에지를 이용하여 상기 복수 개의 색 성분 영상들을 분리하는 영역 분리부;를 포함하며,
    상기 부호화부는 상기 분리된 각 영역별로 상기 이전에 부호화되는 색 성분과의 상관 관계를 이용하여 상기 나머지 색 성분 영상의 화소값을 예측하는 것을 특징으로 하는 영상 부호화 장치.
  21. 제 18항에 있어서, 상기 부호화 순서 결정부는
    상기 나머지 색 성분 원 영상의 화소값들과 상기 예측 영상의 화소값들의 절대값 차이의 합을 이용하여 상기 예측 오차를 계산하는 것을 특징으로 하는 영상 부호화 장치.
  22. 제 18항에 있어서, 상기 부호화 순서 결정부는
    슬라이스 단위, 픽처 단위, GOP(Group Of Picture) 단위 및 장면 변환 단위 중 선택된 단위를 중심으로 상기 예측 오차를 계산하고, 상기 선택된 단위별로 상기 부호화 순서를 결정하는 것을 특징으로 하는 영상 부호화 장치.
  23. 입력 영상에 구비된 복수 개의 색 성분 영상들을 부호화하는 영상 부호화 장치에 있어서,
    소정의 부호화 순서들에 따라서 이전에 부호화된 후 복원된 색 성분 영상과의 상관 관계를 이용하여, 최초 부호화되는 색 성분 영상 이후의 나머지 색 성분 영상들에 대한 예측 영상을 형성하는 상관 예측부; 및
    상기 각 부호화 순서별로 상기 최초 부호화되는 색 성분 영상의 레지듀를 부호화할 때 발생되는 비트량 및 상기 나머지 색 성분 영상들의 원 영상과 상기 예측 영상 사이의 차이인 레지듀를 부호화할 때 발생되는 비트량을 합산하고, 상기 각 부호화 순서들에 따른 발생 비트량을 비교하여 최소 비트량이 발생되는 부호화 순서를 결정하는 부호화 순서 결정부를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  24. 제 23항에 있어서, 상기 상관 예측부는
    상기 나머지 색 성분 영상 이전에 부호화된 후 복원된 색 성분 영상의 화소 블록의 크기를 i×j(i,j는 정수), 상기 이전에 부호화된 후 복원된 색 성분 영상의 화소 블록의 i번째 행, j번째 열에 위치한 화소의 화소값을
    Figure 112006058181711-PAT00032
    , 상기
    Figure 112006058181711-PAT00033
    에 대응되는 상기 나머지 색 성분 영상의 예측 화소 블록의 i번째 행, j번째 열에 위치한 예측 화소값을
    Figure 112006058181711-PAT00034
    , a는 상기 이전에 부호화된 후 복원된 색 성분 영상과 상기 나머지 색 성분 영상 사이의 상관 관계를 나타내는 소정의 가중치, b는 소정의 오프셋 값이라 할 때, 다음의 수학식;
    Figure 112006058181711-PAT00035
    을 이용하여 상기
    Figure 112006058181711-PAT00036
    을 예측하는 것을 특징으로 하는 영상 부호화 장치.
  25. 제 24항에 있어서, 상기 a 및 b는
    선형 회귀(linear regression) 모델에 기반하여 결정되는 것을 특징으로 하는 영상 부호화 장치.
  26. 제 23항에 있어서, 상기 상관 예측부는
    상기 최초 부호화되는 색 성분 영상에 존재하는 에지를 중심으로 분리된 각 영역별로 상기 이전에 부호화된 후 복원된 색 성분과의 상관 관계를 이용하여 상기 나머지 색 성분 영상의 화소값을 예측하는 것을 특징으로 하는 영상 부호화 장치.
  27. 제 23항에 있어서, 상기 상관 예측부는
    상기 현재 부호화되는 색 성분 영상 이전에 부호화된 후 복원된 다른 색 성분 영상이 적어도 2개 이상 존재하는 경우 상기 다른 색 성분 영상 각각을 이용하여 예측 영상을 형성하고, 상기 다른 색 성분 영상들 중에서 상기 현재 부호화되는 색 성분의 원 영상과의 차이가 더 작은 예측 영상을 형성하는데 이용되는 다른 색 성분 영상을 선택하여 최종적인 예측 영상을 형성하는 것을 특징으로 하는 영상 부호화 장치.
  28. 제 23항에 있어서, 상기 부호화 순서 결정부는
    슬라이스 단위, 픽처 단위, GOP(Group Of Picture) 단위 및 장면 변환 단위 중 선택된 단위를 중심으로 상기 예측 오차를 계산하고, 상기 선택된 단위별로 상기 부호화 순서를 결정하는 것을 특징으로 하는 영상 부호화 장치.
  29. 비트스트림에 구비된 부호화된 복수 개의 색 성분 영상들을 복호화하는 영상 복호화 방법에 있어서,
    (a) 부호화된 복수 개의 색 성분 영상들을 구비하는 비트스트림을 수신하는 단계;
    (b) 상기 비트스트림에 구비된 상기 복수 개의 색 성분 영상들의 부호화 순서 정보를 추출하는 단계;
    (c) 상기 추출된 부호화 순서 정보에 따라 이전에 복호화된 색 성분 영상과의 상관 관계를 이용하여 상기 첫 번째 색 성분 영상 이후의 나머지 색 성분 영상들에 대한 예측 영상을 형성하는 단계; 및
    (d) 상기 비트스트림에 구비된 상기 나머지 색 성분 영상들의 레지듀와 상기 예측 영상을 더하여 상기 나머지 색 성분 영상들을 복호화하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  30. 제 29항에 있어서, 상기 (d) 단계는
    상기 나머지 색 성분 영상 이전에 복호화되는 색 성분 영상의 입력 화소 블 록의 크기를 i×j(i,j는 정수), 상기 이전에 복호화되는 색 성분 영상의 화소 블록의 i번째 행, j번째 열에 위치한 화소의 화소값을
    Figure 112006058181711-PAT00037
    , 상기
    Figure 112006058181711-PAT00038
    에 대응되는 상기 나머지 색 성분 영상의 예측 화소 블록의 i번째 행, j번째 열에 위치한 예측 화소값을
    Figure 112006058181711-PAT00039
    , a는 상기 이전에 복호화되는 색 성분 영상과 상기 나머지 색 성분 영상 사이의 상관 관계를 나타내는 소정의 가중치, b는 소정의 오프셋 값이라 할 때, 다음의 수학식;
    Figure 112006058181711-PAT00040
    을 이용하여 상기
    Figure 112006058181711-PAT00041
    을 예측하는 것을 특징으로 하는 영상 복호화 방법.
  31. 제 29항에 있어서, 상기 부호화 순서 정보는
    슬라이스 단위, 픽처 단위, GOP(Group Of Picture) 단위 및 장면 변환 단위 중 선택된 소정의 단위별로 설정되어 전송되는 것을 특징으로 하는 영상 복호화 방법.
  32. 비트스트림에 구비된 부호화된 복수 개의 색 성분 영상들을 복호화하는 영상 복호화 장치에 있어서,
    상기 비트스트림으로부터 추출된 상기 복수 개의 색 성분 영상들의 부호화 순서 정보에 따라 이전에 복호화된 색 성분 영상과의 상관 관계를 이용하여 첫 번째 색 성분 영상 이후의 나머지 색 성분 영상들에 대한 예측 영상을 형성하는 상관 예측부; 및
    상기 비트스트림에 구비된 상기 나머지 색 성분 영상들의 레지듀와 상기 예측 영상을 더하여 상기 나머지 색 성분 영상들을 복호화하는 가산부를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  33. 제 32항에 있어서, 상기 상관 예측부는
    상기 나머지 색 성분 영상 이전에 복호화되는 색 성분 영상의 입력 화소 블록의 크기를 i×j(i,j는 정수), 상기 이전에 복호화되는 색 성분 영상의 화소 블록의 i번째 행, j번째 열에 위치한 화소의 화소값을
    Figure 112006058181711-PAT00042
    , 상기
    Figure 112006058181711-PAT00043
    에 대응되는 상기 나머지 색 성분 영상의 예측 화소 블록의 i번째 행, j번째 열에 위치한 예측 화소값을
    Figure 112006058181711-PAT00044
    , a는 상기 이전에 복호화되는 색 성분 영상과 상기 나머지 색 성분 영상 사이의 상관 관계를 나타내는 소정의 가중치, b는 소정의 오프셋 값이라 할 때, 다음의 수학식;
    Figure 112006058181711-PAT00045
    을 이용하여 상기
    Figure 112006058181711-PAT00046
    을 예측하는 것을 특징으로 하는 영상 복호화 장치.
  34. 제 32항에 있어서, 상기 부호화 순서 정보는
    슬라이스 단위, 픽처 단위, GOP(Group Of Picture) 단위 및 장면 변환 단위 중 선택된 소정의 단위별로 설정되어 전송되는 것을 특징으로 하는 영상 복호화 장치.
KR1020060077122A 2006-08-16 2006-08-16 영상의 부호화, 복호화 방법 및 장치 KR101266168B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020060077122A KR101266168B1 (ko) 2006-08-16 2006-08-16 영상의 부호화, 복호화 방법 및 장치
US11/785,665 US7778459B2 (en) 2006-08-16 2007-04-19 Image encoding/decoding method and apparatus
CN2007800304147A CN101507277B (zh) 2006-08-16 2007-08-06 图像编码/解码方法和设备
PCT/KR2007/003766 WO2008020687A1 (en) 2006-08-16 2007-08-06 Image encoding/decoding method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060077122A KR101266168B1 (ko) 2006-08-16 2006-08-16 영상의 부호화, 복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080015592A true KR20080015592A (ko) 2008-02-20
KR101266168B1 KR101266168B1 (ko) 2013-05-21

Family

ID=39082196

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060077122A KR101266168B1 (ko) 2006-08-16 2006-08-16 영상의 부호화, 복호화 방법 및 장치

Country Status (4)

Country Link
US (1) US7778459B2 (ko)
KR (1) KR101266168B1 (ko)
CN (1) CN101507277B (ko)
WO (1) WO2008020687A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9277232B2 (en) 2009-08-10 2016-03-01 Samsung Electronics Co., Ltd. Apparatus and method of encoding and decoding image data using color correlation

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1538844A3 (en) * 2003-11-26 2006-05-31 Samsung Electronics Co., Ltd. Color image residue transformation and encoding method
KR100647294B1 (ko) 2004-11-09 2006-11-23 삼성전자주식회사 화상 데이터 부호화 및 복호화 방법 및 장치
KR101261526B1 (ko) * 2006-07-04 2013-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR101411315B1 (ko) * 2007-01-22 2014-06-26 삼성전자주식회사 인트라/인터 예측 방법 및 장치
KR101362757B1 (ko) * 2007-06-11 2014-02-14 삼성전자주식회사 인터 컬러 보상을 이용한 영상의 부호화 방법 및 장치,복호화 방법 및 장치
CN100566427C (zh) * 2007-07-31 2009-12-02 北京大学 用于视频编码的帧内预测编码最佳模式的选取方法及装置
JP4952627B2 (ja) * 2008-03-21 2012-06-13 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2009136066A1 (fr) * 2008-04-15 2009-11-12 France Telecom Prediction d'images par determination prealable d'une famille de pixels de reference, codage et decodage utilisant une telle prediction
US8587639B2 (en) * 2008-12-11 2013-11-19 Alcatel Lucent Method of improved three dimensional display technique
KR20110065412A (ko) * 2009-12-09 2011-06-15 에스케이 텔레콤주식회사 멀티 플레인 영상의 부호화/복호화 장치와 방법 및 이를 위한 기록매체
WO2011088594A1 (en) 2010-01-25 2011-07-28 Thomson Licensing Video encoder, video decoder, method for video encoding and method for video decoding, separately for each colour plane
WO2011134642A1 (en) 2010-04-26 2011-11-03 Panasonic Corporation Predictive coding with block shapes derived from a prediction error
JP5781743B2 (ja) * 2010-06-28 2015-09-24 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
PL3849194T3 (pl) 2010-09-27 2022-10-31 Lg Electronics, Inc. Sposób podziału bloku oraz urządzenie do dekodowania
CN102075750B (zh) * 2011-01-07 2014-06-18 深圳市融创天下科技股份有限公司 一种rgb空间的视频编解码方法、装置和系统
TW201813391A (zh) * 2011-05-30 2018-04-01 日商船井電機股份有限公司 影像解碼裝置、影像解碼方法及儲存有影像解碼程式之記錄媒體
JP5907367B2 (ja) * 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
GB2495942B (en) * 2011-10-25 2014-09-03 Canon Kk Method and apparatus for processing components of an image
GB2495941B (en) 2011-10-25 2015-07-08 Canon Kk Method and apparatus for processing components of an image
CN102333223A (zh) * 2011-10-25 2012-01-25 北京华兴宏视技术发展有限公司 视频数据编码方法、解码方法、编码系统和解码系统
US8615138B2 (en) 2011-11-03 2013-12-24 Google Inc. Image compression using sub-resolution images
JP2014534746A (ja) * 2011-11-07 2014-12-18 インテル コーポレイション クロスチャネル残差予測
CN104023238B (zh) * 2011-11-07 2018-11-16 英特尔公司 跨通道残余预测
CN108040255A (zh) * 2011-11-21 2018-05-15 松下知识产权经营株式会社 图像处理装置以及图像处理方法
CN103260018B (zh) * 2012-02-16 2017-09-22 乐金电子(中国)研究开发中心有限公司 帧内图像预测编解码方法及视频编解码器
WO2014000168A1 (en) 2012-06-27 2014-01-03 Intel Corporation Cross-layer cross-channel residual prediction
TWI595776B (zh) * 2012-06-27 2017-08-11 Sony Corp Image processing device and method
CN104769950B (zh) 2012-09-28 2018-11-13 Vid拓展公司 用于视频编码中的色度信号增强的交叉平面滤波
CN103167289B (zh) * 2013-03-06 2015-10-28 硅谷数模半导体（北京）有限公司 图像的编码、解码方法及编码、解码装置
GB2522012B (en) * 2014-01-06 2017-04-19 Sony Interactive Entertainment Inc Apparatus and method of texture encoding and decoding
EP2938073A1 (en) * 2014-04-24 2015-10-28 Thomson Licensing Methods for encoding and decoding a picture and corresponding devices
GB2531004A (en) * 2014-10-06 2016-04-13 Canon Kk Residual colour transform signalled at sequence level for specific coding modes
EP3284259A1 (en) 2015-04-17 2018-02-21 VID SCALE, Inc. Chroma enhancement filtering for high dynamic range video coding
KR102460912B1 (ko) 2015-07-08 2022-10-28 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 교차 평면 필터링을 이용한 향상된 크로마 코딩
WO2017192616A1 (en) * 2016-05-06 2017-11-09 Vid Scale, Inc. Systems and methods for motion compensated residual prediction
CN107580222B (zh) * 2017-08-01 2020-02-14 北京交通大学 一种基于线性模型预测的图像或视频编码方法
EP3471418A1 (en) 2017-10-12 2019-04-17 Thomson Licensing Method and apparatus for adaptive transform in video encoding and decoding

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5680129A (en) * 1995-07-18 1997-10-21 Hewlett-Packard Company System and method for lossless image compression
KR100389891B1 (ko) * 1996-05-02 2003-10-22 삼성전자주식회사 시감오차 처리방법 및 이를 이용한 영상 부호화장치
WO2000011874A1 (de) * 1998-08-18 2000-03-02 Siemens Aktiengesellschaft Verfahren und anordnung zur codierung eines digitalisierten bildes mit anwendung eines objektgesamtbewegungsvektors
US6611620B1 (en) * 1998-08-28 2003-08-26 Matsushita Electric Industrial Co. Ltd. Reversible coding method, reversible coding apparatus, and memory medium used therein
IL129203A (en) * 1999-03-28 2002-07-25 Univ Ramot System and method for compressing figures
JP3895115B2 (ja) 2001-02-01 2007-03-22 ソニー株式会社 データ伝送方法、データ送信装置、およびデータ受信装置
JP3964391B2 (ja) * 2001-06-29 2007-08-22 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
CN1232126C (zh) * 2002-09-30 2005-12-14 三星电子株式会社 图像编码方法和装置以及图像解码方法和装置
US7469069B2 (en) 2003-05-16 2008-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image using image residue prediction
US7333544B2 (en) 2003-07-16 2008-02-19 Samsung Electronics Co., Ltd. Lossless image encoding/decoding method and apparatus using inter-color plane prediction
KR101256548B1 (ko) * 2005-12-30 2013-04-19 삼성전자주식회사 영상 부호화 및 복호화 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9277232B2 (en) 2009-08-10 2016-03-01 Samsung Electronics Co., Ltd. Apparatus and method of encoding and decoding image data using color correlation

Also Published As

Publication number Publication date
KR101266168B1 (ko) 2013-05-21
US7778459B2 (en) 2010-08-17
CN101507277A (zh) 2009-08-12
US20080043840A1 (en) 2008-02-21
WO2008020687A1 (en) 2008-02-21
CN101507277B (zh) 2012-07-04

Similar Documents

Publication Publication Date Title
KR101266168B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR101311402B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
JP6768122B2 (ja) 適応色空間変換の符号化
KR101200865B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR101311403B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR101246294B1 (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
JP5128443B2 (ja) 映像の符号化、復号化の方法及びその装置
KR101362757B1 (ko) 인터 컬러 보상을 이용한 영상의 부호화 방법 및 장치,복호화 방법 및 장치
US8175158B2 (en) Methods and systems for inter-layer image prediction parameter determination
JP5143120B2 (ja) 画像の符号化方法及び装置、復号化方法及び装置
KR20080004013A (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR101119970B1 (ko) 적응적인 양자화 스텝을 이용한 영상의 부호화, 복호화방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160428

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170427

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee