KR20050050540A - 컬러영상의 레지듀변환/역변환 방법 및 장치, 그를 이용한컬러영상 부호화/ 복호화 방법 및 장치 - Google Patents

컬러영상의 레지듀변환/역변환 방법 및 장치, 그를 이용한컬러영상 부호화/ 복호화 방법 및 장치 Download PDF

Info

Publication number
KR20050050540A
KR20050050540A KR1020040094554A KR20040094554A KR20050050540A KR 20050050540 A KR20050050540 A KR 20050050540A KR 1020040094554 A KR1020040094554 A KR 1020040094554A KR 20040094554 A KR20040094554 A KR 20040094554A KR 20050050540 A KR20050050540 A KR 20050050540A
Authority
KR
South Korea
Prior art keywords
residue
image
component
color
original
Prior art date
Application number
KR1020040094554A
Other languages
English (en)
Other versions
KR100647297B1 (ko
Inventor
김우식
김현문
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP20040257277 priority Critical patent/EP1538844A3/en
Priority to US10/996,448 priority patent/US8036478B2/en
Priority to JP2004342873A priority patent/JP4898111B2/ja
Publication of KR20050050540A publication Critical patent/KR20050050540A/ko
Application granted granted Critical
Publication of KR100647297B1 publication Critical patent/KR100647297B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

본 발명은 컬러영상의 레지듀변환/역변환 방법 및 장치와 그를 이용한 컬러영상 부호화/복호화 방법 및 장치에 관한 것으로서, 그 레지듀변환 방법은 원영상과 예측영상의 차에 해당하는 레지듀를 구하는 단계; 및 컬러영상 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 변환하는 단계를 포함함을 특징으로 하고, 그 역변환 방법은 레지듀 변환된 원 영상에 대해 레지듀 역변환을 수행하여 각 성분별 레지듀를 생성하는 단계; 및 각 성분별 레지듀에 예측영상을 더하여 원영상을 복원하는 단계를 포함함을 특징으로 한다. 또한 그 레지듀 변환을 이용한 컬러영상 무손실 부호화 방법은 원영상과 예측영상의 차에 해당하는 레지듀를 구하는 단계; 및 소정 성분의 레지듀 상호간의 관계성을 이용하여 레지듀를 변환하여 부호화하는 단계를 포함함을 특징으로 하고, 그 복호화 방법은 원영상의 부호화데이터로부터 레지듀변환된 영상데이터를 추출하는 단계; 레지듀 변환된 영상데이터에 대해 레지듀 역변환을 수행하여 각 성분별 레지듀를 생성하는 단계; 및 각 성분별 레지듀에 예측영상을 더하여 원영상을 복원하는 단계를 포함함을 특징으로 한다.
본 발명에 의하면, 각 컬러 성분의 레지듀 간에 변환을 수행하여 각 컬러 성분의 레지듀 간의 중복성을 제거함으로써 컬러 영상을 부호화할 때에 보다 높은 압축 효율을 가질 수 있다.

Description

컬러영상의 레지듀변환/역변환 방법 및 장치, 그를 이용한 컬러영상 부호화/ 복호화 방법 및 장치{Image coding method and apparatus using residue transform}
본 발명은 영상 부호화/복호화에 관한 것으로서, 특히 컬러영상의 레지듀변환/역변환 방법 및 장치와 그를 이용한 컬러영상 부호화/복호화 방법 및 장치에 관한 것이다.
일반적으로 컬러 영상을 부호화할 때에 컬러변환을 수행한 다음에 부호화를 한다. 컬러 좌표계는 여러 가지 종류가 있지만 그 중에서 기본이 되는 좌표계로 RGB 좌표계를 꼽을 수 있다. RGB 영상을 YCbCr 영상으로 변환하여 휘도 성분과 색상 성분으로 분리한 후에 부호화를 한다. 이와 같이 하면 부호화 효율이 높아지는데, 그 이유는 각 컬러 성분 간에 많은 중복성이 있고, 변환을 통해 중복성을 제거하였기 때문이다. 특히 최근에는 리프팅 방법을 사용한 정수 변환 방법이 연구되었는데, 예를 들어 Microsoft에서 개발한 YCoCg-R과 같은 방법이 있다.
한편 이와 같이 변환된 영상을 부호화할 때에는 시공간 예측을 통하여 각 성분 내부의 중복성을 제거하는 과정을 거치게 되고, 그 결과 레지듀 영상을 얻는다. 최근 표준화가 진행된 ISO/IEC MPEG 및 ITU-T VCEG의 Joint Video Team (JVT)의 H.264/MPEG-4 pt.10 AVC 표준화 기술("Text of ISO/IEC FDIS 14496-10: Information Technology - Coding of audio-visual objects - Part 10: Advanced Video Coding", ISO/IEC JTC 1/SC 29/WG 11, N5555, March, 2003)에서는 여러 가지 다양한 방법으로 공간상 및 시간상 예측 부호화를 수행하여 부호화 효율을 향상시켰다. 그러나, 시공간 예측을 각 컬러 성분 간에 동일한 방법으로 수행한 경우 각 컬러 성분의 레지듀 영상 간에 많은 중복성이 존재하게 된다.
본 발명이 이루고자 하는 기술적 과제는 컬러영상의 레지듀 변환/역변환 방법 및 장치를 제공하는 것이다.
본 발명이 이루고자하는 다른 기술적 과제는 상기 컬러영상의 레지듀 변환/역변환 방법 및 장치를 이용한 무손실 영상 부호화/복호화 방법 및 장치를 제공하는 것이다.
본 발명이 이루고자하는 다른 기술적 과제는 상기 컬러영상의 레지듀 변환/역변환 방법 및 장치를 이용한 컬러영상 부호화/복호화 방법 및 장치를 제공하는 것이다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 컬러영상 변환 방법은 적어도 두 가지 이상의 성분으로 이루어지는 원영상을 레지듀변환하는 방법에 있어서, (a) 상기 원영상의 각 성분에 대해, 원영상과 예측영상의 차에 해당하는 레지듀를 구하는 단계; 및 (b) 상기 컬러영상 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 변환하는 단계를 포함함을 특징으로 한다. 상기 원영상은 R-G-B 형식, Y-Cb-Cr 형식, X-Y-Z 형식의 영상 중 어느 하나임이 바람직하다.
상기 (a)단계는 상기 원 영상의 각 성분에 대해, 각 칼라 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정하여 예측영상을 얻는 단계; 및 원 영상에서 상기 예측영상을 뺀 공간적 레지듀를 구하는 단계를 구비함이 바람직하다. 상기 (a)단계는 상기 원영상의 각 성분에 대해, 각 칼라 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻는 단계; 원 영상에서 상기 예측영상을 뺀 시간적 레지듀를 구하는 단계를 구비함이 바람직하다.
상기 (b)단계의 레지듀 변환은 컬러영상의 세 가지 성분을 X1, X2, X3 라하고, 를 상기 세 가지 성분 X1, X2, X3 에 대한 레지듀라 할 때,
[수학식 2]
[수학식 4]
[수학식 7]
(여기서 는 레지듀 변환된 신호이다.)
수학식 2, 4, 7 중 하나를 이용하여 변환함이 바람직하다.
상기 (b)단계의 레지듀 변환은 미리 설정된 복수의 레지듀 변환식 중 하나를 선택하여 레지듀 변환함이 바람직하다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 컬러영상 변환 장치는 적어도 두 가지 이상의 성분으로 이루어지는 원영상을 레지듀변환하는 장치에 있어서, 상기 원영상의 각 성분에 대해, 원영상과 예측영상의 차에 해당하는 레지듀를 생성하는 레지듀 생성부; 및 상기 컬러영상 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 변환하는 레지듀변환부를 포함함을 특징으로 한다. 상기 레지듀 생성부는 상기 원 영상의 각 성분에 대해, 인트라 방식이면 각 칼라 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정하여 예측영상을 얻어, 원 영상에서 상기 예측영상을 뺀 공간적 레지듀를 생성하는 공간적 레지듀 생성부; 및 상기 원 영상의 각 성분에 대해, 인터 방식이면 각 칼라 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻어, 원 영상에서 상기 예측영상을 뺀 시간적 레지듀를 생성하는 시간적 레지듀 생성부를 구비함이 바람직하다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 컬러영상 역변환 방법은, 적어도 두 가지 이상의 성분으로 이루어지는 원 영상과 예측영상의 차를 레지듀라 할 때, 상기 원 영상 성분들의 각 레지듀 간의 상관관계를 이용하여 레지듀 변환된 영상을 역변환하는 방법에 있어서, (x) 상기 레지듀 변환된 원 영상에 대해 레지듀 역변환을 수행하여 상기 각 성분별 레지듀를 생성하는 단계; 및 (y) 상기 각 성분별 레지듀에 예측영상을 더하여 원영상을 복원하는 단계를 포함함을 특징으로 한다.
상기 원영상은 R-G-B 형식, Y-Cb-Cr 형식, X-Y-Z 형식의 영상 중 어느 하나임이 바람직하다. 상기 (y)단계는 인트라 방식인 경우, 상기 각 컬러 성분의 레지듀에 대해 현재 영상의 화소 블록과 공간적으로 근접한 화소를 이용하여 공간상 예측 된 값을 보상하여 원영상을 복원하고, 인터방식인 경우, 상기 각 컬러 성분의 레지듀에 대해 이전 영상으로부터 예측 영상을 얻어 시간상 예측된 값을 보상하여 원영상을 복원함이 바람직하다.
상기 (x)단계의 역변환은
[수학식 9]
[수학식 10]
[수학식 11]
(여기서 는 레지듀 변환된 신호이다.)
상기 수학식 9, 10, 11 중 어느 하나를 사용하여 역변환함이 바람직하다.
상기 (y)단계의 역변환은 변환된 레지듀 생성시 사용된 레지듀변환식 정보를 디코딩하여 그에 상응하는 역변환식을 이용하여 역변환함이 바람직하다.
상기 기술적 과제를 달성하기 위하여 본 발명에 따른 컬러영상 역변환 장치는, 적어도 두 가지 이상의 성분으로 이루어지는 원 영상과 예측영상의 차를 레지듀라 할 때, 상기 원 영상 성분들의 각 레지듀 간의 상관관계를 이용하여 레지듀 변환된 영상을 역변환하는 장치에 있어서, 상기 레지듀 변환된 원 영상에 대해 레지듀 역변환을 수행하여 상기 각 성분별 레지듀를 생성하는 레지듀역변환부; 및 상기 각 성분별 레지듀에 예측영상을 더하여 원영상을 복원하는 원영상복원부를 포함함을 특징으로 한다.
상기 원영상복원부는 인트라 방식인 경우, 상기 각 컬러 성분의 레지듀에 대해 현재 영상의 화소 블록과 공간적으로 근접한 화소를 이용하여 공간상 예측 된 값을 보상하여 원영상을 복원하는 공간상보상 영상복원부; 및 인터방식인 경우, 상기 각 컬러 성분의 레지듀에 대해 이전 영상으로부터 예측 영상을 얻어 시간상 예측된 값을 보상하여 원영상을 복원하는 시간상보상 영상복원부를 포함함이 바람직하다.
상기 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 레지듀변환을 이용한 무손실 컬러영상 부호화 방법은, 적어도 두 가지 이상의 성분으로 이루어지는 원영상을 부호화하는 방법에 있어서, (a) 상기 원영상의 각 성분에 대해, 원영상과 예측영상의 차에 해당하는 레지듀를 구하는 단계; 및 (b) 상기 소정 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 변환하여 부호화하는 단계를 포함함을 특징으로 한다. 상기 원영상은 R-G-B 형식, Y-Cb-Cr 형식, X-Y-Z 형식의 영상 중 어느 하나임이 바람직하다.
상기 (b)단계의 레지듀변환된 데이터를 엔트로피 부호화하여 비트열을 생성하는 단계를 더 구비함이 바람직하다. 상기 (b)단계는 상기 컬러영상의 성분별 레지듀 상호간의 관계성을 이용하여 레지듀변환할 지를 선택하는 단계; 상기 레지듀변환을 선택하면 상기 소정 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 변환하여 부호화하는 단계; 및 상기 레지듀변환을 선택하지 않으면 상기 컬러영상의 성분별 레지듀를 부호화하는 단계를 포함함이 바람직하다.
상기 (a)단계는 상기 원 영상의 각 성분에 대해, 각 칼라 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정하여 예측영상을 얻는 단계; 및 원 영상에서 상기 예측영상을 뺀 공간적 레지듀를 구하는 단계를 구비함이 바람직하다. 상기 (a)단계는 상기 원영상의 각 성분에 대해, 각 칼라 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻는 단계; 원 영상에서 상기 예측영상을 뺀 시간적 레지듀를 구하는 단계를 구비함이 바람직하다. 상기 (b)단계의 레지듀 변환은 상기 수학식 2, 4, 7 를 이용하여 변환함이 바람직하다.
상기 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 레지듀변환을 이용한 무손실 컬러영상 부호화 장치는, 적어도 두 가지 이상의 성분으로 이루어지는 원영상을 부호화하는 장치에 있어서, 상기 원영상의 각 성분에 대해, 원영상과 예측영상의 차에 해당하는 레지듀를 구하는 레지듀 생성부; 및 상기 소정 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 변환하여 부호화하는 레지듀변환/부호화부를 포함함을 특징으로 한다. 상기 레지듀변환/부호화부는 레지듀변환된 데이터를 엔트로피 부호화하여 비트열을 생성하는 엔트로피 부호화부를 더 구비함이 바람직하다.
상기 레지듀생성부는 상기 원 영상의 각 성분에 대해, 인트라 방식이면 각 칼라 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정하여 예측영상을 얻어, 원 영상에서 상기 예측영상을 뺀 공간적 레지듀를 구하는 공간적레지듀 생성부; 및 상기 원 영상의 각 성분에 대해, 인터 방식이면 각 칼라 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻어, 원 영상에서 상기 예측영상을 뺀 시간적 레지듀를 구하는 시간적 레지듀 생성부를 구비함이 바람직하다.
상기 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 레지듀변환을 이용한 무손실 컬러영상 복호화 방법은, 부호화된 적어도 두 가지 이상의 성분으로 이루어지는 원 영상을 무손실 복호화하는 방법에 있어서, (x) 상기 원영상과 예측영상의 차를 레지듀라 할 때, 상기 원영상의 부호화데이터로부터 레지듀변환된 영상데이터를 추출하는 단계; (y) 상기 레지듀 변환된 영상데이터에 대해 레지듀 역변환을 수행하여 상기 각 성분별 레지듀를 생성하는 단계; 및 (z) 상기 각 성분별 레지듀에 예측영상을 더하여 원영상을 복원하는 단계를 포함함을 특징으로 한다. 상기 원영상은 R-G-B 형식, Y-Cb-Cr 형식, X-Y-Z 형식의 영상 중 어느 하나임이 바람직하다.
상기 (z)단계는 인트라 방식인 경우, 상기 각 컬러 성분의 레지듀에 대해 현재 영상의 화소 블록과 공간적으로 근접한 화소를 이용하여 공간상 예측 된 값을 보상하여 원영상을 복원하고, 인터방식인 경우, 상기 각 컬러 성분의 레지듀에 대해 이전 영상으로부터 예측 영상을 얻어 시간상 예측된 값을 보상하여 원영상을 복원함이 바람직하다. 상기 (y)단계의 역변환은 수학식 9, 10, 11을 이용하여 역변환함이 바람직하다.
상기 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 레지듀변환을 이용한 무손실 컬러영상 복호화 방법은, 부호화된 적어도 두 가지 이상의 성분으로 이루어지는 원 영상을 무손실 복호화하는 방법에 있어서, 상기 부호화된 데이터가 레지듀 변환되었는지를 체크하는 단계; 레지듀 변환되었으면, 상기 레지듀 변환된 영상데이터에 대해 레지듀 역변환을 수행하여 상기 컬러영상의 각 성분별 레지듀를 생성하는 단계; 레지듀변환되지 않았으면, 상기 역양자화된 데이터로부터 상기 컬러영상의 각 성분별 레지듀를 생성하는 단계; 및 상기 각 성분별 레지듀에 예측영상을 더하여 원영상을 복원하는 단계를 포함함을 특징으로 한다.
상기 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 레지듀변환을 이용한 무손실 컬러영상 복호화 장치는, 부호화된 적어도 두 가지 이상의 성분으로 이루어지는 원 영상을 무손실 복호화하는 장치에 있어서, 상기 원영상과 예측영상의 차를 레지듀라 할 때, 상기 원영상의 부호화데이터로부터 레지듀변환된 영상데이터를 추출하는 레지듀변환 데이터추출부; 상기 레지듀 변환된 영상데이터에 대해 레지듀 역변환하여 각 성분별 레지듀를 생성하는 레지듀역변환부; 및 상기 각 성분별 레지듀에 예측영상을 더하여 원영상을 복원하는 원영상복원부를 포함함을 특징으로 한다.
상기 원영상복원부는 인트라 방식인 경우 상기 각 컬러 성분의 레지듀에 현재 영상의 화소 블록과 공간적으로 근접한 화소를 이용하여 공간상 예측 된 값을 보상하는 상기 공간상보상부; 인터방식인 경우 상기 각 컬러 성분의 레지듀에 이전 영상으로부터 예측 영상을 얻어 시간상 예측된 값을 보상하는 시간상보상부; 및 원영상의 각 성분별 레지듀에 상기 공간상보상부 또는 시간상 보상부에서 보상된 예측영상을 더하여 원영상을 복원하는 무손실영상복원부를 포함함이 바람직하다. 또한 상기 복호화 장치는 부호화된 비트열을 엔트로피복호화하는 엔트로피복호화부를 더 구비함이 바람직하다.
상기 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 레지듀변환을 이용한 무손실 컬러영상 복호화 장치는, 부호화된 적어도 두 가지 이상의 성분으로 이루어지는 원 컬러영상을 무손실 복호화하는 장치에 있어서, 원 컬러영상의 부호화데이터로부터 레지듀 데이터에 대해 레지듀변환을 수행여부를 나타내는 레지듀변환선택정보를 추출하여 레지듀변환된 데이터인지를 판단하는 레지듀변환판단부; 레지듀변환된 데이터라고 판단되면, 원 컬러영상의 부호화데이터로부터 레지듀변환된 영상데이터를 추출하는 레지듀변환 데이터추출부; 상기 레지듀 변환된 영상데이터에 대해 레지듀 역변환하여 각 성분별 레지듀를 생성하는 레지듀역변환부; 상기 판단결과 레지듀변환되지 않았다고 판단되면, 원컬러영상의 부호화데이터로부터 각 성분별 레지듀데이터를 추출하는 레지듀데이터추출부; 및 상기 각 성분별 레지듀에 예측영상을 더하여 원영상을 복원하는 원영상복원부를 포함함을 특징으로 한다.
상기 또 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 레지듀변환을 이용한 컬러영상 부호화 방법은, 적어도 두 가지 이상의 성분으로 이루어지는 원 컬러영상을 부호화하는 방법에 있어서, (a) 상기 원 컬러영상의 각 성분에 대해, 원 컬러영상과, 복원된 영상으로부터 생성한 예측영상의 차에 해당하는 레지듀를 구하는 단계; 및 (b) 상기 컬러영상 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 변환하는 단계; (c) 상기 레지듀변환된 데이터를 적어도 양자화를 포함하여 부호화하는 단계를 포함함을 특징으로 한다.
상기 원영상은 R-G-B 형식, Y-Cb-Cr 형식, X-Y-Z 형식의 영상 중 어느 하나임이 바람직하다. 상기 부보화 방법은 상기 양자화된 데이터를 엔트로피 부호화하여 비트열을 생성하는 단계를 더 구비함이 바람직하다.
상기 (a)단계는 상기 원 영상의 각 성분에 대해, 각 칼라 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 복원된 화소로부터 예측 방향을 추정하여 손실 예측영상을 얻는 단계; 및 원 영상에서 상기 손실 예측영상을 뺀 손실 공간적 레지듀를 구하는 단계를 구비함이 바람직하다. 상기 (a)단계는 상기 원영상의 각 성분에 대해, 각 칼라 성분의 복원된 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻는 단계; 원 영상에서 상기 예측영상을 뺀 손실 시간적 레지듀를 구하는 단계를 구비함이 바람직하다. 상기 (a)단계의 예측영상은 상기 (c)단계에서 변환 및 양자화를 거쳐 생성된 신호를 역양자화 및 역변환을 한 뒤 예측 보상을 하여 복원된 영상을 사용하여 생성됨이 바람직하다. 상기 (b)단계의 레지듀 변환은 수학식 2, 4, 7을 이용하여 레지듀 변환함이 바람직하다.
상기 또 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 레지듀변환을 이용한 컬러영상 부호화 방법은, 적어도 두 가지 이상의 성분으로 이루어지는 원 컬러영상을 부호화하는 방법에 있어서, 상기 원 컬러영상의 각 성분에 대해, 원 컬러영상과, 복원된 영상으로부터 생성한 예측영상의 차에 해당하는 레지듀를 구하는 단계; 상기 컬러영상의 성분별 레지듀 상호간의 관계성을 이용하여 레지듀변환할 지를 선택하는 단계; 상기 레지듀변환을 선택하면 상기 소정 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 변환하여 손실부호화하는 단계; 및
상기 레지듀변환을 선택하지 않으면 상기 컬러영상의 성분별 레지듀를 손실부호화하는 단계를 포함함을 특징으로 한다.
상기 또 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 레지듀변환을 이용한 컬러영상 부호화 장치는, 적어도 두 가지 이상의 성분으로 이루어지는 원 컬러영상을 부호화하는 장치에 있어서, 상기 원 컬러영상의 각 성분에 대해, 현재영상과 복원된 이전영상을 이용하여 시간상 예측영상 및 복원된 현재영상을 이용하여 공간상 예측영상 중 적어도 하나를 생성하는 시공간예측부; 인트라방식이면 원 영상에서 상기 공간상 예측영상을 뺀 공간적 레지듀를 생성하고, 인터방식이면 원 영상에서 상기 시간상 예측영상을 뺀 시간적 레지듀를 생성하는 레지듀생성부; 상기 컬러영상의 성분별 레지듀 상호간 관계성을 이용하여 상기 레지듀를 변환하는 레지듀변환부; 및 상기 변환된 레지듀를 적어도 양자화를 포함하여 부호화하는 레지듀부호화부를 포함함을 특징으로 한다. 상기 부호화 장치는 상기 양자화된 데이터를 엔트로피 부호화하여 비트열을 생성하는 엔트로피부호화부를 더 구비함이 바람직하다.
상기 시공간예측부는 인트라 방식의 경우, 상기 원컬러영상의 각 성분에 대해 각 칼라 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 복원된 화소로부터 예측 방향을 추정하여 예측영상을 얻는 상기 공간상예측부; 및 인터방식의 경우, 상기 원컬러영상의 각 성분에 대해 각 칼라 성분의 복원된 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻는 시간상예측부를 구비함이 바람직하다. 상기 시공간예측부의 예측영상은 상기 레지듀부호화부에서 변환 및 양자화를 거쳐 생성된 신호를 역양자화 및 역변환을 한 뒤 예측 보상을 하여 복원된 영상을 사용하여 생성됨이 바람직하다.
상기 또 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 레지듀변환을 이용한 컬러영상 부호화 장치는, 적어도 두 가지 이상의 성분으로 이루어지는 원 컬러영상을 부호화하는 장치에 있어서, 상기 원 컬러영상의 각 성분에 대해, 원 컬러영상과, 복원된 컬러영상으로부터 생성한 예측영상의 차에 해당하는 레지듀를 생성하는 레지듀생성부; 상기 레지듀생성부에서 생성된 컬러영상의 성분별 레지듀 상호간의 관계성을 이용하여 레지듀변환할 지를 선택하는 레지듀변환선택부; 상기 레지듀변환선택부에서 레지듀변환하기로 선택하면, 상기 컬러영상의 성분별 레지듀 상호간 관계성을 이용하여 상기 레지듀를 변환하는 레지듀변환부; 상기 레지듀변환부에서 변환된 레지듀 또는 상기 레지듀변환선택부에서 레지듀변환하지 않기로 선택하면 상기 레지듀생성부에서 생성된 레지듀를 적어도 양자화를 포함하여 부호화하는 레지듀부호화부를 포함함을 특징으로 한다.
상기 또 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 레지듀변환을 이용한 컬러영상 복호화 방법은, 부호화된 적어도 두 가지 이상의 성분으로 이루어지는 원 컬러영상을 복호화하는 방법에 있어서, (x) 상기 원컬러영상의 부호화데이터에 대해 손실복호화를 수행하여 레지듀변환된 영상데이터를 복원하는 단계; (y) 상기 레지듀 변환된 영상데이터에 대해 레지듀 역변환을 수행하여 상기 컬러영상의 각 성분별 레지듀를 생성하는 단계; 및 (z) 상기 각 성분별 레지듀에, 복원된 영상을 이용하여 생성된 예측영상을 더하여 원컬러영상을 복원하는 단계를 포함함을 특징으로 한다.
상기 원영상은 R-G-B 형식, Y-Cb-Cr 형식, X-Y-Z 형식의 영상 중 어느 하나임이 바람직하다. 상기 (z)단계는 인트라 방식인 경우, 상기 각 컬러 성분의 레지듀에 대해 현재 영상의 화소 블록과 공간적으로 근접한 복원된 화소를 이용하여 공간상 예측 된 값을 보상하여 원 컬러영상을 복원함이 바람직하다. 상기 (z)단계는 인터방식인 경우, 상기 각 컬러 성분의 레지듀에 대해 복원된 이전 영상으로부터 예측영상을 얻어 시간상 예측된 값을 보상하여 원영상을 복원함이 바람직하다.
상기 (y)단계의 역변환은 수학식 9, 10, 11을 사용하여 역변환함이 바람직하다. 상기 복호화 방법은 상기 원 컬러영상의 입력 비트열에 대해 엔트로피 복호화하는 단계를 더 구비함이 바람직하다.
상기 또 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 레지듀변환을 이용한 컬러영상 복호화 방법은, 부호화된 적어도 두 가지 이상의 성분으로 이루어지는 원 영상을 복호화하는 방법에 있어서, 상기 원컬러영상의 부호화된 데이터에 대해 적어도 역양자화를 수행하는 단계; 상기 역양자화된 데이터가 레지듀 변환되었는지를 체크하는 단계; 레지듀 변환되었으면, 상기 레지듀 변환된 영상데이터에 대해 레지듀 역변환을 수행하여 상기 컬러영상의 각 성분별 레지듀를 생성하는 단계; 레지듀변환되지 않았으면, 상기 역양자화된 데이터로부터 상기 컬러영상의 각 성분별 레지듀를 생성하는 단계; 및 상기 각 성분별 레지듀에 예측영상을 더하여 원컬러영상을 복원하는 단계를 포함함을 특징으로 한다.
상기 또 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 레지듀변환을 이용한 컬러영상 복호화 장치는, 부호화된 적어도 두 가지 이상의 성분으로 이루어지는 원 컬러영상을 복호화하는 장치에 있어서, 상기 원컬러영상의 손실부호화데이터로부터 레지듀변환된 영상데이터를 복원하는 레지듀변환 데이터 복원부; 상기 레지듀변환 데이터에 대해 레지듀 역변환을 수행하여 상기 컬러영상의 각 성분별 레지듀를 생성하는 레지듀역변환부; 및 상기 각 성분별 레지듀에 복원된 영상을 이용하여 생성된 예측영상을 더하여 원컬러영상을 복원하는 원컬러영상 복원부를 포함함을 특징으로 한다. 상기 레지듀변환데이터 복원부는 부호화된 비트열을 엔트로피복호하하는 엔트로피복호화부; 및 상기 엔트로피복호화된 데이터를 역양자화 및 역변환하는 역양자화/역변환부를 구비함이 바람직하다.
상기 또 다른 기술적 과제를 달성하기 위하여 본 발명에 따른 레지듀변환을 이용한 컬러영상 복호화 장치는, 컬러영상의 손실부호화된 비트열에 대해 적어도 역양자화를 수행하는 손실복호화부; 상기 손실복호화부에서 손실복호화된 데이터로부터 레지듀변환을 수행여부를 나타내는 레지듀변환선택정보를 추출하여 해석하는 레지듀변환판단부; 상기 레지듀변환 선택정보 해석결과 상기 손실복호화된 데이터가 레지듀변환되었으면, 상기 손실복호화된 데이터로부터 레지듀변환데이터를 추출하는 레지듀변환데이터 추출부; 상기 레지듀변환 데이터에 대해 레지듀 역변환을 수행하여 상기 컬러영상의 각 성분별 레지듀를 생성하는 레지듀역변환부; 상기 레지듀변환 선택정보 해석결과 상기 손실복호화된 데이터가 레지듀변환되지 않았으면, 상기 손실복호화된 데이터로부터 레지듀데이터를 추출하는 레지듀데이터 추출부; 및 상기 각 성분별 레지듀에 복원된 영상을 이용하여 생성된 예측영상을 더하여 원컬러영상을 복원하는 원컬러영상 복원부를 포함함을 특징으로 한다.
그리고 상기 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이하, 본 발명의 실시예에 대하여 첨부된 도면들을 참조하여 상세하게 설명하기로 한다. 먼저, 본 발명의 명세서에서 사용되는 용어를 정의하기로 한다. 레지듀(residue)라 함은 원 컬러영상과 예측영상의 차를 말한다. 상기 레지듀 값은 상기 컬러영상이 RGB신호로 표현될 때, 수학식 1과 같이 나타낼 수 있다.
여기서 상기 R, G, B는 상기 컬러영상의 각 성분별 영상을 나타내고, 상기 Rp, Gp, Bp는 상기 R,G,B의 예측영상을 나타낸다. 상기 예측영상은 각 컬러 성분 내부의 중복되는 정보를 제거하기 위해서 사용되고, 중복되는 정보가 제거되고 남은 신호를 레지듀라고 한다.
일반적으로 컬러 영상을 부호화할 때에 각 색상 성분 별로 예측 부호화를 수행하여 각 성분 내에서 중복되는 정보를 제거한다. 이러한 방법에서는 색상 성분 서로 간에 중복되는 정보에 대해서는 고려가 되지 않는다. 이 것은 각 색상 성분의 값이 서로 틀려서 효율적으로 중복을 제거할 수 없기 때문이다. 그러나, 각 성분 별로 각 성분 내에서 시간상 또는 공간상 예측 부호화를 수행한 뒤에 생긴 레지듀 신호의 경우 각 성분별로 서로 비슷한 값을 갖기 때문에 중복되는 정보를 제거하여 압축 효율을 크게 향상시킬 수 있다.
표 1과 표 2는 컬러영상 실험에 일반적으로 사용되는 Kodak 세트 영상 24장에 대해 correlation을 구한 결과이다. 표 1은 예측 부호화를 수행하지 않고 원본 RGB 영상에 대해 각 성분 간의 상관관계(correlation)를 구한 것이고, 표 2는 도 8에서 설명한 공간 예측 부호화를 수행한 후에 각 성분의 레지듀 영상 간의 상관관계(correlation)를 구한 것이다.
표 1과 표 2에서 나타난 바와 같이 상관관계(correlation) 값이 원본 영상의 RGB 간 보다 레지듀 영상 간에 더 높아지는 것을 알 수 있다. 이것을 통해 RGB 영상의 레지듀 영상을 변환하여 중복을 제거하였을 때에 높은 압축 효율을 얻을 수 있는 것을 알 수 있다.
도 1은 본 발명에 의한 레지듀 변환 장치의 구성을 블록도로 도시한 것으로서, 레지듀생성부(100) 및 레지듀변환부(120)를 포함하여 이루어진다.
상기 레지듀생성부(100)는 원 컬러영상의 각 성분에 대해 원 컬러영상과 예측영상의 차에 해당하는 레지듀를 생성하며, 공간적 레지듀 생성부(102) 및 시간적 레지듀 생성부(104) 중 적어도 하나를 구비함이 바람직하다. 상기 원 컬러영상은 적어도 두 가지 이상의 성분으로 이루어진다. 예를 들어 R(Red), G(Green), B(Blue)로 이루어질 수 있고, Y-Cb-Cr 형식이나 X-Y-Z 형식의 영상으로 이루어질 수 있다.
상기 공간적 레지듀생성부(102)는 상기 원 컬러영상의 각 성분에 대해, 인트라(intra) 방식이면 상기 각 컬러 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정하여 예측영상을 얻은 다음, 상기 원 컬러영상에서 상기 예측영상을 뺀 공간적 레지듀를 생성한다. 상기 시간적 레지듀생성부(104)는 상기 원 컬러영상의 각 성분에 대해, 인터(inter) 방식이면 각 칼라 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻어, 원 영상에서 상기 예측영상을 뺀 시간적 레지듀를 생성한다.
상기 예측영상은 무손실 부호화일 경우에는 현재영상과 이전영상을 이용하여 공간상 또는 시간상 예측을 하여 생성하고, 손실 부호화일 경우에는 현재영상과 복원된 현재영상 및 복원된 이전영상을 이용하여 공간상 또는 시간상 예측을 하여 생성한다.
상기 레지듀변환부(120)는 상기 컬러영상 성분별 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 변환한다. 상기 레지듀 변환은 다양한 변환식에 의해 수행될 수 있다. 또한 상기 레지듀 변환은 미리 설정된 복수의 레지듀 변환식 중 하나를 선택하여 레지듀 변환하게 하는 adaptive 한 방식을 사용할 수도 있다.
예를 들어, 상기 레지듀 변환은 컬러영상의 세 가지 성분을 X1, X2, X3 라하고, 를 상기 세 가지 성분 X1, X2, X3 에 대한 레지듀라 할 때, 수학식 2와 같이 상기 세 가지 성분 중 두 가지 성분의 레지듀의 값에서 나머지 한 성분의 레지듀 값을 빼므로써 레지듀 변환할 수 있다.
(여기서 는 레지듀 변환된 신호이다.)
상기 수학식 2에 대한 일 예는 다음과 같다. 컬러영상이 RGB신호로 표현될 때, 를 예측자로 사용하여 및 에서 를 빼서 변환하는 방법을 변환식으로 나타내면 수학식 3과 같다.
여기서 ,및 는 레지듀 변환된 신호이다.
또한 상기 레지듀 변환식으로 수학식 4를 사용할 수도 있다.
(여기서 는 레지듀 변환된 신호이다.)
상기 수학식 4는 각 성분 간의 중복을 보다 효율적으로 제거하기 위해 각 색상 성분 간의 correlation을 고려하여 만든 컬러 변환식을 나타낸 것이다. 즉 수학식 4에 대한 일 예는 수학식 5와 같이 표현되는 YCoCg 변환식이다.
그리고 수학식 6은 상기 수학식 5의 YCoCg 변환식을 레지듀 변환에 적용한 경우이다.
단, YCoCg 변환식의 경우 변환시에 라운딩 에러가 발생하기 때문에 무손실로 변환하기 위해서는 , , 중에서 Co 및 Cg에 해당하는 성분에 각각 4를 곱하여 사용하여야 한다.
또한 상기 레지듀 변환식으로는 수학식 7을 사용할 수도 있다.
상기 수학식 7은 YCoCg-R을 일반화한 것이다. 상기 YCoCg-R은 YCoCg 변환을 리프팅 방법을 사용하여 개선한 것으로서, 수학식 8과 같다.
이러한 변환식도 마찬가지로 레지듀 변환식에 적용할 수 있다. 이 경우 변환 시에 , , 중에서 Co 및 Cg에 해당하는 성분에 각각 2가 곱하여지게 되어 라운딩 에러없이 무손실 변환이 가능하게 된다.
도 2는 본 발명에 의한 컬러영상의 레지듀 변환 방법을 흐름도로 도시한 것이다. 도 1 및 도 2를 참조하여 본 발명에 의한 컬러영상의 레지듀 변환 장치의 동작을 설명하기로 한다.
먼저, 컬러영상의 레지듀를 구하기 위해 예측영상을 구한다.(200단계) 상기 예측영상은 인트라 방식이면 원 컬러영상의 각 성분에 대해 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정하여 예측영상을 얻는다. 그리고 인터방식이면, 상기 원 컬러영상의 각 성분에 대해 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻는다.
그 다음에 레지듀생성부(100)에서 상기 원 컬러영상의 성분별 레지듀를 구한다.(220단계) 상기 레지듀는 원컬러영상과 상기 예측영상의 차에 의해 구해진다. 상기 레지듀 생성은 구체적으로 공간상레지듀 생성부(102)에서는 원컬러영상과 공간상 예측영상의 차에 의해 공간상 레지듀를 구하고, 시간상 레지듀 생성부(104)에서는 원컬러영상과 시간상 예측영상의 차에 의해 시간상 레지듀를 구한다. 상기 레지듀가 구해지면, 상기 레지듀변환부(120)에서 상기 컬러영상 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 변환한다.(240단계) 상기 레지듀변환은 상술한 바와 같이, 예를 들어 RGB 영상일 경우, R 및 B 성분의 레지듀의 값에서 G성분의 레지듀 값을 빼서 부호화할 수 있다. 또는 YCoCg 변환식을 이용하거나 YCoCg-R 변환식을 사용하여 레지듀 변환가능하다.
도 3은 본 발명에 의한 컬러영상의 레지듀 역변환 장치의 구성을 블록도로 도시한 것으로서, 레지듀역변환부(300) 및 원영상복원부(320)를 포함하여 이루어진다. 상기 레지듀역변환부(300)는 원 컬러영상이 적어도 두 가지 이상의 성분으로 이루어질 때, 상기 레지듀 변환된 원 컬러영상에 대해 레지듀 역변환을 수행하여 상기 각 성분별 레지듀를 생성한다. 상기 원영상복원부(320)는 상기 각 성분별 레지듀에 예측영상을 더하여 원 컬러영상을 복원하며, 공간상보상 영상복원부(322) 및 시간상보상 영상복원부(324)를 적어도 하나를 구비함이 바람직하다.
상기 공간상보상 영상복원부(322)는 인트라 방식인 경우, 상기 각 컬러 성분의 레지듀에 대해 현재 영상의 화소 블록과 공간적으로 근접한 화소를 이용하여 공간상 예측 된 값을 보상하여 원영상을 복원한다. 상기 시간상보상 영상복원부(324)는 인터방식인 경우, 상기 각 컬러 성분의 레지듀에 대해 이전 영상으로부터 예측 영상을 얻어 시간상 예측된 값을 보상하여 원영상을 복원한다.
도 4는 본 발명에 의한 컬러영상의 레지듀 역변환 방법을 흐름도로 도시한 것이다. 도 3 및 도 4를 참조하여 본 발명에 의한 컬러영상의 레지듀 역변환 장치의 동작을 설명하기로 한다.
먼저, 상기 레지듀 변환된 원 컬러영상에 대해 레지듀 역변환을 수행하여 상기 각 성분별 레지듀를 생성한다.(400단계) 상기 원 컬러영상은 R-G-B 형식, Y-Cb-Cr 형식, X-Y-Z 형식의 영상 중 어느 하나임이 바람직하다.
상기 레지듀 역변환은 상기 레지듀 변환에 대한 역과정으로, 상기 레지듀 변환시 사용한 레지듀 변환식의 역변환식을 사용한다. 따라서 레지듀 변환시, 변환식 수학식 2에 대한 역변환식은 수학식 9, 변환식 수학식 4는 역변환식 수학식 10, 변환식 수학식 7는 역변환식 수학식 11을 사용하여 레지듀 역변환한다.
(여기서 는 레지듀 변환된 신호이다.)
(여기서 는 레지듀 변환된 신호이다.)
(여기서 는 레지듀 변환된 신호이다.)
그리고 상기 레지듀역변환이 되고 나면, 상기 각 성분별 레지듀에 예측영상을 더하여 원영상을 복원한다.(420단계) 만일 인트라 방식 부호화인 경우에는 상기 각 컬러 성분의 레지듀에 대해 현재 영상의 화소 블록과 공간적으로 근접한 화소를 이용하여 공간상 예측 된 값을 보상하여 원영상을 복원한다. 만일 인터방식의 부호화인 경우에는 상기 각 컬러 성분의 레지듀에 대해 이전 영상으로부터 예측 영상을 얻어 시간상 예측된 값을 보상하여 원영상을 복원한다.
한편, 상기 레지듀 역변환은 복수의 레지듀 변환식 중에서 특정 변환식을 선택해서 사용했을 경우 상기 레지듀 변환식 정보를 디코딩하여 그에 상응하는 역변환식을 이용하여 역변환할 수 있다.
다음으로, 본 발명에 의한 레지듀 변환을 이용한 무손실 영상 부호화 방법 및 장치에 대해 설명하기로 한다. 기본적으로 상기 레지듀 변환을 이용한 무손실 영상 부호화 방법 및 장치는 상술한 본 발명에 의한 컬러영상의 레지듀 변환 방법 및 장치를 이용하여 영상 부호화를 수행한다.
도 5는 본 발명에 의한 레지듀 변환을 이용한 무손실 영상 부호화 장치의 일실시예에 대한 구성을 블록도로 도시한 것으로서, 무손실레지듀생성부(500), 무손실레지듀변환부(520)를 포함하여 이루어진다. 그리고 엔트로피 부호화부(540)를 더 구비함이 바람직하다. 또한 adaptive 기능을 제공하기 위해서는 레지듀변환 선택부(510)를 더 구비함이 바람직하다.
도 6은 상기 무손실레지듀생성부(500)의 보다 상세한 구성을 포함한 본 발명에 의한 무손실 영상 부호화 장치의 구성을 도시한 것이다. 상기 무손실레지듀생성부(500)는 상기 원컬러영상의 각 성분에 대해, 레지듀를 생성하며, 공간상예측부(600), 시간상예측부(620) 및 무손실레지듀계산부(640)로 이루어진다. 상기 공간상예측부(600)는 상기 원컬러영상의 각 성분에 대해, 각 칼라 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정하여 예측영상을 얻는다. 상기 시간상예측부(620)는 상기 원영상의 각 성분에 대해, 각 칼라 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻는다. 상기 무손실레지듀계산부(640)는 인트라방식이면 원 영상에서 상기 공간상 예측영상을 뺀 공간적 레지듀를 생성하고, 인터방식이면 원 영상에서 상기 시간상 예측영상을 뺀 시간적 레지듀를 생성한다.
상기 무손실레지듀변환부(520)는 상기 소정 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 변환하여 부호화한다. 상기 무손실레지듀변환부(520)의 레지듀 변환은 RGB 영상일 경우, R 및 B 성분의 레지듀의 값에서 G성분의 레지듀 값을 빼서 부호화할 수 있다. 또는 YCoCg 변환식을 이용하거나 YCoCg-R 변환식을 사용하여 레지듀 변환가능하다.
상기 엔트로피 부호화부(540)는 상기 무손실레지듀변환부(520)의 출력값을 엔트로피 부호화하여 비트열을 생성한다. 여기서, 상기 원컬러영상은 R-G-B 형식, Y-Cb-Cr 형식, X-Y-Z 형식의 영상 중 어느 하나가 될 수 있다.
상기 레지듀변환선택부(510)는 상기 무손실 레지듀생성부(500)에서 생성된 레지듀를 레지듀 변환해서 부호화할 것인지, 아니면 레지듀변환하지 않고 레지듀 생성부(500)에서 생성된 레지듀를 부호화할 것인지 선택할 수 있게 한다.
도 7은 본 발명에 의한 레지듀 변환을 이용한 무손실 영상 부호화 방법을 흐름도로 도시한 것으로서, 도 7을 참조하여 본 발명에 의한 레지듀 변환을 이용한 무손실 영상 부호화 장치의 동작을 설명하기로 한다.
본 실시예에서는 도 6에서 부호화장치의 컬러 입력 영상 Fn 으로 RGB 영상을 사용하기로 한다. 영상은 부호화 장치에서 일정 크기의 블록 단위로 처리가 된다. 부호화 장치는 부호화 효율을 높이기 위해 공간적으로 인접해 있는 블록에서 예측하는 공간상 예측부(spatial prediction portion)(620)를 사용하는 인트라(intra) 방법과 이전 프레임 영상 Fn-1에서 움직임을 추정하여 예측하는 시간상 예측부(620)를 사용하는 인터(inter) 방법을 사용하여 예측한다. 시간 또는 공간 상에서 예측 부호화를 할 때에 각 컬러 성분은 같은 컬러 성분의 영상에서만 예측을 한다. 예측 결과로 레지듀(residue) 값을 얻는다. 상기 레지듀 값이 각 컬러 성분에 대해 각각 구해진다.
그리고 나서 레지듀변환선택부(510)에서 레지듀변환하기로 선택하면, 상기 세 성분 간의 상관관계(correlation)를 이용하기 위하여 레지듀 변환부(520)를 통해 레지듀 변환한다. 레지듀 변환된 정보는 엔트로피부호화부(540)를 거쳐 압축되어 비트열이 생성된다.
도 7을 참조하면, 먼저 각 컬러 성분은 기존의 부호화 장치와 마찬가지로 무손실 레지듀생성부(500)에 의해 예측영상을 구한 후(700단계), 원 컬러영상과 예측영상의 차를 구해 레지듀를 생성한다.(720단계)
이는 보다 구체적으로 공간적 레지듀와 시간적 레지듀를 구함으로써 달성된다. 상기 공간적 레지듀는 공간상예측부(600)에서 상기 원영상의 각 성분에 대해, 인트라 방식이면 각 칼라 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정하여 예측영상을 얻어, 레지듀생성부(640)에 의해 원 영상에서 상기 예측영상을 뺌으로서 구해진다. 상기 시간적 레지듀는 상기 시간상예측부(620)에서 상기 원영상의 각 성분에 대해, 인터 방식이면 각 칼라 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻어, 상기 무손실레지듀계산부(640)에 의해 원 영상에서 상기 예측영상을 뺌으로써 구해진다.
그리고 나서 레지듀변환선택부(510)에 의해 레지듀변환을 선택하면(740단계), 각 색상 성분의 레지듀 간의 중복되는 정보를 제거하기 위해서 상기 무손실 레지듀변환부(520)에 의해 레지듀 변환을 수행한다.(760단계) 레지듀 변환시에는 손실이 발생하지 않아야 한다. 예를 들어 간단한 방법으로 △G를 예측자로 사용하여 △R 및 △B에서 △G를 빼서 변환하는 방법이 있다. 이 방법을 변환식을 나타내면 상기 수학식 3과 같다.
그리고, 각 성분 간의 중복을 보다 효율적으로 제거하기 위해 각 색상 성분 간의 correlation을 고려하여 만든 컬러 변환 식을 적용할 수 있다. 수학식 5는 YCoCg 변환식이다. 또한 수학식 8은 상기 수학식 5의 YCoCg 변환식을 레지듀 변환에 적용한 경우이다. 단, YCoCg 변환식의 경우 변환시에 라운딩 에러가 발생하기 때문에 무손실로 변환하기 위해서는 △R, △G, △B 중에서 Co 및 Cg에 해당하는 성분에 각각 4를 곱하여 사용하여야 한다. YCoCg 변환을 리프팅 방법을 사용하여 개선한 것이 YCoCg-R인데, 변환식은 수학식 8과 같다. 이러한 변환식도 마찬가지로 레지듀 변환식에 적용할 수 있다. 이 경우 변환 시에 △R, △G, △B 중에서 Co 및 Cg에 해당하는 성분에 각각 2가 곱하여지게 되어 라운딩 에러 없이 무손실 변환이 가능하게 된다. 상기 레지듀 변환된 데이터는 엔트로피 부호화부(540)에 의해 엔트로피 부호화되어 비트열로 생성된다.(780단계) 한편, 레지듀변환선택부(510)에 의해 레지듀변환을 선택하지 않으면(740단계), 상기 생성된 레지듀를 바로 엔트로피 부호화한다.(780단계)
도 8은 본 발명에서의 컬러평면 간 레지듀변환을 이용한 무손실 영상 복호화 장치의 구성을 블록도로 도시한 것으로서, 레지듀변환데이터 추출부(820), 레지듀역변환부(830), 원영상복원부(850)를 포함하여 이루어진다. 입력되는 비트열이 부호화시 엔트로피 부호화된 비트열이면 엔트로피 복호화부(800)를 더 구비함이 바람직하다. 또한 adaptive 기능을 제공하여 상기 비트열이 레지듀변환 선택 정보를 가지고 있으면, 레지듀변환판단부(810) 및 레지듀데이터 추출부(840)를 더 구비함이 바람직하다.
상기 레지듀변환데이터추출부(820)는 원컬러영상의 부호화데이터로부터 레지듀변환된 영상데이터를 추출한다. 상기 레지듀역변환부(830)는 상기 레지듀 변환된 영상데이터에 대해 레지듀 역변환하여 각 성분별 레지듀를 생성한다.
상기 원영상복원부(850)는 상기 각 성분별 레지듀에 예측영상을 더하여 원영상을 복원한다. 도 9는 상기 원영상복원부(850)를 보다 상세히 블록도로 도시한 것으로서, 공간상보상부(920), 시간상보상부(940) 및 무손실영상복원부(960)을 구비한다.
상기 공간상보상부(920)는 상기 각 컬러 성분의 레지듀에 현재 영상의 화소 블록과 공간적으로 근접한 화소를 이용하여 공간상 예측 된 값을 보상한다. 상기 시간상보상부(940)는 상기 각 컬러 성분의 레지듀에 이전 영상으로부터 예측 영상을 얻어 시간상 예측된 값을 보상한다. 상기 무손실영상복원부(960)는 상기 레지듀역변환부(830)에서 역변환된 원영상의 각 성분별 레지듀 또는 상기 레지듀데이터 추출부(840)에서 추출된 각 성분별 레지듀에 상기 공간상보상부(900) 또는 시간상 보상부(920)에서 보상된 예측영상을 더하여 원영상을 복원한다.
상기 레지듀변환판단부(810)는 엔트로피복호화된 데이터에 대해 레지듀변환을 수행여부를 나타내는 레지듀변환선택정보를 추출하여 레지듀변환여부를 판단한다. 상기 레지듀데이터 추출부(840)는 상기 레지듀변환 선택정보 디코딩 결과 레지듀변환되지 않았다고 판단되면, 상기 비트열로부터 레지듀데이터를 추출한다. 상기 엔트로피 복호화부(800)는 입력되는 비트열을 엔트로피 복호화한다.
도 10은 본 발명에 의한 레지듀변환을 이용한 무손실 영상 복호화 방법에 대한 일실시예를 흐름도로 도시한 것이다. 도 8 및 도 10을 참조하여 레지듀변환을 이용한 무손실 영상 복호화 장치의 동작을 설명하기로 한다.
먼저, 입력되는 비트열을 엔트로피 복호화한다.(1000단계) 엔트로피 복호화된 데이터로부터 부호화시 레지듀변환과정을 거쳤는지 알기 위해 레지듀변환선택 정보를 디코딩한다.(1010단계) 레지듀변환 과정을 거쳤으면(1020단계), 상기 원 컬러영상의 부호화데이터로부터 레지듀변환된 영상데이터를 추출한다.(1030단계)
그리고 나서 상기 레지듀 변환된 영상데이터에 대해 레지듀 역변환을 수행하여 상기 각 성분별 레지듀를 생성한다.(1040단계) 상기 레지듀 역변환은 상술한 레지듀변환에 대한 역과정으로서, 상기 레지듀 변환시 사용한 레지듀 변환식의 역변환식을 사용한다. 따라서 레지듀 변환시, 변환식 수학식 2에 대한 역변환식은 수학식 9, 변환식 수학식 4는 역변환식 수학식 10, 변환식 수학식 7는 역변환식 수학식 11을 사용하여 레지듀 역변환한다.
만일 레지듀변환 과정을 거치지 않았으면(1020단계), 상기 원 컬러영상의 부호화데이터로부터 레지듀데이터를 추출한다.(1050단계) 그리고 나서 상기 각 성분별 레지듀 데이터에 예측영상을 더하여 원영상을 복원한다.(1060단계)
이를 보다 상세히 설명하면, 인트라 방식의 경우에는 공간상보상부(900)에서 현재 영상 Fn에서 공간적으로 인접한 블록 값을 공간상 예측 방법으로 예측한 값을 구하고, 또는 인터 방식의 경우에는 시간상보상부(920)에서 이전 영상 Fn-1을 시간상 예측 방법으로 예측한 값을 구한다. 그리고 나서 상기 무손실영상복원부(940)에서 상기 예측한 값에 레지듀 값을 더하여 복원 영상 Fn 을 얻는다.(1060단계)
도 11은 도 6에서 영상의 시간상 예측을 하기 위해 영상을 일정 크기의 블록으로 분할하는 방법의 일 예를 보여 주는 도면이다. 이 방법은 ISO/IEC 14496-10 및 ITU-T Rec. H.264 표준 기술에서 사용하는 방법이다. 이 방법에서는 기본적으로 가로/세로 16 화소 크기의 매크로 블록을 16×16, 16×8, 8×16, 8×8의 다양한 크기로 나누어 각각 움직임 벡터를 구하여 시간상으로 영상 값을 예측한다. 특히 8×8 크기의 블록은 다시 8×8, 8×4, 4×8, 4×4 크기로 나누어 세밀한 움직임도 정확히 감지하게 해준다.
도 12에서 (a)는 도 6에서 공간상 예측을 위한 인접 화소 (Pixel)의 위치와 예측할 현재 블록의 화소(pixel)의 위치를 나타낸 그림이다. 이 방법은 ISO/IEC 14496-10 및 ITU-T Rec. H.264 표준 기술에서 사용하는 방법이다. 그림에서는 4×4 크기의 블록 데이터 (pa, pb, ..., pq)를 예측하기 위해 이전에 부호화 되어 복원된 공간상의 인접한 데이터 (P0, P1, ..., P12)를 이용한다. (b)는 공간상 인접한 화소로부터 투영 (projection)하여 현재 블록을 예측하기 위한 0부터 8까지의 9가지 예측 방향을 나타낸다. 예를 들어 0의 방향의 경우는 인접한 화소 값 P1, P2, P3, 및 P4를 수직 방향으로 투영하여 pa, pe, pi ,및 pm은 P1값, pb, pf, pj, 및 pn은 P2값, pc, pg, pk, 및 po는 P3값, pd, ph, pl, 및 pq는 P4값으로 예측한다. 다른 방향의 경우도 마찬가지로 투영을 통해 예측한다.
이러한 시/공간 예측 방법은 기존의 표준 기술을 일 예로 들어 설명한 것으로, 다른 방법을 사용하는 것도 가능하다.
그리고, 기존의 손실 부호화 및 복호화 방법 및 장치에서 무손실 부호화 및 복호화 방법 및 장치를 사용하기 위해서는 무손실 부호화를 알리는 신호를 부호화활 필요가 있다. 이러한 신호는 헤더 정보로 부호화되어 sequence, picture, slice 등 상위 레벨의 헤더에 삽입되어 부호화될 수 있다. 또는 양자화의 정도를 나타내는 quantization parameter (QP) 값을 사용하여 알릴 수 있다. 예를 들어 QP 값이 최소의 값을 나타내는 경우 등 특정 경우를 정해 놓고 그 경우에는 변환 및 양자화를 수행하지 않고 무손실 부호화를 수행하도록 한다.
도 13은 본 발명의 일실시예에 따른 컬러영상 부호화장치를 나타낸 것으로서, 시공간예측부(1300), 레지듀생성부(1310), 레지듀 변환부(1320), 변환/양자화부(1340), 엔트로피 부호화부(1350), 영상복원부(1360)를 포함하여 이루어진다.
상기 시공간예측부(1300)는 시간상 예측영상 및 공간상 예측영상 중 적어도 하나를 생성하며, 공간상예측부 및 시간상예측부를 구비한다. 상기 공간상예측부는 인트라 방식의 경우, 상기 원컬러영상의 각 성분에 대해 각 칼라 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 복원된 화소로부터 예측 방향을 추정하여 예측영상을 얻는다. 상기 시간상예측부는 인터방식의 경우, 상기 원 컬러영상의 각 성분에 대해 각 컬러 성분의 복원된 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻는다.
상기 레지듀생성부(1310)는 인트라방식이면 원 영상에서 상기 공간상 예측영상을 뺀 공간적 레지듀를 생성하고, 인터방식이면 원 영상에서 상기 시간상 예측영상을 뺀 시간적 레지듀를 생성한다.
상기 레지듀변환선택부(1320)는 상기 레지듀생성부(1310)에서 생성된 레지듀를 레지듀 변환해서 부호화할 것인지, 아니면 레지듀변환하지 않고 레지듀 생성부(1310)에서 생성된 레지듀를 부호화할 것인지 선택할 수 있게 한다. 상기 레지듀변환선택부(1320)는 선택사항으로서, 상기 레지듀변환선택부(1320)가 사용되지 않으면, 레지듀생성부(1310)에서 생성된 레지듀는 레지듀변환부(1330)에 의해 레지듀변환된다.
상기 레지듀변환부(1330)는 상기 소정 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 변환하여 부호화한다. 상기 레지듀변환부(1330)의 레지듀 변환은 수학식 2와 같이 RGB 영상일 경우 R 및 B 성분의 레지듀의 값에서 G성분의 레지듀 값을 빼서 부호화할 수 있다. 또한 수학식 4 및 수학식 7과 같이 YCoCg 변환식을 이용하거나 YCoCg-R 변환식을 사용하여 레지듀 변환가능하다.
상기 변환/양자화부(1340)는 상기 레지듀변환부(1330)에서 변환 레지듀변환된 데이터 또는 상기 레지듀생성부(1310)에서 생성된 레지듀 데이터를 DCT변환 등 변환 및 양자화를 수행한다.
상기 엔트로피 부호화부(1350)는 상기 변환/양자화부(1340)의 출력값을 엔트로피 부호화하여 비트열을 생성한다. 여기서, 상기 원컬러영상은 R-G-B 형식, Y-Cb-Cr 형식, X-Y-Z 형식의 영상 중 어느 하나가 될 수 있다.
상기 영상복원부(1360)는 손실 부호화를 위해 복원된 현재영상을 생성하며, 역양자화/역변환부(12), 레지듀변환정보해석부(14), 레지듀역변환부(16) 및 시공간예측 보상부(18)를 구비한다.
상기 역양자화/역변환부(12)는 상기 변환/양자화부(1340)에서 변환 및 양자화된 데이터를 역양자화 및 역변환한다. 상기 레지듀변환정보 해석부(14)는 상기 역양자화 및 역변환된 데이터가 레지듀변환 과정을 거쳤는지를 해석한다. 상기 레지듀역변환부(18)는 상기 레지듀변환정보 해석부(14)에서 레지듀변환된 데이터라고 해석되면 상기 레지듀변환부(1330)에서의 변환의 역과정을 거쳐 레지듀역변환한다. 상기 시공간예측보상부(18)는 상기 레지듀역변환된 데이터 또는 레지듀데이터에 대해 시공간 예측보상을 하여 복원된 현재영상을 생성한다.
도 14는 본 발명의 일실시예에 따른 레지듀변환을 이용한 컬러영상 부호화방법을 흐름도로 도시한 것이다. 도 13 및 도 14를 참조하여 본 발명에 의한 레지듀변환을 이용한 컬러영상 부호화장치의 동작을 설명하기로 한다.
부호화장치의 입력영상 Fn(101)은 부호화장치에서 일정 크기의 단위로 처리가 된다. 각 단위 크기의 블록을 부호화할 때에 각 컬러 성분은 기존의 부호화 장치와 마찬가지로 시공간예측부(1300)에 의해 예측영상을 구한다.(1400단계)
상기 예측영상은 영상복원부(1360)에서 상기 변환/양자화부(1340)에서 변환 및 양자화된 값을 역양자화 및 역변환, 레지듀 역변환 및 시공간 예측 보상을 통해 복원된 현재영상을 이용하여 구해진다. 예측영상이 구해지면, 원 컬러영상과 예측영상의 차를 구해 레지듀를 생성한다.(1410단계)
이는 보다 구체적으로 공간적 레지듀와 시간적 레지듀를 구함으로써 달성된다. 상기 공간적 레지듀는 공간상예측부에서 상기 원영상의 각 성분에 대해, 인트라 방식이면 각 칼라 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 복원된 화소로부터 예측 방향을 추정하여 공간상 예측영상을 얻는다. 그 후 레지듀생성부(1310)에 의해 원 영상에서 상기 공간상 예측영상을 뺌으로서 공간상 레지듀를 생성한다.
상기 시간적 레지듀는 상기 시간상예측부에서 상기 원영상의 각 성분에 대해, 인터 방식이면 각 칼라 성분의 복원된 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 시간상 예측영상을 얻는다. 그 후 상기 레지듀생성부(1310)에 의해 원 영상에서 상기 시간상 예측영상을 빼 시간상 레지듀를 생성한다.
그리고 나서 레지듀변환선택부(1320)에 의해 레지듀변환을 선택하면(1420단계), 각 색상 성분의 레지듀 간의 중복되는 정보를 제거하기 위해서 상기 레지듀변환부(1330)에 의해 레지듀 변환을 수행한다.(1430단계)
예를 들어 간단한 방법으로 △G를 예측자로 사용하여 △R 및 △B에서 △G를 빼서 변환하는 방법이 있다. 이 방법을 변환식을 나타내면 상기 수학식 3과 같다.
그리고, 각 성분 간의 중복을 보다 효율적으로 제거하기 위해 각 색상 성분 간의 correlation을 고려하여 만든 컬러 변환 식을 적용할 수 있다. 수학식 5는 YCoCg 변환식이다. 또한 수학식 8은 상기 수학식 5의 YCoCg 변환식을 레지듀 변환에 적용한 경우이다. YCoCg 변환을 리프팅 방법을 사용하여 개선한 것이 YCoCg-R인데, 변환식은 수학식 8과 같다. 이러한 변환식도 마찬가지로 레지듀 변환식에 적용할 수 있다.
상기 레지듀 변환된 데이터는 변환/양자화부(1340)에 의해 소정 크기의 블록단위로 변환 및 양자화되어 손실압축된다.(1440단계) 그리고 나서 엔트로피 부호화부(540)에 의해 엔트로피 부호화되어 비트열로 생성된다.(1450단계)
한편, 레지듀변환선택부(1320)에 의해 레지듀변환을 선택하지 않으면(1420단계), 바로 상기 레지듀생성부(1310)에서 생성된 레지듀를 변환 및 양자화하여(1440단계), 엔트로피 부호화한다.(1450단계)
도 15는 본 발명의 일실시예에 따른 레지듀변환을 이용한 컬러영상 복호화장치의 구성을 블록도로 도시한 것으로서, 손실복호화부(1500), 레지듀변환판단부(1520), 레지듀변환데이터 추출부(1530), 레지듀역변환부(1540), 레지듀추출부(1550), 컬러영상복원부(1560)를 포함하여 이루어진다.
상기 손실복호화부(1500)는 컬러영상의 손실부호화된 비트열에 대해 적어도 역양자화를 수행하여 손실복호화하며, 엔트로피복호화부(1502) 및 역양자화/역변환부(1504)를 구비한다. 상기 엔트로피복호화부(1502)는 부호화된 비트열을 엔트로피복호화하여 변환계수들로 만든다. 상기 역양자화/역변환부(1504)는 상기 엔트로피복호화된 데이터를 역양자화 및 역변환한다.
상기 레지듀변환판단부(1520)는 상기 원컬러영상의 역양자화된 데이터로부터 레지듀변환을 수행여부를 나타내는 레지듀변환선택정보를 추출하여 레지듀변환여부를 해석한다. 상기 레지듀변환판단부(1520)는 원컬러영상이 부호화될 때, 레지듀변환여부가 선택사항이 아니라 필수사항일 경우에는 필요없는 블록이며, 이 경우는 바로 역양자화 및 역변환된 데이터에 대해 레지듀역변환한다.
상기 레지듀변환데이터 추출부(1530)는 상기 레지듀변환 선택정보 해석결과 상기 역양자화/역변환부(1504)에서 손실복호화된 데이터가 레지듀변환되었으면, 상기 역양자화 및 역변환된 데이터로부터 레지듀변환데이터를 추출한다.
레지듀역변환부(1540)는 상기 레지듀변환 데이터에 대해 레지듀 역변환을 수행하여 상기 컬러영상의 각 성분별 레지듀를 생성한다.
상기 레지듀데이터 추출부(1550)는 상기 레지듀변환 선택정보 해석결과 상기 역양자화/역변환부(1504)의 손실복호화된 데이터가 레지듀변환되지 않았으면, 상기 역양자화 및 역변환된 데이터로부터 레지듀데이터를 추출한다.
상기 원컬러영상 복원부(1560)는 상기 각 성분별 레지듀에 복원된 영상을 이용하여 생성된 예측영상을 더하여 원컬러영상을 복원한다.
도 16은 본 발명에 의한 레지듀변환을 이용한 컬러영상 복호화 방법에 대한 일실시예를 흐름도로 도시한 것이다. 도 15 및 도 16을 참조하여 본 발명에 의한 레지듀변환을 이용한 컬러영상 복호화장치의 동작을 설명하기로 한다.
먼저, 압축된 비트열은 엔트로피 복호화부(1502)를 통해 변환계수들로 복호화되고(1600단계), 이 값은 역양자화/역변환부(1504)에서 역양자화 및 역변환되어 복원된다.(1610단계) 상기 복원된 데이터는 레지듀변환판단부(1520)에서 레지듀변환선택정보를 추출하여 레지듀변환여부를 검사하게 된다.(1620단계) 레지듀변환되었다고 판단되면, 레지듀변환데이터추출부(1530)에서 상기 역양자화 및 역변환된 데이터로부터 레지듀변환 데이터를 추출하여(1640단계), 레지듀 역변환을 수행하여 성분별 레지듀를 복원한다.(1650단계) 상기 레지듀 역변환은 상술한 레지듀변환에 대한 역과정으로서, 상기 레지듀 변환시 사용한 레지듀 변환식의 역변환식을 사용한다. 따라서 레지듀 변환시, 변환식 수학식 2에 대한 역변환식은 수학식 9, 변환식 수학식 4는 역변환식 수학식 10, 변환식 수학식 7는 역변환식 수학식 11을 사용하여 레지듀 역변환한다.
만일 레지듀변환되지 않았다고 판단되면, 레지듀데이터 추출부(1550)에서 상기 역양자화 및 역변환된 데이터로부터 레지듀 데이터를 복원한다.(1660단계)
복원된 영상으로부터 예측영상을 생성하면(1670단계), 상기 복원된 레지듀는 컬러영상복원부(1560)를 통해 시공간 예측보상을 통해 상기예측영상을 더하여 원컬러영상으로 복원된다.(1680단계)
도 11, 도 12a 및 도 12b는 상술한 본 발명에 의한 레지듀변환을 이용한 영상 부호화/복호화 방법 및 장치에서 예측 부호화를 할 때에 인터 모드 및 인트라 모드의 경우 예측방법을 설명하기 위한 도면이다. 상기 도 11, 도 12a 및 도 12b는 상술한 무손실 영상 부호화/복호화 방법 및 장치에서의 설명과 동일하므로 설명을 생략한다.
도 17은 본 발명에 의한 레지듀변환을 이용한 컬러영상 부호화 방법과 기존의 방법에 대하여 실험을 통해 다양한 비트율에서 압축 효율을 비교한 것이다. 실험 영상은 국제 표준화 기구 MPEG, JVT 등에서 테스트용으로 사용하는 HD급 영상인 "Crew" 영상을 사용하였다. 부호화는 도 12a 및 도 12b에서 설명한 공간 예측 부호화를 사용하였다. 도면에서 기존의 방법에 대한 것이 YCbCr과 YCoCg-R이다.
먼저 YCbCr에 대한 변환 및 역변환 식은 다음 수학식 12와 같다. 이 변환 식은 SMPTE 274M 방식에 따른 것이다.
그리고, Microsoft에서 개발한 YCoCg 변환 및 역변환 식은 수학식 13과 같다.
YCoCg 변환을 리프트 방법을 사용하여 개선한 것이 YCoCg-R인데 이 변환 및 역변환 식은 다음 수학식 14와 같다.
그리고, 도 17에서 "RES-"라고 표시된 것이 레지듀 변환을 사용한 것이다. 먼저, "RES-IPP"에서는 다음 수학식 15와 같은 변환 및 역변환 식을 사용하였다.
위 식에서 △R, △G, △B는 각 성분의 레지듀 영상을 나타낸다. 이 방법은 △G를 부호화한 후에 이 값을 사용하여 △R 및 △B를 예측하여 부호화하는 방법이다.
그리고, "RES-YCoCg"는 레지듀 영상을 YCoCg 변환을 사용하여 변환한 것이고, "RES-YSbSr"은 레지듀 영상을 색상 변환의 일종인 YSbSr 변환을 사용하여 변환한 것이다.
이와 같이 레지듀 변환은 여러 가지 색상 변환 식을 적용하여 사용할 수 있다. 그러므로, 영상의 특성에 따라, 각 컬러 성분의 레지듀의 correlation에 따라, 또는 비트율에 따라 적합한 변환식을 적용하여 사용할 수 있다. 그리고, 각 성분간 correlation이 작을 때에는 identity 변환을 적용하여 레지듀 변환 없이 부호화할 수도 있다. 영상 또는 환경에 따라 적응적으로 적합한 변환식을 적용하기 위해서 특정 변환식들에 인덱스를 부여하고 사용한 변환식의 인덱스를 부호화한 뒤에 복호화시에 해당 인덱스의 변환식을 사용할 수 있다. 또는 변환 계수들을 비트열에 부호화하여 사용자가 원하는 변환식을 사용할 수도 있다. 이러한 적응 방법은 슬라이스 단위, 혹은 매크로블록 단위 등 특정 단위를 정하여 적용할 수 있다.
실험 결과에서 보듯이 레지듀 변환을 하였을 경우 기존의 방법보다 압축 효율이 증가하는 것을 알 수 있다.
한편, 상기한 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플라피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
상술한 바와 같이, 본 발명에 따르면 부호화 하기 전에 각 컬러 성분 간의 중복성보다 부호화 과정 중에 시공간 예측을 통해 각 컬러 성분의 레지듀 영상을 만든 후에 각 컬러 성분의 레지듀 간에 변환을 수행하여 각 컬러 성분의 레지듀 간의 중복성을 제거함으로써 컬러 영상을 부호화할 때에 보다 높은 압축 효율을 가질 수 있다.
도 1은 본 발명에 의한 레지듀 변환 장치의 구성을 블록도로 도시한 것이다.
도 2는 본 발명에 의한 컬러영상의 레지듀 변환 방법을 흐름도로 도시한 것이다.
도 3은 본 발명에 의한 컬러영상의 레지듀 역변환 장치의 구성을 블록도로 도시한 것이다.
도 4는 본 발명에 의한 컬러영상의 레지듀 역변환 방법을 흐름도로 도시한 것이다.
도 5는 본 발명에 의한 레지듀 변환을 이용한 무손실 영상 부호화 장치의 일실시예에 대한 구성을 블록도로 도시한 것이다.
도 6은 무손실레지듀생성부의 보다 상세한 구성을 포함한 본 발명에 의한 무손실 영상 부호화 장치의 구성을 도시한 것이다.
도 7은 본 발명에 의한 레지듀 변환을 이용한 무손실 영상 부호화 방법을 흐름도로 도시한 것이다.
도 8은 본 발명에서의 컬러평면 간 레지듀변환을 이용한 무손실 영상 복호화 장치의 구성을 블록도로 도시한 것이다.
도 9는 원영상복원부를 보다 상세히 블록도로 도시한 것이다.
도 10은 본 발명에 의한 레지듀변환을 이용한 무손실 영상 복호화 방법에 대한 일실시예를 흐름도로 도시한 것이다.
도 11은 도 6에서 영상의 시간상 예측을 하기 위해 영상을 일정 크기의 블록으로 분할하는 방법의 일 예를 보여 주는 도면이다.
도 12에서 (a)는 도 6에서 공간상 예측을 위한 인접 화소 (Pixel)의 위치와 예측할 현재 블록의 화소(pixel)의 위치를 나타낸 그림이고, (b)는 도 6에서 공간상 인접한 화소로부터 투영하여 현재 블록을 예측하기 위한 0부터 8까지의 9가지 예측 방향을 나타낸다.
도 13은 본 발명의 일실시예에 따른 컬러영상 부호화장치를 나타낸 것이다.
도 14는 본 발명의 일실시예에 따른 레지듀변환을 이용한 컬러영상 부호화방법을 흐름도로 도시한 것이다.
도 15는 본 발명의 일실시예에 따른 레지듀변환을 이용한 컬러영상 복호화장치의 구성을 블록도로 도시한 것이다.
도 16은 본 발명에 의한 레지듀변환을 이용한 컬러영상 복호화 방법에 대한 일실시예를 흐름도로 도시한 것이다.
도 17은 본 발명에 의한 레지듀변환을 이용한 컬러영상 부호화 방법과 기존의 방법에 대하여 실험을 통해 다양한 비트율에서 압축 효율을 비교한 것이다.

Claims (76)

  1. 적어도 두 가지 이상의 성분으로 이루어지는 원영상을 레지듀변환하는 방법에 있어서,
    (a) 상기 원영상의 각 성분에 대해, 원영상과 예측영상의 차에 해당하는 레지듀를 구하는 단계; 및
    (b) 상기 컬러영상 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 변환하는 단계를 포함함을 특징으로 하는, 컬러 영상의 레지듀 변환 방법.
  2. 제1항에 있어서, 상기 원영상은
    R-G-B 형식, Y-Cb-Cr 형식, X-Y-Z 형식의 영상 중 어느 하나임을 특징으로 하는 컬러 영상의 레지듀 변환 방법.
  3. 제1항에 있어서, 상기 (a)단계는
    상기 원 영상의 각 성분에 대해, 각 칼라 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정하여 예측영상을 얻는 단계; 및
    원 영상에서 상기 예측영상을 뺀 공간적 레지듀를 구하는 단계를 구비함을 특징으로 하는 컬러 영상의 레지듀 변환 방법.
  4. 제1항에 있어서, 상기 (a)단계는
    상기 원영상의 각 성분에 대해, 각 칼라 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻는 단계;
    원 영상에서 상기 예측영상을 뺀 시간적 레지듀를 구하는 단계를 구비함을 특징으로 하는, 컬러영상의 레지듀 변환 방법.
  5. 제1항에 있어서, 상기 (a)단계는
    상기 원 영상의 각 성분에 대해, 인트라 방식이면 각 칼라 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정하여 예측영상을 얻어, 원 영상에서 상기 예측영상을 뺀 공간적 레지듀를 구하는 단계; 및
    상기 원 영상의 각 성분에 대해, 인터 방식이면 각 칼라 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻어, 원 영상에서 상기 예측영상을 뺀 시간적 레지듀를 구하는 단계를 구비함을 특징으로 하는, 컬러 영상의 레지듀 변환 방법.
  6. 제1항에 있어서, 상기 (b)단계의 레지듀 변환은
    컬러영상의 세 가지 성분을 X1, X2, X3 라하고, 를 상기 세 가지 성분 X1, X2, X3 에 대한 레지듀라 할 때,
    [수학식 2]
    (여기서 는 레지듀 변환된 신호이다.)
    수학식 2와 같이 상기 세 가지 성분 중 두 성분의 레지듀의 값에서 나머지 한 성분의 레지듀 값을 빼서 부호화하는 것을 특징으로 하는 컬러 영상의 레지듀 변환 방법.
  7. 제1항에 있어서, 상기 (b)단계의 레지듀 변환은
    컬러영상의 세 가지 성분을 X1, X2, X3 라하고, 를 상기 세 가지 성분 X1, X2, X3 에 대한 레지듀라 할 때,
    [수학식 4]
    (여기서 는 레지듀 변환된 신호이다.)
    수학식 4를 이용하여 변환함을 특징으로 하는 컬러 영상의 레지듀 변환 방법.
  8. 제1항에 있어서, 상기 (b)단계의 레지듀 변환은
    컬러영상의 세 가지 성분을 X1, X2, X3 라하고, 를 상기 세 가지 성분 X1, X2, X3 에 대한 레지듀라 할 때,
    [수학식 7]
    (여기서 는 레지듀 변환된 신호이다.)
    수학식 7을 이용하여 변환함을 특징으로 하는 컬러 영상의 레지듀변환 방법.
  9. 제1항에 있어서, 상기 (b)단계의 레지듀 변환은
    미리 설정된 복수의 레지듀 변환식 중 하나를 선택하여 레지듀 변환함을 특징으로 하는 컬러영상의 레지듀 변환 방법.
  10. 적어도 두 가지 이상의 성분으로 이루어지는 원영상을 레지듀변환하는 장치에 있어서,
    상기 원영상의 각 성분에 대해, 원영상과 예측영상의 차에 해당하는 레지듀를 생성하는 레지듀 생성부; 및
    상기 컬러영상 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 변환하는 레지듀변환부를 포함함을 특징으로 하는, 컬러 영상의 레지듀 변환 장치.
  11. 제10항에 있어서, 상기 레지듀 생성부는
    상기 원 영상의 각 성분에 대해, 인트라 방식이면 각 칼라 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정하여 예측영상을 얻어, 원 영상에서 상기 예측영상을 뺀 공간적 레지듀를 생성하는 공간적 레지듀 생성부; 및
    상기 원 영상의 각 성분에 대해, 인터 방식이면 각 칼라 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻어, 원 영상에서 상기 예측영상을 뺀 시간적 레지듀를 생성하는 시간적 레지듀 생성부를 구비함을 특징으로 하는, 컬러 영상의 레지듀 변환 장치.
  12. 적어도 두 가지 이상의 성분으로 이루어지는 원 영상과 예측영상의 차를 레지듀라 할 때, 상기 원 영상 성분들의 각 레지듀 간의 상관관계를 이용하여 레지듀 변환된 영상을 역변환하는 방법에 있어서,
    (x) 상기 레지듀 변환된 원 영상에 대해 레지듀 역변환을 수행하여 상기 각 성분별 레지듀를 생성하는 단계; 및
    (y) 상기 각 성분별 레지듀에 예측영상을 더하여 원영상을 복원하는 단계를 포함함을 특징으로 하는 컬러 영상의 레지듀 역변환 방법.
  13. 제12항에 있어서, 상기 원영상은
    R-G-B 형식, Y-Cb-Cr 형식, X-Y-Z 형식의 영상 중 어느 하나임을 특징으로 하는 컬러 영상의 레지듀 역변환 방법.
  14. 제12항에 있어서, 상기 (y)단계는
    인트라 방식인 경우, 상기 각 컬러 성분의 레지듀에 대해 현재 영상의 화소 블록과 공간적으로 근접한 화소를 이용하여 공간상 예측 된 값을 보상하여 원영상을 복원함을 특징으로 하는 컬러 영상의 레지듀 역변환 방법.
  15. 제12항에 있어서, 상기 (y)단계는
    인터방식인 경우, 상기 각 컬러 성분의 레지듀에 대해 이전 영상으로부터 예측 영상을 얻어 시간상 예측된 값을 보상하여 원영상을 복원함을 특징으로 하는 컬러 영상의 레지듀 역변환 방법.
  16. 제12항에 있어서, 상기 (x)단계의 역변환은
    컬러영상의 세 가지 성분을 X1, X2, X3 라하고, 를 상기 세 가지 성분 X1, X2, X3 에 대한 레지듀라 할 때,
    [수학식 9]
    (여기서 는 레지듀 변환된 신호이다.)
    상기 수학식 9를 이용하여 역변환함을 특징으로 하는 컬러영상의 레지듀 역변환 방법.
  17. 제12항에 있어서, 상기 (y)단계의 역변환은
    컬러영상의 세 가지 성분을 X1, X2, X3 라하고, 를 상기 세 가지 성분 X1, X2, X3 에 대한 레지듀라 할 때,
    [수학식 10]
    (여기서 는 레지듀 변환된 신호이다.)
    상기 수학식 10을 이용하여 역변환함을 특징으로 하는 컬러영상의 레지듀 역변환 방법.
  18. 제12항에 있어서, 상기 (y)단계의 역변환은
    컬러영상의 세 가지 성분을 X1, X2, X3 라하고, 를 상기 세 가지 성분 X1, X2, X3 에 대한 레지듀라 할 때,
    [수학식 11]
    (여기서 는 레지듀 변환된 신호이다.)
    상기 수학식 11을 사용하여 역변환함을 특징으로 하는 컬러영상의 레지듀 역변환 방법.
  19. 제12항에 있어서, 상기 (y)단계의 역변환은
    변환된 레지듀 생성시 사용된 레지듀변환식 정보를 디코딩하여 그에 상응하는 역변환식을 이용하여 역변환함을 특징으로 하는 컬러영상의 레지듀 역변환 방법.
  20. 적어도 두 가지 이상의 성분으로 이루어지는 원 영상과 예측영상의 차를 레지듀라 할 때, 상기 원 영상 성분들의 각 레지듀 간의 상관관계를 이용하여 레지듀 변환된 영상을 역변환하는 장치에 있어서,
    상기 레지듀 변환된 원 영상에 대해 레지듀 역변환을 수행하여 상기 각 성분별 레지듀를 생성하는 레지듀역변환부; 및
    상기 각 성분별 레지듀에 예측영상을 더하여 원영상을 복원하는 원영상복원부를 포함함을 특징으로 하는 컬러 영상의 레지듀 역변환 장치.
  21. 제20항에 있어서, 상기 원영상복원부는
    인트라 방식인 경우, 상기 각 컬러 성분의 레지듀에 대해 현재 영상의 화소 블록과 공간적으로 근접한 화소를 이용하여 공간상 예측 된 값을 보상하여 원영상을 복원하는 공간상보상 영상복원부; 및
    인터방식인 경우, 상기 각 컬러 성분의 레지듀에 대해 이전 영상으로부터 예측 영상을 얻어 시간상 예측된 값을 보상하여 원영상을 복원하는 시간상보상 영상복원부를 포함함을 특징으로 하는 컬러 영상의 레지듀 역변환 장치.
  22. 적어도 두 가지 이상의 성분으로 이루어지는 원영상을 부호화하는 방법에 있어서,
    (a) 상기 원영상의 각 성분에 대해, 원영상과 예측영상의 차에 해당하는 레지듀를 구하는 단계; 및
    (b) 상기 소정 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 변환하여 부호화하는 단계를 포함함을 특징으로 하는 레지듀 변환을 이용한 무손실 영상 부호화 방법.
  23. 제22항에 있어서, 상기 원영상은
    R-G-B 형식, Y-Cb-Cr 형식, X-Y-Z 형식의 영상 중 어느 하나임을 특징으로 하는 레지듀 변환을 이용한 무손실 영상 부호화 방법.
  24. 제22항에 있어서,
    상기 (b)단계의 레지듀변환된 데이터를 엔트로피 부호화하여 비트열을 생성하는 단계를 더 구비함을 특징으로 하는 레지듀 변환을 이용한 무손실 영상 부호화 방법.
  25. 제22항에 있어서, 상기 (b)단계는
    상기 컬러영상의 성분별 레지듀 상호간의 관계성을 이용하여 레지듀변환할 지를 선택하는 단계;
    상기 레지듀변환을 선택하면 상기 소정 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 변환하여 부호화하는 단계; 및
    상기 레지듀변환을 선택하지 않으면 상기 컬러영상의 성분별 레지듀를 부호화하는 단계를 포함함을 특징으로 하는 레지듀 변환을 이용한 무손실 영상 부호화 방법.
  26. 제22항에 있어서, 상기 (a)단계는
    상기 원 영상의 각 성분에 대해, 각 칼라 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정하여 예측영상을 얻는 단계; 및
    원 영상에서 상기 예측영상을 뺀 공간적 레지듀를 구하는 단계를 구비함을 특징으로 하는 레지듀 변환을 이용한 무손실 영상 부호화 방법.
  27. 제22항에 있어서, 상기 (a)단계는
    상기 원영상의 각 성분에 대해, 각 칼라 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻는 단계;
    원 영상에서 상기 예측영상을 뺀 시간적 레지듀를 구하는 단계를 구비함을 특징으로 하는, 레지듀 변환을 이용한 무손실 영상 부호화 방법.
  28. 제22항에 있어서, 상기 (a)단계는
    상기 원 영상의 각 성분에 대해, 인트라 방식이면 각 칼라 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정하여 예측영상을 얻어, 원 영상에서 상기 예측영상을 뺀 공간적 레지듀를 구하는 단계; 및
    상기 원 영상의 각 성분에 대해, 인터 방식이면 각 칼라 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻어, 원 영상에서 상기 예측영상을 뺀 시간적 레지듀를 구하는 단계를 구비함을 특징으로 하는, 레지듀 변환을 이용한 무손실 영상 부호화 방법.
  29. 제22항에 있어서, 상기 (b)단계의 레지듀 변환은
    컬러영상의 세 가지 성분을 X1, X2, X3 라하고, 를 상기 세 가지 성분 X1, X2, X3 에 대한 레지듀라 할 때,
    수학식 2와 같이
    [수학식 2]
    (여기서 는 레지듀 변환된 신호이다.)
    상기 세 가지 성분 중 두 가지 성분의 레지듀의 값에서 나머지 한 성분의 레지듀 값을 빼서 부호화하는 것을 특징으로 하는 레지듀 변환을 이용한 무손실 영상 부호화 방법.
  30. 제22항에 있어서, 상기 (b)단계의 레지듀 변환은
    컬러영상의 세 가지 성분을 X1, X2, X3 라하고, 를 상기 세 가지 성분 X1, X2, X3 에 대한 레지듀라 할 때,
    [수학식 4]
    (여기서 는 레지듀 변환된 신호이다.)
    상기 수학식 4를 이용하여 변환함을 특징으로 하는 레지듀 변환을 이용한 무손실 영상 부호화 방법.
  31. 제22항에 있어서, 상기 (b)단계의 레지듀 변환은
    컬러영상의 세 가지 성분을 X1, X2, X3 라하고, 를 상기 세 가지 성분 X1, X2, X3 에 대한 레지듀라 할 때,
    [수학식 7]
    (여기서 는 레지듀 변환된 신호이다.)
    상기 수학식 7을 이용하여 변환함을 특징으로 하는 레지듀 변환을 이용한 무손실 영상 부호화 방법.
  32. 적어도 두 가지 이상의 성분으로 이루어지는 원영상을 부호화하는 장치에 있어서,
    상기 원영상의 각 성분에 대해, 원영상과 예측영상의 차에 해당하는 레지듀를 구하는 레지듀 생성부; 및
    상기 소정 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 변환하여 부호화하는 레지듀변환/부호화부를 포함함을 특징으로 하는 레지듀 변환을 이용한 무손실 영상 부호화 장치.
  33. 제32항에 있어서, 상기 레지듀변환/부호화부는
    레지듀변환된 데이터를 엔트로피 부호화하여 비트열을 생성하는 엔트로피 부호화부를 더 구비함을 특징으로 하는 레지듀 변환을 이용한 무손실 영상 부호화장치.
  34. 제32항에 있어서, 상기 레지듀생성부는
    상기 원 영상의 각 성분에 대해, 인트라 방식이면 각 칼라 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 화소로부터 예측 방향을 추정하여 예측영상을 얻어, 원 영상에서 상기 예측영상을 뺀 공간적 레지듀를 구하는 공간적레지듀 생성부; 및
    상기 원 영상의 각 성분에 대해, 인터 방식이면 각 칼라 성분의 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻어, 원 영상에서 상기 예측영상을 뺀 시간적 레지듀를 구하는 시간적 레지듀 생성부를 구비함을 특징으로 하는, 레지듀 변환을 이용한 무손실 영상 부호화 장치.
  35. 부호화된 적어도 두 가지 이상의 성분으로 이루어지는 원 영상을 무손실 복호화하는 방법에 있어서,
    (x) 상기 원영상과 예측영상의 차를 레지듀라 할 때, 상기 원영상의 부호화데이터로부터 레지듀변환된 영상데이터를 추출하는 단계;
    (y) 상기 레지듀 변환된 영상데이터에 대해 레지듀 역변환을 수행하여 상기 각 성분별 레지듀를 생성하는 단계; 및
    (z) 상기 각 성분별 레지듀에 예측영상을 더하여 원영상을 복원하는 단계를 포함함을 특징으로 하는 레지듀 변환을 이용한 무손실 영상 복호화 방법.
  36. 제35항에 있어서, 상기 원영상은
    R-G-B 형식, Y-Cb-Cr 형식, X-Y-Z 형식의 영상 중 어느 하나임을 특징으로 하는 레지듀 변환을 이용한 무손실 영상 복호화 방법.
  37. 제35항에 있어서, 상기 (z)단계는
    인트라 방식인 경우, 상기 각 컬러 성분의 레지듀에 대해 현재 영상의 화소 블록과 공간적으로 근접한 화소를 이용하여 공간상 예측 된 값을 보상하여 원영상을 복원함을 특징으로 하는 레지듀 변환을 이용한 무손실 영상 복호화 방법.
  38. 제35항에 있어서, 상기 (z)단계는
    인터방식인 경우, 상기 각 컬러 성분의 레지듀에 대해 이전 영상으로부터 예측 영상을 얻어 시간상 예측된 값을 보상하여 원영상을 복원함을 특징으로 하는 레지듀 변환을 이용한 무손실 영상 복호화 방법.
  39. 제35항에 있어서, 상기 (y)단계의 역변환은
    컬러영상의 세 가지 성분을 X1, X2, X3 라하고, 를 상기 세 가지 성분 X1, X2, X3 에 대한 레지듀라 할 때,
    [수학식 9]
    (여기서 는 레지듀 변환된 신호이다.)
    상기 수학식 9를 이용하여 역변환함을 특징으로 하는 레지듀 변환을 이용한 무손실 영상 복호화 방법.
  40. 제35항에 있어서, 상기 (y)단계의 역변환은
    컬러영상의 세 가지 성분을 X1, X2, X3 라하고, 를 상기 세 가지 성분 X1, X2, X3 에 대한 레지듀라 할 때,
    [수학식 10]
    (여기서 는 레지듀 변환된 신호이다.)
    상기 수학식 10을 이용하여 역변환함을 특징으로 하는 레지듀 변환을 이용한 무손실 영상 복호화 방법.
  41. 제35항에 있어서, 상기 (y)단계의 역변환은
    컬러영상의 세 가지 성분을 X1, X2, X3 라하고, 를 상기 세 가지 성분 X1, X2, X3 에 대한 레지듀라 할 때,
    [수학식 11]
    (여기서 는 레지듀 변환된 신호이다.)
    수학식 11을 사용하여 역변환함을 특징으로 하는 레지듀 변환을 이용한 무손실 영상 복호화 방법.
  42. 부호화된 적어도 두 가지 이상의 성분으로 이루어지는 원 영상을 무손실 복호화하는 방법에 있어서,
    상기 부호화된 데이터가 레지듀 변환되었는지를 체크하는 단계;
    레지듀 변환되었으면, 상기 레지듀 변환된 영상데이터에 대해 레지듀 역변환을 수행하여 상기 컬러영상의 각 성분별 레지듀를 생성하는 단계;
    레지듀변환되지 않았으면, 상기 역양자화된 데이터로부터 상기 컬러영상의 각 성분별 레지듀를 생성하는 단계; 및
    상기 각 성분별 레지듀에 예측영상을 더하여 원영상을 복원하는 단계를 포함함을 특징으로 하는 레지듀 변환을 이용한 영상 무손실 복호화 방법.
  43. 부호화된 적어도 두 가지 이상의 성분으로 이루어지는 원 영상을 무손실 복호화하는 장치에 있어서,
    상기 원영상과 예측영상의 차를 레지듀라 할 때, 상기 원영상의 부호화데이터로부터 레지듀변환된 영상데이터를 추출하는 레지듀변환 데이터추출부;
    상기 레지듀 변환된 영상데이터에 대해 레지듀 역변환하여 각 성분별 레지듀를 생성하는 레지듀역변환부; 및
    상기 각 성분별 레지듀에 예측영상을 더하여 원영상을 복원하는 원영상복원부를 포함함을 특징으로 하는 레지듀 변환을 이용한 무손실 영상 복호화 장치.
  44. 제43항에 있어서, 상기 원영상복원부는
    인트라 방식인 경우 상기 각 컬러 성분의 레지듀에 현재 영상의 화소 블록과 공간적으로 근접한 화소를 이용하여 공간상 예측 된 값을 보상하는 상기 공간상보상부;
    인터방식인 경우 상기 각 컬러 성분의 레지듀에 이전 영상으로부터 예측 영상을 얻어 시간상 예측된 값을 보상하는 시간상보상부; 및
    원영상의 각 성분별 레지듀에 상기 공간상보상부 또는 시간상 보상부에서 보상된 예측영상을 더하여 원영상을 복원하는 무손실영상복원부를 포함함을 특징으로 하는 레지듀 변환을 이용한 무손실 영상 복호화 장치.
  45. 제43항에 있어서,
    부호화된 비트열을 엔트로피복호하하는 엔트로피복호화부를 더 구비함을 특징으로 하는 레지듀 변환을 이용한 무손실 영상 복호화 장치.
  46. 부호화된 적어도 두 가지 이상의 성분으로 이루어지는 원 컬러영상을 무손실 복호화하는 장치에 있어서,
    원 컬러영상의 부호화데이터로부터 레지듀 데이터에 대해 레지듀변환을 수행여부를 나타내는 레지듀변환선택정보를 추출하여 레지듀변환된 데이터인지를 판단하는 레지듀변환판단부;
    레지듀변환된 데이터라고 판단되면, 원 컬러영상의 부호화데이터로부터 레지듀변환된 영상데이터를 추출하는 레지듀변환 데이터추출부;
    상기 레지듀 변환된 영상데이터에 대해 레지듀 역변환하여 각 성분별 레지듀를 생성하는 레지듀역변환부;
    상기 판단결과 레지듀변환되지 않았다고 판단되면, 원컬러영상의 부호화데이터로부터 각 성분별 레지듀데이터를 추출하는 레지듀데이터추출부; 및
    상기 각 성분별 레지듀에 예측영상을 더하여 원영상을 복원하는 원영상복원부를 포함함을 특징으로 하는 레지듀 변환을 이용한 무손실 영상 복호화 장치.
  47. 적어도 두 가지 이상의 성분으로 이루어지는 원 컬러영상을 부호화하는 방법에 있어서,
    (a) 상기 원 컬러영상의 각 성분에 대해, 원 컬러영상과, 복원된 영상으로부터 생성한 예측영상의 차에 해당하는 레지듀를 구하는 단계; 및
    (b) 상기 컬러영상 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 변환하는 단계;
    (c) 상기 레지듀변환된 데이터를 적어도 양자화를 포함하여 부호화하는 단계를 포함함을 특징으로 하는 레지듀 변환을 이용한 컬러영상 부호화 방법.
  48. 제47항에 있어서, 상기 원영상은
    R-G-B 형식, Y-Cb-Cr 형식, X-Y-Z 형식의 영상 중 어느 하나임을 특징으로 하는 레지듀 변환을 이용한 컬러영상 부호화 방법.
  49. 제47항에 있어서,
    상기 양자화된 데이터를 엔트로피 부호화하여 비트열을 생성하는 단계를 더 구비함을 특징으로 하는 레지듀 변환을 이용한 컬러영상 부호화 방법.
  50. 제47항에 있어서, 상기 (a)단계는
    상기 원 영상의 각 성분에 대해, 각 칼라 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 복원된 화소로부터 예측 방향을 추정하여 손실 예측영상을 얻는 단계; 및
    원 영상에서 상기 손실 예측영상을 뺀 손실 공간적 레지듀를 구하는 단계를 구비함을 특징으로 하는 레지듀 변환을 이용한 컬러영상 부호화 방법.
  51. 제48항에 있어서, 상기 (a)단계는
    상기 원영상의 각 성분에 대해, 각 칼라 성분의 복원된 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻는 단계;
    원 영상에서 상기 예측영상을 뺀 손실 시간적 레지듀를 구하는 단계를 구비함을 특징으로 하는, 레지듀 변환을 이용한 컬러영상 부호화 방법.
  52. 제48항에 있어서, 상기 (a)단계는
    상기 원 영상의 각 성분에 대해, 인트라 방식이면 각 칼라 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 복원된 화소로부터 예측 방향을 추정하여 손실 예측영상을 얻어, 원 영상에서 상기 손실 예측영상을 뺀 공간적 레지듀를 구하는 단계; 및
    상기 원 영상의 각 성분에 대해, 인터 방식이면 각 칼라 성분의 복원된 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 손실 예측영상을 얻어, 원 영상에서 상기 예측영상을 뺀 시간적 레지듀를 구하는 단계를 구비함을 특징으로 하는, 레지듀 변환을 이용한 컬러영상 부호화 방법.
  53. 제48항에 있어서, 상기 (a)단계에서의 예측영상은
    상기 (c)단계에서 변환 및 양자화를 거쳐 생성된 신호를 역양자화 및 역변환을 한 뒤 예측 보상을 하여 복원된 영상을 사용하여 생성함을 특징으로 하는, 레지듀 변환을 이용한 컬러영상 부호화 방법.
  54. 제48항에 있어서, 상기 (b)단계의 레지듀 변환은
    컬러영상의 세 가지 성분을 X1, X2, X3 라하고, 를 상기 세 가지 성분 X1, X2, X3 에 대한 레지듀라 할 때,
    수학식 2와 같이
    [수학식 2]
    (여기서 는 레지듀 변환된 신호이다.)
    상기 세 가지 성분 중 두 가지 성분의 레지듀의 값에서 나머지 한 성분의 레지듀 값을 빼서 부호화하는 것을 특징으로 하는 레지듀 변환을 이용한 컬러영상 부호화 방법.
  55. 제48항에 있어서, 상기 (b)단계의 레지듀 변환은
    컬러영상의 세 가지 성분을 X1, X2, X3 라하고, 를 상기 세 가지 성분 X1, X2, X3 에 대한 레지듀라 할 때,
    [수학식 4]
    (여기서 는 레지듀 변환된 신호이다.)
    수학식 4를 이용하여 변환함을 특징으로 하는 레지듀 변환을 이용한 영상 부호화 방법.
  56. 제48항에 있어서, 상기 (b)단계의 레지듀 변환은
    컬러영상의 세 가지 성분을 X1, X2, X3 라하고, 를 상기 세 가지 성분 X1, X2, X3 에 대한 레지듀라 할 때,
    [수학식 7]
    (여기서 는 레지듀 변환된 신호이다.)
    수학식 7을 이용하여 변환함을 특징으로 하는 레지듀 변환을 이용한 컬러영상 부호화 방법.
  57. 적어도 두 가지 이상의 성분으로 이루어지는 원 컬러영상을 부호화하는 방법에 있어서,
    상기 원 컬러영상의 각 성분에 대해, 원 컬러영상과, 복원된 영상으로부터 생성한 예측영상의 차에 해당하는 레지듀를 구하는 단계; 및
    상기 컬러영상의 성분별 레지듀 상호간의 관계성을 이용하여 레지듀변환할 지를 선택하는 단계;
    상기 레지듀변환을 선택하면 상기 소정 성분의 레지듀 상호간의 관계성을 이용하여 상기 레지듀를 변환하여 손실부호화하는 단계; 및
    상기 레지듀변환을 선택하지 않으면 상기 컬러영상의 성분별 레지듀를 손실부호화하는 단계를 포함함을 특징으로 하는 레지듀 변환을 이용한 컬러영상 부호화 방법.
  58. 적어도 두 가지 이상의 성분으로 이루어지는 원 컬러영상을 부호화하는 장치에 있어서,
    상기 원 컬러영상의 각 성분에 대해, 현재영상과 복원된 이전영상을 이용하여 시간상 예측영상 및 복원된 현재영상을 이용하여 공간상 예측영상 중 적어도 하나를 생성하는 시공간예측부;
    인트라방식이면 원 영상에서 상기 공간상 예측영상을 뺀 공간적 레지듀를 생성하고, 인터방식이면 원 영상에서 상기 시간상 예측영상을 뺀 시간적 레지듀를 생성하는 레지듀생성부;
    상기 컬러영상의 성분별 레지듀 상호간 관계성을 이용하여 상기 레지듀를 변환하는 레지듀변환부; 및
    상기 변환된 레지듀를 적어도 양자화를 포함하여 부호화하는 레지듀부호화부를 포함함을 특징으로 하는 레지듀 변환을 이용한 컬러영상 부호화 장치.
  59. 제58항에 있어서,
    상기 양자화된 데이터를 엔트로피 부호화하여 비트열을 생성하는 엔트로피부호화부를 더 구비함을 특징으로 하는 레지듀 변환을 이용한 컬러영상 부호화 장치.
  60. 제58항에 있어서, 상기 시공간예측부는
    인트라 방식의 경우, 상기 원컬러영상의 각 성분에 대해 각 칼라 성분의 현재 프레임의 화소 블럭과 공간적으로 근접한 복원된 화소로부터 예측 방향을 추정하여 예측영상을 얻는 상기 공간상예측부; 및
    인터방식의 경우, 상기 원컬러영상의 각 성분에 대해 각 칼라 성분의 복원된 이전 프레임과 현재 프레임사이에 소정 크기의 블럭단위로 움직임을 추정하여 예측영상을 얻는 시간상예측부를 구비함을 특징으로 하는 레지듀 변환을 이용한 컬러영상 부호화 장치.
  61. 제58항에 있어서, 상기 시공간예측부의 예측영상은
    상기 레지듀부호화부에서 변환 및 양자화를 거쳐 생성된 신호를 역양자화 및 역변환을 한 뒤 예측 보상을 하여 복원된 영상을 사용하여 생성됨을 특징으로 하는 레지듀 변환을 이용한 컬러영상 부호화 장치.
  62. 적어도 두 가지 이상의 성분으로 이루어지는 원 컬러영상을 부호화하는 장치에 있어서,
    상기 원 컬러영상의 각 성분에 대해, 원 컬러영상과, 복원된 컬러영상으로부터 생성한 예측영상의 차에 해당하는 레지듀를 생성하는 레지듀생성부;
    상기 레지듀생성부에서 생성된 컬러영상의 성분별 레지듀 상호간의 관계성을 이용하여 레지듀변환할 지를 선택하는 레지듀변환선택부;
    상기 레지듀변환선택부에서 레지듀변환하기로 선택하면, 상기 컬러영상의 성분별 레지듀 상호간 관계성을 이용하여 상기 레지듀를 변환하는 레지듀변환부;
    상기 레지듀변환부에서 변환된 레지듀 또는 상기 레지듀변환선택부에서 레지듀변환하지 않기로 선택하면 상기 레지듀생성부에서 생성된 레지듀를 적어도 양자화를 포함하여 부호화하는 레지듀부호화부를 포함함을 특징으로 하는 레지듀 변환을 이용한 컬러영상 부호화 장치.
  63. 부호화된 적어도 두 가지 이상의 성분으로 이루어지는 원 컬러영상을 복호화하는 방법에 있어서,
    (x) 상기 원컬러영상의 부호화데이터에 대해 손실복호화를 수행하여 레지듀변환된 영상데이터를 복원하는 단계;
    (y) 상기 레지듀 변환된 영상데이터에 대해 레지듀 역변환을 수행하여 상기 컬러영상의 각 성분별 레지듀를 생성하는 단계; 및
    (z) 상기 각 성분별 레지듀에, 복원된 영상을 이용하여 생성된 예측영상을 더하여 원컬러영상을 복원하는 단계를 포함함을 특징으로 하는 레지듀 변환을 이용한 컬러영상 복호화 방법.
  64. 제63항에 있어서, 상기 원영상은
    R-G-B 형식, Y-Cb-Cr 형식, X-Y-Z 형식의 영상 중 어느 하나임을 특징으로 하는 레지듀 변환을 이용한 무손실 영상 복호화 방법.
  65. 제63항에 있어서, 상기 (z)단계는
    인트라 방식인 경우, 상기 각 컬러 성분의 레지듀에 대해 현재 영상의 화소 블록과 공간적으로 근접한 복원된 화소를 이용하여 공간상 예측 된 값을 보상하여 원 컬러영상을 복원함을 특징으로 하는 레지듀 변환을 이용한 영상 복호화 방법.
  66. 제63항에 있어서, 상기 (y)단계는
    인터방식인 경우, 상기 각 컬러 성분의 레지듀에 대해 복원된 이전 영상으로부터 예측영상을 얻어 시간상 예측된 값을 보상하여 원영상을 복원함을 특징으로 하는 레지듀 변환을 이용한 영상 복호화 방법.
  67. 제63항에 있어서, 상기 (z)단계는
    인트라 방식인 경우, 상기 각 컬러 성분의 레지듀에 대해 현재 영상의 화소 블록과 공간적으로 근접한 복원된 화소를 이용하여 공간상 예측 된 값을 보상하여 원영상을 복원하는 단계; 및
    인터방식인 경우, 상기 각 컬러 성분의 레지듀에 대해 복원된 이전 영상으로부터 예측영상을 얻어 시간상 예측된 값을 보상하여 원영상을 복원함을 특징으로 하는 레지듀 변환을 이용한 영상 복호화 방법.
  68. 제63항에 있어서, 상기 (y)단계의 역변환은
    컬러영상의 세 가지 성분을 X1, X2, X3 라하고, 를 상기 세 가지 성분 X1, X2, X3 에 대한 레지듀라 할 때,
    [수학식 9]
    (여기서 는 레지듀 변환된 신호이다.)
    상기 수학식 9를 이용하여 역변환함을 특징으로 하는 레지듀 변환을 이용한 컬러영상 복호화 방법.
  69. 제63항에 있어서, 상기 (y)단계의 역변환은
    컬러영상의 세 가지 성분을 X1, X2, X3 라하고, 를 상기 세 가지 성분 X1, X2, X3 에 대한 레지듀라 할 때,
    [수학식 10]
    (여기서 는 레지듀 변환된 신호이다.)
    수학식 10을 이용하여 역변환함을 특징으로 하는 레지듀 변환을 이용한 컬러영상 복호화 방법.
  70. 제63항에 있어서, 상기 (y)단계의 역변환은
    컬러영상의 세 가지 성분을 X1, X2, X3 라하고, 를 상기 세 가지 성분 X1, X2, X3 에 대한 레지듀라 할 때,
    [수학식 11]
    (여기서 는 레지듀 변환된 신호이다.)
    수학식 11을 사용하여 역변환함을 특징으로 하는 레지듀 변환을 이용한 컬러영상 복호화 방법.
  71. 제63항에 있어서,
    상기 원 컬러영상의 입력 비트열에 대해 엔트로피 복호화하는 단계를 더 구비함을 특징으로 하는 레지듀 변환을 이용한 컬러영상 복호화 방법.
  72. 부호화된 적어도 두 가지 이상의 성분으로 이루어지는 원 영상을 복호화하는 방법에 있어서,
    상기 원컬러영상의 부호화된 데이터에 대해 적어도 역양자화를 수행하는 단계;
    상기 역양자화된 데이터가 레지듀 변환되었는지를 체크하는 단계;
    레지듀 변환되었으면, 상기 레지듀 변환된 영상데이터에 대해 레지듀 역변환을 수행하여 상기 컬러영상의 각 성분별 레지듀를 생성하는 단계;
    레지듀변환되지 않았으면, 상기 역양자화된 데이터로부터 상기 컬러영상의 각 성분별 레지듀를 생성하는 단계; 및
    상기 각 성분별 레지듀에 예측영상을 더하여 원컬러영상을 복원하는 단계를 포함함을 특징으로 하는 레지듀 변환을 이용한 컬러영상 복호화 방법.
  73. 부호화된 적어도 두 가지 이상의 성분으로 이루어지는 원 컬러영상을 복호화하는 장치에 있어서,
    상기 원컬러영상의 손실부호화데이터로부터 레지듀변환된 영상데이터를 복원하는 레지듀변환 데이터 복원부;
    상기 레지듀변환 데이터에 대해 레지듀 역변환을 수행하여 상기 컬러영상의 각 성분별 레지듀를 생성하는 레지듀역변환부; 및
    상기 각 성분별 레지듀에 복원된 영상을 이용하여 생성된 예측영상을 더하여 원컬러영상을 복원하는 원컬러영상 복원부를 포함함을 특징으로 하는 레지듀 변환을 이용한 컬러영상 복호화 장치.
  74. 제73항에 있어서, 상기 레지듀변환데이터 복원부는
    부호화된 비트열을 엔트로피복호하하는 엔트로피복호화부; 및
    상기 엔트로피복호화된 데이터를 역양자화 및 역변환하는 역양자화/역변환부를 구비함을 특징으로 하는 레지듀 변환을 이용한 컬러영상 복호화 장치.
  75. 컬러영상의 손실부호화된 비트열에 대해 적어도 역양자화를 수행하는 손실복호화부;
    상기 손실복호화부에서 손실복호화된 데이터로부터 레지듀변환을 수행여부를 나타내는 레지듀변환선택정보를 추출하여 해석하는 레지듀변환판단부;
    상기 레지듀변환 선택정보 해석결과 상기 손실복호화된 데이터가 레지듀변환되었으면, 상기 손실복호화된 데이터로부터 레지듀변환데이터를 추출하는 레지듀변환데이터 추출부;
    상기 레지듀변환 데이터에 대해 레지듀 역변환을 수행하여 상기 컬러영상의 각 성분별 레지듀를 생성하는 레지듀역변환부;
    상기 레지듀변환 선택정보 해석결과 상기 손실복호화된 데이터가 레지듀변환되지 않았으면, 상기 손실복호화된 데이터로부터 레지듀데이터를 추출하는 레지듀데이터 추출부; 및
    상기 각 성분별 레지듀에 복원된 영상을 이용하여 생성된 예측영상을 더하여 원컬러영상을 복원하는 원컬러영상 복원부를 포함함을 특징으로 하는 레지듀 변환을 이용한 컬러영상 복호화 장치.
  76. 제1항 내지 제9항, 제12항 내지 제19항, 제22항 내지 제31항, 제35항 내지 제42항, 제47항 내지 제57항, 제62항 내지 제72항 중 어느 한 항에 기재된 발명을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020040094554A 2003-11-26 2004-11-18 컬러영상의 레지듀변환/역변환 방법 및 장치, 그를 이용한컬러영상 부호화/ 복호화 방법 및 장치 KR100647297B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20040257277 EP1538844A3 (en) 2003-11-26 2004-11-24 Color image residue transformation and encoding method
US10/996,448 US8036478B2 (en) 2003-11-26 2004-11-26 Color image residue transformation and/or inverse transformation method and apparatus, and color image encoding and/or decoding method and apparatus using the same
JP2004342873A JP4898111B2 (ja) 2003-11-26 2004-11-26 カラー映像の剰余変換／逆変換方法と装置及びそれを利用したカラー映像符号化／復号化方法及び装置

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR1020030084714 2003-11-26
KR20030084714 2003-11-26
US55177804P 2004-03-11 2004-03-11
US60/551,778 2004-03-11
KR1020040052322 2004-07-06
KR20040052322 2004-07-06

Publications (2)

Publication Number Publication Date
KR20050050540A true KR20050050540A (ko) 2005-05-31
KR100647297B1 KR100647297B1 (ko) 2006-11-23

Family

ID=38665988

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040094554A KR100647297B1 (ko) 2003-11-26 2004-11-18 컬러영상의 레지듀변환/역변환 방법 및 장치, 그를 이용한컬러영상 부호화/ 복호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100647297B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100750138B1 (ko) * 2005-11-16 2007-08-21 삼성전자주식회사 인간의 시각 특성을 이용한 영상의 부호화, 복호화 방법 및장치
KR100873636B1 (ko) * 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
KR100919887B1 (ko) * 2006-12-06 2009-09-30 한국전자통신연구원 인트라 모드 복호 출력 제어 장치 및 그 방법과, 그를이용한 인트라 모드 복호 시스템
KR101138393B1 (ko) * 2005-07-15 2012-04-26 삼성전자주식회사 부호화 모드에 따른 컬러 성분간 예측을 이용한 컬러 영상및 비디오 부호화/복호화 방법 및 장치
KR101244309B1 (ko) * 2005-07-15 2013-03-18 삼성전자주식회사 영상 데이터 부호화/복호화 방법 및 장치
KR101256548B1 (ko) * 2005-12-30 2013-04-19 삼성전자주식회사 영상 부호화 및 복호화 장치 및 그 방법
KR101294364B1 (ko) * 2011-01-31 2013-08-06 전자부품연구원 고화질 영상을 위한 무손실 영상 압축방법, 압축 해제방법 및 이를 적용한 전자기기
CN114449241A (zh) * 2022-02-18 2022-05-06 复旦大学 一种适用于图像压缩的色彩空间转化算法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285710B1 (en) 1993-10-13 2001-09-04 Thomson Licensing S.A. Noise estimation and reduction apparatus for video signal processing
FR2755527B1 (fr) * 1996-11-07 1999-01-08 Thomson Multimedia Sa Procede de prediction compensee en mouvement et codeur utilisant un tel procede
KR100295328B1 (ko) 1998-12-23 2001-07-12 구자홍 구획간 잔류신호의 예측을 통한 영상의 부호화 및 복호화 방법
KR100535994B1 (ko) * 2002-12-30 2005-12-12 에스케이 텔레콤주식회사 율-제한 움직임 추정 방법

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101138393B1 (ko) * 2005-07-15 2012-04-26 삼성전자주식회사 부호화 모드에 따른 컬러 성분간 예측을 이용한 컬러 영상및 비디오 부호화/복호화 방법 및 장치
KR101244309B1 (ko) * 2005-07-15 2013-03-18 삼성전자주식회사 영상 데이터 부호화/복호화 방법 및 장치
US9565445B2 (en) 2005-11-14 2017-02-07 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding an image using the same coding mode across components
KR100873636B1 (ko) * 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
US8934541B2 (en) 2005-11-14 2015-01-13 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding an image using the same coding mode across components
US9497474B2 (en) 2005-11-14 2016-11-15 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding an image using the same coding mode across components
US9674541B2 (en) 2005-11-14 2017-06-06 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding an image using the same coding mode across components
US9877007B2 (en) 2005-11-14 2018-01-23 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding an image using the same coding mode across components
US10455210B2 (en) 2005-11-14 2019-10-22 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding an image using the same coding mode across components
KR100750138B1 (ko) * 2005-11-16 2007-08-21 삼성전자주식회사 인간의 시각 특성을 이용한 영상의 부호화, 복호화 방법 및장치
KR101256548B1 (ko) * 2005-12-30 2013-04-19 삼성전자주식회사 영상 부호화 및 복호화 장치 및 그 방법
KR100919887B1 (ko) * 2006-12-06 2009-09-30 한국전자통신연구원 인트라 모드 복호 출력 제어 장치 및 그 방법과, 그를이용한 인트라 모드 복호 시스템
KR101294364B1 (ko) * 2011-01-31 2013-08-06 전자부품연구원 고화질 영상을 위한 무손실 영상 압축방법, 압축 해제방법 및 이를 적용한 전자기기
CN114449241A (zh) * 2022-02-18 2022-05-06 复旦大学 一种适用于图像压缩的色彩空间转化算法
CN114449241B (zh) * 2022-02-18 2024-04-02 复旦大学 一种适用于图像压缩的色彩空间转化算法

Also Published As

Publication number Publication date
KR100647297B1 (ko) 2006-11-23

Similar Documents

Publication Publication Date Title
JP4898111B2 (ja) カラー映像の剰余変換／逆変換方法と装置及びそれを利用したカラー映像符号化／復号化方法及び装置
KR101997604B1 (ko) 영상 부호화/복호화 방법 및 장치
KR101362757B1 (ko) 인터 컬러 보상을 이용한 영상의 부호화 방법 및 장치,복호화 방법 및 장치
KR101311403B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR101291196B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR101311402B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR101088375B1 (ko) 가변 블록 변환 장치 및 방법 및 이를 이용한 영상부호화/복호화 장치 및 방법
KR100723403B1 (ko) 컬러 성분간 단일 부호화 모드를 이용한 예측영상 생성 방법 및 장치와, 그를 이용한 영상 및 비디오 부호화/복호화방법 및 장치
KR101261526B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR101200865B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
EP1478189A2 (en) Method and apparatus for encoding/decoding image using image residue prediction
KR101138393B1 (ko) 부호화 모드에 따른 컬러 성분간 예측을 이용한 컬러 영상및 비디오 부호화/복호화 방법 및 장치
KR100754388B1 (ko) 레지듀 영상 다운/업 샘플링 방법 및 장치와 그를 이용한영상 부호화/복호화 방법 및 장치
KR101127221B1 (ko) 주파수 공간에서 컬러 성분간 예측을 이용한 컬러영상부호화/복호화 방법 및 장치
US20100034265A1 (en) Apparatus and method for encoding and decoding high fidelity video, and computer-readable storage medium
KR20070090700A (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR20080012026A (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR20110043510A (ko) 영상 부호화/복호화 장치 및 방법
KR100718121B1 (ko) 영상의 레지듀 예측을 이용한 영상 부호화/복호화 방법 및장치
KR20090087767A (ko) 영상의 인트라 예측 부호화 방법
KR100718122B1 (ko) 컬러 평면 간 예측을 이용한 무손실 영상 부호화/복호화방법 및 장치
KR101244309B1 (ko) 영상 데이터 부호화/복호화 방법 및 장치
KR100647297B1 (ko) 컬러영상의 레지듀변환/역변환 방법 및 장치, 그를 이용한컬러영상 부호화/ 복호화 방법 및 장치
KR20160078318A (ko) 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121030

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131030

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141030

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee