KR101348365B1 - 영상의 부호화 방법 및 장치, 복호화 방법 및 장치 - Google Patents

영상의 부호화 방법 및 장치, 복호화 방법 및 장치 Download PDF

Info

Publication number
KR101348365B1
KR101348365B1 KR1020060072950A KR20060072950A KR101348365B1 KR 101348365 B1 KR101348365 B1 KR 101348365B1 KR 1020060072950 A KR1020060072950 A KR 1020060072950A KR 20060072950 A KR20060072950 A KR 20060072950A KR 101348365 B1 KR101348365 B1 KR 101348365B1
Authority
KR
South Korea
Prior art keywords
color
predetermined size
image
color conversion
predetermined
Prior art date
Application number
KR1020060072950A
Other languages
English (en)
Other versions
KR20080012026A (ko
Inventor
송병철
천강욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060072950A priority Critical patent/KR101348365B1/ko
Priority to US11/783,169 priority patent/US20080031518A1/en
Priority to PCT/KR2007/002909 priority patent/WO2008016219A1/en
Publication of KR20080012026A publication Critical patent/KR20080012026A/ko
Application granted granted Critical
Publication of KR101348365B1 publication Critical patent/KR101348365B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N11/00—Colour television systems
    • H04N11/04—Colour television systems using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 컬러 영상의 부호화 방법 및 장치, 복호화 방법 및 장치에 관한 것으로서, 본 발명에 따른 컬러 영상의 부호화 방법은, 컬러 영상을 구성하는 소정의 크기의 블록 단위로, 컬러 포맷 변환을 위한 컬러 변환 함수를 생성하고, 생성된 컬러 변환 함수를 이용하여, 소정 크기 블록의 복수 개의 색 성분 영상 각각에 대해 컬러 변환을 수행한 후, 컬러 변환이 수행된 영상에 대해 소정의 부호화를 수행하도록 하여, 영상의 지협적 특성에 따른 특성을 고려한 컬러 변환 및 부호화가 수행되도록 함으로써, 부호화 효율을 향상시키도록 한다.

Description

영상의 부호화 방법 및 장치, 복호화 방법 및 장치{An video encoding/decoding method and apparatus}
도 1은 본 발명의 일 실시예에 따른 기반 적응적 컬러 변환 방법이 적용된 부호화 장치를 도시하는 블록도이다.
도 2(a)(b)(c)는 본 발명을 설명하기 위한 현재 블록의 주변 복원 화소들을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 BACT부를 도시하는 블록도이다.
도 4는 본 발명의 또 다른 실시예에 따른 부호화 장치를 도시하는 블록도이다.
도 5는 본 발명의 도 1의 부호화 장치에서 수행되는 부호화 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 또 다른 실시예에 따른 블록 기반 적응적 컬러 변환 방법이 적용되는 부호화 장치를 도시하는 블록도이다.
도 7은 도 6에 도시된 부호화 장치에서 수행되는 부호화 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 또 다른 실시예에 따른 블록 기반 적응적 컬러 변환 방법이 적용된 부호화 장치를 도시하는 블록도이다.
도 9는 도 8의 부호화 장치에서 수행되는 부호화 방법을 설명하기 위한 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 복호화 장치를 도시하는 블록도이다.
도 11은 본 발명의 또 다른 실시예에 따른 복호화 장치를 도시하는 블록도이다.
도 12는 도 10의 복호화 장치에서 수행되는 복호화 방법을 설명하기 위한 흐름도이다.
도 13은 도 10의 복호화 장치에서 수행되는 복호화 방법을 설명하기 위한 흐름도이다.
본 발명은 컬러 영상의 부호화 및 복호화에 관한 것으로, 보다 상세하게는 컬러 변환을 이용한 컬러 영상의 부호화 방법 및 장치, 복호화 방법 및 장치에 관한 것이다.
최근 각광받고 있는 MPEG 동영상 압축 표준인 H.264 또는 MPEG 4 AVC(Advanced Video Coding)은 다양한 압축 기법을 채용하고 있다. 예들 들어, 기존의 부호화 규격과는 달리, 다 참조 움직임 보상(multi reference motion compensation), 루프 필터링(loop filtering), 가변 블록 크기의 움직임 보상, CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 엔트로피 부호하 등 압 축 효율을 증가시키기 위한 다양한 기술들을 채택하고 있다.
특히, YCbCr의 컬러 공간(color space)가 아닌 RCB 공간에서의 동영상 부호화도 포함하고 있는 것이 특징이다. 이는, 영상을 취득할 때 생성되는 동영상 포맷은 RGB 컬러 포맷인데, 이를 부호화를 위해 YCbCr의 형태로 변환할 경우 기본적으로 화질의 한계가 생긴다는 연구 결과를 토대로 이루어졌다.
따라서, YCbCr 4:4:4 영역이 아닌 RGB 4:4:4 영역에서 부호화할 경우 효율성을 높이기 위한 기술들이 제안되고 있으며, RCT(Residual color transform)이라는 기술이 제안된바 있다. 또한, YCbCr 보다 우수한 성능을 갖는 KL(Karhunen Loeve) 변환을 이용하는 YCoCg 및 YFbFr과 같은 포맷이 제안되었으며, 이러한 포맷들 중 하나를 이용한 동영상 부호화 방법들이 제안되었다.
종래의 부호화 장치 중 하나인 H.264 동영상 부호기에, RCT 변환부를 채용함으로써, RCT 변환을 이용한 부호화 방법을 구현할 수 있다.
예를 들어, 부호화기에 입력되는 RGB 4:4:4 영상을 부호화할 경우, RGB간의 상관 관계를 레지듀 영역에서 영역에서 이용한 RCT 변환(residual color transform)이 정수 변환부 앞 단에서 수행될 수 있다. 여기에서, 레지듀(residue)라 함은 원 입력 영상과 예측 영상의 차이를 말한다. 입력 영상이 R(Red), G(Green) 및 B(Blue)의 세 가지 색 성분 영상을 포함하고 있을 때, 각 색 성분 영상의 레지듀 값(ΔR, ΔG, ΔB)은 다음의 수학식 1과 같이 표현한다.
Figure 112006055658526-pat00001
수학식 1에서 R, G, B는 입력 영상의 각 색 성분별 영상을 나타내고, Rp, Gp, Bp는 R,G,B 입력 영상의 예측 영상을 나타낸다. 제 1 레지듀 블록은 각 색 성분 영상의 소정 크기의 입력 화소 블록에 대한 예측 부호화를 수행하여 생성된 예측 화소 블록과 상기 입력 화소 블록의 차이를 나타낸다. 즉, 제 1 레지듀 블록은 일반적으로 영상 처리 분야에서 레지듀 블록으로 표현되는 입력 화소 블록과 예측 화소 블록의 차이에 해당하는 블록을 나타낸다.
RCT 변환은 인트라 예측 또는 움직임 보상 후 생성된 R, G, B 각각의 레지듀 정보들이 여전히 상관 관계(correlation)을 가진다는 특성에 기인한다. R 성분의 레지듀 △R, G 성분의 레지듀 △G, B 성분의 레지듀 △B 간에는 큰 상관관계가 존재하는데, 이를 이용한 것이 RCT 변환이다.
H.264에서 RCT 변환은 다음과 같이 정의된다. RCT 변환은
Figure 112006055658526-pat00002
여기에서, △X는 제1 레지듀들을 의미하고, △2X는 제1 레지듀들 간의 차이에 해당하는 제2 레지듀를 의미한다. 또한, '>>'는 우측 시프트 연산(right shift operation)을 의미하며, 대략적으로 나누기 2가 된다. 또한, 변수 t는 임시적인 계산 목적으로 사용된다.
한편, 역 RCT 변환은 다음과 같이 정의된다.
Figure 112006055658526-pat00003
여기에서, △X'는 복원된 제1 레지듀를 의미하고, △2X'는 복원된 제2 레지듀를 의미한다.
RCT 변환과 같은 기술은 YCbCr 부호화의 화질 한계를 극복하기 위해 RGB 영역에서 직접 부호화하기 위해 나왔다. 또한, YCbCr이 컬러 변환의 최적이 아니었기 때문에, YCoCg-R 변환 및 YFbFr 변환과 같은 새로운 컬러 변환이 제안되었다.
아래 수학식 4 및 5는, YCoCg-R 변환 및 YFbFr 변환 함수를 보여준다.
Figure 112006055658526-pat00004
Figure 112006055658526-pat00005
하지만, 이들 종래의 동영상 부호화 방법들은 손실 부호화(lossy coding)의 특성을 충분히 반영하고 있지 못하고 있다. 또한, 입력 RGB 영상을 하나의 컬러 변환 포맷 방식으로 변환하여 부호화하기 때문에, 영상의 지협적인 특성(local characteristic)을 반영하지 못한다는 문제점이 있었다.
본 발명이 이루고자 하는 기술적 과제는 적응적인 컬러 변환에 기반한 컬러 영상의 부호화 방법 및 장치, 복호화 방법 및 장치를 제공하는 데에 목적이 있다.
전술한 기술적 과제를 해결하기 위하여 본 발명에 따른 컬러 영상의 부호화 방법은 컬러 영상을 구성하는 소정의 크기의 블록 단위로, 컬러 포맷 변환을 위한 컬러 변환 함수를 생성하는 단계와; 생성된 컬러 변환 함수를 이용하여, 소정 크기 블록 단위로 컬러 변환을 수행하는 단계와; 컬러 변환이 수행된 영상에 대해 소정 크기 블록 단위로 소정의 부호화를 수행하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 기술적 과제는 컬러 영상을 구성하는 소정 크기의 블록 단위로, 컬러 포맷을 변환하기 위한 복수개의 컬러 변환 함수들 중 하나를 선택하는 단계와; 선택된 컬러 변환 함수를 이용하여, 소정 크기 블록 단위로 컬러 변환을 수행하는 단계와; 컬러 변환이 수행된 영상에 대해 소정 크기의 블록 단위로 소정의 부호화를 수행하는 단계를 더 포함하는 것을 특징으로 하는 컬러 영상의 부호화 방법에 의해서도 달성된다.
또한, 상기 기술적 과제는 소정 크기의 블록 단위로, 소정의 컬러 변환 및 소정의 부호화가 수행된 컬러 영상을 수신하는 단계와; 수신된 컬러 영상에 대해, 소정의 부호화에 대응하는 소정의 복호화를 수행하는 단계와; 복호화된 컬러 영상에 대해, 소정의 크기의 블록 단위로, 컬러 포맷을 변환하기 위한 역 컬러 변환 함수를 생성하는 단계와; 생성된 역 컬러 변환 함수를 이용하여, 소정 크기 블록 단위로 역 컬러 변환을 수행하는 단계를 포함하는 것을 특징으로 하는 컬러 영상의 복호화 방법에 의해서도 달성된다.
또한, 상기 기술적 과제는 소정 크기의 블록 단위로, 소정의 컬러 변환 및 소정의 부호화가 수행된 컬러 영상 및 소정의 크기의 블록 단위로 적용된 컬러 변환을 특정하는 모드 정보를 포함하는 컬러 영상 스트림을 수신하는 단계와; 수신된 컬러 변환 및 부호화가 수행된 컬러 영상 스트림에 대해, 소정 크기의 블록 단위로 소정의 부호화에 대응하는 소정의 복호화를 수행하는 단계와; 복호화된 입력 컬러 영상에 대해, 소정의 크기의 블록 단위로, 복수 개의 색 성분 영상 각각에 대해, 모드 정보에 기초하여 컬러 포맷을 변환하기 위한 복수개의 역 컬러 변환 함수들 중 하나를 선택하는 단계와; 선택된 역 컬러 변환 함수를 이용하여, 제1 복호화가 수행된 입력 컬러 영상에 대해 소정 크기 블록 단위로 역 컬러 변환을 수행하는 단계를 포함하는 것을 특징으로 하는 컬러 영상의 복호화 방법에 의해서도 달성된다.
또한, 상기 기술적 과제는 컬러 영상을 구성하는 소정의 크기의 블록 단위로, 컬러 포맷을 변환하기 위한 컬러 변환 함수를 생성하는 컬러 변환 함수 생성부와; 생성된 컬러 변환 함수를 이용하여, 소정 크기 블록 단위로 컬러 변환을 수행하는 컬러 변환부와; 컬러 변환이 수행된 영상에 대해 소정의 부호화를 수행하는 부호화부를 포함하는 것을 특징으로 하는 컬러 영상의 부호화 장치에 의해서도 달성된다.
또한, 상기 기술적 과제는 컬러 영상을 구성하는 소정 크기의 블록 단위로, 컬러 포맷을 변환하기 위한 복수개의 컬러 변환 함수들 중 하나를 선택하는 컬러 변환 함수 선택부와; 선택된 컬러 변환 함수를 이용하여, 소정 크기 블록 단위로 컬러 변환을 수행하는 컬러 변환부와; 컬러 변환이 수행된 영상에 대해 소정의 부호화를 수행하는 부호화부를 포함하는 것을 특징으로 하는 컬러 영상의 부호화 장치에 의해서도 달성된다.
또한, 상기 기술적 과제는 소정 크기의 블록 단위로, 소정의 컬러 변환 및 소정의 부호화가 수행된 컬러 영상을 수신하고, 수신된 컬러 영상에 대해, 소정의 부호화에 대응하는 소정의 복호화를 수행하는 제1 복호화부와; 상기 복호화된 컬러 영상에 대해, 소정의 크기의 블록 단위로, 컬러 포맷을 변환하기 위한 역 컬러 변환 함수를 생성하고, 생성된 역 컬러 변환 함수를 이용하여, 소정 크기 블록 단위로 역 컬러 변환을 수행하는 역 컬러 변환부를 포함하는 것을 특징으로 하는 컬러 영상의 복호화 장치에 의해서도 달성된다.
또한, 상기 기술적 과제는 소정 크기의 블록 단위로, 소정의 컬러 변환 및 소정의 부호화가 수행된 컬러 영상 및 소정의 크기의 블록 단위로 적용된 컬러 변환을 특정하는 모드 정보를 포함하는 컬러 영상 스트림을 수신하고, 수신된 컬러 변환 및 부호화가 수행된 컬러 영상 스트림에 대해, 소정 크기의 블록 단위로 소정의 부호화에 대응하는 소정의 복호화를 수행하는 제1 복호화부와; 복호화된 입력 컬러 영상에 대해, 소정의 크기의 블록 단위로, 모드 정보에 기초하여, 컬러 포맷을 변환하기 위한 복수개의 역 컬러 변환 함수들 중 하나를 선택하고, 선택된 역 컬러 변환 함수를 이용하여, 제1 복호화가 수행된 입력 컬러 영상에 소정 크기 블록 단위로 역 컬러 변환을 수행하는 역 컬러 변환부를 포함하는 것을 특징으로 하는 컬러 영상의 복호화 장치에 의해서도 달성된다.
또한, 상기 기술적 과제는 컬러 영상을 구성하는 소정의 크기의 블록 단위로, 컬러 포맷을 변환하기 위한 컬러 변환 함수를 생성하는 단계와; 생성된 컬러 변환 함수를 이용하여, 소정 크기 블록 단위로 컬러 변환을 수행하는 단계와; 컬러 변환이 수행된 영상에 대해 소정의 부호화를 수행하는 단계를 포함하는 컬러 영상의 부호화 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 의해서도 달성된다.
또한, 상기 기술적 과제는 컬러 영상을 구성하는 소정 크기의 블록 단위로, 컬러 포맷을 변환하기 위한 복수개의 컬러 변환 함수들 중 하나를 선택하는 단계와; 선택된 컬러 변환 함수를 이용하여, 소정 크기 블록 단위로 컬러 변환을 수행하는 단계와; 컬러 변환이 수행된 영상에 대해 소정의 부호화를 수행하는 단계를 더 포함하는 컬러 영상의 부호화 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 의해서도 달성된다.
또한, 상기 기술적 과제는 소정 크기의 블록 단위로, 소정의 컬러 변환 및 소정의 부호화가 수행된 컬러 영상을 수신하는 단계와; 수신된 컬러 영상에 대해, 소정의 부호화에 대응하는 소정의 복호화를 수행하는 단계와; 복호화된 컬러 영상에 대해, 소정의 크기의 블록 단위로, 컬러 포맷을 변환하기 위한 역 컬러 변환 함수를 생성하는 단계와; 생성된 역 컬러 변환 함수를 이용하여, 소정 크기 블록 단위로 역 컬러 변환을 수행하는 단계를 포함하는 컬러 영상의 복호화 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 의해서도 달성된다.
또한, 상기 기술적 과제는 소정 크기의 블록 단위로, 소정의 컬러 변환 및 소정의 부호화가 수행된 컬러 영상 및 소정의 크기의 블록 단위로 적용된 컬러 변환을 특정하는 모드 정보를 포함하는 컬러 영상 스트림을 수신하는 단계와; 수신된 컬러 변환 및 부호화가 수행된 컬러 영상 스트림에 대해, 소정 크기의 블록 단위로 소정의 부호화에 대응하는 소정의 복호화를 수행하는 단계와; 복호화된 입력 컬러 영상에 대해, 소정의 크기의 블록 단위로, 모드 정보에 기초하여 컬러 포맷을 변환 하기 위한 복수개의 역 컬러 변환 함수들 중 하나를 선택하는 단계와; 선택된 역 컬러 변환 함수를 이용하여, 제1 복호화가 수행된 입력 컬러 영상에 소정 크기 블록 단위로 역 컬러 변환을 수행하는 단계를 포함하는 컬러 영상의 복호화 방법을 수행하기 위한 컴퓨터로 읽을 수 있는 기록 매체에 의해서도 달성된다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.
도 1은 본 발명에 따른 블록 기반 적응적 컬러 변환(Block Adaptive Color Transform:BACT) 방법이 적용된 부호화 장치를 도시하는 도면이다.
본 발명에 따른 부호화 장치는 BACT부(110), 제1 부호화부(120), 및 역 BACT부(Inverse Block Adaptive Color Transform)(130)를 포함한다.
블록 기반 적응적 컬러 변환(Block Adaptive Color Transform: BACT)부(110)는 소정의 블록 단위로 해당 블록에 최적인 컬러 변환 함수를 구하여 변환한 후, 컬러 변환된 영상 데이터를 제1 부호화부(120)로 출력한다. 여기에서, 제1 부호화부는 H.264 또는 MPEG4 AVC 표준을 만족하는 부호화 장치이다. 하지만, 선택적으로 영상 데이터를 부호화하기 위한 임의의 부호화 장치일 수 있다.
도 2는 컬러 변환 함수를 구하는 블록의 크기가 8X8 이라고 가정할 때, 컬러 변환을 구하기 위해 사용되는 주변 복원 RGB 값들을 표시한다. 도 2에서 빗금친 부분의 화소들이 현재 입력 RGB 8X8 블록에 적합한 컬러 변환을 구하기 위해 사용된다. 도 2a는 현재 블록이 R 블록인 경우 사용되는 주변 복원 화소들을 나타낸다. 도 2b는 현재 블록이 G 블록인 경우 사용되는 주변 복원 화소들을 나타낸다. 도 2c는 현재 블록이 B 블록인 경우 사용되는 주변 복원 화소들을 나타낸다. 이들은 복원된 값으로서, 제1 부호화부(120)에서 부호화 및 복호화를 거쳐 역 BACT부(130)를 거쳐, BACT부(110)에 입력되는 주변 복원 RGB 값들이다.
도 3은 본 발명의 일 실시예에 따른 BACT부(110)를 도시하는 블록도이다. BACT부(110)는 컬러 변환 함수 생성부(112) 및 컬러 변환부(114)를 포함한다.
이하에서는, 본 발명의 일 실시예에 따른 컬러 변환 함수 생성부(112)에서의 컬러 변환 함수 생성 방법을 설명한다.
우선, 아래 수학식 6과 같이, 역 BACT부(130)로부터 입력된 도 2(a)(b)(c)의 빗금친 주변 복원 RGB 값들을 정규화(normalization)한다.
Figure 112006055658526-pat00006
여기에서, μx (X는 r, g, b)는 도 2(a)(b)(c)의 빗금친 주변 복원 RGB 들에 대한 해당 성분의 평균 값을 의미이며, σx (X는 r, g, b)는 도 2(a)(b)(c)의 빗금친 주변 복원 RGB 들에 대한 해당 성분의 표준 편차 값을 의미한다.
다음으로, 현재 블록의 정규화된 R, G, B 값들을 이용하여, 자동 상관 행렬(auto-correlation matrix)를 다음 수학식 7을 이용하여 구한다.
Figure 112006055658526-pat00007
상기 식에서, μRG는 R값과 G값의 곱의 평균을 의미하며, μRB는 R값과 B값의 곱의 평균을 의미하며, μGB는 G값과 B값의 곱의 평균을 의미한다. 또한, σ2 R는 R 값의 분산을 의미하며, σ2 G는 G값의 분산을 의미하며, σ2 B는 B 값의 분산을 의미한다.
다음으로, 고유 벡터(eignevector)와 고유치(eigenvalue)는 수학식 7에 의해 구해진 행렬 RX를 이용하여 아래 수학식 8에 따라 구할 수 있다.
Figure 112006055658526-pat00008
상기 수학식 8에서,
Figure 112006055658526-pat00009
이며, 고유 벡터(eigenvector)들의 집합이고,
Figure 112006055658526-pat00010
는 고유치(eigenvalue)들을 대각선 항(term)들로 갖는 대각 행렬이다.
이와 같이, 도 2(a)(b)(c)의 빗금친 주변 복원 R,G, 및 B 값들로부터 상기 수학식 6, 7, 및 8에 의해 고유 벡터 Θ가 구해질 수 있다. 또한, 고유 벡터 Θ를 이항(transpose)함으로써,
Figure 112006055658526-pat00011
를 구할 수 있다.
Figure 112006055658526-pat00012
는 L2 norm으로 정규화되었으므로, 컬러 변환 후에 동일한 동적 영역(dynamic range)을 유지하기 위해 각 열(row)를 L1 norm으로 정규화할 필요가 있다. 여기에서, 동적 영역이란, 값이 존재하는 영역을 의미한다. 예를 들어, 8 비트의 Y 값은 이론상 0-255 사이의 값을 가지지만, 특정 영상이나 구역에서는 실제로는 50-200 사이의 값만 존재할 수 있는데, 이러한 영역을 동적 영역이라 한다. 또한, 여기에서, L2 norm이란 특정 벡터의 각 엘리먼트들의 제곱의 합의 제곱근을 의미하며, L1 norm이란 특정 벡터의 각 엘리먼트들의 절대값 합을 의미한다.
Figure 112006055658526-pat00013
를 다시 L1 norm으로 정규화함으로써 얻어진 행렬
Figure 112006055658526-pat00014
이 주변 복원 R, G, 및 B 값을 고려한 최적의 컬러 변환 행렬이 된다. 한편, 역 컬러 변환 행렬은 구해진 컬러 변환 행렬의 역 행렬이다.
한편,
Figure 112006055658526-pat00015
에 크로마(chroma) 성분이 0과 255 사이에 존재하도록 소정의 오프셋(offset) 값들이 적용될 수 있다.
또한, 제1 부호화시 데이터의 비트 정밀도(bit precision)을 조절하기 위해, 순방향 변환(forward transform)에 2를 곱하고, 역방향 변환(backward transform)은 2로 나눌 수 있다. 여기에서, 비트 정밀도는 영상 데이터의 비트 수를 의미한다. 일반적인 휘도 데이터의 비트 정밀도는 8 비트이다.
BACT 변환부(110)는 이러한 방식으로 단위 블록 별로 적응적으로 적용될 수 있는 컬러 변환 행렬, 즉 컬러 포맷을 변환하기 위한 컬러 변환 함수를 생성하고, 이를 이용하여 컬러 변환을 수행한다.
도 4는 본 발명의 일 실시예에 따른 도 1의 제1 부호화기(120)가 구체적으로 도시된 부호화 장치를 도시하는 도면이다.
부호화 장치는 BACT부(410), 변환 및 양자화부(420), 역변환 및 역양자화부(430), 프레임 메모리부(440), 인트라 예측부(450), 움직임 보상 및 예측부(460), 엔트로피 부호화부(470), 역 BACT부(480), 제2 BACT부(412) 및 가산부(490)를 포함한다.
여기에서, BACT부(410) 및 역 BACT부(480)는 도 1의 대응하는 기능부와 동일한 기능을 수행하므로, 설명의 간단을 위해 상세한 설명을 생략한다.
변환 및 양자화부(420)는 영상 데이터의 공간 중복성(spatial redundancy)을 없애기 위해, 입력된 컬러 변환된 영상 데이터를 변환(transform) 한다. 또한, 변환 부호화하여 얻어진 변환 계수값들을 소정 양자화 스텝에 따라 양자화하여 양자화된 변환 계수값들로 구성된 2차원 데이터인 N×M 데이터를 얻는다. 사용되는 영상 변환의 예로는 DCT(Discrete Cosine Transform)을 들 수 있다. 양자화는 미리 결정된 양자화 스텝에 따라 수행된다.
역변환 및 역양자화부(430)는 변환 및 양자화부(420)에서 양자화된 영상 데이터를 역양자화하고, 역양자화된 영상 데이터를 역 영상 변환, 예를 들어 역 DCT한다.
프레임 메모리부(440)는 역변환 및 역양자화부(430)에서 역양자화 및 역변환 등을 거쳐 최종 복원된 영상 데이터를 역 BACT부(480)에서 역 BACT를 수행한 후 저장하고, 또한 이를 제2 BACT부(412)를 거쳐 움직임 예측 및 보상부(460)로 출력한다.
제2 BACT부(412)는 BACT부(410)으로부터 현재 처리 블록에 대응하는 컬러 변환 함수를 받아, 움직임 보상 및 예측에 앞서 이전 프레임의 영상 데이터에 적용하여 컬러 변환을 수행한다.
인트라 프레임 예측부(450)는 인트라 매크로블록의 경우 공간 영역에서 블록 별 또는 매크로블록 별 예측자(predictor)를 구하고, 인트라 매크로블록에서 예측자를 뺀 후 그 차분을 변환부로 보내는 기능을 수행한다. 여기에서, 인트라 예측도 현재 블록에 대응하는 BACT부(410)에서 얻어진 컬러 변환 포맷에서 수행된다.
움직임 예측 및 보상부(ME/MC: 460)는 입력되는 현재 프레임의 영상 데이터와 프레임 메모리부(440)에 저장된 이전 프레임의 영상 데이터를 해당 컬러 변환을 수행한 후 이용하여 매크로 블록당 움직임 벡터(MV)와 SAD를 추정한다. 또한, 추정된 움직임 벡터에 기초하여 움직임 보상된 예측 영역 P, 예를 들어 움직임 추정에 의해 선택된 16×16 영역을 생성한다.
엔트로피 부호화부(470)는 변환 및 양자화부(420)로부터 출력되는 양자화된 변환 계수들과 움직임 예측 및 보상부(460)로부터 출력된 움직임 벡터에 관한 정보를 입력받아 엔트로피 부호화하여 최종적으로 얻어진 비트스트림을 출력한다.
또한, 가산부(490)는 입력된 컬러 변환된 현재 매크로블록에서 움직임 예측 및 보상부(460)에서 생성된 움직임 보상된 예측 영역 P를 감산하여, 잔차 영상을 생성한다. 생성된 잔차 영상은 변환 및 양자화부(420)에서 DCT와 같은 직교 변환 및 양자화된다. 엔트로피 부호화부(470)는 변환 및 양자화부(420)로부터 출력된 계수 정보 및 움직임 정보와 같은 헤더 정보가 엔트로피 부호화되어 압축된 비트스트림을 생성한다.
도 5는 도 1의 부호화 장치에서 수행되는 부호화 방법을 설명하기 위한 흐름도이다.
단계 520에서는 입력되는 컬러 영상, 예를 들어 RGB 영상을 구성하는 소정의 크기의 블록 단위로, 복수 개의 색 성분 영상 각각에 대해 컬러 포맷을 변환하기 위한 컬러 변환 함수를 생성한다. 여기에서, 컬러 변환 함수는 소정 크기의 현재 블록 주변부의 영상 특성, 예를 들어 도 2(a)(b)(c)의 블록 주변부의 색 성분별 화소값을 이용하여 생성될 수 있다.
단계 540에서는, 단계 520에서 생성된 컬러 변환 함수를 이용하여, 소정 크기 블록의 복수 개의 색 성분 영상 각각에 대해 컬러 변환을 수행한다.
단계 560에서는, 포맷 변환된 영상을, 소정 크기의 블록 단위로 소정의 부호화를 수행한다. 소정의 부호화는, 예를 들어 H.264 또는 MPEG AVC에 따른 부호화 방식일 수 있다.
도 6은 본 발명의 또 다른 실시예에 따른 블록 기반 적응적 컬러 변환(Block Adaptive Color Transform:BACT) 방법이 적용된 부호화 장치를 도시하는 도면이다.
본 발명에 따른 부호화 장치는 BACT부(610), 포맷 변환부(620), 제1 부호화부(630), 포맷 역변환부(640), 및 역 BACT부(650)를 포함한다.
도 6의 BACT부(610), 제1 부호화부(630), 및 역 BACT부(650)는 도 1의 대응하는 기능부와 동일한 기능을 수행하므로, 설명의 간단을 위해 상세한 설명은 생략한다.
포맷 변환부(620)는 컬러 변환이 수행된 영상에 대해 포맷 변환, 예를 들어 4:4:4 포맷을 4:2:0 포맷으로 변환하고, 포맷 변환된 영상을 제1 부호화부(630)로 출력한다.
포맷 역 변환부(640)는 제1 부호화부(630)로부터 출력된 영상의 포맷을 역변환한다. 예를 들어, 4:2:0 포맷으로 변환된 포맷을 4:4:4 포맷으로 역변환하고, 포맷이 역변환된 영상을 역 BACT부(650)로 출력한다.
이러한 포맷 변환 및 포맷 역 변환은 4:4:4 to 4:2:0 컨버터 및 4:2:0 to 4:4;4 컨버터과 같은 다운 샘플러(down sampler) 및 업 샘플러(up sampler)에 의해 수행될 수 있다. 또한, 4:4:4에서 4:2:0 포맷으로의 변환 뿐만 아니라, 다른 임의의 포맷 비율로의 변환, 예를 들어 4:4:4 포맷에서 4:2:2 포맷으로의 변환도 가능하다. 이때, 그 변환 및 역 변환은 4:4:4 to 4:2:2 컨버터 및 4:2:2 to 4:4;4 컨버터에 의해 수행될 수 있다.
도 7은 도 6에 도시된 부호화 장치에서 수행되는 부호화 방법을 설명하기 위한 흐름도이다.
단계 720에서는 입력되는 컬러 영상, 예를 들어 RGB 영상을 구성하는 소정의 크기의 블록 단위로, 복수 개의 색 성분 영상 각각에 대해 컬러 포맷을 변환하기 위한 컬러 변환 함수를 생성한다. 여기에서, 컬러 변환 함수는 소정 크기의 현재 블록 주변부의 영상 특성, 예를 들어 도 2(a)(b)(c)의 블록 주변부의 색 성분별 화소값을 이용하여 생성된다.
단계 740에서는, 단계 720에서 생성된 컬러 변환 함수를 이용하여, 소정 크기 블록의 복수 개의 색 성분 영상 각각에 대해 컬러 변환을 수행한다.
단계 760에서는, 단계 740에서의 컬러 변환된 영상을, 포맷 변환한다. 본 실시예에서, 포맷 변환은 4:4:4 포맷의 4:2:0 포맷으로의 변환, 4:4:4 포맷의 4:2:2 포맷으로의 변환, 4:2:0 포맷의 4:4:4 포맷으로의 변환, 또는 4:2:2 포맷의 4:4:4 포맷으로의 변환 중 하나이다. 선택적으로, 다른 포맷 비율에 따른 변환일 수 있다.
단계 780에서는 포맷 변환된 영상을, 소정 크기의 블록 단위로 소정의 부호화를 수행한다. 소정의 부호화는, 예를 들어 H.264 또는 MPEG AVC에 따른 부호화 방식일 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 블록 기반 적응적 컬러 변환 방법이 적용된 부호화 장치를 도시하는 도면이다.
본 실시예에 따른 부호화 장치는 컬러 변환 함수 선택 및 변환부(810), 컬러 변환 함수 저장부(도시되지 않음), 및 제1 부호화부(820)를 포함한다.
컬러 변환 함수 선택 및 변환부(810)는 컬러 영상을 구성하는 소정 크기의 블록 단위, 예를 들어 16X16 크기의 블록 단위로 컬러 변환 함수 저장부에 저장된 컬러 포맷을 변환하기 위한 복수개의 컬러 변환 함수들 중 하나를 선택하고, 선택된 컬러 변환 함수를 이용하여 소정 크기의 블록 단위로 컬러 변환을 수행한다.
여기에서, 컬러 변환 함수의 선택은 소정 크기의 블록 단위로 복수개의 컬러 변환을 수행한 후, 부호화를 수행하여, 비트량이 가장 작은 것을 선택함으로써 이루어질 수 있다. 또한, 컬러 변환 함수의 선택은, 현재 블록 주변부의 영상 특성을 고려하여, 저장된 복수개의 컬러 변환 함수들 중 하나를 선택하여 이루어질 수 있다. 여기에서, 컬러 변환 함수들은 YCbCr, YFbFr, YCoCg를 중 하나일 수 있다. 하지만, 이들 외의 새로운 컬러 변환 함수들도 이용될 수 있다. 또한, 선택된 컬러 변환 함수를 나타내는 인덱스 정보는 컬러 변환된 영상과 함께 제1 부호화부(820)로 전송된다.
제 1 부호화부(820)는 컬러 변환된 영상에 대해 소정의 부호화를 수행한다. 또한, 선택된 컬러 변환 함수를 나타내는 인덱스 정보 및 부호화된 컬러 변환된 영상을 포함하는 부호화된 비트 스트림을 생성하여 전송한다.
또한, 선택적으로 도 8의 부호화 장치는 도 6의 포맷 변환부(620)의 기능을 수행하는 포맷 변환부(도시되지 않음)를 더 포함할 수 있다.
도 9는 도 8에 도시된 부호화 장치에서 수행되는 부호화 방법을 설명하기 위한 흐름도이다.
단계 920에서는, 컬러 영상, 예를 들어 RGB 영상을 구성하는 소정 크기의 블록 단위로, 컬러 포맷을 변환하기 위한 복수개의 컬러 변환 함수들 중 하나를 선택한다. 여기에서, 컬러 변환 함수의 선택은, 소정의 크기의 블록 단위로, 복수개의 컬러 변환을 수행한 후, 부호화를 수행하여, 비트량이 가장 작은 것을 선택함으로써 이루어질 수 있다. 또한, 컬러 변환 함수의 선택은, 소정의 크기의 현재 블록 주변부의 영상의 특성, 예를 들어, 현재 블록 주변부의 색 성분별 화소 값의 평균값에 기초하여 선택될 수 있다. 이때, 선택된 컬러 변환 함수를 나타내는 인덱스 정보는 부호화된 비트스트림에 삽입되어 전송될 수 있다. 또한, 복수개의 컬러 변환 함수는 예를 들어 YCbCr, YFbFr,및 YCoCg 변환 함수를 이용할 수 있다.
단계 940에서는, 단계920에서 선택된 컬러 변환 함수를 이용하여, 소정 크기 블록의 복수 개의 색 성분 영상 각각에 대해 컬러 변환을 수행한다.
단계 960에서는 컬러 변환이 수행된 영상에 대해 소정의 부호화를 수행한다.
또한, 단계 940에서의 컬러 변환 후, 포맷을 변환하는 단계를 더 포함할 수 있다. 여기에서, 상기 포맷 변환은 예를 들어 4:4:4 포맷의 4:2:0 포맷으로의 변환, 4:4:4 포맷의 4:2:2 포맷으로의 변환, 4:2:0 포맷의 4:4:4 포맷으로의 변환, 또는 4:2:2 포맷의 4:4:4 포맷으로의 변환이다.
도 10은 본 발명의 일 실시예에 따른 복호화 장치를 도시하는 블록도이다.
본 발명에 따른 복호화 장치는 제1 복호화부(1010) 및 역 BACT부(1020)를 포함한다.
제1 복호화부(1010)는 소정 크기의 블록 단위로, 소정의 컬러 변환 및 소정의 부호화가 수행된 컬러 영상를 수신하고, 수신된 컬러 영상에 대해, 소정의 부호화에 대응하는 복호화를 수행하고, 이를 역 BACT부(1020)로 출력한다. 여기에서, 제1 복호화부(1010)는 H.264 또는 MPEG AVC 표준에 따른 복호화 방식을 채용한 복호화기일 수 있다.
역 BACT부(1020)는 소정의 크기의 블록 단위로, 복수개의 색 성분 각각에 대 해 컬러 포맷을 변환하기 위한 역 컬러 변환 함수를 생성하고, 생성된 역 컬러 변환 함수를 이용하여, 색 성분 각각에 대해 역 컬러 변환을 수행한다. 본 실시예에서는, 역 컬러 변환 함수는 현재 블록 주변부의 영상 특성을 이용하여 생성되며, 수학식 6, 7, 및 8을 이용하여 구해질 수 있다. 즉, 컬러 영상은 RGB 영상이며, 컬러 변환 함수는 소정의 크기의 현재 블록 주변부의 색 성분별 화소값 또는 화소값의 평균값을 이용하여 생성될 수 있다.
선택적으로, 제1 복호화부에 입력된 비트스트림이, 컬러 변환 후, 소정의 포맷 변환이 수행된 경우에는, 포맷 역 변환부(도시되지 않음)에서 포맷 역변환이 수행된 후, 역 BACT부(1020)에서 역 컬러 변환이 수행된다. 포맷 역 변환부는 도 6의 포맷 역 변환부(640)의 기능과 동일한 기능을 수행하므로, 설명의 간단을 위해 상세한 설명은 생략한다.
또한, 선택적으로, 제1 복호화부(1010)에 입력되는 비트스트림에, 소정의 크기의 블록 단위로 적용된 컬러 변환을 특정하는 인덱스 정보가 삽입되어 있는 경우, 역 BACT부(1020)는 삽입된 인덱스 정보에 기초하여, 역 컬러 변환 함수 저장부(도시되지 않음)에 저장된 복수개의 역 컬러 변환 함수들 중 하나를 선택하고, 선택된 역 컬러 변환 함수에 기초하여 제1 복호화가 수행된 컬러 영상에 대해 역 컬러 변환을 수행한다.
도 11은 본 발명에 따른 도 10의 제1 복호화기(1010)이 구체적으로 도시된 복호화 장치를 도시하는 도면이다.
도 11에 도시된 복호화 장치는 엔트로피 복호화부(1110), 역양자화 및 역변 환부(1120), 프레임 메모리부(1130), 인트라 예측부(1140) 및 움직임 보상부(1150)를 포함한다.
엔트로피 복호화부(1110)는 부호화된 입력 스트림을 엔트로피 복호화하여 , 영상 데이터, 움직임 벡터 등을 추출한다. 엔트로피 복호화된 영상 데이터는 역양자화 및 역변환부(1120)로 입력되고, 움직임 벡터 정보는 움직임 보상부(1150)로 입력된다.
예를 들어, 영상 데이터는 역변환 및 역양자화부(1120)에서 역변환 및 역양자화가 수행되고, 예측자, 예를 들어 움직임 보상부(1150)에서의 움직임 보상된 예측 영역 값과 가산되어 복원된 영상을 역 BACT부(1160)로 출력한다.
BACT(1170)는 역 BACT(1160)에서 사용되는 역 컬러 변환 함수에 대응하는 컬러 변환 함수를 이용하여, 입력되는 데이터를 소정의 컬러 포맷으로 변환하고, 소정의 컬러 포맷으로 변환된 데이터를 인트라 예측부(1140) 또는 움직임 보상부(1150)로 출력한다.
도 12는 도 10의 복호화 장치에서 수행되는 복호화 방법을 설명하기 위한 흐름도이다.
단계 1220에서는 소정 크기의 블록 단위로, 소정의 컬러 변환 및 소정의 부호화가 수행된 컬러 영상을 수신한다.
단계 1240에서는 수신된 컬러 영상에 대해, 소정의 부호화에 대응하는 소정의 복호화를 수행한다.
단계 1260에서는 복호화된 컬러 영상에 대해, 소정의 크기의 블록 단위로, 복수 개의 색 성분 영상 각각에 대해 컬러 포맷 변환을 위한 역 컬러 변환 함수를 생성한다. 여기에서, 컬러 변환 함수는 소정의 크기의 현재 블록 주변부의 영상 특성, 예를 들어 도 2에서와 같이 현재 블록 주변부의 색 성분별 화소값을 이용하여 생성된다.
단계 1280에서는, 생성된 역 컬러 변환 함수를 이용하여, 소정 크기 블록의 복수 개의 색 성분 영상 각각에 대해 역 컬러 변환을 수행한다.
또한, 선택적으로 수신된 컬러 영상이, 4:4:4 포맷의 4:2:0 포맷으로의 변환, 4:4:4 포맷의 4:2:2 포맷으로의 변환, 4:2:0 포맷의 4:4:4 포맷으로의 변환, 또는 4:2:2 포맷의 4:4:4 포맷 중 하나로 포맷된 영상인 경우, 역 컬러 변환을 수행하기 전에, 해당 포맷 변환에 대응하는 역 포맷 변환을 수행하는 단계를 더 포함한다.
도 13은 도 10의 복호화 장치에서 수행되는 복호화 방법을 설명하기 위한 흐름도이다.
단계 1320에서는, 소정 크기의 블록 단위로, 소정의 컬러 변환 및 소정의 부호화가 수행된 컬러 영상 및 상기 소정의 크기의 블록 단위로 적용된 컬러 변환을 특정하는 인덱스 정보를 포함하는 컬러 영상 스트림을 수신한다.
단계 1340에서는 수신된 컬러 변환 및 부호화가 수행된 컬러 영상 스트림에 대해, 소정 크기의 블록 단위로 소정의 부호화에 대응하는 소정의 복호화를 수행한다.
단계 1360에서는, 복호화된 입력 컬러 영상에 대해, 소정의 크기의 블록 단 위로, 복수 개의 색 성분 영상 각각에 대해, 수신된 인덱스 정보에 기초하여 컬러 포맷 변환을 위한 복수개의 역 컬러 변환 함수들 중 하나를 선택한다. 여기에서, 복수개의 컬러 변환 함수로서 YCbCr, YFbFr,및 YCoCg 변환 함수 등을 이용할 수 있다.
단계 1380에서는 선택된 역 컬러 변환 함수를 이용하여, 소정의 복호화가 수행된 입력 컬러 영상에 소정 크기 블록의 복수 개의 색 성분 영상 각각에 대해 역 컬러 변환을 수행한다.
또한, 수신된 입력 컬러 영상이 4:4 포맷의 4:2:0 포맷으로의 변환, 4:4:4 포맷의 4:2:2 포맷으로의 변환, 4:2:0 포맷의 4:4:4 포맷으로의 변환, 또는 4:2:2 포맷의 4:4:4 포맷 중 하나로 포맷된 영상인 경우, 소정의 복호화후, 역 컬러 변환을 수행하기 전에, 해당 포맷 변환에 대응하는 역 포맷 변환을 수행하는 단계를 더 포함할 수 있다.
본 실시예에서는 소정의 블록 단위로 컬러 변환을 수행하여 영상을 부호화하거나 복원하는 내용을 언급하였지만, 본 발명은 슬라이스(slice) 단위 또는 픽쳐(picture) 단위로 적절한 컬러 변환을 수행하고, 해당 슬라이스 내 또는 해당 픽쳐 내에 있는 영상 정보들을 소정의 블록 단위로 부호화하거나 복호화하는 것도 가능하다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
전술한 본 발명에 따르면, 소정 크기의 블록 단위로 적응적인 컬러 변환을 수행하여, 영상의 지협적인 특성을 고려한 컬러 변환 및 부호화가 수행되도록 함으로써, 부호화 효율을 높일 수 있다.

Claims (23)

  1. 컬러 영상의 부호화 방법에 있어서,
    상기 컬러 영상을 구성하는 소정의 크기의 블록 단위로, 컬러 포맷을 변환하기 위한 컬러 변환 함수를 생성하는 단계와;
    상기 생성된 컬러 변환 함수를 이용하여, 상기 소정 크기 블록 단위로 컬러 변환을 수행하는 단계와;
    상기 컬러 변환이 수행된 영상에 대해 상기 소정 크기 블록 단위로 소정의 부호화를 수행하는 단계를 포함하고,
    상기 컬러 변환 함수는 상기 소정의 크기의 블록 주변부의 영상 특성을 이용하여 생성되는 것을 특징으로 하는 부호화 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 컬러 영상은 RGB 영상이며,
    상기 컬러 변환 함수는 상기 소정의 크기의 블록 주변부의 색 성분별 화소 값을 이용하여 생성되는 것을 특징으로 하는 부호화 방법.
  4. 제1항에 있어서, 상기 컬러 변환 후, 포맷(format) 변환하는 단계를 더 포함 하며, 상기 포맷 변환은 4:4:4 포맷의 4:2:0 포맷으로의 변환, 4:4:4 포맷의 4:2:2 포맷으로의 변환, 4:2:0 포맷의 4:4:4 포맷으로의 변환, 또는 4:2:2 포맷의 4:4:4 포맷으로의 변환 중 하나인 것을 특징으로 하는 부호화 방법.
  5. 컬러 영상의 부호화 방법에 있어서,
    상기 컬러 영상을 구성하는 소정 크기의 블록 단위로, 컬러 포맷을 변환하기 위한 복수개의 컬러 변환 함수들 중 하나를 선택하는 단계와;
    상기 선택된 컬러 변환 함수를 이용하여, 상기 소정 크기의 블록 단위로 컬러 변환을 수행하는 단계와;
    상기 컬러 변환이 수행된 영상에 대해 상기 소정 크기의 블록 단위로 소정의 부호화를 수행하는 단계를 더 포함하고,
    상기 복수개의 컬러 변환 함수들은 상기 소정의 크기의 블록 주변부의 영상 특성을 이용하여 생성되는 것을 특징으로 하는 부호화 방법.
  6. 제5항에 있어서,
    상기 컬러 변환 함수의 선택은, 소정의 크기의 블록 단위로, 복수개의 컬러 변환을 수행한 후, 부호화를 수행하여, 비트량이 가장 작은 것을 선택함으로써 이루어지는 것을 특징으로 하는 부호화 방법.
  7. 제5항에 있어서,
    상기 선택된 컬러 변환 함수를 나타내는 모드 정보는 부호화된 비트스트림에 삽입되어 전송되는 것을 특징으로 하는 부호화 방법.
  8. 제5항에 있어서,
    상기 복수개의 컬러 변환 함수는 YCbCr, YFbFr,및 YCoCg 변환 함수 중 하나 인 것을 특징으로 하는 부호화 방법.
  9. 컬러 영상 복호화 방법에 있어서,
    소정 크기의 블록 단위로 소정의 컬러 변환 및 소정의 부호화가 수행된 컬러 영상을 수신하는 단계와;
    상기 수신된 컬러 영상에 대해, 소정의 부호화에 대응하는 소정의 복호화를 수행하는 단계와;
    상기 복호화된 컬러 영상에 대해, 상기 소정의 크기의 블록 단위로 컬러 포맷을 변환하기 위한 역 컬러 변환 함수를 생성하는 단계와;
    상기 생성된 역 컬러 변환 함수를 이용하여, 상기 소정 크기 블록 단위로 역 컬러 변환을 수행하는 단계를 포함하고,
    상기 역 컬러 변환 함수는 상기 소정의 크기의 블록 주변부의 영상 특성을 이용하여 생성되는 것을 특징으로 하는 복호화 방법.
  10. 삭제
  11. 컬러 영상 복호화 방법에 있어서,
    소정 크기의 블록 단위로, 소정의 컬러 변환 및 소정의 부호화가 수행된 컬러 영상 및 상기 소정의 크기의 블록 단위로 적용된 컬러 변환을 특정하는 모드 정보를 포함하는 컬러 영상 스트림을 수신하는 단계와;
    상기 수신된 컬러 변환 및 부호화가 수행된 컬러 영상 스트림에 대해, 소정 크기의 블록 단위로 상기 소정의 부호화에 대응하는 소정의 복호화를 수행하는 단계와;
    상기 복호화된 입력 컬러 영상에 대해, 소정의 크기의 블록 단위로, 상기 모드 정보에 기초하여 컬러 포맷을 변환하기 위한 복수개의 역 컬러 변환 함수들 중 하나를 선택하는 단계와;
    상기 선택된 역 컬러 변환 함수를 이용하여, 상기 복호화가 수행된 입력 컬러 영상에 대해 상기 소정 크기 블록 단위로 역 컬러 변환을 수행하는 단계를 포함하고,
    상기 복수개의 역 컬러 변환 함수들은 상기 소정의 크기의 블록 주변부의 영상 특성을 이용하여 생성되는 것을 특징으로 하는 복호화 방법.
  12. 제11항에 있어서, 상기 복수개의 컬러 변환 함수는 YCbCr, YFbFr,및 YCoCg 변환 함수 중 하나인 것을 특징으로 하는 복호화 방법.
  13. 컬러 영상의 부호화 장치에 있어서,
    상기 컬러 영상을 구성하는 소정의 크기의 블록 단위로, 컬러 포맷을 변환하기 위한 컬러 변환 함수를 생성하는 컬러 변환 함수 생성부와;
    상기 생성된 컬러 변환 함수를 이용하여, 상기 소정 크기 블록 단위로 컬러 변환을 수행하는 컬러 변환부와;
    상기 컬러 변환이 수행된 영상에 대해 상기 소정 크기의 블록 단위로 소정의 부호화를 수행하는 부호화부를 포함하고,
    상기 컬러 변환 함수는 상기 소정의 크기의 블록 주변부의 영상 특성을 이용하여 생성되는 것을 특징으로 하는 부호화 장치.
  14. 제13항에 있어서,
    상기 컬러 변환 함수 생성부는 상기 소정의 크기의 블록 주변부의 영상 특성을 이용하여 컬러 변환 함수를 생성하는 것을 특징으로 하는 부호화 장치.
  15. 컬러 영상의 부호화 장치에 있어서,
    상기 컬러 영상을 구성하는 소정 크기의 블록 단위로, 컬러 포맷을 변환하기 위한 복수개의 컬러 변환 함수들 중 하나를 선택하는 컬러 변환 함수 선택부와;
    상기 선택된 컬러 변환 함수를 이용하여, 상기 소정 크기의 블록 단위로 컬러 변환을 수행하는 컬러 변환부와;
    상기 컬러 변환이 수행된 영상에 대해 상기 소정 크기의 블록 단위로 소정의 부호화를 수행하는 부호화부를 포함하고,
    상기 복수개의 컬러 변환 함수들은 상기 소정의 크기의 블록 주변부의 영상 특성을 이용하여 생성되는 것을 특징으로 하는 부호화 장치.
  16. 제15항에 있어서,
    상기 컬러 변환 함수 선택부는 소정의 크기의 블록 단위로, 복수개의 컬러 변환을 수행한 후, 부호화를 수행하여, 비트량이 가장 작은 컬러 변환 함수를 선택하는 것을 특징으로 하는 부호화 장치.
  17. 제15항에 있어서,
    상기 컬러 변환 함수 선택부는 상기 소정의 크기의 현재 블록 주변부의 영상의 특성에 기초하여 복수개의 컬러 변환 함수들 중 하나를 선택하는 것을 특징으로 하는 부호화 장치.
  18. 제15항에 있어서,
    상기 선택된 컬러 변환 함수를 나타내는 인덱스 정보는 부호화된 비트스트림에 삽입되어 전송되는 것을 특징으로 하는 부호화 장치.
  19. 컬러 영상 복호화 장치에 있어서,
    소정 크기의 블록 단위로, 소정의 컬러 변환 및 소정의 부호화가 수행된 컬러 영상을 수신하고, 상기 수신된 컬러 영상에 대해, 소정의 부호화에 대응하는 소정의 복호화를 수행하는 제1 복호화부와;
    상기 복호화된 컬러 영상에 대해, 소정의 크기의 블록 단위로, 컬러 포맷을 변환하기 위한 역 컬러 변환 함수를 생성하고, 상기 생성된 역 컬러 변환 함수를 이용하여, 상기 소정 크기의 블록 단위로 역 컬러 변환을 수행하는 역 컬러 변환부를 포함하고,
    상기 역 컬러 변환 함수는 상기 소정의 크기의 블록 주변부의 영상 특성을 이용하여 생성되는 것을 특징으로 하는 복호화 장치.
  20. 제19항에 있어서,
    상기 컬러 변환부는 상기 소정의 크기의 블록 주변부의 영상 특성을 이용하여 역 컬러 변환 함수를 생성하는 것을 특징으로 하는 복호화 장치.
  21. 컬러 영상 복호화 장치에 있어서,
    소정 크기의 블록 단위로, 소정의 컬러 변환 및 소정의 부호화가 수행된 컬러 영상 및 상기 소정의 크기의 블록 단위로 적용된 컬러 변환을 특정하는 모드 정보를 포함하는 컬러 영상 스트림을 수신하고, 상기 수신된 컬러 변환 및 부호화가 수행된 컬러 영상 스트림에 대해, 소정 크기의 블록 단위로 상기 소정의 부호화에 대응하는 소정의 복호화를 수행하는 제1 복호화부와;
    상기 복호화된 입력 컬러 영상에 대해, 소정의 크기의 블록 단위로, 상기 모드 정보에 기초하여, 컬러 포맷을 변환하기 위한 복수개의 역 컬러 변환 함수들 중 하나를 선택하고, 상기 선택된 역 컬러 변환 함수를 이용하여, 상기 제1 복호화가 수행된 입력 컬러 영상에 상기 소정 크기의 블록 단위로 역 컬러 변환을 수행하는 역 컬러 변환부를 포함하고,
    상기 복수개의 역 컬러 변환 함수들은 상기 소정의 크기의 블록 주변부의 영상 특성을 이용하여 생성되는 것을 특징으로 하는 복호화 장치.
  22. 제1항, 제3항 내지 제8항 중 어느 한 항에 따른 부호화 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
  23. 제9항, 제11항 내지 제12항 중 어느 한 항에 따른 복호화 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
KR1020060072950A 2006-08-02 2006-08-02 영상의 부호화 방법 및 장치, 복호화 방법 및 장치 KR101348365B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020060072950A KR101348365B1 (ko) 2006-08-02 2006-08-02 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
US11/783,169 US20080031518A1 (en) 2006-08-02 2007-04-06 Method and apparatus for encoding/decoding color image
PCT/KR2007/002909 WO2008016219A1 (en) 2006-08-02 2007-06-18 Method and apparatus for encoding/decoding color image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060072950A KR101348365B1 (ko) 2006-08-02 2006-08-02 영상의 부호화 방법 및 장치, 복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080012026A KR20080012026A (ko) 2008-02-11
KR101348365B1 true KR101348365B1 (ko) 2014-01-10

Family

ID=38997374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060072950A KR101348365B1 (ko) 2006-08-02 2006-08-02 영상의 부호화 방법 및 장치, 복호화 방법 및 장치

Country Status (3)

Country Link
US (1) US20080031518A1 (ko)
KR (1) KR101348365B1 (ko)
WO (1) WO2008016219A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2294827A4 (en) * 2008-06-12 2017-04-19 Thomson Licensing Methods and apparatus for video coding and decoding with reduced bit-depth update mode and reduced chroma sampling update mode
KR101359490B1 (ko) * 2008-12-23 2014-02-10 에스케이 텔레콤주식회사 컬러 영상 부호화/복호화 방법 및 장치
KR101312647B1 (ko) * 2009-03-04 2013-09-27 서울대학교산학협력단 부호화 모드 결정 장치, 영상 부호화 방법 및 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록매체
JP5291133B2 (ja) 2011-03-09 2013-09-18 日本電信電話株式会社 画像処理方法，画像処理装置，映像符号化／復号方法，映像符号化／復号装置およびそれらのプログラム
JP5291134B2 (ja) 2011-03-09 2013-09-18 日本電信電話株式会社 映像符号化／復号方法，映像符号化／復号装置およびそのプログラム
US8934726B2 (en) 2011-12-19 2015-01-13 Dolby Laboratories Licensing Corporation Video codecs with integrated gamut management
KR20130098122A (ko) * 2012-02-27 2013-09-04 세종대학교산학협력단 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법
JP6265625B2 (ja) * 2013-05-13 2018-01-24 キヤノン株式会社 画像処理装置及び画像処理方法
US10356428B2 (en) 2015-04-13 2019-07-16 Qualcomm Incorporated Quantization parameter (QP) update classification for display stream compression (DSC)
US10244255B2 (en) 2015-04-13 2019-03-26 Qualcomm Incorporated Rate-constrained fallback mode for display stream compression
US10284849B2 (en) * 2015-04-13 2019-05-07 Qualcomm Incorporated Quantization parameter (QP) calculation for display stream compression (DSC) based on complexity measure
CA3132394A1 (en) * 2019-03-12 2020-09-17 Tencent America LLC Method and apparatus for color transform in vvc
CN114009024B (zh) * 2019-06-21 2024-04-02 北京字节跳动网络技术有限公司 视频编解码中自适应环内颜色空间变换的选择性启用
CN115152219A (zh) 2019-11-07 2022-10-04 抖音视界有限公司 视频编解码的自适应环内颜色空间变换的量化特性
WO2021121419A1 (en) 2019-12-19 2021-06-24 Beijing Bytedance Network Technology Co., Ltd. Interaction between adaptive color transform and quantization parameters
CN115211123A (zh) 2020-01-05 2022-10-18 抖音视界有限公司 视频编解码的通用约束信息
CN115176470A (zh) 2020-01-18 2022-10-11 抖音视界有限公司 图像/视频编解码中的自适应颜色变换

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050009216A (ko) * 2003-07-16 2005-01-24 삼성전자주식회사 컬러 평면 간 예측을 이용한 무손실 영상 부호화/복호화방법 및 장치
EP1538844A2 (en) * 2003-11-26 2005-06-08 Samsung Electronics Co., Ltd. Color image residue transformation and encoding method
WO2006009400A1 (en) 2004-07-22 2006-01-26 Samsung Electronics Co., Ltd. Method and apparatus to transform/inverse transform and quantize/dequantize color image, and method and apparatus to encode/decode color image using it

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4868883A (en) * 1985-12-30 1989-09-19 Exxon Production Research Company Analysis of thin section images
US4774574A (en) * 1987-06-02 1988-09-27 Eastman Kodak Company Adaptive block transform image coding method and apparatus
JP3284829B2 (ja) * 1995-06-15 2002-05-20 ミノルタ株式会社 画像処理装置
US6618442B1 (en) * 1998-12-29 2003-09-09 Intel Corporation Method and apparatus for transcoding digital video signals
EP1538826A3 (en) * 2003-12-05 2007-03-07 Samsung Electronics Co., Ltd. Color transformation method and apparatus
JP4191592B2 (ja) * 2003-12-26 2008-12-03 株式会社メガチップス 圧縮符号化装置、圧縮符号化方法およびプログラム
US20050259730A1 (en) * 2004-05-18 2005-11-24 Sharp Laboratories Of America, Inc. Video coding with residual color conversion using reversible YCoCg
US7792370B2 (en) * 2005-03-18 2010-09-07 Sharp Laboratories Of America, Inc. Residual color transform for 4:2:0 RGB format
US20060210156A1 (en) * 2005-03-18 2006-09-21 Sharp Laboratories Of America, Inc. Video compression for raw rgb format using residual color transform
MX2007012705A (es) * 2005-04-13 2008-03-14 Thomson Licensing Codificacion de luma y croma con el uso de un pronosticador comun.
EP1742458A1 (en) * 2005-06-13 2007-01-10 Thomson Licensing Apparatus and method for image processing of digital image pixels
JP5039966B2 (ja) * 2005-07-05 2012-10-03 国立大学法人東京工業大学 画素混合方法
US7747096B2 (en) * 2005-07-15 2010-06-29 Samsung Electronics Co., Ltd. Method, medium, and system encoding/decoding image data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050009216A (ko) * 2003-07-16 2005-01-24 삼성전자주식회사 컬러 평면 간 예측을 이용한 무손실 영상 부호화/복호화방법 및 장치
EP1538844A2 (en) * 2003-11-26 2005-06-08 Samsung Electronics Co., Ltd. Color image residue transformation and encoding method
WO2006009400A1 (en) 2004-07-22 2006-01-26 Samsung Electronics Co., Ltd. Method and apparatus to transform/inverse transform and quantize/dequantize color image, and method and apparatus to encode/decode color image using it

Also Published As

Publication number Publication date
WO2008016219A1 (en) 2008-02-07
US20080031518A1 (en) 2008-02-07
KR20080012026A (ko) 2008-02-11

Similar Documents

Publication Publication Date Title
KR101348365B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR101261526B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR101256548B1 (ko) 영상 부호화 및 복호화 장치 및 그 방법
KR101311403B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR101362757B1 (ko) 인터 컬러 보상을 이용한 영상의 부호화 방법 및 장치,복호화 방법 및 장치
KR101311402B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR101088375B1 (ko) 가변 블록 변환 장치 및 방법 및 이를 이용한 영상부호화/복호화 장치 및 방법
KR101266168B1 (ko) 영상의 부호화, 복호화 방법 및 장치
JP5128443B2 (ja) 映像の符号化、復号化の方法及びその装置
JP4617644B2 (ja) 符号化装置及び方法
US8526488B2 (en) Video sequence encoding system and algorithms
KR101354151B1 (ko) 영상 변환 방법 및 장치, 역변환 방법 및 장치
KR20090097688A (ko) 영상의 인트라 예측 부호화/복호화 방법 및 장치
KR20070096737A (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
US20120275716A1 (en) Method and apparatus for encoding and decoding image
US20080175494A1 (en) Methods and Systems for Inter-Layer Image Prediction
KR101244309B1 (ko) 영상 데이터 부호화/복호화 방법 및 장치
US20140334724A1 (en) Method and Apparatus for Residue Transform
KR100647297B1 (ko) 컬러영상의 레지듀변환/역변환 방법 및 장치, 그를 이용한컬러영상 부호화/ 복호화 방법 및 장치
KR101261525B1 (ko) 영상 부호화 및 복호화 방법과 장치
JP2010104026A (ja) 復号装置及び方法
Grajek et al. Rate-Distortion Optimized Quantization in Motion JPEG
KR20140004018A (ko) 양자화 행렬의 부호화 방법 및 복호화 방법과 이를 이용하는 장치
JP2010104028A (ja) 復号装置及び方法
JP2010104027A (ja) 符号化装置及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee