KR19980074045A - 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법 - Google Patents

가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법 Download PDF

Info

Publication number
KR19980074045A
KR19980074045A KR1019970009688A KR19970009688A KR19980074045A KR 19980074045 A KR19980074045 A KR 19980074045A KR 1019970009688 A KR1019970009688 A KR 1019970009688A KR 19970009688 A KR19970009688 A KR 19970009688A KR 19980074045 A KR19980074045 A KR 19980074045A
Authority
KR
South Korea
Prior art keywords
image
block
variable
factor
proportional
Prior art date
Application number
KR1019970009688A
Other languages
English (en)
Other versions
KR100231924B1 (ko
Inventor
조성현
정대권
이종호
곽노윤
Original Assignee
윤종용
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자 주식회사 filed Critical 윤종용
Priority to KR1019970009688A priority Critical patent/KR100231924B1/ko
Publication of KR19980074045A publication Critical patent/KR19980074045A/ko
Application granted granted Critical
Publication of KR100231924B1 publication Critical patent/KR100231924B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

본 발명은 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법에 관한 것으로, 영상의 국부적인 특성을 반영하면서 직접적으로 스펙트럴 중복성을 제거할 수 있는 가변 블럭 기반 영상 부호화 방법을 제공함에 그 목적이 있다.
이와 같은 본 발명의 목적을 달성하기 위해, 웨이브렛 변환을 통한 영상 분석 과정에서 발생되는 고주파 계수를 이용하여 비용 함수를 정의하고, 이에 따라 가변 블럭 기반(variable block-based)으로 색영상간의 오차가 최소 자승 오차가 되도록 하는 스트레칭 정보(stretching information)인 비례 인자와 슬라이싱 정보(slicing information)인 가감 인자를 산출하여 색영상을 부호화하는 본 발명에 의한 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법에 따르면, 부호화 대상 영상의 전역적인 특성과 국부적인 특성을 적응적으로 반영하면서 동시에 스펙트럴 중복성(spectral redundancy)을 효과적으로 제거할 수 있음에 따라 고정된 블럭을 사용함에 기인하여 기준 영상과 추정 대상 영상간의 닮음성(similarity) 정도가 적은 영역에서 추정 성능이 극도로 떨어져 추정 복호 영상에 허용치 이상의 오차가 발생하여 시각적인 거부감을 야기시키던 문제를 용이하게 해결할 수 있다.

Description

가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법.
본 발명은 가변 블럭 기반 영상 부호화 방법에 관한 것으로, 더욱 상세하게는 웨이브렛 변환(wavelet transform)을 통한 영상 분석 과정에서 발생되는 고주파 계수를 이용하여 비용 함수를 정의하고, 이에 따라 가변 블럭 기반(variable block-based)으로 색영상간에서 스트레칭 정보(stretching information)인 비례 인자(scale factor)와 슬라이싱 정보(slicing information)인 가감 인자(offset factor)를 산출하여 색영상을 부호화함에 따라 부호화 대상 영상의 국부적인 특성을 영상 부호화에 적응적으로 반영할 수 있는 가변 블럭 기반 색도 상관성을 이용한 칼라 영상 부호화 방법에 관한 것이다.
1990년대에 들어오면서 멀티미디어에 대한 관심이 급격히 증대되기 시작했다. 이는 기존의 컴퓨터 산업과 통신 산업, 그리고 방송과 영화 산업들간의 경계가 허물어지고, 종래의 각 분야의 특징으로 인식되었던 요소들이 다른 분야들로 확대·통합되는 현상의 결과라 할 수 있다.
즉, 비디오, 음성, 통신 등을 지원하는 멀티미디어 컴퓨터가 개인용 컴퓨터 시장을 주도하고 있고, 주문형 비디오(VOD; Video On Demand)와 같은 상호 작용성(interactivity)이 높은 비디오의 서비스가 통신 산업과 영화 산업의 주요한 관심사가 되고 있다.
이러한 멀티미디어에 대한 관심의 증대는 낮은 전송 속도에서도 좋은 화질을 얻을 수 있는 가변 블럭 기반 영상 부호화 방법에 대한 관심과 필요성을 급속도로 증대시키고 있다. 이에 따라, 국제 표준화 그룹인 MPEG(Moving Picture Experts Group) 위원회에서는 MPEG-1(Moving Picture Experts Group-1), MPEG-2(Moving Picture Experts Group-2)에 이어 8kbps에서 약 64kbps까지의 전송율로 비디오와 오디오를 전송하기 위한 MPEG-4(Moving Picture Experts Group-4)의 표준화 작업을 진행 중이다.
MPEG-4는 주문형 비디오, 차세대 이동 통신, 화상 전화 등의 멀티미디어 분야에 적용하기에 용이하도록 정의된 디지털 비디오와 오디오의 통신(communication), 접근(access), 그리고 조작(manipulation)에 관한 표준으로, 현재 이에 대한 표준화가 많은 진전을 보고 있는 중인데, 종래의 H.261이나 MPEG-1, MPEG-2 등에서 이용되었던 단순한 블럭 중심의 부호화가 아닌 영상의 내용을 고려하는(content-based) 부호화 방식이 채택될 가능성이 높다.
종래의 MPEG-1, MPEG-2의 경우에는 영상의 수학적 통계 특성을 이용한 블럭(block) 또는 매크로 블럭(macro block) 단위의 이산 여현 변환(DCT; Discrete Cosine Transform) 부호화와 움직임 추정/보상(Motion Estimation/Compensation)을 이용하여 40:1 정도의 압축율을 얻을 수 있고, 영상 전화 등의 한정된 응용을 고려하여 약간의 화질 저하를 감수하는 H.261의 경우는 최대로 240:1 정도의 압축율을 얻는 것이 가능하지만, MPEG-4는 8kbps에서 약 64kbps까지의 전송율에서 종래의 H.261과 유사한 화질을 얻고자 하기 때문에 추가적인 압축을 필요로 하게 된다.
그러나, 종래의 영상 표준 기법들을 최대한 최적화한다 하더라도 2:1 정도의 추가 압축 이상은 불가능할 것으로 판단되고 있는 바, MPEG-4는 이와 같은 문제를 극복하면서 동시에 화질 평가의 주체인 인간 시각에 적합한 영상을 재구성하기 위해, 인간 시각 시스템(HVS; Human Visual System)을 적극적으로 활용할 수 있는 영상 부호화, 즉, 객체 기반 부호화(object-based coding), 분할 기반 부호화(segmentation-based coding), 모델 기반 부호화(model-based coding), 프랙탈 부호화(fractal coding) 등과 같은 제 2 세대 부호화 기법들을 핵심 부호화 기법으로 채택할 가능성이 높다.
현재로서는 제 2 세대 부호화 기법들과 더불어 벡터 양자화(vector quantization), 서브밴드 부호화(subband coding), 움직임 보상 이산 여현 변환 (MC-DCT; Motion Compensated Discrete Cosine Transform) 부호화 등의 제 1 세대 부호화 기법들도 복합적으로 연구되고 있다.
상기와 같은 영상 부호화에 대한 현추세에 비추어 볼 때, 색영상 부호화를 수행함에 있어서도 최근의 요구에 부응하기 위해서는 추가적인 압축이 이루어져야 함이 명백하다.
이하, 이와 같은 기술적인 추이를 반영하는 본 발명에 대한 이해를 돕고자 표색계에 대한 설명을 간략하게 기술하기로 한다.
임의의 색은 삼원색의 혼합에 의해 등색 조건을 만족하는 삼원색의 양을 수량적으로 정의할 수 있는 데, 이것을 표색(color specification)이라 한다.
1931년에 국제 조명 위원회(CIE; Commission International de l'Eclairage)는 파장이 440∼545nm인 범위에서 적색(R)의 값이 부(-)값을 갖는 RGB 표색계의 불편함을 개선하고자 파장이 각각 700nm(적), 546.1nm(녹), 435.8nm(청)의 스펙트럼 색을 삼원색으로 하는 XYZ 표색계를 정의하였다.
즉, CIE의 XYZ 표색계는 새로운 원색 X, Y, Z를 선택, 부량을 제거하고 새로운 삼원색이 만든 삼각형이 스펙트럼 색 궤적을 모두 내측에 포함하도록 삼원색을 선정하는 데, 이와 같은 삼원색은 비현실적인 가상 원색이다.
XYZ 표색계의 각 원색은 가상적인 것이므로 다음과 같은 조건이 만족되도록 선정한다.
모든 색을 원색의 정량 혼합에 의해 등색화할 수 있을 것, 즉, X, Y, Z 원색에 의한 삼각형이 스펙트럼을 에워쌀 것이며, 휘도가 영(zero)인 RGB 공간의 평면상에 위치하도록 X, Z 원색을 선정할 것, 즉, Y 원색만이 휘도에 관한 자격값(stimulus)을 갖는 반면, X, Z 원색은 색상과 채도만을 갖는다는 것이다.
이때, 표색계 변환식은 수학식 1과 같으며,
[수학식 1]
여기서,은 RGB 신호로 휘도 신호(Y)로 합성할 시에 이용되는 가장 대표적인 변환 관계식이 되고 있다.
이하, 종래 기술에 따른 가변 블럭 기반 영상 부호화 방법에 대하여 기존의 영상 표준들을 중심으로 하여 간략하게 설명하면 다음과 같다.
잘 알려진 바와 같이, 인간의 시감 특성상, 색도 신호는 휘도 신호(luminance; Y)에 비해 시각적으로 둔감하며, 동일 영상의 색영상간에는 높은 색도 상관성(color intensity correlation)이 존재한다는 사실은 당분야의 연구자에게는 통상의 지식이다.
이와 같은 사실을 색영상 부호화에 반영시키기 위해 MPEG-1, MPEG-2, JPEG(Joint Picture Experts Group), FCC/HDTV(Federal Communication Committee/High Definition Television), H.261, H.263 등으로 대표되는 기존의 영상 부호화 표준들에서는 휘도 신호(Y)와 색차 신호(chrominance; Cb, Cr)를 이용하여 색영상을 부호화하고 있는 데, 상기한 영상 표준들에 있어서, 휘도 신호(Y)와 색차 신호(chrominance; Cb, Cr)간의 관계는
[수학식 2]
수학식 2와 같다.
여기서, R,G,B는 각각 적색 영상(R), 녹색 영상(G), 청색 영상(B)의 화소값이며, Y는 상기한 R,G,B 신호에 의해 합성되는 휘도 영상(Y)의 화소값이고,은 각각 청색 영상(B)과 휘도 영상(Y)간의 색차 신호이고,은 적색 영상(R)과 휘도 영상(Y)간의 색차 신호를 나타내는 것이다.
일반적인 색영상에 있어서, 각 색영상간의 색도 상관성은 수학식 2의 변환 관계식을 인용하여 살펴보지 않더라도 도 1a~도 1d에서 살펴볼 수 있듯이, 육안을 통해 공간 영역에서 용이하게 인지될 수 있을 정도로 높다.
이때, 도 1a는 대표적인 시험 영상(test image)인 탁구 영상(Table Tennis Image)의 휘도 신호를 그레이 레벨(gray level)로 표현한 영상, 도 1b는 탁구 영상의 적색 신호를 그레이 레벨로 표현한 영상, 도 1c는 탁구 영상의 녹색 신호를 그레이 레벨로 표현한 영상, 도 1d는 탁구 영상의 청색 신호를 그레이 레벨로 표현한 영상이다.
이와 같은 사실을 영상 부호화에 반영하기 위해 MPEG-1, MPEG-2, JPEG, FCC/HDTV, H.261, H.263 등과 같은 종래의 영상 부호화 표준들에서는 휘도 신호(Y)와 부표본화(subsampling)된 색차 신호(chrominance; Cb, Cr)를 이산 여현 변환(DCT)을 통해 부호화함으로써 부호화 대상 영상에 내재하는 스펙트럴 중복성(spectral redundancy)을 일정 부분 제거하고 있는 데, 즉,의 비율이 4:2:0, 4:2:2, 4:4:4 등으로 대표되는 표본화 주파수비에 따라 색차 신호에 대한 저해상도적인 분석을 통해 부호화 대상이 되는 영상 데이터를 압축시키고 있다.
이에 대한 좀 더 상세한 설명은 ISO/IEC JTC1/SC29/WG11, 'Coding of Moving Pictures and Associated Audio'를 참조하기로 하며, 더 이상의 설명을 약하기로 한다.
그러나, 이와 같은 종래의 가변 블럭 기반 영상 부호화 방법은 스펙트럴 중복성을 직접적으로 제거하는 방식이라기 보다는 색차 신호에 대한 부표본화에 입각하여 저해상도적인 분석을 통해 부호화 대상이 되는 데이터를 줄이고자 하는 가변 블럭 기반 영상 부호화 방법임에 따라 부호화된 색영상에는 여전히 많은 스펙트럴 중복성이 잔존하는 문제가 있기 때문에 이를 좀 더 효과적으로 제거하여 부호화 효율을 높일 수 있는 영상 부호화의 등장이 기대되고 있었다.
이에 따라, 본 발명의 출원인은 동일 영상의 색영상간에 내재한 스펙트럴 중복성을 제거함으로써 부호화 효율을 향상시키는 가변 블럭 기반 영상 부호화 방법에 있어서, 상기 동일 영상의 휘도 영상(Y), 적색 영상(R), 녹색 영상(G), 청색 영상(B) 중 어느 한 영상을 기준 영상(reference image)으로 정하고 부호화를 통해 기준 영상 데이터를 발생한 후, 복호하여 제 1 기준 복호 영상을 만들며, 나머지 영상들 중에서 두 영상을 선택하여 두 영상 중 한 영상을 제 1 추정 대상 영상으로 설정하고 또 다른 한 영상을 제 2 추정 대상 영상으로 설정하여 상기 제 1 기준 복호 영상과 제 1 추정 대상 영상 간의 최소 자승 오차(least square error)가 최소가 되도록 하는 스트레칭 정보인 제 1 비례 인자와 슬라이싱 정보인 제 1 가감 인자를 블럭 기반으로 추정하여 부호화하며, 상기 제 1 기준 복호 영상과 제 2 추정 대상 영상 간의 최소 자승 오차가 최소가 되도록 하는 스트레칭 정보인 제 2 비례 인자와 슬라이싱 정보인 제 2 가감 인자를 블럭 기반으로 추정하여 부호화하는 색영상 추정 부호화 단계; 및
상기 기준 영상 데이터를 입력받아 복호하여 상기 기준 영상에 대응하는 제 2 기준 복호 영상을 재생하고, 상기 제 1 비례 인자 및 상기 제 1 가감 인자를 입력받아 상기 제 2 기준 복호 영상에서 제 1 추정 대상 영상과 같은 스펙트럴 대역을 갖는 제 1 추정 복호 영상을 추정해내며, 상기 제 2 비례 인자 및 상기 제 2 가감 인자를 입력받아 상기 제 2 기준 복호 영상에서 제 1 추정 대상 영상과 같은 스펙트럴 대역을 갖는 제 2 추정 복호 영상을 블럭 기반으로 추정해내는 색영상 추정 복호화 단계를 포함하는 것이 특징으로 하는 대한 민국 특허 출원 번호 97-8423 스펙트럴 중복성을 이용한 영상 부호화 방법을 선출원하였다.
그러나, 선출원한 대한 민국 특허 출원 번호 97-8423 스펙트럴 중복성을 이용한 영상 부호화 방법에서는 전술한 바와 같이, 제 1 기준 복호 영상과 추정 대상 영상 간의 오차가 최소가 되도록 하는 비례 인자와 가감 인자를 산출함에 있어서, 색도 상관성에 입각하여 스펙트럴 중복성을 일정 부분 제거함으로써 부호화 효율을 향상시키고 있으나, 크기가 고정된 블럭을 사용하여 비례 인자와 가감 인자를 추정 부호화함에 따라 적응성의 결여로 색영상간의 국부적인 색도 상관성을 효과적으로 영상 부호화에 반영하지 못하는 문제가 있었다.
즉, 일반적으로 색도 상관성은 저주파 성분을 상대적으로 많이 포함하고 있는 평탄 영역에서는 상관도가 높지만, 고주파 성분이 많은 영역 또는 윤곽 정보가 많은 영역, 즉, 고역 콘트라스트에 비례하는 정보가 많은 영역에서는 색도 상관도가 저하되는 특징이 있음에 따라 이러한 국부적인 특성을 영상 부호화에 적응적으로 반영할 수 있도록 비례 인자와 가감 인자를 추출하는 기본 단위인 블럭의 크기를 가변시킬 필요성이 있다.
영상의 국부성을 고려하지 않고 비례 인자와 가감 인자를 추정하여 부호할 경우, 즉, 고정된 블럭을 사용할 경우에는 기준 영상과 추정 대상 영상간의 닮음성(similarity) 정도가 적은 영역에서 추정 성능이 극도로 떨어져 추정 복호 영상에 허용치 이상의 오차가 발생함으로써 시각적인 거부감을 야기시키는 문제가 있다.
따라서, 본 발명은 상기와 같은 필요성을 영상 부호화에 반영하여 전술한 바와 같은 문제를 해결하여 위해 안출된 것으로, 부호화 효율을 향상시키기 위해 같은 피사체를 촬상한 동일 영상의 색영상간에 내재한 스펙트럴 중복성(spectral redundancy)을 제거하여 부호화하는 영상 부호화 방법에 있어서, 웨이브렛 변환(wavelet transform)을 통한 영상 분석 과정에서 발생되는 고주파 계수를 이용하여 비용 함수를 정의하고, 이에 따라 가변 블럭 기반(variable block-based)으로 색영상간에서 스트레칭 정보(stretching information)인 비례 인자(scale factor)와 슬라이싱 정보(slicing information)인 가감 인자(offset factor)를 산출하여 색영상을 부호화함에 따라 부호화 대상 영상의 전역적인 특성과 국부적인 특성을 적응적으로 반영하면서 동시에 스펙트럴 중복성(spectral redundancy)을 효과적으로 제거할 수 있는 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법을 제공함에 그 목적이 있다.
도 1a는 탁구 영상(Table Tennis image)의 휘도 신호를 그레이 레벨로 표현한 영상도,
도 1b는 탁구 영상(Table Tennis image)의 적색 신호를 그레이 레벨로 표현한 영상도,
도 1c는 탁구 영상(Table Tennis image)의 녹색 신호를 그레이 레벨로 표현한 영상도,
도 1d는 탁구 영상(Table Tennis image)의 청색 신호를 그레이 레벨로 표현한 영상도,
도 2는 탁구 영상의 99 번째 프레임에 대한 웨이블렛 변환한 영상,
도 3 본 발명에 따른 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법에 대한 바람직한 실시예의 순서도.
도 4는 본 발명의 검색 테이블에 따라 탁구 영상을 블럭, 부블럭, 서브 부블럭으로 쿼드트리 분할한 예시도,
도 5는 2단계로 웨이브렛 변환한 수평 방향과 수직 방향 및 대각선 방향의 주파수 성분을 다중 해상도 분석 측면에서 도시한 예시도,
도 6a 및 도 6b는 각각 탁구 영상의 62 번째 프레임 및 정원 영상(Flower Garden image)의 24 번째 프레임의 휘도 영상.
도 7a는 탁구 영상 62 번째 프레임의 적색 및 녹색 영상에 대해 평균 PSNR을 가변시킴에 따른 비트율 변화를 본 발명에 의한 방법과 DCT 방법을 상호 비교하는 그래프,
도 7b는 정원 영상 28 번째 프레임의 적색 및 녹색 영상에 대해 평균 PSNR을 가변시킴에 따른 비트율 변화를 본 발명에 의한 방법과 DCT 방법을 상호 비교하는 그래프,
도 8a는 탁구 영상의 50 번째 프레임에서부터 64 번째 프레임 까지의 적색 및 녹색 영상에 대해 평균 PSNR을 28dB로 고정한 후, 각 프레임에 대한 비트율 변화를 본 발명에 의한 방법과 DCT 방법을 상호 비교하는 그래프,
도 8b는 정원 영상의 14 번째 프레임에서부터 28 번째 프레임 까지의 적색 및 녹색 영상에 대해 평균 PSNR을 28dB로 고정한 후, 각 프레임에 대한 비트율 변화를 본 발명에 의한 방법과 DCT 방법을 상호 비교하는 그래프,
＜도면의주요부분에사용된부호의설명＞
S100 : 영상 설정 단계 S110 : 기준/추정 대상 영상 결정 단계
S120 : 웨이브렛 변환/역변환 단계 S200 : 검색 테이블 작성 단계
S210 : 비용 함수 데이터 구성 단계 S220 : 전체 임계치 산출 단계
S230 : 제 1 블럭 분할 정보 작성 단계 S240 : 제 2 블럭 분할 정보 작성 단계
S300 : 가변 블럭 추정 부호화 단계 S310 : 가변 블럭 분할 단계
S320 : 제 1 가변 블럭 추정 부호화 단계
S330 : 제 2 가변 블럭 추정 부호화 단계
S340 : 추정 부호화 완료 판단 단계
S350 : 비례/가감 인자 집합 저장/전송 단계
S400 : 가변 블럭 추정 복호화 단계 S410 : 복호 데이터 입력 단계
S420 : 복호 검색 테이블 작성 단계 S430 : 기준 영상 복호 단계
S440 : 제 1 가변 블럭 추정 복호 단계 S450 : 제 2 가변 블럭 추정 복호 단계
S460 : 제 3 색영상 산출 단계
이와 같은 본 발명의 목적을 달성하기 위해, 본 발명에 의한 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법은 동일 영상의 색영상 간에 내재한 스펙트럴 중복성(spectral redundancy)을 가변 블럭 기반으로 제거하여 부호화하는 영상 부호화 방법에 있어서, 상기 동일 영상을 구성하는 복수의 색영상 중 어느 한 영상을 기준 영상(reference image)으로 설정하여 웨이브렛 변환(wavelet transform)을 통해 웨이브렛 계수 데이터를 발생한 후, 웨이브렛 역변환(inverse wavelet transform)하여 제 1 기준 복호 영상을 생성하고, 상기 기준 영상을 제외한 나머지 영상들 중에서 적어도 하나 이상의 영상을 추정 대상 영상으로 설정하는 영상 설정 단계와, 상기 웨이브렛 계수 데이터에 포함된 고주파 계수 데이터에 절대값을 취한 후, 블럭 기반으로 합산한 결과가 소정 임계치보다 크면, 해당 블럭을 부블럭으로 분할하는 가변 블럭 정보를 검색 테이블에 블럭 기반으로 기록하는 검색 테이블 작성 단계와, 상기 검색 테이블에 기록된 가변 블럭 정보에 입각하여 상기 제 1 기준 복호 영상과 상기 추정 대상 영상 간의 오차가 최소가 되도록 하는 스트레칭 정보(stretching information)인 비례 인자(scale factor)와 슬라이싱 정보(slicing information)인 가감 인자(offset factor)를 가변 블럭 기반으로 추정하여 비례/가감 인자 집합에 레스터 스캐닝 순으로 버퍼링하는 가변 블럭 추정 부호화 단계와, 상기 웨이브렛 계수 데이터를 입력받아 상기 검색 테이블을 작성한 후, 웨이블렛 역변환하여 상기 기준 영상에 대응하는 제 2 기준 복호 영상을 복호하고, 상기 비례/가감 인자 집합을 입력받아 상기 검색 테이블의 가변 블럭 정보에 입각하여 상기 제 2 기준 복호 영상에서 상기 추정 대상 영상에 대응하는 추정 복호 영상을 가변 블럭 기반으로 추정 복호하는 가변 블럭 추정 복호화 단계를 포함하는 것을 특징이다.
여기서, 상기 영상 설정 단계는 상기 동일 영상의 휘도 영상(Y), 적색 영상(R), 녹색 영상(G), 청색 영상(B) 중 어느 한 영상을 기준 영상(reference image)으로 정하고, 나머지 영상들 중에서 두 영상을 선택하여 두 영상 중 한 영상을 제 1 추정 대상 영상으로 설정하고 또 다른 한 영상을 제 2 추정 대상 영상으로 설정하는 기준/추정 대상 영상 결정 단계와, 상기 기준 영상을 웨이브렛 변환함으로써 생성되는 저주파 계수 데이터와 고주파 계수 데이터로 구성된 계층적 구조의 웨이브렛 계수 데이터를 저장 매체에 저장한 후, 상기 웨이브렛 계수 데이터를 웨이브렛 역변환하여 제 1 기준 복호 영상을 만드는 웨이브렛 변환/역변환 단계를 수행하는 것이 바람직하다.
또한, 상기 검색 테이블 작성 단계는 웨이블렛 변환을 통한 다중 해상도 분석 과정에서 도출되는 하나 이상의 계층에서 어느 한 계층의 상기 고주파 계수 데이터에 절대값을 취한 후, 동일 발생 기원을 갖는 수직 방향, 수평 방향, 대각선 방향의 고주파 계수들을 각각 화소 단위로 합산하여 비용 함수 데이터를 구성하는 비용 함수 데이터 구성 단계와, 상기 비용 함수 데이터의 모든값은 합산하여 평균한 전체 평균치를 구한 후, 상기 전체 평균치에 비례 상수를 곱하여 전체 임계치를 산출하는 전체 임계치 산출 단계와, 상기 비용 함수 데이터를 블럭 기반으로 합산하여 평균한 블럭 평균치를 구한 후, 상기 전체 임계치 보다 상기 블럭 평균치가 크면, 해당 블럭을 두 개 이상의 부블럭으로 분할하는 블럭 가변 정보를 래스터 스캐닝 순서로 상기 검색 테이블에 기록하는 제 1 블럭 분할 정보 작성 단계와, 상기 부블럭 데이터를 각각 합산하여 평균한 부블럭 평균치를 구한 후, 상기 전체 임계치 보다 상기 부블럭 평균치가 크면, 해당 부블럭을 두 개 이상의 서브 부블럭으로 분할하는 블럭 가변 정보를 래스터 스캐닝 순서로 상기 검색 테이블에 기록하는 제 2 블럭 분할 정보 작성 단계를 수행하는 것이 바람직하다.
그리고, 상기 가변 블럭 추정 부호화 단계는 상기 검색 테이블의 블럭 가변 정보에 따라 상기 제 1 기준 복호 영상을 분할하여 복수의 제 1 기준 복호 블럭으로 구성된 제 1 기준 복호 블럭군을 생성하고, 상기 제 1 추정 대상 영상을 분할하여 복수의 제 1 추정 대상 블럭으로 구성된 제 1 추정 대상 블럭군을 생성하며, 상기 제 2 추정 대상 영상을 분할하여 복수의 제 2 추정 대상 블럭으로 구성된 제 2 추정 대상 블럭군을 생성하는 가변 블럭 분할 단계와, 상기 제 1 기준 복호 블럭군과 상기 제 1 추정 대상 블럭군에서 래스터 스캐닝 순으로 각각 상기 제 1 기준 복호 블럭과 상기 제 1 추정 대상 블럭을 선택하여 상기 제 1 기준 복호 블럭과 상기 제 1 추정 대상 블럭 간의 오차가 최소 자승 오차(least square error)가 되도록 하는 스트레칭 정보인 제 1 비례 인자와 슬라이싱 정보인 제 1 가감 인자를 가변 블럭 기반으로 추정하여 래스터 스캐닝 순서로 제 1 비례/가감 인자 집합에 버퍼링하는 제 1 가변 블럭 추정 부호화 단계와, 상기 제 1 기준 복호 블럭군과 상기 제 2 추정 대상 블럭군에서 래스터 스캐닝 순으로 각각 상기 제 1 기준 복호 블럭과 상기 제 2 추정 대상 블럭을 선택하여 상기 제 1 기준 복호 블럭과 상기 제 2 추정 대상 블럭 간의 오차가 최소 자승 오차(least square error)가 되도록 하는 스트레칭 정보인 제 2 비례 인자와 슬라이싱 정보인 제 2 가감 인자를 가변 블럭 기반으로 추정하여 래스터 스캐닝 순으로 제 2 비례/가감 인자 집합에 버퍼링하는 제 2 가변 블럭 추정 부호화 단계와, 래스터 스캐닝 순서 상에서 마지막에 위치한 최종 제 1 추정 대상 블럭에 대한 제 1 비례 인자 및 제 1 가감 인자와 최종 제 2 추정 대상 블럭에 대한 제 2 비례 인자 및 제 2 가감 인자가 추정됐는지 여부를 판단하여 판단 결과, 추정되지 않았으면, 상기 가변 블럭 분할 단계로 되돌아 감으로써 제 1 추정 대상 블럭군 및 상기 제 2 추정 대상 블럭군에 포함된 모든 블럭에 대한 추정 부호화를 수행하도록 하는 추정 부호화 완료 판단 단계와, 상기 추정 부호화 완료 판단 단계의 판단 결과, 상기 최종 제 1 추정 대상 블럭에 대한 제 1 비례 인자 및 제 1 가감 인자와 상기 최종 제 2 추정 대상 블럭에 대한 제 2 비례 인자 및 제 2 가감 인자가 추정됐으면, 제 1 비례/가감 인자 집합 및 제 2 비례/가감 인자 집합을 저장하거나 전송하는 비례/가감 인자 집합 저장/전송 단계로 구성되는 것이 바람직하다.
한편, 상기 가변 블럭 추정 복호화 단계는 상기 웨이브렛 계수 데이터와 제 1 비례/가감 인자 집합 및 제 2 비례/가감 인자 집합을 입력받는 복호 데이터 입력 단계와, 상기 웨이브렛 계수 데이터를 이용하여 상기 검색 테이블 작성 단계와 동일한 수순을 거쳐 상기 검색 테이블을 작성하는 복호 검색 테이블 작성 단계와, 상기 웨이브렛 계수 데이터를 웨이블렛 역변환하여 상기 기준 영상에 대응하는 제 2 기준 복호 영상을 복호하는 기준 영상 복호 단계와, 상기 제 1 비례/가감 인자 집합에서 상기 제 1 비례 인자와 상기 제 1 가감 인자를 래스터 스캐닝 순으로 판독하여 상기 검색 테이블에 따라 상기 제 2 기준 복호 영상에서 상기 제 1 추정 대상 영상과 같은 스펙트럴 대역을 갖는 제 1 추정 복호 영상을 가변 블럭 기반으로 추정 복호하는 제 1 가변 블럭 추정 복호 단계와, 상기 제 2 비례/가감 인자 집합에서 상기 제 2 비례 인자와 상기 제 2 가감 인자를 래스터 스캐닝 순으로 판독하여 상기 검색 테이블에 따라 상기 제 2 기준 복호 영상에서 상기 제 2 추정 대상 영상과 같은 스펙트럴 대역을 갖는 제 2 추정 복호 영상을 가변 블럭 기반으로 추정 복호하는 제 2 가변 블럭 추정 복호 단계와, 상기 제 2 기준 복호 영상과 상기 제 1 추정 복호 영상 및 상기 제 1 추정 복호 영상을 표색계 변환식에 대입하여 상기 동일 영상의 세 색영상 중 제 1 추정 대상 영상 및 제 2 추정 대상 영상을 제외한 나머지 한 영상과 같은 스펙트럴 대역을 갖는 영상을 계산을 통해 산출하는 제 3 색영상 산출 단계로 구성되는 것이 바람직하다.
여기서, 상기 기준 영상은 휘도 영상(Y)과 녹색 영상(G) 중에서 어느 하나로 설정하는 것이 바람직하며, 특히, 영상에 대한 대부분의 정보를 포함하며 동시에 인간의 시감 특성에 민감한 휘도 영상(Y)을 기준 영상으로 설정하는 것이 더욱 더 바람직하다.
이때, 기준 영상이 휘도 영상(Y)으로 설정될 경우, 휘도 영상(Y)과의 색도 상관도가 상대적으로 높은 녹색 영상(G)과 적색 영상(R)을 제 1 추정 대상 영상 및 제 2 추정 대상 영상으로 설정하며, 기준 영상이 녹색 영상(G)으로 설정될 경우에는 제 1 추정 대상 영상 및 제 2 추정 대상 영상을 휘도 영상(Y)과 적색 영상(R)으로 설정하거나 또는 적색 영상(R)과 청색 영상(B)으로 설정하는 것이 바람직하다.
또한, 상기 제 1 블럭 분할 정보 작성 단계 및 상기 제 2 블럭 분할 정보 작성 단계에서 블럭 분할 기법으로는 모블럭(mother block)을 4개의 자식 블럭(child block)으로 분할, 즉 블럭을 4개의 부블럭으로, 부블럭을 4개의 서브 부블럭으로 분할하는 쿼드트리 분할(quadtree partition) 기법을 이용하는 것이 바람직하다.
이하, 본 발명에 의한 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법을 첨부한 도면를 참조하여 설명하면 다음과 같다.
설명의 편의상, 본 발명에 대한 부호화 과정을 설명하기에 앞서 본 발명에서 이용되고 있는 웨이브렛 변환에 대해 개론적으로 살펴 보기로 한다.
웨이브렛 이론은 다양한 스케일(scale)과 해상도(resolution)에서 신호를 고찰, 분석하고자 하는 생각으로 수학 및 공학 분야에서 발전되어 오늘에 이른 이론이다. 통상, 정재적(stationary)인 신호의 분석은 프리에 변환(Fourier transform)을 사용하고 있지만, 프리에 변환은 전공간 영역에서 신호에 대한 적분을 수행하므로 국부적(local)인 특성을 만족시키지 못하는 단점을 가지고 있으며, 과도한 연산량에 기인하여 실시간 처리 측면에서 많은 문제점을 내재하고 있는 데, 최근 들어, 웨이브렛 변환은 이와 같은 문제점을 용이하게 극복할 수 있는 대안중의 하나가 되고 있다.
즉, 웨이브렛 변환은 시간과 주파수에 대한 국부성(locality)을 가지고 신호를 표현할 수 있는 신호 처리상의 장점을 갖고 있음에 기인하여 일반적으로 비정재적(non-stationary)인 특성을 갖는 영상 신호를 해석하는데 유리하고, 인간의 시각 특성과 유사하게 다중 해상도(multiresolution)로 신호를 표현할 수 있으며, 낮은 비트율로 부호화시 이산 여현 변환(DCT; Discrete Cosine Transform) 부호화에서와 같은 블럭킹 현상(blocking effect)과 반점 현상(mosquito effect)이 생기지 않을 뿐만 아니라 계층적인 신호 분석에 기인하여 점진적인 전송(progressive transmission)이 가능함에 기인하여 음성(speech) 및 오디오(audio)의 코덱, 영상 코덱, 기상 및 지진파 분석, 영상 인식, 컴퓨터 비젼 분야 등에서 다양한 연구가 진행 중이다.
영상은 그 특성상, 다중 해상도로 표현할 경우 해상도가 낮은 대역에 대부분의 에너지가 모이고, 해상도가 높은 대역은 작은 에너지를 가지는 반면에 시각적으로 중요한 에지에 대한 정보를 가지기 때문에 이 대역들을 효율적으로 부호화 함으로써 높은 압축율을 얻을 수 있는 데, 영상 처리 분야에 있어서, 웨이브렛 변환은 이와 같은 영상 신호의 특성을 영상 부호화에 효과적으로 반영할 수 있는 직교 변환 기법으로 널리 평가되고 있다.
또한, 웨이브렛 변환 과정에서 수반되는 영상의 다해상도 표현은 영상 정보 분석에 유용한 계층적 처리 기법을 제공하는 데, 즉, 상위 계층에서의 저해상도적인 분석으로 영상의 전역적인 특성을 파악하고, 하위 계층으로 옮겨가며 점진적으로 해상도를 증가시켜 영상 신호의 국부적인 특성을 분석하는 점진적인 분석(coarse-to-fine) 기법을 용이하게 채택할 수 있도록 해준다. 이와 같은 점진적인 신호 분석 또는 계층적인 신호 분석은 실시간 구현을 위한 고속 신호 처리에 가장 대표적으로 채택되고 있는 기법이다.
웨이브렛이란로 정의되는 모 웨이브렛(mother wavelet)을 변이시키고 확대 및 축소시킴으로써 얻어지는 함수들의 집합을 말하며, 어떤 신호의 웨이브렛 변환은
[수학식 3]
수학식 3과 같다.
이때, 매개 변수가 실수()이고, 매개 변수가 영이 아닐 때, 즉,)일 때, 연속 웨이브렛 변환이라고 하고,가
[수학식 4]
수학식 4와 같은 조건을 만족할 때, 이산 웨이브렛(discrete wavelet) 변환이라고 한다. 특히.가 2이고는 1일 때 직교 정규 기저를 만들 수 있다.
매개변수는 시간축 상에서의 변위를 나타내며, 매개 변수를 변환시켜서 웨이브렛 기저를 원하는 곳에 놓을 수 있다. 매개 변수는 크기 인자이며 웨이브렛 기저의 크기를 조정한다.가 작으면 시간축 상에서 좁은 구역에 놓이게 되며 하이젠베르그(Heisenberg)의 불확정성 원리(uncertainty principle)에 의해 주파수 축에서는 넓은 영역을 차지한다.
따라서, 모 웨이브렛를 고주파수 대역에서는 세밀한 해상도를 가지게 하고 낮은 주파수에 대해서는 상대적으로 나쁜 시간 해상도를 가지게 할 경우, 긴 저주파수 성분에서의 갑자기 나타나는 고주파수 성분이 섞인 신호의 경우에도 쉽게 처리할 수 있다. 따라서 자연 영상의 경우 화소값이 천천히 변하다가 어느 순간 물체의 에지 부분에서 급격히 바뀜을 생각하면, 웨이브렛 변환을 영상 압축에 이용함으로써 윤곽을 잘 보전하면서도 최대한 압축이 가능하게 할 수 있음을 알 수 있다.
반면에 소정의 윈도우을 갖는 프리에 변환(STFT; Short-Time Fourier Transform)의 경우, 시간-주파수 공간의 해상도가 고정되어 있기 때문에 비정재적인 신호의 처리에 적절한 적응성을 부여하지 못하고 있다. 영상 압축에 쓰이고 있는 DCT(Discrete Cosine Transform)는 일종의 프리에 변환으로 볼 수 있으며, 신호의 특성이 불분명한 예측 오차 압축에는 적절한 변환이 되지 못한다.
도 2는 탁구 영상을 웨이블렛 변환한 영상을 도시한 것이다.
웨이브렛 변환에 대한 더욱 더 상세한 설명은 웨이브렛 관련 서적(일례로, J.J.Benedtto and M.W.Frazier, Wavelets : Mathematics and Applications, CRC Press, BacRaton/AnnArbor/London/Tokyo, 1994)을 참조하기로 한다.
도 3은 본 발명에 의한 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법의 바람직한 실시예의 순서도를 도시한 것이다.
본 발명에 의한 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법의 바람직한 실시예는 도 3에 도시한 바와 같이, 동일 영상의 색영상간에 내재한 스펙트럴 중복성(spectral redundancy)을 가변 블럭 기반으로 제거하여 부호화하는 영상 부호화 방법에 있어서,
동일 영상의 적색 영상(R), 녹색 영상(G), 청색 영상(B)으로 합성한 휘도 영상(Y)을 기준 영상으로 설정하여 웨이브렛 변환(wavelet transform)을 통해 웨이브렛 계수 데이터를 발생한 후, 웨이브렛 역변환(inverse wavelet transform)하여 제 1 기준 복호 영상을 생성하고, 상기 녹색 영상(G)을 제 1 추정 대상 영상으로 설정하며 적색 영상(R)을 제 2 추정 대상 영상으로 설정하는 영상 설정 단계(S100);
상기 웨이브렛 계수 데이터에 포함된 고주파 계수 데이터에 절대값을 취한 후, 블럭 기반으로 합산한 결과가 소정 임계치보다 크면, 해당 블럭을 부블럭으로 분할하는 가변 블럭 정보를 검색 테이블에 블럭 기반으로 기록하는 검색 테이블 작성 단계(S200);
상기 검색 테이블의 가변 블럭 정보에 입각하여 상기 제 1 기준 복호 영상과 상기 제 1 추정 대상 영상 간의 오차가 최소가 되도록 하는 스트레칭 정보(stretching information)인 제 1 비례 인자(scale factor)와 슬라이싱 정보(slicing information)인 제 1 가감 인자(offset)를 가변 블럭 기반으로 추정하여 제 1 비례/가감 인자 집합에 레스터 스캐닝 순으로 버퍼링하고, 상기 제 1 기준 복호 영상과 상기 제 2 추정 대상 영상 간의 오차가 최소가 되도록 하는 스트레칭 정보(stretching information)인 제 2 비례 인자(scale factor)와 슬라이싱 정보(slicing information)인 제 2 가감 인자(offset factor)를 가변 블럭 기반으로 추정하여 제 1 비례/가감 인자 집합에 레스터 스캐닝 순으로 버퍼링하는 가변 블럭 추정 부호화 단계(S300); 및
상기 웨이브렛 계수 데이터를 입력받아 상기 검색 테이블을 작성한 후, 웨이블렛 역변환하여 상기 기준 영상에 대응하는 제 2 기준 복호 영상을 복호하고, 상기 제 1 비례/가감 인자 집합을 입력받아 상기 검색 테이블의 가변 블럭 정보에 입각하여 상기 제 2 기준 복호 영상에서 상기 제 1 추정 대상 영상에 대응하는 제 1 추정 복호 영상을 가변 블럭 기반으로 추정 복호하고, 상기 제 2 비례/가감 인자 집합을 입력받아 상기 검색 테이블의 가변 블럭 정보에 입각하여 상기 제 2 기준 복호 영상에서 상기 제 2 추정 대상 영상에 대응하는 제 2 추정 복호 영상을 가변 블럭 기반으로 추정 복호하는 가변 블럭 추정 복호화 단계(S400)로 구성한다.
여기서, 상기 영상 설정 단계(S100)는 상기 휘도 영상(Y)을 기준 영상으로 설정하고 상기 녹색 영상(G)을 제 1 추정 대상 영상으로 설정하며 적색 영상(R)을 제 2 추정 대상 영상으로 설정하는 기준/추정 대상 영상 결정 단계(S110)와, 상기 기준 영상을 웨이브렛 변환함으로써 생성되는 저주파 계수 데이터와 고주파 계수 데이터로 구성된 계층적 구조의 웨이브렛 계수 데이터를 저장 매체에 저장한 후, 상기 웨이브렛 계수 데이터를 웨이브렛 역변환하여 제 1 기준 복호 영상을 만드는 웨이브렛 변환/역변환 단계(S120)로 구성된다.
또한, 상기 검색 테이블 작성 단계(S200)는 웨이블렛 변환을 통한 다중 해상도 분석 과정에서 도출되는 두번째 계층의 상기 고주파 계수 데이터에 절대값을 취한 후, 동일 발생 기원을 갖는 수직 방향, 수평 방향, 대각선 방향의 고주파 계수들을 각각 화소 단위로 합산하여 비용 함수 데이터를 구성하는 비용 함수 데이터 구성 단계(S210)와, 상기 비용 함수 데이터의 모든값은 합산하여 평균한 전체 평균치를 구한 후, 상기 전체 평균치에 비례 상수를 곱하여 전체 임계치를 산출하는 전체 임계치 산출 단계(S220)와, 상기 비용 함수 데이터를 블럭 기반으로 합산하여 평균한 블럭 평균치를 구한 후, 상기 전체 임계치 보다 상기 블럭 평균치가 크면, 해당 블럭을 네 개의 부블럭으로 쿼드트리 분할(quadtree partition)하는 블럭 가변 정보를 래스터 스캐닝 순서로 상기 검색 테이블에 기록하는 제 1 블럭 분할 정보 작성 단계(S230)와, 상기 부블럭 데이터를 각각 합산하여 평균한 부블럭 평균치를 구한 후, 상기 전체 임계치 보다 상기 부블럭 평균치가 크면, 해당 부블럭을 네 개의 서브 부블럭으로 쿼드트리 분할하는 블럭 가변 정보를 래스터 스캐닝 순서로 상기 검색 테이블에 기록하는 제 2 블럭 분할 정보 작성 단계(S240)로 구성된다.
그리고, 상기 가변 블럭 추정 부호화 단계(S300)는 상기 검색 테이블의 블럭 가변 정보에 따라 상기 제 1 기준 복호 영상을 분할하여 복수의 제 1 기준 복호 블럭으로 구성된 제 1 기준 복호 블럭군을 생성하고, 상기 제 1 추정 대상 영상을 분할하여 복수의 제 1 추정 대상 블럭으로 구성된 제 1 추정 대상 블럭군을 생성하며, 상기 제 2 추정 대상 영상을 분할하여 복수의 제 2 추정 대상 블럭으로 구성된 제 2 추정 대상 블럭군을 생성하는 가변 블럭 분할 단계(S310)와, 상기 제 1 기준 복호 블럭군과 상기 제 1 추정 대상 블럭군에서 래스터 스캐닝 순으로 각각 상기 제 1 기준 복호 블럭과 상기 제 1 추정 대상 블럭을 선택하여 상기 제 1 기준 복호 블럭과 상기 제 1 추정 대상 블럭 간의 오차가 최소 자승 오차(least square error)가 되도록 하는 스트레칭 정보인 제 1 비례 인자와 슬라이싱 정보인 제 1 가감 인자를 가변 블럭 기반으로 추정하여 래스터 스캐닝 순서로 제 1 비례/가감 인자 집합에 버퍼링하는 제 1 가변 블럭 추정 부호화 단계(S320)와, 상기 제 1 기준 복호 블럭군과 상기 제 2 추정 대상 블럭군에서 래스터 스캐닝 순으로 각각 상기 제 1 기준 복호 블럭과 상기 제 2 추정 대상 블럭을 선택하여 상기 제 1 기준 복호 블럭과 상기 제 2 추정 대상 블럭 간의 오차가 최소 자승 오차(least square error)가 되도록 하는 스트레칭 정보인 제 2 비례 인자와 슬라이싱 정보인 제 2 가감 인자를 가변 블럭 기반으로 추정하여 래스터 스캐닝 순으로 제 2 비례/가감 인자 집합에 버퍼링하는 제 2 가변 블럭 추정 부호화 단계(S330)와, 래스터 스캐닝 순서 상에서 마지막에 위치한 최종 제 1 추정 대상 블럭에 대한 제 1 비례 인자 및 제 1 가감 인자와 최종 제 2 추정 대상 블럭에 대한 제 2 비례 인자 및 제 2 가감 인자가 추정됐는지 여부를 판단하여 판단 결과, 추정되지 않았으면, 상기 가변 블럭 분할 단계(S310)로 되돌아 감으로써 제 1 추정 대상 블럭군 및 상기 제 2 추정 대상 블럭군에 포함된 모든 블럭에 대한 추정 부호화를 수행하도록 하는 추정 부호화 완료 판단 단계(S340)와, 상기 추정 부호화 완료 판단 단계(S340)의 판단 결과, 상기 최종 제 1 추정 대상 블럭에 대한 제 1 비례 인자 및 제 1 가감 인자와 상기 최종 제 2 추정 대상 블럭에 대한 제 2 비례 인자 및 제 2 가감 인자가 추정됐으면, 제 1 비례/가감 인자 집합 및 제 2 비례/가감 인자 집합을 저장하거나 전송하는 비례/가감 인자 집합 저장/전송 단계(S350)로 구성된다.
한편, 상기 가변 블럭 추정 복호화 단계(S400)는 상기 웨이브렛 계수 데이터와 제 1 비례/가감 인자 집합 및 제 2 비례/가감 인자 집합을 입력받는 복호 데이터 입력 단계(S410)와, 상기 웨이브렛 계수 데이터를 이용하여 상기 검색 테이블 작성 단계(S200)와 동일한 수순을 거쳐 상기 검색 테이블을 작성하는 복호 검색 테이블 작성 단계(S420)와, 상기 웨이브렛 계수 데이터를 웨이블렛 역변환하여 상기 기준 영상에 대응하는 제 2 기준 복호 영상을 복호하는 기준 영상 복호 단계(S430)와, 상기 제 1 비례/가감 인자 집합에서 상기 제 1 비례 인자와 상기 제 1 가감 인자를 래스터 스캐닝 순으로 판독하여 상기 검색 테이블에 따라 상기 제 2 기준 복호 영상에서 상기 제 1 추정 대상 영상과 같은 스펙트럴 대역을 갖는 제 1 추정 복호 영상을 가변 블럭 기반으로 추정 복호하는 제 1 가변 블럭 추정 복호 단계(S440)와, 상기 제 2 비례/가감 인자 집합에서 상기 제 2 비례 인자와 상기 제 2 가감 인자를 래스터 스캐닝 순으로 판독하여 상기 검색 테이블에 따라 상기 제 2 기준 복호 영상에서 상기 제 2 추정 대상 영상과 같은 스펙트럴 대역을 갖는 제 2 추정 복호 영상을 가변 블럭 기반으로 추정 복호하는 제 2 가변 블럭 추정 복호 단계(S450)와, 상기 제 2 기준 복호 영상과 상기 제 1 추정 복호 영상 및 상기 제 1 추정 복호 영상을 표색계 변환식에 대입하여 상기 동일 영상의 세 색영상 중 제 1 추정 대상 영상 및 제 2 추정 대상 영상을 제외한 나머지 한 영상과 같은 스펙트럴 대역을 갖는 영상을 계산을 통해 산출하는 제 3 색영상 산출 단계(S460)로 구성된다.
이와 같이 구성된 본 발명에 따른 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법의 바람직한 실시예를 첨부한 도 3을 참조하여 상세하게 설명하기로 한다.
우선, 적색 영상(R), 녹색 영상(G), 청색 영상(B)으로 구성된 동일 영상의 색영상이 입력되면, 상기 기준/추정 대상 영상 결정 단계(S110)에서는 적색 영상(R), 녹색 영상(G), 청색 영상(B)으로 합성한 휘도 영상(Y)을 기준 영상으로 설정하고 상기 녹색 영상(G)을 제 1 추정 대상 영상으로 설정하며 적색 영상(R)을 제 2 추정 대상 영상으로 설정하고, 상기 웨이브렛 변환/역변환 단계(S120)에서는 상기 기준 영상을 웨이브렛 변환함으로써 생성되는 저주파 계수 데이터와 고주파 계수 데이터로 구성된 계층적 구조의 웨이브렛 계수 데이터를 저장 매체에 저장한 후, 상기 웨이브렛 계수 데이터를 웨이브렛 역변환하여 제 1 기준 복호 영상을 생성한다.
여기서, 기준 영상을 휘도 영상(Y)으로 정하는 근거는 영상에 대한 대부분의 정보를 포함하며 동시에 인간의 시감 특성에 민감할 뿐만 아니라 동일 영상의 적색 영상(R), 녹색 영상(G), 청색 영상(B)을 표색계 변환식에 대입하여 용이하게 합성할 수 있음에 기인한다.
이때, 본 발명의 또 다른 실시예에서는 기준 영상으로 휘도 영상(Y)의 대부분의 성분이 되고 있는 녹색 영상(G)을 사용할 수도 있으며, 필요에 따라서는 적색 영상(R)이나 청색 영상(B)을 기준 영상으로 설정할 수 있으나, 본 발명의 바람직한 실시예에서와 같이, 기준 영상은 휘도 영상(Y)으로 정하는 것이 가장 부호화 효율이 양호함을 컴퓨터 시뮬레이션 결과를 통해 확인할 수 있었다.
또한, 부호화단에서 원래의 기준 영상을 부호화한 후, 다시 복호화함에 따라 제 1 기준 복호 영상을 발생하여 이를 실질적인 기준 영상 데이터로 삼는 이유는 부호화단과 복호화단에서 같은 기준 영상 데이터를 이용하여 비례 인자와 가감 인자를 추정한 후, 이를 이용하여 부호화하고 복호화하고자 하는 것이다. 즉, 제 1 기준 복호 영상과 제 2 기준 복호 영상은 채널(전송로, 저장 매체 등) 상에서 발생 가능한 오류를 배제할 때, 동일한 영상으로 간주할 수 있다. 이때, 실질적인 기준 영상 데이터로 복호화하지 않은 원래의 기준 영상을 사용할 수도 있으나 복호화한 제 1 기준 복호 영상을 사용하는 것이 바람직하다.
한편, 웨이브렛 변환에 이용되는 웨이브렛 기저(wavelet basis)로는 하르 기저(Harr basis), 도베시스(Daubechies)의 4탭 기저(DAUB-4 basis)와 6탭 기저(DAUB-6 basis) 및 9-3 필터 등의 여하의 웨이브렛 기저를 채택하더라도 무방하다.
이후, 상기 비용 함수 데이터 구성 단계(S210)에서 웨이블렛 변환을 통한 다중 해상도 분석 과정에서 도출되는 두번째 계층의 상기 고주파 계수 데이터에 절대값을 취한 후, 동일 발생 기원을 갖는 수직 방향, 수평 방향, 대각선 방향의 고주파 계수들을 각각 화소 단위로 합산하여 비용 함수 데이터를 구성한다.
웨이블렛 계수 데이터의 고주파 계수 데이터를 이용하여 블럭 가변을 위한 비용 함수를 결정하는 근거는 색도 상관성은 저주파 성분을 상대적으로 많이 포함하고 있는 평탄 영역에서는 상관도가 높지만, 고주파 성분이 많은 영역 또는 윤곽 정보가 많은 영역, 즉, 고역 콘트라스트에 비례하는 정보가 많은 영역에서는 색도 상관도가 저하되는 특징이 있음에 따라 이러한 국부적인 특성을 영상 부호화에 적응적으로 반영할 수 있도록 블럭의 크기를 가변시킬 필요성이 있기 때문임을 전술한 바 있다.
따라서, 본 발명에서는 고역 콘트라스트에 비례하는 정보를 추출하기 위해 웨이브렛 변환을 이용하였으나 고주파 데이터를 검출한 수 있는 여하의 필터나 에지 검출 마스크(edge detection mask)를 이용하여도 무방하지만, 본 발명의 바람직한 실시예에서는 전체적인 부호화 효율, 움직임 추정, 고속 신호 처리, 신호의 다중 해상도 및 다중 주파수 분석 등을 고려하여 웨이브렛 변환을 채택하고 있는 것이다. 웨이브렛 변환은 필터 뱅크 해석을 통해 살펴볼 수 있듯이, 웨이브렛 변환 자체에 고역 통과 필터를 포함하고 있어 별도로 고역 통과 필터를 적용하여 윤곽 정보를 추출할 필요가 없는 것이 큰 특징중의 하나이다.
본 발명의 비용 함수 데이터를 설정함에 있어서, 상기 고주파 계수 데이터에 절대값을 취하는 것은 상기 고주파 계수 데이터의 데이터형이 실수형이며, 고주파 성분의 분포 정도가 절대값의 크기에 비례하기 때문이다. 또한, 실수형 데이터에 할당해야 할 데이터량을 줄이기 위해 정확도(precision)가 떨어지는 것을 감수하며 소수점 이하의 값을 라운딩(rounding) 또는 트렁케이션(trucation)함을 통해 정수형 데이터로 변환하여 사용하는 것이 일반적이다. 상기한 본 발명의 바람직한 실시예에서는 두 번째 계층의 고주파 계수 데이터를 이용하여 비용 함수 데이터를 구성하였으나 최하위 계층을 이용하거나 두 번째 이상을 계층을 이용하여도 무방하며 이들 계층들 간의 고주파 계수 데이터를 화소 단위로 모두 합산하여 이용하여도 유사한 결과를 얻는다. 그리고, 수직 방향, 수평 방향, 대각선 방향의 고주파 계수들을 모두 이용하였지만 이중 어느 한 방향의 고주파 계수를 이용하여 비용함수 데이터를 구성하여도 부호화 결과에 큰 변화를 초래하지 않지만, 인간의 시감 특성은 대각선 고주파 성분에 비해 수평 및 수직 고주파 성분에 더 민감함에 따라 이를 비용 함수 데이터를 결정할 시에 반영하는 것이 바람직하다. 또한, 웨이브렛 변환을 이용한 영상 부호화를 수행할 시에는 그 부호화 특성상, 계수의 절대값의 크기가 상대적으로 큰 순으로 정렬하여 부호화하는, 이른바 크기 기반(magnitude-based)으로 영상 데이터를 부호화하는 기법을 많이 채택하고 있음에 따라 상위 계층에 비해 확률적으로 계수의 절대값이 작은 가능성이 높은 최하위 계층의 고주파 계수는 상대적으로 부호화에 반영되지 않을 가능성이 큼에 따라 본 발명의 바람직한 실시예에서와 같이 두 번째 계층의 고주파 계수를 이용하는 것이 합리적이다.
전술한 바와 같이, 상기 비용 함수 데이터 구성 단계(S210)에서 비용 함수 데이터를 구성하면, 상기 전체 임계치 산출 단계(S220)에서는 상기 비용 함수 데이터의 모든값은 합산하여 평균한 전체 평균치를 구한 후, 상기 전체 평균치에 비례 상수를 곱하여 전체 임계치를 산출하고, 상기 제 1 블럭 분할 정보 작성 단계(S230)에서는 상기 비용 함수 데이터를 블럭 기반으로 합산하여 평균한 블럭 평균치를 구한 후, 상기 전체 임계치 보다 상기 블럭 평균치가 크면, 해당 블럭을 네 개의 부블럭으로 쿼드트리 분할하는 블럭 가변 정보를 래스터 스캐닝 순서로 상기 검색 테이블에 기록하며, 상기 제 2 블럭 분할 정보 작성 단계(S240)에서도 상기 제 1 블럭 분할 정보 작성 단계(S230)와 유사하게, 상기 부블럭 데이터를 각각 합산하여 평균한 부블럭 평균치를 구한 후, 상기 전체 임계치 보다 상기 부블럭 평균치가 크면, 해당 부블럭을 네 개의 서브 부블럭으로 쿼드트리 분할하는 블럭 가변 정보를 래스터 스캐닝 순서로 상기 검색 테이블에 기록한다.
이때, 상기 전체 평균치은 영상의 통계적인 특성을 전체 임계치 결정에 반영하기 위한 것이고, 비례 상수는 블럭의 크기가 부블럭 또는 서브 부블럭의 크기로 분할되는 비율 정도를 가감할 수 있는 파라미터로, 비례 상수의 크기에 비례하여 분할 비율 정도도 비례함에 따라 데이터 압축에 있어서 흐름 제어(flow control)에 효율적으로 이용할 수 있다.
본 발명의 바람직한 실시예에서는 영상의 통계적인 특성을 전체 임계치 결정에 반영하기 위해 전체 평균치만을 이용하였지만 좀 더 정확한 통계적인 특성을 반영하기 위해서는 데이터의 표준 편차(standard deviation)나 분산(variance) 등을 전체 평균치와 함께 고려하는 것이 더욱 더 바람직하지만, 컴퓨터 시뮬레이션을 통해 실험적으로 그 성능 정도를 평가해보면, 결과에 큰 격차를 초래하지 않을 뿐 더러 연산량을 증가시키는 문제에 당면함에 따라 본 발명의 바람직한 실시예에서는 전체 평균치에 비례 상수를 곱하는 형태를 취하여 블럭 가변을 위한 전체 임계치를 설정한다.
그리고, 상기 제 1 블럭 분할 정보 작성 단계(S230) 및 제 2 블럭 분할 정보 작성 단계(S240)의 두 단계를 통해 블럭을 부블럭으로, 부블럭을 서브 부블럭으로 분할함으로써 좀 더 정확한 추정 효율을 기하였으나 서브 부블럭을 또 다시 쿼드트리 분할하는 동작을 순차적으로 반복 적용함으로써 단위 블럭의 크기가 단일 화소와 같아지는 시점 까지 블럭 분할을 수행하여 영상의 품질을 개선할 수 있지만 너무 작은 블럭의 크기는 데이터를 블럭 기반으로 처리하는 목적 자체에 모순을 야기시킴에 따라 화질과 압축율의 적절한 상호 타협(trade-off) 관계를 설정해야 한다.
또한, 상기 제 1 블럭 분할 정보 작성 단계(S230) 및 제 2 블럭 분할 정보 작성 단계(S240)에서는 동일한 전체 임계치를 이용하여 블럭 가변 정도를 결정하였으나 제 2 블럭 분할 정보 작성 단계(S240)를 포함한 다음에 이어질 수 있는 분할 정보 작성 단계에서는 각 부블럭 및 서브 부블럭 단위로 상기 비례 상수를 새롭게 설정하여 임계치를 적응적으로 변경함으로써 블럭의 분할 비율을 적절하게 조절할 수 있다.
본 발명의 바람직한 실시예에서는 블럭의 크기를 가변하기 전의 블럭의 크기, 즉, 최초 블럭의 크기를 16화소×16화소로 설정하여 부블럭의 크기가 8화소×8화소, 서브 부블럭의 크기가 4화소×4화소가 되도록 블럭을 쿼드트리 분할한다. 이때, 최초 블럭의 크기로 16화소×16화소 뿐만 아니라 영상의 특성에 따라 8화소×8화소, 32화소×32화소, 64화소×64화소 등도 고려할 수 있다.
도 4는 본 발명의 검색 테이블에 따라 탁구 영상을 블럭(16화소×16화소), 부블럭(8화소×8화소), 서브 부블럭(4화소×4화소)으로 쿼드트리 분할한 영상을 나타낸 것이다
이와 같이, 상기 제 1 블럭 분할 정보 작성 단계(S230) 및 제 2 블럭 분할 정보 작성 단계(S240)를 통해 모든 블럭에 대한 블럭 가변 정보가 기록된 검색 테이블이 작성되면, 상기 가변 블럭 분할 단계(S310)에서는 상기 검색 테이블의 블럭 가변 정보에 따라 상기 제 1 기준 복호 영상을 분할하여 복수의 제 1 기준 복호 블럭으로 구성된 제 1 기준 복호 블럭군을 생성하고, 상기 제 1 추정 대상 영상을 분할하여 복수의 제 1 추정 대상 블럭으로 구성된 제 1 추정 대상 블럭군을 생성하며, 상기 제 2 추정 대상 영상을 분할하여 복수의 제 2 추정 대상 블럭으로 구성된 제 2 추정 대상 블럭군을 생성한다.
이어서, 상기 제 1 가변 블럭 추정 부호화 단계(S320)에서는 상기 제 1 기준 복호 블럭군과 상기 제 1 추정 대상 블럭군에서 래스터 스캐닝 순으로 각각 상기 제 1 기준 복호 블럭과 상기 제 1 추정 대상 블럭을 선택하여 상기 제 1 기준 복호 블럭과 상기 제 1 추정 대상 블럭 간의 오차가 최소 자승 오차(least square error)가 되도록 하는 스트레칭 정보인 제 1 비례 인자와 슬라이싱 정보인 제 1 가감 인자를 가변 블럭 기반으로 추정하여 래스터 스캐닝 순서로 제 1 비례/가감 인자 집합에 버퍼링하고, 상기 제 2 가변 블럭 추정 부호화 단계(S330)에서는 상기 제 1 기준 복호 블럭군과 상기 제 2 추정 대상 블럭군에서 래스터 스캐닝 순으로 각각 상기 제 1 기준 복호 블럭과 상기 제 2 추정 대상 블럭을 선택하여 상기 제 1 기준 복호 블럭과 상기 제 2 추정 대상 블럭 간의 오차가 최소 자승 오차(least square error)가 되도록 하는 스트레칭 정보인 제 2 비례 인자와 슬라이싱 정보인 제 2 가감 인자를 가변 블럭 기반으로 추정하여 래스터 스캐닝 순으로 제 2 비례/가감 인자 집합에 버퍼링하며, 상기 추정 부호화 완료 판단 단계(S340)에서는 래스터 스캐닝 순서 상에서 마지막에 위치한 최종 제 1 추정 대상 블럭에 대한 제 1 비례 인자 및 제 1 가감 인자와 최종 제 2 추정 대상 블럭에 대한 제 2 비례 인자 및 제 2 가감 인자가 추정됐는지 여부를 판단하여 판단 결과, 추정되지 않았으면, 상기 가변 블럭 분할 단계(S310)로 되돌아 감으로써 제 1 추정 대상 블럭군 및 상기 제 2 추정 대상 블럭군에 포함된 모든 블럭에 대한 추정 부호화를 수행하도록 한다.
한편, 상기 추정 부호화 완료 판단 단계(S340)의 판단 결과, 상기 최종 제 1 추정 대상 블럭에 대한 제 1 비례 인자 및 제 1 가감 인자와 상기 최종 제 2 추정 대상 블럭에 대한 제 2 비례 인자 및 제 2 가감 인자가 추정됐으면, 제 1 비례/가감 인자 집합 및 제 2 비례/가감 인자 집합을 저장하거나 전송함으로써 부호화 과정을 완료한다.
이후, 복호화 과정에서는 전술한 바와 같은 부호화 과정을 통해 생성된 데이터를 전송로나 데이터 저장 매체에서 판독하여 부호화 과정의 역순으로 영상을 복원하게 되는 데, 이를 순차적으로 살펴 보면, 상기 가변 블럭 추정 복호화 단계(S400)는 상기 웨이브렛 계수 데이터와 제 1 비례/가감 인자 집합 및 제 2 비례/가감 인자 집합을 입력받고, 상기 복호 검색 테이블 작성 단계(S420)에서는 상기 웨이브렛 계수 데이터를 이용하여 상기 검색 테이블 작성 단계(S200)와 동일한 수순을 거쳐 상기 검색 테이블을 작성한다.
이와 같이, 복호단에서 입력받은 웨이브렛 계수 데이터를 이용하여 부호단에서와 작성한 검색 테이블과 동일한 검색 테이블을 작성할 수 있음에 따라 부호화 과정에서 블럭 가변 정도를 통지하는 별도의 헤더를 제 1 비례/가감 인자 집합 및 제 2 비례/가감 인자 집합에 부가하지 않아도 된다.
그러나, 잡음 및 기타 신뢰성 있는 통신을 저해하는 요소가 존재하는 전송의 매체인 채널(channel)을 통과하면서 다양한 오류가 발생할 수 있지만, 이와 같이 헤더를 부가하지 않고 가변 블럭 기반의 부호화를 수행할 수 있기 위한 전제 조건은 오류를 효과적으로 정정하여 원하는 수준 이하의 오율을 확보할 수 있어야 한다는 사실이다. 즉, 이와 같은 전제 조건이 만족되어야 복호단에서도 부호단에서와 같은 동일한 검색 테이블을 작성할 수 있다.
검색 테이블이 작성되면, 기준 영상 복호 단계(S430)에서는 상기 웨이브렛 계수 데이터를 웨이블렛 역변환하여 상기 기준 영상에 대응하는 제 2 기준 복호 영상을 복호하고, 상기 제 1 가변 블럭 추정 복호 단계(S440)에서는 상기 제 1 비례/가감 인자 집합에서 상기 제 1 비례 인자와 상기 제 1 가감 인자를 래스터 스캐닝 순으로 판독하여 상기 검색 테이블에 따라 상기 제 2 기준 복호 영상에서 상기 제 1 추정 대상 영상과 같은 스펙트럴 대역을 갖는 제 1 추정 복호 영상을 가변 블럭 기반으로 추정 복호하며, 상기 제 2 가변 블럭 추정 복호 단계(S450)에서는 상기 제 2 비례/가감 인자 집합에서 상기 제 2 비례 인자와 상기 제 2 가감 인자를 래스터 스캐닝 순으로 판독하여 상기 검색 테이블에 따라 상기 제 2 기준 복호 영상에서 상기 제 2 추정 대상 영상과 같은 스펙트럴 대역을 갖는 제 2 추정 복호 영상을 가변 블럭 기반으로 추정 복호한다.
이어서, 상기 제 3 색영상 산출 단계(S460)에서는 상기 제 2 기준 복호 영상과 상기 제 1 추정 복호 영상 및 상기 제 1 추정 복호 영상을 수학식 2에 나타낸 표색계 변환식에 대입하여 상기 동일 영상의 세 색영상 중 제 1 추정 대상 영상 및 제 2 추정 대상 영상을 제외한 나머지 한 영상과 같은 스펙트럴 대역을 갖는 영상을 계산을 통해 산출한다.
이하, 지금까지 설명한 본 발명의 바람직한 실시예에 대한 이해를 돕고자 수식적인 표현을 통해 본 발명의 핵심적인 사항만을 재차 살펴보기로 한다.
상기 적색 영상(R), 녹색 영상(G), 청색 영상(B)을 이용하여 수학식 1 또는 수학식 2를 통해 휘도 영상(Y) 영상을 산출한 후, 녹색 영상(G)과 적색 영상(R)을 직접적으로 부호화하는 대신에 비례 인자와 가감 인자를 추출하게 되는 데,
[수학식 5]
수학식 5와 같이의 두 화소 집합을 정의할 경우,의 두 화소 집합을 최적으로 근사화시키기 위해, 수학식 6에서값을 최소화시키는 비례 인자 ''와 가감 인자 ''를 구함으로써의 화소 집합과 비례 인자 '' 및 가감 인자 ''만을 이용하여의 두 화소 집합을 표현할 수 있다.
[수학식 6]
여기서,은 화소 집합의 크기를 나타내는 값이며,는 화소 집합의 원소, 즉, 화소값을 나타내는 인덱스 변수이다. 이때, 상기와 같이 최소 자승 오차를 만족시킬 수 있는 비례 인자 ''와 가감 인자 ''는 비례 인자 ''와 가감 인자 ''을 변수로 하는 편미분을 통해 산출할 수 있는 데, 그 결과를 수학식 7에 제시한다.
[수학식 7]
이때, 수학식 7에서 ''의 분모항이 수학식 8과 같이 영(zero)이되면,
[수학식 8]
''가 영으로 나누어짐에 따라 연산 결과가 발산하게 되는데, 이와 같은 경우에는 수학식 9를 이용함으로써 이와 같은 문제를 해결할 수 있다.
[수학식 9]
이상과 같이, 비례 인자 ''와 가감 인자 ''는 각각의 두 화소 집합을 최적으로 근사화되기 위한 스트레칭 정보와 슬라이싱 정보가 된다. 즉, 비례 인자 ''와 가감 인자 ''는 각각의 두 화소 집합을 최적으로 근사화되기 위한 비례값(scale value)과 가감값(offset value)이 된다.
전술한 바와 같은 비례 인자 및 가감 인자 추출 과정을 적색 영상(R), 녹색 영상(G), 청색 영상(B)에 직접 적용한 본 발명에 적용할 비례 인자 및 가감 인자 추출 과정을 수식적 표현을 빌어 간략하게 설명하기로 한다.
먼저, 설명의 편의를 위해 기준 영상으로 설정한 휘도 영상(Y), 제 1 추정 대상 영상으로 설정한 녹색 영상(G), 제 2 추정 대상 영상으로 설정한 적색 영상(R)에 대한 화소 집합을 수학식 10과 같이 정의한다.
[수학식 10]
여기서,는 각각 수평 방향 및 수직 방향의 화소 위치를 나타내는 인덱스 변수이며,은 각각 수평 방향의 총 화소수 및 수직 방향의 총 화소수임에 따라는 각각 휘도 영상(Y), 녹색 영상(G), 적색 영상(R)의 공간좌표위치의 화소값을 나타내게 된다.
본 발명은 가변 블럭 기반에 의해 추정 부호화의 적응성을 부여하는 영상 부호화 방법이지만, 비례 인자 및 가감 인자를 추정하는 과정에 있어서, 블럭의 크기가 가변되면, 가변된 블럭을 구성하는 원소수만 변경시켜 적용하면 되고, 나머지는 고정된 블럭과 동일한 개념을 응용하면 됨에 따라 표현의 복잡성 및 혼란성을 피하기 위해 먼저 고정된 블럭의 크기로 비례 인자 및 가감 인자를 추정하여 복호하는 과정을 설명한 후, 순서는 역순이지만 가변 블럭을 위한 검색 테이블을 작성하는 검색 테이블 작성 단계(S200)를 설명하기로 한다.
각 영상의 화소 집합을 수학식 10과 같이 정의할 때, 각 영상을 수학식 11과 같이 정의되는 블럭 단위로 분할한다.
[수학식 11]
여기서,은 각각 수평 방향 및 수직 방향의 블럭의 순서적인 위치를 나타내는 인덱스 변수이고,는 각각 수평 및 수직 방향의 총 블럭수임에 따라는 각각 휘도 영상(Y)과 녹색 영상(G) 및 적색 영상(R)의 블럭의 순서적인 위치를 나타나게 된다. 예를 들어,일 경우, 이것은 휘도 영상(Y)에서 수평 방향으로 3번째, 수직 방향으로 10번째에 위치하는 블럭을 나타낸다.
한편, 휘도 영상(Y)과 녹색 영상(G) 및 적색 영상(R)의 관계에 있어서, 각 블럭에 대한 비례 인자와 가감 인자를 구하는 과정을 표현한 수식은 수학식 12와 같다.
[수학식 12]
여기서,,는 각각 수평 방향으로번째, 수직 방향으로번째에 위치한 블럭에 대한 제 1 비례 인자 및 제 1 비례 인자이고,,는 각각 수평 방향으로번째, 수직 방향으로번째에 위치한 블럭에 대한 제 1 가감 인자 및 제 2 가감 인자이며,는 각각 단위 블럭의 수평 방향 및 수직 방향의 총 화소수를 나타낸다.
이때, 블럭의 크기로 통칭되는는 사각형을 이루는 여하의 크기로 설정 가능하며, 통상, 8화소×8화소, 16화소×16화소, 32화소×32화소, 64화소×64화소 중 어느 하나로 정하는 것이 적절하며, 본 발명의 바람직한 실시예에서는 16화소×16화소로 설정한다.
상기 제 1 가변 블럭 추정 부호화 단계(S320)에서는 기준 영상인 휘도 영상(Y)에서 수평 방향으로번째, 수직 방향으로번째에 위치한 블럭과 제 1 추정 대상 영상인 녹색 영상(G)에서 수평 방향으로번째, 수직 방향으로번째에 위치한 블럭을 최적으로 근사화시키기 위해, 수학식 10에서값을 최소화시키는 제 1 비례 인자와 제 1 가감 인자를 구하는 과정을 전체 블럭에 적용함으로써 휘도 영상(Y)과 제 1 비례 인자와 제 1 가감 인자만을 이용하여 휘도 영상(Y)과 녹색 영상(G)을 부호화할 수 있다.
이때,및를 구하는 방법은 수학식 13에 나타낸 바와 같다.
[수학식 13]
즉,에 대하여 각각및를 변수로 편미분한 결과가 영이되도록 하는및를 구하면 되는 데, 수학식 13과 같은 조건을 만족시키는및에 대한 결과식은 수학식 14와 같다.
[수학식 14]
이때, 수학식 14에서의 분모항이 수학식 15와 같이 영이되면,
[수학식 15]
이 영으로 나누어짐에 따라 연산 결과가 발산하게 되는데, 이와 같은 경우에는 수학식 16을 이용함으로써 이와 같은 문제를 해결할 수 있다.
[수학식 16]
또한, 상기 제 2 가변 블럭 추정 부호화 단계(S330)에서는 기준 영상인 휘도 영상(Y)에서 수평 방향으로번째, 수직 방향으로번째에 위치한 블럭과 제 2 추정 대상 영상인 적색 영상(R)에서 수평 방향으로번째, 수직 방향으로번째에 위치한 블럭을 최적으로 근사화시키기 위해, 수학식 12에서값을 최소화시키는 제 2 비례 인자와 제 2 가감 인자를 구하는 과정을 전체 블럭에 적용함으로써 휘도 영상(Y)과 제 2 비례 인자와 제 2 가감 인자만을 이용하여 휘도 영상(Y)과 적색 영상(R)을 부호화할 수 있다.
이때,및를 구하는 방법은 수학식 17에 나타낸 바와 같다.
[수학식 17]
즉,에 대하여 각각및를 변수로 편미분한 결과가 영이되도록 하는및를 구하면 되는 데, 수학식 13과 같은 조건을 만족시키는및에 대한 결과식은 수학식 18과 같다.
[수학식 18]
이때, 수학식 18에서의 분모항이 수학식 15와 같이 영이되면,이 영으로 나누어짐에 따라 연산 결과가 발산하게 되는데, 이와 같은 경우에는 수학식 19를 이용함으로써 이와 같은 문제를 해결할 수 있다.
[수학식 19]
그리고, 상기 제 1 가변 블럭 추정 복호 단계(S440) 및 상기 제 2 가변 블럭 추정 복호 단계(S450)에서는 상기 제 1 비례 인자및 상기 제 1 가감 인자를 입력받아 상기 제 2 기준 복호 영상에서 제 1 추정 대상 영상과 같은 스펙트럴 대역을 갖는 제 1 추정 복호 영상을 추정해내고, 상기 제 2 비례 인자및 상기 제 2 가감 인자를 입력받아 상기 제 2 기준 복호 영상에서 제 2 추정 대상 영상과 같은 스펙트럴 대역을 갖는 제 2 추정 복호 영상을 추정해낸다.
즉, 상기 제 1 가변 블럭 추정 복호 단계(S440)에서는 전체 블럭을 대상으로 제 1 비례 인자, 제 1 가감 인자, 제 2 기준 복호 영상을 수학식 20에 대입하여 제 1 추정 대상 영상 즉, 녹색 영상(G)과 동일한 스펙트럼 대역을 갖는 제 1 추정 복호 영상을 블럭 기반으로 산출하고,
[수학식 20]
상기 제 2 가변 블럭 추정 복호 단계(S450)에서는 전체 블럭을 대상으로 제 2 비례 인자, 제 2 가감 인자, 제 2 기준 복호 영상을 수학식 21에 대입하여 제 2 추정 대상 영상 즉, 적색 영상(R)과 동일한 스펙트럴 대역을 갖는 제 2 추정 복호 영상을 블럭 기반으로 산출한다.
[수학식 21]
최종적으로, 상기 제 3 색영상 산출 단계(S460)에서는 상기 제 2 기준 복호 영상과 상기 제 1 추정 복호 영상 및 상기 제 1 추정 복호 영상을 수학식 2에 나타낸 표색계 변환식에 대입하여 상기 동일 영상의 세 색영상 중 제 1 추정 대상 영상 및 제 2 추정 대상 영상을 제외한 나머지 한 영상과 같은 스펙트럴 대역을 갖는 영상을 계산을 통해 산출함으로써 색영상을 모두 복호해낸다.
이하, 가변 블럭을 위한 검색 테이블을 작성하는 검색 테이블 작성 단계(S200)를 도 5를 참조하여 설명하기로 한다.
도 5는 2단계(즉, 2 계층)로 웨이브렛 변환한 수평 방향과 수직 방향 및 대각선 방향의 주파수 성분을 다중 해상도 분석 측면에서 도시한 예시도이다.
가변 블럭을 위한 비용 함수 데이터는 상기한 바와 같이, 두 번째 계층의 수평 방향, 수직 방향, 대각선 방향 고주파 성분인,과의 계수들을 이용하여 추출한다.
이때, 비용 함수 데이터에 있어서, 블럭을 가변하기 전의 각 블럭에 대응하는 비용 함수 데이터의 합산값은
[수학식 22]
수학식 22와 같다. 여기서,은 각각 수평 방향 및 수직 방향의 블럭의 순서적인 위치를 나타내는 인덱스 변수이고,는 각각 단위 블럭의 수평 방향 및 수직 방향의 총 화소수를 나타내며,를 각각에 곱하면서 다음 블럭의 시작 위치에 있는 데이터로 이동하는 것은 다중해상도 분석시에 생성되는 계층들 중에서 두 번째 계층을 사용함에 기인함을 도 5에서 용이하게 확인할 수 있다.
이때, 상기 전체 임계치()는
[수학식 23]
수학식 23과 같다. 여기서, μ는 비례 상수이고,는 각각 수평 및 수직 방향의 총 블럭수이다. 그리고, 상기한 바와 같이,은 각각 수평 방향 및 수직 방향의 블럭의 순서적인 위치를 나타내는 인덱스 변수이며,는 블럭을 가변하기 전의 각 블럭에 대응하는 비용 함수 데이터의 합산값이다.
상기 전체 임계치()는 비례 상수(μ)에 따라 다양하게 가변될 수 있음에 따라 비례 상수(μ)를 상대적으로 작은 값으로 설정할 경우, 윤곽 영역에 대해 좀 더 세밀하게 표현할 수 있어 원 영상에 더욱 가까운 영상을 추정할 수 있다.
그리고, 본 발명은 가변 블럭 정보를 복호단에 제공하지 않아도 된다는 사실이 본 연구의 가장 큰 장점중의 하나이다. 이것은 복호단에 기준 영상에 대한 웨이브렛 계수를 보내게 되면 각 블럭에 대한 고주파 계수를 구할 수 있어 각 블럭이 어느 정도의 부블럭(sub-block)으로 분할되어졌는지를 알 수 있기 때문이다.
이상에서와 같이, 본 발명의 바람직한 실시예에서는 기준 영상을 휘도 영상(Y)으로 정하고, 제 1 추정 대상 영상을 녹색 영상(G), 제 2 추정 대상 영상을 적색 영상(R)으로 정하였으나, 컴퓨터 시뮬레이션 결과를 통해 살펴 보면, 동일 영상의 휘도 영상(Y), 적색 영상(R), 녹색 영상(G), 청색 영상(B) 중 어느 한 영상을 기준 영상(reference image)으로 정하고 나머지 영상들 중에서 두 영상을 선택하여 두 영상 중 한 영상을 제 1 추정 대상 영상으로 설정하고 또 다른 한 영상을 제 2 추정 대상 영상으로 설정하는 경우, 즉, 휘도 영상(Y), 적색 영상(R), 녹색 영상(G), 청색 영상(B) 중에서 임의의 세 영상을 추출함에 따라 결정되는 조합에 의해 기준 영상, 제 1 추정 대상 영상, 제 2 추정 대상 영상을 정할 경우에도 부호화 성능에 현저한 차이가 발생하지 않음을 확인할 수 있었으나, 본 발명의 바람직한 실시예의 경우가 가장 좋은 부호화 효율을 얻을 수 있었다.
또한, 실질적인 기준 영상 데이터로 복호화하지 않은 원래의 기준 영상을 사용한 경우와 복호화한 제 1 기준 복호 영상을 사용한 경우도 마찬가지로 부호화 성능에 현저한 차이가 발생하지 않음을 확인할 수 있었으나, 본 발명의 바람직한 실시예의 경우가 가장 좋은 부호화 효율을 얻을 수 있었다.
이와 같이 본 발명은 동일 영상의 휘도 영상(Y), 적색 영상(R), 녹색 영상(G), 청색 영상(B), 색차 영상 등을 이용한 합성 및 조합을 통해 다양한 경우의 수가 발생할 수 있지만, 여하의 조합을 이용할 경우에도 이것은 당분야에 대한 통상의 지식을 습득한 자에게는 용이한 일임에 따라 본 발명의 사상에 종속된다고할 것이다.
한편, 본 발명은 가변 블럭 기반에 의해 색영상을 추정함에 따라 영상을 다양한 크기와 모양을 갖는 블럭으로 분할할 수 있지만, 이와 같은 변형 또한 당분야에 대한 통상의 지식을 습득한 자에게는 용이한 일임에 따라 본 발명의 사상에 종속됨이 명백하다.
전술한 비례 인자와 가감 인자를 산출하는 결과가 소수점을 갖는 실수 형태로 나타남에 따라 이를 직접 부호화하면, 할당되는 비트가 증가함에 따라 이를 피하여 정수 형태로 부호화하기 위해서는 통상 스케일링 기법으로 알려진 데이터 처리 기법을 이용한다. 즉, 정수 처리를 하면서도 소수점 이하의 값을 반영하기 위해 소수점을 갖는 비례 인자 및 가감 인자에 소정 값을 곱하여 부호화한 후, 복호시에 동일한 값으로 나누어 주는 기법으로, 이것은 통상적인 데이터 처리 기법임에 따라 더 이상의 상세한 설명은 약하기로 한다.
본 발명의 사상은 색영상 부호화외에도 상호 상관도가 높은 영상간에 적용할 경우에 높은 부호화 효율을 획득할 수 있으며, 상기의 비례 인자 및 가감 인자는 영상 인식 분야에 패턴 인식 파라미터로 용이하게 응용될 수 있다.
부호화 대상 영상이 반드시 동일 영상의 색영상일 필요는 없으며, 삼원색이 아닌 일대일 영상 간에도 적용할 수 있음은 명백하다.
본 발명의 바람직한 실시예에 대한 타당성을 검증하기 위해 탁구 영상의 50 번째 프레임에서부터 64 번째 프레임(Table Tennis 50th∼64th frame)과 정원 영상의 14 번째 프레임에서부터 28 번째 프레임(Flower Garden 14th~28th frame)을 이용하여 펜티엄 166MHz(Pentium-166MHz)에서 비쥬얼 C-플러스 플러스(Visual C++)로 시뮬레이션을 수행하였다.
본 발명의 바람직한 실시예에서는 도베시스의 6 탭 기저(Daubechies 6-tap basis)를 이용하여 3계층을 갖는 웨이브렛 변환을 수행하였으며, 블럭의 크기는 16화소×16화소로, 블럭 분할 기법은 쿼드트리를 선택하여 시뮬레이션하였는데, 시험 영상에 대한 표본으로 도 6a 및 도 6b에 각각 탁구 영상의 62 번째 프레임 및 정원 영상의 24 번째 프레임의 휘도 영상을 제시한다.
비교 평가 대상 알고리즘인 이산 여현 변환(DCT)을 이용한 압축 방법(이하, 용어를 간단히 하기 위해 DCT 방법으로 약함.)은 입력 영상을 이산 여현 변환하고 양자화를 수행한 후, 지그재그 스캐닝(zigzag scanning) 과정을 거쳐 길이장 부호화(RLC; Run Length Coding)를 하였으며, 본 발명의 바람직한 실시예에서는 엔트로피 부호화를 사용하지 않은 상태로 성능을 평가했음에 따라 공정한 비교를 위해 실제 응용에서 널리 쓰이는 엔트로피 부호화 과정을 DCT 방법에서도 생략하였다.
본 원에서는 본 발명의 바람직한 실시예에 대한 성능 평가 결과를 두 가지 형태로 나타내어 본 발명의 우수성을 개진하고자 한다.
첫 번째로, 객관적인 성능 평가 방식인 PSNR(Peak Signal to Noise Ratio)의 가변에 따른 비트율(bitrate) 변화 정도를 평가하였다.
도 7a는 탁구 영상 62 번째 프레임의 적색 및 녹색 영상에 대해 평균 PSNR을 가변시킴에 따른 비트율 변화를 본 발명에 의한 방법과 DCT 방법을 상호 비교하는 그래프이며, 도 7b는 정원 영상 28 번째 프레임의 적색 및 녹색 영상에 대해 평균 PSNR을 가변시킴에 따른 비트율 변화를 본 발명에 의한 방법과 DCT 방법을 상호 비교하는 그래프이다.
본 발명은 평균 PSNR의 변환에 따라 비트율이 선형적으로 변하며, 특히, 낮은 비트율에서 DCT 방법에 비해 우수한 성능을 보여주고 있음을 확인할 수 있다.
두 번째로, PSNR을 특정치로 고정시키고, 시험 영상의 각 프레임에 대한 비트율을 평가하였다.
도 8a는 탁구 영상의 50 번째 프레임에서부터 64 번째 프레임 까지의 적색 및 녹색 영상에 대해 평균 PSNR을 28dB로 고정한 후, 각 프레임에 대한 비트율 변화를 본 발명에 의한 방법과 DCT 방법을 상호 비교하는 그래프이며, 도 8b는 정원 영상의 14 번째 프레임에서부터 28 번째 프레임 까지의 적색 및 녹색 영상에 대해 평균 PSNR을 28dB로 고정한 후, 각 프레임에 대한 비트율 변화를 본 발명에 의한 방법과 DCT 방법을 상호 비교하는 그래프이다.
본 발명은 각 프레임 별로 차이가 있으나 DCT 방법에 비해 우수한 성능을 나타내고 있다.
본 발명은 DCT 방법에 비해 비트율 측면, 즉 압축율 측면에서 매우 우수한 결과를 제공하고 있음을 컴퓨터 시뮬레이션을 통해 확인할 수 있었다. 또한, DCT 방법은 윤곽선 영역이 현격하게 열화되어 있는 반면, 제안한 알고리즘은 인간의 시각에 민감한 윤곽선 영역을 효과적으로 추정해 냄에 따라 주관적인 화질 평가에서도 우수한 성능을 제공하고 있다.
본 발명의 바람직한 실시예에 따른 웨이브렛 변환 영역에서 색도 상관성을 이용한 영상 부호화는 색상 영상 간에서 블럭 기반으로 비례 인자(scale factor) 및 차감 인자(offset factor)를 산출하여 색상 영상 간의 스펙트럴 중복성을 직접적으로 제거함으로써 부호화 효율을 향상시키고 있는 데, 특히, 블럭당 비례 인자(scale factor) 및 차감 인자(offset factor)를 산출함에 있어서, 웨이브렛 변환을 통한 영상 분석 과정에서 발생되는 고주파 계수를 이용하여 비용 함수를 정의하고, 이를 이용하여 블럭의 크기를 가변적으로 설정함으로써 부호화 대상 영상의 전역적인 특성과 국부적인 특성을 반영하면서 동시에 웨이브렛 변환 외에는 비용 함수 설정을 위한 별도의 연산 및 부가 정보 전송이 필요없는 장점이 있다.
이상에서 상세하게 설명한 바와 같이, 부호화 효율을 향상시키기 위해 같은 피사체를 촬상한 동일 영상의 색영상 간에 내재한 스펙트럴 중복성(spectral redundancy)을 제거하여 부호화하는 영상 부호화 방법에 있어서, 웨이브렛 변환(wavelet transform)을 통한 영상 분석 과정에서 발생되는 고주파 계수를 이용하여 비용 함수를 정의하고, 이에 따라 가변 블럭 기반(variable block-based)으로 색영상간의 오차가 최소 자승 오차가 되도록 하는 스트레칭 정보(stretching information)인 비례 인자(scale factor)와 슬라이싱 정보(slicing information)인 가감 인자(offset factor)를 산출하여 색영상을 부호화하는 본 발명에 의한 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법에 따르면, 부호화 대상 영상의 전역적인 특성과 국부적인 특성을 적응적으로 반영하면서 동시에 스펙트럴 중복성(spectral redundancy)을 효과적으로 제거할 수 있음에 따라 고정된 블럭을 사용함에 기인하여 기준 영상과 추정 대상 영상간의 닮음성(similarity) 정도가 적은 영역에서 추정 성능이 극도로 떨어져 추정 복호 영상에 허용치 이상의 오차가 발생하여 시각적인 거부감을 야기시키던 문제를 용이하게 해결할 수 있다.
더불어, 본 발명은 부호화 과정에서 영상의 국부적인 특성을 반영하며 직접적으로 스펙트럴 중복성을 제거할 수 있음에 따라 저해상도 분석을 통해 간접적으로 스펙트럴 중복성을 제거하는 종래의 방법에 비해 상대적으로 높은 부호화 효율의 향상을 기할 수 있고, 전체적으로 반복적인 절차로 구성됨에 따라 하드웨어적인 구조도 단순하여 장치화에 용이하고, 공지된 가변 블럭 기반 영상 부호화 방법과 용이하게 접목하여 사용할 수 있음에 따라 높은 기술적인 파급 효과를 창출할 수 있다.

Claims (18)

  1. 제 1 영상과 제 2 영상간에 내재한 중복성(redundancy)을 가변 블럭 기반으로 제거하여 부호화하는 영상 부호화 방법에 있어서:
    상기 제 1 영상과 상기 제 2 영상 중 어느 한 영상을 기준 영상(reference image)으로 설정하여 웨이브렛 변환(wavelet transform)을 통해 웨이브렛 계수 데이터를 발생한 후, 웨이브렛 역변환(inverse wavelet transform)하여 제 1 기준 복호 영상을 생성하고, 또 다른 영상을 추정 대상 영상으로 설정하는 영상 설정 단계;
    상기 웨이브렛 계수 데이터에 포함된 고주파 계수 데이터에 절대값을 취한 후, 블럭 기반으로 합산한 결과가 소정 임계치보다 크면, 해당 블럭을 부블럭으로 분할하는 가변 블럭 정보를 검색 테이블에 블럭 기반으로 기록하는 검색 테이블 작성 단계;
    상기 검색 테이블에 따라 상기 제 1 기준 복호 영상과 상기 추정 대상 영상 간의 오차가 최소가 되도록 하는 스트레칭 정보(stretching information)인 비례 인자(scale factor)와 슬라이싱 정보(slicing information)인 가감 인자(offset factor)를 가변 블럭 기반으로 추정하여 비례/가감 인자 집합에 레스터 스캐닝 순으로 버퍼링하는 가변 블럭 추정 부호화 단계; 및
    상기 웨이브렛 계수 데이터를 입력받아 상기 검색 테이블을 작성한 후, 웨이블렛 역변환하여 상기 기준 영상에 대응하는 제 2 기준 복호 영상을 복호하고, 상기 비례/가감 인자 집합을 입력받아 상기 검색 테이블의 가변 블럭 정보에 입각하여 상기 제 2 기준 복호 영상에서 상기 추정 대상 영상에 대응하는 추정 복호 영상을 가변 블럭 기반으로 추정 복호하는 가변 블럭 추정 복호화 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  2. 제 1 항에 있어서, 상기 검색 테이블 작성 단계는,
    웨이블렛 변환을 통한 다중 해상도 분석 과정에서 도출되는 하나 이상의 계층에서 어느 한 계층의 상기 고주파 계수 데이터에 절대값을 취한 후, 비용 함수 데이터를 구성하는 비용 함수 데이터 구성 단계;
    상기 비용 함수 데이터의 모든값은 합산하여 평균한 전체 평균치를 구한 후, 상기 전체 평균치에 비례 상수를 곱하여 전체 임계치를 산출하는 전체 임계치 산출 단계;
    상기 비용 함수 데이터를 블럭 기반으로 합산하여 평균한 블럭 평균치를 구한 후, 상기 전체 임계치 보다 상기 블럭 평균치가 크면, 해당 블럭을 두 개 이상의 부블럭으로 분할하는 블럭 가변 정보를 래스터 스캐닝 순서로 상기 검색 테이블에 기록하는 제 1 블럭 분할 정보 작성 단계; 및
    상기 부블럭 데이터를 각각 합산하여 평균한 부블럭 평균치를 구한 후, 상기 전체 임계치 보다 상기 부블럭 평균치가 크면, 해당 부블럭을 두 개 이상의 서브 부블럭으로 분할하는 블럭 가변 정보를 래스터 스캐닝 순서로 상기 검색 테이블에 기록하는 제 2 블럭 분할 정보 작성 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  3. 제 2 항에 있어서, 상기 비용 함수 데이터 구성 단계는,
    웨이블렛 변환을 통한 다중 해상도 분석 과정에서 도출되는 두 번째 계층의 동일 발생 기원을 갖는 수직 방향, 수평 방향, 대각선 방향의 고주파 계수들에 절대값을 취한 후, 각각 화소 단위로 합산하여 상기 비용 함수 데이터를 구성하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  4. 제 2 항에 있어서, 상기 제 1 블럭 분할 정보 작성 단계는 상기 전체 임계치 보다 상기 블럭 평균치가 크면, 해당 블럭을 4개의 부블럭으로 쿼드트리 분할(quadtree partition)하고, 상기 제 2 블럭 분할 정보 작성 단계는 상기 전체 임계치 보다 상기 부블럭 평균치가 크면, 해당 부블럭을 4개의 서브 부블럭으로 쿼드트리 분할(quadtree partition)하는 것을 특징으로 하는 영상 부호화 방법.
  5. 제 1 항에 있어서, 상기 가변 블럭 추정 부호화 단계는,
    상기 검색 테이블의 블럭 가변 정보에 따라 상기 제 1 기준 복호 영상을 분할하여 복수의 제 1 기준 복호 블럭으로 구성된 제 1 기준 복호 블럭군을 생성하고, 상기 추정 대상 영상을 분할하여 복수의 추정 대상 블럭으로 구성된 추정 대상 블럭군을 생성하는 가변 블럭 분할 단계;
    상기 제 1 기준 복호 블럭군과 상기 추정 대상 블럭군에서 래스터 스캐닝 순으로 각각 상기 제 1 기준 복호 블럭과 상기 추정 대상 블럭을 선택하여 상기 제 1 기준 복호 블럭과 상기 추정 대상 블럭 간의 오차가 최소가 되도록 하는 스트레칭 정보인 비례 인자와 슬라이싱 정보인 가감 인자를 가변 블럭 기반으로 추정하여 래스터 스캐닝 순서로 상기 비례/가감 인자 집합에 버퍼링하는 가변 블럭 추정 부호화 단계;
    래스터 스캐닝 순서 상에서 마지막에 위치한 최종 추정 대상 블럭에 대한 상기 비례 인자 및 상기 가감 인자가 추정됐는지 여부를 판단하여 판단 결과, 추정되지 않았으면, 상기 가변 블럭 분할 단계로 되돌아 가는 추정 부호화 완료 판단 단계; 및
    상기 추정 부호화 완료 판단 단계의 판단 결과, 상기 최종 제 1 추정 대상 블럭에 대한 상기 비례 인자 및 상기 가감 인자가 추정됐으면, 상기 비례/가감 인자 집합을 저장하거나 전송하는 비례/가감 인자 집합 저장/전송 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  6. 제 1 항에 있어서, 상기 가변 블럭 추정 복호화 단계는,
    상기 웨이브렛 계수 데이터와 상기 비례/가감 인자 집합을 입력받는 복호 데이터 입력 단계;
    상기 웨이브렛 계수 데이터를 이용하여 상기 검색 테이블 작성 단계와 동일한 수순을 거쳐 상기 검색 테이블을 작성하는 복호 검색 테이블 작성 단계;
    상기 웨이브렛 계수 데이터를 웨이블렛 역변환하여 상기 기준 영상에 대응하는 상기 제 2 기준 복호 영상을 복호하는 기준 영상 복호 단계; 및
    상기 비례/가감 인자 집합에서 상기 비례 인자와 상기 가감 인자를 래스터 스캐닝 순으로 판독하여 상기 검색 테이블에 따라 상기 제 2 기준 복호 영상에서 상기 추정 대상 영상에 대응하는 상기 추정 복호 영상을 가변 블럭 기반으로 추정 복호하는 가변 블럭 추정 복호 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  7. 제 1 항에 있어서, 상기 오차는,
    최소 자승 오차(least square error)인 것을 특징으로 하는 영상 부호화 방법.
  8. 제 1 항에 있어서, 상기 기준 영상은,
    상기 제 1 영상과 상기 제 2 영상 중에서 휘도 성분을 상대적으로 많이 포함하는 영상인 것을 특징으로 하는 영상 부호화 방법.
  9. 동일 영상의 색영상 간에 내재한 스펙트럴 중복성(spectral redundancy)을 가변 블럭 기반으로 제거하여 부호화하는 영상 부호화 방법에 있어서:
    상기 동일 영상을 구성하는 복수의 색영상과 상기 복수의 색영상을 이용한 합성 영상 중 어느 한 영상을 기준 영상(reference image)으로 설정하여 웨이브렛 변환(wavelet transform)을 통해 웨이브렛 계수 데이터를 발생한 후, 웨이브렛 역변환(inverse wavelet transform)하여 제 1 기준 복호 영상을 생성하고, 상기 기준 영상을 제외한 나머지 영상들 중에서 적어도 하나 이상의 영상을 추정 대상 영상으로 설정하는 영상 설정 단계;
    상기 웨이브렛 계수 데이터에 포함된 고주파 계수 데이터에 절대값을 취한 후, 블럭 기반으로 합산한 결과가 소정 임계치보다 크면, 해당 블럭을 부블럭으로 분할하는 가변 블럭 정보를 검색 테이블에 블럭 기반으로 기록하는 검색 테이블 작성 단계;
    상기 검색 테이블의 블럭 가변 정보에 따라 상기 제 1 기준 복호 영상과 상기 추정 대상 영상 간의 오차가 최소가 되도록 하는 스트레칭 정보(stretching information)인 비례 인자(scale factor)와 슬라이싱 정보(slicing information)인 가감 인자(offset factor)를 가변 블럭 기반으로 추정하여 비례/가감 인자 집합에 레스터 스캐닝 순으로 버퍼링하는 가변 블럭 추정 부호화 단계;
    상기 웨이브렛 계수 데이터를 입력받아 상기 검색 테이블을 작성한 후, 웨이블렛 역변환하여 상기 기준 영상에 대응하는 제 2 기준 복호 영상을 복호하고, 상기 비례/가감 인자 집합을 입력받아 상기 검색 테이블에 따라 상기 제 2 기준 복호 영상에서 상기 추정 대상 영상에 대응하는 추정 복호 영상을 가변 블럭 기반으로 추정 복호하는 가변 블럭 추정 복호화 단계를 포함하는 것을 특징으로 하는 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법.
  10. 제 9항에 있어서, 상기 영상 설정 단계는,
    상기 동일 영상의 휘도 영상(Y), 적색 영상(R), 녹색 영상(G), 청색 영상(B) 중 어느 한 영상을 기준 영상(reference image)으로 정하고, 나머지 영상들 중에서 두 영상을 선택하여 두 영상 중 한 영상을 제 1 추정 대상 영상으로 설정하고 또 다른 한 영상을 제 2 추정 대상 영상으로 설정하는 기준/추정 대상 영상 결정 단계;
    상기 기준 영상을 웨이브렛 변환함으로써 생성되는 저주파 계수 데이터와 고주파 계수 데이터로 구성된 계층적 구조의 상기 웨이브렛 계수 데이터를 저장 매체에 저장한 후, 상기 웨이브렛 계수 데이터를 웨이브렛 역변환하여 상기 제 1 기준 복호 영상을 만드는 웨이브렛 변환/역변환 단계로 구성되는 것을 특징으로 하는 가변 블럭 기반 색도 상관성을 이용한 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법.
  11. 제 10 항에 있어서, 상기 기준 영상은,
    상기 휘도 영상인 것을 특징으로 하는 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법.
  12. 제 10 항에 있어서, 상기 제 1 추정 대상 영상은 상기 녹색 영상이며, 상기 제 2 추정 대상 영상은 상기 적색 영상인 것을 특징으로 하는 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법.
  13. 제 9 항에 있어서, 상기 검색 테이블 작성 단계는,
    웨이블렛 변환을 통한 다중 해상도 분석 과정에서 도출되는 하나 이상의 계층에서 어느 한 계층의 상기 고주파 계수 데이터에 절대값을 취한 후에 비용 함수 데이터를 구성하는 비용 함수 데이터 구성 단계;
    상기 비용 함수 데이터의 모든값은 합산하여 평균한 전체 평균치를 구한 후, 상기 전체 평균치에 비례 상수를 곱하여 전체 임계치를 산출하는 전체 임계치 산출 단계;
    상기 비용 함수 데이터를 블럭 기반으로 합산하여 평균한 블럭 평균치를 구한 후, 상기 전체 임계치 보다 상기 블럭 평균치가 크면, 해당 블럭을 두 개 이상의 부블럭으로 분할하는 블럭 가변 정보를 래스터 스캐닝 순서로 상기 검색 테이블에 기록하는 제 1 블럭 분할 정보 작성 단계; 및
    상기 부블럭 데이터를 각각 합산하여 평균한 부블럭 평균치를 구한 후, 상기 전체 임계치 보다 상기 부블럭 평균치가 크면, 해당 부블럭을 두 개 이상의 서브 부블럭으로 분할하는 블럭 가변 정보를 래스터 스캐닝 순서로 상기 검색 테이블에 기록하는 제 2 블럭 분할 정보 작성 단계를 포함하는 것을 특징으로 하는 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법.
  14. 제 13 항에 있어서, 상기 비용 함수 데이터 구성 단계는,
    웨이블렛 변환을 통한 다중 해상도 분석 과정에서 도출되는 두 번째 계층의 동일 발생 기원을 갖는 수직 방향, 수평 방향, 대각선 방향의 고주파 계수들에 절대값을 취한 후, 각각 화소 단위로 합산하여 상기 비용 함수 데이터를 구성하는 단계를 포함하는 것을 특징으로 하는 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법.
  15. 제 13 항에 있어서, 상기 1 블럭 분할 정보 작성 단계는 상기 전체 임계치 보다 상기 블럭 평균치가 크면, 해당 블럭을 4개의 부블럭으로 쿼드트리 분할(quadtree partition)하고, 상기 제 2 블럭 분할 정보 작성 단계는 상기 전체 임계치 보다 상기 부블럭 평균치가 크면, 해당 부블럭을 4개의 서브 부블럭으로 쿼드트리 분할(quadtree partition)하는 것을 특징으로 하는 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법.
  16. 제 9 항에 있어서, 상기 가변 블럭 추정 부호화 단계는,
    상기 검색 테이블의 블럭 가변 정보에 따라 상기 제 1 기준 복호 영상을 분할하여 복수의 제 1 기준 복호 블럭으로 구성된 제 1 기준 복호 블럭군을 생성하고, 상기 제 1 추정 대상 영상을 분할하여 복수의 제 1 추정 대상 블럭으로 구성된 제 1 추정 대상 블럭군을 생성하며, 상기 제 2 추정 대상 영상을 분할하여 복수의 제 2 추정 대상 블럭으로 구성된 제 2 추정 대상 블럭군을 생성하는 가변 블럭 분할 단계;
    상기 제 1 기준 복호 블럭군과 상기 제 1 추정 대상 블럭군에서 래스터 스캐닝 순으로 각각 상기 제 1 기준 복호 블럭과 상기 제 1 추정 대상 블럭을 선택하여 상기 제 1 기준 복호 블럭과 상기 제 1 추정 대상 블럭 간의 오차가 최소가 되도록 하는 스트레칭 정보인 제 1 비례 인자와 슬라이싱 정보인 제 1 가감 인자를 가변 블럭 기반으로 추정하여 래스터 스캐닝 순서로 제 1 비례/가감 인자 집합에 버퍼링하는 제 1 가변 블럭 추정 부호화 단계;
    상기 제 1 기준 복호 블럭군과 상기 제 2 추정 대상 블럭군에서 래스터 스캐닝 순으로 각각 상기 제 1 기준 복호 블럭과 상기 제 2 추정 대상 블럭을 선택하여 상기 제 1 기준 복호 블럭과 상기 제 2 추정 대상 블럭 간의 오차가 최소가 되도록 하는 스트레칭 정보인 제 2 비례 인자와 슬라이싱 정보인 제 2 가감 인자를 가변 블럭 기반으로 추정하여 래스터 스캐닝 순으로 제 2 비례/가감 인자 집합에 버퍼링하는 제 2 가변 블럭 추정 부호화 단계;
    래스터 스캐닝 순서 상에서 마지막에 위치한 최종 제 1 추정 대상 블럭에 대한 상기 제 1 비례 인자 및 상기 제 1 가감 인자와 최종 제 2 추정 대상 블럭에 대한 상기 제 2 비례 인자 및 상기 제 2 가감 인자가 추정됐는지 여부를 판단하여 판단 결과, 추정되지 않았으면, 상기 가변 블럭 분할 단계로 되돌아 가는 추정 부호화 완료 판단 단계; 및
    상기 추정 부호화 완료 판단 단계의 판단 결과, 상기 최종 제 1 추정 대상 블럭에 대한 상기 제 1 비례 인자와 상기 제 1 가감 인자가 추정되고, 상기 최종 제 2 추정 대상 블럭에 대한 상기 제 2 비례 인자와 상기 제 2 가감 인자가 추정됐으면, 상기 제 1 비례/가감 인자 집합 및 상기 제 2 비례/가감 인자 집합을 저장하거나 전송하는 비례/가감 인자 집합 저장/전송 단계로 구성되는 것을 특징으로 하는 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법.
  17. 제 16 항에 있어서, 상기 가변 블럭 추정 복호화 단계는,
    상기 웨이브렛 계수 데이터와 상기 제 1 비례/가감 인자 집합 및 상기 제 2 비례/가감 인자 집합을 입력받는 복호 데이터 입력 단계;
    상기 웨이브렛 계수 데이터를 이용하여 상기 검색 테이블 작성 단계와 동일한 수순을 거쳐 상기 검색 테이블을 작성하는 복호 검색 테이블 작성 단계;
    상기 웨이브렛 계수 데이터를 웨이블렛 역변환하여 상기 기준 영상에 대응하는 상기 제 2 기준 복호 영상을 복호하는 기준 영상 복호 단계;
    상기 제 1 비례/가감 인자 집합에서 상기 제 1 비례 인자와 상기 제 1 가감 인자를 래스터 스캐닝 순으로 판독하여 상기 검색 테이블에 따라 상기 제 2 기준 복호 영상에서 상기 제 1 추정 대상 영상과 같은 스펙트럴 대역을 갖는 제 1 추정 복호 영상을 가변 블럭 기반으로 추정 복호하는 제 1 가변 블럭 추정 복호 단계;
    상기 제 2 비례/가감 인자 집합에서 상기 제 2 비례 인자와 상기 제 2 가감 인자를 래스터 스캐닝 순으로 판독하여 상기 검색 테이블에 따라 상기 제 2 기준 복호 영상에서 상기 제 2 추정 대상 영상과 같은 스펙트럴 대역을 갖는 제 2 추정 복호 영상을 가변 블럭 기반으로 추정 복호하는 제 2 가변 블럭 추정 복호 단계; 및
    상기 제 2 기준 복호 영상과 상기 제 1 추정 복호 영상 및 상기 제 1 추정 복호 영상을 표색계 변환식에 대입하여 상기 동일 영상의 세 색영상 중 제 1 추정 대상 영상 및 제 2 추정 대상 영상을 제외한 나머지 한 영상과 같은 스펙트럴 대역을 갖는 영상을 계산을 통해 산출하는 제 3 색영상 산출 단계를 포함하는 것을 특징으로 하는 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법.
  18. 제 9 항에 있어서, 상기 오차는,
    최소 자승 오차(least square error)인 것을 특징으로 하는 영상 부호화 방법.
KR1019970009688A 1997-03-21 1997-03-21 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법 KR100231924B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019970009688A KR100231924B1 (ko) 1997-03-21 1997-03-21 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970009688A KR100231924B1 (ko) 1997-03-21 1997-03-21 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법

Publications (2)

Publication Number Publication Date
KR19980074045A true KR19980074045A (ko) 1998-11-05
KR100231924B1 KR100231924B1 (ko) 1999-12-01

Family

ID=19500344

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970009688A KR100231924B1 (ko) 1997-03-21 1997-03-21 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법

Country Status (1)

Country Link
KR (1) KR100231924B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100920195B1 (ko) * 2006-04-13 2009-10-06 캐논 가부시끼가이샤 정보 전송 장치 및 정보 전송 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100920195B1 (ko) * 2006-04-13 2009-10-06 캐논 가부시끼가이샤 정보 전송 장치 및 정보 전송 방법
US8923410B2 (en) 2006-04-13 2014-12-30 Canon Kabushiki Kaisha Information transmission apparatus and information transmission method

Also Published As

Publication number Publication date
KR100231924B1 (ko) 1999-12-01

Similar Documents

Publication Publication Date Title
Furht et al. Motion estimation algorithms for video compression
US5796434A (en) System and method for performing motion estimation in the DCT domain with improved efficiency
US8086052B2 (en) Hybrid video compression method
US20070025442A1 (en) Coding method for coding moving images
US20060039617A1 (en) Method and assembly for video encoding, the video encoding including texture analysis and texture synthesis, and corresponding computer program and corresponding computer-readable storage medium
JPH07288474A (ja) ベクトル量子化符号化装置と復号化装置
US6252905B1 (en) Real-time evaluation of compressed picture quality within a digital video encoder
JPH09121345A (ja) 画像符号化装置及び画像復号装置
US8204109B2 (en) Overcomplete basis transform-based motion residual frame coding method and apparatus for video compression
EP1845729A1 (en) Transmission of post-filter hints
US7280689B2 (en) Anti-compression techniques for visual images
JPH10336662A (ja) ピクチャ中央の画質を最適化するためのビデオ符号化方法、システムおよびコンピュータ・プログラム製品
JP3405788B2 (ja) 動画像符号化装置と動画像復号化装置
KR100681252B1 (ko) 트랜스코딩을 위해 출력 매크로블록 모드와 출력움직임벡터를 추정하는 방법 및 이를 이용한 트랜스코더
KR100231925B1 (ko) 전역 기반 색도 상관성을 이용한 영상 부호화 방법
US7006572B2 (en) Method and apparatus for decoding video bitstreams to reduced spatial resolutions
US20100002767A1 (en) Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program
Singh et al. JPEG2000: A review and its performance comparison with JPEG
KR19980074045A (ko) 가변 블럭 기반 색도 상관성을 이용한 영상 부호화 방법
JP2007151062A (ja) 画像符号化装置、画像復号装置及び画像処理システム
JP2004266794A (ja) マルチ・リゾルーション・ビデオ符号化および復号化
Bhojani et al. Hybrid video compression standard
US7706440B2 (en) Method for reducing bit rate requirements for encoding multimedia data
Casas et al. A region-based subband coding scheme
JPH07336684A (ja) 画像信号復号化装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080604

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee