KR20000059799A - 웨이브릿 부호화를 이용한 움직임 보상 부호화 장치 및 방법 - Google Patents

웨이브릿 부호화를 이용한 움직임 보상 부호화 장치 및 방법 Download PDF

Info

Publication number
KR20000059799A
KR20000059799A KR1019990007667A KR19990007667A KR20000059799A KR 20000059799 A KR20000059799 A KR 20000059799A KR 1019990007667 A KR1019990007667 A KR 1019990007667A KR 19990007667 A KR19990007667 A KR 19990007667A KR 20000059799 A KR20000059799 A KR 20000059799A
Authority
KR
South Korea
Prior art keywords
coding
motion
wavelet
zero
tree
Prior art date
Application number
KR1019990007667A
Other languages
English (en)
Inventor
김정민
박영만
Original Assignee
구자홍
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구자홍, 엘지전자 주식회사 filed Critical 구자홍
Priority to KR1019990007667A priority Critical patent/KR20000059799A/ko
Priority to US09/521,415 priority patent/US6553071B1/en
Publication of KR20000059799A publication Critical patent/KR20000059799A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]

Abstract

본 발명은 웨이브릿 부호화를 이용한 동영상 처리방법에서 움직임 벡터를 효율적으로 추출하여 전송하는 방법에 관한 것으로, 특히 웨이브릿 변환후의 각 밴드별 주파수 특징, 각 서브밴드별 특징을 위한 부호화를 수행하는 웨이브릿 부호화를 이용한 움직임 보상 부호화장치 및 방법에 관한 것이다.
이같은 본 발명에 의하면, 공간적 중복성이 제거된 웨이브릿 변환후의 주파수 영역의 정보를 각 서브밴드별의 특징을 이용하여 각 방향의 경계선 영역들을 탐색하고, 각 프레임 영상들의 비교를 통해서 움직임 영역이 있는 부분만을 따로 추출하여 시간적 중복성 제거를 위한 부호화를 수행하여 전송하도록 하는 것으로,
웨이브릿 변환후의 각 밴드별의 주파수 특징, 즉 경계선 성분의 방향적 특징에 따라 움직임 벡터를 추출하므로 움직임 벡터를 추출하는데 걸리는 수행시간을 많이 향상시킬수 있으며 또 그 정확성을 훨씬 높일수 있으며, 움직임이 감지된 영역에 해당되는 부분만을 따로 추출하여 상위계층의 데이터를 조사해가며 제로트리 구조를 사용한 EZW와 SPIHT 알고리즘으로 각 서브밴드별 특징을 위한 부호화를 할수 있으므로 화질은 향상시키면서 데이터의 압축률을 많이 향상시킬수 있도록 하여 모든 멀티미디어 응용분야에 적용하여 개선된 화질과 빨라진 수행시간의 효과를 볼수 있도록 한 것이다.

Description

웨이브릿 부호화를 이용한 움직임 보상 부호화 장치 및 방법{Device and method for motion compensation coding using wavelet coding}
본 발명은 웨이브릿 부호화를 이용한 동영상 처리방법에서 움직임 벡터를 효율적으로 추출하여 전송하는 방법에 관한 것으로, 특히 웨이브릿 변환후의 각 밴드별 주파수 특징, 각 서브밴드별 특징을 위한 부호화를 수행하는 웨이브릿 부호화를 이용한 움직임 보상 부호화장치 및 방법에 관한 것이다.
최근에는 급속히 발전하고 있는 컴퓨터 통신망이나 화상통신 기술의 발전으로 동화상(Moving picture)의 압축 부호화 방법과 전송기술등이 많이 이용되고 있다. 이러한 동화상 규격으로 사용되는 방식이 MPEG이다.
이와같은 동화상에서는 시간에 따라 변화하는 비디오 시퀀스(Video sequence)를 효율적으로 압축하기 위해 영상데이타가 갖고 있는 2차원 공간상의 중복성(Redundary) 뿐만 아니라 시간축의 중복성 제거가 절대적으로 필요하다.
MPEG에서는 2차원 공간상의 중복성을 줄이기 위하여 차영상을 DCT(Discrete Cosine Transform)를 이용하여 부호화를 수행하게 된다.
또한, 시간축의 중복성 제거를 위하여 시간축으로 연속된 화면들이 주로 화면의 중앙부분에서 사람이나 물체의 움직임이 있기 때문에 이러한 성질을 이용하여 움직임 보상방법을 이용한다.
즉, 시간적으로 인접한 두 영상을 비교하여 화면의 변화지 않은 부분이나 움직였다 하더라도 비숫한 부분을 바로 전 화면에서 가져와서 채움으로써 전송해야 할 데이터 량을 큰 폭으로 줄일수 있다.
이와같이, 화면(picture) 사이에서 가장 비숫한 블럭을 찾는 일을 움직임 예측(motion estimation)이라 하며, 얼마만큼 움직였는가 하는 변위를 나타내는 것을 움직임 벡터(motion vector)라 한다.
MPEG에서는 상기의 두 방법을 결합한 움직임 보상-DCT(MC-DCT:motion compensated DCT)방법을 이용하고 있는데, 그 움직임 보상은 휘도신호에 대해서만 행하게 된다.
먼저, 움직임 보상만을 이용해서 화면을 복원한 후에 그 복원된 화면과 원래의 화면을 뺀 후 그 차이를 DCT만을 이용하여 부호화하는 기법이 있는 데, 이 경우를 인터 코딩(inter coding)이라 한다.
그리고, 화면의 변화가 심한 그림이나 매크로 블럭(macro block)등은 움직임 보상을 이용하지 않고 단순히 DCT만을 이용하여 부호화하는 경우가 있는 데, 이를 인트라 코딩(intra coding)이라 한다.
그리고, MPEG이나 Motion JPEG으로 압축된 영상의 장면변화를 검출하기 위해 사용된 알고리즘은 크게 두 가지로 나눌수 있다.
한 가지 방법은 압축된 상태의 영상에 직접 처리를 하는 방법으로서, 이는 수행시간을 줄일수 있는 장점이 있지만 정확성이 떨어지는 문제점이 있으며, 다른 방법은 영상을 완전히 복원함으로써 보다 정확한 검출이 가능하나 속도가 느린 단점이 있다.
그러나, 공간적 중복성이 유지된 원영상의 블럭 단위별 비교를 통해서는 모든 데이터를 검색해야 하므로 많은 수행시간이 소요되기 때문이다.
그리고, 최근의 영상 압축 부호화 방법으로 DCT변환 방식의 단점인 블럭킹 효과(blocking effect)나 높은 압축률에서의 화질열화를 극복하기 위해 웨이브릿(wavelet) 기반의 변환방식이 많이 쓰이고 있다.
실제 영상신호 처리에서 많이 쓰이는 DWT(Discrete Wavelet Transform)는 도 1에 도시된 바와같이,
저주파와 고주파 분석필터(HO,H1)와 연속해서 다운 샘플링(2배씩)을 통한 웨이브릿 계수들로의 분해과정과 상기 분해된 웨이브릿 계수들을 연속해서 업 샘플링(2배씩)을 한 다음 저주파와 고주파 합성필터(GO,G1)를 사용해서 원영상으로의 합성과정 혹은 IDWT(Inverse Discrete Wavelet Transform)을 나타낸 것이다.
이러한 대역 필터 뱅크(filter bank)(HO,H1)(GO,G1)를 통한 출력 영상신호는 약간의 지연(delay)을 제외하면 입력 영상신호와 같게 된다.
그리고, 웨이브릿 변환 부호화는 각 병렬신호들의 대역분할 과정과 영상 압축과정이 독립적으로 운영되는 대역분활 부호화라는 장점이 있으며, 대역분할 부호화(Subband coding) 자체가 정보를 자연스럽게 서로 다른 해상도로 계층화시켜서 해상도가 다른 노드들 사이에서 부가계층의 신호들을 가감함으로써 필요한 대역 폭만을 사용할수 있는 장점이 있다.
여기서, 웨이브릿 변환 부호화 과정을 보면, 영상신호를 대역 필터뱅크(filter bank)를 통해서 서로 다른 주파수 영역으로 분리시키는 데, 이는 2차원 공간상의 주파수 영역으로 분할되며 주파수 대역이 높아짐에 따라 재생시 중요성은 감소하게 된다.
또한, 실제 영상 데이터의 내용을 보면 주파수가 낮은 대역의 경우 경계부분이 많이 무너진(smoothed) 영상을 나타내며, 고주파 대역들은 주파수 대역에 따라 수직 경계, 수평경계, 대각선 성분만을 나타낸다.
그리고, 입력 영상신호가 웨이브릿 변환되어 나타난 웨이브릿 계수들이 서브밴드 영역에 분포된 특징을 살펴보면,
정해진 영역의 오른쪽 상단에 위치하고 있는 서브밴드영역 HLi은 수평방향의 고주파 성분이 표시되고 있으며, 왼쪽 하단에 위치하고 있는 서브밴드 영역 LHi은 수직방향의 고주파 성분이 표시되고, 오른쪽 하단에 위치하고 있는 서브밴드 영역 HHi은 대각선 성분이 나타나게 된다.
특히, 인간의 시각이 대각선 성분의 인지에 약하다는 것을 감안하면 이 대역 데이터의 중요도를 더 세분화할수도 있다는 것을 알수 있다.
따라서, 웨이브릿 변환을 수행한 결과는 서브밴드 영역분할 구조로서, 인간의 시간적 인식에 민감한 영향을 미치는 의미있는 정보를 상대적으로 더 많이 포함한 저주파 영역이 한쪽으로 집중되고, 영상신호의 의미있는 정보가 상대적으로 더 적게 포함된 고주파 영역이 다른 한쪽으로 집중되는 형태를 가진다.
이러한 웨이브릿 변환의 특징을 이용하여 많은 압축 부호화 방법이 개발되어동화상의 압축 부호화방법에도 적용이 되고 있으며, 실제 MPEG4에서 웨이브릿 변환기반의 EZW(Embedded Zero-tree Wavelet) 알고리즘을 이용한 부호화 방법이 규격으로 제정되고 있기도 한다.
EZW알고리즘은 Jerome M.shapiro가 제안한 방법으로 엔트로피(entropy)를 이용한 부호화 방법이 웨이브릿 부호화 방법에 적합하게 변형되어 적용된 형태라고 할수 있다.
그러나, 영상의 2차원 공간상의 중복성을 제거하기 위해서 새로운 방법인 웨이브릿 변환방법이 이용되기 시작하였지만 웨이브릿 변환의 특징을 이용한 움직임 보상 부호화방법이 많이 개발되지 않은 것이 사실이다.
따라서, 영상의 시간의 중복성을 제거하기 위한 방법으로 웨이브릿 변환의 특징을 이용한 효율적인 부호화방법을 제시하고자 한다.
상기와 같은 문제점을 해결하기 위하여, 본 발명은 공간적 중복성이 제거된 웨이브릿 변환후의 주파수 영역의 정보를 각 서브밴드별의 특징을 이용하여 각 방향의 경계선 영역들을 탐색하고, 각 프레임 영상들의 비교를 통해서 움직임 영역이 있는 부분만을 따로 추출하여 시간적 중복성 제거를 위한 부호화를 수행하여 전송하도록 하는 것으로,
웨이브릿 변환후의 각 밴드별의 주파수 특징, 즉 경계선 성분의 방향적 특징에 따라 움직임 벡터를 추출하므로 움직임 벡터를 추출하는데 걸리는 수행시간을 많이 향상시킬수 있으며 또 그 정확성을 훨씬 높일수 있으며, 움직임이 감지된 영역에 해당되는 부분만을 따로 추출하여 상위계층의 데이터를 조사해가며 제로트리 구조를 사용한 EZW와 SPIHT 알고리즘으로 각 서브밴드별 특징을 위한 부호화를 할수 있으므로 화질은 향상시키면서 데이터의 압축률을 많이 향상시킬수 있도록 하여 모든 멀티미디어 응용분야에 적용하여 개선된 화질과 빨라진 수행시간의 효과를 볼수 있도록 한 것이다.
도 1은 대역분할 분석 및 합성필터 뱅크의 트리 구조.
도 2는 본 발명 웨이브릿 부호화를 이용한 움직임 보상 부호화장치를 보인 블럭 구성도.
도 3은 영상신호의 웨이브릿 변환결과의 서브밴드 영역 구조.
도 4는 웨이브릿 변환계수들의 제로트리 구조.
도 5는 본 발명 움직임 벡터를 추출하기 위한 블럭 검색의 방향구조.
도 6은 본 발명 웨이브릿 계층적 구조를 적용한 제로트리 부호화 방식의 구조.
도 7은 본 발명 웨이브릿 부호화를 이용한 움직임 보상 부호화 방법을 보인 플로우 챠트.
본 발명 웨이브릿 부호화를 이용한 움직임 보상 부호화장치는 도 2에 도시된 바와같이,
입력 영상신호를 웨이브릿 변환(DWT;Discret Wavelet Transform)하여 서로 다른 계층적 구조의 서브밴드 영역으로 분할하는 웨이브릿 변환수단(DWT)(10)과, 웨이브릿 변환된 영상과 움직임이 존재하지 않는 이전영상을 가산하는 가산기(11)와, 상기 가산기(11)를 통한 웨이브릿 변환된 영상정보를 저장하는 영상메모리(12)와, 상기 영상메모리(12)에 저장된 앞뒤 프레임과의 비교를 통한 움직임 영역을 추출하는 블럭 움직임 보상수단(BLOCK MOTION COMPENSATOR)(13)과, 상기 블럭 움직임 보상수단(13)에 의해 추출된 해당 움직임 블럭과 그 상위레벨에 해당되는 위치정보를 제로트리 구조를 사용한 EZW나 SPIHT알고리즘을 이용하여 압축 부호화하는 제로트리 부호화수단(ZEROTREE CODER)(14)과, 상기 움직임 영역이 보상되어 제로트리 부호화된 계수들을 호프만 방식이나 산술적 코딩(arithematic coding)방식으로 부호화하는 엔트로피 부호화수단(15)과, 상기 엔트로피 부호화수단(15)에 의해 부호화된 영역을 전송하기 위해 저장하는 버퍼수단(16)과, 상기 버퍼수단(16)의 용량을 고려한 정보로 부터 제로트리 부호화수단(14)의 양자화율을 제어하는 비트율 제어수단(17)으로 구성된다.
그리고, 상기 영상메모리(12)는 필드 또는 프레임 단위로 저장하게 된다.
상기 블럭 움직임 보상수단(13)에서 동영상을 기준으로 했을 때 움직임 벡터를 찾아내기 위한 단위블럭의 크기는 제로트리 부호화를 하기 위한 최소크기로 하되, 그 단위블럭을 64×64크기로 설정하는 것을 특징으로 하며, 웨이브릿 변환후 각 밴드별의 주파수 특징, 즉 원영상에서 각 방향을 나타내는 경계선 성분의 방향적 특징에 따라 움직임 벡터를 추출하는 것을 특징으로 한다.
상기 제로트리 부호화수단(14)은 제로트리라는 데이터 구조를 이용하고, bit-plane부호화방법이 혼합된 것으로, 트리의 하위구조가 제로이고, 시작하는 위치가 제로인 트리의 루트(root)로 설정하는 제로 기호들(symbols)의 트리구조를 정의하는 것이다.
또한, 제로트리는 웨이브릿 변환계수를 부호화함에 있어 원영상의 같은 공간적 위치에 관련된 계수를 같이 모아서 부호화를 하고, 그 구조는 2의 제곱에 비례하여 증가하게 된다.
그리고, 웨이브릿 변환을 이용한 움직임 보상 부호화방법은 도 7에 도시된 바와같이,
입력영상을 웨이브릿 변환하고 웨이브릿 변환된 영상을 프레임 버퍼에 저장하는 제 1단계와, 상기 프레임 버퍼에 저장된 영상이 I프레임인가를 판단한 후 I프레임이면 제로트리 코딩을 하고, I프레임이 아니면 B,P프레임이므로 움직임 벡터를 추출한 후 움직임 영역의 존재 유무를 판별하는 제 2단계와, 상기 움직임 영역이 존재하지 않으면 웨이브릿 변환된 영상과 함께 프레임 버퍼에 저장하고, 움직임 영역이 존재하면 움직임 영역의 위치정보를 저장한 후 움직임 영역의 제로트리 코딩을 행하는 제 3단계와, 상기 제로트리 코딩된 영상을 합성한 후 엔트로피 부호화를 행하는 제 4단계로 진행하게 된다.
상기와 같은 본 발명 웨이브릿 변환을 이용한 움직임 보상 부호화장치 및 방법에 대하여 도 2내지 도 7를 참조하여 설명하면 다음과 같다.
먼저, 웨이브릿 변환수단(DWT)(11)에 의해 계층적 구조를 나타내는 웨이브릿 변환계수들의 특징을 보면, 웨이브릿 변환된 영상은 압축하기에 편리한 계층적 구조로서, 높은 레벨에는 저주파수 성분이, 그리고 낮은 레벨에서는 고주파수 성분이 계층적 구조를 보이며 도 3과 같이 나타난다.
그리고, 웨이브릿 분해된 영상중에서 HL밴드는 영상의 세로방향의 고주파 성분, LH밴드는 영상의 가로방향의 고주파 성분, HH밴드는 대각방향의 고주파 성분이 각각 나타나게 되는 데, 이는 원영상에서의 각 방향의 경계선 영역을 나타내는 성분을 표시한다고 할수 있다.
또한, 이런 변화된 영상에서는 웨이브릿 변환만이 가지는 계수들의 통계적 특성을 갖게 된다. 즉, 저주파수 밴드에서 어떤 계수가 임계값보다 작으면 전체 영상에서 중요한 의미를 갖지 않고, 분해영상에서 같은 방향,같은 위치에 해당하는 계수들도 함께 중요한 의미를 갖지 않는다.
이와 같은 웨이브릿 변환결과에 의한 통계적특성을 대전제로 제로트리 부호화수단(14)에서 제로트리 부호화형태로 구성할수 있다.
그리고, 제로트리 부호화수단(14)은 EZW(Embedded Zero-tree Wavelet)나 SPIHT(Set Partional In Hierarchial Tree)알고리즘을 이용하여 웨이브릿 변환된 영상을 압축 부호화를 하게 되는 데,
EZW(Embedded Zero-tree Wavelet)는 Shapiro가 제안한 방법으로 중요한 의미를 갖지 않는 계수를 한꺼번에 구조적으로 부호화할수 있는 기법이다. 즉, 엔트로피(entropy)를 이용한 부호화 방법이 웨이브릿 부호화 방법에 적합하게 변형되어 적용된 형태라고 할수 있다.
제로 트리에 기반한 압축 부호화방법은 제로트리라는 데이터구조를 이용하고 bit-plane 부호화 방법이 혼합된 것으로, 트리의 하위구조가 제로이고 시작하는 위치가 제로인 트리의 루트(root)로 설정하는 제로 기호들의 트리구조를 정의하게 되고, 제로 트리의 루트는 EOB(end of block)로 설정되는 것이다.
또한, 도 4와 같이 트리의 구조는 2의 제곱에 비례하여 커지기 때문에 많은 양의 정보를 한꺼번에 부호화할수 있으며, 웨이브릿 변환계수를 부호화함에 있어 원영상의 같은 공간적 위치에 관련된 계수를 같이 모아서 부호화를 한다.
이를 위한 구체적인 부호화과정은 주 경로(Dominant Pass)와 부 경로(Subordinate Pass)로 나뉘며, 주 경로에서는 중요한 계수를 각 임계값을 기준으로 가려내고, 부 경로에서는 계수의 크기에 따른 중요도 순서로 계수를 정렬하여 매입파일(embedded file)을 생성한다.
주 경로에서 사용된 영상심볼은 Positive(POS), Negative(NEG), Isolated Zero Tree(IZT), Zere Tree Root(ZTR), Zero Tree Coefficient(ZTC)의 5종류로 표현할수 있으며, 이중 POS와 NEG만 의미있는 심볼로 간주하여 부 경로에서 정렬된다.
상기와 같은 매입(embedded) 형태의 영상 부호화기는 임의의 순간에 부호화와 복호화를 멈출수 있는 특성을 가지고 있기 때문에 정확한 압축률의 조정이 가능하다.
이러한 매입의 특성을 가지기 위해서는 웨이브릿 계수의 값을 부호화하는 동시에 그 값의 위치정보도 부호화해야 한다. 실제 부호화에 있어서 이 위치정보를 부호화하는데 많은 비트가 할당되는 데, 이 위치정보를 효율적으로 부호화하게 되면 그 만큼 많은 비트의 계수를 부호화하는데 사용되어 질수 있으므로 보다 높은 부호화효율을 얻을수 있다.
그리고, 웨이브릿 변환수단(10)에 의해 계층적 구조를 나타내는 웨이브릿 변환계수들은 가산기(11)를 통해 영상메모리(12)에 필드 또는 프레임단위로 저장된다.
그러면, 블럭 움직임 보상수단(13)은 영상메모리(12)에 저장된 웨이브릿 변환된 계수들의 움직임 벡터를 추출하게 되는바,
도 5와 같이 블럭 움직임 보상수단(13)은 레벨이 높아질수록 2배씩 다운 샘플링된 영역의 경계선을 나타내게 되므로 정확한 원영상의 경계선 윤곽을 나타내기 위해 제일 낮은 레벨의 HL,LH영역의 경계선 윤곽을 조사하게 된다.
따라서, 최하위 레벨의 HL,LH영역을 각각 가로와 세로 방향으로 스캔을 하면서 움직임 벡터를 검색하는 것이다.
이때, 움직임 벡터를 검색하기 위한 블럭의 크기는 제로트리 부호화를 하기 위해서 최소 64×64의 크기가 되어야 한다. 왜냐하면 실시간 화상통신에서 사용되는 동화상의 크기는 160×120에서 320×240인데, 웨이브릿 필터의 크기를 감안한 분해의 레벨은 보통 5~6정도이므로 최상위 LL영역의 한 픽셀(pixel)의 크기는 최하위 레벨에서는 32×32에서 64×64크기의 블럭이 되는 것이다.
따라서, 보통의 320×240크기의 동영상을 기준으로 했을 때 움직임 벡터를 찾아내기 위한 블럭의 크기는 64×64가 되어야 제로트리 구조를 이용한 부호화를 최적으로 수행하게 된다.
그러므로, 움직임 벡터를 찾아내기 위한 단위블럭을 64×64크기로 하고, 그 단위블럭이 정해지면 앞뒤 프레임과의 비교를 통한 움직임 영역을 추출한다.
상기한 바와같이, 블럭 움직임 보상수단(13)은 웨이브릿 분해후 각 방향의 경계선 영역의 분포를 나타내는 계수들의 특징을 이용하여 움직임 비교를 하여 움직임 벡터를 추출하게 된다.
이와같이, 블럭 움직임 보상수단(13)의 비교결과 움직임영역이 존재하지 않을 경우, 그 영역은 가산기(11)에서 웨이브릿 변환된 영상과 함께 영상메모리(12)에 저장되고, 움직임 영역이 있을 경우에는 제로트리 부호화수단(14)에 보내게 된다.
이때, 제로트리 부호화수단(14)은 최하위 레벨의 HL,LH밴드에서 경계선 영역을 통한 움직임 블럭이 발견되면 해당 부분의 부호화를 하게 되는 바,
이제까지의 DCT변환이나 2차원 공간상의 중복성이 제거되지 않는 원영상에서는 움직임 영역에 해당하는 블럭만 부호화를 하면 되었지만, 웨이브릿 분해를 한 후의 데이터들은 상기에서 설명한 것과 같이 계층적 구조를 가지며, 각 밴드별로 비숫한 분포를 보이게 되므로서, 해당 움직임 블럭뿐만 아니라 그 상위 레벨에 해당되는 부분도 같이 부호화를 해야 정확한 영상의 복원이 가능하게 된다.
그러므로, 제로트리 부호화수단(14)은 블럭 움직임 보상수단(13)에 의해 앞뒤 프레임과의 비교를 통한 움직임 영역이 추출된 후에는 발견된 단위블럭의 위치를 조사하여 일반적인 제로트리 구조의 반대방향으로 스캔(scan)을 하여 최상위 LL밴드의 위치를 찾을수 있는 것으로, 이는 과정은 도 6에 도시된 바와같이 웨이브릿 계층적 구조를 적용한 제로트리 부호화 기법이 잘 나타나 있다.
즉, 이것은 제로트리를 생성하기 위한 루트를 찾는 과정으로, 찾아진 최상위 LL밴드의 한 점은 계층적 피라미드 구조의 제일 상위부분이라고 할수 있으므로, 최하위 레벨의 움직임 영역에 해당하는 상위의 트리 구조를 이용하여 그 부분만을 따로 제로트리를 이용한 부호화를 하게 된다.
그리고, 부호화된 최상위 레벨 픽셀의 위치정보를 같이 보내고, 나머지 부분의 데이터들(움직임이 존재하지 않는 블럭의 데이터)은 전송을 하지 않게 된다.
따라서, 제로트리 부호화수단(14)에서 해당 움직임 블럭뿐만 아니라 그 상위 레벨에 해당되는 부분도 같이 부호화를 해 주게 되므로, 수신측에서는 부가적인 위치정보를 이용하여 해당위치에 복호화를 하게 되고, 나머지 데이타들은 이전 프레임의 데이터를 그대로 사용하게 된다.
그리고, 움직임 영역이 보상되어 해당영역의 제로트리 부호화가 끝나게 되면, 엔트로피 부호화수단(15)은 호프만 방식이나 산술적 코딩을 이용한 엔트로피 코딩(entropy coding)을 이용하여 부호화하게 된다.
상기 엔트로피 부호화수단(15)에서 부호화된 영역의 데이타는 버퍼수단(16)에 임시 저장된 후 수신측에 전송되며, 비트율 제어수단(17)은 버퍼수단(16)의 용량을 고려한 정보로 부터 제로트리 부호화수단(14)의 양자화율을 제어하게 된다.
그러면, 수신측에서는 움직임 영역의 데이터들이 제로트리 구조를 이용하여 상위레벨의 웨이브릿 계수들까지 한꺼번에 부호화된 데이터를 부가적인 위치정보를 이용하여 해당되는 위치에 복호화를 하게 되고, 나머지 데이터(움직임 영역이 존재하지 않은 블럭의 데이터들)는 이전 프레임 데이터를 사용하고, 이후 웨이브릿 계수들을 웨이브릿 합성을 통하여 원영상을 복원하게 되는 것이다.
한편, 웨이브릿 부호화를 이용한 움직임 보상 부호화방법은 도 7를 참조하여 설명하면,
입력영상을 웨이브릿 변환한 후 영상메모리(12)인 프레임 버퍼에 저장하고, 상기 프레임 버퍼에 저장된 영상이 I픽쳐인지를 판단하게 된다.
상기 판단결과 I픽쳐 즉, 화면의 변화가 심한 영상이나 매크로 블럭 등을 부호화하는 인트라 코딩(Intra coding)이 필요한 영상이라면 웨이브릿 변환 후 바로 제로트리를 이용한 압축 부호화를 하게 된다.
그리고, 상기 판단결과 인터코딩(inter codign)이 필요한 B,P픽쳐이면 움직임 벡터를 추출하고 해당 움직임 영역의 위치정보를 저장한 다음 움직임 영역에 대한 제로트리 코딩을 하게 된다.
상기 B,P픽쳐의 움직임 보상이 되어 해당영역의 제로트리 부호화가 끝나게 되면 I픽쳐의 제로트리 부호화가 된 것과 같이 호프만 방식이나 산술적 코딩(arithematic coding)을 이용한 엔트로피 코딩(entropy coding)을 하여 I프레임과 합성하게 된다.
이렇게 합성된 영상은 버퍼(buffer)에 저장된 후 전송되며, 복호화 과정은 부호화과정의 역순으로 행하게 된다.
이상에서 설명한 바와같이, 본 발명은 움직이는 동영상에서의 압축 부호화를 함에 있어서 웨이브릿 변환계수들의 특징을 이용하고, 움직임 벡터를 효율적으로 추출하여 제로트리 구조를 이용한 EZW나 SPIHT 알고리즘을 이용하여 각 서브밴드별 특징을 위한 부호화를 할수 있으므로 데이터의 압축율 향상 및 훨씬 향상된 수행시간과 화질을 보일수 있으며, 동영상을 사용하는 모든 멀티미디어 응용분야에 적용하여 개선된 화질과 빨라진 수행시간의 효과를 볼수 있는 것으로, 실시간 처리가 요구되는 화상통신과 동화상 비디오 폰 등에 쉽게 적용을 할수 있는 것이다.

Claims (3)

  1. 입력 영상신호를 웨이브릿 변환하여 서로 다른 계층적 구조의 서브밴드 영역으로 분할하는 웨이브릿 변환수단과, 상기 웨이브릿 변환된 영상과 움직임이 존재하지 않는 블럭의 데이타들을 가산하는 가산기와, 상기 가산기를 통한 웨이브릿 변환된 영상데이타를 저장하는 영상메모리와, 상기 영상메모리에 저장된 영상데이타의 앞뒤 프레임과의 비교를 통한 움직임 영역을 추출하는 블럭 움직임 보상수단과, 상기 블럭 움직임 보상수단에 의해 추출된 해당 움직임 블럭과 그 상위레벨에 해당되는 위치정보를 제로트리 구조를 사용한 EZW나 SPIHT알고리즘을 이용하여 압축 부호화하는 제로트리 부호화수단과, 상기 움직임 영역이 보상되어 제로트리 부호화된 계수들을 호프만 방식이나 산술적 코딩방식으로 부호화하는 엔트로피 부호화수단을 포함한 것을 특징으로 하는 웨이브릿 부호화를 이용한 움직임 보상 부호화장치.
  2. 제 1항에 있어서, 상기 블럭 움직임 보상수단은 움직임 벡터를 찾아내기 위한 단위블럭의 크기를 제로트리 부호화를 하기 위한 최소크기의 단위블럭을 64×64크기로 설정하는 것을 특징으로 하며,
    앞뒤 프레임과의 비교를 통한 움직임 영역은 웨이브릿 변환후 각 밴드별의 주파수 특징을 이용하여 각 방향의 경계선 영역인 가로방향의 고주파 성분과 세로방향의 고주파 성분을 각각 스캔 하면서 움직임 벡터를 추출하는 것을 특징으로 하는 웨이브릿 부호화를 이용한 움직임 보상 부호화장치.
  3. 입력영상을 웨이브릿 변환하고 웨이브릿 변환된 영상을 프레임 버퍼에 저장하는 제 1단계와, 상기 프레임 버퍼에 저장된 영상이 I프레임인가를 판단한 후 I프레임이면 제로트리 코딩을 하고, I프레임이 아니면 B,P프레임이므로 움직임 벡터를 추출한 후 움직임 영역의 존재 유무를 판별하는 제 2단계와, 상기 움직임 영역이 존재하지 않으면 웨이브릿 변환된 영상과 함께 프레임 버퍼에 저장하고, 움직임 영역이 존재하면 움직임 영역의 위치정보를 저장한 후 움직임 영역의 제로트리 코딩을 행하는 제 3단계와, 상기 제로트리 코딩된 영상을 합성한 후 엔트로피 부호화를 행하는 제 4단계로 진행하는 것을 특징으로 하는 웨이브릿 부호화를 이용한 움직임 보상 부호화방법.
KR1019990007667A 1999-03-09 1999-03-09 웨이브릿 부호화를 이용한 움직임 보상 부호화 장치 및 방법 KR20000059799A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1019990007667A KR20000059799A (ko) 1999-03-09 1999-03-09 웨이브릿 부호화를 이용한 움직임 보상 부호화 장치 및 방법
US09/521,415 US6553071B1 (en) 1999-03-09 2000-03-08 Motion compensation coding apparatus using wavelet transformation and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990007667A KR20000059799A (ko) 1999-03-09 1999-03-09 웨이브릿 부호화를 이용한 움직임 보상 부호화 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20000059799A true KR20000059799A (ko) 2000-10-05

Family

ID=19575906

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990007667A KR20000059799A (ko) 1999-03-09 1999-03-09 웨이브릿 부호화를 이용한 움직임 보상 부호화 장치 및 방법

Country Status (2)

Country Link
US (1) US6553071B1 (ko)
KR (1) KR20000059799A (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010074288A (ko) * 2001-05-04 2001-08-04 이호석 영상의 부호화 및 복호화 방법
KR20010081142A (ko) * 2000-01-04 2001-08-29 구자홍 화상통신기기의 화상압축 부호화 방법 및 장치
KR100366382B1 (ko) * 2001-02-12 2002-12-31 (주) 멀티비아 동영상 부호화 장치 및 방법
KR100366638B1 (ko) * 2001-02-07 2003-01-09 삼성전자 주식회사 웨이블릿 변환을 기본으로하여 트리-구조의 벡터 양자화기법을 이용한 영상 부호화 장치 및 부호화 방법
KR100389807B1 (ko) * 2001-05-30 2003-07-02 한국과학기술원 Ｓｐｉｈｔ에 기반한 관심영역의 코딩방법
KR100403601B1 (ko) * 2001-12-21 2003-10-30 삼성전자주식회사 영상의 윤곽선 보정 장치 및 방법
KR100451584B1 (ko) * 2001-12-20 2004-10-08 엘지전자 주식회사 웨이블릿 변환과 움직임 추정을 이용한 동영상 부호화 및복호화 장치

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3414683B2 (ja) * 1999-11-16 2003-06-09 株式会社国際電気通信基礎技術研究所 対象物の表面動き測定方法および装置、ならびに当該方法を実現するようコンピュータを動作させるためのプログラムを記憶したコンピュータ読取可能な記録媒体
KR100359821B1 (ko) * 2000-01-20 2002-11-07 엘지전자 주식회사 움직임 보상 적응형 영상 압축과 복원방법 및 그 장치와디코더
US6947486B2 (en) * 2001-03-23 2005-09-20 Visioprime Method and system for a highly efficient low bit rate video codec
KR100490395B1 (ko) * 2001-10-29 2005-05-17 삼성전자주식회사 움직임 벡터 추정 방법 및 이에 적합한 장치
US7706583B2 (en) * 2002-11-11 2010-04-27 Canon Kabushiki Kaisha Image processing apparatus and method
US20060257028A1 (en) * 2002-12-31 2006-11-16 France Telecom Method and device for detection of points of interest in a source digital image, corresponding computer program and data support
KR100855466B1 (ko) 2004-01-27 2008-09-01 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 및 이를 위한 장치
US20060245500A1 (en) * 2004-12-15 2006-11-02 David Yonovitz Tunable wavelet target extraction preprocessor system
US7570286B2 (en) * 2005-05-27 2009-08-04 Honda Motor Co., Ltd. System and method for creating composite images
JP4529874B2 (ja) * 2005-11-07 2010-08-25 ソニー株式会社 記録再生装置および記録再生方法、記録装置および記録方法、再生装置および再生方法、並びにプログラム
GB2443581B (en) * 2005-11-07 2010-06-09 Sony Corp Recording apparatus, method, and program
MX349418B (es) 2010-08-17 2017-07-28 Samsung Electronics Co Ltd Metodo y aparato de codificacion de video que utiliza unidad de transformacion de estructura arborescente variable y metodo y aparato de decodificacion de video.
US9531915B2 (en) * 2013-12-04 2016-12-27 Aspeed Technology Inc. Image encoding system and method thereof
CN107634928B (zh) * 2016-07-18 2020-10-23 华为技术有限公司 一种码流数据的处理方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5412741A (en) * 1993-01-22 1995-05-02 David Sarnoff Research Center, Inc. Apparatus and method for compressing information
JPH08186815A (ja) * 1994-12-28 1996-07-16 Pioneer Electron Corp サブバンド符号化方法
US6160846A (en) * 1995-10-25 2000-12-12 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
JP2000506686A (ja) * 1995-10-25 2000-05-30 サーノフ コーポレイション オーバラップブロック動き補償及びゼロツリーウェーブレット符号化を用いる低ビットレートビデオ符号化器
KR19990005283A (ko) * 1997-06-30 1999-01-25 배순훈 웨이브렛 변환 영역에서의 계층적 움직임 추정 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010081142A (ko) * 2000-01-04 2001-08-29 구자홍 화상통신기기의 화상압축 부호화 방법 및 장치
KR100366638B1 (ko) * 2001-02-07 2003-01-09 삼성전자 주식회사 웨이블릿 변환을 기본으로하여 트리-구조의 벡터 양자화기법을 이용한 영상 부호화 장치 및 부호화 방법
KR100366382B1 (ko) * 2001-02-12 2002-12-31 (주) 멀티비아 동영상 부호화 장치 및 방법
KR20010074288A (ko) * 2001-05-04 2001-08-04 이호석 영상의 부호화 및 복호화 방법
KR100389807B1 (ko) * 2001-05-30 2003-07-02 한국과학기술원 Ｓｐｉｈｔ에 기반한 관심영역의 코딩방법
KR100451584B1 (ko) * 2001-12-20 2004-10-08 엘지전자 주식회사 웨이블릿 변환과 움직임 추정을 이용한 동영상 부호화 및복호화 장치
KR100403601B1 (ko) * 2001-12-21 2003-10-30 삼성전자주식회사 영상의 윤곽선 보정 장치 및 방법

Also Published As

Publication number Publication date
US6553071B1 (en) 2003-04-22

Similar Documents

Publication Publication Date Title
KR20000059799A (ko) 웨이브릿 부호화를 이용한 움직임 보상 부호화 장치 및 방법
JP5014989B2 (ja) 基礎階層を利用するフレーム圧縮方法、ビデオコーディング方法、フレーム復元方法、ビデオデコーディング方法、ビデオエンコーダ、ビデオデコーダ、および記録媒体
KR100664928B1 (ko) 비디오 코딩 방법 및 장치
US6084908A (en) Apparatus and method for quadtree based variable block size motion estimation
TWI436286B (zh) 畫像解碼方法及裝置
US8000542B2 (en) Apparatus and method for processing image data based on object movement speed within a frame
JP4429968B2 (ja) Ｓｖｃの圧縮率を高めるシステムおよび方法
JP2001326936A (ja) 画像符号化装置及び方法
KR20020064803A (ko) 비디오 코딩 방법
US8855198B2 (en) Moving picture encoding method, moving picture decoding method, moving picture encoding device, moving picture decoding device, and computer program
JP2002519955A (ja) 画像符号化装置及び画像復号装置
CN1276664C (zh) 视频编码方法
CN102006483B (zh) 一种视频编解码方法及装置
KR100621584B1 (ko) 스무딩 필터를 이용하는 비디오 디코딩 방법 또는 비디오디코더
US6956973B1 (en) Image compression
KR101246115B1 (ko) 3차원 웨이블릿 기반 영상 부호화/복호화 방법 및 장치
KR100532304B1 (ko) 블록별 에너지를 기초로 정지 영상을 고속으로 부호화할수 있는 고속 이산 웨이블렛 부호화 장치 및 방법
KR20040106418A (ko) 웨이브렛 부호화에 대한 다중 기준 프레임들에 기초한움직임 보상 시간 필터링
Morris et al. Intra-frame wavelet video coding
Nayan et al. Baseline JPEG-like DWT CODEC for disparity compensated residual coding of stereo images
Ibaba et al. A review of video compression optimization techniques
JP2007189622A (ja) 動画像符号化方法及び装置及び復号化方法及び装置及び動画像処理プログラム及びコンピュータ読み取り可能な記録媒体
Omaki et al. Embedded zerotree wavelet based algorithm for video compression
Danyali Highly scalable wavelet image and video coding for transmission over heterogeneous networks
Padmanabhan et al. An Efficient Video Compression Encoder Based on Wavelet Lifting Scheme in LSK

Legal Events

Date Code Title Description
N231 Notification of change of applicant
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid