KR20060031857A - 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 및 프로그램을 수록한 컴퓨터 판독가능 기록매체 - Google Patents

동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 및 프로그램을 수록한 컴퓨터 판독가능 기록매체 Download PDF

Info

Publication number
KR20060031857A
KR20060031857A KR1020067000573A KR20067000573A KR20060031857A KR 20060031857 A KR20060031857 A KR 20060031857A KR 1020067000573 A KR1020067000573 A KR 1020067000573A KR 20067000573 A KR20067000573 A KR 20067000573A KR 20060031857 A KR20060031857 A KR 20060031857A
Authority
KR
South Korea
Prior art keywords
signal
temporal
spatial
subband
low frequency
Prior art date
Application number
KR1020067000573A
Other languages
English (en)
Other versions
KR100734790B1 (ko
Inventor
다카히로 기모토
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20060031857A publication Critical patent/KR20060031857A/ko
Application granted granted Critical
Publication of KR100734790B1 publication Critical patent/KR100734790B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

계층 부호화에 기초하는 동화상 부호화 방법을 제공한다. 그 방법은 시간 방향 필터링되고 그 후 계층 분할된 개별 계층들의 신호들 중에서 하위 계층에 속하는 시간 필터링 하위 계층 신호와, 전술한 하위 계층 신호의 상위 계층에 대응하는 신호에 대하여 시간 방향 필터링을 수행함으로써 획득된 상위 계층 시간 필터링 신호를 부호화하는 단계를 포함한다. 따라서, 모든 계층들의 복호 신호들은, 부호화가 신호 계층을 통해 수행되는 경우의 복호 화상과 동등한 화상 품질을 가질 수 있다.
동화상 신호, 계층 부호화, 서브밴드 합성, 서브밴드 분할, 예측 오차 신호

Description

동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 및 컴퓨터 프로그램{MOVING PICTURE ENCODING METHOD, MOVING PICTURE DECODING METHOD, MOVING PICTURE ENCODING DEVICE, MOVING PICTURE DECODING DEVICE, AND COMPUTER PROGRAM}
기술 분야
본 발명은 동화상 부호화/복호 방법, 동화상 부호화/복호 장치 및 그 컴퓨터 프로그램에 관한 것이다.
배경 기술
서브밴드 부호화는, 화상 신호의 주파수를 분할하고 각각의 주파수 대역의 신호 (서브밴드 신호) 를 부호화하는 방법이다. 이산 코사인 변환과 같은 블록-기반 직교 변환 (block-based orthogonl transform) 과 달리, 서브밴드 부호화는, 원리적으로는 블록 왜곡이 발생되지 않고, 계층 부호화가 저주파 성분들을 재귀적으로 분할함으로써 용이하게 구현될 수 있는 특징을 가진다. 국제 표준 부호화 방법으로서 JPEG 로의 웨이브렛 변환 (wavelet transform) 을 사용하는 서브밴드 부호화는 여전히 동화상에 사용되고 있다.
서브밴드 부호화가 동화상 부호화에 사용되는 경우, 신호의 공간 방향 및 시간 방향으로의 상관 (correlation) 이 고려되어야 한다. 서브밴드 동화상 부호화는 2 개의 방법 즉, 공간 영역에서 원화상 (original image) 에 대하여 동작 보 상 (motion compensation) 을 수행함으로써 시간 방향으로의 상관이 제거된 이후, 각각의 프레임에 대하여 서브밴드 부호화가 수행되는 방법과, 원화상이 서브밴드들로 분할된 이후, 각각의 서브밴드 영역에 대하여 동작 보상을 수행함으로써 시간 방향의 이러한 상관이 제거되는 방법으로 대충 분류된다.
도 25 는 공간 영역에서 동작 보상을 수행하는 종래의 부호화 프로세스 (encoding process) (비특허 문헌 J.-R. Ohm, "동작 보상을 갖는 3 차원 서브밴드 부호화 (Three-dimensional subband coding with motion compensation)", IEEE Trans， 이미지 처리，vol. 3, pp. 559-571 ，1999년 9월) 의 흐름을 나타내는 흐름도다. 이하 도 25 를 참조하여, 연속하는 프레임의 집합 A(O)[i] (0≤i<n，n은 2의 제곱) 의 부호화 프로세스를 설명한다. 우선, j=l，i=0, 2,...n-2 로 설정함으로써, 연속하는 2 개의 프레임 A(O)[i] 와 A(O)[i+1] 이 시간 방향으로 서브밴드 분할되어 (단계 201 및 202), 저주파 대역의 A(l)[i] 와 고주파 대역의 E[i+1] 을 획득한다 (단계 203, 단계 204 및 단계 205). 그 후, j=l 로 설정함으로써, 연속하는 저주파 대역의 신호 A(l)[i<<1] 와 A(l)[(i+1)<<1] 를 시간 방향으로 서브밴드 분할하여 (단계 206), 저주파 대역의 A(2)[i<<1] 와 고주파 대역의 E[(i+1)<<1] 를 획득한다 (단계 203, 단계 204 및 단계 205). 이 처리 (processing) 는, 제 1 프레임 이외의 프레임들이 고주파 대역의 신호로서 부호화될 때까지, 즉 (1<<j) 이 n 이 될 때까지, 반복된다 (단계 207). 그 후, A(j)[O] 와 E[i] (0<<j< n) 가 공간 방향으로 서브밴드 분할되어 부호화된다 (단계 208). 2 개의 프레임간의 시간 방향 서브밴드 분할에서, 고주파 대역 신호 는 동작 보상 예측의 오차 신호에 해당하고, 저주파 대역의 신호는 2 개의 동작 보상 프레임의 평균 신호에 해당한다.
복호 프로세스 (decoding process) 에서, 상기 프로세스의 흐름은 반대 방향으로 거슬러 올라가는데 즉, 서브밴드 신호들이 각각이 프레임에 대하여 공간 방향으로 합성되고 프레임의 참조 관계에 따라 서브밴드 합성이 시간 방향으로 수행된다. 프레임 마다 수행되는 서브밴드 신호 합성에서, 축소 화상 신호는 임의의 고주파수 성분의 서브밴드를 사용하지 않고 그 합성을 정지함으로써 획득된다. 3 차원 웨이브렛 코딩 (coding) 에서, 부분적으로 서브밴드 합성에 의해 획득되는 각각의 프레임의 신호들에 대하여 시간 방향으로 서브밴드 합성을 수행함으로써 축소 해상도에 대한 복호된 화상이 획득될 수 있다. 그러나, 시간 방향의 서브밴드 분할에서의 동작 보상이 작은 수의 화소들 각각에 대하여 수행되는 경우, 예측 화상생성에 내삽 프로세스가 사용되지만, 이 내삽 프로세스가 서브밴드 분할로 대체되지는 않는다. 즉, 시간 방향으로 서브밴드 분할된 이후 공간 방향으로 서브밴드 분할되는 신호가, 공간 방향으로 서브밴드 분할된 이후에 시간 방향으로 서브밴드 분할되는 신호와 동일하지 않아, 축소 해상도상에서의 복호 화상은 원신호를 축소함으로써 획득된 신호보다 상당히 열화한다.
도 26 은 서브밴드 영역에서 동작 보상을 수행하는 종래의 코딩 프로세스 (비특허 문헌2 : H. Gharavi ,"Subband Coding Algorithm for Video Applications: Videophone to HDTV Conferencing", IEEE Trans.，CAS for Video Technology, Vol. 1 ，No.2，pp. 174-182 ，1991년 6월) 의 흐름을 나타내는 흐름도이다. 이하, 도 26 을 참조하여, 연속하는 프레임들의 집합 A[k] (0≤k<n) 를 부호화하는 프로세스를 설명한다. 우선, 각각의 프레임이 서브밴드 분할된다 (단계 301). 그 후, 프레임 A[i] (1≤i<n) 과 그것의 참조 프레임 A[i-1] 의 각각의 서브밴드에 대하여 동작 보상 예측이 수행된다 (단계 302, 단계 303, 단계 304 및 단계 305). 그 후, 프레임 A[i] (l≤i<n) 의 예측 오차 신호와 프레임 A[O] 에 대하여 양자화 및 가역 부호화 (lossless encoding) 가 수행된다 (단계 306). 복호 프로세스는 반대 방향으로 상기 프로세스를 거슬러 올라감으로써 수행되는데, 즉, 프레임 A[i] (1≤i<n) 의 예측 오차 신호와 프레임 A[0] 의 계수는 가역 부호화와 양자화의 역변환을 수행함으로써 획득되고, 프레임 A[i] (1≤i<n) 의 서브밴드 계수는 각각의 서브밴드에 대하여 동작 보상을 수행함으로써 획득된다. 그 이후, 개별적인 프레임들을 서브밴드 합성함으로써 복호 화상이 획득된다. 이 서브밴드 합성에서 고주파수 성분 서브밴드를 사용하지 않고 축소 복호 화상 신호가 획득된다. 공간 영역에서 동작 보상을 수행하는 제 1 의 종래의 코딩 프로세스와는 달리, 양자화 및 변환 오류를 제외하고 큰 열화가 축소 해상도상에서의 복호 화상과 원신호의 축소 신호 사이에 발견되지 않는다. 그러나, 공간 영역에서의 동작 보상과 비교시, 에지 성분을 주로 포함하는 고주파 대역에서의 동작 보상에서는 예측 효율이 상당히 감소된다. 즉, 서브밴드 영역에서 동작 보상을 수행하는 제 2 의 종래의 코딩 방법은, 코딩 효율이 제 1 의 종래의 코딩 방법의 효율보다 낮은 문제점을 가진다.
비특허문헌1 : J.-R. Ohm , "Three-dimensional subband coding with motion compensation" IEEE Trans，Image Processing，vol. 3 ，pp. 559-571. 1999년 9월비특허문헌2 : H. Gharavi, "Subband Coding Algorithm for Video Applications: Videophone to HDTV Conferencing" IEEE Trans.，CAS for Video Technology，Vol. 1，No.2 ，pp. 174-182，1991년 6월
비특허문헌3 : A. Secker 외, "Motion-compensated highly scalable video compression using an adaptive 3D wavelet transform based on lifting" IEEE Trans. Int. Conf. Image Proc.，pp 1029-1032，2001년 10월
비특허문헌4 : Lio 외, "Motion Compensated Lifting Wavelet And Its Application in Video Coding" IEEE Int. Conf. Multimedia & Expo 2001，2001년 8월
비특허문헌5 : J. M. Shapiro, "Embedded image coding using zerotrees of wavelets coefficients", IEEE Trans. Signal Processing，vol. 41，pp. 3445-3462, 1993년 12월
발명의 개시
발명에 의해 해결되어야 할 문제점
전술한 2 개의 종래의 서브밴드 동화상 코딩 방법들 중, 공간 영역에서 동작 보상을 수행하는 방법에서는, 서브밴드의 저주파 대역에서만 복호를 수행함으로써 획득된 복호 화상의 화상 품질은, 부호화가 단일계층으로 수행되는 경우 획득된 복호 화상의 화상 품질보다 상당히 낮다. 한편, 서브밴드 영역에서 동작 보상을 수행하는 방법에서, 원화상과 동일한 해상도를 가지는 복호 화상의 화상 품질은 단 일계층으로 부호화가 수행되는 경우 획득된 복호 화상의 화상 품질보다 상당히 낮다.
본 발명의 목적은, 서브밴드 분할에 의해 계층화된 부호화 데이터에서 모든 계층의 복호 신호들이 부호화가 단일 계층으로 수행되는 경우의 복호 화상의 화상 품질과 동등한 화상 품질을 갖는 서브밴드 동화상 부호화 방법 및 복호 방법을 제공하는 것이다.
본 발명에 따른 동화상 부호화 방법은, 어떤 해상도 계층의 동화상 신호를 시간 계층 분할함으로써 시간 계층화 신호를 획득하는 단계, 시간 계층화 신호에 대하여 공간 계층 분할에서의 고주파 생성 프로세스를 수행함으로써 시간 계층화 공간 고주파 신호를 획득하는 단계, 동화상 신호에 대하여 공간 계층 분할에서의 저주파 신호 생성 프로세스를 수행함으로써 축소 화상 신호를 획득하는 단계, 및 축소 화상 신호를 시간 계층화함으로써 축소 시간 계층화 신호를 획득하는 단계를 포함하는 시간/공간 분할 필터링을 구비하는 것에 특징이 있다.
본 발명에 따른 동화상 부호화 방법은, 어떤 해상도 계층의 동화상 신호에 대하여 프레임간 예측을 수행함으로써 예측 오차 신호를 획득하는 단계, 예측 오차 신호에 대하여 공간 계층 분할에서의 고주파 생성 프로세스를 수행함으로써 예측 오차 공간 고주파 신호를 획득하는 단계, 동화상 신호에 대하여 공간 계층 분할에서의 저주파 신호 생성 프로세스를 수행함으로써 축소 화상 신호를 획득하는 단계, 및 축소 화상 신호에 대하여 프레임간 예측을 수행함으로써 예측 오차 신호로서 축소 인터프레임 예측 오차 신호를 획득하는 단계를 포함하는 시간/공간 분할 필터링 을 구비하는 것에 특징이 있다.
본 발명에 따른 동화상 부호화 방법은, 입력 동화상 신호에 대하여 동작 보상 예측 프로세스를 수행하고 또한 동화상 신호를 공간 방향으로 서브밴드 분할하는 3차원 서브밴드 분할 프로세스를 반복적으로 수행하는 동화상 부호화 방법으로서, 그 3차원 서브밴드 분할 프로세스는, 입력 화상 신호의 프레임간 동작을 검출하는 동작 검출 단계, 입력 화상 신호 및 그 입력 화상 신호를 공간 서브밴드 분할함으로써 획득되는 공간 저주파 서브밴드의 하나의 밴드 신호인 인트라 밴드 신호에 대하여서, 그 동작 검출 단계에서 획득된 동작 정보에 따라, 동작 보상 예측을 수행함으로써 예측 오차 신호를 획득하는 동작 보상 예측 단계, 그 예측 오차 신호를 공간 서브밴드 분할함으로써, 공간 저주파 예측 오차 서브밴드와 공간 고주파 예측 오차 서브밴드를 생성하는 예측 오차 신호 공간 분할 단계, 및 그 인트라 밴드 신호를 공간 서브밴드 분할함으로써, 공간 저주파 인트라 서브밴드와 공간 고주파 인트라 서브밴드를 생성하는 밴드 신호 공간 분할 단계를 포함하고, 그 동작 화상 신호에 대하여 동작 보상 예측 단계, 예측 오차 신호 공간 분할 단계, 및 밴드 신호 공간 분할 단계를 수행하고, 그 밴드 신호 공간 분할 단계 이후 획득된 공간 저주파 인트라 서브밴드를 인트라 서브밴드 신호로서 이용함으로써 동작 보상 예측 단계, 예측 오차 신호 공간 분할 단계 및 밴드 신호 공간 분할 단계를 재귀적으로 반복하는 것에 특징이 있다.
본 발명에 따른 동화상 부호화 방법은, 입력 화상 신호를 시간 방향과 공간 방향으로 서브밴드 분할하는 3 차원 서브밴드 분할 프로세스를 각각 수행하는 동화 상 부호화 방법으로서, 그 3 차원 서브밴드 분할 프로세스는, 입력 동화상 신호의 프레임간 동작을 검출하는 동작검출 단계, 동화상 신호 및 그 동화상 신호를 공간 서브밴드 분할함으로써 획득되는 공간 저주파 서브밴드의 하나의 밴드 신호로서 인트라 밴드 신호에 대하여, 동작 검출 단계에서 획득된 동작 정보에 따라 동작 보상을 수행하고 그 후, 시간 서브밴드 분할을 수행함으로써 시간 저주파 서브밴드 및 시간 고주파 서브밴드를 획득하는 시간 서브밴드 분할 단계, 시간 고주파 서브밴드 신호를 공간 서브밴드 분할함으로써 시간 고주파/공간 저주파 서브밴드와 시간 고주파/공간 고역 서브밴드를 생성하는 시간 고주파 서브밴드 공간 분할 단계, 시간 저주파 서브밴드를 공간 서브밴드 분할함으로써 시간 저주파/공간 저주파 서브밴드와 시간 저주파/공간 고주파 서브밴드를 생성하는 시간 저주파 서브밴드 공간 분할 단계, 및 그 인트라 밴드 신호를 공간 서브밴드 분할함으로써 공간 저주파 인트라 서브밴드와 공간 고주파 인트라 서브밴드를 생성하는 밴드 신호 공간 분할 단계를 구비하고, 그 동화상 신호에 대하여 시간 서브밴드 분할 단계, 시간 고주파 서브밴드 공간 분할 단계, 시간 저주파 서브밴드 공간 분할 단계, 시간 저주파 서브밴드 공간 분할 단계 및 밴드 신호 공간 분할 단계를 수행하고, 밴드 공간 분할 단계 이후에 획득된 공간 저주파 인트라 서브밴드를 인트라 서브밴드 신호로서 사용하여 시간 서브밴드 분할 단계, 시간 고주파 서브밴드 공간 분할 단계, 시간 저주파 서브밴드 공간 분할 단계, 및 밴드 신호 공간 분할 단계를 재귀적으로 반복하는 것에 특징이 있다.
본 발명에 따른 동화상 복호방법은, 어떤 해상도 계층의 시간 저주파 신호 및 시간 고주파 신호와, 그 시간 저주파 신호 및 시간 고주파 신호에 인접하는 시간 저주파/공간 고주파 신호 및 시간 고주파/공간 고주파 신호를 참조하고, 한 단계 더 높은 해상도를 가지는 동화상 신호를 재구성하는 시간/공간 합성 필터링을 구비하는 동화상 복호 방법으로서, 그 시간/공간 합성 필터링은, 시간 고주파 신호, 시간 저주파 신호 및 시간 저주파/공간 고주파 신호를 참조함으로써 시간 고주파/공간 저주파 신호를 합성하는 단계, 시간 고주파/공간 저주파 신호와 시간 고주파/공간 고주파 신호를 공간 계층 합성하는 단계, 시간 저주파 신호와 시간 저주파/공간 고주파 신호를 공간 계층 합성하는 단계, 및 이들 2 개의 공간 계층 합성 결과를 합성하는 단계를 포함하는 것에 특징이 있다.
본 발명에 따른 동화상 복호방법은, 어떤 해상도 계층의 인트라 밴드 신호 및 예측 오차 신호와, 그 인트라 밴드 신호 및 예측 오차 신호에 인접하는 인트라 공간 고주파 신호와 예측 오차 공간 고주파 신호를 참조하고, 한단계 더 높은 해상도를 가지는 동화상 신호를 재구성하는 시간 공간 합성 필터링을 구비하는 동화상 복호방법으로서, 그 시간 공간 합성 필터링은, 예측 오차 신호, 인트라 밴드 신호 및 인트라 공간 고주파 신호를 참조함으로써 예측 오차 공간 저주파 신호를 합성하는 단계, 예측 오차 공간 저주파 신호와 예측 오차 공간 고주파 신호를 공간 계층 합성 하는 단계, 인트라 밴드 신호와 시간 고주파/공간 고주파 신호를 공간 계층 합성하는 단계, 이들 2 개의 공간 계층 합성 결과에 대하여 프레임간 예측 복호를 수행하는 단계를 포함하는 것에 특징이 있다.
본 발명에 따른 동화상 복호방법은, 동화상 부호화 데이터를 수신하고, 서브 밴드가 각각의 프레임에 대하여 서브밴드 신호를 공간 방향으로 합성하여, 그 합성된 인트라 밴드 신호와 예측 오차 신호에 대하여 동작 보상을 수행하는 3차원 서브밴드 합성 프로세스에 의해 복호 화상 신호를 생성하는 동화상 복호방법으로서, 그 3차원 서브밴드 합성 프로세스는, 어떤 해상도 계층의 예측 오차 신호와, 그 예측 오차 신호와 동일한 주파수 대역에 있는 인트라 밴드 신호와 그 인트라 밴드 신호에 인접하는 공간 고주파 서브밴드인 공간 고주파 인트라 서브밴드 중 적어도 하나를 참조함으로써, 공간 저주파 예측 오차 서브밴드를 합성하는 공간 저주파 예측 오차 서브밴드 합성 단계, 공간 저주파 예측 오차 서브밴드, 그 공간 저주파 예측 오차 서브밴드에 인접하는 공간 고주파 서브밴드인 공간 고주파 예측 오차 서브밴드를 합성함으로써 합성 예측 오차 신호를 생성하는 예측 오차 신호 합성 단계, 그 인트라 서브밴드와 공간 고주파 인트라 서브밴드를 합성하는 인트라 밴드 신호 공간 합성 단계, 및 그 인트라 밴드 신호에 대하여 동작 보상 예측을 수행하여 합성 예측 오차 신호를 부가함으로써 복호 화상 신호를 획득하는 동작 보상 부호화 단계를 포함하고, 그 예측 오차 신호 합성 단계에서 획득된 그 합성 예측 오차 신호를 새로운 예측 오차 신호로 그리고 인트라 밴드 신호 공간 합성 단계에서 획득된 그 밴드 신호를 새로운 인트라 밴드 신호로서 간주하여 그 공간 저주파 예측 오차 서브밴드 단계, 예측 오차 신호 합성 단계, 및 인트라 밴드 신호 공간 합성 단계를 재귀적으로 반복하는 것을 특징으로 한다.
본 발명에 따른 동화상 복호방법은, 동화상 부호화 데이터를 수신하며, 서브밴드가 서브밴드 신호를 각각의 프레임에 대하여 공간 방향으로 합성하고, 시간 저 주파 서브밴드와 시간 고주파 서브밴드를 시간 방향으로 합성하는 3 차원 서브밴드 합성 프로세스에 의해 복호 화상 신호를 생성하는 동화상 복호방법으로서, 그 3 차원 서브밴드 합성 프로세스는, 어떤 해상도 계층의 시간 고주파 서브밴드와, 그 시간 고주파 서브밴드와 동일한 주파수대역에 있는 시간 저주파 서브밴드와 그 시간 저주파 서브밴드에 인접한 고주파 대역의 서브밴드인 시간 저주파/공간 고주파 서브밴드 중 적어도 하나를 참조함으로써 시간 고주파/공간 저주파 서브밴드를 합성하는 시간 고주파/공간 저주파 서브밴드 합성 단계, 시간 고주파/공간 저주파 서브밴드와 그 시간 고주파/공간 저역 서브밴드에 인접하는 고주파 대역의 서브밴드인 시간 고주파/공간 고주파 서브밴드를 합성함으로써 합성 시간 고주파 서브밴드를 생성하는 시간 고주파 서브밴드 합성 단계, 시간 저주파 서브밴드와 시간 저주파/공간 고주파 서브밴드를 합성함으로써 합성 시간 저주파 서브밴드를 생성하는 시간 저주파 서브밴드 공간 합성 단계, 및 그 합성 시간 저주파 서브밴드와 합성 시간 고주파 서브밴드에 대하여 동작 보상을 수행하는 시간 방향 합성 단계를 포함하고, 시간 고주파 서브밴드 합성 단계에서 획득된 합성 시간 고주파 서브밴드를 새로운 시간 고주파 서브밴드로 그리고, 시간 저주파 서브밴드 합성 단계에서 획득된 합성 시간 저주파 서브밴드를 새로운 시간 저주파 서브밴드로 간주하고, 시간 고주파 서브밴드 합성 단계, 시간 저주파 서브밴드 공간 합성 단계를 재귀적으로 반복함으로써 그 복호 화상 신호와 동일한 해상도를 가지는 시간 저주파 서브밴드 및 시간 고주파 서브밴드를 생성하는 것에 특징이 있다.
이하 도 1 을 참조하여, 본 발명의 특징인 동화상 부호화에서의 시간/공간 분할 필터링의 개요를 설명한다.
시간/공간 분할 필터링에서, 어떤 해상도 계층의 동화상 신호 (10) 는 시간계층화에 의해 시간 저주파 신호 (11; temporal low frequency signal) 와 시간 고주파 신호 (12; temporal high frequency signal) 로 분할된다.
그 다음에, 시간 저주파 신호 (11) 와 시간 고주파 신호 (12) 에 대하여 공간계층화에서의 고주파 생성 프로세스가 수행되어, 시간 저주파/공간 고주파 신호 (13; temporal low frequency signal/spatial high frequency signal) 및 시간 고주파/공간 고주파 신호 (14) 를 생성한다.
또한, 동화상 신호 (10) 에 대하여 공간 계층화에서의 저주파 생성 프로세스가 수행되어 축소 화상 신호 (15) 를 생성한다.
축소 화상 신호 (15) 가 시간 계층화되어 시간 저주파 신호 (16 ) 및 시간 고주파 신호 (17) 를 획득한다.
시간 저주파/공간 고주파 신호 (13), 시간 고주파/공간 고주파 신호 (14), 시간 저주파 신호 (16), 및 시간 고주파 신호 (17) 가 동화상 신호 (10) 의 분할 결과로서 출력된다. 축소 화상 신호 (15) 를 동화상 신호 (10) 로, 시간 저주파 신호 (16) 를 시간 저주파 신호 (11) 로, 시간 고주파 신호 (17) 를 시간 고주파 신호 (12) 로 간주함으로써, 시간/공간 분할 필터링이 재귀적으로 (recurrently) 수행되어 다단계로 동화상 신호를 계층화한다.
이하, 도 2 를 참조하여 본 발명의 특징인 동화상 복호에서의 시간/공간 합성 필터링의 개요를 설명한다.
시간/공간 합성 필터링에서, 합성될 신호는 시간 저주파 신호 (16), 시간 고주파 신호 (17), 시간 저주파/공간 고주파 신호 (13), 및 시간 고주파/공간 고주파 신호 (14) 이다.
우선, 시간 저주파 신호 (16) 와 시간 고주파 신호 (17) 가 시간 계층 합성되어, 축소 화상 신호 (15) 를 재구성한다.
또한, 시간 저주파 신호 (16) 와 시간 저주파/공간 고주파 신호가 공간 계층 합성되어, 시간 저주파 신호 (11) 를 재구성한다.
그 다음에, 축소 화상 신호 (15) 와 시간 저주파 신호 (11) 로부터 시간 고주파/공간 저주파 신호 (18) 가 재구성된다.
시간 고주파 공간/저주파 신호 (18) 와 시간 고주파/공간 고주파 신호 (14) 가 공간 계층 합성되어 시간 고주파 신호 (12) 를 재구성한다. 시간 저주파 신호 (11) 와 시간 고주파 신호 (12) 가 시간 계층 합성되어 동화상 신호 (10) 를 재구성한다.
동화상 신호 (10) 를 축소 화상 신호 (15) 로 간주하여, 시간 합성 필터링을 회귀저긍로 수행함으로써 다단계 계층 합성이 획득된다.
도 2 에 도시된 시간/공간 합성 필터링에서, 시간 고주파 공간 저주파 신호(18) 를 재구성하기 위해, 축소 화상 신호 (15) 가 재구성되어야만 한다. 본 발명의 다른 특징으로서, 공간 계층을 고려하여 도 1 에 도시된 시간 계층화 및 도 2 에 도시된 시간 계층합성 프로세스를 수행함으로써, 시간/공간 합성 필터링은 추가로 더욱 단순화될 수 있다. 이하, 도 3 을 참조하여 단순화된 시간/공간 합 성 필터링을 설명한다.
우선, 시간 저주파 신호 (16) 와 시간 고주파/공간 고주파 신호 (14) 로부터 시간 저주파/공간 저주파 신호 (19) 가 재구성된다. 또한, 시간 고주파 신호 (17) 와 시간 저주파/공간 고주파 신호 (14) 로부터 시간 고주파/공간 저주파 신호(18) 가 재구성된다.
시간 저주파/공간 저주파 신호 (19) 와 시간 저주파/공간 고주파 신호 (13) 가 공간 계층 합성되어 시간 저주파 신호 (11) 를 재구성한다. 또한, 시간 고주파/공간 저주파 신호 (18) 와 시간 저주파/공간 고주파 신호 (14) 가 공간 계층합성되어, 시간 고주파 신호 (12) 를 재구성한다. 시간 저주파 신호 (11) 와 시간 고주파 신호 (12) 가 시간 계층 합성되어, 동화상 신호 (10) 를 재구성한다.
시간 저주파 신호 (11) 를 시간 저주파 신호 (16) 로, 시간 고주파 신호 (12) 를 시간 고주파 신호 (17) 로 간주하여 시간/공간 합성 필터링을 재귀적으로 수행함으로써, 다단계의 계층 합성이 수행된다.
발명의 효과
본 발명에 따른 동화상 부호화 방법 및 복호방법에서, 공간영역에서 동작 보상과 시간 서브밴드 분할이 수행된 이후, 저주파수 대역성분은 서브밴드 영역에서의 동작 보상의 결과물로 재귀적으로 대체된다. 따라서, 축소 해상도상에서의 복호 화상은 종래의 서브밴드 영역 기반의 부호화 방법과 동일한 화상 품질을 가진다. 또한, 저파수 대역성분의 대체에 의해 발생되는 화상 품질 저하는 매우 작아서, 원래 해상도에서의 복호 화상은 종래의 공간 영역 기반의 부호화 방법과 동 일한 화상 품질을 가진다. 즉, 본 발명에 따른 동화상 부호화 방법 및 복호 방법에서, 서브밴드 분할에 의해 계층화된 부호화 데이터에 있어서는, 모든 계층의 복호 신호는, 부호화가 단일 계층으로 수행되는 경우의 복호 화상과 동일한 화상 품질을 실현한다.
도면의 간단한 설명
도 1 은 본 발명의 독특한 특징으로서 동화상 부호화에서의 시간/공간 분할 필터링의 개요를 설명하는 개념도이다.
도 2 는 본 발명의 독특한 특징으로서 동화상 복호에서의 시간/공간 합성 필터링의 개요를 설명하는 개념도이다.
도 3 은 본 발명의 독특한 특징으로서 간략화된 시간/공간 합성 필터링의 개요를 설명하는 개념도이다.
도 4 는 본 발명의 실시형태에 따른 동화상 부호화 장치 및 동화상 복호 장치의 구성을 나타내는 개략도이다.
도 5 는 본 발명의 독특한 특징으로서 동화상 부호화에서의 시간/공간 분할 필터링을 구현하는 시간/공간 분할 필터링 유닛의 구성을 나타내는 블록도이다.
도 6 은 시간/공간 분할 필터링의 처리의 흐름을 나타내는 흐름도이다.
도 7 은 본 발명의 실시형태에 따른 동화상 부호화 방법의 처리의 흐름을 나타내는 흐름도이다.
도 8 은 도 7 에 도시된 2 개의 프레임에 대한 시간/공간 서브밴드 분할 프로세스의 흐름을 나타내는 흐름도이다.
도 9 는 저주파수 대역에서의 동작 보상을 설명하는 개념도이다.
도 10 은 본 발명의 실시형태에 따른 동화상 부호화 장치의 구성을 나타내는 블록도이다.
도 11 은 시간/공간 분할 필터링 유닛의 구성을 나타내는 블록도이다.
도 12 는 텍스처 신호 부호화기의 구성을 나타내는 블록도이다.
도 13 은 본 발명의 독특한 특징으로서 동화상 복호 방법에서의 시간/공간 합성 필터링을 구현하는 시간/공간 분할 필터링 유닛의 구성을 나타내는 블록도이다.
도 14 는 시간/공간 합성 필터링의 처리 흐름을 나타내는 흐름도이다.
도 15 는 시간/공간 합성 필터링의 독특한 특징으로서 시간 고주파/공간 저주파 신호를 재구성하는 프로세스를 설명하는 개념도이다.
도 16 은 본 발명의 실시형태에 따른 시간/공간 합성 필터링을 구현하는 시간/공간 분할 필터링 유닛의 구성을 나타내는 개념도이다.
도 17 은 시간/공간 합성 필터링의 처리의 흐름을 나타내는 흐름도이다.
도 18 은 본 발명의 실시형태에 따른 동화상 복호 방법의 처리의 흐름을 나타내는 흐름도이다.
도 19 는 도 18 에 도시된 시간/공간 서브밴드 합성 프로세스의 흐름을 나타내는 흐름도이다.
도 20 은 본 발명의 실시형태에 따른 동화상 복호 장치의 구성을 나타내는 블록도이다.
도 21 은 텍스처 신호 복호기의 구성을 나타내는 블록도이다.
도 22 는 시간/공간 합성 필터링 유닛의 구성을 나타내는 블록도이다.
도 23 은 시간 저주파 신호 생성기의 구성을 나타내는 블록도이다.
도 24 는 시간 고주파 신호 생성기의 구성을 나타내는 블록도이다.
도 25 는 공간 영역에서 동작 보상을 수행하는 제 1 의 종래 코딩 방법의 처리 흐름을 나타내는 흐름도이다.
도 26 은 서브밴드 영역에서 동작 보상을 수행하는 제 2 의 종래 코딩 방법의 처리 흐름을 나타내는 흐름도이다.
본 발명을 실시하기 위한 최선의 형태
이하, 첨부된 도면을 참조하여 본 발명의 실시형태에 따른 동화상 부호화 방법 및 동화상 복호 방법과 이들 방법들을 구현하는 동화상 부호화 장치 및 동화상 복호 장치를 상세히 설명한다.
도 4 에 도시된 바와 같이, 본 발명의 실시형태에 따른 제 1 동화상 부호화 장치 및 동화상 복호 장치는 프로세서, 저장 유닛, 및 버스를 통해 서로 연결되는 I/O 인터페이스를 포함한다. 저장 유닛은 프로세서에 의해 수행될 동화상 부호화 프로그램과 동화상 복호 프로그램의 하나 또는 양자를 저장하고, 또한 프로세서가 동화상 부호화 프로그램 또는 동화상 복호 프로그램을 실행하는 동안 임시 저장소로서 기능한다. 이 명세서에서, "저장 유닛" 이란 용어는 램 (RAM) 과 같은 주메모리에 더하여 CPU 에 포함된 캐시 메모리, 프로세서에 포함된 레지스터, 및 하드 디스크 등의 임의의 저장 디바이스를 가리키는데 사용된다. 또한, 이 실 시형태에서, I/O 인터페이스는, 프로세서의 제어하에서, 원화상을 입력으로서 동화상 부호화 프로그램에 송신하고 부호화 데이터를 출력으로서 동화상 부호화 프로그램으로부터 송신하며, 부호화 데이터를 입력으로서 동화상 복호 프로그램에 송신하고 출력으로서 복호 화상을 동화상 복호 프로그램으로부터 송신하는 중재 단계가다. 그러나, 이 I/O 인터페이스의 존재는 다른 프로그램에 의해 요구되는 원화상 또는 부호화 데이터를 저장 유닛에 일시적으로 저장하고, 그 저장 장치로부터 화상 또는 데이터를 판독함으로써 이 실시형태에 따른 동화상 부호화 방법 또는 동화상 복호 방법을 실행하는 프로세스를 방해하지 않는다.
이하, 이 실시형태에 따른 동화상 부호화 방법 및 동화상 복호 방법을 설명한다.
본 발명의 실시형태로서의 제 1 동화상 부호화 장치 및 동화상 복호 장치의 동작은 프로세서에 의해 저장 유닛에 저장된 동화상 부호화 프로그램과 동화상 복호 프로그램을 각각 실행함으로써 수행된다. 또한, 본 발명의 실시형태로서의 제 2 동화상 부호화 장치 및 동화상 복호 장치는, 동화상 부호화 방법 및 동화상 복호 방법의 동작 단계들을 구현하는 동작 엔티티 (entity) 를 포함하고, 이들 장치들간의 입력/출력 관계는 동화상 부호화 방법 및 동화상 복호 방법에 의해 생성되고 참조되는 신호들과 관련된다. 이러한 설명을 간략화 하기 위해, 이하 동작 엔티티 그 자체를 언급하지 않고 각각의 동작 엔티티의 동작만을 설명한다.
이하, 도 5 를 참조하여 본 발명의 독특한 특징으로서 동화상 부호화에서의 시간/공간 분할 필터링을 구현하는 시간/공간 분할 필터링 유닛의 구성을 설명한 다.
도 5 를 참조하면, 시간/공간 분할 필터링 유닛은, 공간 저주파 신호 생성기(51), 공간 고주파 신호 생성기 (53, 54) 및 시간 방향 필터링 유닛 (52) 을 포함한다. 도 1 에서의 동화상 신호 (10) 및 축소 화상 신호 (15) 는, 도 5 에서의 동화상 신호 (10) 및 축소 화상 신호 (15) 에 대응한다. 도 1 에서의 시간 저주파 신호 (11, 16) 는 도 5 에서의 시간 저주파 신호 (21) 에 대응하고, 도 1 에서의 시간 저주파 신호 (12, 17) 는 도 5 에서의 시간 저주파 신호 (22) 에 대응한다. 도 1 에서의 시간 저주파/공간 고주파 신호 (13) 및 시간 고주파/공간 고주파 신호 (14) 는, 도 5 에서의 시간 저주파/공간 고주파 신호 (23) 및 시간 고주파/공간 고주파 신호 (24) 에 각각 대응한다.
이하 도 6 에 도시된 흐름도를 참조하여 도 5 에 도시된 시간/공간 분할 필터링의 처리를 설명한다.
동화상 신호 (10) 는 시간 방향 필터링 유닛 (52) 에 의해 시간 계층화되어, 시간 저주파 신호 (21) 및 시간 고주파 신호 (22) 를 생성한다 (단계 80). 시간 저주파 신호 (21) 및 시간 고주파 신호 (22) 는, 각각 공간 고주파 신호 생성기 (53, 54) 에 의해 수행되는 공간 계층화에 의해 고주파 신호 생성 프로세스를 실시하여 시간 저주파/공간 고주파 신호 (23) 및 시간 고주파/공간 고주파 신호 (24) 를 생성한다 (단계 81). 시간 저주파/공간 고주파 신호 (23) 및 시간 고주파/공간 고주파 신호 (24) 는 분할 결과 신호 (25, 26) 로서 출력된다. 그 후, 공간 저주파 신호 생성기는 동화상 신호 (10) 에 대하여 공간 계층화에 의한 저주파 신호 생성 프로세스를 수행하여 축소 화상 신호 (15) 를 생성한다. 시간 방향 필터링 유닛 (52) 은 일시적으로 그 축소 화상 신호 (15) 를 계층화하여 시간 저주파 신호 (21) 및 시간 고주파 신호 (22) 를 생성한다 (단계 83) 시간 저주파 신호 (21) 및 시간 고주파 신호 (22) 는 각각 분할 결과 신호 (25, 26) 로서 출력된다.
이하, 도 7 및 도 8 을 참조하여, 시간/공간 분할 필터링을 가지는 동화상 부호화 방법을 설명한다.
도 7 은 본 발명의 실시형태로서의 부호화 프로세스의 흐름을 나타내는 흐름도이다. 이하 도 7 을 참조하여, 입력 원화상으로서의 연속하는 화상 프레임의 집합 A(O)[i] (O≤i<n， n 은 2 의 제곱) 을 부호화하는 방법을 설명한다.
우선, j=O 이고 i=O, 2,..., n-2 가 설정되고 (단계 101, 102), 연속하는 2개의 프레임 A(O)[i] 와 A(O)[i+l]이 시간 방향과 공간 방향의 양방향으로 서브밴드 분할된다 (단계 103).
도 8 은 도 7 의 단계 103 에서의 시간 방향 및 공간 방향으로의 2 개의 프레임을 서브밴드 분할하는 프로세스 흐름을 나타내는 흐름도이다. 다음의 설명에서는, 프레임 BO 이 프레임 C0 의 과거 방향에 존재한다고 가정함으로써 도 8 을 참조하여 시간 방향 및 공간 방향으로의 프레임 BO 및 프레임을 서브밴드 분할하는 일반적인 프로세스를 설명한다. 우선, 프레임 CO 에 대한 프레임 BO 의 동작을 추정한다 (단계 111). 여기에서 언급된 동작은, 프레임을 형성하는 각각의 고정 사이즈 또는 가변 사이즈의 블록의 평행 이동, 또는 프레임을 형성하는 각각의 작은 영역에의 아핀 변환과 같은 기하학적 변환 또는 전체 프레임에 대한 아핀 변환과 같은 기하학적 변환이다.
그 다음에, 단계 111 에서 획득된 동작 정보에 기초하여 BO，CO가 시간 방향으로 서브밴드 분할되어 저주파수 대역 서브밴드 AO* 및 고주파수 대역 서브밴드EO* 를 획득한다 (단계 112). 이하, 시간 방향 서브밴드 분할 방법으로서, 참고 문헌 [비특허문헌3: A. Secker 외, Motion-compensated highly scalable video compression using an adaptive 3D wavelet transform based on lifting" IEEE Trans. Int. Conf. Image Proc., pp 1029-1032，2001년 10월] 에 기재된 방법을 설명한다. 프레임내 좌표 [p, q] 에 있는 프레임 BO 의 화소값을 BO[p, q] 라 하고, 동작 추정 (단계 1ll) 의 결과에 기초하여 프레임 BO 이 동작 보상된 이후의 프레임내 좌표 [p, q] 의 화소값을 WBO(BO)[p, q] 라 하고, 프레임 C0 가 동작 보상된 이후 프레임내 좌표 [p, q] 의 화소값을 WCO(CO)[p, q] 라고 하면,
EO*[p, q] = 1/2(CO[p, q] - WBO(BO)[p, q]) (1)
AO*[p, q] = BO[p, q] + WCO(EO*)[p, q] (2)
가 된다. 시간 방향으로 2 보다 더 큰 필터 길이를 가지는 필터가 다른 시간 방향 서브밴드 분할 방법으로 사용되는 경우, 복수의 입력 프레임 BOi 에 대하여 저주파수 대역과 고주파수 대역에의 분해 필터를 각각 fl[i](0≤i<nl) 및 fh[i](0≤i<nh) 라고 하면, AO* 및 EO* 은,
AO*[p, q] = Σ0≤i<nl fl[i]·WBOi(BOi)[p, q]) (1)'
EO*[p, q] = Σ0≤j<nh fh[i]·WBOj(BOj)[p, q]) (2)'
가 된다. 또한 주요 필터를 중첩시킴으로써 고차 서브밴드 분할을 실현하는 리프팅 방법에서의 각각의 필터의 처리동안에 동작 보상을 수행하는 참고 문헌 2 [비특허문헌4: L. Lio 외, "Motion Compensated Lifting Wavelet And Its Applicationin Video Coding", IEEE Int. Conf. Multimedia & Expo 2001，2001년 8월] 의 방법이 사용되는 경우, 복수의 입력 프레임의 짝수 프레임과 홀수 프레임을 각각 B0i 와 COi 라고 하면, 주요 필터에 의해 승산되는 BO'i·CO'i 는 상수 α, β를 사용하여,
CO'i[p, q]=COi[p, q] + α(WBOi(BOi + WBOi + l(BOi + 1))[p, q]) (1)"
BO'i[p, q]=BOi[p, q] + β(WCOi(CO'i + WCOi - l(CO'i - 1))[p, q]) (2)"
이 된다. 리프팅 방법을 사용하는 시간 방향 서브밴드 분할은 그 2 개의 필터링 프로세스를 교대로 반복함으로써 수행된다. 또한, 임의의 저주파수 성분 A0* 를 생성시키지 않고 통상의 동작 보상 예측과 동등한 처리를 수행하는 것도 가능하다.
획득된 이후, AO* , EO* 는 한번 공간 서브밴드 분할된다 (단계 113). 서브밴드 분할로서, 1 차원의 필터 뱅크 (filter bank) 를 사용한 2 분할의 주파수 분할이 수행될 경우, 4 개의 서브밴드 즉, 수직 및 수평 방향의로의 저주파수 대역으로 분할되는 서브밴드; 수직 방향으로의 저주파수 대역 및 수직 방향으로의 고주파수 대역으로 분할되는 서브밴드; 수평 방향으로의 고주파수 대역 및 수직 방향으로의 저주파수 대역으로 분할되는 서브밴드; 및 수평과 수직 방향의로의 고주파수 대역으로 분할되는 서브밴드가 생성된다. 이들 서브밴드 변환은 LL(), LH(), HL(), HH()로서 정의된다. 또한, 3 개의 서브밴드 LH(CO)，HL(CO)，및 HH(CO)의 집합을 H(CO) 로서 정의한다. 이 방식으로, LL(AO*), H(AO*), LL(EO*), H(EO*) 가 획득된다.
그 이후, 프레임 BO, CO 가 1 층분만큼 공간 서브밴드 분할되어 (단계 115) , LL(BO), H(BO), LL(CO), 및 H(CO) 를 획득한다. LL(BO) 및 LL(CO) 는 각각 Bl 및 Cl 으로 정의되고, Bl 및 Cl 은 단계 111 에서 획득된 동작 정보에 기초하여시간 방향으로 서브밴드 분할되어, 저주파수 대역 서브밴드 Al* 과 고주파수 대역 서브밴드 El* 을 획득한다 (단계 116). Al* 은 LL(AO*) 와 동일하지 않고, El* 은 LL(EO*) 와 동일하지 않다.
공간 방향의 저주파수 대역에서의 동작 보상 프로세스들은, 제 2 의 종래 기술과 같이 하나의 서브밴드에서 다른 서브밴드로 변화하는 동작 정보에 기초하여 프로세스를 수행하는 방법과, 원래 해상도에서 획득된 동작 정보를 저주파수 대역에 적용하는 방법을 포함한다. 본 발명의 독특한 특징으로서의 시간/공간 분할 필터링에서, 이들 2 개의 방법은 동작 보상 프로세스를 제외하고는 동일한 구성을 갖는다. 전자는 상이한 공간 해상도상에서도 일반적인 동작 보상을 사용하지만, 후자는 상이한 공간 해상도에서 특정한 동작 보상을 사용하므로써, 시간 및 공간 방향으로의 신호 합성을 단순화시킨다. 시간/공간 분할 필터링과 쌍을 이루는 시간 합성 필터링에서, 전자는 도 2 에 대응하고, 후자는 도 3 에 대응한다.
이 실시형태에서는, 이하 원래 해상도로 획득된 동작 정보에 기초하여 동작 보상 프로세스를 결정하는 후자의 방법을 설명한다. 이 실시형태에 따른 공간 방향의 저주파수 대역 서브밴드에 대한 동작 보상 프로세스를 도 9 를 참조하여 설명한다. 서브밴드 분할의 정의로부터, LL-l(B1) + LH-l(LH(BO)) + HL-l(HL(BO)) + HH-l(HH(BO)) = B0 가 성립하는, 합성 필터 LL-l，LH-1，HL-l，및 HH-l 이 존재한다. 식 (1) 에서의 WBO 에 의해 상기 필터들을 승산함으로써 획득된 필터들 WBLLO，WBLHO，WBHLO，및 WBHHO 는
WBLLO(B1)+WBLHO(LH(BO))+WBHLO(HL(BO))+WBHHO(HH(BO))=WBO(BO) (3)
을 만족한다. LL(WBLLO(B1) 가 WBl(B1) 로 정의되고, LL(WBLHO(HL(B0) + WBHLO(LH(BO)) + WBHHO(HH(BO))) 가 WBHO(H(BO)) 로 정의되면,
WBl(Bl)+ WBHO(H(BO)) = LL(WBO(BO)) (4)
를 만족한다. 이 경우, E1*[p, q] 가
E1*[p, q] = 1/2(Cl[p, q]- WBl(Bl)[p, q]) (5)
로 정의되면,
E1*[p, q] = 1/2WBHO(H(BO))[p, q] = LL(EO*)[p, q] (6)
를 만족한다. 임의의 k 에 대하여, Ak* 및 Ek* 가, 식(1) 내지 식(6) 과 동일한 방식으로 식(7) 내지 식(12) 로 정의된다.
Ek*[p, q] = 1/2*(Ck[p, q] - WBk(Bk)[p, q]) (7)
Ak*[p, q] = Bk[p, q] + WCO(Ek*)[p, q] (8)
WBk+1(Bk+1) + WBHk+1(H(Bk)) = LL(WBk(Bk)) (9)
WCk+1(Ek+l*) + WCHk+l(H(Ek*)) = LL(WCk(Ek*)) (10)
Ek+l*[p, q] - 1/2WBHk(H(Bk))[p, q] = LL(Ek*)[p, q] (11)
Ak+1*[p, q] + WCHk(H(Ek*))[p, q]= LL(Ak*))[p, q] (12)
원래 해상도에서 획득된 동작 정보를 공간 방향의 저주파수 대역 서브밴드에 적용하는 다른 단계는, 해상도에 따라 동작 정보를 축소하는 방법이다. Al* 및 El* 이 획득된 이후, 공간 방향으로의 서브밴드 분할 카운트가 1 이면 (단계 117), LL(AO*), H(AO*), 및 LL(E0*) 대신에 분할 결과로서 Al*, H(BO), 및 El* 이 각각 출력되고 (단계 120), 프로세스는 종료한다. 다른 경우에, A1* 및 El* 이 한번 공간 서브밴드 분할되어, L(Al*), H(Al*), L(E1*) 및 H(El*) 을 획득한다 (단계 118). 그 후에, Bl 및 Cl 이 한번 서브밴드 분할되고 (단계 115), 그 획득된 B2, C2 가 시간 방향으로 서브밴드 분할된다 (단계 116) 상기의 처리는 분할 카운트가 m 이 될때까지 수행된다 (단계 117) 획득된 L(Am*), H(Bk), L(Em*), 및 H(Ek*) (0≤k<m) 이 분할 결과로서 출력되고 (단계 120), 프로세스는 종료한다.
전술한 바는 단계 103 에 대한 설명이었다. 이하, 도 7 을 참조하여 본 발명의 부호화 프로세스를 설명한다.
단계 103 이후, 시간 방향의 저주파수 대역 서브밴드인 A(0)*[0] 가 공간 방향으로 합성되어, A(1)[0] 를 생성한다 (단계 105). 이 단계는, 상위 시간 방향 계층에서 단계 103 에서의 시간 및 공간 방향으로의 A(1)[0] 를 서브밴드 분할하기 위해 수행된다.
단계 103 과 단계 105 에서의 프로세스들이 A(0)[n-2] 및 A(0)[n-1] 에 대하여 수행된 이후 (단계 106 , 107), 1 이 j 에 가산되어 i = 0, 2,...,n/2-2 를 설정하여, A(l)[i<<1] 과 A(1)[(j+1)<<1] 을 서브밴드 분할하고 (단계 103), A(l)*[i<<1] 을 공간 방향으로 합성한다 (단계 105). 이 프로세스 루프는 j 가 log2(n)―1과 동일해질 때까지 수행된다. 단계 103 의 종료시에 시간 방향으로의 현재 분할 카운트가 log2(n)―1 과 같아지면 (단계 104), 이것은, 모든 신호들이 시간 및 공간 방향으로 완전히 서브밴드 분할된다는 것을 의미한다. 그 후, 부호화 프로세스는 획득된 신호 A(j)*[O]，E*[i](O<i<n) 을 양자화하고 가역 부호화한다. 양자화로서, 선형 양자화, 비선형 양자화, 벡터 양자화 또는 국제표준의 정지 화면코딩인 JPEG 2000에 사용되는 비트 플레인 양자화를 사용하는 것이 가능하다. 또한, 가역 부호화로서, 참조문헌3 [비특허문헌5: J. M. Shapiro, "Embedded image coding using zerotrees of wavelets coefficients" IEEE Trans. Signal Processing，vol. 41，pp. 3445-3462，1993년 12월] 에서 기재된 제로트리 코딩, 산술 코딩, 또는 실행 길이 코드를 사용하는 것이 가능하다. 이러한 방식으로, A(O)[k](0≤k<n) 을 부호화하는 프로세스가 종료한다.
또 본 실시형태에서는, 어떤 계층에서 시간과 공간 양 방향으로 서브밴드 분할을 수행한 이후, 다음의 계층에서 부호화되는 프레임을 공간 방향으로 한번 서브밴드 합성하는 처리의 흐름을 가진다. 그러나, 이들 2 개의 프로세스들은, 예를 들어, 동작 보상에 의해 때때로 공간 방향으로의 서브밴드 신호들의 고주파 성분을 한번 보정함으로써 통합될 수 있다. 본 발명의 하나의 독특한 특징은, 공간 방향의 주파수 대역에 따라 동작 보상을 적절하게 보정하여, 공간 방향 서브밴드 분할 프로세스의 순서가 본 발명의 신규함을 손상시키지 않는 것이다.
이 실시형태를 구현하는 동화상 부호화 장치를 도 10 내지 도 12 를 참조하 여 설명한다. 도 10 은 동화상 부호화 장치의 구성을 나타내는 블록도이다.
입력 화상 신호 (2000) 는, 시간/공간 분할 필터링 유닛 (2000) 에 의해 시간 및 공간 방향으로 주파수 분할되어, 시간 저주파 분할 신호 (2001) 및 시간 고주파분할 신호 (2002) 를 생성한다. 시간 저주파 분할 신호 (2001) 및 시간 고주파분할 신호 (2002) 는 텍스처 신호 부호화기 (201; texture signal encoder) 에 의해 부호화되어 부호화 데이터 (2003) 를 생성한다.
도 11 은 시간/공간 분할 필터링 유닛의 구성을 나타내는 블록도이다. 우선, 입력 화상 신호 (2000) 가 메모리 (218) 에 저장된다. 입력 화상 신호 (2000) 를 시간 방향 필터링 유닛 (211) 이 시간 계층화하여, 시간 저주파 신호 (2012) 및 시간 고주파 신호 (2013) 를 생성한다. 공간 서브밴드 분할기 (212) 는, 시간 저주파 신호 (2012) 에 대하여 고주파 신호 생성 프로세스를 수행하여 시간 저주파/공간 고주파 신호 (2014) 를 생성한다. 또한, 공간 서브밴드 분할기 (213) 는, 시간 고주파 신호 (2013) 에 대하여 고주파 신호 생성 프로세스를 수행하여 시간 고주파/공간 고주파 신호 (2015) 를 생성한다. 시간 고주파/공간 고주파 신호 (2015) 는 시간 고주파 분할 신호 (2002) 로서 출력되고, 시간 저주파/공간 고주파 신호 (2014) 는 메모리 (219) 에 저장된다.
공간 서브밴드 분할기 (210) 는 메모리 (218) 에 저장된 입력 화상 신호에 대하여 저주파 신호 생성 프로세스를 수행하여, 축소 화상 신호 (2010) 를 생성한다. 시간 방향 필터링 유닛 (21) 은 그 축소 화상 신호 (2010) 를 시간 계층화시켜, 시간 저주파 신호 (2012) 및 시간 고주파 신호 (2013) 를 생성한다. 공 간 서브밴드 분할기 (212, 213) 는 시간 저주파 신호 (2012) 및 시간 고주파 신호 (2013) 에 대하여 고주파 신호 생성 프로세스를 수행하여, 시간 저주파/공간 고주파 신호 (2014) 및 시간 고주파/공간 고주파 신호 (2015) 를 각각 생성한다. 시간 고주파/공간 고주파 신호 (2015) 는 시간 고주파 신호 (2002) 로서 출력되고, 시간 저주파/공간 저주파 신호 (2014) 는 메모리 (219) 에 저장된다. 공간 계층 분할수가 m 이라 하면, (m-1) 회 동일한 처리가 수행된 이후, m 회째의 분할시에 스위치 (214, 215) 는 시간 저주파 신호 (2012) 및 시간 고주파 신호 (2013) 를 각각 시간 저주파 분할 신호 (2001) 및 시간 고주파 분할 신호 (2002) 로 간주한다. 그 후, 메모리 (2190) 에 저장된 시간 저주파 분할 신호를 공간 합성 필터링 유닛 (217) 이 합성하여 시간 저주파 신호 (2017) 를 생성한다. 시간 공간 분할 필터링 유닛은, 시간 저주파 신호 (2017) 를 입력으로 간주함으로써 전술한 시간/공간 분할 필터링을 재귀적으로 행한다. 시간 방향의 분할수가 nO 이면, nO-1 회 동일한 처리된 후, nO 회째의 분할이후 스위치 (216) 는 시간 저주파 분할 신호 (2001) 를 메모리 (219) 에 저장하지 않고 출력한다.
도 12 는 텍스처 신호 부호화기의 구성을 나타내는 블록도이다. 시간 저주파분할 신호 (2001) 와 시간 고주파 분할 신호 (2002) 를 분할 결과 신호 (2021) 로 총칭한다. 분할 결과 신호 (2021) 는 양자화기 (221) 에 의해 양자화되어, 양자화계수 신호 (2022) 로서 출력된다. 양자화계수 신호 (2022) 는 엔트로피 부호화기 (222) 에 의해 엔트로피 부호화되어 부호화 데이터 (2003) 로서 출력된다. 양자화 유닛 (221) 은 어떤 경우에는 생략된다. 또한, 양자화기 (21) 이전에서 주파수 변환 프로세스가 종종 추가된다.
도 7 에서의 단계 105 는, 도 1 에서의 공간 합성 필터링 유닛 (217) 의 처리에 대응하고, 도 7 에서의 단계 103 은 도 11 에 도시된 시간/공간 분할 필터링 유닛 중 공간 합성 필터링 유닛 (217) 을 제외한 처리에 대응한다. 도 7 에서의 단계 104 및 단계 107 은 도 11 에서의 스위치 (216) 의 처리에 대응하고, 도 7 에 서의 단계 109 는 도 10 에서의 텍스처 신호 부호화기 (201) 의 처리에 대응한다.
또한, 도 8 에서의 단계 111, 단계 112 및 단계 116 은 도 11 에서의 시간 방향 필터링 (211) 의 처리에 대응하고, 도 8 에서의 단계 115 는 도 11 에서의 공간 서브밴드 분할기 (210) 에 대응하고, 도 8 에서의 단계 113 및 단계 118 은 도 11 에서의 공간 서브밴드 분할기 (212, 213) 의 처리에 대응한다. 도 8 에서의 단계 117 은 도 11 에서의 스위치 (214, 215) 의 처리에 대응한다.
이하, 본 발명의 부호화 방법에서의 복호 프로세스를 설명한다.
이하, 본 발명의 독특한 특징인 동화상 복호 방법에서의 시간/공간 분할 필터링 유닛의 구성을 도 13 을 참조하여 설명한다.
도 13 을 참조하면, 시간/공간 합성 필터링 유닛은 공간 합성 필터링 유닛 (55), 시간 방향 역 필터링 유닛 (56), 시간 고주파/공간 저주파 신호 재구성 유닛 (57), 공간 합성 필터링 유닛 (58), 및 시간 방향 역 필터링 유닛 (59) 을 구비한다. 도 2 에서의 동화상 신호 (10), 시간 저주파 신호 (11), 시간 고주파 신호(12), 시간 저주파/공간 고주파 신호 (13), 시간 고주파/공간 고주파 신호 (14), 축소 화상 신호 (15), 시간 저주파 신호 (16), 시간 고주파 신호 (17), 시간 고주파/공간 저주파 신호 (18) 는 각각, 도 13 에서의 동화상 신호 (10), 시간 저주파 신호 (11), 시간 고주파 신호 (12), 시간 저주파/공간 고주파 신호(13), 시간 고주파/공간 고주파 신호 (14), 축소 화상 신호 (15), 시간 저주파 신호 (16), 시간 고주파 신호 (17), 및 시간 고주파/공간 저주파 신호 (18) 에 대응한다.
이하, 도 14 의 흐름도를 참조하여 도 13 에 도시된 시간/공간 합성 필터링의 처리를 설명한다.
우선, 공간 합성 필터링 유닛 (55) 은 시간 저주파 신호 (16) 와 시간 저주파/공간 고주파 신호 (13) 를 공간 계층 합성하여, 시간 저주파 신호 (11) 를 생성한다 (단계 84). 또한, 시간 방향 역 필터링 유닛 (56) 은 시간 저주파 신호 (16) 와 시간 고주파 신호 (17) 를 시간 계층 합성하여, 축소 화상 신호 (15) 를 재구성한다 (단계 85). 시간 고주파/공간 저주파 신호 재구성 유닛 (57) 은 시간 저주파 신호 (11) 및 축소 화상 신호 (15) 를 참조함으로써 시간 고주파/공간 저주파 신호 (18) 를 재구성한다 (단계 86). 공간 합성 필터링 유닛 (58) 은 시간 고주파/공간 저주파 신호 (18) 와 시간 고주파/공간 고주파 신호 (14) 를 공간 계층 합성하여 (단계 87) 시간 고주파 신호 (12) 를 재구성한다. 시간 방향 역 필터링 유닛 (59) 은 시간 저주파 신호 (11) 와 시간 고주파 신호 (12) 를 시간 계층 합성하여, 동화상 신호 (10) 를 재구성한다 (단계 88).
시간/공간 합성 필터링의 독특한 특징은, 시간 고주파/공간 저주파 신호를 재구성하는 프로세스이다. 도 15 는 이 프로세스를 설명하기 위한 개념도이다. 도 15 에서의 신호를 나타내는 기호는 도 9 에서의 기호를 따른다. BO 및 B1 은 각각 도 14 에서의 시간 저주파 신호 (11, 16) 를 나타내고, EO* 및 El* 은 각각 시간 고주파 신호 (12, 17) 를 나타내고, H(EO*) 는 시간 고주파/공간 고주파 신호 (14) 를 나타낸다. 또한, CO 는 EO* 에 대응하는 동화상 신호 (10) 를 나타내고, Cl 은 El* 에 대응하는 축소 화상 신호 (15) 를 나타낸다. WBO 및 WBI는 각각 BO 및 Bl 에 대한 동작 보상 오퍼레이터들이다. 부호화시에, BO 를 동작 보상함으로써 획득될 수 있는 예측 화상 신호 PO 및 C0 에 대하여 시간 방향 필터링을 수행함으로써 시간 고주파 신호 E0* 가 획득된다고 가정한다. 즉, f 를 시간 방향 필터링이라고 하면,
EO* = f(PO, CO) (13)
이 된다.
또한 도 14 에 도시된 단계 90 과 단계 91 에 의해 BO 와 C1 이 재구성된다고 가정한다. 식 (13) 으로부터, 시간 고주파/공간 저주파 신호 LL(E0*) 가,
LL(EO*) = f(LL(PO), Cl) (14)에 의해 획득된다.
본 발명의 실시형태로서 동화상 복호방법에서의 시간/공간 합성 필터링은, 도 2 에 도시된 시간/공간 합성 필터링에서 각각의 공간 계층에 대하여 동작 보상 프로세스가 규정되고 간략화된 도 3 에 도시된 방법이다. 이하, 도 16 을 참조하여 본 발명의 실시형태로서 시간/공간 합성 필터링을 구현하는 시간/공간 합성 필터링 유닛의 구성을 설명한다.
도 16 을 참조하면, 시간/공간 합성 필터링 유닛은, 시간 저주파/공간 저주파 신호 재구성 유닛 (60), 시간 고주파/공간 저주파 신호 재구성 유닛 (61), 공간 합성 필터링 유닛 (62), 공간 합성 필터링 유닛 (63), 시간 방향 역 필터링 (64) 를 구비한다. 도 3 에서의 동화상 신호 (10), 시간 저주파 신호 (11), 시간 고주파 신호 (12), 시간 저주파/공간 고주파 신호 (13), 시간 고주파/공간 고주파 신호 (14), 축소 화상 신호 (15), 시간 저주파 신호 (16), 시간 고주파 신호 (17), 시간 고주파/공간 저주파 신호 (18), 및 시간 저주파/공간 저주파 신호 (19) 는 각각, 도 16 에서의 동화상 신호 (10), 시간 저주파 신호 (11), 시간 고주파 신호 (12), 시간 저주파/공간 고주파 신호 (13), 시간 고주파/공간 고주파 신호 (14), 축소 화상 신호 (15), 시간 저주파 신호 (16), 시간 고주파 신호 (17), 시간 고주파/공간 저주파 신호 (180), 및 시간 저주파/공간 저주파 신호 (19) 에 대응한다.
이하 도 17 의 흐름도를 참조하여 시간/공간 합성 필터링의 프로세스를 설명한다.
먼저, 시간 저주파/공간 저주파 신호 재구성 유닛 (60) 은 시간 저주파 신호(16) 와 시간 고주파/공간 고주파 신호 (14) 를 참조함으로써, 시간 저주파/공간 저주파 신호 (19) 를 재구성한다 (단계 89). 또한, 시간 고주파/공간 저주파 신호 재구성 유닛 (61) 은 시간 고주파 신호 (17) 와 시간 저주파/공간 고주파 신호를 참조함으로써 시간 고주파/공간 고주파 신호 (18) 를 재구성한다 (단계 90). 공간합성 필터링 유닛 (62) 은, 시간 저주파/공간 저주파 신호 (19) 와 시간 저주파/공간 고주파 신호 (13) 를 공간 계층 합성해서 시간 저주파 신호 (11) 를 재구 성하고 (단계 91), 공간 합성 필터링 유닛 (63) 은, 시간 저주파/공간 저주파 신호 (18) 와 시간 저주파/공간 고주파 신호 (14) 를 공간 계층 합성해서 시간 저주파 신호 (12) 를 재구성한다 (단계 92). 시간 방향 역 필터링 유닛 (64) 은, 시간 저주파 신호 (11) 와 시간 고주파 신호 (12) 를 시간 계층 합성하여, 동화상 신호 (10) 를 재구성한다 (단계 93).
이하, 도 18 및 도 19 를 참조하여 시간/공간 합성 필터링을 가지는 동화상 복호 방법을 설명한다.
이 실시형태에서, 복호 화상은, 원화상에 대하여 시간 및 공간 방향으로 1/2의 제곱인 임의의 해상도를 가진다. 즉, 부호화 프로세스에서 공간 방향 서브밴드 분할수가 m 이면, 수평 및 수직 방향으로 원화상의 해상도의 1/2, 1/4,...,1/2m의 해상도를 가지는 복호 화상을 재구성하는 것이 가능하다. 또한, 시간 방향 서브밴드 분할수 nO = log2(n) 에 대하여, 원화상의 1/2, 1/4,..., 1/2nO 의 프레임 레이트를 가지는 복호 화상이 재구성될 수 있다. 도 18 은 본 발명의 실시형태로서 복호 프로세스의 흐름을 나타내는 흐름도이다. 이하 도 18 을 참조하여, 원화상 A(O)[i](0≤i<n，n 은 2 의 제곱) 에 대하여, 수평 및 수직 방향으로의 1/2kO (0≤k0≤m) 의 해상도와, 1/2jO (0≤jO<nO) 의 프레임 레이트를 가지는 복호 화상 A(jO)kO[i] 을 재구성하는 프로세스를 설명한다.
우선, 부호화 데이터에 대하여 가역 부호화의 역변환 및 역양자화가 수행행된다 (단계 152). 이 처리에 의해 획득된 신호들은 도 7 에서 사용되는 기호에 따라 A(nO)*[O]，및 E*[i](O<i<n) 으로 정의된다. 그 다음에, jO 와 nO 가 동 일한지가 확인된다 (단계 153). 만약 jO 및 nO 가 동일하면, 시간 방향으로의 서브밴드 합성은 수행될 필요가 없고, A(j)*[O] 을 공간 방향으로 k0 계층만큼 서브밴드 합성된다. 만약 A(jO)kO[O] 가 재구성될 때 (단계 154), 복호 프로세스는 종료한다. 한편, jO 와 nO가 동일하지 않으면, A(j)*[O] 및 E*[n/2] 가 시간 방향과 공간 방향의 쌍방으로 서브밴드 합성된다 (단계 155, 156).
도 19 는 단계 156 에서의 2 개의 프레임 데이터를 시간과 공간 방향으로 서브밴드 합성하는 프로세스의 흐름을 나타내는 흐름도이다. 복호 동안에 서브밴드 합성의 횟수를 kO 라고 가정한다. kO 이 '0' 이면, 원화상과 동일한 해상도를 가지는 복호 화상이 획득되며, k0 가 포지티브이면, 2 의 kO승 만큼 축소된 해상도를 가지는 복호 화상이 획득된다. 서브밴드 합성 프로세스의 대상인 2 개 프레임의 데이터는 공간 방향으로 m 회 서브밴드 분할되는 계층 구조를 가진다. 도 8 의 단계 116 과 단계 118 을 따르면, 시간 방향의 서브밴드 분할에서 저주파수 대역에 속하는 서브밴드 신호 중, 공간 방향의 서브밴드 분할에서 최저주파수 대역에 속하는 서브밴드 신호는 Am* 에 대응하고, k 번째의 계층이 서브밴드 분할된 이후의 고주파수 대역 서브밴드는 H(Bk)(0≤k<m) 에 대응한다. 유사하게, 시간 방향의 서브밴드 분할에서 고주파수 대역에 속하는 서브밴드 신호가 공간 방향으로 분할된 이후의 신호들은 Em* 및 H(Ek*), (0≤k<m) 에 관련될 수 있다. Am*, H(Bk), Em*, 및 (Ek*) (O≤k<m) 을 참조함으로써 원화상 BO 및 CO 를 2의 kO승 만큼 축소함으로써 획득된 해상도를 가지는 복호 화상 BkO 및 CkO 를 재구성하는 프로세스를 도 19 를 참조하여 설명한다.
k0 와 m 이 동일하면 (단계 171 및 단계 172), Am* 과 Em* 을 시간 방향으로서브밴드 합성함으로써 Bm 과 Cm 이 획득된다 (단계 177). 식 (7) 및 식 (8) 에 의해 지시되는 시간 방향 서브밴드 분할이 수행되는 경우, 서브밴드 합성은
Bm[p, q] = Am*[p, q] + WCm(Em*)[p, q] (15)
Cm[p, q] = 2* Em*[p, q] + WBm(Bm)[p, q] (16)
에 의해 수행되며, 여기서 WBm 및 WCm은 각각, Bm 으로부터 Cm 으로의 동작 보상을 나타내는 필터와 Cm 으로부터 Bm 으로의 동작 보상을 나타내는 필터이고, 부호화 프로세스에서도 동일하다.
kO 와 m 이 동일하지 않으면 (단계 172), 한번의 서브밴드 합성을 수행하기 위해서 LL(Am-l*) 과 LL(Em-l*) 및 H(Am-l*) 이 획득되어야만 한다. 따라서, k = m 으로 설정되고 (단계 171), Ek* 및 H(Ek-l*) 을 참조함으로써 Ak* 가 LL(Ak-l*) 로 보정되고, Ak* 및 H(Bk-l) 을 참조함으로써 Ek* 가 LL(Ek-l*) 로 보정되고 (단계 173) , LL(Ek-1*) 및 H(Ek-l*) 을 참조함으로써 H(Bk-l) 이 H(Am-l*) 로 보정된다 (단계 174). 이들의 보정 프로세스들은, 도 8 의 단계 114 에서의 시간 서브밴드 분할 및 도 19 의 단계 177에서의 시간 서브밴드 합성에서의 동작 보상 프로세스들로부터 유일하게 결정된다. 식 (7) 내지 식 (10) 에 따라 시간 방향의 서브밴드 분할이 수행되는 경우, 식 (11) 및 식 (12) 에 따라, H(Ek-1*) 을 참조함으로써 Ak* 가 L(Ak-l*) 로 보정되고, H(Bk-1) 을 참조함으로써 Ek* 가 L(Ek-l*) 로 보정된다. 또한, 식 (8) 에서의 Ek-1* 을 참조하여, H(Bk-1) 이 H(Am-1*) 로 보정된다.
그 후, L(Ak-l*) 과 H(Ak-1*) 가 서브밴드 합성되고, L(Ek-l*) 과 H(Ek-l*) 이 서브밴드 합성되어 Ak-1* 과 Ek-l* 를 획득한다 (단계 175). 계층 kO 에 대응하는 서브밴드 AkO* 와 EkO*가 단게 173 내지 단계 175 를 반복함으로써 획득되는 경우 (단계 176 및 단계 172), 시간 방향의 서브밴드 합성이 수행되어 BkO， CkO 를 획득한다 (단계 177). 전술한 바는 도 18 의 단계 156 에서의 시간/공간 방향의 서브밴드 합성의 설명이다.
이 실시형태에서는, 서브밴드의 보정 (단계 173 및 단계 174) 과 공간 방향의 서브밴드 합성 (단계 175) 을 독립 단계로 설명했지만, 또한 이들 단계들을 서브밴드 보정에 대한 동작 보상 필터와 서브밴드 합성 필터를 승산함으로써 획득되는 필터를 사용하여 통합시킬 수도 있다.
도 18 을 참조하여, 이하 복호 프로세스를 설명한다. A(j)*[O] 와 E*[n/2] 가 서브밴드 합성된 이후, 원화상의 1/2kO의 해상도를 가지는 화상A(j)(kO)[O] 과 A(j)(kO)[n/2] 가 획득된다. 만약 jO 과 nO-l 이 동일하면 (단계 157), 복호 프로세스는 종결된다. 그렇지 않으면, jO 과 nO-l 은 공간 방향으로 kO 회 서브밴드 분할되어, A(j-1)*(kO)[O] 과 A(j-l)*(kO)[n/2] 가 획득된다. 이 분할은, 그 다음의 시간 방향 서브밴드 합성에서 그들의 공간 방향 저주파 대역 서브밴드를 보정하는데 고주파수 대역 서브밴드가 필요하기 때문에 수행된다. j 에서 1 을 감소시킴으로써 (단계162) 그 다음의 계층에서의 시간/공간 서브밴드 합성은, A(j)*[O] 와 E*[n/4],및 A(j)*[n/2] 와 E*[3n/4] 에 대하여 수행된다 (단계 156, 단계 159 및 단계 160). 전술한 바와 같이 서브밴드 합성이 반복되고, j 와 jO 가 동일해지는 시점에서, 복호 프로세스는 종료된다 (단계 161).
이하, 도 20 내지 도 24 를 참조하여 이 실시형태를 구현하는 동화상 복호 장치를 설명한다. 도 20 은 동화상 복호 장치의 구성을 나타내는 블록도이다.
도 20 을 참조하면, 동화상 복호 장치는 텍스처 신호 복호기 (301), 스위치 (302), 시간/공간 합성 필터링 유닛 (303), 공간 합성 필터링 유닛 (304), 및 스위치 (305) 를 구비한다. 부호화 데이터 (3000) 는 텍스처 신호 복호기 (301) 에 의해 분할 결과 신호 (3001) 로 복호된다. 스위치 (305) 는 분할 결과 신호 (3001) 에 대하여 공간합성 필터링 유닛 (304) 에 의해 수행되는 공간 계층합성 프로세스의 결과를 복호 화상으로서 출력하거나 또는, 스위치 (302) 에 의해 선택되는 시간 저주파 분할 신호 (3002) 또는 시간 고주파 분할 신호 (3003) 에 대하여 시간/공간 합성 필터링 유닛 (303) 에 의해 수행되는 시간/공간 합성 필터링의 결과를 복호 화상 (3004) 으로서 출력한다.
도 21 은 텍스처 신호 복호기의 구성을 나타내는 블록도이다. 부호화 데이터 (3000) 는 엔트로피 복호기 (306) 에 의해 복호되어 양자화 계수신호 (3006) 로서 출력된다. 역양자화기 (307) 는 양자화 계수신호 (3007) 를 역으로 양자화해서 분할 결과 신호 (3001) 를 재구성한다. 부호화 프로세스에 따라 일정한경우에는 역양자화기 (307) 는 생략된다. 또한, 역양자화기 (307) 이후에 주파수 역변환 프로세스가 종종 추가된다.
도 22 는, 시간/공간 합성 필터링 유닛의 구성을 나타내는 블록도이다. 시간 저주파 분할 신호 (3002) 는 시간 저주파 신호 (3010) 와 시간 저주파/공간 고주파 신호 (3011) 를 다중화 (multiplexing) 함으로써 획득된 신호이고, 시간 고주파 분할 신호 (3003) 는 시간 고주파 신호 (3012) 와 시간 고주파/공간 고주파 신호 (3013) 를 다중화함으로써 획득된 신호이다.
역 서브밴드 다중화기 (310) 는, 시간 저주파 분할 신호 (3002) 를 역다중화하고 (inversely multiplex), 때때로 시간 저주파 신호 (3010) 및 시간 저주파/공간 고주파 신호 (3011) 를 시간 저주파 신호 생성기 (312) 로 출력한다. 역 서브밴드 다중화기 (311) 는 시간 고주파 분할 신호 (3003) 를 역다중화하고, 때때로 시간 고주파 신호 (3012) 와 시간 고주파/공간 고주파 신호 (3013) 를 시간 고주파 신호 생성기 (313) 로 출력한다.
도 23 은 시간 저주파 신호 생성기의 구성을 나타내는 블록도이다. 시간 저주파/공간 저주파 신호 재구성 유닛 (320) 은 시간 고주파 신호 생성기로부터 출력된 보조 신호 (3015) 와 시간 저주파 신호 (3010) 를 참조하여 시간 저주파/공간 저주파 신호 (3030) 를 재구성한다. 공간 합성 필터링 유닛 (321) 은 시간 저주파/공간 저주파 신호 (3030) 와 시간 저주파/공간 고주파 신호 (3011) 를 공간 계층 합성하여, 시간 저주파 신호 (3031) 를 생성한다. 스위치 (322) 는 시간 저주파 신호 (3031) 를 직접 출력하거나 또는, 시간 고주파/공간 저주파 신호 재구성 유닛 (320) 으로의 입력으로서 재귀적으로 시간 저주파 신호 생성 프로세스를 수행한다. 또한, 시간 저주파/공간 고주파 신호 (3011) 는 시간 고주파 신호 생성기 (313) 에 보조 신호 (3014) 로서 출력된다.
도 24 는 시간 고주파 신호 생성기의 구성을 나타내는 블록도이다. 시간 고주파/공간 저주파 신호 재구성 유닛 (323) 은, 시간 고주파 신호 생성 유닛으로부터 출력되는 보조 신호 (3014) 와 시간 고주파 신호 (3012) 를 참조함으로써, 시간 고주파/공간 저주파 신호 (3032) 를 재구성한다. 공간 합성 필터링 유닛 (324) 은, 시간 고주파/공간 저주파 신호 (3032) 와 시간 고주파/공간 고주파 신호 (3013) 를 공간 계층 합성하여, 시간 고주파 신호 (3033) 를 생성한다. 스위치 (325) 는 시간 고주파 신호 (3033) 를 직접 출력하거나 또는 시간 고주파/공간 저주파 신호 재구성 유닛 (323) 으로의 입력으로서 재귀적으로 시간 고주파 신호 생성 프로세스를 수행한다. 또한, 시간 저주파/공간 고주파 신호 (3013) 는 시간 고주파 신호 생성 유닛 (312) 에 보조 신호 (3015) 로서 출력된다.
전술한 바는 시간 저주파 신호 생성부 유닛 (312) 및 시간 고주파 신호 생성유닛 (313) 의 설명이었다. 이하, 도 22 를 참조하여 시간/공간 합성 필터링 처리를 계속하여 설명한다. 스위치 (314) 는 시간 저주파 신호 (3010) 또는 시간 저주파 신호 생성 유닛 (312) 로부터 출력된 시간 저주파 신호 (3016) 를 시간 방향 역필터링 (316) 에 출력한다. 스위치 (315) 는 시간 고주파 신호 (3012) 또는, 시간 고주파 신호 생성 유닛 (313) 으로부터 출력된 시간 고주파 신호 (3017) 를 시간 방향 역필터링 (316) 에 출력한다.
시간 서브밴드 합성기 (316) 는 스위치 (314) 및 스위치 (315) 로부터 각각 출력된 시간 저주파 신호 (3018) 및 시간 고주파 신호 (3019) 를 시간 계층 합성하여, 동화상 신호 (3020) 를 재구성한다. 스위치 (317) 는, 동화상 신호 (3020) 가 시간 방향 합성을 더 필요로 하는 경우, 동화상 신호 (3020) 를 공간 분할 필터 링 유닛 (314) 으로 출력한다. 공간 방향 합성이 소정 횟수 이미 수행된 경우, 동화상 신호 (3020) 는 동화상 신호 (3004) 로서 출력된다. 입력된 동화상 신호로부터 저주파 분할 신호 (3002) 를 생성하고 시간/공간 합성 필터링을 재귀적으로 수행하기 위해서, 공간 분할 필터링 유닛 (318) 은 입력된 동화상 신호를 공간 계층 분할하고, 분할 결과 신호 (3021) 를 역 서브밴드 다중화기 (310) 로 출력한다.
전술한 바는 본 발명의 실시형태로서의 동화상 복호 장치의 설명이었다. 도 20 에서의 텍스처 신호 복호기 (3010) 의 처리는 도 18 에서의 단계 152 에 대응한다. 도 20 에서의 시간/공간 합성 필터링 유닛 (303) 은 도 18 에서의 단계 156 및 단계 158 에 대응한다. 도 20 에서의 스위치 (302, 305) 의 결정 프로세스는 각각 도 18 에서의 단계 153 및 단계 161 에 대응한다. 공간 합성 필터링 유닛 (304) 은 단계 154 에 대응한다.
또한, 본 발명의 독특한 특징인 시간/공간 합성 필터링에서, 도 23 에서의 시간 저주파/공간 저주파 신호 재구성 유닛 (320) 의 처리 및 도 24 에서의 시간 고주파/공간 저주파 신호 재구성 유닛 (3203) 의 처리는 도 19 에서의 단계 173 에 대응한다. 도 23 에서의 공간 합성 필터링 유닛 (321) 의 처리 및 도 24 에서의 공간 합성 필터링 유닛 (324) 의 처리는, 도 19 에서의 단계 175 에 대응한다. 도 23 에서의 스위치 (322) 및 스위치 (325) 의 결정 프로세스는 각각 도 19 에서의 단계 172 에 대응한다. 도 22 에서의 시간 서브밴드 합성기 (316) 의 처리는 도 19 에서의 단계 177 에 대응한다. 도 22 에서의 스위치 (317) 의 결정 프로세스는 도 18 에서의 단계 160 에 대응하고, 도 22 에서의 공간 분할 필터링 유닛 (318) 의 처리는 도 18 에서의 단계 158 에 대응한다.
이 실시형태에 따른 시간/공간 합성 필터링의 하나의 독특한 특징은, 시간 저주파 신호와 시간 고주파/공간 고주파 신호를 참조함으로써 시간 저주파/공간 저주파 신호가 재구성되고, 시간 고주파 신호와 시간 저주파/공간 고주파 신호를 참조함으로써 시간 고주파/공간 저주파 신호가 재구성된다는 점이다. 시간/공간 합성 필터링의 다른 실시형태는 시간 저주파 신호와 시간 고주파 신호만을 참조함으로써, 시간 저주파/공간 저주파 신호와 시간 고주파/공간 저주파 신호를 동시에 재구성하는 방법이다. 이 경우, 상위 계층에서의 동작 보상은, 원래의 해상도에서 획득된 동작 정보를 해상도에 따라 축소시킴으로서 획득된 동작 정보에 기초하여 수행된다.
이 실시형태에서는 시간 방향 서브밴드 분할에서의 프레임의 참조 관계가 계층구조를 가지는 경우를 설명하였지만, 또한 본 발명은 이 참조 관계가 임의의 구조를 가지는 경우에도 적용가능하다. 또한, 본 실시형태는 한 개의 시간 방향 서브밴드 분할에서, 과거 프레임이 저주파수 대역 서브밴드로 변환되는 경우로 한정하여 설명하였지만, 본 발명은 또한 장래의 프레임이 저주파수 대역 서브밴드로 변환되는 경우 또는, 2 개의 프레임이 쌍방향 예측의 형태로 시간 방향 분할되는 경우에도 적용될 수 있다. 어느쪽의 경우에서도, 시간 방향 분할 이후 각각의 서브밴드가 공간 방향으로 분할되는 경우에 획득된 저주파수 대역 서브밴드는, 부호화될 화상을 공간 방향으로 분할함으로써 획득되는 저주파수 대역 서브밴드를 시 간 방향으로 분할함으로써 획득된 서브밴드로 대체되며, 보정이 수행되어 복호시에 쌍이 되는 프레임들의 복호 결과들 또는 서브밴드들을 이용함으로써 획득되는 원하는 복호 결과들이 획득된다.
또한 본 실시형태는 계층 부호화를 구현하는 변환 방법으로서 서브밴드 분할을 사용하지만, 본 발명은 임의의 계층 부호화 방법에도 적용가능하다. 서브밴드 분할에서, 저주파수 대역에 대응하는 신호는 상위 계층과 관련된다. 본 발명에 기초하는 실시형태인 부호화 방법에서, 프레임간 예측 이후에 획득된 예측 오차 신호를 계층 분할함으로써 형성된 상위 계층 신호가, 입력 화상 신호가 계층 분할된 이후에 상위 계층 신호에 대하여 프레임간 예측을 수행함으로써 획득된 예측 오차로 대체된다. 복호 방법에서, 계층화된 프레임 신호중 상위 계층은, 입력된 화상 신호에 대하여 프레임간 예측을 수행하여 획득된 예측 오차 신호를 계층 분할함으로써 형성되는 상위 계층 신호로 보정된다.

Claims (93)

  1. 동화상 신호를 시간 계층 분할함으로써 시간 계층화 신호를 획득하는 단계;
    상기 시간 계층화 신호에 대하여 공간 계층 분할에서의 고주파 생성 프로세스를 수행함으로써 시간 계층화 공간 고주파 신호를 획득하는 단계;
    상기 동화상 신호에 대하여 공간 계층 분할에서의 저주파 생성 프로세스를 수행함으로써 축소 화상 신호를 획득하는 단계; 및
    상기 축소 화상 신호를 시간 계층화함으로써 축소 시간 계층화 신호를 획득하는 단계를 적어도 포함하는 것을 특징으로 하는, 동화상 부호화 방법.
  2. 제 1 항에 있어서,
    시간 계층화 공간 고주파 신호 및 축소 시간 계층화 신호가 부호화되는 것을 특징으로 하는, 동화상 부호화 방법.
  3. 동화상 신호에 대하여 프레임간 예측을 수행함으로써, 예측 오차 신호를 획득하는 단계;
    상기 예측 오차 신호에 대하여 공간 계층 분할에서의 고주파 생성 프로세스를 수행함으로써, 예측 오차 공간 고주파 신호를 획득하는 단계;
    상기 동화상 신호에 대하여 공간 계층 분할에서의 저주파 신호 생성 프로세스를 수행함으로써, 축소 화상 신호를 획득하는 단계; 및
    상기 축소 화상 신호에 대하여 프레임간 예측을 수행함으로써, 예측 오차 신호로서의 축소 프레임간 예측 오차 신호를 획득하는 단계를 적어도 포함하는 것을 특징으로 하는, 동화상 부호화 방법.
  4. 제 3 항에 있어서,
    상기 예측 오차 공간 고주파 신호와 축소 프레임간 예측 오차가 부호화되는 것을 특징으로 하는, 동화상 부호화 방법.
  5. 동화상 신호에 대하여 동작 보상 예측을 수행하고 또한 상기 동화상 신호를 공간 방향으로 서브밴드 분할하는 3 차원 서브밴드 분할 프로세스를 수행하는 동화상 부호화 방법으로서,
    상기 3 차원 서브밴드 분할 프로세스는,
    상기 동화상 신호의 프레임간 동작을 검출함으로써 동작 정보를 획득하는, 동작 검출 단계;
    상기 동작 정보에 따라 상기 동화상 신호에 대하여 동작 보상 예측을 수행함으로써 예측 오차 신호를 획득하는, 동작 보상 예측 단계;
    상기 예측 오차 신호를 공간 서브밴드 분할함으로써 공간 저주파 예측 오차 서브밴드 신호와 공간 고주파 예측 오차 서브밴드 신호를 생성하는, 예측 오차 신호 공간 분할 단계; 및
    상기 동화상 신호를 공간 서브밴드 분할함으로써 공간 저주파 인트라 서브밴 드 신호와 공간 고주파 인트라 서브밴드 신호를 생성하는, 밴드 신호 공간 분할 단계를 적어도 포함하는 것을 특징으로 하는, 동화상 부호화 방법.
  6. 제 5 항에 있어서,
    상기 동화상 신호에 대하여 상기 동작 보상 예측 단계, 상기 예측 오차 신호 공간 분할 단계, 및 상기 대역 신호 공간 분할 단계가 수행되고, 상기 밴드 신호 공간 분할 단계 이후에 획득되는 공간 저주파 인트라 서브밴드 신호를 상기 동화상 신호로 대체하여 상기 동작 보상 예측 단계, 상기 예측 오차 신호 공간 분할 단계, 및 밴드 신호 공간 분할 단계가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 부호화 방법.
  7. 동화상 신호에 대하여 동작 보상 예측을 수행하고 또한 상기 동화상 신호를 공간 방향으로 서브밴드 분할하는 3 차원 서브밴드 분할 프로세스를 수행하는 동화상 부호화 방법으로서,
    상기 3 차원 서브밴드 분할 프로세스는,
    상기 동화상 신호의 프레임간 동작을 검출함으로써 동작 정보를 획득하는, 동작 검출 단계;
    상기 동화상 신호를 공간 서브밴드 분할하여 획득되는 공간 저주파 서브밴드 신호에 대하여 상기 동작 정보에 따라 동작 보상 예측을 수행함으로써 예측 오차 신호를 획득하는, 동작 보상 예측 단계;
    상기 예측 오차 신호를 공간 서브밴드 분할함으로써 공간 저주파 예측 오차 서브밴드 신호와 공간 고주파 예측 오차 서브밴드 신호를 생성하는, 예측 오차 신호 공간 분할 단계; 및
    상기 공간 저주파 서브밴드 신호를 공간 서브밴드 분할함으로써 공간 저주파 인트라 서브밴드 신호와 공간 고주파 인트라 서브밴드 신호를 생성하는, 밴드 신호 공간 분할 단계를 적어도 포함하는 것을 특징으로 하는, 동화상 부호화 방법.
  8. 제 7 항에 있어서,
    상기 동화상 신호에 대하여 상기 동작 보상 예측 단계, 상기 예측 오차 신호 공간 분할 단계, 및 상기 대역 신호 공간 분할 단계가 수행되고, 상기 밴드 신호 공간 분할 단계 이후에 획득되는 공간 저주파 인트라 서브밴드 신호를 상기 공간 저주파 서브밴드 신호로 대체하여 상기 동작 보상 예측 단계, 상기 예측 오차 신호 공간 분할 단계, 및 밴드 신호 공간 분할 단계가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 부호화 방법.
  9. 시간 방향과 공간 방향의 양방향으로 동화상 신호를 서브밴드 분할하는 3 차원 서브밴드 분할 프로세스를 수행하는 동화상 부호화 방법으로서,
    상기 3 차원 서브밴드 분할 프로세스는,
    상기 동화상 신호의 프레임간 동작을 검출함으로써 동작 정보를 획득하는, 동작 검출 단계;
    상기 동작 정보에 따라 상기 동화상 신호를 동작 보상하고, 동작 보상된 동화상 신호를 시간 서브밴드 분할함으로써 시간 저주파 서브밴드 신호와 시간 고주파 서브밴드 신호를 획득하는, 시간 서브밴드 분할 단계;
    상기 시간 고주파 서브밴드 신호를 공간 서브밴드 분할함으로써 시간 고주파/공간 저주파 서브밴드 신호와 시간 고주파/공간 고주파 서브밴드 신호를 생성하는, 시간 고주파 서브밴드 공간 분할 단계;
    상기 시간 저주파 서브밴드 신호를 공간 서브밴드 분할함으로써 시간 저주파/공간 저주파 서브밴드 신호와 시간 저주파/공간 고주파 서브밴드 신호를 생성하는 시간 저주파 서브밴드 공간 분할 단계; 및
    상기 동화상 신호를 공간 서브밴드 분할함으로써 공간 저주파 인트라 서브밴드 신호와 공간 고주파 인트라 서브밴드 신호를 생성하는, 밴드 신호 공간 분할 단계를 적어도 포함하는 것을 특징으로 하는, 동화상 부호화 방법.
  10. 제 9 항에 있어서,
    상기 동화상 신호에 대하여 상기 시간 서브밴드 분할 단계, 상기 시간 고주파 서브밴드 공간 분할 단계, 상기 시간 저주파 서브밴드 공간 분할 단계, 및 상기 밴드 신호 공간 분할 단계가 수행되고, 상기 밴드 신호 공간 분할 단계 이후에 획득되는 공간 저주파 인트라 서브밴드 신호를 상기 동화상 신호로 대체하여 상기 시간 서브밴드 분할 단계, 상기 시간 고주파 서브밴드 공간 분할 단계, 상기 시간 저주파 서스밴드 공간 분할 단계, 및 상기 밴드 신호 공간 분할 단계가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 부호화 방법.
  11. 시간 방향과 공간 방향의 양방향으로 동화상 신호를 서브밴드 분할하는 3 차원 서브밴드 분할 프로세스를 수행하는 동화상 부호화 방법으로서,
    상기 3 차원 서브밴드 분할 프로세스는,
    상기 동화상 신호의 프레임간 동작을 검출함으로써 동작 정보를 획득하는, 동작 검출 단계;
    상기 동화상 신호를 공간 서브밴드 분할하여 획득되는 공간 저주파 서브밴드 신호를 상기 동작 정보에 따라 동작 보상하고, 상기 동작 보상된 공간 저주파 서브밴드 신호를 시간 서브밴드 분할함으로써, 시간 저주파 서브밴드 신호와 시간 고주파 서브밴드 신호를 획득하는, 시간 서브밴드 분할 단계;
    상기 시간 고주파 서브밴드 신호를 공간 서브밴드 분할함으로써 시간 고주파/공간 저주파 서브밴드 신호와 시간 고주파/공간 고주파 서브밴드 신호를 생성하는, 시간 고주파 서브밴드 공간 분할 단계;
    상기 시간 저주파 서브밴드 신호를 공간 서브밴드 분할함으로써 시간 저주파/공간 저주파 서브밴드 신호와 시간 저주파/공간 고주파 서브밴드 신호를 생성하는, 시간 저주파 서브밴드 공간 분할 단계; 및
    상기 공간 저주파 서브밴드 신호를 공간 서브밴드 분할함으로써 공간 저주파 인트라 서브밴드 신호와 공간 고주파 인트라 서브밴드 신호를 생성하는, 밴드 신호 공간 분할 단계를 적어도 포함하는 것을 특징으로 하는, 동화상 부호화 방법.
  12. 제 11 항에 있어서,
    상기 동화상 신호에 대하여, 상기 시간 서브밴드 분할 단계, 상기 시간 고주파 서브밴드 공간 분할 단계, 상기 시간 저주파 서브밴드 공간 분할 단계, 및 밴드 신호 공간 분할 단계가 수행되고, 상기 밴드 신호 공간 분할 단계 이후에 획득되는 공간 저주파 인트라 서브밴드 신호를 공간 저주파 서브밴드 신호로 대체하여 시간 서브밴드 분할 단계, 시간 고주파 서브밴드 공간 분할 단계, 시간 저주파 서브밴드 공간 분할 단계 및 밴드 신호 공간 분할 단계를 재귀적으로 반복하는 것을 특징으로 하는, 동화상 부호화 방법.
  13. 시간 고주파 신호, 시간 저주파 신호 및 시간 저주파/공간 고주파 신호를 참조함으로써 시간 고주파/공간 저주파 신호를 생성하는 단계;
    상기 시간 저주파 신호와 상기 시간 저주파/공간 고주파 신호를 참조함으로써 제 2 시간 저주파 신호를 생성하는 단계;
    상기 시간 고주파/공간 저주파 신호와 시간 고주파/공간 고주파 신호를 이용함으로써 제 2 시간 고주파 신호를 생성하는 단계; 및
    상기 제 2 시간 저주파 신호와 상기 제 2 시간 고주파 신호를 합성하는 단계를 포함하는 것을 특징으로 하는, 동화상 복호 방법.
  14. 예측 오차 신호, 공간 저주파 인트라 서브밴드 신호 및 공간 고주파 인트라 서브밴드 신호를 참조함으로써 공간 저주파 예측 오차 서브밴드 신호를 생성하는, 제 1 단계;
    상기 공간 저주파 예측 오차 서브밴드 신호와 공간 고주파 예측 오차 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 예측 오차 신호를 획득하는 제 2 단계;
    상기 공간 저주파 인트라 서브밴드 신호와 공간 고주파 인트라 서브밴드 신호를 공간 서브밴드 합성함으로써 인트라 밴드 신호를 획득하는 제 3 단계; 및
    상기 인트라 밴드 신호와 상기 제 2 예측 오차 신호를 합성하는 제 4 단계를 포함하는 것을 특징으로 하는, 동화상 복호 방법.
  15. 제 14 항에 있어서,
    상기 제 2 예측 오차 신호를 예측 오차 신호로 대체하고, 상기 인트라 서브밴드 신호를 공간 저주파 인트라 서브밴드 신호로 대체하여 상기 제 1 단계, 상기 제 2 단계 및 상기 제 3 단계가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 복호 방법.
  16. 예측 오차 신호, 공간 저주파 인트라 서브밴드 신호 및 공간 고주파 인트라 서브밴드 신호를 참조함으로써 공간 저주파 예측 오차 서브밴드 신호를 생성하는, 제 1 단계;
    상기 공간 저주파 예측 오차 서브밴드 신호와 공간 고주파 예측 오차 서브밴 드 신호를 공간 서브밴드 합성함으로써 제 2 예측 오차 신호를 획득하는, 제 2 단계;
    상기 공간 저주파 인트라 서브밴드 신호와 상기 공간 고주파 인트라 서브밴드 신호를 공간 서브밴드 합성함으로써 인트라 밴드 신호를 획득하는, 제 3 단계; 및
    동작 보상 예측에 의해 상기 제 2 예측 오차 신호를 상기 인트라 밴드 신호에 더하는, 제 4 단계를 포함하는 것을 특징으로 하는, 동화상 복호 방법.
  17. 제 16 항에 있어서,
    상기 제 2 예측 오차 신호를 예측 오차 신호로 대체하고, 상기 인트라 밴드 신호를 공간 저주파 인트라 서브밴드 신호로 대체하여 상기 제 1 단계, 상기 제 2 단계 및 상기 제 3 단계가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 복호 방법.
  18. 공간 저주파 인트라 서브밴드 신호와 공간 고주파 인트라 서브밴드 신호 중하나 이상 또는 그 조합과, 예측 오차 신호를 참조함으로써 공간 저주파 예측 오차 서브밴드 신호를 생성하는, 제 1 단계;
    상기 공간 저주파 예측 오차 서브밴드 신호와 공간 고주파 예측 오차 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 예측 오차 신호를 획득하는, 제 2 단계;
    상기 공간 저주파 인트라 서브밴드 신호와 상기 공간 고주파 인트라 서브밴드 신호를 공간 서브밴드 합성함으로써 인트라 밴드 신호를 획득하는, 제 3 단계; 및
    상기 인트라 밴드 신호와 상기 제 2 예측 오차 신호를 합성하는, 제 4 단계를 포함하는 것을 특징으로 하는, 동화상 복호 방법.
  19. 제 18 항에 있어서,
    상기 제 2 예측 오차 신호를 예측 오차 신호로 대체하고, 상기 인트라 밴드 신호를 공간 저주파 인트라 서브밴드 신호로 대체하여 상기 제l 단계, 상기 제 2 단계 및 상기 제 3 단계가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 복호 방법.
  20. 시간 고주파 서브밴드 신호, 시간 저주파 서브밴드 신호 및 시간 저주파/공간 고주파 서브밴드 신호를 참조함으로써 시간 고주파/공간 저주파 서브밴드 신호를 생성하는, 제 1 단계;
    상기 시간 고주파/공간 저주파 서브밴드 신호와 시간 고주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 고주파 서브밴드 신호를 획득하는, 제 2 단계;
    상기 시간 저주파 서브밴드 신호와 상기 시간 저주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 저주파 서브밴드 신호를 획득하는, 제 3 단계; 및
    상기 제 2 시간 저주파 서브밴드 신호와 상기 제 2 시간 고주파 서브밴드 시호를 합성하는, 제 4 단계를 포함하는 것을 특징으로 하는, 동화상 복호 방법.
  21. 제 20 항에 있어서,
    상기 제 2 시간 고주파 서브밴드 신호를 상기 시간 고주파 서브밴드 신호로 대체하고, 상기 제 2 시간 저주파 서브밴드 신호를 상기 시간 저주파 서브밴드 신호로 대체하여 상기 제 1 단계, 상기 제 2 단계 및 상기 제 3 단계가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 복호 방법.
  22. 시간 저주파 서브밴드 신호와 시간 저주파/공간 고주파 서브밴드 신호 중 하나 이상 또는 그 조합과, 시간 고주파 서브밴드 신호를 참조함으로써 시간 고주파/공간 저주파 서브밴드 신호를 생성하는, 제 l 단계;
    상기 시간 고주파/공간 저주파 서브밴드 신호와 시간 고주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 고주파 서브밴드 신호를 획득하는, 제 2 단계;
    상기 시간 저주파 서브밴드 신호와 상기 시간 저주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 저주파 서브밴드 신호를 획득하는, 제 3 단계; 및
    상기 제 2 시간 저주파 서브밴드 신호와 상기 제 2 시간 고주파 서브밴드 신 호를 합성하는, 제 4 단계를 포함하는 것을 특징으로 하는, 동화상 복호 방법.
  23. 제 22 항에 있어서,
    상기 제 2 시간 고주파 서브밴드 신호를 상기 시간 고주파 서브밴드 신호로 대체하고, 상기 제 2 시간 저주파 서브밴드 신호를 상기 시간 저주파 서브밴드 신호로 대체하여 상기 제 1 단계, 상기 제 2 단계 및 상기 제 3 단계가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 복호 방법.
  24. 공간 저주파 인트라 서브밴드 신호 및 시간 고주파/공간 고주파 서브밴드 신호를 참조함으로써 시간 저주파/공간 저주파 서브밴드 신호를 생성하는, 제 1 단계;
    시간 고주파 서브밴드 신호, 상기 시간 저주파/공간 저주파 서브밴드 신호 및 시간 저주파/공간 고주파 서브밴드 신호를 참조함으로써 시간 고주파/공간 저주파 서브밴드 신호를 생성하는, 제 2 단계;
    상기 시간 고주파/공간 저주파 서브밴드 신호와 상기 시간 고주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 고주파 서브밴드 신호를 획득하는, 제 3 단계;
    상기 시간 저주파/공간 저주파 서브밴드 신호와 상기 시간 저주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 저주파 서브밴드 신호를 획득하는, 제 4 단계; 및
    상기 제 2 시간 저주파 서브밴드 신호와 상기 제 2 시간 고주파 서브밴드 신호를 합성하는, 제 5 단계를 포함하는 것을 특징으로 하는, 동화상 복호 방법.
  25. 제 24 항에 있어서,
    상기 제 2 시간 고주파 서브밴드 신호를 상기 시간 고주파 서브밴드 신호로 대체하고 상기 제 2 시간 저주파 서브밴드 신호를 상기 공간 저주파 인트라 서브밴드 신호로 대체하여 상기 제 l 단계, 상기 제 2 단계, 상기 제 3 단계 및 상기 제 4 단계가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 복호 방법.
  26. 공간 저주파 인트라 서브밴드 신호와 시간 고주파/공간 고주파 서브밴드 신호를 참조함으로써 시간 저주파/공간 저주파 서브밴드 신호를 생성하는, 제 1 단계;
    상기 시간 저주파/공간 저주파 서브밴드 신호와 시간 저주파/공간 고주파 서브밴드 신호 중 하나 이상 또는 그 조합과, 시간 고주파 서브밴드 신호를 참조함으로써 시간 고주파/공간 저주파 서브밴드 신호를 생성하는, 제 2 단계;
    상기 시간 고주파/공간 저주파 서브밴드 신호와 상기 시간 고주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 고주파 서브밴드 신호를 획득하는, 제 3 단계;
    상기 시간 저주파/공간 저주파 서브밴드 신호와 상기 시간 저주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 저주파 서브밴드 신호 를 획득하는, 제 4 단계; 및
    상기 제 2 시간 저주파 서브밴드 신호와 상기 제 2 시간 고주파 서브밴드 신호를 합성하는, 제 5 단계를 포함하는 것을 특징으로 하는, 동화상 복호 방법.
  27. 제 26 항에 있어서,
    상기 제 2 시간 고주파 서브밴드 신호를 상기 시간 고주파 서브밴드 신호로 대체하고 상기 제 2 시간 저주파 서브밴드 신호를 상기 공간 저주파 인트라 서브밴드 신호로 대체하여 상기 제 1 단계, 상기 제 2 단계, 상기 제 3 단계 및 상기 제 4 단계가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 복호 방법.
  28. 동화상 신호를 시간 방향으로 필터링함으로써 시간 필터링 신호를 획득하는 단계;
    상기 시간 필터링 신호를 공간 계층 분할함으로써 시간 필터링 하위 계층 신호와 시간 필터링 상위 계층 신호를 획득하는 단계;
    상기 동화상 신호를 공간 계층 분할함으로써 상위 계층 동화상 신호를 획득하는 단계;
    상기 상위 계층 동화상 신호를 시간 방향으로 필터링함으로써 상위 계층 시간 필터링 신호를 획득하는 단계; 및
    상기 시간 필터링 하위 계층 신호와 상기 상위 계층 시간 필터링 신호를 부호화하는 단계를 포함하는 것을 특징으로 하는, 동화상 부호화 방법.
  29. 제 28 항에 있어서,
    상기 시간 필터링 상위 계층 신호를 상기 상위 계층 시간 필터링 신호로 대체하는 단계를 더 포함하는 것을 특징으로 하는, 동화상 부호화 방법.
  30. 시간 필터링 하위 계층 신호와 상위 계층 시간 필터링 신호를 복호하는 단계;
    상기 상위 계층 시간 필터링 신호를 시간 방향으로 필터링함으로써 시간 필터링 상위 계층 신호를 획득하는 단계;
    상기 시간 필터링 하위 계층 신호와 상기 시간 필터링 상위 계층 신호를 공간 계층 합성함으로써 시간 필터링 신호를 획득하는 단계; 및
    시간 필터링 신호를 시간 방향으로 필터링함으로써 동화상 신호를 획득하는 단계를 포함하는 것을 특징으로 하는, 동화상 복호 방법.
  31. 제 30 항에 있어서,
    상기 시간 필터링 상위 계층 신호의 프레임과는 상이한 프레임의 신호를 참조함으로써, 상기 시간 필터링 상위 계층 신호를, 복호 해상도로 시간 방향 필터링이 수행된 이후 계층 분할에 의해 획득되는 상위 계층에 속하는 시간 필터링 상위 계층 신호로 보정하는 단계를 더 포함하는 것을 특징으로 하는, 동화상 복호 방법.
  32. 동화상 신호를 시간 계층 분할함으로써 시간 계층화 신호를 획득하는 단계;
    상기 시간 계층화 신호에 대하여 공간 계층 분할에서의 고주파 생성 프로세스를 수행함으로써 시간 계층화 공간 고주파 신호를 획득하는 단계;
    상기 동화상 신호에 대하여 공간 계층 분할에서의 저주파 생성 프로세스를 수행함으로써 축소 화상 신호를 획득하는 단계;
    상기 축소 화상 신호를 시간 계층화함으로써 축소 시간 계층화 신호를 획득하는 단계를 적어도 실행시키는 것을 특징으로 하는, 동화상 부호화 프로그램.
  33. 제 32 항에 있어서,
    상기 시간 계층화 공간 고주파 신호 및 축소 시간 계층화 신호가 부호화되는 것을 특징으로 하는, 동화상 부호화 프로그램.
  34. 동화상 신호에 대하여 프레임간 예측을 수행함으로써, 예측 오차 신호를 획득하는 단계;
    상기 예측 오차 신호에 대하여 공간 계층 분할에서의 고주파 생성 프로세스를 수행함으로써, 예측 오차 공간 고주파 신호를 획득하는 단계;
    상기 동화상 신호에 대하여 공간 계층 분할에서의 저주파 신호 생성 프로세스를 수행함으로써, 축소 화상 신호를 획득하는 단계; 및
    상기 축소 화상 신호에 대하여 프레임간 예측을 수행함으로써, 예측 오차 신호로서의 축소 프레임간 예측 오차 신호를 획득하는 단계를 적어도 실행하는 것을 특징으로 하는, 동화상 부호화 프로그램.
  35. 제 34 항에 있어서,
    상기 예측 오차 공간 고주파 신호와 축소 프레임간 예측 오차가 부호화되는 것을 특징으로 하는, 동화상 부호화 프로그램.
  36. 동화상 신호에 대하여 동작 보상 예측을 수행하고 또한 상기 동화상 신호를 공간 방향으로 서브밴드 분할하는 3 차원 서브밴드 분할 프로세스를 수행하는 동화상 부호화 프로그램으로서,
    상기 3 차원 서브밴드 분할 프로세스는,
    상기 동화상 신호의 프레임간 동작을 검출함으로써 동작 정보를 획득하는, 동작 검출 단계;
    상기 동작 정보에 따라 상기 동화상 신호에 대하여 동작 보상 예측을 수행함으로써 예측 오차 신호를 획득하는, 동작 보상 예측 단계;
    상기 예측 오차 신호를 공간 서브밴드 분할함으로써 공간 저주파 예측 오차 서브밴드 신호와 공간 고주파 예측 오차 서브밴드 신호를 생성하는, 예측 오차 신호 공간 분할 단계; 및
    상기 동화상 신호를 공간 서브밴드 분할함으로써 공간 저주파 인트라 서브밴드 신호와 공간 고주파 인트라 서브밴드 신호를 생성하는, 밴드 신호 공간 분할 단계를 적어도 실행하는 것을 특징으로 하는, 동화상 부호화 프로그램.
  37. 제 36 항에 있어서,
    상기 동화상 신호에 대하여 상기 동작 보상 예측 단계, 상기 예측 오차 신호 공간 분할 단계, 및 상기 대역 신호 공간 분할 단계가 수행되고, 상기 밴드 신호 공간 분할 단계 이후에 획득되는 공간 저주파 인트라 서브밴드 신호를 상기 동화상 신호로 대체하여 상기 동작 보상 예측 단계, 상기 예측 오차 신호 공간 분할 단계, 및 밴드 신호 공간 분할 단계가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 부호화 프로그램.
  38. 동화상 신호에 대하여 동작 보상 예측을 수행하고 또한 상기 동화상 신호를 공간 방향으로 서브밴드 분할하는 3 차원 서브밴드 분할 프로세스를 수행하는 동화상 부호화 프로그램으로서,
    상기 3 차원 서브밴드 분할 프로세스는,
    상기 동화상 신호의 프레임간 동작을 검출함으로써 동작 정보를 획득하는, 동작 검출 단계;
    상기 동화상 신호를 공간 서브밴드 분할하여 획득되는 공간 저주파 서브밴드 신호에 대하여 상기 동작 정보에 따라 동작 보상 예측을 수행함으로써 예측 오차 신호를 획득하는, 동작 보상 예측 단계;
    상기 예측 오차 신호를 공간 서브밴드 분할함으로써 공간 저주파 예측 오차 서브밴드 신호와 공간 고주파 예측 오차 서브밴드 신호를 생성하는, 예측 오차 신 호 공간 분할 단계; 및
    상기 공간 저주파 서브밴드 신호를 공간 서브밴드 분할함으로써 공간 저주파 인트라 서브밴드 신호와 공간 고주파 인트라 서브밴드 신호를 생성하는, 밴드 신호 공간 분할 단계를 적어도 실행하는 것을 특징으로 하는, 동화상 부호화 프로그램.
  39. 제 38 항에 있어서,
    상기 동화상 신호에 대하여 상기 동작 보상 예측 단계, 상기 예측 오차 신호 공간 분할 단계, 및 상기 대역 신호 공간 분할 단계가 수행되고, 상기 밴드 신호 공간 분할 단계 이후에 획득되는 공간 저주파 인트라 서브밴드 신호를 상기 공간 저주파 서브밴드 신호로 대체하여 상기 동작 보상 예측 단계, 상기 예측 오차 신호 공간 분할 단계, 및 밴드 신호 공간 분할 단계가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 부호화 프로그램.
  40. 시간 방향과 공간 방향의 양방향으로 동화상 신호를 서브밴드 분할하는 3 차원 서브밴드 분할 프로세스를 수행하는 동화상 부호화 프로그램으로서,
    상기 3 차원 서브밴드 분할 프로세스는,
    상기 동화상 신호의 프레임간 동작을 검출함으로써 동작 정보를 획득하는, 동작 검출 단계;
    상기 동작 정보에 따라 상기 동화상 신호를 동작 보상하고, 동작 보상된 동화상 신호를 시간 서브밴드 분할함으로써 시간 저주파 서브밴드 신호와 시간 고주 파 서브밴드 신호를 획득하는, 시간 서브밴드 분할 단계;
    상기 시간 고주파 서브밴드 신호를 공간 서브밴드 분할함으로써 시간 고주파/공간 저주파 서브밴드 신호와 시간 고주파/공간 고주파 서브밴드 신호를 생성하는, 시간 고주파 서브밴드 공간 분할 단계;
    상기 시간 저주파 서브밴드 신호를 공간 서브밴드 분할함으로써 시간 저주파/공간 저주파 서브밴드 신호와 시간 저주파/공간 고주파 서브밴드 신호를 생성하는 시간 저주파 서브밴드 공간 분할 단계; 및
    상기 동화상 신호를 공간 서브밴드 분할함으로써 공간 저주파 인트라 서브밴드 신호와 공간 고주파 인트라 서브밴드 신호를 생성하는, 밴드 신호 공간 분할 단계를 적어도 실행하는 것을 특징으로 하는, 동화상 부호화 프로그램.
  41. 제 40 항에 있어서,
    상기 동화상 신호에 대하여 상기 시간 서브밴드 분할 단계, 상기 시간 고주파 서브밴드 공간 분할 단계, 상기 시간 저주파 서브밴드 공간 분할 단계, 및 상기 밴드 신호 공간 분할 단계가 수행되고, 상기 밴드 신호 공간 분할 단계 이후에 획득되는 공간 저주파 인트라 서브밴드 신호를 상기 동화상 신호로 대체하여 상기 시간 서브밴드 분할 단계, 상기 시간 고주파 서브밴드 공간 분할 단계, 상기 시간 저주파 서스밴드 공간 분할 단계, 및 상기 밴드 신호 공간 분할 단계가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 부호화 프로그램.
  42. 시간 방향과 공간 방향의 양방향으로 동화상 신호를 서브밴드 분할하는 3 차원 서브밴드 분할 프로세스를 수행하는 동화상 부호화 프로그램으로서,
    상기 3 차원 서브밴드 분할 프로세스는,
    상기 동화상 신호의 프레임간 동작을 검출함으로써 동작 정보를 획득하는, 동작 검출 단계;
    상기 동화상 신호를 공간 서브밴드 분할하여 획득되는 공간 저주파 서브밴드 신호를 상기 동작 정보에 따라 동작 보상하고, 상기 동작 보상된 공간 저주파 서브밴드 신호를 시간 서브밴드 분할함으로써, 시간 저주파 서브밴드 신호와 시간 고주파 서브밴드 신호를 획득하는, 시간 서브밴드 분할 단계;
    상기 시간 고주파 서브밴드 신호를 공간 서브밴드 분할함으로써 시간 고주파/공간 저주파 서브밴드 신호와 시간 고주파/공간 고주파 서브밴드 신호를 생성하는, 시간 고주파 서브밴드 공간 분할 단계;
    상기 시간 저주파 서브밴드 신호를 공간 서브밴드 분할함으로써 시간 저주파/공간 저주파 서브밴드 신호와 시간 저주파/공간 고주파 서브밴드 신호를 생성하는, 시간 저주파 서브밴드 공간 분할 단계; 및
    상기 공간 저주파 서브밴드 신호를 공간 서브밴드 분할함으로써 공간 저주파 인트라 서브밴드 신호와 공간 고주파 인트라 서브밴드 신호를 생성하는, 밴드 신호 공간 분할 단계를 적어도 실행하는 것을 특징으로 하는, 동화상 부호화 프로그램.
  43. 제 42 항에 있어서,
    상기 동화상 신호에 대하여, 상기 시간 서브밴드 분할 단계, 상기 시간 고주파 서브밴드 공간 분할 단계, 상기 시간 저주파 서브밴드 공간 분할 단계, 및 밴드 신호 공간 분할 단계가 수행되고, 상기 밴드 신호 공간 분할 단계 이후에 획득되는 상기 공간 저주파 인트라 서브밴드 신호를 공간 저주파 서브밴드 신호로 대체하여 시간 서브밴드 분할 단계, 시간 고주파 서브밴드 공간 분할 단계, 시간 저주파 서브밴드 공간 분할 단계 및 밴드 신호 공간 분할 단계를 재귀적으로 반복하는 것을 특징으로 하는, 동화상 부호화 프로그램.
  44. 시간 고주파 신호, 시간 저주파 신호 및 시간 저주파/공간 고주파 신호를 참조함으로써 시간 고주파/공간 저주파 신호를 생성하는 단계;
    상기 시간 저주파 신호와 상기 시간 저주파/공간 고주파 신호를 참조함으로써 제 2 시간 저주파 신호를 생성하는 단계;
    상기 시간 고주파/공간 저주파 신호와 시간 고주파/공간 고주파 신호를 이용함으로써 제 2 시간 고주파 신호를 생성하는 단계; 및
    상기 제 2 시간 저주파 신호와 상기 제 2 시간 고주파 신호를 합성하는 단계를 적어도 실행하는 것을 특징으로 하는, 동화상 복호 프로그램.
  45. 예측 오차 신호, 공간 저주파 인트라 서브밴드 신호 및 공간 고주파 인트라 서브밴드 신호를 참조함으로써 공간 저주파 예측 오차 서브밴드 신호를 생성하는, 제 1 단계;
    상기 공간 저주파 예측 오차 서브밴드 신호와 공간 고주파 예측 오차 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 예측 오차 신호를 획득하는 제 2 단계;
    상기 공간 저주파 인트라 서브밴드 신호와 공간 고주파 인트라 서브밴드 신호를 공간 서브밴드 합성함으로써 인트라 밴드 신호를 획득하는 제 3 단계; 및
    상기 인트라 밴드 신호와 상기 제 2 예측 오차 신호를 합성하는 제 4 단계를 적어도 실행하는 것을 특징으로 하는, 동화상 복호 프로그램.
  46. 제 45 항에 있어서,
    상기 제 2 예측 오차 신호를 예측 오차 신호로 대체하고, 상기 인트라 서브밴드 신호를 공간 저주파 인트라 서브밴드 신호로 대체하여 상기 제 1 단계, 상기 제 2 단계 및 상기 제 3 단계가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 복호 프로그램.
  47. 예측 오차 신호, 공간 저주파 인트라 서브밴드 신호 및 공간 고주파 인트라 서브밴드 신호를 참조함으로써 공간 저주파 예측 오차 서브밴드 신호를 생성하는, 제 1 단계;
    상기 공간 저주파 예측 오차 서브밴드 신호와 공간 고주파 예측 오차 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 예측 오차 신호를 획득하는, 제 2 단계;
    상기 공간 저주파 인트라 서브밴드 신호와 상기 공간 고주파 인트라 서브밴드 신호를 공간 서브밴드 합성함으로써 인트라 밴드 신호를 획득하는, 제 3 단계; 및
    동작 보상 예측에 의해 상기 제 2 예측 오차 신호를 상기 인트라 밴드 신호에 더하는, 제 4 단계를 적어도 실행하는 것을 특징으로 하는, 동화상 복호 프로그램.
  48. 제 47 항에 있어서,
    상기 제 2 예측 오차 신호를 예측 오차 신호로 대체하고, 상기 인트라 밴드 신호를 공간 저주파 인트라 서브밴드 신호로 대체하여 상기 제 1 단계, 상기 제 2 단계 및 상기 제 3 단계가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 복호 프로그램.
  49. 공간 저주파 인트라 서브밴드 신호와 공간 고주파 인트라 서브밴드 신호 중하나 이상 또는 그 조합과, 예측 오차 신호를 참조함으로써 공간 저주파 예측 오차 서브밴드 신호를 생성하는, 제 1 단계;
    상기 공간 저주파 예측 오차 서브밴드 신호와 공간 고주파 예측 오차 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 예측 오차 신호를 획득하는, 제 2 단계;
    상기 공간 저주파 인트라 서브밴드 신호와 상기 공간 고주파 인트라 서브밴 드 신호를 공간 서브밴드 합성함으로써 인트라 밴드 신호를 획득하는, 제 3 단계; 및
    상기 인트라 밴드 신호와 상기 제 2 예측 오차 신호를 합성하는, 제 4 단계를 적어도 실행하는 것을 특징으로 하는, 동화상 복호 프로그램.
  50. 제 49 항에 있어서,
    상기 제 2 예측 오차 신호를 예측 오차 신호로 대체하고, 상기 인트라 밴드 신호를 공간 저주파 인트라 서브밴드 신호로 대체하여 상기 제 l 단계, 상기 제 2 단계 및 상기 제 3 단계가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 복호 프로그램.
  51. 시간 고주파 서브밴드 신호, 시간 저주파 서브밴드 신호 및 시간 저주파/공간 고주파 서브밴드 신호를 참조함으로써 시간 고주파/공간 저주파 서브밴드 신호를 생성하는, 제 1 단계;
    상기 시간 고주파/공간 저주파 서브밴드 신호와 시간 고주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 고주파 서브밴드 신호를 획득하는, 제 2 단계;
    상기 시간 저주파 서브밴드 신호와 상기 시간 저주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 저주파 서브밴드 신호를 획득하는, 제 3 단계; 및
    상기 제 2 시간 저주파 서브밴드 신호와 상기 제 2 시간 고주파 서브밴드 시호를 합성하는, 제 4 단계를 적어도 실행하는 것을 특징으로 하는, 동화상 복호 프로그램.
  52. 제 51 항에 있어서,
    상기 제 2 시간 고주파 서브밴드 신호를 상기 시간 고주파 서브밴드 신호로 대체하고, 상기 제 2 시간 저주파 서브밴드 신호를 상기 시간 저주파 서브밴드 신호로 대체하여 상기 제 1 단계, 상기 제 2 단계 및 상기 제 3 단계가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 복호 프로그램.
  53. 시간 저주파 서브밴드 신호와 시간 저주파/공간 고주파 서브밴드 신호 중 적어도 하나 또는 그 조합과, 시간 고주파 서브밴드 신호를 참조함으로써 시간 고주파/공간 저주파 서브밴드 신호를 생성하는, 제 l 단계;
    상기 시간 고주파/공간 저주파 서브밴드 신호와 시간 고주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 고주파 서브밴드 신호를 획득하는, 제 2 단계;
    상기 시간 저주파 서브밴드 신호와 상기 시간 저주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 저주파 서브밴드 신호를 획득하는, 제 3 단계; 및
    상기 제 2 시간 저주파 서브밴드 신호와 상기 제 2 시간 고주파 서브밴드 신 호를 합성하는, 제 4 단계를 적어도 실행하는 것을 특징으로 하는, 동화상 복호 프로그램.
  54. 제 53 항에 있어서,
    상기 제 2 시간 고주파 서브밴드 신호를 상기 시간 고주파 서브밴드 신호로 대체하고, 상기 제 2 시간 저주파 서브밴드 신호를 상기 시간 저주파 서브밴드 신호로 대체하여 상기 제 1 단계, 상기 제 2 단계 및 상기 제 3 단계가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 복호 프로그램.
  55. 공간 저주파 인트라 서브밴드 신호 및 시간 고주파/공간 고주파 서브밴드 신호를 참조함으로써 시간 저주파/공간 저주파 서브밴드 신호를 생성하는, 제 1 단계;
    시간 고주파 서브밴드 신호, 상기 시간 저주파/공간 저주파 서브밴드 신호 및 시간 저주파/공간 고주파 서브밴드 신호를 참조함으로써 시간 고주파/공간 저주파 서브밴드 신호를 생성하는, 제 2 단계;
    상기 시간 고주파/공간 저주파 서브밴드 신호와 상기 시간 고주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 고주파 서브밴드 신호를 획득하는, 제 3 단계;
    상기 시간 저주파/공간 저주파 서브밴드 신호와 상기 시간 저주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 저주파 서브밴드 신호 를 획득하는, 제 4 단계; 및
    상기 제 2 시간 저주파 서브밴드 신호와 상기 제 2 시간 고주파 서브밴드 신호를 합성하는, 제 5 단계를 적어도 실행하는 것을 특징으로 하는, 동화상 복호 프로그램.
  56. 제 55 항에 있어서,
    상기 제 2 시간 고주파 서브밴드 신호를 상기 시간 고주파 서브밴드 신호로 대체하고 상기 제 2 시간 저주파 서브밴드 신호를 상기 공간 저주파 인트라 서브밴드 신호로 대체하여 상기 제 l 단계, 상기 제 2 단계, 상기 제 3 단계 및 상기 제 4 단계가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 복호 프로그램.
  57. 공간 저주파 인트라 서브밴드 신호 및 시간 고주파/공간 고주파 서브밴드 신호를 참조함으로써 시간 저주파/공간 저주파 서브밴드 신호를 생성하는, 제 1 단계;
    상기 시간 저주파/공간 저주파 서브밴드 신호와 시간 저주파/공간 고주파 서브밴드 신호 중 하나 이상 또는 그 조합과, 시간 고주파 서브밴드 신호를 참조함으로써 시간 고주파/공간 저주파 서브밴드 신호를 생성하는, 제 2 단계;
    상기 시간 고주파/공간 저주파 서브밴드 신호와 상기 시간 고주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 고주파 서브밴드 신호를 획득하는, 제 3 단계;
    상기 시간 저주파/공간 저주파 서브밴드 신호와 상기 시간 저주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 저주파 서브밴드 신호를 획득하는, 제 4 단계; 및
    상기 제 2 시간 저주파 서브밴드 신호와 상기 제 2 시간 고주파 서브밴드 신호를 합성하는, 제 5 단계를 적어도 실행하는 것을 특징으로 하는, 동화상 복호 프로그램.
  58. 제 57 항에 있어서,
    상기 제 2 시간 고주파 서브밴드 신호를 상기 시간 고주파 서브밴드 신호로 대체하고 상기 제 2 시간 저주파 서브밴드 신호를 상기 공간 저주파 인트라 서브밴드 신호로 대체하여 상기 제 1 단계, 상기 제 2 단계, 상기 제 3 단계 및 상기 제 4 단계가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 복호 프로그램.
  59. 동화상 신호를 시간 방향으로 필터링함으로써 시간 필터링 신호를 획득하는 단계;
    상기 시간 필터링 신호를 공간 계층 분할함으로써 시간 필터링 하위 계층 신호와 시간 필터링 상위 계층 신호를 획득하는 단계;
    상기 동화상 신호를 공간 계층 분할함으로써 상위 계층 동화상 신호를 획득하는 단계;
    상기 상위 계층 동화상 신호를 시간 방향으로 필터링함으로써 상위 계층 시 간 필터링 신호를 획득하는 단계; 및
    상기 시간 필터링 하위 계층 신호와 상기 상위 계층 시간 필터링 신호를 부호화하는 단계를 포함하는 것을 특징으로 하는, 동화상 부호화 프로그램.
  60. 제 59 항에 있어서,
    상기 시간 필터링 상위 계층 신호를 상기 상위 계층 시간 필터링 신호로 대체하는 단계를 더 포함하는 것을 특징으로 하는, 동화상 부호화 방법.
  61. 시간 필터링 하위 계층 신호와 상위 계층 시간 필터링 신호를 복호하는 단계;
    상기 상위 계층 시간 필터링 신호를 시간 방향으로 필터링함으로써 시간 필터링 상위 계층 신호를 획득하는 단계;
    상기 시간 필터링 하위 계층 신호와 상기 시간 필터링 상위 계층 신호를 공간 계층 합성함으로써 시간 필터링 신호를 획득하는 단계; 및
    상기 시간 필터링 신호를 시간 방향으로 필터링함으로써 동화상 신호를 획득하는 단계를 포함하는 것을 특징으로 하는, 동화상 복호 방법.
  62. 제 61 항에 있어서,
    상기 시간 필터링 상위 계층 신호의 프레임과는 상이한 프레임의 신호를 참조함으로써, 상기 시간 필터링 상위 계층 신호를, 복호 해상도로 시간 방향 필터링 이 수행된 이후 계층 분할에 의해 획득되는 상위 계층에 속하는 시간 필터링 상위 계층 신호로 보정하는 단계를 더 포함하는 것을 특징으로 하는, 동화상 복호 방법.
  63. 동화상 신호를 시간 계층 분할함으로써 시간 계층화 신호를 획득하는 수단;
    상기 시간 계층화 신호에 대하여 공간 계층 분할에서의 고주파 생성 프로세스를 수행함으로써 시간 계층화 공간 고주파 신호를 획득하는 수단;
    상기 동화상 신호에 대하여 공간 계층 분할에서의 저주파 생성 프로세스를 수행함으로써 축소 화상 신호를 획득하는 수단; 및
    상기 축소 화상 신호를 시간 계층화함으로써 축소 시간 계층화 신호를 획득하는 수단을 적어도 구비하는 것을 특징으로 하는, 동화상 부호화 장치.
  64. 제 63 항에 있어서,
    시간 계층화 공간 고주파 신호 및 축소 시간 계층화 신호가 부호화되는 것을 특징으로 하는, 동화상 부호화 장치.
  65. 동화상 신호에 대하여 프레임간 예측을 수행함으로써, 예측 오차 신호를 획득하는 수단;
    상기 예측 오차 신호에 대하여 공간 계층 분할에서의 고주파 생성 프로세스를 수행함으로써, 예측 오차 공간 고주파 신호를 획득하는 수단;
    상기 동화상 신호에 대하여 공간 계층 분할에서의 저주파 신호 생성 프로세 스를 수행함으로써, 축소 화상 신호를 획득하는 수단; 및
    상기 축소 화상 신호에 대하여 프레임간 예측을 수행함으로써, 예측 오차 신호로서의 축소 프레임간 예측 오차 신호를 획득하는 수단을 적어도 구비하는 것을 특징으로 하는, 동화상 부호화 장치.
  66. 제 65 항에 있어서,
    상기 예측 오차 공간 고주파 신호와 축소 프레임간 예측 오차가 부호화되는 것을 특징으로 하는, 동화상 부호화 장치.
  67. 동화상 신호에 대하여 동작 보상 예측을 수행하고 또한 상기 동화상 신호를 공간 방향으로 서브밴드 분할하는 3 차원 서브밴드 분할 프로세스를 수행하는 동화상 부호화 장치로서,
    상기 3 차원 서브밴드 분할 프로세스는,
    상기 동화상 신호의 프레임간 동작을 검출함으로써 동작 정보를 획득하는, 동작 검출 수단;
    상기 동작 정보에 따라 상기 동화상 신호에 대하여 동작 보상 예측을 수행함으로써 예측 오차 신호를 획득하는, 동작 보상 예측 수단;
    상기 예측 오차 신호를 공간 서브밴드 분할함으로써 공간 저주파 예측 오차 서브밴드 신호와 공간 고주파 예측 오차 서브밴드 신호를 생성하는, 예측 오차 신호 공간 분할 수단; 및
    상기 동화상 신호를 공간 서브밴드 분할함으로써 공간 저주파 인트라 서브밴드 신호와 공간 고주파 인트라 서브밴드 신호를 생성하는, 밴드 신호 공간 분할 수단을 적어도 구비하는 것을 특징으로 하는, 동화상 부호화 장치.
  68. 제 67 항에 있어서,
    상기 동화상 신호에 대하여 상기 동작 보상 예측 수단, 상기 예측 오차 신호 공간 분할 수단, 및 상기 대역 신호 공간 분할 수단이 수행되고, 상기 밴드 신호 공간 분할 수단 이후에 획득되는 공간 저주파 인트라 서브밴드 신호를 상기 동화상 신호로 대체하여 상기 동작 보상 예측 수단, 상기 예측 오차 신호 공간 분할 수단, 및 상기 밴드 신호 공간 분할 수단의 프로세스가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 부호화 장치.
  69. 동화상 신호에 대하여 동작 보상 예측을 수행하고 또한 상기 동화상 신호를 공간 방향으로 서브밴드 분할하는 3 차원 서브밴드 분할 프로세스를 수행하는 동화상 부호화 장치로서,
    상기 3 차원 서브밴드 분할 프로세스는,
    상기 동화상 신호의 프레임간 동작을 검출함으로써 동작 정보를 획득하는, 동작 검출 수단;
    상기 동화상 신호를 공간 서브밴드 분할하여 획득되는 공간 저주파 서브밴드 신호에 대하여 상기 동작 정보에 따라 동작 보상 예측을 수행함으로써 예측 오차 신호를 획득하는, 동작 보상 예측 수단;
    상기 예측 오차 신호를 공간 서브밴드 분할함으로써 공간 저주파 예측 오차 서브밴드 신호와 공간 고주파 예측 오차 서브밴드 신호를 생성하는, 예측 오차 신호 공간 분할 수단; 및
    상기 공간 저주파 서브밴드 신호를 공간 서브밴드 분할함으로써 공간 저주파 인트라 서브밴드 신호와 공간 고주파 인트라 서브밴드 신호를 생성하는, 밴드 신호 공간 분할 수단을 적어도 구비하는 것을 특징으로 하는, 동화상 부호화 장치.
  70. 제 69 항에 있어서,
    상기 동화상 신호에 대하여 상기 동작 보상 예측 수단, 상기 예측 오차 신호 공간 분할 수단, 및 상기 대역 신호 공간 분할 수단이 수행되고, 상기 밴드 신호 공간 분할 수단 이후에 획득되는 공간 저주파 인트라 서브밴드 신호를 상기 공간 저주파 서브밴드 신호로 대체하여 상기 동작 보상 예측 수단, 상기 예측 오차 신호 공간 분할 수단, 및 밴드 신호 공간 분할 수단의 프로세스가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 부호화 장치.
  71. 시간 방향과 공간 방향의 양방향으로 동화상 신호를 서브밴드 분할하는 3 차원 서브밴드 분할 프로세스를 수행하는 동화상 부호화 장치로서,
    상기 3 차원 서브밴드 분할 프로세스는,
    상기 동화상 신호의 프레임간 동작을 검출함으로써 동작 정보를 획득하는, 동작 검출 수단;
    상기 동작 정보에 따라 상기 동화상 신호를 동작 보상하고, 동작 보상된 동화상 신호를 시간 서브밴드 분할함으로써 시간 저주파 서브밴드 신호와 시간 고주파 서브밴드 신호를 획득하는, 시간 서브밴드 분할 수단;
    상기 시간 고주파 서브밴드 신호를 공간 서브밴드 분할함으로써 시간 고주파/공간 저주파 서브밴드 신호와 시간 고주파/공간 고주파 서브밴드 신호를 생성하는, 시간 고주파 서브밴드 공간 분할 수단;
    상기 시간 저주파 서브밴드 신호를 공간 서브밴드 분할함으로써 시간 저주파/공간 저주파 서브밴드 신호와 시간 저주파/공간 고주파 서브밴드 신호를 생성하는 시간 저주파 서브밴드 공간 분할 수단; 및
    상기 동화상 신호를 공간 서브밴드 분할함으로써 공간 저주파 인트라 서브밴드 신호와 공간 고주파 인트라 서브밴드 신호를 생성하는, 밴드 신호 공간 분할 수단을 적어도 구비하는 것을 특징으로 하는, 동화상 부호화 장치.
  72. 제 71 항에 있어서,
    상기 동화상 신호에 대하여 상기 시간 서브밴드 분할 수단, 상기 시간 고주파 서브밴드 공간 분할 수단, 상기 시간 저주파 서브밴드 공간 분할 수단, 및 상기 밴드 신호 공간 분할 수단이 수행되고, 상기 밴드 신호 공간 분할 수단 이후에 획득되는 공간 저주파 인트라 서브밴드 신호를 상기 동화상 신호로 대체하여 상기 시간 서브밴드 분할 수단, 상기 시간 고주파 서브밴드 공간 분할 수단, 상기 시간 저 주파 서스밴드 공간 분할 수단, 및 상기 밴드 신호 공간 분할 수단의 프로세스가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 부호화 장치.
  73. 시간 방향과 공간 방향의 양방향으로 동화상 신호를 서브밴드 분할하는 3 차원 서브밴드 분할 프로세스를 수행하는 동화상 부호화 장치로서,
    상기 3 차원 서브밴드 분할 프로세스는,
    상기 동화상 신호의 프레임간 동작을 검출함으로써 동작 정보를 획득하는, 동작 검출 수단;
    상기 동화상 신호를 공간 서브밴드 분할하여 획득되는 공간 저주파 서브밴드 신호를 상기 동작 정보에 따라 동작 보상하고, 상기 동작 보상된 공간 저주파 서브밴드 신호를 시간 서브밴드 분할함으로써, 시간 저주파 서브밴드 신호와 시간 고주파 서브밴드 신호를 획득하는, 시간 서브밴드 분할 수단;
    상기 시간 고주파 서브밴드 신호를 공간 서브밴드 분할함으로써 시간 고주파/공간 저주파 서브밴드 신호와 시간 고주파/공간 고주파 서브밴드 신호를 생성하는, 시간 고주파 서브밴드 공간 분할 수단;
    상기 시간 저주파 서브밴드 신호를 공간 서브밴드 분할함으로써 시간 저주파/공간 저주파 서브밴드 신호와 시간 저주파/공간 고주파 서브밴드 신호를 생성하는, 시간 저주파 서브밴드 공간 분할 수단; 및
    상기 공간 저주파 서브밴드 신호를 공간 서브밴드 분할함으로써 공간 저주파 인트라 서브밴드 신호와 공간 고주파 인트라 서브밴드 신호를 생성하는, 밴드 신호 공간 분할 수단을 적어도 구비하는 것을 특징으로 하는, 동화상 부호화 장치.
  74. 제 73 항에 있어서,
    상기 동화상 신호에 대하여, 상기 시간 서브밴드 분할 수단, 상기 시간 고주파 서브밴드 공간 분할 수단, 상기 시간 저주파 서브밴드 공간 분할 수단, 및 밴드 신호 공간 분할 수단이 수행되고, 상기 밴드 신호 공간 분할 수단 이후에 획득되는 공간 저주파 인트라 서브밴드 신호를 공간 저주파 서브밴드 신호로 대체하여 시간 서브밴드 분할 수단, 시간 고주파 서브밴드 공간 분할 수단, 시간 저주파 서브밴드 공간 분할 수단 및 밴드 신호 공간 분할 수단의 프로세스가 재귀적으로 반복하는 것을 특징으로 하는, 동화상 부호화 장치.
  75. 시간 고주파 신호, 시간 저주파 신호 및 시간 저주파/공간 고주파 신호를 참조함으로써 시간 고주파/공간 저주파 신호를 생성하는 수단;
    상기 시간 저주파 신호와 상기 시간 저주파/공간 고주파 신호를 참조함으로써 제 2 시간 저주파 신호를 생성하는 수단;
    상기 시간 고주파/공간 저주파 신호와 시간 고주파/공간 고주파 신호를 이용함으로써 제 2 시간 고주파 신호를 생성하는 수단; 및
    상기 제 2 시간 저주파 신호와 상기 제 2 시간 고주파 신호를 합성하는 수단을 적어도 구비하는 것을 특징으로 하는, 동화상 복호 장치.
  76. 예측 오차 신호, 공간 저주파 인트라 서브밴드 신호 및 공간 고주파 인트라 서브밴드 신호를 참조함으로써 공간 저주파 예측 오차 서브밴드 신호를 생성하는, 제 1 수단;
    상기 공간 저주파 예측 오차 서브밴드 신호와 공간 고주파 예측 오차 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 예측 오차 신호를 획득하는 제 2 수단;
    상기 공간 저주파 인트라 서브밴드 신호와 공간 고주파 인트라 서브밴드 신호를 공간 서브밴드 합성함으로써 인트라 밴드 신호를 획득하는 제 3 수단; 및
    상기 인트라 밴드 신호와 상기 제 2 예측 오차 신호를 합성하는 제 4 수단을 적어도 구비하는 것을 특징으로 하는, 동화상 복호 장치.
  77. 제 76 항에 있어서,
    상기 제 2 예측 오차 신호를 예측 오차 신호로 대체하고, 상기 인트라 서브밴드 신호를 공간 저주파 인트라 서브밴드 신호로 대체하여 상기 제 1 수단, 상기 제 2 수단 및 상기 제 3 수단의 프로세스가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 복호 장치.
  78. 예측 오차 신호, 공간 저주파 인트라 서브밴드 신호 및 공간 고주파 인트라 서브밴드 신호를 참조함으로써 공간 저주파 예측 오차 서브밴드 신호를 생성하는, 제 1 수단;
    상기 공간 저주파 예측 오차 서브밴드 신호와 공간 고주파 예측 오차 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 예측 오차 신호를 획득하는, 제 2 수단;
    상기 공간 저주파 인트라 서브밴드 신호와 상기 공간 고주파 인트라 서브밴드 신호를 공간 서브밴드 합성함으로써 인트라 밴드 신호를 획득하는, 제 3 수단; 및
    동작 보상 예측에 의해 상기 제 2 예측 오차 신호를 상기 인트라 밴드 신호에 더하는, 제 4 수단을 적어도 구비하는 것을 특징으로 하는, 동화상 복호 장치.
  79. 제 78 항에 있어서,
    상기 제 2 예측 오차 신호를 예측 오차 신호로 대체하고, 상기 인트라 밴드 신호를 공간 저주파 인트라 서브밴드 신호로 대체하여 상기 제 1 수단, 상기 제 2 수단 및 상기 제 3 수단의 프로세스가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 복호 장치.
  80. 공간 저주파 인트라 서브밴드 신호와 공간 고주파 인트라 서브밴드 신호 중하나 이상 또는 그 조합과, 예측 오차 신호를 참조함으로써 공간 저주파 예측 오차 서브밴드 신호를 생성하는, 제 1 수단;
    상기 공간 저주파 예측 오차 서브밴드 신호와 공간 고주파 예측 오차 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 예측 오차 신호를 획득하는, 제 2 수 단;
    상기 공간 저주파 인트라 서브밴드 신호와 상기 공간 고주파 인트라 서브밴드 신호를 공간 서브밴드 합성함으로써 인트라 밴드 신호를 획득하는, 제 3 수단; 및
    상기 인트라 밴드 신호와 상기 제 2 예측 오차 신호를 합성하는, 제 4 수단을 적어도 구비하는 것을 특징으로 하는, 동화상 복호 장치.
  81. 제 80 항에 있어서,
    상기 제 2 예측 오차 신호를 예측 오차 신호로 대체하고, 상기 인트라 밴드 신호를 공간 저주파 인트라 서브밴드 신호로 대체하여 상기 제 l 수단, 상기 제 2 수단 및 상기 제 3 수단의 프로세스가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 복호 장치.
  82. 시간 고주파 서브밴드 신호, 시간 저주파 서브밴드 신호 및 시간 저주파/공간 고주파 서브밴드 신호를 참조함으로써 시간 고주파/공간 저주파 서브밴드 신호를 생성하는, 제 1 수단;
    상기 시간 고주파/공간 저주파 서브밴드 신호와 시간 고주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 고주파 서브밴드 신호를 획득하는, 제 2 수단;
    상기 시간 저주파 서브밴드 신호와 상기 시간 저주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 저주파 서브밴드 신호를 획득하는, 제 3 수단; 및
    상기 제 2 시간 저주파 서브밴드 신호와 상기 제 2 시간 고주파 서브밴드 시호를 합성하는, 제 4 수단을 적어도 구비하는 것을 특징으로 하는, 동화상 복호 장치.
  83. 제 82 항에 있어서,
    상기 제 2 시간 고주파 서브밴드 신호를 상기 시간 고주파 서브밴드 신호로 대체하고, 상기 제 2 시간 저주파 서브밴드 신호를 상기 시간 저주파 서브밴드 신호로 대체하여 상기 제 1 수단, 상기 제 2 수단 및 상기 제 3 수단의 프로세스가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 복호 장치.
  84. 시간 저주파 서브밴드 신호와 시간 저주파/공간 고주파 서브밴드 신호 중 하나 이상 또는 그 조합과, 시간 고주파 서브밴드 신호를 참조함으로써 시간 고주파/공간 저주파 서브밴드 신호를 생성하는, 제 l 수단;
    상기 시간 고주파/공간 저주파 서브밴드 신호와 시간 고주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 고주파 서브밴드 신호를 획득하는, 제 2 수단;
    상기 시간 저주파 서브밴드 신호와 상기 시간 저주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 저주파 서브밴드 신호를 획득하는 , 제 3 수단; 및
    상기 제 2 시간 저주파 서브밴드 신호와 상기 제 2 시간 고주파 서브밴드 신호를 합성하는, 제 4 수단을 적어도 구비하는 것을 특징으로 하는, 동화상 복호 장치.
  85. 제 84 항에 있어서,
    상기 제 2 시간 고주파 서브밴드 신호를 상기 시간 고주파 서브밴드 신호로 대체하고, 상기 제 2 시간 저주파 서브밴드 신호를 상기 시간 저주파 서브밴드 신호로 대체하여 상기 제 1 수단, 상기 제 2 수단 및 상기 제 3 수단의 프로세스가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 복호 장치.
  86. 공간 저주파 인트라 서브밴드 신호 및 시간 고주파/공간 고주파 서브밴드 신호를 참조함으로써 시간 저주파/공간 저주파 서브밴드 신호를 생성하는, 제 1 수단;
    시간 고주파 서브밴드 신호, 상기 시간 저주파/공간 저주파 서브밴드 신호 및 시간 저주파/공간 고주파 서브밴드 신호를 참조함으로써 시간 고주파/공간 저주파 서브밴드 신호를 생성하는, 제 2 수단;
    상기 시간 고주파/공간 저주파 서브밴드 신호와 상기 시간 고주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 고주파 서브밴드 신호를 획득하는, 제 3 수단;
    상기 시간 저주파/공간 저주파 서브밴드 신호와 상기 시간 저주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 저주파 서브밴드 신호를 획득하는, 제 4 수단; 및
    상기 제 2 시간 저주파 서브밴드 신호와 상기 제 2 시간 고주파 서브밴드 신호를 합성하는, 제 5 수단을 적어도 구비하는 것을 특징으로 하는, 동화상 복호 장치.
  87. 제 86 항에 있어서,
    상기 제 2 시간 고주파 서브밴드 신호를 상기 시간 고주파 서브밴드 신호로 대체하고 상기 제 2 시간 저주파 서브밴드 신호를 상기 공간 저주파 인트라 서브밴드 신호로 대체하여 상기 제 l 수단, 상기 제 2 수단, 상기 제 3 수단 및 상기 제 4 수단의 프로세스가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 복호 장치.
  88. 공간 저주파 인트라 서브밴드 신호와 시간 고주파/공간 고주파 서브밴드 신호를 참조함으로써 시간 저주파/공간 저주파 서브밴드 신호를 생성하는, 제 1 수단;
    상기 시간 저주파/공간 저주파 서브밴드 신호와 시간 저주파/공간 고주파 서브밴드 신호 중 하나 이상 또는 그 조합과, 시간 고주파 서브밴드 신호를 참조함으로써 시간 고주파/공간 저주파 서브밴드 신호를 생성하는, 제 2 수단;
    상기 시간 고주파/공간 저주파 서브밴드 신호와 상기 시간 고주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 고주파 서브밴드 신호를 획득하는, 제 3 수단;
    상기 시간 저주파/공간 저주파 서브밴드 신호와 상기 시간 저주파/공간 고주파 서브밴드 신호를 공간 서브밴드 합성함으로써 제 2 시간 저주파 서브밴드 신호를 획득하는, 제 4 수단; 및
    상기 제 2 시간 저주파 서브밴드 신호와 상기 제 2 시간 고주파 서브밴드 신호를 합성하는, 제 5 수단을 적어도 구비하는 것을 특징으로 하는, 동화상 복호 장치.
  89. 제 88 항에 있어서,
    상기 제 2 시간 고주파 서브밴드 신호를 상기 시간 고주파 서브밴드 신호로 대체하고 상기 제 2 시간 저주파 서브밴드 신호를 상기 공간 저주파 인트라 서브밴드 신호로 대체하여 상기 제 1 수단, 상기 제 2 수단, 상기 제 3 수단 및 상기 제 4 수단의 프로세스가 재귀적으로 반복되는 것을 특징으로 하는, 동화상 복호 장치.
  90. 동화상 신호를 시간 방향으로 필터링함으로써 시간 필터링 신호를 획득하는 수단;
    상기 시간 필터링 신호를 공간 계층 분할함으로써 시간 필터링 하위 계층 신호와 시간 필터링 상위 계층 신호를 획득하는 수단;
    상기 동화상 신호를 공간 계층 분할함으로써 상위 계층 동화상 신호를 획득하는 수단;
    상기상위 계층 동화상 신호를 시간 방향으로 필터링함으로써 상위 계층 시간 필터링 신호를 획득하는 수단; 및
    상기 시간 필터링 하위 계층 신호와 상기 상위 계층 시간 필터링 신호를 부호화하는 수단을 적어도 구비하는 것을 특징으로 하는, 동화상 부호화 장치.
  91. 제 90 항에 있어서,
    상기 시간 필터링 상위 계층 신호를 상기 상위 계층 시간 필터링 신호로 대체하는 수단을 더 구비하는 것을 특징으로 하는, 동화상 부호화 장치.
  92. 시간 필터링 하위 계층 신호와 상위 계층 시간 필터링 신호를 복호하는 수단;
    상기 상위 계층 시간 필터링 신호를 시간 방향으로 필터링함으로써 시간 필터링 상위 계층 신호를 획득하는 수단;
    상기 시간 필터링 하위 계층 신호와 상기 시간 필터링 상위 계층 신호를 공간 계층 합성함으로써 시간 필터링 신호를 획득하는 수단; 및
    시간 필터링 신호를 시간 방향으로 필터링함으로써 동화상 신호를 획득하는 수단을 적어도 구비하는 것을 특징으로 하는, 동화상 복호 장치.
  93. 제 92 항에 있어서,
    상기 시간 필터링 상위 계층 신호의 프레임과는 상이한 프레임의 신호를 참조함으로써, 상기 시간 필터링 상위 계층 신호를, 복호 해상도로 시간 방향 필터링이 수행된 이후 계층 분할에 의해 획득되는 상위 계층에 속하는 시간 필터링 상위 계층 신호로 보정하는 수단을 더 구비하는 것을 특징으로 하는, 동화상 복호 장치.
KR1020067000573A 2003-07-09 2004-07-09 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 및 프로그램을 수록한 컴퓨터 판독가능 기록매체 KR100734790B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2003-00272386 2003-07-09
JP2003272386 2003-07-09

Publications (2)

Publication Number Publication Date
KR20060031857A true KR20060031857A (ko) 2006-04-13
KR100734790B1 KR100734790B1 (ko) 2007-07-03

Family

ID=34055972

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067000573A KR100734790B1 (ko) 2003-07-09 2004-07-09 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 및 프로그램을 수록한 컴퓨터 판독가능 기록매체

Country Status (6)

Country Link
US (2) US8306113B2 (ko)
EP (1) EP1655972A4 (ko)
JP (1) JPWO2005006766A1 (ko)
KR (1) KR100734790B1 (ko)
CN (1) CN1849828A (ko)
WO (1) WO2005006766A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101227763B (zh) * 2007-01-15 2013-01-23 昆山杰得微电子有限公司 音效处理装置及音效处理方法
TW201016016A (en) * 2008-10-07 2010-04-16 Euclid Discoveries Llc Feature-based video compression
JP5640370B2 (ja) * 2009-12-18 2014-12-17 ソニー株式会社 画像処理装置，画像処理方法及び撮像装置
TWI595770B (zh) * 2011-09-29 2017-08-11 杜比實驗室特許公司 具有對稱圖像解析度與品質之圖框相容全解析度立體三維視訊傳達技術
WO2013173292A1 (en) * 2012-05-14 2013-11-21 Motorola Mobility Llc Scalable video coding with enhanced base layer
US9032106B2 (en) 2013-05-29 2015-05-12 Microsoft Technology Licensing, Llc Synchronizing device association data among computing devices
US10778890B1 (en) * 2019-09-30 2020-09-15 Amazon Technologies, Inc. Video denoising systems and methods

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5404167A (en) * 1993-03-12 1995-04-04 At&T Corp. Subband color video coding using a reduced motion information subband
JP2956464B2 (ja) * 1993-12-29 1999-10-04 日本ビクター株式会社 画像情報圧縮伸長装置
US5592226A (en) * 1994-01-26 1997-01-07 Btg Usa Inc. Method and apparatus for video data compression using temporally adaptive motion interpolation
GB2286740B (en) * 1994-02-21 1998-04-01 Sony Uk Ltd Coding and decoding of video signals
US5512939A (en) * 1994-04-06 1996-04-30 At&T Corp. Low bit rate audio-visual communication system having integrated perceptual speech and video coding
US6067383A (en) * 1995-09-12 2000-05-23 Matsushita Electric Industrial Co., Ltd. Coding method, coding apparatus, wavelet transform apparatus, and wavelet reverse transform apparatus
JP3576660B2 (ja) 1995-09-29 2004-10-13 株式会社東芝 画像符号化装置および画像復号化装置
US7116829B1 (en) * 1996-11-06 2006-10-03 Matsushita Electric Industrial Co., Ltd. Image coding and decoding methods, image coding and decoding apparatuses, and recording media for image coding and decoding programs
KR200175232Y1 (ko) * 1999-06-18 2000-03-15 김재철 도난방지 기능을 구비한 잠금 장치
WO2001006794A1 (en) * 1999-07-20 2001-01-25 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence
EP1285535B1 (en) 2000-05-03 2010-02-24 IPG Electronics 503 Limited Encoding method for the compression of a video sequence
JP4612782B2 (ja) * 2000-09-27 2011-01-12 キヤノン株式会社 画像処理装置、及びその方法、並びにプログラム、記憶媒体
AUPR222500A0 (en) * 2000-12-21 2001-01-25 Unisearch Limited Method for efficient scalable compression of video
KR100783396B1 (ko) * 2001-04-19 2007-12-10 엘지전자 주식회사 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법
CN1666530A (zh) * 2002-06-28 2005-09-07 皇家飞利浦电子股份有限公司 子带视频解码方法和设备
TWI255146B (en) * 2003-12-04 2006-05-11 Nec Corp Moving picture encoding method and device, and moving picture decoding method and device, and storage medium

Also Published As

Publication number Publication date
WO2005006766A1 (ja) 2005-01-20
EP1655972A4 (en) 2013-12-04
EP1655972A1 (en) 2006-05-10
US8855198B2 (en) 2014-10-07
KR100734790B1 (ko) 2007-07-03
JPWO2005006766A1 (ja) 2007-09-20
CN1849828A (zh) 2006-10-18
US20130058403A1 (en) 2013-03-07
US8306113B2 (en) 2012-11-06
US20060165167A1 (en) 2006-07-27

Similar Documents

Publication Publication Date Title
KR100679011B1 (ko) 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
KR100703788B1 (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
US6154570A (en) Method and apparatus for digital image coding and decoding, and data recording media
US7627040B2 (en) Method for processing I-blocks used with motion compensated temporal filtering
US20060008000A1 (en) Fully scalable 3-d overcomplete wavelet video coding using adaptive motion compensated temporal filtering
US8483277B2 (en) Method and apparatus for motion compensated temporal filtering using split update process
US20060209961A1 (en) Video encoding/decoding method and apparatus using motion prediction between temporal levels
JP4844741B2 (ja) 動画像符号化装置及び動画像復号装置と、その方法及びプログラム
US8855198B2 (en) Moving picture encoding method, moving picture decoding method, moving picture encoding device, moving picture decoding device, and computer program
US20070064791A1 (en) Coding method producing generating smaller amount of codes for motion vectors
KR100901178B1 (ko) 동화상의 부호화 방법 및 장치, 그리고 동화상의 복호 방법및 장치
KR20000059799A (ko) 웨이브릿 부호화를 이용한 움직임 보상 부호화 장치 및 방법
KR100561587B1 (ko) 3차원 웨이브렛 변환 방법 및 장치
Ye et al. Fully scalable 3D overcomplete wavelet video coding using adaptive motion-compensated temporal filtering
US20050265612A1 (en) 3D wavelet video coding and decoding method and corresponding device
Cheng et al. Multiscale video compression using wavelet transform and motion compensation
JPH09502840A (ja) テレビ画像サブバンド両立式符号化用エンコーダ／デコーダ及びツリー構造による階層的運動符号化へのその応用
US20070019722A1 (en) Subband-video decoding method and device
JP4244901B2 (ja) 符号化装置及び符号化プログラム
Wang Fully scalable video coding using redundant-wavelet multihypothesis and motion-compensated temporal filtering
JP4211721B2 (ja) 復号化装置及び復号化プログラム
WO2006098586A1 (en) Video encoding/decoding method and apparatus using motion prediction between temporal levels

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee