KR20060131796A - 동화상의 부호화 방법 및 장치, 그리고 동화상의 복호 방법및 장치 - Google Patents

동화상의 부호화 방법 및 장치, 그리고 동화상의 복호 방법및 장치 Download PDF

Info

Publication number
KR20060131796A
KR20060131796A KR1020067013419A KR20067013419A KR20060131796A KR 20060131796 A KR20060131796 A KR 20060131796A KR 1020067013419 A KR1020067013419 A KR 1020067013419A KR 20067013419 A KR20067013419 A KR 20067013419A KR 20060131796 A KR20060131796 A KR 20060131796A
Authority
KR
South Korea
Prior art keywords
signal
subband
frequency band
temporal
low frequency
Prior art date
Application number
KR1020067013419A
Other languages
English (en)
Other versions
KR100901178B1 (ko
Inventor
다카히로 기모토
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20060131796A publication Critical patent/KR20060131796A/ko
Application granted granted Critical
Publication of KR100901178B1 publication Critical patent/KR100901178B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/62—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding by frequency transforming in three dimensions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

계층 부호화를 행하는 동화상 부호화 방법은, 입력 화상 신호에 대해서 제1 처리를 행한 후에 공간방향으로 계층 분할하여 제1 신호를 얻는 스텝과, 입력 화상 신호를 해상도 변환 필터에 의해 축소한 후에 축소 해상도 상에서 제2 처리를 행하여 제2 신호를 얻는 스텝과, 제1 신호와 상기 제2 신호를 부호화 하는 스텝, 을 가진다. 제1 및 제2 처리는, 예를 들어, 제1 및 제2 시간방향 필터링이며, 제1 및 제2 신호는, 각각, 시간 필터링 하위 계층 신호 및 상위 계층 시간 필터링 신호이다.
부호화 효율, 부호화 스트림, 계층구조, 동화상데이터, 보상 불일치

Description

동화상의 부호화 방법 및 장치, 그리고 동화상의 복호 방법 및 장치{Moving picture encoding method and device, and moving picture decoding method and device}
본 발명은, 동화상을 부호화 하는 방법 및 장치와, 부호화된 동화상을 복호하는 방법 및 장치에 관한 것이다.
동화상을 부호화 하는 수법으로서 각종의 것들이 알려져 있지만, 이들 수법 중에서 서브밴드 부호화는, 화상 신호를 주파수 분할하고, 각각 주파수 대역의 신호 즉 서브밴드 신호에 대해서 부호화 처리를 행하는 수법이다. 서브밴드 부호화는, 이산 코사인 변환 등의 블록베이스 직교변환과 달리, 원리상, 블록 비틀림이 발생하지 않으며, 저역 성분을 재귀적으로 분할함으로써 용이하게 계층 부호화를 실현할 수 있다는 특징을 가진다. 정지화상의 분야에 있어서, 국제 표준 부호화 방법인 JPEG 2000에는, 웨이브릿 변환을 사용한 서브밴드 부호화가 채용되고 있다.
그런데, 동화상 부호화에 서브밴드 부호화를 적용하는 경우, 신호의 공간방향의 상관뿐만 아니라, 시간방향의 상관도 고려할 필요가 있다. 그래서, 서브밴드 동화 부호화에는, 주로, 원화상에 대해서 공간영역으로 움직임 보상을 행해서 시간방향의 상관을 제거한 후에 각 프레임에 서브밴드 부호화를 행하는 방법(예를 들 어, J.R. Ohm, "Three-dimensional subbandcoding with motion compensation," IEEE Trans. Image Processing, vol. 3, pp. 559-571, Sept. 1999를 참조)과, 원화상을 서브밴드 분할한 후, 서브밴드 영역마다 움직임 보상을 행해서 시간방향의 상관을 제거하는 방법의, 두 종류가 제안되고 있다.
도 1은, 상술한 공간 영역에서 움직임 보상을 행하는 종래의 부호화 처리를 설명하는 플로차트이다. 도 1을 사용하여, 연속되는 프레임의 집합 A(0)[i](0i<n, n은 2의 거듭제곱)에 있어서의 부호화 처리에 대해서 설명하겠다.
스텝201, 202에 있어서, j=0, i=0, 2, …, n-2로 하고, 스텝203~205에 있어서, 연속되는 2장의 프레임 A(0)[i] 과 A(0)[i＋1]를 시간방향으로 서브밴드 분할하고, 저주파 대역의 A(1)[i] 과 고주파 대역의 E[i＋1]을 얻는다. 다음으로, 스텝206에 있어서, j에 1을 가산하고, 연속되는 저주파 대역의 신호 A(1)[i<<1] 과 A(1)[(i＋1)<<1]을 시간방향으로 서브밴드 분할하고, 저주파 대역의 A(2)[i<<1] 과 고주파 대역의 E[(i＋1)<<1]을 얻는다. 이 처리를, 스텝207에 나타낸 바와 같이, 제1 프레임 이외의 프레임이 고주파 대역의 신호로서 부호화되기까지, 즉 (1<<j)가 n이 되기까지 반복한다. 이후, 스텝208에 있어서, A(j)[0], E[i](0<j<n)을 각각 공간방향으로 서브밴드 분할하여 부호화하고 있다.
여기서, 2장의 프레임 간에서의 시간방향 서브밴드 분할에 있어서, 고주파 대역의 신호는, 움직임 보상 예측의 오차 신호에 상당하고, 저주파 대역의 신호는, 움직임 보상 한 2프레임의 평균 신호로 된다. 복호 처리 시에는, 이 처리의 흐름을 거꾸로 나가는 형상으로, 프레임마다 서브밴드 신호를 공간방향으로 합성한 후에, 프레임 참조관계에 따라 시간방향으로 서브밴드 합성을 행한다. 3차원 웨이브릿 부호화에 있어서, 고주파수 성분의 서브밴드를 사용하지 않고 부분적으로 서브밴드 합성하여 얻어진 각 프레임의 신호를 시간방향으로 서브밴드 합성함으로써, 축소해상도상에서의 복호화상을 얻을 수 있다. 이 때, 움직임 보상에 있어서의 프레임 간의 화소의 대응관계는 유지되어야 하기 때문에, 오리지널 해상도에서 얻어진 움직임 보상을 스케일만큼 축소하여 그대로 사용한다.
스케일러블 부호화에서는, 오리지널 스트림으로부터 고주파수 성분의 서브밴드에 상당하는 부호를 제거하여 비트 레이트가 낮은 스트림을 생성할 수 있다. 새롭게 만들어진 스트림을 복호하면, 입력 신호를 축소한 화상이 재구성된다. 종래의 기술에서는, 오리지널 해상도에서 얻어진 움직임 정보를 축소 해상도상에서의 복호에 사용한다. 그 때문에, 움직임 정보에 소요 되는 부호량이 상대적으로 증대하고, 부호화효율이 저하된다. 특히, 낮은 비트 레이트에서는, 대부분의 부호량이 움직임 정보에 할당되기 때문에, 스케일러빌리티를 적용하지 않는 경우에 비해 크게 화질이 저하되어 버린다.
반대로, 낮은 비트 레이트에 최적이 되도록 축소 해상도상에서 구한 움직임 정보에서는 오리지널 해상도에서의 부호화 효율이 저하된다. 또한, 계수 정보를 그대로 통합하는 등의 방법에 의해 움직임 정보에 소요 되는 부호량을 저감한 경우, 움직임 보상의 불일치에 의해 화질이 크게 저하된다.
그래서, 본 발명의 목적은, 계층 구조를 가지는 부호화 스트림에 있어서, 계층 구조를 유지하면서 종래 기술에 비해 높은 부호화 효율을 실현할 수 있는 동화상 부호화 기술을 제공하는 것에 있다.
또한, 본 발명의 다른 목적은, 움직임 보상의 불일치에 의한 화질저하를 억제할 수 있는 동화상 부호화 기술을 제공하는 것에 있다.
본 발명의 또 다른 목적은, 그렇게 하여 부호화된 동화상 데이터를 복호하는 기술을 제공하는 것에 있다.
본 발명의 제1 양상에 의하면, 동화상 부호화 방법은, 계층 부호화를 행하는 동화상 부호화 방법으로, 입력 화상 신호에 대하여 제1 처리를 행한 후에 공간방향으로 계층 분할하여 제1 신호를 얻는 스텝과, 입력 화상 신호를 해상도 변환 필터에 의해 축소한 후에 축소 해상도상에서 제2 처리를 행하여 제2 신호를 얻는 스텝과, 제1 신호와 제2 신호를 부호화하는 스텝, 을 가진다.
본 발명의 제2 양상에 의하면, 동화상 부호화 방법은, 입력 화상 신호를, 입력 화상 신호에 대하여 제1 처리를 행한 후에 공간방향으로 계층 분할하여 얻어지는 제1 신호와, 입력 화상 신호를 해상도 변환 필터에 의해 축소한 축소 입력화상 신호에 대하여 축소 해상도상에서 제2 처리를 행하여 얻어지는 제2 신호로 분할하는 시공간 계층 분할 처리를 행하는 스텝과, 축소 입력 화상 신호에 대하여 시공간 계층 분할을 재귀적으로 행한 후에 각 계층의 신호를 부호화 하는 스텝, 을 가진다.
이들 발명에 있어서, 예를 들어, 제1 및 제2 처리는 각각 제1 및 제2 시간방향 필터링이고, 제1 신호는 시간 필터링 하위 계층 신호이고, 제2 신호는 상위 계층 시간 필터링 신호이다. 또는, 제1 처리는 제1 움직임 보상 처리이고, 제2 처리는 제2 움직임 보상 처리이고, 제1 신호는 예측 오차 하위 계층 신호이고, 제2 신호는 상위 계층 예측 오차신호이다.
본 발명의 제3 양상에 의하면, 동화상 부호화 방법은, 입력 화상 신호를 시간방향으로 서브밴드 분할함과 동시에 공간방향으로 서브밴드 분할하는 3차원 서브밴드 분할 처리를 복수회 실행하는 스텝을 가지고, 3차원 서브밴드 분할 처리는, 입력 화상 신호에 있어서의 프레임 간 및 입력 화상 신호를 서브밴드 분할하여 얻어지는 저주파 대역 서브밴드 중 하나의 밴드 신호인 인트라 밴드 신호의 밴드 간에서, 이동을 나타내는 움직임 정보를 산출하는 움직임 정보 산출 스텝과, 입력 화상 신호 및 인트라 밴드 신호에 있어서, 움직임 정보 산출 스텝에서 얻어진 움직임 정보에 따라 움직임 보상을 한 후에 시간방향으로 서브밴드 분할함으로써 시간 저주파 대역 서브밴드 신호와 시간 고주파 대역 서브밴드 신호를 얻는 시간 서브밴드 분할 스텝과, 시간 고주파 대역 서브밴드 신호를 공간방향으로 서브밴드 분할하고, 시간 고주파 공간 저주파 대역 서브밴드 신호와 시간 고주파 공간 고주파 대역 서브밴드를 생성하는 시간 고주파 대역 서브밴드 신호 공간 분할 스텝과, 시간 저주파 대역 서브밴드 신호를 공간방향으로 서브밴드 분할하고, 시간 저주파 공간 저주파 대역 서브밴드와 시간 저주파 공간 고주파 대역 서브밴드를 생성하는 시간 저주파 대역 서브밴드 신호 공간 분할 스텝과, 인트라 밴드 신호를 공간방향으로 서브밴드 분할하여, 저주파 대역 인트라 서브밴드와 고주파 대역 인트라 서브밴드를 생성하는 밴드 신호 공간 분할 스텝, 을 가지고, 입력 화상 신호에 대하여 시간 서브밴드 분할 스텝과 시간 고주파 대역 서브밴드 신호 공간 분할 스텝과, 시간 저주파 대역 서브밴드 신호 공간 분할 스텝과 밴드 신호 공간 분할 스텝이 실행되어, 밴드 신호 공간 분할 스텝 후에 얻어진 저주파 대역 인트라 서브밴드를 인트라 밴드 신호로 하고, 시간 서브밴드 분할 스텝과 시간 고주파 대역 서브밴드 신호 공간 분할 스텝과 시간 저주파 대역 서브밴드 신호 공간 분할 스텝과 밴드 신호 공간 분할 스텝이 재귀적으로 반복되어, 그 때마다, 시간 저주파 공간 저주파 대역 서브밴드와 시간 고주파 공간 저주파 대역 서브밴드가, 각각, 직후의 시간 서브밴드 분할 스텝에서 얻어지는 시간 저주파 대역 서브밴드신호와 시간 고주파 대역 서브밴드 신호로 치환된다.
본 발명의 다른 양상에 의하면, 동화상 복호 방법은, 계층화 된 부호화 데이터를 복호하는 동화상 복호 방법으로, 제1 처리 후의 신호인 제1 신호와, 제2 처리에서 얻어지는 제2 신호를 공간방향으로 계층분할한 제3 신호와, 제2 처리를 규정하는 처리정보를 복호하는 스텝과, 제1 신호와 처리정보로부터 제4 신호를 생성하는 스텝과, 제3 신호와 제4 신호를 합성한 후에 제2 처리의 역변환을 행하여 복호화상을 얻는 스텝, 을 가진다.
이 복호방법에 있어서, 예를 들어, 제1 및 제2 처리는 각각 제1 및 제2 시간방향 필터링이고, 제1 신호는 상위 계층 시간 필터링 신호이고, 제2 신호는 시간방향 필터링 신호이고, 제3 신호가 시간 필터링 하위 계층 신호이고, 제4 신호가 시간 필터링 상위 계층 신호이고, 처리정보가 시간 필터링 정보이다. 또는, 제1 및 제2 처리는 각각 제1 및 제2 움직임 보상 처리이고, 제1 신호는 상위 계층 예측 오차신호이고, 제2 신호는 예측 오차 신호이고, 제3 신호는 예측 오차 하위 계층 신호이고, 제4 신호가 예측 오차 상위 계층 신호이고, 처리정보가 움직임 정보이다.
본 발명의 다른 양상에 의하면, 계층화된 부호화 데이터를 프레임 단위로 계층 합성한 후에 시간방향 역 필터링을 행함으로써 복호화상을 얻는 동화상 복호 방법은, 제1 시간방향 필터링 후의 신호인 상위 계층 시간 필터링 신호와, 제2 시간방향 필터링으로 얻어지는 시간 필터링 신호를 공간방향으로 계층 분할한 시간 필터링 하위 계층 신호와, 제2 시간방향 필터링을 규정하는 시간 필터링 정보를 복호하는 스텝과, 상위 계층 시간 필터링 신호와 시간 필터링 정보로부터 시간 필터링 상위 계층 신호를 생성하는 스텝과, 시간 필터링 상위 계층 신호와 시간 필터링 하위 계층 신호를 합성하여 합성시간 필터링 신호를 생성하는 시간 필터링 신호 합성처리를 행하는 스텝과, 합성시간 필터링 신호를 상위 계층 시간 필터링 신호로 간주하고 주목하는 계층의 하위 계층에 있어서의 시간 필터링 정보와 시간 필터링 하위 계층 신호를 복호하여 재귀적으로 시간 필터링 합성 처리를 행한 후, 시간방향 역 필터링을 행함으로써 복호화상을 얻는 스텝, 을 가진다.
또한 본 발명의 다른 양상에 의하면, 동화상 복호 방법은, 서브밴드 신호를 프레임마다 공간방향으로 서브밴드 합성한 후, 시간 저주파 대역 서브밴드와 시간 고주파 대역 서브밴드 에 시간방향 서브밴드 합성을 행하는 3차원 서브밴드 합성 처리에 의해 복호화상 신호를 생성하는 스텝을 가지고, 3차원 서브밴드 합성처리는, 시간 고주파 대역 서브밴드의 공간방향의 저주파 대역의 신호인 시간 고주파 공간 저주파 대역 신호와, 그 저주파 대역 신호에 인접하는 고주파 대역의 서브밴드인 시간 고주파 공간 고주파 대역 서브밴드에 더해서, 시간 고주파 공간 저주파 대역 신호에 대하여 동일 주파수 대역에 있는 시간 저주파 공간 저주파 대역 서브밴드와 그 서브밴드 신호에 인접하는 고주파 대역의 서브밴드인 시간 저주파 공간 고주파 대역 서브밴드의 쌍방 혹은 어느 한 쪽과, 시간 고주파 대역 서브밴드에 대응하는 움직임 보상 처리를 규정하는 움직임 정보를 참조하여, 합성 시간 고주파 서브밴드 신호를 생성하는 시간 고주파 서브밴드 합성 스텝과, 시간 저주파 공간 저주파 대역 서브밴드와 시간 저주파 공간 고주파 대역 서브밴드를 합성하는 시간 저주파 서브밴드 공간 합성 스텝과, 시간 저주파 대역 서브밴드와 시간 고주파 대역 서브밴드에 움직임 보상 예측 처리를 행한 후, 시간방향 서브밴드 합성을 행하는 시간방향 합성 스텝, 을 가지고, 시간 고주파 대역 서브밴드의 최저주파 대역에 있는 시간 고주파 공간 저주파 대역 신호에 대하여 시간 고주파 서브밴드 합성스텝이, 시간 저주파 대역 서브밴드의 최저주파 대역에 있는 시간 저주파 공간 저주파 대역 서브밴드에 대하여 시간 저주파 서브밴드 공간 합성 스텝이 행하여져, 시간 고주파 서브밴드 합성 스텝에 의해 얻어지는 밴드신호를 새롭게 시간 고주파 공간 저주파 대역 신호, 시간 저주파 서브밴드 공간 합성 스텝에 의해 얻어지는 밴드 신호를 새롭게 시간 저주파 공간 저주파 대역 서브밴드로 간주하고, 시간 고주파 서브밴드 공간 합성 스텝과 시간 저주파 서브밴드 공간합성 스텝이 재귀적으로 반복되어, 시간 저주파 대역 서브밴드 및 시간 고주파 대역 서브밴드가 얻어진다.
본 발명에서는, 계층 구조를 가진 부호화 스트림에 있어서, 각 계층에서 다른 움직임 정보에 근거해서 움직임 보상을 행한다. 본 발명에 의하면, 계수정보 중 고주파 성분을 빼고 저레이트의 부호화 데이터를 재구성할 때에는, 높은 해상도에서의 움직임 보상에 상당하는 움직임 정보를 삭감함으로써, 계층 구조를 유지하면서 종래 기술에 비해 높은 부호화 효율을 실현할 수 있다. 또한, 높은 해상도에서의 움직임 정보를 토대로 저주파 성분을 보정함으로써, 움직임 보상의 불일치에 의한 화질저하를 크게 억제할 수 있다.
도 1은, 공간영역에서 움직임 보상을 행하는 종래의 부호화 방법의 처리의 흐름을 나타내는 플로차트이다.
도 2는, 본 발명의 일 실시형태의 동화상 부호화 장치의 구성을 성명하는 도이다.
도 3은, 본 발명의 일 실시형태에 근거하는 동화상 부호화 방법의 처리의 흐름을 나타내는 플로차트이다.
도 4는, 도 3에 있어서의 2장의 프레임의 시간 공간 서브밴드 분할 처리의 흐름을 나타내는 플로차트이다.
도 5는, 본 발명의 일실시형태의 동화상 부호 장치의 구성을 설명하는 도이다.
도 6은, 본 발명의 일실시형태에 근거하는 동화상 복호 방법의 처리의 흐름 을 나타내는 플로차트이다.
도 7은, 도 6에 있어서의 2장의 프레임의 시간 공간 서브밴드 합성 처리의 흐름을 나타내는 플로차트이다.
도 8은, 동화상 부호화 장치 및 동화상 부호장치의 구성을 하기 위한 컴퓨터 시스템을 나타내는 개략도이다.
본 발명에서는, 계층 부호화를 할 때에, 예를 들어, 제1 시간방향 필터링을 행한 후에 공간방향으로 계층 분할해서 얻어지는 시간 필터링 하위 계층 신호와, 입력 화상 신호를 해상도 변환 필터에 의해 축소한 후에 축소 해상도상에서 제2 시간방향 필터링을 행해서 얻어진 상위 계층 시간 필터링 신호를 부호화 한다. 혹은, 본 발명에서는, 제1 움직임 보상을 행한 후에 공간방향으로 계층 분할해서 얻어지는 예측 오차 하위 계층 신호와, 입력 화상 신호를 해상도 변환 필터에 의해 축소한 후에 축소 해상도상에서 제2 움직임 보상을 행하여 얻어지는 상위 계층 오차 예측 신호를 부호화 한다. 즉 본 발명은, 계층 구조를 가진 부호화 스트림에 있어서, 각 계층에서 다른 움직임 정보에 근거하여 움직임 보상을 행하는 것을 특징으로 한다. 여기서, 움직임 정보란, 프레임을 구성하는 고정 사이즈 혹은 가변 사이즈의 블록마다의 평행 이동에 관한 정보, 혹은 프레임을 구성하는 소영역마다로의 아핀변환 등의 기하변환, 혹은 프레임 전체에 대한 아핀변환 등의 기하변환에 관한 정보이다.
이하, 본 발명의 구체적인 실시형태를 설명하겠다.
우선, 본 발명에 근거하는 동화상 부호화를 설명하겠다.
도 2는, 본 발명의 일실시형태의 동화상 부호화 장치의 구성을 나타냄과 동시에, 입력화상신호의 일부인 2장의 프레임에 대하여 시간공간방향으로의 서브밴드 분할을 행한 후의 신호의 계층 구조를 나타낸다.
동화상 부호화 장치는, 시간 서브밴드 분할을 행하는 제1~제3의 분할부 (1001~1003)와, 공간 서브밴드 분할을 행하는 제4 및 제5 분할부(1004, 1005)와, 제1 및 제2 로패스 필터(1006, 1007)를 갖추고 있다. 입력 화상 신호(10)는 제1 분할부(1001)와 제1 로패스 필터(1006)에 공급되고, 제1 분할부(1001)의 출력(11)이 제4 분할부(1004)에 공급되고, 제1 로패스 필터(1006)의 출력(20)은 제2 분할부(1002)와 제2 로패스 필터(1007)에 공급되고, 제2 분할부(1002)의 출력(21)은 제5 분할부(1005)에 공급되고, 제2 로패스 필터(1007)의 출력은 제3 분할부(1003)에 공급된다.
이 동화상 부호화 장치에서는, 입력 화상 신호(10)는, 제1 분할부(1001)에 의해 시간 서브밴드 분할된 후, 제4 분할부(1004)에 의해 공간방향으로 1단계 서브밴드 분할되고, 이에 의해, 저역 서브밴드 신호(12)와 고역 서브밴드 신호(13)가 생성된다. 또한, 입력 화상 신호(10)가 제1 로패스 필터(1006)를 통과함으로써, 인트라 서브밴드 신호(20)가 생성된다. 인트라 서브밴드 신호(20)는, 제3 분할부(1002)에 의해 시간 서브밴드 분할되어 저역 시간 서브밴드 신호(21)를 발생 한다. 제4 분할부(1004)에 의해 생성된 저역 서브밴드 신호(12)는, 저역 시간 서브밴드 신호(21)로 치환된다. 즉, 입력화상(10)을 1단계 계층 분할 한 결과는, 고역 서브밴드 신호(13)와 저역 시간 서브밴드 신호(21)로 된다. 마찬가지로, 저역 시간 서브밴드 신호(21)를, 1단계 계층 분할한 결과는, 저역 시간 서브밴드 신호(21)의 고역 서브밴드 신호(23)와, 인트라 서브밴드 신호(20)의 저역 서브밴드(30)에 대하여 시간방향으로 서브밴드 분할한 저역 시간 서브밴드(31)로 된다. 이 계층 분할을 재귀적으로 행함으로써, 다중의 계층 구조가 실현된다.
또한, 로패스 필터(1006, 1007)로서, 수평수직으로 해상도를 1/2로 하는 일반적인 다운 샘플 필터와, 공간 서브밴드 분할을 행하는 제4 및 제5 분할부(1004, 1005)에 있어서의 로패스 필터의 어느 쪽이 사용되어도 된다. 이하에서는 공간 서브밴드 분할의 로패스 필터를 사용하는 것으로서, 이 계층 구조를 가진 부호화 방식에 대해서 설명하겠다.
도 3은, 본 실시형태에서의 부호화 처리의 흐름을 나타내는 플로차트이다. 도 3을 사용하여, 연속되는 화상 프레임의 집합 A(0)[i](0i<n, n은 2의 거듭제곱)를 원화상 입력으로 하는 부호화 방법에 대해서 설명하겠다.
먼저, 스텝101, 102에 있어서, J=0, I=0, 2, … n-2로 해서, 스텝103에 있어서, 연속되는 2장의 프레임 A(0)[i] 과 A(0)[i＋1]를 시간방향과 공간방향의 쌍방에 대하여 서브밴드 분할하며, 서브밴드 신호 A(0)*[i], E*[i＋1] 과 움직임 정보 V[i＋1]을 얻는다.
도 4는, 도 3의 스텝(103)에 있어서의 2장의 프레임 시간 공간방향 서브밴드 분할의 처리의 흐름을 나타내는 플로차트이다. 이하에서는, 프레임B0를 프레임C0 에 대하여 과거 방향에 있는 프레임이라고 해서, 일반적인 프레임 B0 및 C0의 시간 공간방향 서브밴드 분할 처리에 관해서 도 4를 사용하여 설명하겠다.
먼저, 스텝111에 있어서, 프레임C0에 대한 프레임B0의 이동을 추정하여 움직임 정보V0를 얻는다. 여기서 움직임이란, 프레임을 구성하는 고정 사이즈 혹은 가변 사이즈의 블록마다의 평행 이동, 혹은 프레임을 구성하는 소영역마다로의 아핀변환 등의 기하변환, 혹은 프레임 전체에 대한 아핀변동 등의 기하변환을 나타낸다.
다음으로, 스텝112에 있어서, 움직임 정보V0를 토대로 B0, C0를 시간방향으로 서브밴드 분할하고, 저주파 대역 서브밴드 A0*, 고주파 대역 서브밴드 E0*를 얻는다. 시간방향의 서브밴드 분할 방법의 하나로서, 참고문헌[A. Secker et. al., "Motion-compensated highly scalable video compression using an adaptive 3D wavelet transform based on lifting," IEEE Trans. Int. Conf. Image Proc., pp1029-1032, October, 2001]에 있는 방법을 설명하겠다.
프레임 내 좌표[p, q]에 있는 프레임 B0의 화소치를 B0[p, q], 스텝111에서의 이동 추정의 결과에 근거하여 프레임 B0를 움직임 보상 한 후의 프레임 내 좌표[p, q]의 화소치를, WB0(B0)[p, q], 프레임 C0를 움직임 보상 한 후의 프레임 내 좌표[p, q]의 화소치를 WC0(C0)[p, q]로 하면,
E0*[p, q]=1/2(C0[p, q]－WB0(B0)[p, q]) …(1)
A0*[p, q]=B0[p, q]＋WC0(E0*)[p, q]) …(2)
로 된다. 다른 시간방향 서브밴드 분할 방법으로서, 시간방향의 필터길이로서 2보다 긴 필터를 사용하는 경우, 입력으로 되는 복수의 프레임B0에 대하여 저주파 대역 및 고주파 대역으로의 분해필터를 각각 fl[i] (0i<n1), fh[i] (0i<nh)로 하면, A0* 및 E0* 는,
[수식1]
A0*[p, q] = fl[i]ㆍWB0i(B0i) [p, q] …(1')
E0*[p, q] = fh[i]ㆍWB0j(B0j) [p, q] …(2')
로 된다.
또한 1차 필터의 서로 겹쳐서 고차 서브밴드 분할을 실현하는 리프팅법에 있어서 각 필터의 처리 시에 움직임 보상을 행하는 참고문헌[L. Lio et. al., "Motion Compensated Lifting Wavelet And Its Application in Video Coding," IEEE Int. Conf. Multimedia & Expo 2001, Aug., 2001]의 방법을 사용하는 경우, 입력으로 되는 복수 프레임에 있어서 짝수 프레임을 B0, 홀수 프레임을 C0로 하면, 1차 필터를 곱한 후의 B0'i, Co'i 는, 정수 α, β에 의해,
C0'i[p, q] = C0i[p, q]＋α(WB0i(B0i＋WB0i＋1(B0i＋1))[p, q]) …(1")
B0'i[p, q] = B0i[p, q]＋β(WC0i(C0'i＋WC0i－1(C0'i－1))[p, q]) …(2")
로 된다.
두 개의 필터 처리를 번갈아 반복함으로써, 리프팅법을 사용한 시간방향 서브밴드 분할이 행해진다. 그 외에, 저주파수 성분의 A0*을 생성하지 않고, 통상의 움직임 보상 예측과 동등한 처리를 행하는 것이 있다.
A0*, E0*가 얻어진 후, 스텝113에 있어서, 이들을 1회 공간 서브밴드 분할한다.
서브밴드 분할로서 1차원의 필터뱅크를 사용한 2분할의 주파수분할을 행하는 경우, 수평ㆍ수직방향 모두 저주파 대역에 분할된 서브밴드, 수평방향으로 저주파 대역ㆍ수직 방향으로 고주파 대역으로 분할된 서브밴드, 수평방향으로 고주파 대역ㆍ수직방향으로 저주파 대역으로 분할된 서브밴드, 수평ㆍ수직방향 모두 고주파 대역으로 분할된 서브밴드, 의 네 개의 서브밴드가 생성된다. 각각의 서브밴드 변환을 LL(), LH(), HL(), HH()라고 정의한다. 또한 세 개의 서브밴드 LH(C0), HL(C0), HH(C0)의 집합을 H(C0)라고 정의한다. 이에 의해, LL(A0*), H(A0*), LL(E0*), H(E0*)가 얻어진다.
그 다음으로, 스텝115에 있어서, 프레임B0, C0에 대하여, 1층분의 공간 서브밴드 분할을 행하고, LL(B0), H(B0), LL(C0), H(C0)를 얻는다. LL(B0), LL(C0)를 B1, C1으로 정의하고, 스텝116에 있어서, 새로이 이들 서브밴드 간의 움직임 보상을 규정하는 움직임 보상 V1을 산출한다.
이 움직임 정보 산출 방법으로서, 다시 이동추정을 행하는, 혹은, B0, C0에 대응하는 움직임 정보의 몇 개인가를 통합하는, 등의 방법이 있다. 특히, 움직임 정보를 계층 부호화하고, 그 베이스 레이어에만 대응하는 움직임 정보를 사용함으로써, 계수 부호 정보와 움직임 정보가 대응화된 계층 부호화를 실현할 수가 있다.
예를 들어, V1과 V2를 계층적으로 부호화 하는 하나의 방법으로서, 축소 해상도를 가지는 화상으로 이동추정을 행하여 얻어진 움직임 정보를 V2, 오리지날 화상에서의 이동추정에 의해 얻어진 움직임 정보를 V1으로 하고, V2를 2배한 것을 V1으로부터 감산한 것과 V2를 부호화한다고 하는 것이 있다. 또한, 서브밴드 부호화와 마찬가지로, 움직임 정보를 화상의 x방향과 y방향으로 서브밴드 분할함으로써, 움직임 정보의 계층화 표현이 얻어진다.
스텝117에서는, 이렇게 해서 얻어진 움직임 정보에 근거하여, B1, C1을 시간방향으로 서브밴드 분할하고, 저주파 대역 서브밴드 A1*, 고주파 대역 서브밴드 E1* 을 얻는다. 단, A1*은 LL(A0*)와 동일하지 않고, E1*은 LL(E0*)와 동일하지 않다.
A1*, E1*가 얻어진 후, 스텝118에 있어서, 공간방향으로의 서브밴드 분할 횟수가 1이면, LL(A0*) 대신에 A1*, H(A0*) 대신에 H(B0), LL(E0*) 대신에 E1*을 분할 결과로 한다. 분할 횟수가 1이 아닌 경우에는, 스텝119에 있어서, A1*, E1*을 1회 공간 서브밴드 분할하여 LL(A1*), H(A1*), LL(E1*), H(E1*)를 얻는다. 그 후, 스텝 115로 돌아가서, B1, C1을 1회 서브밴드 분할하고, 스텝116에 있어서 얻어지는 B2, C2에 대하여 움직임 정보V2를 산출한 후, 스텝117에 있어서 움직임 보상을 수반한 시간방향 서브밴드를 행한다.
스텝118에 나타낸 바와 같이, 이상의 처리를 분할 수가 m이 될 때 까지 행해서, 스텝121에 있어서, 얻어진 LL(Am*), H(Ak*), LL(Em*), H(Ek*) (0k<m)을 분할 결과로 한다. 또한, 스텝122에 있어서, Vk(0k<m)를 2장의 프레임의 서브밴드 분할 처리 전체의 움직임 정보로서 출력하여, 처리를 종료한다. 이상으로써, 스텝103의 서브밴드 분할의 처리가 종료된다.
도 3으로 돌아가서, 본 실시형태에 있어서의 부호화 처리의 동작을 추가하여 설명하겠다.
스텝103 후, 스텝105에 있어서, 시간방향의 저주파 대역 서브밴드인 A(0)*[0]을 공간방향으로만 서브밴드 합성하고, A(1)[0]를 생성한다. 이것은, A(1)[0]을 하나 이상의 시간방향 계층에 있어서, 다시 스텝103의 순서에 의해 시공간방향으로의 서브밴드 분할 하기 위해서이다.
스텝106, 107에 의해, 스텝103, 105의 처리를 A(0)[n－2] 와 A(0)[n－1)에 대하여 행한 후, 스텝108에서는 j에 1가산하여, i=0, 2, …n/2로서 A(1)[i<<1]과 A(1)[(i＋1)<<1]의 시공간방향으로의 서브밴드 분할(스텝103)과, A(1)*[i<<1]의 공간방향으로의 서브밴드 합성(스텝105)을 반복한다.
이상의 처리 루프를, j가 log 2(n)－1과 동일하게 될 때 까지 행한다.
스텝103을 끝마친 시점에서, 즉 스텝104에 있어서, 현재의 시간방향의 분할수인 j가 log 2(n)－1과 동등한 경우에는, 모든 신호가 시간 공간방향으로의 서브밴드 분할이 종료한 것이 된다. 부호화 처리에서는, 스텝109에 있어서, 얻어진 신호 A(i)*[0], E*[i](0<i<n)에 대하여, 양자화 및 가역 부호화를 행한다. 여기서 양자화로서, 선형 양자화, 비선형 양자화, 벡터 양자화 외에, 국제 표준의 정지 화상 부호화인 JPEG 2000에도 사용되어지고 있는 비트플레인 양자화를 사용할 수 있다. 또한 가역 부호화로서, 문헌[J. M. Shpiro, "Embedded image coding using zerotrees of wavelets coefficients", IEEE trans. Singnal Processing, Vol. 41, pp. 3445-3462, Dec. 1993]에 있는 제로트리 부호화, 산술 부호화, 런 렝스 부호화가 사용된다. 또한, 스텝110에 있어서, V[i] (0i<n)을 부호화한다. 이상으로, A(0)[k] (0k<n)의 부호화 처리는 종료된다.
결국, 상술한 동화상 부호화 방법에서는, 입력화상 신호를 시간방향으로 서브밴드 분할함과 동시에 공간방향으로 서브밴드 분할하는 3차원 서브밴드 분할처리가 복수 회 이루어지고 있다. 그리고, 이 서브밴드 분할의 처리는,
입력 화상 신호에 있어서의 프레임간 및 입력 화상 신호를 서브밴드 분할하여 얻어지는 저주파 대역 서브밴드 중 하나의 밴드신호인 인트라 밴드 신호의 밴드간에서, 이동을 나타내는 움직임 정보를 산출하는 움직임 정보 산출 스텝과,
입력 화상 신호 및 인트라 밴드 신호에 있어서, 움직임 정보 산출 스텝에서 얻어진 움직임 정보에 따라서 움직임 보상을 한 후에 시간방향으로 서브밴드 분할함으로써 시간 저주파 대역 서브밴드 신호와 시간 고주파 대역 서브밴드 신호 얻는 시간 서브밴드 분할 스텝과,
시간 고주파 대역 서브밴드 신호를 공간방향으로 서브밴드 분할하고, 시간 고주파 공간 저주파 대역 서브밴드와 시간 고주파 공간 고주파 대역 서브밴드를 생성하는 시간 고주파 대역 서브밴드 신호 공간 분할 스텝과,
시간 저주파 대역 서브밴드 신호를 공간방향으로 서브밴드 분할하고, 시간 저주파 공간 저주파 대역 서브밴드와 시간 저주파 공간 고주파 대역 서브밴드를 생성하는 시간 저주파 대역 서브밴드 신호 공간 분할 스텝과,
인트라 밴드 신호를 공간방향으로 서브밴드 분할하고, 저주파 대역 인트라 서브밴드와 고주파 대역 인트라 서브밴드를 생성하는 밴드 신호 공간 분할 스텝,
을 갖추고 있다. 입력 화상 신호에 대하여 시간 서브밴드 분할 스텝과 시간 고주파 대역 서브밴드 신호 공간 분할 스텝과 시간 저주파 대역 서브밴드 신호 공간 분할 스텝과 밴드 신호 공간 분할 스텝이 실행되고 있다. 또한, 밴드 신호 공간 분할 스텝 후에 얻어진 저주파 대역 인트라 밴드를 인트라 밴드 신호로서, 시간 서브밴드 분할 스텝과 시간 고주파 대역 서브밴드 신호 공간 분할 스텝과 시간 저주파 대역 서브밴드 신호 공간 분할 스텝과 밴드 신호 공간 분할 스텝이 재귀적으로 반복되고, 그 때마다, 시간 저주파 공간 저주파 대역 서브밴드와 시간 고주파 공간 저주파 대역 서브밴드가, 각각, 직후의 시간 서브밴드 분할 스텝에서 얻어지는 시간 저주파 대역 서브밴드 신호와 시간 고주파 대역 서브밴드 신호에 치환되어 있다.
또한 본 실시형태에서는, 어느 계층에서 시공간방향 모두 서브밴드 분할을 행한 후, 다음의 계층에서 부호화 되는 프레임을 일단 공간방향으로 서브밴드 합성한다, 라고 하는 처리의 흐름을 취하고 있다. 그러나, 이 두 개의 처리는 통합가능하다. 본 발명의 특징은, 공간방향의 주파수 대역에 따라서 움직임 보상을 적당히 보정해 가는 점에 있으며, 공간방향 서브밴드 분할 처리의 순서는, 본 발명의 목적으로 하는 점이 아니다.
다음으로, 본 발명에 근거하는 동화상 복호를 설명하겠다. 본 실시형태에 있어서 복호 화상은, 원화상에 대하여 시간 공간방향 모두 2의 거듭제곱분의 1인 임의의 해상도를 갖는다. 즉, 부호화 처리에 있어서의 공간방향 서브밴드 분할 수가 m이라면, 수평 및 수직 방향의 해상도가 원화상의 1/2, 1/4, …, 1/2m 의 복호 화상이 재구성 가능하다. 또한, 시간방향 서브밴드 분할 수 n0=log 2(n)에 대하여, 원화상의 1/2, 1/4, …, 1/2n0의 프레임 레이트를 가지는 복호 화상이 재구성 가능하다.
도 5는, 본 발명의 일실시형태의 동화상 복호 장치의 구성을 나타내고 있다. 이 동화상 복호 장치는, 서브밴드에 분할되고 부호화된 동화상 데이터를 복호하는 것이며, 도 5는, 도 2에 나타낸 서브밴드 분할에 대응하는 서브밴드 합성의 개념도 설명하고 있다. 즉, 도 5에 나타낸 동화상 복호 장치는, 예를 들어 신호를 전송하는 매체를 개재하고, 도 2에 나타낸 동화상 부호화 장치와 접속되며, 동화상 부호 화 장치에서 부호화된 동화상 데이터를 수신하고, 복호한다.
동화상 복호 장치는, 시간 서브밴드 합성을 행하는 제1 ~ 제3 합성부(2001~2003)과, 공간 서브밴드 합성을 행하는 제4 및 제5 합성부(2004, 2005)와, 시간 서브밴드 분할을 행하는 제1 및 제2 분할부(2006, 2007)를 갖추고 있다. 제3 합성부(2003)는, 저역 시간 서브밴드 신호(31)를 공급받아 복호 화상(36)을 출력하고, 제2 분할부(2007)은 복호화상(36)를 공급받아 신호(24)를 생성한다. 제5 합성부(2005)에는, 신호(24)와 고역 서브밴드 신호(23)가 공급되고, 제5 합성부(2005)가 출력하는 신호(25)는 제2 합성부(2002)에 공급된다. 제2 합성부(2002)는, 제1 분할부(2006)에 공급되는 복호 화상(26)을 출력한다. 제1 분할부(2006)는, 저역 서브밴드 추정 신호(14)를 출력한다. 제4 합성부(2004)는, 저역 서브밴드 추정 신호(14)와 고역 서브밴드 신호(13)을 입력으로 해서, 신호(15)를 출력하고, 제1 합성부(2001)는, 신호(15)를 입력으로 해서 복호 화상(16)을 출력한다.
이 동화상 부호화 장치에서는, 가장 작은 축소 해상도를 가진 복호 화상(36)을 얻으려면, 부호화 되어 있는 서브밴드 신호 중 최저역에 해당하는 저역시간 서브밴드 신호(31)에 대하여, 제3 합성부(2003)에 의해 시간 서브밴드 합성을 행하면 된다. 한편, 복호 화상(36)의 하위 계층, 즉 1단계 큰 해상도를 가진 복호 화상(26)을 얻으려면, 그 계층에 속하는 고역 서브밴드 신호(23)에 대응하는 저역 서브밴드가 필요하게 된다. 그래서, 복호 화상(36)을 제2 분할부(2007)에서 시간 서브밴드 분할하여 얻어지는 신호(24)를 저역 서브밴드 추정신호로 한다. 저역 서브밴드 추정 신호(24)와 고역 서브밴드(23)을 제5 합성부(2005)에 의해 공간 서브밴 드 합성한 후, 제2 합성부(2002)에 의해 시간 서브밴드 합성함으로써 복호 화상(26)이 얻어진다. 제2 분할부(2007)에 있어서의 시간 서브밴드 분할은, 제2 합성부(2002)에서의 시간 서브밴드 합성에 의해 일의로 정해진다. 마찬가지로, 복호 화상(26)의 더 1단계 큰 해상도를 갖는 복호화상(16)을 얻으려면, 복호화상(26)과 시간 서브밴드 분할(2006)에 의해 얻어진 저역 서브밴드 추정 신호(14)와, 고역 서브밴드 신호(13)를 제4 합성부(2004)에 의해 공간 서브밴드 합성한 후, 제1 합성부(2001)에 의해 시간 서브밴드 합성을 행하면 된다. 계층 구조를 가진 서브밴드 신호에 대하여 이 복호 처리를 반복해서 행함으로써, 다른 해상도의 복호 화상을 얻을 수 있다.
다음으로 복호 처리에 대해서, 복호 처리의 내용을 나타내는 플로차트인 도 6을 사용해서 설명하겠다. 원화상 A(0)[i] (0i<n, n은 2의 거듭제곱)에 대해, 수평 및 수직 방향의 해상도가 1/2k0 (0k0<m), 프레임 레이트가 1/2j0 (0j0<n0)인 복호 화상 A(j0) (k0)[i]을 재구성 하는 처리에 대해서 설명한다.
먼저, 스텝151에 있어서 j를 log 2(n)－1로 한 뒤, 스텝152에 있어서, 부호화 데이터에 대하여 가역 부호화의 역변환 및 역양자화를 행한다. 이 처리의 결과로서 얻어진 신호를, 도 3에서 사용한 기호에 따라서, A(n0)*[0], E*[i](0<i<n)로 정의한다. 다음으로, 스텝153에 있어서, j0가 n0와 동일한지 여부를 판정한다. j0가 n0와 동일한 경우에는, 시간방향으로의 서브밴드 합성을 행할 필요가 없고, 스 텝154에 있어서, A(i)*[0]을 공간방향으로 k0층 몫 만 서브밴드 합성한다. 그 후, A(j0) (k0)[0]이 재구성된 시점에서, 복호 처리는 종료된다. 한편, 스텝 153에 있어서 j0가 n0와 동일하지 않는 경우에는, 스텝155, 156에 있어서, A(i)*[0], E*[n/2]를 시간방향과 공간방향의 쌍방에 관하여 서브밴드 합성한다.
도 7은, 스텝156에 있어서의, 2장의 프레임 데이터를 시공간방향 서브밴드 합성하는 처리의 흐름을 나타내고 있다. 복호시의 서브밴드 합성수를 k0로 한다. k0가 0이면 원화상과 같은 해상도에서의 신호 화상이고, k0가 정이라면 2의 k0승만큼 축소된 해상도의 복호 화상이 얻어진다. 서브밴드 합성 처리의 대상으로 되는 2장의 프레임의 데이터는, 공간방향으로 m회 서브밴드 분할된 계층구조를 취하고 있다.
도 4의 스텝121에 따르면, 시간방향의 서브밴드 분할에서 저주파 대역에 속하는 서브밴드 신호 중 공간방향의 서브밴드 분할에서 최저주파 대역에 속하는 서브밴드 신호는 Am*에, 제k층 째의 서브밴드 분할 후의 고주파 대역 서브밴드는 H(Ak*), (0k<m)에 대응한다. 시간방향의 서브밴드 분할에서 고주파 대역에 속하는 서브밴드 신호의 공간방향으로 분할 후의 신호에 대해서도 마찬가지로, Em* 및 H(Ek*), (0k<m)에 대응하게 할 수 있다. 또한, 2장의 프레임의 움직임 보상을 규정하는 움직임 정보는, 도 4의 스텝111, 116에 있어서 출력되는 Vk(0k<m)에 대응되게 할 수 있다. 움직임 정보는 각각 독립하여 부호화 되어있어도 상관없고, 계층적으로 부호화되어 있어도 상관없다. 그래서, Am*, H(Bk), Em*, (Ek*), (0k<m)을 참조하여 원화상 B0, C0을 2의 k0곱만큼 축소된 해상도의 복호화상 Bk0, Ck0을 재구성하는 처리에 대해서, 도 7을 사용하여 설명하겠다.
우선, 스텝171에 있어서 k=m이라 한 뒤, 스텝172에 있어서, Am*과Em*을 시간방향으로 서브밴드 합성 하면, Bm, Cm이 얻어진다.
Bm[p, q]=Am*[p, q]－WCm(Em*)[p, q] …(3)
Cm[p, q]=2×Em*[p, q]＋WBm(Bm)[p, q] …(4)
여기서 WBm 및 WCm은, Bm으로부터 Cm에 대한 움직임 보상을 나타내는 필터, 및 Cm으로부터 Bm에 대한 움직임 보상을 나타내는 필터이고, 부호화 처리 시에 사용한 움직임 정보Vm 및 내삽 처리에 의해 결정된다.
스텝173에 있어서, 만약 k0가 m과 같은 경우, 복호처리는 종료된다. 만약 같지 않은 경우, 1회분의 서브밴드 합성을 행하기 위해서, LL(Am－1*)과 LL(Em－1*)을 얻을 필요가 있다. 그래서, 스텝174에 있어서, 제m－1층에서의 Bm－1 및 Cm－1의 움직임 보상에 사용하는 움직임 정보 Vm－1을 사용하여, LL(Am－1*) 및 LL(Em－1*)의 추정치 LLest(Am－1*) 및 LLest(Em－1)*를 산출한다.
LLest(Em-1*)=1/2(Cm[p, q]－WBm－1 L(Bm)[p, q]) …(5)
LLest(Am－1*)=Bm[p, q]＋WCm－1 L(LLest(Em－1*))[p, q] …(6)
여기서, WBm－1 L 및 WCm－1 L은, 움직임 정보 Vm－1을 수평 및 수직의 양 쪽으로 1/2로 축소하고, 움직임 보상의 단위가 되는 블록의 사이즈도 1/2로 축소하여 얻어지는 움직임 보상 필터이다. 또는, T.Kimoto, "Multi Resolution MCTF for 3D Wavelet Transformation in Highly Scalable Video,"ISO/IEC JTC1/SC29/WG11, M9770, Trondheim, July 2003 에 나타내는 계층화된 움직임 보상과 같은 것을 사용한다. 즉, 제m－1층에 있어서 Cm－1에 대하여 움직임 보상에 의해 얻어지는 예측 신호 WBm－1(Bm－1)은, 공간방향의 저주파 대역 서브밴드 Bm에만 기인하는 신호와 고주파 대역 서브밴드H(Bm－1)에만 기인하는 신호의 합으로써 나타낼 수 있다. 이 전자를 WBm-1 L(Bm)으로 하고, LL(Em－1*)의 추정에 사용한다.
이 후, 스텝175에 있어서, LLest(Am－1*) 과 H(Am－1*)을 서브밴드 합성하고, LLest(Em－1*) 과 H(Em－1*)을 서브밴드 합성하여, Am－1*, Em－1* 를 얻는다. 스텝173, 176에 나타낸 바와 같이, 스텝172부터, 175의 처리를 반복 행하여, 계층k0에 상당하는 서브밴드 Bk0, Ck0을 얻은 시점에서, 도 6의 스텝156에 있어서의 시공간방향의 서브밴드 합성 처리는 종료된다.
또한, 본 실시형태에서는, 서브밴드 보정(스텝174)과 공간방향 서브밴드 합성(스텝175)을 독립된 스텝으로서 설명했으나, 서브밴드 보정 시의 움직임 보상 필터와 서브밴드 합성필터를 합친 필터를 사용함으로써, 이들 스텝을 통합하는 것도 가능하다. 또한, 본 실시형태에서는, Ek*와Ak*에 대하여 움직임 정보 Vk에 따라 시간방향으로 서브밴드 합성을 실시하여, Bk와 Ck를 얻은 후, 움직임 정보 Vk－1을 참조하여 LLest(Ek－1*)과 LLest(Ak－1*)을 산출하고 있으나, Bk와 Ck를 출력할 필요가 없는 경우에는, 이들 처리를 통합하는 것도 가능하다.
또한, T.Kimoto, "Multi Resolution MCTF for 3D Wavelet Transformation in Highly Scalable Video," ISO/IEC JTC1/SC29/WG11, M9770, Trondheim, July 2003 에 나타낸 것과 같은 방법에 의해, H(Ek－1*)와 Ck를 참조하여 LLest(Ek－1*)을 LL(Ek－1*)에 더욱 가까워지도록 보정하고, H(Ak－1*)과 Ak를 참조하여 LLest(Ak－1*)을 LL(Ak－1*)에 더욱 가까워지도록 보정하는 처리를 추가하는 것도 가능하다.
도6으로 돌아가 복호처리의 설명을 계속하겠다. A(i)*[0], E*[n/2]를 서브밴드 합성한 후, 해상도가 원화상의 1/2k0인 화상 A(i) (k0)[0]과 A(i) (k0)[n/2]가 얻어진다. 스텝157에 있어서, j0이 n0－1과 같은 경우에는, 여기서 복호처리를 끝낸다. 그렇지 않은 경우에는, 다음의 반복루프에서의 시간공간 서브밴드 합성을 위해서, 스텝158에 있어서, A(i) (k0)[0]과 A(i) (k0)[n/2]를 공간방향으로 서브밴드 분할하고, A(j－1)* (k0)[0]과 A(j－1)* (k0)[n/2]를 생성한다. 스텝162에 있어서 j를 1감소시킨다. 그 후, 다음 계층에서의 시공간 서브밴드 합성은, 스텝156, 159, 160에서 나타낸 바와 같이, A(j)*[0]과 E*[n/4], 및 A(j)*[n/2]와 E*[3n/4]에 대해 행해진다. 이상과 같이 해서 서브밴드 합성을 반복하고, 스텝161에 있어서 j가 j0과 같게 된 시점에서, 복호처리를 끝낸다.
결국, 전술한 복호처리는, 서브밴드 신호를 프레임마다 공간방향으로 서브밴드 합성한 후, 시간 저주파 대역 서브밴드와 시간 고주파 대역 서브밴드에 시간방향 서브밴드 합성을 행하는 3차원 서브밴드 합성처리에 의해, 복호화상 신호를 생성하는 스텝을 가지고있다. 그리고, 3차원 서브밴드 합성 처리는,
시간 고주파 대역 서브밴드의 공간방향의 저주파 대역 신호인 시간 고주파 공간 저주파 대역 신호와, 그 저주파 대역 신호에 인접하는 고주파 대역 서브밴드인 시간 고주파 공간 고주파 대역 서브밴드에 더해서, 시간 고주파 공간 저주파 대역 신호에 대하여 동일 주파수 대역에 있는 시간 저주파 공간 저주파 대역 서브밴드와 그 서브밴드 신호에 인접하는 고주파 대역 서브밴드인 시간 저주파 공간 고주파 대역 서브밴드의 쌍방 또는 어느 한쪽과, 시간 고주파 대역 서브밴드에 대응하는 움직임 보상 처리를 규정하는 움직임 정보를 참조하여, 합성 시간 고주파 서브밴드 신호를 생성하는 시간 고주파 서브밴드 합성 스텝과,
시간 저주파 공간 저주파 대역 서브밴드와 시간 저주파 공간 고주파 대역 서브밴드를 합성하는 시간 저주파 서브밴드 공간합성 스텝과,
시간 저주파 대역 서브밴드와 시간 고주파 대역 서브밴드에 움직임 보상 예측 처리를 행한 후, 시간방향 서브밴드 합성을 행하는 시간방향 합성 스텝,
을 가지고 있다. 시간 고주파 대역 서브밴드의 최저주파 대역에 있는 시간 고주파 공간 저주파 대역 신호에 대하여 시간 고주파 서브밴드 합성 스텝이, 시간 저주파 대역 서브밴드의 최저주파 대역에 있는 시간 저주파 공간 저주파 대역 서브밴드에 대하여 시간 저주파 서브밴드 공간합성 스텝이 행하여지고 있다. 시간 고주파 서브밴드 합성 스텝에 의해 얻어지는 밴드 신호를 새롭게 시간 고주파 공간 저주파 대역 신호, 시간 저주파 서브밴드 공간합성 스텝에 의해 얻어지는 밴드 신호를 새롭게 시간 저주파 공간 저주파 대역 서브밴드로 간주하고, 시간 고주파 서브밴드 공간합성 스텝과 시간 저주파 서브밴드 공간합성 스텝이 재귀적으로 반복되고, 그 결과, 시간 저주파 대역 서브밴드 및 시간 고주파 대역 서브밴드가 얻어지고 있다.
본 실시형태에서는, 시간방향 서브밴드 분할에 있어서의 프레임의 참조관계가 계층 구조를 취하고 있는 경우에 대하여 설명했으나, 본 발명은 참조관계가 임의의 구조를 갖는 경우에 대해서도 적용 가능하다.
또한, 하나의 시간방향 서브밴드 분할에 있어서, 과거에 있는 프레임이 저주파 대역 서브밴드로 변환되는 경우에 한정하여 실시예의 설명을 행하였으나, 본 발명은, 미래에 있는 프레임이 저주파 대역 서브밴드로 변환되는 경우, 또는 2장의 프레임을 쌍방향 예측하는 형태로 시간방향 분할을 행하는 경우에도 적용가능하다. 어느 경우도, 시간방향으로 분할한 후 각각의 서브밴드를 공간방향으로 분할한 때의 저주파 대역 서브밴드를, 부호화 대상 화상을 공간방향으로 분할한 저주파 대역 서브밴드를 시간방향으로 분할한 서브밴드로 치환하고, 복호 시에 쌍이 되는 프레임의 복호결과 혹은 서브밴드를 사용하여 원하는 복호결과를 얻을 수 있도록 보정된다.
또한, 본 실시형태에서는 계층 부호화를 실현하는 변환방식으로써 서브밴드 분할을 사용했으나, 본 발명은 임의의 계층 부호화 방식에 적용 가능하다. 서브밴드 분할에서는, 저주파 대역에 상당하는 신호가 상위 계층에 대응화 되어있다. 본 발명에 근거하는 부호화 방식에서는, 프레임 간 예측 처리 후에 얻어지는 예측 오차 신호를 계층 분할한 것 중의 상위 계층 신호를, 입력 화상 신호에 대하여 계층분할을 행한 후, 상위 계층 신호에 대하여 프레임 간 예측 처리를 하여 얻어지는 예측 오차로 치환해도 된다. 복호 방식에서는, 계층화된 프레임 신호 중 상위 계층을, 입력 화상 신호에 대하여 프레임 간 예측 처리를 행하여 얻어지는 예측 오차 신호를 계층분할한 것 중의 상위 계층 신호로 보정한다.
예측 오차 신호를 사용하는 경우, 동화상 부호화 처리에 있어서의 3차원 서브밴드 분할 처리는,
입력 화상 신호에 있어서의 프레임 간 및 입력 화상 신호를 서브밴드 분할하여 얻어지는 저주파 대역 서브밴드 중의 하나의 밴드신호인 인트라 밴드 신호에 있어서의 밴드 간에서, 이동을 나타내는 움직임 정보를 산출하는 움직임 정보 산출 스텝과,
입력 화상 신호 및 인트라 밴드 신호에 있어서, 움직임 정보 산출 스텝에서 얻어진 움직임 정보에 따라 움직임 보상 예측 처리를 행하여 예측 오차 신호를 얻는 움직임 보상 예측 스텝과,
예측 오차 신호를 공간방향으로 서브밴드 분할하여, 저주파 대역 예측 오차 서브밴드와 고주파 대역 예측 오차 서브밴드를 생성하는 예측 오차 신호 공간 분할 스텝과,
인트라 밴드 신호를 공간방향으로 서브밴드 분할하여, 저주파 대역 인트라 서브밴드와 고주파 대역 인트라 서브밴드를 생성하는 밴드 신호 공간 분할 스텝,
을 갖추는 것으로 된다. 그리고, 입력 화상 신호에 대하여 움직임 정보 산출 스텝과 움직임 보상 예측 스텝과 예측 오차 신호 공간 분할 스텝과 밴드 신호 공간 분할 스텝이 실행된다. 또한, 밴드 신호 공간 분할 스텝 후에 얻어진 저주파 대역 인트라 서브밴드를 인트라 밴드 신호로 하여, 움직임 정보 산출 스텝과 움직임 보상 예측 스텝과 예측 오차 신호 공간 분할 스텝과 밴드 신호 공간 분할 스텝이 재귀적으로 반복되고, 그 때마다 예측 오차 신호 공간 분할 스텝에서 얻어지는 저주파 대역 예측 오차 서브밴드가, 직후의 움직임 보상 예측 부호화 스텝에서 얻어지는 상기 예측 오차 신호로 치환된다.
마찬가지로, 예측 오차 신호를 사용하는 경우의 동화상 복호 처리에 있어서 3차원 서브밴드 합성처리는,
예측 오차 신호의 저주파 대역 신호인 예측 오차 저주파 대역 신호와, 그 저 주파 대역 신호에 인접하는 고주파 대역 서브밴드인 고주파 대역 예측 오차 서브밴드에 더해서, 예측 오차 저주파 대역 신호에 대하여 동일 주파수 대역에 있는 저주파 대역 인트라 서브밴드와 저주파 대역 인트라 서브밴드에 인접하는 고주파 대역 서브밴드인 고주파 대역 인트라 서브밴드의 쌍방 혹은 어느 한 쪽과, 예측 오차 신호에 대응하는 움직임 보상 처리를 규정하는 움직임 정보를 참조하여 합성 서브밴드 예측 오차 신호를 생성하는 예측 오차 신호 합성스텝과,
저주파 대역 인트라 서브밴드와 고주파 대역 인트라 서브밴드를 합성하는 인트라 밴드 신호 공간합성 스텝과,
인트라 밴드 신호에 움직임 보상 예측 처리를 행하여 합성 예측 오차 신호를 더함으로써 복호 화상 신호를 얻는 움직임 보상 복호 스텝,
을 갖춘다. 그리고, 예측 오차 신호의 최저주파 대역에 있는 예측 오차 저주파 대역 신호에 대하여 예측 오차 신호 합성스텝이 실행되어, 인트라 밴드 신호의 최저주파 대역에 있는 인트라 저주파 대역 서브밴드에 대하여 인트라 밴드 신호 공간합성 스텝이 실행된다. 예측 오차 신호 합성스텝에 의해 얻어지는 밴드 신호를 새롭게 예측 오차 저주파 대역 신호로 간주하고, 인트라 밴드 신호 공간합성 스텝에 의해 얻어지는 밴드 신호를 새롭게 인트라 저주파 대역 서브밴드로 간주하고, 예측 오차 신호 합성 스텝과 인트라 밴드 신호 공간 합성 스텝을 재귀적으로 반복함으로써, 인트라 밴드 신호 및 상기 예측 오차 신호가 얻어진다.
이상 설명한 동화상 부호화 장치 및 동화상 복호 장치는, 모두, 컴퓨터를 사용하여 실현하는 것이 가능하다. 즉, 컴퓨터상에서 프로그램을 실행함으로써, 전술 한 동화상 부호화 장치, 동화상 복호 장치에서의 처리 및 제어를 실현할 수 있다. 여기서 말하는 컴퓨터에는, 프로세서나 컨트롤러도 포함된다. 프로그램은, 네트워크를 개재하여, 또는, 그 프로그램을 격납한 CD-ROM과 같은 기록매체를 개재하여, 컴퓨터에 읽혀진다. 본 발명은, 이와 같은 프로그램 또는 프로그램 프로덕트 또는 기록매체도 포함하는 것이다. 나아가서, 그러한 프로그램을 전송하는 매체도, 본 발명의 범주에 포함된다.
도 8은, 동화상 부호화 장치 및/ 또는 동화상 복호 장치를 실현하는 컴퓨터의 구성을 나타내고 있다. 이 컴퓨터는, 도 8에 나타난 바와 같이, 프로세서(51), 기억부(52), I/O인터페이스(53)를 갖추고 있고, 그것들은 버스(54)를 개재하여 서로 접속되어 있다.
기억부(52)는, 프로세서(51)가 실행해야 하는 동화상 부호화 프로그램과 동화상 복호 프로그램의 어느 한 쪽 혹은 양 쪽을 격납하고 있음과 동시에, 프로세서가 동화상 부호화 프로그램 혹은 동화상 복호 프로그램이 실행되고 있는 도중에서의 일시기억영역으로서의 역할도 수행한다. 또한, 이 "기억부"라는 말은, 본 명세서에 있어서, RAM 등의 주기억 외에, CPU에 포함되는 캐쉬 메모리나 프로세서에 포함되는 레지스터, 나아가서는 하드디스크장치 등, 모든 기억장치를 나타내는 것으로서 사용된다. 또한, 본 실시형태에 있어서, I/O인터페이스(53)는, 프로세서(51)의 제어에 따라 동화상 부호화 프로그램에 대한 입력이 되는 원화상이나 출력이 되는 부호화 데이터, 동화상 복호 프로그램으로의 입력이 되는 부호화 데이터나 출력이 되는 복호 화상을 정송하는 매개수단이다. 단, 이 I/O인터페이스(13)의 존재 는, 다른 프로그램에 의해 요구된 원화상 내지 부호화 데이터를 일단 기억부(52)에 격납하고, 그것을 기억부(52)로부터 읽어 냄으로써 본 실시형태에 의한 동화상 부호화 방법 또는 동화상 복호 방법을 실행하는 것을 방해하는 것은 아니다.
본 발명은, 여러 전송환경이나 재생환경을 가지는 재생기기에 대하여, 동화상 부호화 데이터의 일부를 삭제함으로써, 재생기기의 환경에 최적인 동화배신을 행한다, 라는 용도에 적용할 수 있다.

Claims (49)

  1. 계층 부호화를 행하는 동화상 부호화 방법으로,
    입력 화상 신호에 대하여 제1 처리를 행한 후에 공간방향으로 계층 분할하여 제1 신호를 얻는 스텝과,
    상기 입력 화상 신호를 해상도 변환필터에 의해 축소한 후에 축소 해상도상에서 제2 처리를 행하여 제2 신호를 얻는 스텝과,
    상기 제1 신호와 상기 제2 신호를 부호화하는 스텝,
    을 가지는 동화상 부호화 방법.
  2. 계층 부호화를 행하는 동화상 부호화 방법으로,
    입력 화상 신호를, 상기 입력 화상 신호에 대해서 제1 처리를 행한 후에 공간방향으로 계층 분할하여 얻어지는 제1 신호와, 상기 입력 화상 신호를 해상도 변환 필터에 의해 축소한 축소 입력 화상 신호에 대해서 축소해상도상에서 제2 처리를 행하여 얻어진 제2 신호, 로 분할하는 시공간 계층 분할 처리를 행하는 스텝과,
    상기 축소 입력 화상 신호에 대해서 상기 시공간 계층 분할을 재귀적으로 행한 후에, 각 계층의 신호를 부호화 하는 스텝,
    을 가지는 동화상 부호화 방법.
  3. 제1항 또는 제2항에 있어서, 상기 제1 처리가 제1 시간방향 필터링이고, 상 기 제2 처리가 제2 시간방향 필터링이고, 상기 제1 신호가 시간 필터링 하위 계층 신호이고, 상기 제2 신호가 상위 계층 시간 필터링 신호인 동화상 부호화 방법.
  4. 제1항 또는 제2항에 있어서, 상기 제1 처리가 제1 움직임 보상 처리이고, 상기 제2 처리가 제2 움직임 보상 처리이고, 상기 제1 신호가 예측 오차 하위 계층 신호이고, 상기 제2 신호가 상위 계층 예측 오차신호인 동화상 부호화 방법.
  5. 제1항 또는 제2항에 있어서, 상기 해상도 변환 필터가, 계층분할 처리에 있어서의 상위 계층의 신호를 생성하는 필터와 동일한 동화상 부호화 방법.
  6. 입력 화상 신호를 시간방향으로 서브밴드 분할함과 동시에 공간방향으로 서브밴드 분할하는 3차원 서브밴드 분할처리를 복수회 실행하는 스텝을 가지고,
    상기 3차원 서브밴드 분할처리는,
    상기 입력 화상 신호에 있어서의 프레임 간 및 상기 입력 화상 신호를 서브밴드 분할하여 얻어지는 저주파 대역 서브밴드 중 하나의 밴드신호인 인트라 밴드 신호의 밴드 간에서, 이동을 나타내는 움직임 정보를 산출하는 움직임 정보 산출 스텝과,
    상기 입력 화상 신호 및 상기 인트라 밴드 신호에 있어서, 상기 움직임 정보 산출 스텝에서 얻어진 움직임 정보에 따라 움직임 보상을 한 후에 시간방향으로 서브밴드 분할함으로써 시간 저주파 대역 서브밴드 신호와 시간 고주파 대역 서브밴 드 신호를 얻는 시간 서브밴드 분할 스텝과,
    상기 시간 고주파 대역 서브밴드 신호를 공간방향으로 서브밴드 분할하여, 시간 고주파 공간 저주파 대역 서브밴드와 시간 고주파 공간 고주파 대역 서브밴드를 생성하는 시간 고주파 대역 서브밴드 신호 공간 분할 스텝과,
    상기 시간 저주파 대역 서브밴드 신호를 공간방향으로 서브밴드 분할하여, 시간 저주파 공간 저주파 대역 서브밴드와 시간 저주파 공간 고주파 대역 서브밴드를 생성하는 시간 저주파 대역 서브밴드 신호 공간 분할 스텝과,
    상기 인트라 신호를 공간방향으로 서브밴드 분할하고, 저주파 대역 인트라 서브밴드와 고주파 대역 인트라 서브밴드를 생성하는 밴드 신호 공간 분할 스텝,
    을 가지고,
    상기 입력 화상 신호에 대해서 상기 시간 서브밴드 분할 스텝과 상기 시간 고주파 대역 서브밴드 신호 공간 분할 스텝과 상기 시간 저주파 대역 서브밴드 신호 공간 분할 스텝과 상기 밴드 신호 공간 분할 스텝이 실행되고,
    상기 밴드 신호 공간 분할 스텝 후에 얻어진 저주파 대역 인트라 서브밴드를 상기 인트라 밴드 신호로 하고, 상기 시간 서브밴드 분할 스텝과 상기 시간 고주파 대역 서브밴드 신호 공간 분할 스텝과 상기 시간 저주파 대역 서브밴드 신호 공간 분할 스텝과 상기 밴드 신호 공간 분할 스텝이 재귀적으로 반복되고, 그 때마다, 상기 시간 저주파 공간 저주파 대역 서브밴드와 상기 시간 고주파 공간 저주파 대역 서브밴드가, 각각, 직후의 상기 시간 서브밴드 분할 스텝에서 얻어지는 상기 시간 저주파 대역 서브밴드 신호와 상기 시간 고주파 대역 서브밴드 신호로 치환되 는, 동화상 부호화 방법.
  7. 제6항에 있어서, 상기 시간 서브밴드 분할 스텝에 있어서, 동일 주파수 대역에 있는 2장의 인트라 밴드 신호에 대해서 시간 서브밴드 분할을 행할 때에, 얻어진 시간 고주파 대역 서브밴드 신호 및 시간 저주파 대역 서브밴드 신호의 한 쪽이, 과거방향에 있는 밴드 신호에 대응화되어, 상기 얻어진 시간 고주파 대역 서브밴드 신호 및 상기 시간 저주파 대역 서브밴드 신호의 다른 쪽이, 미래방향에 있는 밴드 신호에 대응화되어 있는 동화상 부호화 방법.
  8. 입력 화상 신호를 시간방향으로 서브밴드 분할함과 동시에 공간방향으로 서브밴드 분할하는 3차원 서브밴드 분할 처리를 복수회 실행하는 스텝을 가지고,
    상기 3차원 서브밴드 분할 처리는,
    입력 화상 신호에 있어서의 프레임 간 및 상기 입력 화상 신호를 서브밴드 분할하여 얻어지는 저주파 대역 서브밴드 중 하나의 밴드신호인 인트라 밴드신호에 있어서의 밴드 간에서, 이동을 나타내는 움직임 정보를 산출하는 움직임 정보 산출 스텝과,
    상기 입력 화상 신호 및 상기 인트라 밴드 신호에 있어서, 상기 움직임 정보 산출스텝에서 얻어지는 움직임 정보에 따라 움직임 보상 예측 처리를 행하여 예측 오차 신호를 얻는 움직임 보상 예측 스텝과,
    상기 예측 오차 신호를 공간방향으로 서브밴드분할 하여, 저주파 대역 예측 오차 서브밴드와 고주파 대역 예측 오차 서브밴드를 생성하는 예측 오차 신호 공간 분할 스텝과,
    상기 인트라 밴드신호를 공간방향으로 서브밴드 분할하여, 저주파 대역 인트라 서브밴드와 고주파 대역 인트라 서브밴드를 생성하는 예측 오차 신호 공간 분할 스텝,
    을 가지고,
    상기 입력 화상 신호에 대해서 상기 움직임 정보 산출 스텝과 상기 움직임 보상 예측 스텝과 상기 예측 오차 신호 공간 분할 스텝과 상기 밴드 신호 공간 분할 스텝이 실행되고,
    상기 밴드신호 공간 분할 스텝 후에 얻어진 저주파 대역 인트라 서브밴드를 상기 인트라 밴드신호로서, 상기 움직임 정보산출 스텝과 상기 움직임 보상 예측 스텝과 상기 예측오차 신호 공간 분할 스텝과 상기 밴드 신호 공간 분할 스텝이 재귀적으로 반복되고, 그 때마다 상기 예측 오차 신호 공간 분할 스텝에서 얻어지는 상기 저주파 대역 예측 오차 서브밴드가, 직후의 움직임 보상 예측 부호화 스텝에서 얻어지는 상기 예측 오차 신호로 치환 되는, 동화상 부호화 방법.
  9. 제8항에 있어서, 상기 움직임 보상예측 스텝에 있어서, 동일 주파수 대역에 있는 2장의 인트라 서브밴드 신호에 대해서, 과거방향 또는 미래방향의 어느 한 쪽에 있는 밴드신호를 참조신호로 하는 동화상 부호화 방법
  10. 제8항에 있어서, 상기 움직임 보상 예측 스텝에 있어서, 동일 주파수 대역에 있는 복수의 인트라 서브밴드 신호에 있어서 1장의 부호화대상 밴드신호를 뺀 밴드신호를 참조신호로 하고, 움직임 보상처리에 있어서, 상기 복수의 참조신호의 무게붙임 평균을 사용하는 동화상 부호화 방법.
  11. 제8항에 있어서, 움직임 보상 예측 스텝에 있어서, 동일 주파수 대역에 있는 인트라 밴드신호의 움직임 보상 처리 시에, 참조신호가 되는 밴드신호를 하나 혹은 복수의 화소마다 절환 하는 동화상 부호화 방법.
  12. 계층화된 부호화 데이터를 복호하는 동화상 복호방법으로,
    제1 처리 후의 신호인 제1 신호와, 제2 처리에서 얻어지는 제2 신호를 공간방향으로 계층분할한 제3 신호와, 상기 제2 처리를 규정하는 처리정보를 복호하는 스텝과,
    상기 제1 신호와 상기 처리정보로부터 제4 신호를 생성하는 스텝과,
    상기 제3 신호와 상기 제4 신호를 합성한 후에 상기 제2 신호의 역변환을 행한 복호화상을 얻는 스텝,
    을 가지는 동화상 복호 방법.
  13. 제12항에 있어서, 상기 제1 처리가 제1 시간방향 필터링이고, 상기 제2 처리가 제2 시간방향 필터링이고, 상기 제1 신호가 상위 계층 시간 필터링 신호이고, 상기 제2 신호가 시간 필터링 신호이고, 상기 제3 신호가 시간 필터링 하위 계층 신호이고, 상기 제4 신호가 시간 필터링 상위 계층 신호이고, 상기 처리정보가 시간 필터링 정보인 동화상 복호 방법
  14. 제12항에 있어서, 상기 제1 처리가 제1 움직임 보상 처리이고, 상기 제2 처리가 제2 움직임 보상 처리이고, 상기 제1 신호가 상위 계층 예측 오차 신호이고, 상기 제2 신호가 예측 오차 신호이고, 상기 제3 신호가 예측 오차 하위 계층 신호이고, 상기 제4 신호가 예측 오차 상위 계층 신호이고, 상기 처리정보가 움직임 정보인 동화상 복호 방법.
  15. 계층화된 부호화 데이터를 프레임 단위로 계층 합성한 후에 시간방향 역필터링을 행함으로써 복호화상을 얻는 동화상 복호 방법으로,
    제1 시간방향 필터링 후의 신호인 상위 계층 시간 필터링 신호와, 제2 시간방향 필터링으로 얻어지는 시간 필터링 신호를 공간방향으로 계층 분할한 시간 필터링 하위 계층 신호와, 상기 제2 시간방향 필터링을 규정하는 시간 필터링 정보를 복호하는 스텝과,
    상기 상위 계층 시간필터링 신호와 상기 시간 필터링 정보로부터 시간 필터링 상위 계층 신호를 생성하는 스텝과,
    상기 시간 필터링 상위 계층 신호와 상기 시간 필터링 하위 계층 신호를 합성하여 합성시간 필터링 신호를 생성하는 시간 필터링 신호 합성 처리를 행하는 스 텝과,
    상기 합성시간 필터링 신호를 상위 계층 시간 필터링 신호로 간주하여 주목하는 계층의 하위 계층에 있어서의 시간 필터링 정보와 시간 필터링 하위 계층 신호를 복호하여 재귀적으로 시간 필터링 합성처리를 행한 후, 시간방향 역필터링을 행함으로써 복호화상을 얻는 스텝,
    을 가지는 동화상 복호 방법.
  16. 계층화된 부호화 데이터를 프레임 단위로 계층 합성한 후에 움직임 보상 합성 처리를 행함으로써 복호화상을 얻는 동화상 복호 방법으로,
    제1 움직임 보상 예측 후의 신호인 상위 계층 예측 오차 신호와, 제2 움직임 보상 예측으로 얻어지는 예측 오차 신호를 1단계 공간방향으로 계층 분할한 예측오차 하위 계층 신호와, 상기 제2 움직임 보상 예측을 규정하는 움직임 정보를 복호하는 스텝과,
    상기 상위 계층 예측오차 신호와 상기 움직임 정보로부터 예측오차 상위 계층 신호를 생성하는 스텝과,
    상기 예측 오차 상위 계층 신호와 상기 예측오차 하위 계층 신호를 합성하여 합성 예측오차 신호를 생성하는 예측오차 신호합성 처리를 행하는 스텝과,
    상기 합성 예측오차신호를 상위 계층 예측오차 신호로 간주하여 주목하는 계층의 하위 계층에 있어서의 움직임 정보와 예측 오차 하위 계층 신호를 복호하여 재귀적으로 예측 오차 합성 처리를 행한 후, 움직임 보상 합성 처리를 행함으로써, 복호화상을 얻는 스텝,
    을 가지는 동화상 복호 방법.
  17. 서브밴드 신호를 프레임마다 공간방향으로 서브밴드 합성한 후, 시간 저주파 대역 서브밴드와 시간 고주파 대역 서브밴드에 시간방향 서브밴드 합성을 행하는 3차원 서브밴드합성 처리에 의해, 복호화상 신호를 생성하는 스텝을 가지고,
    상기 3차원 서브밴드 합성 처리는,
    상기 시간 고주파 대역 서브밴드의 공간방향의 저주파 대역 신호인 시간 고주파 공간 저주파 대역 신호와, 그 저주파 대역 신호에 인접하는 고주파 대역의 서브밴드인 시간 고주파 공간 고주파 대역 서브밴드에 더해서, 상기 시간 고주파 공간 저주파 대역 신호에 대해서 동일 주파수 대역에 있는 시간 저주파 공간 저주파 대역 서브밴드와 그 서브밴드신호에 인접하는 고주파 대역의 서브밴드인 시간 저주파 공간 고주파 대역 서브밴드와의 쌍방 혹은 어느 한 쪽과, 상기 시간 고주파 대역 서브밴드에 대응하는 움직임 보상 처리를 규정하는 움직임 정보를 참조하여, 합성 시간 고주파 서브밴드 신호를 생성하는 시간 고주파 서브밴드 합성 스텝과,
    상기 시간 저주파 공간 저주파 대역 서브밴드와 상기 시간 저주파 공간 고주파 대역 서브밴드를 합성하는 시간 저주파 서브밴드 공간합성 스텝과,
    상기 시간 저주파 대역 서브밴드와 상기 시간 고주파 대역 서브밴드에 움직임 보상 예측 처리를 행한 후, 시간방향 서브밴드 합성을 행하는 시간방향 합성 스텝,
    을 가지고,
    상기 시간 고주파 대역 서브밴드의 최저주파 대역에 있는 시간 고주파 공간 저주파 대역 신호에 대해서 상기 시간 고주파 서브밴드 합성 스텝이, 상기 시간 저주파 대역 서브밴드의 최저주파 대역에 있는 시간 저주파 공간 저주파 대역 서브밴드에 대해서 상기 시간 저주파 서브밴드 공간합성 스탭이 행해지며,
    상기 시간 고주파 서브밴드 합성스텝에 의해 얻어지는 밴드신호를 새로이 시간 고주파 공간 저주파 대역 신호, 상기 시간 저주파 서브밴드 공간합성 스텝에 의해 얻어지는 밴드신호를 새로이 시간 저주파 공간 저주파 대역 서브밴드로 간주하고, 상기 시간 고주파 서브밴드 공간합성 스텝과 상기 사간 저주파 서브밴드 공간 합성 스텝이 재귀적으로 반복되어, 상기 시간 저주파 대역 서브밴드 및 시간 고주파 대역 서브밴드가 얻어지는, 동화상 복호 방법
  18. 제17항에 있어서, 시간 고주파 서브밴드 합성 스텝은,
    상기 시간 고주파 공간 저주파 대역 신호와 동일 주파수 대역에 있는 시간 저주파 공간 저주파 대역 서브밴드와 움직임 정보를 사용하여 시간 고주파 공간 저주파 대역 서브밴드를 추정하는 시간 고주파 서브밴드 추정 스텝과,
    상기 시간 고주파 서브밴드 추정 스텝에 의해 얻어지는 추정 시간 고주파 공간 저주파 대역 서브밴드와 그 서브밴드 신호에 인접하는 고주파 대역 서브밴드인 시간 고주파 공간 고주파 대역 서브밴드를 서브밴드 합성하는 시간 고주파 서브밴드 공간합성 스텝,
    을 가지는 동화상 복호 방법.
  19. 제18항에 있어서, 시간 고주파 서브밴드 추정 스텝에 있어서, 시간 고주파 서브밴드에 대응하는 움직임 보상을 규정하는 움직임 정보를 사용하여, 상기 움직임 보상에 있어서 생성되는 예측 신호 중 저주파 대역 인트라 서브밴드에만 유래하는 신호의 저주파수 대역 서브밴드와 상기 움직임 보상에 있어서의 현 프레임 신호의 저주파 대역 서브밴드와의 시간방향 서브밴드 분할을, 시간 고주파 공간 저주파 대역 서브밴드의 추정치로 하는 동화상 복호 방법.
  20. 제18항에 있어서, 상기 시간 고주파 서브밴드 추정 스텝은,
    상기 시간 고주파 서브밴드에 대응하는 움직임 보상을 규정하는 움직임 정보를 사용하여, 상기 예측 오차 신호와 예측 오차 저주파 대역 신호와의 밴드 간 해상도비에 비례하여 상기 시간 고주파 대역 성분을 축소하는 스텝과,
    축소된 상기 시간 고주파 대역 성분에 대해서 움직임 보상 처리를 행한 후에, 시간방향 서브밴드 분할을 행하여, 얻어진 값을 상기 사간 고주파 공간 저주파 대역 서브밴드의 추정치로 하는 스텝,
    을 가지는 동화상 복호 방법.
  21. 제17항에 있어서, 상기 시간 고주파 서브밴드 합성 스텝은,
    상기 시간 저주파 공간 저주파 대역 서브밴드와 상기 시간 저주파 공간 고주 파 대역 서브밴드와 상기 움직임 정보를 사용하여 시간 고주파 공간 저주파 대역 서브밴드를 추정하는 시간 고주파 서브밴드 추정 스텝과,
    상기 시간 고주파 서브밴드 추정 스텝에 의해 얻어지는 추정 시간 고주파 공간 저주파 대역 서브밴드와 그 서브밴드 신호에 인접하는 고주파 대역 서브밴드인 시간 고주파 공간 고주파 대역 서브밴드를 서브밴드 합성하는 시간 고주파 서브밴드 공간 합성 스텝,
    을 가지는, 것으로 이루어지는 것을 특징으로 하는 동화상 복호 방법.
  22. 제17항 내지 제21항 중 어느 한 항에 있어서, 상기 시간 서브밴드 합성 스텝에 있어서, 동일 주파수 대역에 있는 2장의 밴드 신호에 대해서, 미래방향에 있는 상기 밴드신호와 과거방향에 있는 상기 밴드 신호의 어느 한 쪽이 상기 시간 고주파 대역 서브밴드 신호와 대응화되고, 상기 미래방향에 있는 밴드 신호와 상기 과거방향에 있는 밴드 신호 중 다른 쪽이 상기 시간 저주파 대역 서브밴드 신호와 대응화되어, 시간 서브밴드 합성이 행해지는 동화상 복호 방법.
  23. 제17항 내지 제21항 중 어느 한 항에 있어서, 상기 시간 서브밴드 합성 스텝은, 상기 움직임 보상 처리에 , 그 밴드 신호 이외의 밴드신호의 무게붙임 평균 처리를 포함하는 동화상 복호 방법.
  24. 제17항 내지 제21항 중 어느 한 항에 있어서, 상기 시간 서브밴드 합성 스텝 에 있어서, 밴드 신호의 하나 혹은 복수의 화소마다 시간 서브밴드 합성을 행하는 쌍이 되는 밴드신호가 절환 되는 동화상 복호 방법.
  25. 복호 화상 신호를 생성하는 동화상 복호 방법으로,
    서브밴드신호를 프레임 마다 공간방향으로 서브밴드 합성한 후, 상기 합성된 인트라 밴드 신호와 예측 오차 신호에 움직임 보상 처리를 행하는 3차원 서브밴드 합성 처리를 실행하는 스텝을 가지고,
    상기 3차원 서브밴드합성 처리가,
    상기 예측 오차 신호의 저주파 대역 신호인 예측 오차 저주파 대역 신호와, 그 저주파 대역 신호에 인접하는 고주파 대역 서브밴드인 고주파 대역 예측 오차 서브밴드에 더해서, 상기 예측 오차 저주파 대역 신호에 대해서 동일 주파수 대역에 있는 저주파 대역 인트라 서브밴드와 상기 저주파 대역 인트라 서브밴드에 인접하는 고주파 대역의 서브밴드인 고주파 대역 인트라 서브밴드와의 쌍방 혹은 어느 한 쪽과, 상기 예측 오차 신호에 대응하는 움직임 보상 처리를 규정하는 움직임 정보를 참조하여 합성 서브밴드 예측 오차 신호를 생성하는 예측 오차 신호 생성 스텝과,
    상기 저주파 대역 인트라 서브밴드와 상기 고주파 대역 인트라 서브밴드를 합성하는 인트라 밴드 신호 공간합성 스텝과,
    상기 인트라 밴드 신호에 움직임 보상 예측 처리를 행하여 상기 합성 예측 오차 신호를 더함으로써 상기 복호 화상 신호를 얻는 움직임 보상 복호 스텝,
    을 가지고,
    상기 예측 오차 신호의 최저주파 대역에 있는 예측 오차 저주파 대역 신호에 대해서 상기 예측 오차 신호 합성 스텝이 실행되고,
    상기 인트라 밴드 신호의 최저주파 대역에 있는 인트라 저주파 대역 서브밴드에 대해서 상기 인트라 밴드 신호 공간합성 스텝이 실행되고,
    상기 예측 오차 신호 합성 스텝에 의해 얻어지는 밴드신호를 새로이 예측 오차 저주파 대역 신호로 간주하고, 상기 인트라 밴드 신호 공간 합성 스텝에 의해 얻어지는 밴드신호를 새롭게 인트라 저주파 대역 서브밴드로 간주하며, 상기 예측 오차 신호 합성스텝과 상기 인트라 밴드 신호 공간 합성 스텝을 재귀적으로 반복함으로써, 상기 인트라 밴드 신호 및 상기 예측 오차 신호가 얻어지는, 동화상 복호 방법.
  26. 제25항에 있어서, 상기 예측 오차 신호 합성 스텝은,
    상기 예측 오차 저주파 대역 신호와 상기 저주파 대역 인트라 서브밴드와 상기 움직임 정보를 사용하여, 상기 예측 오차 신호의 저주파 대역 서브밴드인 저주파 대역 예측 오차 서브밴드를 추정하는 예측 오차 서브밴드 추정 스텝과,
    상기 예측 오차 서브밴드추정 스텝에 의해 얻어지는 추정 예측 오차 저주파 대역 서브밴드와 그 서브밴드 신호에 인접하는 고주파 대역 서브밴드인 고주파 대역 예측 오차 서브밴드를 서브밴드 합성하는 예측 오차 신호 공간합성 스텝,
    을 가지는 동화상 복호 방법.
  27. 제26항에 있어서, 상기 예측 오차 서브밴드 추정 스텝은, 상기 예측 오차 신호에 대응하는 움직임 보상을 규정하는 움직임 정보를 사용하여, 상기 움직임 보상에 있어서 생성되는 예측 신호 중 저주파 대역 인트라 서브밴드에만 유래하는 신호의 저주파 대역 서브밴드와, 상기 움직임 보상에 있어서의 현 프레임 신호의 저주파 대역 서브밴드와의 차이를 저주파 대역 예측 오차 서브밴드 추정치로 하는 스텝을 가지는 동화상 복호 방법.
  28. 제26항에 있어서, 상기 예측 오차 서브밴드 추정 스텝은, 상기 예측 오차 신호에 대응하는 움직임 보상을 규정하는 움직임 정보를 사용하여, 상기 예측 오차 신호와 상기 예측오차 저주파 대역 신호에 대해서의, 밴드 간 해상도비에 비례하여 축소한 뒤에 움직임 정보 처리를 행한 결과를, 상기 저주파 대역 예측 오차 서브밴드의 추정치로 하는 동화상 복호 방법.
  29. 제25항에 있어서, 상기 예측 오차 신호 합성 스텝은,
    상기 예측 오차 저주파 대역 신호와 상기 저주파 대역 인트라 서브밴드와 상기 고주파 대역 인트라 서브밴드와 상기 움직임 정보를 사용하여, 상기 예측 오차 신호의 저주파 대역의 서브밴드인 저주파 대역 예측 오차 서브밴드를 추정하는 예측 오차 서브밴드 추정 스텝과,
    상기 예측 오차 서브밴드추정 스텝에 의해 얻어지는 추정 예측 오차 저주파 대역 서브밴드와 그 서브밴드 신호에 인접하는 고주파 대역 서브밴드인 고주파 대역 예측 오차 서브밴드를 서브밴드 합성하는 예측 오차 신호 공간합성 스텝,
    을 가지는 동화상 복호 방법.
  30. 제25항 내지 제29항 중 어느 한 항에 있어서, 상기 움직임 보상 신호 스텝에 있어서, 동일 주파수 대역에 있는 2장의 밴드신호에 대해서, 과거방향 또는 미래방향 중 어느 한 쪽에 있는 밴드 신호가 참조신호가 되는 동화상 복호 방법.
  31. 제25항 내지 제29항 중 어느 한 항에 있어서, 상기 움직임 보상 복호 스텝에 있어서, 동일 주파수 대역에 있는 복수의 밴드신호에 있어서의 움직임 보상 처리는, 상기 복수의 참조신호의 무게붙임 평균을 이용하는 동화상 복호 방법.
  32. 제25항 내지 제29항 중 어느 한 항에 있어서, 움직임 보상 복호 스텝은, 동일 주파수 대역에 있는 밴드 신호의 움직임 보상 처리 시에 참조신호가 되는 밴드신호를 하나 또는 복수의 화소마다 절환 하는 스텝을 가지는 동화상 복호 방법.
  33. 계층 부호화를 행하는 동화상 부호화 장치로,
    입력 화상 신호에 대해서, 제1 시간방향 필터링을 행한 후에 공간방향으로 계층 분할하여 얻어지는 시간 필터링 하위 계층 신호를 부호화하는 시간 필터링 하위 계층 신호 부호화 수단과,
    상기 입력 화상 신호를 해상도 변환 필터에 의해 축소한 후에 축소 해상도상에서 제2 시간방향 필터링을 행하여 얻어지는 상위 계층 시간 필터링 신호를 부호화 하는 상위 계층 시간필터링 신호 부호화 수단,
    을 가지는 동화상 부호화 장치.
  34. 계층 부호화를 행하는 동화상 부호화 장치로,
    입력 화상 신호에 대해서, 제1 움직임 보상 처리를 행한 후에 공간방향으로 계층 분할하여 얻어지는 예측 오차 하위 계층 신호를 부호화하는 예측 오차 하위 계층 신호 부호화 수단과,
    상기 입력 화상 신호를 해상도변환 필터에 의해 축소한 후에 축소 해상도 상에서 제2 움직임 보상 처리를 행하여 얻어지는 상위 계층 예측 오차 신호를 부호화하는 상위 계층 예측 오차 신호 부호화 수단,
    을 가지는 동화상 부호화 장치.
  35. 계층 부호화를 행하는 동화상 부호화 장치로,
    입력 화상 신호에 대해서, 제1 시간방향 필터링을 행한 후에 공간방향으로 계층 분할하여 시간 필터링 하위 계층 신호를 생성하는 시간 필터링 하위 계층 신호 생성수단과,
    상기 입력 화상 신호를 해상도변환 필터에 의해 축소한 축소 입력 화상 신호에 대해서 축소해상도상에서 제2 시간방향 필터링을 행하여 상위 계층 시간필터링 신호를 생성하는 상위 계층 시간 필터링 신호 생성수단.
    을 가지고,
    상기 축소 입력 화상 신호에 대해서, 상기 시간 필터링 하위 계층 신호의 생성과, 상기 상위 계층 시간 필터링 신호의 생성이 재귀적으로 행해지고, 그 후, 각 계층 신호가 부호화되는, 동화상 부호화장치.
  36. 계층 부호화를 행하는 동화상 부호화 장치로,
    입력 화상 신호에 대해서, 제1 움직임 보상 예측을 행한 후에 공간방향으로 계층 분할하여 예측 오차 하위 계층 신호를 생성하는 예측 오차 하위 계층 신호 생성수단과,
    상기 입력 화상 신호를 해상도변환 필터에 의해 축소한 축소 입력 화상 신호에 대해서 축소해상도상에서 제2 움직임 보상 예측을 행하여 상위 계층 예측 오차 신호를 생성하는 상위 계층 오차 예측 신호 생성수단,
    을 가지고,
    상기 축소 입력 화상 신호에 대해서 상기 예측 오차 하위 계층 신호의 생성과 상기 상위 계층 예측 오차 신호의 생성이 재귀적으로 행해져서, 그 후에, 각 계층 신호가 부호화되는, 동화상 부호화장치.
  37. 입력 화상 신호를 시간방향으로 서브밴드 분할함과 함께 공간방향으로 서브밴드 분할하는 3차원 서브밴드 분할 처리를 복수회 행하는 동화상 부호화 장치로,
    상기 입력 화상 신호에 있어서의 프레임 간 및 상기 입력 화상 신호를 서브밴드 분할하여 얻어지는 저주파 대역 서브밴드 중의 하나의 밴드신호인 인트라 밴드 신호의 밴드 간에서, 이동을 나타내는 움직임 정보를 산출하는 움직임 정보 산출 수단과,
    상기 입력 화상 신호 및 상기 인트라 밴드 신호에 대해서, 상기 움직임 정보 산출 수단으로 얻어진 움직임 정보에 따라 움직임 보상을 한 후에, 시간방향으로 서브밴드 분할함으로써, 시간 저주파 대역 서브밴드 신호와 시간 고주파 대역 서브밴드 신호를 얻는 시간 서브밴드 분할 수단과,
    상기 시간 고주파 대역 서브밴드 신호를 공간방향으로 서브밴드 분할하여, 시간 고주파 공간 저주파 대역 서브밴드와 시간 고주파 공간 고주파 대역 서브밴드를 생성하는 시간 고주파 대역 서브밴드 신호공간 분할 수단과,
    상기 시간 저주파 대역 서브밴드 신호를 공간방향으로 서브밴드 분할하여, 시간 저주파 공간 저주파 대역 서브밴드와 시간 저주파 공간 고주파 대역 서브밴드를 생성하는 시간 저주파 대역 서브밴드 신호 공간 분할 수단과,
    상기 인트라 밴드 신호를 공간방향으로 서브밴드 분할하여, 저주파 대역 인트라 서브밴드와 고주파 대역 인트라 서브밴드를 생성하는 밴드 신호 공간 분할 수단,
    을 가지고,
    상기 입력 화상 신호가, 상기 시간 서브밴드 분할 수단과 상기 시간 고주파 대역 서브밴드 신호 공간 분할 수단과 상기 시간 저주파 대역 서브밴드 신호 공간 분할 수단과 상기 밴드 신호 공간 분할 수단에 의해 처리되고, 상기 밴드 신호 공간 분할 수단으로부터 얻어진 저주파 대역 인트라 서브밴드를 인트라 밴드신호로 하고, 상기 시간 서브밴드 분할수단과 상기 시간 고주파 대역 서브밴드 신호 공간 분할 수단과 상기 시간 저주파 대역 서브밴드 신호 공간 분할 수단과 상기 밴드 신호 공간 분할 수단에 의한 처리가 재귀적으로 반복되고, 그 때마다, 상기 시간 저주파 공간 저주파 대역 서브밴드와 상기 시간 고주파 공간 저주파 대역 서브밴드가, 각각, 직후에 상기 시간 서브밴드 분할수단에 의해 얻어지는 시간 저주파 대역 서브밴드 신호화 시간 고주파 대역 서브밴드 신호에 의해 치환되는, 동화상 부호화 장치.
  38. 입력 화상 신호에 움직임 보상 예측 처리를 행함과 동시에 공간방향으로 서브밴드 분할하는 3차원 서브밴드 분할처리를 복수회 행하는 동화상 부호화 장치로,
    상기 입력 화상 신호에 있어서의 프레임 간 및 상기 입력 화상 신호를 서브밴드 분할하여 얻어지는 저주파 대역 서브밴드 중의 하나의 밴드 신호인 인트라 밴드신호에 있어서의 밴드 간에서, 이동을 나타내는 움직임 정보를 산출하는 움직임 정보 산출 수단과,
    상기 입력 화상 신호 및 상기 인트라 밴드 신호에 대해서, 상기 움직임 정보 산출수단으로 얻어진 움직임 정보에 따라 움직임 보상 예측 처리를 행하여, 예측 오차 신호를 얻는 움직임 보상 예측수단과,
    상기 예측 오차 신호를 공간방향으로 서브밴드 분할하여, 저주파 대역 예측 오차 서브밴드와 고주파 대역 예측 오차 서브밴드를 생성하는 예측 오차 신호 공간 분할 수단과,
    상기 인트라 밴드 신호를 공간방향으로 서브밴드 분할하고, 저주파 대역 인트라 서브밴드와 고주파 대역 인트라 서브밴드를 생성하는 밴드 신호 공간 분할 수단,
    을 가지고,
    상기 입력 화상 신호가, 상기 움직임 정보 산출수단과 상기 움직임 보상 예측수단과 상기 예측 오차 신호 공간 분할 수단과 상기 밴드 신호 공간 분할 수단에 의해 처리되고, 상기 밴드 신호 공간 분할 수단으로부터 얻어진 저주파 대역 인트라 서브밴드를 인트라 밴드 신호로 하고, 상기 움직임 정보 산출수단과 상기 움직임 보상 예측수단과 상기 예측 오차 신호 공간 분할 수단과 상기 밴드 신호 공간 분할 수단에 의한 처리가 재귀적으로 반복되고, 그 때마다, 상기 예측 오차 신호 공간 분할 수단으로 얻어지는 저주파 대역 예측 오차 서브밴드가, 직후에 상기 움직임 보상 예측 부호화 수단에서 얻어지는 예측 오차 신호로 치환되는, 동화상 부호화장치.
  39. 계층화된 부호화 데이터를 복호하는 동화상 복호 장치로,
    제1 시간방향 필터링 후의 신호인 상위 계층 시간 필터링 신호와, 제2 시간방향 필터링으로 얻어지는 시간 필터링 신호를 공간방향으로 계층 분할한 시간 필터링 하위 계층 신호와, 상기 제2 시간방향 필터링을 규정하는 시간 필터링 정보를 복호하는 계층 부호 복호 수단과,
    상기 상위 계층 시간필터링 신호와 상기 시간 필터링 정보로부터 시간 필터랑 상위 계층 신호를 생성하는 시간 필터링 상위 계층 신호 생성수단과,
    상기 시간 필터링 상위 계층 신호와 상기 시간 필터링 하위 계층 싱호를 합성한 후에 상기 제2 시간방향 필터링의 역변환을 행하는 시간 필터링 신호 합성수단,
    을 가지는, 동화상 복호 장치.
  40. 계층화된 부호화 데이터를 복호하는 동화상 복호 장치로,
    제1 움직임 보상 처리 후의 신호인 상위 계층 예측 오차 신호와, 제2 움직임 보상 예측으로 얻어지는 예측 오차 신호를 공간방향으로 계층 분할한 예측 오차 하위 계층 신호와, 상기 제2 움직임 보상 예측을 규정하는 움직임 정보를 복호하는 계측 부호 복호 수단과,
    상기 상위 계층 예측오차 신호와 상기 움직임 정보로부터 예측 오차 상위 계층 신호를 생성하는 예측 오차 상위 계층 신호 생성수단과,
    상기 예측 오차 상위 계층신호와 상기 예측 오차 하위 계층 신호를 합성한 후에 상기 제2 움직임 보상에 근거하는 합성 처리를 행하는, 움직임 보상 합성 수단,
    을 가지는, 동화상 복호 장치.
  41. 계층화된 부호화 데이터를 프레임 단위로 계층 합성한 후에 시간방향 역필터링을 행함으로써 복호화상을 얻는 동화상 복호 장치로,
    제1 시간방향 필터링 후의 신호인 상위 계층 시간 필터링 신호와, 제2 시간방향 필터링으로 얻어지는 시간 필터링 신호를 공간방향으로 계층 분할한 시간 필터링 하위 계층 신호와, 상기 제2 시간방향 필터링을 규정하는 시간 필터링 정보를 복호하는 계층 부호 복호수단과,
    상기 상위 계층 시간필터링 신호와 상기 시간 필터링 정보로부터 시간 필터랑 상위 계층 신호를 생성하는 시간 필터링 상위 계층 신호 생성수단과,
    상기 시간 필터링 상위 계층 신호와 상기 시간 필터링 하위 계층 신호를 합성하여 합성시간 필터링 신호를 생성하는 시간 필터링 신호 합성수단,
    을 가지고,
    상기 합성 시간 필터링 신호를 상위 계층 시간 필터링 신호로 간주하여, 주목하는 계층의 하위 계층에 있어서의 시간 필터링 정보와 시간 필터링 하위 계층 신호를 복호하는 상기 계층 부호 복호수단에 의한 처리와, 상기 시간 필터링 상위 계층 신호 생성수단에 의한 처리와, 상기 시간 필터링 신호 합성수단 에 의한 처리가 재귀적으로 행하여져, 그 후, 시간방향 역필터링을 행함으로써 복호화상을 얻는, 동화상 복호 장치.
  42. 계층화된 부호화 데이터를 프레임 단위로 계층 합성한 후에 움직임 보상 합성 처리를 행함으로써 복호화상을 얻는 동화상 복호 장치로,
    제1 움직임 보상 예측 후의 신호인 상위 계층 예측 오차 신호와, 제2 움직임 보상 예측으로 얻어지는 예측 오차 신호를 공간방향으로 계층 분할한 예측 오차 하위 계층 신호와, 상기 제2 움직임 보상 예측을 규정하는 움직임 정보를 복호하는 계층 부호 복호수단과,
    상기 상위 계층 예측오차 신호와 상기 예측 오차 정보로부터 예측 오차 상위 계층 신호를 생성하는 예측 오차 상위 계층 신호 생성수단과,
    상기 예측 오차 상위 계층신호와 상기 예측 오차 하위 계층 신호를 합성하여 합성 예측 오차 신호를 생성하는 예측 오차 신호 합성수단,
    을 가지고,
    상기 합성 예측 오차 신호를 상위 계층 예측 오차 신호로 간주하여, 주목하는 계층의 하위 계층에 있어서의 예측 오차 정보와 예측 오차 하위 계층 신호를 복호하는 상기 계층 부호 복호수단에 의한 처리와, 상기 예측 오차 상위 계층신호 생성수단에 의한 처리와, 상기 예측 오차 신호 합성수단에 의한 처리가 재귀적으로 행하여져, 그 후, 움직임 보상 합성 처리를 행함으로써 복호화상을 얻는, 동화상 복호 장치.
  43. 서브밴드 신호를 프레임마다 공간방향으로 서브밴드 합성한 후, 시간 저주파 대역 서브밴드와 시간 고주파 대역 서브밴드에 시간방향 서브밴드 합성을 행하는3차원 서브밴드 합성 처리에 의해, 복호 화상 신호를 생성하는 동화상 복호 장치로,
    상기 시간 고주파 대역 서브밴드의 공간방향의 저주파 대역 신호인 시간 고 주파 공간 저주파 대역 신호와, 그 저주파 대역 신호에 인접하는 고주파 대역 서브밴드인 시간 고주파 공간 고주파 대역 서브밴드에 더해서, 상기 시간 고주파 공간 저주파 대역 신호에 대해서 동일 주파수 대역에 있는 시간 저주파 공간 저주파 대역 서브밴드와 그 서브밴드신호에 인접하는 고주파 대역 서브밴드인 시간 저주파 공간 고주파 대역 서브밴드와의 쌍방 혹은 어느 한 쪽과, 상기 시간 고주파 대역 서브밴드에 대응하는 움직임 보상 처리를 규정하는 움직임 정보를 참조하여, 합성 시간 고주파 서브밴드 신호를 생성하는 시간 고주파 서브밴드 합성수단과,
    상기 시간 저주파 공간 저주파 대역 서브밴드와 상기 시간 저주파 공간 고주파 대역 서브밴드를 합성하는 시간 저주파 서브밴드 공간합성 수단과,
    상기 시간 저주파 대역 서브밴드와 시간 고주파 대역 서브밴드에 움직임 보상 예측 처리를 행한 후, 시간방향 서브밴드 합성을 행하는 시간방향 합성수단,
    을 가지고,
    상기 시간 고주파 대역 서브밴드의 최저주파 대역에 있는 시간 고주파 공간 저주파 대역 신호를 상기 시간 고주파 서브밴드 합성 수단에 의해 처리하고,
    상기 시간 저주파 대역 서브밴드의 최저주파 대역에 있는 시간 저주파 공간 저주파 대역 서브밴드를 시간 저주파 서브밴드 공간합성 수단에 의해 처리하고,
    상기 시간 고주파 서브밴드 합성수단에 의해 얻어지는 밴드 신호를 새로이 시간 고주파 공간 저주파 대역 신호로 간주하고, 상기 시간 저주파 서브밴드 공간 합성수단에 의해 얻어지는 밴드 신호를 새로이 시간 저주파 공간 저주파 대역 서브밴드로 간주하여, 상기 시간 고주파 서브밴드 공간합성 수단과 상기 시간 저주파 서브밴드 공간합성 수단에 의한 처리를 재귀적으로 반복함으로써, 상기 시간 저주파 대역 서브밴드 및 시간 고주파 대역 서브밴드를 얻는, 동화상 복호 장치.
  44. 서브밴드 신호를 프레임마다 공간방향으로 서브밴드 합성한 후, 상기 합성된 인트라 밴드 신호를 예측 오차 신호에 움직임 보상 처리를 하는 3차원 서브밴드 합성 처리에 의해, 복호 화상 신호를 생성하는 동화상 복호 장치로,
    상기 예측 오차 신호의 저주파 대역 신호인 예측 오차 저주파 대역 신호와, 그 저주파 대역 신호에 인접하는 고주파 대역 서브밴드인 고주파 대역 예측 오차 서브밴드에 더해서, 상기 예측 오차 저주파 대역 신호에 대해서 동일 주파수 대역에 있는 저주파 대역 인트라 서브밴드와 상기 저주파 대역 인트라 서브밴드에 인접하는 고주파 대역의 서브밴드인 고주파 대역 인트라 서브밴드의 쌍방 혹은 어느 한 쪽과, 상기 예측 오차 신호에 대응하는 움직임 보상 처리를 규정하는 움직임 정보를 참조하여 합성 서브밴드 예측 오차 신호를 생성하는 예측 오차 신호 합성수단과,
    상기 저주파 대역 인트라 서브밴드와 상기 고주파 대역 인트라 서브밴드를 합성하는 인트라 밴드 신호 공간합성 수단과,
    상기 인트라 밴드 신호에 움직임 보상 예측 처리를 행하는 상기 합성 예측 오차 신호를 더함으로써 상기 복호 화상 신호를 얻는 움직임 보상 복호수단,
    을 가지고,
    상기 예측 오차 신호의 최저주파 대역에 있는 예측 오차 저주파 대역 신호가 상기 예측 오차 신호 합성수단에 의해 처리되고,
    상기 인트라 밴드신호의 최저주파 대역에 있는 인트라저주파 대역 서브밴드가 상기 인트라 밴드 신호 공간합성 수단에 의해 처리되고,
    상기 예측 오차 신호 합성수단에 의해 얻어지는 밴드 신호를 새로이 예측 오차 저주파 대역 신호로 간주하고, 상기 인트라 밴드 신호 공간합성 수단에 의해 얻어지는 밴드 신호를 새로이 인트라 저주파 대역 서브밴드로 간주하여, 예측 오차 신호 합성수단과 인트라 밴드 신호 공간합성 수단에 의한 처리를 재귀적으로 반복함으로써, 상기 인트라 밴드 신호 및 상기 예측 오차 신호를 얻는, 동화상 복호 장치.
  45. 컴퓨터에, 동화상 계층 부호화를 행하게 하는 프로그램으로,
    상기 컴퓨터에,
    입력 화상 신호에 대해서 제1 처리를 행한 후에 공간방향으로 계층 분할하여 제1 신호를 얻는 처리와,
    상기 입력 화상 신호를 해상도변환 필터에 의해 축소한 후에 축소해상도상에서 제2 처리를 행하여 제2 신호를 얻는 처리와,
    상기 제1 신호와 제2 신호를 부호화하는 처리를 실행시키는 프로그램.
  46. 컴퓨터에, 동화상 계층 부호화를 행하게 하는 프로그램으로,
    상기 컴퓨터에,
    입력 화상 신호를, 상기 입력 화상 신호에 대해서 제1 처리를 행한 후에 공간방향으로 계층 분할하여 얻어지는 제1 신호와, 상기 입력 화상 신호를 해상도변환 필터에 의해 축소한 축소 입력 화상 신호에 대해서 축소해상도상에서 제2 처리를 행하여 얻어지는 제2 신호로 분할하는 시공간 계층 분할 처리를 행하는 처리와,
    상기 축소 입력 화상 신호에 대해서 상기 시공간 계층 분할을 재귀적으로 행한 후에, 각 계층의 신호를 부호화하는 처리를 실행시키는 프로그램.
  47. 컴퓨터에, 계층화된 부호화 동화상 데이터를 복호시키는 프로그램으로,
    상기 컴퓨터에,
    제1 처리 후의 신호인 제1 신호와, 제2 처리로 얻어지는 제2 신호를 공간방향으로 계층 분할한 제 3신호와, 상기 제2 처리를 규정하는 처리정보를 복호하는 처리와,
    상기 제1 신호와 상기 처리정보로부터 제4 신호를 생성하는 처리와,
    상기 제3 신호와 상기 제4 신호를 합성한 후에 상기 제2 처리의 역변환을 행하여 복호화상을 얻는 처리를 실행시키는 프로그램.
  48. 컴퓨터에, 계층화된 부호화 동화상 데이터를 복호시키는 프로그램으로,
    상기 컴퓨터에,
    제1 시간방향 필터링 후의 신호인 상위 계층 시간 필터링 신호와, 제2 시간방향 필터링으로 얻어지는 시간 필터링 신호를 공간방향으로 계층 분할한 시간 필 터링 하위 계층 신호와, 상기 제2 시간방향 필터링을 규정하는 시간 필터링 정보를 복호하는 처리와,
    상기 상위 계층 시간필터링 신호와 상기 시간 필터링 정보로부터 시간 필터링 상위 계층 신호를 생성하는 처리와,
    상기 시간 필터링 상위 계층 신호와 상기 시간 필터링 하위 계층 신호를 합성하여 합성 시간 필터링 신호를 생성하는 시간필터링 신호 합성처리를 행하는 처리와,
    상기 합성 시간 필터링 신호를 상위 계층 시간 필터링 신호로 간주하여 주목하는 계층의 하위 계층에 있어서의 시간 필터링 정보와 시간 필터링 하위 계층 신호를 복호하여 재귀적으로 시간 필터링 합성처리를 행한 후, 시간방향 역필터링을 행함으로써 복호화상을 얻는 처리를 실행시키는 프로그램.
  49. 컴퓨터에, 계층화된 부호화 동화상 데이터를 복호시키는 프로그램으로,
    상기 컴퓨터에,
    제1 움직임 보상 예측 후의 신호인 상위 계층 예측 오차 신호와, 제2 움직임 보상 예측으로 얻어지는 예측 오차 신호를 1단계 공간방향으로 계층 분할한 예측 오차 하위 계층 신호와, 상기 제2 움직임 보상 예측을 규정하는 움직임 정보를 복호하는 처리와,
    상기 상위 계층 예측오차 신호와 상기 움직임 정보로부터 예측 오차 상위 계층 신호를 생성하는 처리와,
    상기 예측 오차 상위 계층 신호와 상기 예측 오차 하위 계층 신호를 합성하여 합성 예측 오차 신호를 생성하는 예측 오차 신호 합성처리를 행하는 처리와,
    상기 합성 예측 오차 신호를 상위 계층 예측 오차 신호로 간주하여 주목하는 계층의 하위 계층에 있어서의 움직임 정보와 예측 오차 하위 계층 신호를 복호하여 재귀적으로 예측 오차 합성처리를 행한 후, 움직임 보상 합성처리를 행함으로써 복호화상을 얻는 처리를 실행시키는 프로그램.
    Figure 112006047915196-PCT00001
KR1020067013419A 2003-12-04 2004-12-06 동화상의 부호화 방법 및 장치, 그리고 동화상의 복호 방법및 장치 KR100901178B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003406334 2003-12-04
JPJP-P-2003-00406334 2003-12-04

Publications (2)

Publication Number Publication Date
KR20060131796A true KR20060131796A (ko) 2006-12-20
KR100901178B1 KR100901178B1 (ko) 2009-06-04

Family

ID=34650251

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067013419A KR100901178B1 (ko) 2003-12-04 2004-12-06 동화상의 부호화 방법 및 장치, 그리고 동화상의 복호 방법및 장치

Country Status (7)

Country Link
US (1) US20070133680A1 (ko)
EP (1) EP1705924A4 (ko)
JP (1) JPWO2005055613A1 (ko)
KR (1) KR100901178B1 (ko)
CN (1) CN1914926A (ko)
TW (1) TWI255146B (ko)
WO (1) WO2005055613A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8804832B2 (en) 2007-06-18 2014-08-12 Sony Corporation Image processing apparatus, image processing method, and program
WO2018030658A1 (ko) * 2016-08-11 2018-02-15 이노뎁 주식회사 재구조화 영상 처리를 통한 cctv 저장영상의 이동객체 검출 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2855356A1 (fr) * 2003-05-23 2004-11-26 Thomson Licensing Sa Procede de codage et/ou de decodage de groupe d'images
CN1849828A (zh) 2003-07-09 2006-10-18 日本电气株式会社 运动图像编码方法、运动图像解码方法、运动图像编码装置、运动图像解码装置和计算机程序
US8233541B2 (en) * 2008-03-26 2012-07-31 Sony Corporation Recursive image quality enhancement on super resolution video
JP5369893B2 (ja) * 2008-05-30 2013-12-18 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム
TWI463878B (zh) * 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
TWI468020B (zh) * 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
TWI455587B (zh) * 2009-04-10 2014-10-01 Asustek Comp Inc 具有多格式影像編解碼功能的資料處理電路及處理方法
BR122015001002B1 (pt) * 2011-06-30 2022-07-26 Sony Corporation Dispositivo e método de processamento de imagem
WO2013049412A2 (en) 2011-09-29 2013-04-04 Dolby Laboratories Licensing Corporation Reduced complexity motion compensated temporal processing
WO2013173292A1 (en) * 2012-05-14 2013-11-21 Motorola Mobility Llc Scalable video coding with enhanced base layer
HK1205426A2 (en) * 2015-09-24 2015-12-11 Tfi Digital Media Ltd Method for distributed video transcoding
JP7184488B2 (ja) * 2017-04-21 2022-12-06 株式会社半導体エネルギー研究所 画像処理方法および受像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04322593A (ja) * 1991-04-22 1992-11-12 Victor Co Of Japan Ltd 画像符号化装置及びその復号化装置
JP3576660B2 (ja) * 1995-09-29 2004-10-13 株式会社東芝 画像符号化装置および画像復号化装置
EP1114555A1 (en) * 1999-07-20 2001-07-11 Koninklijke Philips Electronics N.V. Encoding method for the compression of a video sequence
CN1237817C (zh) * 2000-05-03 2006-01-18 皇家菲利浦电子有限公司 视频序列压缩的编码方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8804832B2 (en) 2007-06-18 2014-08-12 Sony Corporation Image processing apparatus, image processing method, and program
WO2018030658A1 (ko) * 2016-08-11 2018-02-15 이노뎁 주식회사 재구조화 영상 처리를 통한 cctv 저장영상의 이동객체 검출 방법

Also Published As

Publication number Publication date
TW200524435A (en) 2005-07-16
EP1705924A4 (en) 2010-09-15
US20070133680A1 (en) 2007-06-14
CN1914926A (zh) 2007-02-14
KR100901178B1 (ko) 2009-06-04
JPWO2005055613A1 (ja) 2008-04-17
WO2005055613A1 (ja) 2005-06-16
TWI255146B (en) 2006-05-11
EP1705924A1 (en) 2006-09-27

Similar Documents

Publication Publication Date Title
JP5014989B2 (ja) 基礎階層を利用するフレーム圧縮方法、ビデオコーディング方法、フレーム復元方法、ビデオデコーディング方法、ビデオエンコーダ、ビデオデコーダ、および記録媒体
KR100703788B1 (ko) 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
JP4844741B2 (ja) 動画像符号化装置及び動画像復号装置と、その方法及びプログラム
JP2006503518A (ja) 高度にスケーラブルな３次元オーバコンプリート・ウェーブレット・ビデオ符号化
JP4486560B2 (ja) スケーラブル符号化方法および装置，スケーラブル復号方法および装置，並びにそれらのプログラムおよびその記録媒体
KR101225160B1 (ko) 비디오 이미지 시퀀스를 상이한 공간 해상도의 주파수부대역 계수들로 인코딩하는 방법 및 장치
EP1835749A1 (en) Method for coding video data of a sequence of pictures
JP2003504987A (ja) ビデオシーケンスを圧縮する符号化方法
KR100901178B1 (ko) 동화상의 부호화 방법 및 장치, 그리고 동화상의 복호 방법및 장치
US8855198B2 (en) Moving picture encoding method, moving picture decoding method, moving picture encoding device, moving picture decoding device, and computer program
US20130114702A1 (en) Method and apparatus for encoding and decoding video signal
JP2004523994A (ja) 一連のフレームを符号化する方法
KR20000059799A (ko) 웨이브릿 부호화를 이용한 움직임 보상 부호화 장치 및 방법
KR100561587B1 (ko) 3차원 웨이브렛 변환 방법 및 장치
Ye et al. Fully scalable 3D overcomplete wavelet video coding using adaptive motion-compensated temporal filtering
JP2006523396A (ja) 動きベクトルの成分に関連する部分を考慮に入れるビデオ画像の符号化のための方法
JP4690371B2 (ja) スケーラブル画像符号化方法，復号方法，符号化装置，復号装置およびそれらのプログラムとその記録媒体
KR100897640B1 (ko) 동화상 부호화 장치 및 동화상 복호 장치와, 그 방법 및 프로그램이 기록된 컴퓨터 판독가능한 기록 매체
JP3115089B2 (ja) 符号化装置及び符号化方法
Li et al. Wavelet transform approach to video compression
JP4385928B2 (ja) スケーラブル動画像符号化・復号化方法及びシステム
JP2000295622A (ja) 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置及びそれらのプログラムを記憶した記憶媒体
JP4153774B2 (ja) 動画像符号化方法とその復号化方法、およびそれらの装置
Apparao et al. An Efficient Approach for Image Coding Using Wavelet Based Weighted Adaptive Lifting

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120507

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130503

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee