KR100901178B1

KR100901178B1 - 동화상의 부호화 방법 및 장치, 그리고 동화상의 복호 방법및 장치

Info

Publication number: KR100901178B1
Application number: KR1020067013419A
Authority: KR
Inventors: 다카히로 기모토
Original assignee: 닛본 덴끼 가부시끼가이샤
Priority date: 2003-12-04
Filing date: 2004-12-06
Publication date: 2009-06-04
Also published as: WO2005055613A1; EP1705924A1; US20070133680A1; CN1914926A; JPWO2005055613A1; KR20060131796A; TW200524435A; TWI255146B; EP1705924A4

Abstract

계층부호화를 행하는 동화상부호화방법은 입력화상신호에 대해서 제1처리를 행한 후에 공간방향으로 계층분할하여 제1신호를 얻는 스텝과, 입력화상신호를 해상도변환필터에 의해 축소한 후에 축소해상도 상에서 제2처리를 행하여 제2신호를 얻는 스텝과, 제1신호와 상기 제2신호를 부호화하는 스텝을 가진다. 제1 및 제2처리는, 예를 들어, 제1 및 제2시간방향 필터링이며, 제1 및 제2신호는, 각각, 시간 필터링하위계층신호 및 상위계층시간필터링신호이다.

부호화 효율, 부호화 스트림, 계층구조, 동화상데이터, 보상 불일치

Description

동화상의 부호화 방법 및 장치, 그리고 동화상의 복호 방법 및 장치{Moving picture encoding method and device, and moving picture decoding method and device}

본 발명은 동화상을 부호화하는 방법 및 장치와, 부호화된 동화상을 복호하는 방법 및 장치에 관한 것이다.

동화상을 부호화하는 방법으로 각종의 것들이 알려져 있지만, 이들 방법 중에서 서브밴드부호화는 화상신호를 주파수분할하고 각각의 주파수대역의 신호, 즉, 서브밴드신호에 대해서 부호화처리를 행하는 방법이다. 서브밴드부호화는 이산코사인변환 등의 블록베이스직교변환과 달리, 원리상, 블록비틀림이 발생하지 않으며, 저역 성분을 재귀적으로 분할함으로써 용이하게 계층부호화를 실현할 수 있다는 특징을 가진다. 정지화상의 분야에 있어서, 국제 표준 부호화 방법인 JPEG 2000에는, 웨이브릿변환을 사용한 서브밴드부호화가 채용되고 있다.

그런데, 동화상부호화에 서브밴드부호화를 적용하는 경우, 신호의 공간방향의 상관뿐만 아니라 시간방향의 상관도 고려할 필요가 있다. 그래서, 서브밴드동화 부호화에는, 주로, 원화상에 대해 공간영역에서 움직임보상을 행해 시간방향의 상관을 제거한 후에 각 프레임에 서브밴드부호화를 행하는 방법(예를 들어, J.R. Ohm, "Three-dimensional subbandcoding with motion compensation," IEEE Trans. Image Processing, vol. 3, pp. 559-571, Sept. 1999를 참조)과, 원화상을 서브밴드분할한 후, 서브밴드영역마다 움직임보상을 행해서 시간방향의 상관을 제거하는 방법의 두 종류가 제안되고 있다.

도 1은 상술한 공간영역에서 움직임보상을 행하는 종래의 부호화 처리를 설명하는 플로차트이다. 도 1을 사용하여, 연속되는 프레임의 집합 A⁽⁰⁾[i](0≤i<n, n은 2의 거듭제곱)에서의 부호화처리에 대해서 설명하기로 한다.

스텝 201, 202에 있어서, j=0, i=0, 2, …, n-2로 하고, 스텝 203~205에 있어서, 연속되는 2장의 프레임 A⁽⁰⁾[i]와 A⁽⁰⁾[i＋1]를 시간방향으로 서브밴드분할하고, 저주파 대역의 A⁽¹⁾[i]와 고주파대역의 E[i＋1]을 얻는다. 다음으로, 스텝 206에 있어서, j에 1을 가산하고, 연속되는 저주파대역의 신호 A⁽¹⁾[i<<1] 과 A⁽¹⁾[(i＋1)<<1]을 시간방향으로 서브밴드분할하고, 저주파대역의 A⁽²⁾[i<<1]과 고주파대역의 E[(i＋1)<<1]을 얻는다. 이 처리를, 스텝 207에 나타낸 바와 같이, 제1프레임 이외의 프레임이 고주파대역의 신호로 부호화되기까지, 즉 (1<<j)가 n이 되기까지 반복한다. 이후, 스텝 208에 있어서, A^(j)[0], E[i](0<j<n)을 각각 공간방향으로 서브밴드분할하여 부호화하고 있다.

여기서, 2장의 프레임 사이에서의 시간방향서브밴드분할에 있어서, 고주파대역의 신호는 움직임보상예측의 오차신호에 상당하고, 저주파대역의 신호는 움직임보상한 2프레임의 평균신호로 된다. 복호처리시에는 이 처리의 흐름이 역으로 되는 형상으로, 프레임마다 서브밴드신호를 공간방향으로 합성한 후에, 프레임참조관계에 따라 시간방향으로 서브밴드합성을 행한다. 3차원웨이브릿부호화에 있어서, 고주파수성분의 서브밴드를 사용하지 않고 부분적으로 서브밴드합성을 하여 얻어진 각 프레임의 신호를 시간방향으로 서브밴드합성함으로써, 축소해상도상에서의 복호화상을 얻을 수 있다. 이 때, 움직임보상에서의 프레임 간의 화소의 대응관계는 유지되어야 하기 때문에, 오리지널해상도에서 얻어진 움직임보상을 스케일만큼 축소하여 그대로 사용한다.

스케일러블 부호화에서는 오리지널스트림으로부터 고주파수성분의 서브밴드에 상당하는 부호를 제거하여 비트레이트가 낮은 스트림을 생성할 수 있다. 새롭게 만들어진 스트림을 복호하면 입력신호를 축소한 화상이 재구성된다. 종래의 기술에서는 오리지널해상도에서 얻어진 움직임정보를 축소해상도 상에서의 복호에 사용한다. 그 때문에, 움직임정보에 소요되는 부호량이 상대적으로 증대하고, 부호화효율이 저하된다. 특히, 낮은 비트레이트에서는 대부분의 부호량이 움직임정보에 할당되기 때문에, 스케일러빌리티를 적용하지 않는 경우에 비해 크게 화질이 저하된다.

반대로, 낮은 비트레이트에 최적이 되도록 축소해상도상에서 구한 움직임정보에서는 오리지널해상도에서의 부호화효율이 저하된다. 또한, 계수정보를 그대로 통합하는 등의 방법에 의해 움직임정보에 소요되는 부호량을 저감한 경우, 움직임보상의 불일치에 의해 화질이 크게 저하된다.

그래서, 본 발명의 목적은 계층구조를 가지는 부호화스트림에 있어서, 계층구조를 유지하면서 종래 기술에 비해 높은 부호화효율을 실현할 수 있는 동화상 부호화 기술을 제공하는 것에 있다.

또한, 본 발명의 다른 목적은 움직임보상의 불일치에 의한 화질저하를 억제할 수 있는 동화상 부호화 기술을 제공하는 것에 있다.

본 발명의 또 다른 목적은 그렇게 하여 부호화된 동화상데이터를 복호하는 기술을 제공하는 것에 있다.

본 발명의 제1양상에 의하면, 동화상부호화방법은 계층부호화를 행하는 동화상부호화방법으로, 입력화상신호에 대하여 제1처리를 행한 후에 공간방향으로 계층분할하여 제1신호를 얻는 스텝과, 입력화상신호를 해상도변환필터에 의해 축소한 후에 축소해상도상에서 제2처리를 행하여 제2신호를 얻는 스텝과, 제1신호와 제2신호를 부호화하는 스텝을 가진다.

본 발명의 제2양상에 의하면, 동화상부호화방법은 입력화상신호를 입력화상신호에 대하여 제1처리를 행한 후에 공간방향으로 계층분할하여 얻어지는 제1신호와, 입력화상신호를 해상도변환필터에 의해 축소한 축소입력화상신호에 대하여 축소해상도상에서 제2처리를 행하여 얻어지는 제2신호로 분할하는 시공간계층분할처리를 행하는 스텝과, 축소입력화상신호에 대하여 시공간계층분할을 재귀적으로 행한 후에 각 계층의 신호를 부호화하는 스텝을 가진다.

이들 발명에 있어서, 예를 들어, 제1 및 제2 처리는 각각 제1 및 제2시간방향필터링이고, 제1신호는 시간필터링하위계층신호이고, 제2신호는 상위계층시간필터링신호이다. 또는, 제1처리는 제1움직임보상처리이고, 제2처리는 제2움직임보상 처리이고, 제1신호는 예측오차하위계층신호이고, 제2신호는 상위계층예측오차신호이다.

본 발명의 제3양상에 의하면, 동화상부호화방법은 입력화상신호를 시간방향으로 서브밴드분할함과 동시에 공간방향으로 서브밴드분할하는 3차원서브밴드분할처리를 복수회 실행하는 스텝을 가지고, 3차원서브밴드분할처리는 입력화상신호에 있어서의 프레임 간 및 입력화상신호를 서브밴드분할하여 얻어지는 저주파대역서브밴드 중 하나의 밴드신호인 인트라밴드신호의 밴드 사이에서 이동을 나타내는 움직임정보를 산출하는 움직임정보산출스텝과, 입력화상신호 및 인트라밴드신호에 있어서 움직임정보산출스텝에서 얻어진 움직임정보에 따라 움직임보상을 한 후에 시간방향으로 서브밴드분할함으로써 시간저주파대역서브밴드신호와 시간고주파대역서브밴드신호를 얻는 시간서브밴드분할스텝과, 시간고주파대역서브밴드신호를 공간방향으로 서브밴드분할하고, 시간고주파공간저주파대역서브밴드신호와 시간고주파공간고주파대역서브밴드를 생성하는 시간고주파대역서브밴드신호공간분할스텝과, 시간저주파대역서브밴드신호를 공간방향으로 서브밴드분할하고, 시간저주파공간저주파대역서브밴드와 시간저주파공간고주파대역서브밴드를 생성하는 시간저주파대역서브밴드신호공간분할스텝과, 인트라밴드신호를 공간방향으로 서브밴드분할하여 저주파대역인트라서브밴드와 고주파대역인트라서브밴드를 생성하는 밴드신호공간분할 스텝을 가지고, 입력화상신호에 대하여 시간서브밴드분할스텝과 시간고주파대역서브밴드신호공간분할스텝과, 시간저주파대역서브밴드신호공간분할스텝과 밴드신호공간분할스텝이 실행되어, 밴드신호공간분할스텝 후에 얻어진 저주파대역인트라서브밴드를 인트라밴드신호로 하고, 시간서브밴드분할스텝과 시간고주파대역서브밴드신호공간분할스텝과 시간저주파대역서브밴드신호공간분할스텝과 밴드신호공간분할스텝이 재귀적으로 반복되어, 그 때마다, 시간저주파공간저주파대역서브밴드와 시간고주파공간저주파대역서브밴드가, 각각, 직후의 시간서브밴드분할스텝에서 얻어지는 시간저주파대역서브밴드신호와 시간고주파대역서브밴드신호로 치환된다.

본 발명의 다른 양상에 의하면, 동화상복호방법은 계층화된 부호화데이터를 복호하는 동화상복호방법으로, 제1처리 후의 신호인 제1신호와, 제2처리에서 얻어지는 제2신호를 공간방향으로 계층분할한 제3신호와, 제2처리를 규정하는 처리정보를 복호하는 스텝과, 제1신호와 처리정보로부터 제4신호를 생성하는 스텝과, 제3 신호와 제4신호를 합성한 후에 제2처리의 역변환을 행하여 복호화상을 얻는 스텝을 가진다.

이 복호방법에 있어서, 예를 들어, 제1 및 제2 처리는 각각 제1 및 제2시간방향필터링이고, 제1신호는 상위계층시간 필터링신호이고, 제2신호는 시간방향필터링신호이고, 제3호는 시간필터링하위계층신호이고, 제4신호는 시간필터링상위계층신호이고, 처리정보가 시간필터링정보이다. 또는, 제1 및 제2처리는 각각 제1 및 제2움직임보상처리이고, 제1신호는 상위계층예측오차신호이고, 제2신호는 예측오차신호이고, 제3신호는 예측오차하위계층신호이고, 제4신호는 예측오차상위계층신호이고, 처리정보는 움직임정보이다.

본 발명의 다른 양상에 의하면, 계층화된 부호화데이터를 프레임단위로 계층 합성한 후에 시간방향 역필터링을 행함으로써 복호화상을 얻는 동화상복호방법은, 제1시간방향 필터링 후의 신호인 상위계층시간필터링신호와, 제2시간방향필터링으로 얻어지는 시간필터링신호를 공간방향으로 계층분할한 시간필터링하위계층신호와, 제2시간방향필터링을 규정하는 시간필터링정보를 복호하는 스텝과, 상위계층시간필터링신호와 시간필터링정보로부터 시간필터링상위계층신호를 생성하는 스텝과, 시간필터링상위계층신호와 시간필터링하위계층신호를 합성하여 합성시간필터링신호를 생성하는 시간필터링신호합성처리를 행하는 스텝과, 합성시간필터링신호를 상위계층시간필터링신호로 간주하고 주목하는 계층의 하위계층에 있어서의 시간필터링 정보와 시간필터링하위계층신호를 복호하여 재귀적으로 시간필터링합성처리를 행한 후, 시간방향 역필터링을 행함으로써 복호화상을 얻는 스텝을 가진다.

또한, 본 발명의 다른 양상에 의하면, 동화상복호방법은 서브밴드신호를 프레임마다 공간방향으로 서브밴드합성한 후, 시간저주파대역서브밴드와 시간고주파대역서브밴드에 시간방향서브밴드합성을 행하는 3차원서브밴드합성처리에 의해 복호화상신호를 생성하는 스텝을 가지고, 3차원서브밴드합성처리는 시간고주파대역서브밴드의 공간방향의 저주파대역의 신호인 시간고주파공간저주파대역신호와, 그 저주파대역신호에 인접하는 고주파대역의 서브밴드인 시간고주파공간고주파대역서브밴드에 더해서, 시간고주파공간저주파대역신호에 대하여 동일주파수대역에 있는 시간저주파공간저주파대역서브밴드와 그 서브밴드신호에 인접하는 고주파대역의 서브밴드인 시간저주파공간고주파대역서브밴드의 쌍방 혹은 어느 한 쪽과, 시간고주파대역서브밴드에 대응하는 움직임보상처리를 규정하는 움직임정보를 참조하여, 합성시간고주파서브밴드신호를 생성하는 시간고주파서브밴드합성스텝과, 시간저주파공간저주파대역서브밴드와 시간저주파공간고주파대역서브밴드를 합성하는 시간저주파서브밴드공간합성스텝과, 시간저주파대역서브밴드와 시간고주파대역서브밴드에 움직임보상예측처리를 행한 후, 시간방향서브밴드합성을 행하는 시간방향합성스텝을 가지고, 시간고주파대역서브밴드의 최저주파 대역에 있는 시간고주파공간저주파대역신호에 대하여 시간고주파서브밴드합성스텝이 시간저주파대역서브밴드의 최저주파대역에 있는 시간저주파공간저주파대역서브밴드에 대하여 시간저주파서브밴드공간합성스텝이 행하여져, 시간고주파서브밴드합성스텝에 의해 얻어지는 밴드신호를 새롭게 시간고주파공간저주파대역신호, 시간저주파서브밴드공간합성스텝에 의해 얻어지는 밴드신호를 새롭게 시간저주파공간저주파대역서브밴드로 간주하고, 시간고주파서브밴드공간합성스텝과 시간저주파서브밴드공간합성스텝이 재귀적으로 반복되어, 시간저주파대역서브밴드 및 시간고주파대역서브밴드가 얻어진다.

본 발명에서는 계층구조를 가진 부호화스트림에 있어서, 각 계층에서 다른 움직임정보에 근거해서 움직임보상을 행한다. 본 발명에 의하면, 계수정보 중 고주파성분을 빼고 저레이트의 부호화데이터를 재구성할 때에는, 높은 해상도에서의 움직임보상에 상당하는 움직임정보를 삭감함으로써, 계층구조를 유지하면서 종래 기술에 비해 높은 부호화 효율을 실현할 수 있다. 또한, 높은 해상도에서의 움직임정보를 토대로 저주파성분을 보정함으로써, 움직임보상의 불일치에 의한 화질저하를 크게 억제할 수 있다.

도 1은 공간영역에서 움직임보상을 행하는 종래의 부호화방법의 처리의 흐름을 나타내는 플로차트이다.

도 2는 본 발명의 일 실시형태의 동화상부호화장치의 구성을 성명하는 도면이다.

도 3은 본 발명의 일 실시형태에 근거하는 동화상부호화방법의 처리의 흐름을 나타내는 플로차트이다.

도 4는 도 3에 있어서의 2장의 프레임의 시간공간서브밴드분할처리의 흐름을 나타내는 플로차트이다.

도 5는 본 발명의 일 실시형태의 동화상부호장치의 구성을 설명하는 도면이다.

도 6은 본 발명의 일 실시형태에 근거하는 동화상복호방법의 처리의 흐름을 나타내는 플로차트이다.

도 7은 도 6에 있어서의 2장의 프레임의 시간공간서브밴드합성처리의 흐름을 나타내는 플로차트이다.

도 8은 동화상부호화장치 및 동화상부호장치의 구성을 하기 위한 컴퓨터시스템을 나타내는 개략도이다.

본 발명에서는 계층부호화를 할 때에, 예를 들어, 제1시간방향필터링을 행한 후에 공간방향으로 계층분할해서 얻어지는 시간필터링하위계층신호와, 입력화상신호를 해상도변환필터에 의해 축소한 후에 축소해상도상에서 제2시간방향필터링을 행해서 얻어진 상위계층시간필터링신호를 부호화 한다. 혹은, 본 발명에서는, 제1움직임보상을 행한 후에 공간방향으로 계층분할해서 얻어지는 예측오차하위계층신호와, 입력화상신호를 해상도변환필터에 의해 축소한 후에 축소해상도상에서 제2움직임보상을 행하여 얻어지는 상위계층오차예측신호를 부호화한다. 즉, 본 발명은, 계층구조를 가진 부호화스트림에 있어서, 각 계층에서 다른 움직임정보에 근거하여 움직임보상을 행하는 것을 특징으로 한다. 여기서, 움직임정보란 프레임을 구성하는 고정사이즈 혹은 가변사이즈의 블록마다의 평행 이동에 관한 정보, 혹은 프레임을 구성하는 소영역마다로의 아핀변환 등의 기하변환, 혹은 프레임 전체에 대한 아핀변환 등의 기하변환에 관한 정보이다.

이하, 본 발명의 구체적인 실시형태를 설명하기로 한다.

우선, 본 발명에 근거하는 동화상부호화를 설명하기로 한다.

도 2는 본 발명의 일 실시형태의 동화상부호화장치의 구성을 나타냄과 동시에, 입력화상신호의 일부인 2장의 프레임에 대하여 시간공간방향으로의 서브밴드분할을 행한 후의 신호의 계층구조를 나타낸다.

동화상부호화장치는 시간서브밴드분할을 행하는 제1 내지 제3의 분할부 (1001~1003)와, 공간서브밴드분할을 행하는 제4 및 제5분할부(1004, 1005)와, 제1 및 제2로패스필터(1006, 1007)를 갖추고 있다. 입력화상신호(10)는 제1분할부(1001)와 제1로패스필터(1006)에 공급되고, 제1분할부(1001)의 출력(11)이 제4분할부(1004)에 공급되고, 제1로패스필터(1006)의 출력(20)은 제2분할부(1002)와 제2로패스필터(1007)에 공급되고, 제2분할부(1002)의 출력(21)은 제5분할부(1005)에 공급되고, 제2로패스필터(1007)의 출력은 제3분할부(1003)에 공급된다.

이 동화상부호화장치에서는, 입력화상신호(10)는, 제1분할부(1001)에 의해 시간서브밴드분할된 후, 제4분할부(1004)에 의해 공간방향으로 1단계 서브밴드분할되고, 이에 의해, 저역서브밴드신호(12)와 고역서브밴드신호(13)가 생성된다. 또한, 입력화상신호(10)가 제1로패스필터(1006)를 통과함으로써, 인트라서브밴드신호(20)가 생성된다. 인트라서브밴드신호(20)는 제3분할부(1002)에 의해 시간서브밴드분할되어 저역시간서브밴드신호(21)를 발생한다. 제4분할부(1004)에 의해 생성된 저역서브밴드신호(12)는 저역시간서브밴드신호(21)로 치환된다. 즉, 입력화상(10)을 1단계 계층분할한 결과는 고역서브밴드신호(13)와 저역시간서브밴드신호(21)로 된다. 마찬가지로, 저역시간서브밴드신호(21)를 1단계 계층분할한 결과는 저역시간서브밴드신호(21)의 고역서브밴드신호(23)와 인트라서브밴드신호(20)의 저역서브밴드(30)에 대하여 시간방향으로 서브밴드분할한 저역시간서브밴드(31)로 된다. 이 계층분할을 재귀적으로 행함으로써, 다중의 계층구조가 실현된다.

또한, 로패스필터(1006, 1007)로서, 수평수직으로 해상도를 1/2로 하는 일반적인 다운샘플필터와, 공간서브밴드분할을 행하는 제4 및 제5분할부(1004, 1005)에 있어서의 로패스필터의 어느 쪽이 사용되어도 된다. 이하에서는 공간서브밴드분할의 로패스필터를 사용하는 것으로서, 이 계층구조를 가진 부호화방식에 대해서 설명하기로 한다.

도 3은 본 실시형태에서의 부호화처리의 흐름≤을 나타내는 플로차트이다. 도 3을 사용하여, 연속되는 화상프레임의 집합 A⁽⁰⁾[i](0≤i<n, n은 2의 거듭제곱)를 원화상입력으로 하는 부호화방법에 대해서 설명하기로 한다.

먼저, 스텝 101, 102에 있어서, J=0, I=0, 2, … n-2로 하고, 스텝 103에 있어서, 연속되는 2장의 프레임 A⁽⁰⁾[i]와 A⁽⁰⁾[i＋1]를 시간방향과 공간방향의 쌍방에 대하여 서브밴드분할하며, 서브밴드신호 A^(0)*[i], E^*[i＋1] 과 움직임정보 V[i＋1]을 얻는다.

도 4는, 도 3의 스텝(103)에 있어서의 2장의 프레임시간공간방향서브밴드분할의 처리의 흐름을 나타내는 플로차트이다. 이하에서는 프레임 B0를 프레임 C0에 대하여 과거방향에 있는 프레임으로 하여, 일반적인 프레임 B0 및 C0의 시간공간방향서브밴드분할 처리에 관해서 도 4를 사용하여 설명하기로 한다.

먼저, 스텝(111)에 있어서, 프레임 C0에 대한 프레임 B0의 이동을 추정하여 움직임정보 V0를 얻는다. 여기서 움직임이란, 프레임을 구성하는 고정사이즈 혹은 가변사이즈의 블록마다의 평행이동, 혹은 프레임을 구성하는 소영역마다로의 아핀변환 등의 기하변환, 혹은 프레임전체에 대한 아핀변동 등의 기하변환을 나타낸다.

다음으로, 스텝(112)에 있어서, 움직임정보 V0를 토대로 B0, C0를 시간방향으로 서브밴드분할하고, 저주파대역서브밴드 A0^*, 고주파대역서브밴드 E0^*를 얻는다. 시간방향의 서브밴드분할방법의 하나로서, 참고문헌[A. Secker et. al., "Motion-compensated highly scalable video compression using an adaptive 3D wavelet transform based on lifting," IEEE Trans. Int. Conf. Image Proc., pp1029-1032, October, 2001]에 있는 방법을 설명하기로 한다.

프레임 내 좌표[p, q]에 있는 프레임 B0의 화소치를 B0[p, q], 스텝(111)에서의 이동추정의 결과에 근거하여 프레임 B0를 움직임보상한 후의 프레임 내 좌표[p, q]의 화소치를 W_B0(B0)[p, q], 프레임 C0를 움직임보상한 후의 프레임 내 좌표[p, q]의 화소치를 W_C0(C0)[p, q]로 하면,

E0^*[p, q]=1/2(C0[p, q]－W_B0(B0)[p, q]) …(1)

A0^*[p, q]=B0[p, q]＋W_C0(E0^*)[p, q]) …(2)

로 된다. 다른 시간방향 서브밴드분할 방법으로서, 시간방향의 필터길이로서 2보다 긴 필터를 사용하는 경우, 입력으로 되는 복수의 프레임B0에 대하여 저주파 대역 및 고주파 대역으로의 분해필터를 각각 fl[i] (0i<n1), fh[i] (0i<nh)로 하면, A0^* 및 E0^* 는,

[수식1]

A0^*[p, q] = fl[i]ㆍW_B0i(B0_i) [p, q] …(1')

E0^*[p, q] = fh[i]ㆍW_B0j(B0_j) [p, q] …(2')

로 된다.

또한, 1차필터를 중첩시켜 고차 서브밴드분할을 실현하는 리프팅법에 있어서 각 필터의 처리시에 움직임보상을 행하는 참고문헌[L. Lio et. al., "Motion Compensated Lifting Wavelet And Its Application in Video Coding," IEEE Int. Conf. Multimedia & Expo 2001, Aug., 2001]의 방법을 사용하는 경우, 입력으로 되는 복수프레임에 있어서 짝수 프레임을 B0, 홀수 프레임을 C0로 하면, 1차필터를 곱한 후의 B0'_i, Co'_i 는, 정수 α, β에 의해,

C0'_i[p, q] = C0_i[p, q]＋α(W_B0i(B0_i＋W_B0i＋1(B0_i＋1))[p, q]) …(1")

B0'_i[p, q] = B0_i[p, q]＋β(W_C0i(C0'_i＋W_C0i－1(C0'_i－1))[p, q]) …(2")

로 된다.

두 개의 필터처리를 번갈아 반복함으로써, 리프팅법을 사용한 시간방향서브밴드분할이 행해진다. 그 외에, 저주파수 성분의 A0^*을 생성하지 않고, 통상의 움직임보상예측과 동등한 처리를 행하는 것이 있다.

A0^*, E0^*가 얻어진 후, 스텝(113)에 있어서, 이들을 1회 공간서브밴드분할한다.

서브밴드분할로서 1차원의 필터뱅크를 사용한 2분할의 주파수분할을 행하는 경우, 수평ㆍ수직방향 모두 저주파대역으로 분할된 서브밴드, 수평방향으로 저주파대역ㆍ수직방향으로 고주파대역으로 분할된 서브밴드, 수평방향으로 고주파대역ㆍ수직방향으로 저주파대역으로 분할된 서브밴드, 수평ㆍ수직방향 모두 고주파대역으로 분할된 서브밴드의 네 개의 서브밴드가 생성된다. 각각의 서브밴드변환을 LL(), LH(), HL(), HH()라고 정의한다. 또한, 세 개의 서브밴드 LH(C0), HL(C0), HH(C0)의 집합을 H(C0)라고 정의한다. 이에 의해, LL(A0^*), H(A0^*), LL(E0^*), H(E0^*)가 얻어진다.

그 다음으로, 스텝(115)에 있어서, 프레임 B0, C0에 대하여, 1층분의 공간서브밴드분할을 행하고, LL(B0), H(B0), LL(C0), H(C0)를 얻는다. LL(B0), LL(C0)를 B1, C1으로 정의하고, 스텝(116)에 있어서, 새로이 이들 서브밴드 간의 움직임보상을 규정하는 움직임보상 V1을 산출한다.

이 움직임정보산출방법으로서, 다시 이동추정을 행하거나, B0, C0에 대응하는 움직임정보의 몇 개를 통합하는 등의 방법이 있다. 특히, 움직임정보를 계층부호화하고, 그 베이스레이어에만 대응하는 움직임정보를 사용함으로써, 계수부호정보와 움직임정보가 대응화된 계층부호화를 실현할 수가 있다.

예를 들어, V1과 V2를 계층적으로 부호화하는 하나의 방법으로서, 축소해상도를 가지는 화상으로 이동추정을 행하여 얻어진 움직임정보를 V2, 오리지날화상에서의 이동추정에 의해 얻어진 움직임정보를 V1으로 하고, V2를 2배한 것을 V1으로부터 감산한 것과 V2를 부호화하는 것이 있다. 또한, 서브밴드부호화와 마찬가지로, 움직임정보를 화상의 x방향과 y방향으로 서브밴드분할함으로써, 움직임정보의 계층화 표현이 얻어진다.

스텝(117)에서는, 이렇게 해서 얻어진 움직임정보에 근거하여, B1, C1을 시간방향으로 서브밴드분할하고, 저주파대역서브밴드 A1^*, 고주파대역서브밴드 E1^* 을 얻는다. 단, A1^*은 LL(A0^*)와 동일하지 않고, E1^*은 LL(E0^*)와 동일하지 않다.

A1^*, E1^*가 얻어진 후, 스텝(118)에 있어서, 공간방향으로의 서브밴드분할 횟수가 1이면, LL(A0^*) 대신에 A1^*, H(A0^*) 대신에 H(B0), LL(E0^*) 대신에 E1^*을 분할 결과로 한다. 분할 횟수가 1이 아닌 경우에는, 스텝(119)에 있어서, A1^*, E1^*을 1회 공간서브밴드분할하여 LL(A1^*), H(A1^*), LL(E1^*), H(E1^*)를 얻는다. 그 후, 스텝(115)으로 돌아가서, B1, C1을 1회 서브밴드분할하고, 스텝(116)에서 얻어지는 B2, C2에 대하여 움직임정보 V2를 산출한 후, 스텝(117)에서 움직임보상을 수반한 시간방향서브밴드를 행한다.

스텝(118)에 나타낸 바와 같이, 이상의 처리를 분할 수가 m이 될 때까지 행하고, 스텝(121)에 있어서 얻은 LL(Am^*), H(Ak^*), LL(Em^*), H(Ek^*) (0≤k<m)을 분할 결과로 한다. 또한, 스텝(122)에 있어서, Vk(0≤k<m)를 2장의 프레임의 서브밴드분할처리 전체의 움직임정보로서 출력하고 처리를 종료한다. 이상으로써, 스텝(103)의 서브밴드분할의 처리가 종료된다.

도 3으로 돌아가서, 본 실시형태에 있어서의 부호화처리의 동작을 추가하여 설명하기로 한다.

스텝(103) 후, 스텝(105)에 있어서, 시간방향의 저주파대역서브밴드인 A^(0)*[0]을 공간방향으로만 서브밴드합성하고, A⁽¹⁾[0]를 생성한다. 이것은, A⁽¹⁾[0]을 하나 이상의 시간방향계층에 있어서, 다시 스텝(103)의 순서에 의해 시공간방향으로의 서브밴드분할하기 위해서이다.

스텝(106, 107)에 의해, 스텝(103, 105)의 처리를 A(0)[n－2] 와 A(0)[n－1)에 대하여 행한 후, 스텝(108)에서는 j에 1가산하여, i=0, 2, …n/2로서 A⁽¹⁾[i<<1]과 A⁽¹⁾[(i＋1)<<1]의 시공간방향으로의 서브밴드분할(스텝 103)과, A^(1)*[i<<1]의 공간방향으로의 서브밴드합성(스텝 105)을 반복한다.

이상의 처리 루프를, j가 log2(n)－1과 동일하게 될 때까지 행한다.

스텝(103)을 끝낸 시점에서, 즉, 스텝(104)에 있어서, 현재의 시간방향의 분할수인 j가 log2(n)－1과 동등한 경우에는, 모든 신호의 시간공간방향으로의 서브밴드분할은 종료한 것이 된다. 부호화처리에서는, 스텝(109)에 있어서, 얻은 신호 A^(i)*[0], E^*[i](0<i<n)에 대하여, 양자화 및 가역부호화를 행한다. 여기서 양자화로서, 선형양자화, 비선형양자화, 벡터양자화 이외에, 국제 표준의 정지화상부호화인 JPEG 2000에도 사용되고 있는 비트플레인 양자화를 사용할 수 있다. 또한, 가역 부호화로서, 문헌[J. M. Shpiro, "Embedded image coding using zerotrees of wavelets coefficients", IEEE trans. Singnal Processing, Vol. 41, pp. 3445-3462, Dec. 1993]에 있는 제로트리부호화, 산술부호화, 런렝스부호화가 사용된다. 또한, 스텝(110)에 있어서, V[i](0≤i<n)르 부호화한다. 이상으로, A⁽⁰⁾[k](0≤k<n)의 부호화처리는 종료된다.

결국, 상술한 동화상부호화방법에서는 입력화상신호를 시간방향으로 서브밴드분할함과 동시에 공간방향으로 서브밴드분할하는 3차원서브밴드분할처리가 복수 회 이루어지고 있다. 그리고, 이 서브밴드분할의 처리는,

입력화상신호에 있어서의 프레임간 및 입력화상신호를 서브밴드분할하여 얻어지는 저주파대역서브밴드 중 하나의 밴드신호인 인트라밴드신호의 밴드 사이에서, 이동을 나타내는 움직임정보를 산출하는 움직임정보산출스텝과,

입력화상신호 및 인트라밴드신호에 있어서, 움직임정보산출스텝에서 얻은 움직임정보에 따라서 움직임보상을 한 후에 시간방향으로 서브밴드분할함으로써 시간저주파대역서브밴드신호와 시간고주파대역서브밴드신호를 얻는 시간서브밴드분할 스텝과,

시간고주파대역서브밴드신호를 공간방향으로 서브밴드분할하고, 시간고주파공간저주파대역서브밴드와 시간고주파공간고주파대역서브밴드를 생성하는 시간고주파대역서브밴드신호공간분할스텝과,

시간저주파대역서브밴드신호를 공간방향으로 서브밴드분할하고, 시간저주파공간저주파대역서브밴드와 시간저주파공간고주파대역서브밴드를 생성하는 시간저주파대역서브밴드신호공간분할스텝과,

인트라밴드신호를 공간방향으로 서브밴드분할하고, 저주파대역인트라서브밴드와 고주파대역인트라서브밴드를 생성하는 밴드신호공간분할스텝

을 갖추고 있다. 입력화상신호에 대하여 시간서브밴드분할스텝과 시간고주파대역서브밴드신호공간분할스텝과 시간저주파대역서브밴드신호공간분할스텝과 밴드신호공간분할스텝이 실행되고 있다. 또한, 밴드신호공간분할스텝 후에 얻은 저주파대역인트라밴드를 인트라밴드신호로서, 시간서브밴드분할스텝과 시간고주파대역서브밴드신호공간분할스텝과 시간저주파대역서브밴드신호공간분할스텝과 밴드신호공간분할스텝이 재귀적으로 반복되고, 그 때마다, 시간저주파공간저주파대역서브밴드와 시간고주파공간저주파대역서브밴드가, 각각, 직후의 시간서브밴드분할스텝에서 얻어지는 시간저주파대역서브밴드신호와 시간고주파대역서브밴드신호로 치환되어 있다.

또한, 본 실시형태에서는, 어느 계층에서 시공간방향 모두 서브밴드분할을 행한 후, 다음의 계층에서 부호화되는 프레임을 일단 공간방향으로 서브밴드합성하는 처리의 흐름을 취하고 있다. 그러나, 이 두 개의 처리는 통합가능하다. 본 발명의 특징은, 공간방향의 주파수대역에 따라서 움직임보상을 적당히 보정해 가는 점에 있으며, 공간방향서브밴드분할처리의 순서는 본 발명의 목적으로 하는 점이 아니다.

다음으로, 본 발명에 근거하는 동화상복호를 설명하기로 한다. 본 실시형태에 있어서 복호화상은, 원화상에 대하여 시간공간방향 모두 2의 거듭제곱분의 1인 임의의 해상도를 갖는다. 즉, 부호화 처리에 있어서의 공간방향서브밴드분할수가 m이라면, 수평 및 수직 방향의 해상도가 원화상의 1/2, 1/4, …, 1/2^m 인 복호화상의 재구성이 가능하다. 또한, 시간방향서브밴드분할 수 n0=log2(n)에 대하여, 원화상의 1/2, 1/4, …, 1/2ⁿ⁰의 프레임레이트를 가지는 복호화상의 재구성이 가능하다.

도 5는 본 발명의 일 실시형태의 동화상복호장치의 구성을 나타내고 있다. 이 동화상복호장치는, 서브밴드로 분할되고 부호화된 동화상데이터를 복호하는 것이며, 도 5는 도 2에 나타낸 서브밴드분할에 대응하는 서브밴드합성의 개념도를 설명하고 있다. 즉, 도 5에 나타낸 동화상복호장치는, 예를 들어, 신호를 전송하는 매체를 개재하고, 도 2에 나타낸 동화상부호화장치와 접속되며, 동화상부호화장치에서 부호화된 동화상데이터를 수신하고 복호한다.

동화상복호장치는 시간서브밴드합성을 행하는 제1 내지 제3합성부(2001~2003)와, 공간서브밴드합성을 행하는 제4 및 제5합성부(2004, 2005)와, 시간서브밴드분할을 행하는 제1 및 제2분할부(2006, 2007)를 갖추고 있다. 제3합성부(2003)는 저역시간서브밴드신호(31)를 공급받아 복호화상(36)을 출력하고, 제2분할부(2007)는 복호화상(36)을 공급받아 신호(24)를 생성한다. 제5합성부(2005)에는 신호(24)와 고역서브밴드신호(23)가 공급되고, 제5합성부(2005)가 출력하는 신호(25)는 제2합성부(2002)에 공급된다. 제2합성부(2002)는 제1분할부(2006)에 공급되는 복호화상(26)을 출력한다. 제1분할부(2006)는 저역서브밴드추정신호(14)를 출력한다. 제4합성부(2004)는 저역서브밴드추정신호(14)와 고역서브밴드신호(13)를 입력으로 해서 신호(15)를 출력하고, 제1합성부(2001)는 신호(15)를 입력으로 해서 복호화상(16)을 출력한다.

이 동화상부호화장치에서는, 가장 작은 축소해상도를 가진 복호화상(36)을 얻으려면, 부호화되어 있는 서브밴드신호 중 최저역에 해당하는 저역시간서브밴드신호(31)에 대하여, 제3합성부(2003)에 의해 시간서브밴드합성을 행하면 된다. 한편, 복호화상(36)의 하위계층, 즉, 1단계 큰 해상도를 가진 복호화상(26)을 얻으려면, 그 계층에 속하는 고역서브밴드신호(23)에 대응하는 저역서브밴드가 필요하게 된다. 그래서, 복호화상(36)을 제2분할부(2007)에서 시간서브밴드분할하여 얻어지는 신호(24)를 저역서브밴드추정신호로 한다. 저역서브밴드추정신호(24)와 고역서브밴드(23)를 제5합성부(2005)에 의해 공간서브밴드합성한 후, 제2합성부(2002)에 의해 시간서브밴드합성함으로써 복호화상(26)이 얻어진다. 제2분할부(2007)에 있어서의 시간서브밴드분할은 제2합성부(2002)에서의 시간서브밴드 합성에 의해 일의로 정해진다. 마찬가지로, 복호화상(26)이 또한 1단계 큰 해상도를 갖는 복호화상(16)을 얻으려면, 복호화상(26)과 시간서브밴드분할(2006)에 의해 얻어진 저역서브밴드추정신호(14)와 고역서브밴드신호(13)를 제4합성부(2004)에 의해 공간서브밴드합성한 후, 제1합성부(2001)에 의해 시간서브밴드합성을 행하면 된다. 계층구조를 가진 서브밴드신호에 대하여 이 복호처리를 반복해서 행함으로써, 다른 해상도의 복호화상을 얻을 수 있다.

다음으로 복호처리에 대해서, 복호처리의 내용을 나타내는 플로차트인 도 6을 사용해서 설명하기로 한다. 원화상 A⁽⁰⁾[i] (0≤i<n, n은 2의 거듭제곱)에 대해, 수평 및 수직 방향의 해상도가 1/2^k0(0≤k0≤m), 프레임레이트가 1/2^j0 (0≤j0≤n0)인 복호 화상 A^(j0) _(k0)[i]을 재구성하는 처리에 대해서 설명한다.

먼저, 스텝(151)에 있어서 j를 log2(n)－1로 한 뒤, 스텝(152)에 있어서, 부호화데이터에 대하여 가역부호화의 역변환 및 역양자화를 행한다. 이 처리의 결과로서 얻어진 신호를, 도 3에서 사용한 기호에 따라서, A^(n0)*[0], E^*[i](0<i<n)로 정의한다. 다음으로, 스텝(153)에 있어서, j0가 n0와 동일한지 여부를 판정한다. j0가 n0와 동일한 경우에는, 시간방향으로의 서브밴드합성을 행할 필요가 없고, 스텝(154)에 있어서, A^(i)*[0]을 공간방향으로 k0층분 만큼 서브밴드 합성한다. 그 후, A^(j0) _(k0)[0]이 재구성된 시점에서, 복호처리는 종료된다. 한편, 스텝(153)에 있어서 j0가 n0와 동일하지 않은 경우에는, 스텝(155, 156)에 있어서, A^(i)*[0], E^*[n/2]를 시간방향과 공간방향의 쌍방에 관하여 서브밴드합성한다.

도 7은, 스텝(156)에 있어서의, 2장의 프레임데이터를 시공간방향서브밴드합성하는 처리의 흐름을 나타내고 있다. 복호시의 서브밴드합성수를 k0로 한다. k0가 0이면 원화상과 같은 해상도에서의 신호화상이고, k0가 양이라면 2의 k0승만큼 축소된 해상도의 복호화상이 얻어진다. 서브밴드합성처리의 대상으로 되는 2장의 프레임의 데이터는, 공간방향으로 m회 서브밴드분할된 계층구조를 취하고 있다.

도 4의 스텝(121)에 따르면, 시간방향의 서브밴드분할에서 저주파대역에 속하는 서브밴드신호 중 공간방향의 서브밴드분할에서 최저주파대역에 속하는 서브밴드신호는 Am^*에, 제 k층째의 서브밴드분할 후의 고주파대역서브밴드는 H(Ak^*)(0≤k<m)에 대응한다. 시간방향의 서브밴드분할에서 고주파대역에 속하는 서브밴드신호의 공간방향으로 분할 후의 신호에 대해서도 마찬가지로, Em^* 및 H(Ek^*)(0≤k<m)에 대응하게 할 수 있다. 또한, 2장의 프레임의 움직임보상을 규정하는 움직임정보는, 도 4의 스텝(111, 116)에 있어서 출력되는 Vk(0≤k<m)에 대응되게 할 수 있다. 움직임정보는 각각 독립하여 부호화되어 있어도 상관없고 계층적으로 부호화되어 있어도 상관없다. 그래서, Am^*, H(Bk), Em^*, (Ek^*)(0≤k<m)을 참조하여 원화상 B0, C0을 2의 k0곱만큼 축소된 해상도의 복호화상 Bk0, Ck0을 재구성하는 처리에 대해서, 도 7을 사용하여 설명하기로 한다.

우선, 스텝(171)에 있어서 k=m으로 한 후, 스텝(172)에 있어서, Am^*과 Em^*을 시간방향으로 서브밴드합성하면, Bm, Cm이 얻어진다.

Bm[p, q]=Am^*[p, q]－WCm(Em^*)[p, q] …(3)

Cm[p, q]=2×Em^*[p, q]＋WBm(Bm)[p, q] …(4)

여기서 WBm 및 WCm은, Bm으로부터 Cm에 대한 움직임보상을 나타내는 필터, 및 Cm으로부터 Bm에 대한 움직임보상을 나타내는 필터이고, 부호화처리시에 사용한 움직임정보 Vm 및 내삽처리에 의해 결정된다.

스텝(173)에 있어서, 만약 k0가 m과 같은 경우, 복호처리는 종료된다. 만약 같지 않은 경우, 1회분의 서브밴드합성을 행하기 위해서, LL(Am－1^*)과 LL(Em－1^*)을 얻을 필요가 있다. 그래서, 스텝(174)에 있어서, 제 m－1층에서의 Bm－1 및 Cm－1의 움직임보상에 사용하는 움직임정보 Vm－1을 사용하여, LL(Am－1^*) 및 LL(Em－1^*)의 추정치 LL^est(Am－1^*) 및 LL^est(Em－1^*)를 산출한다.

LL^est(Em-1^*)=1/2(Cm[p, q]－W_Bm－1 ^L(Bm)[p, q]) …(5)

LL^est(Am－1^*)=Bm[p, q]＋W_Cm－1 ^L(LL^est(Em－1^*))[p, q] …(6)

여기서, W_Bm－1 ^L 및 W_Cm－1 ^L은, 움직임정보 Vm－1을 수평 및 수직의 양 쪽으로 1/2로 축소하고, 움직임보상의 단위가 되는 블록의 사이즈도 1/2로 축소하여 얻어지는 움직임보상필터이다. 또는, T.Kimoto, "Multi Resolution MCTF for 3D Wavelet Transformation in Highly Scalable Video,"ISO/IEC JTC1/SC29/WG11, M9770, Trondheim, July 2003에 나타낸 계층화된 움직임보상과 같은 것을 사용한다. 즉, 제 m－1층에 있어서 Cm－1에 대하여 움직임보상에 의해 얻어지는 예측신호 W_Bm－1(Bm－1)은, 공간방향의 저주파대역서브밴드 Bm에만 기인하는 신호와 고주파대역서브밴드 H(Bm－1)에만 기인하는 신호의 합으로써 나타낼 수 있다. 이 전자를 W_Bm-1 ^L(Bm)으로 하고, LL(Em－1^*)의 추정에 사용한다.

이 후, 스텝(175)에 있어서, LL^est(Am－1^*)과 H(Am－1^*)을 서브밴드합성하고, LL^est(Em－1^*)과 H(Em－1^*)을 서브밴드합성하여, Am－1^*, Em－1^*을 얻는다. 스텝(173, 176)에 나타낸 바와 같이, 스텝(172)으부터, 스텝(175)의 처리를 반복적으로 행하여, 계층 k0에 상당하는 서브밴드 Bk0, Ck0을 얻은 시점에서, 도 6의 스텝(156)에 있어서의 시공간방향의 서브밴드합성처리는 종료된다.

또한, 본 실시형태에서는, 서브밴드보정(스텝 174)과 공간방향서브밴드합성(스텝 175)을 독립된 스텝으로서 설명했으나, 서브밴드보정시의 움직임보상필터와 서브밴드합성필터를 합친 필터를 사용함으로써, 이들 스텝을 통합하는 것도 가능하다. 또한, 본 실시형태에서는, Ek^*와 Ak^*에 대하여 움직임정보 Vk에 따라 시간방향으로 서브밴드합성을 실시하여, Bk와 Ck를 얻은 후, 움직임정보 Vk－1을 참조하여 LL^est(Ek－1^*)과 LL^est(Ak－1^*)을 산출하고 있으나, Bk와 Ck를 출력할 필요가 없는 경우에는, 이들 처리를 통합하는 것도 가능하다.

또한, T.Kimoto, "Multi Resolution MCTF for 3D Wavelet Transformation in Highly Scalable Video," ISO/IEC JTC1/SC29/WG11, M9770, Trondheim, July 2003 에 나타낸 것과 같은 방법에 의해, H(Ek－1^*)와 Ck를 참조하여 LL^est(Ek－1^*)을 LL(Ek－1^*)에 더욱 가까워지도록 보정하고, H(Ak－1^*)과 Ak를 참조하여 LL^est(Ak－1^*)을 LL(Ak－1^*)에 더욱 가까워지도록 보정하는 처리를 추가하는 것도 가능하다.

도 6으로 돌아가 복호처리의 설명을 계속하기로 한다. A(i)^*[0], E^*[n/2]를 서브밴드합성한 후, 해상도가 원화상의 1/2^k0인 화상 A⁽ⁱ⁾ _(k0)[0]과 A⁽ⁱ⁾ _(k0)[n/2]가 얻어진다. 스텝(157)에 있어서, j0이 n0－1과 같은 경우에는, 여기서 복호처리를 끝낸다. 그렇지 않은 경우에는, 다음의 반복루프에서의 시간공간서브밴드합성을 위해서, 스텝(158)에 있어서, A⁽ⁱ⁾ _(k0)[0]과 A⁽ⁱ⁾ _(k0)[n/2]를 공간방향으로 서브밴드분할하고, A^(j－1)* _(k0)[0]과 A^(j－1)* _(k0)[n/2]를 생성한다. 스텝(162)에 있어서 j를 1감소시킨다. 그 후, 다음 계층에서의 시공간서브밴드합성은, 스텝(156, 159, 160)에서 나타낸 바와 같이, A^(j)*[0]과 E^*[n/4], 및 A^(j)*[n/2]와 E^*[3n/4]에 대해 행해진다. 이상과 같이 해서 서브밴드합성을 반복하고, 스텝(161)에 있어서 j가 j0과 같게 된 시점에서, 복호처리를 끝낸다.

결국, 전술한 복호처리는, 서브밴드신호를 프레임마다 공간방향으로 서브밴드 합성한 후, 시간저주파대역서브밴드와 시간고주파대역서브밴드에 시간방향서브밴드합성을 행하는 3차원서브밴드합성처리에 의해, 복호화상신호를 생성하는 스텝을 가지고 있다. 그리고, 3차원서브밴드합성처리는,

시간고주파대역서브밴드의 공간방향의 저주파대역신호인 시간고주파공간저주파대역신호와, 그 저주파대역신호에 인접하는 고주파대역서브밴드인 시간고주파공간고주파대역서브밴드에 더해서, 시간고주파공간저주파대역신호에 대하여 동일 주파수대역에 있는 시간저주파공간저주파대역서브밴드와 그 서브밴드신호에 인접하는 고주파대역서브밴드인 시간저주파공간고주파대역서브밴드의 쌍방 또는 어느 한쪽과, 시간고주파대역서브밴드에 대응하는 움직임보상처리를 규정하는 움직임정보를 참조하여, 합성시간고주파서브밴드신호를 생성하는 시간고주파서브밴드합성스텝과,

시간저주파공간저주파대역서브밴드와 시간저주파공간고주파대역서브밴드를 합성하는 시간저주파서브밴드공간합성스텝과,

시간저주파대역서브밴드와 시간고주파대역서브밴드에 움직임보상예측처리를 행한 후, 시간방향서브밴드합성을 행하는 시간방향합성스텝

을 가지고 있다. 시간고주파대역서브밴드의 최저주파 대역에 있는 시간고주파공간저주파대역신호에 대하여 시간고주파서브밴드합성스텝이, 시간저주파대역서브밴드의 최저주파대역에 있는 시간저주파공간저주파대역서브밴드에 대하여 시간저주파서브밴드공간합성스텝이 행하여지고 있다. 시간고주파서브밴드합성스텝에 의해 얻어지는 밴드신호를 새롭게 시간고주파공간저주파대역신호, 시간저주파서브밴드공간합성스텝에 의해 얻어지는 밴드신호를 새롭게 시간저주파공간저주파대역서브밴드로 간주하고, 시간고주파서브밴드공간합성스텝과 시간저주파서브밴드공간합성스텝이 재귀적으로 반복되고, 그 결과, 시간저주파대역서브밴드 및 시간고주파대역서브밴드가 얻어지고 있다.

본 실시형태에서는, 시간방향서브밴드분할에 있어서의 프레임의 참조관계가 계층구조를 취하고 있는 경우에 대하여 설명했으나, 본 발명은 참조관계가 임의의 구조를 갖는 경우에 대해서도 적용 가능하다.

또한, 하나의 시간방향서브밴드분할에 있어서, 과거에 있는 프레임이 저주파대역서브밴드로 변환되는 경우에 한정하여 실시예의 설명을 행하였으나, 본 발명은, 미래에 있는 프레임이 저주파대역서브밴드로 변환되는 경우, 또는 2장의 프레임을 쌍방향 예측하는 형태로 시간방향분할을 행하는 경우에도 적용가능하다. 어느 경우도, 시간방향으로 분할한 후 각각의 서브밴드를 공간방향으로 분할한 때의 저주파대역서브밴드를, 부호화대상화상을 공간방향으로 분할한 저주파대역서브밴드를 시간방향으로 분할한 서브밴드로 치환하고, 복호시에 쌍이 되는 프레임의 복호결과 혹은 서브밴드를 사용하여 원하는 복호결과를 얻을 수 있도록 보정된다.

또한, 본 실시형태에서는 계층부호화를 실현하는 변환방식으로써 서브밴드분할을 사용했으나, 본 발명은 임의의 계층부호화방식에 적용 가능하다. 서브밴드분할에서는, 저주파대역에 상당하는 신호가 상위계층에 대응화 되어있다. 본 발명에 근거하는 부호화 방식에서는, 프레임 간 예측처리 후에 얻어지는 예측오차신호를 계층분할한 것 중에서의 상위계층신호를 입력화상신호에 대하여 계층분할한 후, 상위계층신호에 대하여 프레임 간 예측처리를 하여 얻어지는 예측오차로 치환해도 된다. 복호방식에서는 계층화된 프레임신호 중 상위계층을 입력화상신호에 대하여 프레임 간 예측처리를 행하여 얻어지는 예측오차신호를 계층분할한 것 중에서의 상위계층신호로 보정한다.

예측오차신호를 사용하는 경우, 동화상 부호화 처리에 있어서의 3차원서브밴드분할 처리는,

입력화상신호에 있어서의 프레임 간 및 입력화상신호를 서브밴드분할하여 얻어지는 저주파대역서브밴드 중 하나의 밴드신호인 인트라밴드신호에 있어서의 밴드 간에서, 이동을 나타내는 움직임정보를 산출하는 움직임정보산출스텝과,

입력화상신호 및 인트라밴드신호에 있어서, 움직임정보산출스텝에서 얻어진 움직임정보에 따라 움직임보상예측처리를 행하여 예측오차신호를 얻는 움직임보상예측스텝과,

예측오차신호를 공간방향으로 서브밴드분할하여, 저주파대역예측오차서브밴드와 고주파대역예측오차서브밴드를 생성하는 예측오차신호공간분할스텝과,

인트라밴드신호를 공간방향으로 서브밴드분할하여, 저주파대역인트라서브밴드와 고주파대역인트라서브밴드를 생성하는 밴 신호공간분할스텝

을 갖추는 것으로 된다. 그리고, 입력화상신호에 대하여 움직임정보산출스텝과 움직임보상예측스텝과 예측오차신호공간분할스텝과 밴드신호공간분할스텝이 실행된다. 또한, 밴드신호공간분할스텝 후에 얻어진 저주파대역인트라서브밴드를 인트라밴드신호로 하여, 움직임정보산출스텝과 움직임보상예측스텝과 예측오차신호공간분할스텝과 밴드신호공간분할스텝이 재귀적으로 반복되고, 그 때마다 예측오차 신호공간분할스텝에서 얻어지는 저주파대역예측오차서브밴드가, 직후의 움직임보상예측부호화스텝에서 얻어지는 상기 예측오차신호로 치환된다.

마찬가지로, 예측오차신호를 사용하는 경우의 동화상 복호 처리에 있어서 3차원서브밴드합성처리는,

예측오차신호의 저주파대역신호인 예측오차저주파대역신호와, 그 저주파대역신호에 인접하는 고주파대역서브밴드인 고주파대역예측오차서브밴드에 더해서, 예측오차저주파대역신호에 대하여 동일주파수대역에 있는 저주파대역인트라서브밴드와 저주파대역인트라서브밴드에 인접하는 고주파대역서브밴드인 고주파대역인트라서브밴드의 쌍방 혹은 어느 한 쪽과, 예측오차신호에 대응하는 움직임보상처리를 규정하는 움직임정보를 참조하여 합성서브밴드예측오차신호를 생성하는 예측오차신호합성스텝과,

저주파대역인트라서브밴드와 고주파대역인트라서브밴드를 합성하는 인트라밴드신호공간합성스텝과,

인트라밴드신호에 움직임보상예측처리를 행하여 합성예측오차신호를 더함으로써 복호화상신호를 얻는 움직임보상복호스텝

을 갖춘다. 그리고, 예측오차신호의 최저주파대역에 있는 예측오차저주파대역신호에 대하여 예측오차신호합성스텝이 실행되어, 인트라밴드신호의 최저주파대역에 있는 인트라저주파대역서브밴드에 대하여 인트라밴드신호공간합성스텝이 실행된다. 예측오차신호합성스텝에 의해 얻어지는 밴드신호를 새롭게 예측오차저주파대역신호로 간주하고, 인트라밴드신호공간합성스텝에 의해 얻어지는 밴드신호를 새롭게 인트라저주파대역서브밴드로 간주하고, 예측오차신호합성스텝과 인트라밴드신호공간합성스텝을 재귀적으로 반복함으로써, 인트라밴드신호 및 상기 예측오차신호가 얻어진다.

이상 설명한 동화상부호화장치 및 동화상복호장치는, 모두, 컴퓨터를 사용하여 실현하는 것이 가능하다. 즉, 컴퓨터상에서 프로그램을 실행함으로써, 전술한 동화상부호화장치, 동화상복호장치에서의 처리 및 제어를 실현할 수 있다. 여기서 말하는 컴퓨터에는 프로세서나 컨트롤러도 포함된다. 프로그램은 네트워크를 개재하여, 또는, 그 프로그램을 격납한 CD-ROM과 같은 기록매체를 개재하여, 컴퓨터에 읽혀진다. 본 발명은, 이와 같은 프로그램 또는 프로그램 프로덕트 또는 기록매체도 포함하는 것이다. 나아가서, 그러한 프로그램을 전송하는 매체도, 본 발명의 범주에 포함된다.

도 8은 동화상부호화장치 및/ 또는 동화상복호장치를 실현하는 컴퓨터의 구성을 나타내고 있다. 이 컴퓨터는, 도 8에 나타난 바와 같이, 프로세서(51), 기억부(52), I/O인터페이스(53)를 갖추고 있고, 이들은 버스(54)를 개재하여 서로 접속되어 있다.

기억부(52)는 프로세서(51)가 실행해야 하는 동화상부호화프로그램과 동화상복호프로그램의 어느 한 쪽 혹은 양 쪽을 저장하고 있음과 동시에, 프로세서가 동화상부호화프로그램 혹은 동화상복호프로그램이 실행되고 있는 도중에서의 일시기억영역으로서의 역할도 수행한다. 또한, 이 "기억부"라는 말은, 본 명세서에 있어서, RAM 등의 주기억 외에, CPU에 포함되는 캐쉬 메모리나 프로세서에 포함되는 레지스터, 나아가서는 하드디스크장치 등, 모든 기억장치를 나타내는 것으로서 사용된다. 또한, 본 실시형태에 있어서, I/O인터페이스(53)는 프로세서(51)의 제어에 따라 동화상부호화프로그램에 대한 입력이 되는 원화상이나 출력이 되는 부호화데이터, 동화상복호프로그램으로의 입력이 되는 부호화데이터나 출력이 되는 복호화상을 전송하는 매개수단이다. 단, 이 I/O인터페이스(13)의 존재는 다른 프로그램에 의해 요구된 원화상 내지 부호화 데이터를 일단 기억부(52)에 저장하고, 그것을 기억부(52)로부터 읽어냄으로써 본 실시형태에 의한 동화상부호화방법 또는 동화상복호방법을 실행하는 것을 방해하는 것은 아니다.

본 발명은 여러 전송환경이나 재생환경을 가지는 재생기기에 대하여 동화상부호화데이터의 일부를 삭제함으로써, 재생기기의 환경에 최적인 동화배신을 행하는 용도에 적용할 수 있다.

Claims

계층부호화를 행하는 동화상부호화방법으로,

입력화상신호에 대하여 제1움직임정보에 기초해 시간방향 필터링을 행한 후에 공간방향으로 계층분할하여 고역주파수에 상당하는 제1신호와 저역주파수에 상당하는 제2신호를 얻는 스텝과,

상기 입력화상신호를 해상도변환필터에 의해 축소한 후에 축소해상도상에서 제2움직임정보에 기초해 시간방향필터링을 행하여 제3신호를 얻는 스텝과,

상기 제1신호와 상기 제3신호를 부호화하는 스텝을 가지고,

상기 제2신호를 부호화하지 않는 동화상부호화방법.
계층부호화를 행하는 동화상부호화방법으로,

입력화상신호를 상기 입력화상신호에 대해서 제1움직임정보에 기초해 시간방향필터링을 행한 후에 공간방향으로 계층분할하여 얻어지는 고역주파수에 상당하는 제1신호 및 저역주파수에 상당하는 제2신호와, 상기 입력화상신호를 해상도변환필터에 의해 축소한 축소입력화상신호에 대해서 축소해상도상에서 제2움직임정보에 기초해 시간방향필터링을 행하여 얻은 제3신호로 각각 분할하는 시공간계층분할처리를 행하는 스텝과,

상기 축소입력화상신호에 대해서 상기 시공간계층분할을 재귀적으로 행한 후에 각 계층의 상기 제1신호와 상기 제3신호를 부호화 하는 스텝을 가지고,

상기 각 계층의 상기 제2신호를 부호화하지 않는 동화상부호화 방법.
계층부호화를 행하는 동화상부호화방법으로,

입력화상신호에 대하여 제1움직임정보에 기초해 움직임보상예측처리를 행한 후에 공간방향으로 계층분할하여 고역주파수에 상당하는 제1신호와 저역주파수에 상당하는 제2신호를 얻는 스텝과,

상기 입력화상신호를 해상도변환필터에 의해 축소한 후에 축소해상도상에서 제2움직임정보에 기초해 움직임보상예측처리를 행하여 제3신호를 얻는 스텝과,

상기 제1신호와 상기 제3신호를 부호화하는 스텝을 가지고,

상기 제2신호를 부호화하지 않는 동화상부호화방법.
계층부호화를 행하는 동화상부호화방법으로,

입력화상신호를 상기 입력화상신호에 대해서 제1움직임정보에 기초해 움직임보상예측처리를 행한 후에 공간방향으로 계층분할하여 얻어지는 고역주파수에 상당하는 제1신호 및 저역주파수에 상당하는 제2신호와, 상기 입력화상신호를 해상도변환필터에 의해 축소한 축소입력화상신호에 대해서 축소해상도상에서 제2움직임정보에 기초해 움직임보상예측처리를 행하여 얻은 제3신호로 각각 분할하는 시공간계층분할처리를 행하는 스텝과,

상기 축소입력화상신호에 대해서 상기 시공간계층분할을 재귀적으로 행한 후에, 각 계층의 상기 제1신호 및 제3신호를 부호화하는 스텝을 가지고,

상기 각 계층의 상기 제2신호를 부호화하지 않는 동화상부호화방법.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 해상도변환필터가 계층분할 처리에 있어서의 상위계층의 신호를 생성하는 필터와 동일한 동화상부호화방법.
입력화상신호를 시간방향으로 서브밴드분할함과 동시에 공간방향으로 서브밴드분할하는 3차원서브밴드분할처리를 복수회 실행하는 스텝을 가지고,

상기 3차원서브밴드분할처리는,

상기 입력화상신호에 있어서의 프레임 간 및 상기 입력화상신호를 서브밴드분할하여 얻어지는 저주파대역서브밴드 중 하나의 밴드신호인 인트라밴드신호의 밴드 간에서 이동을 나타내는 움직임정보를 산출하는 움직임정보산출스텝과,

상기 입력화상신호 및 상기 인트라밴드신호에 있어서, 상기 움직임정보산출 스텝에서 얻어진 움직임정보에 따라 움직임보상을 한 후에 시간방향으로 서브밴드분할함으로써 시간저주파대역서브밴드신호와 시간고주파대역서브밴드신호를 얻는 시간서브밴드분할스텝과,

상기 시간고주파대역서브밴드신호를 공간방향으로 서브밴드분할하여, 시간고주파공간저주파대역서브밴드와 시간고주파공간고주파대역서브밴드를 생성하는 시간고주파대역서브밴드신호공간분할스텝과,

상기 시간저주파대역서브밴드신호를 공간방향으로 서브밴드분할하여, 시간저주파공간저주파대역서브밴드와 시간저주파공간고주파대역서브밴드를 생성하는 시간저주파대역서브밴드신호공간분할스텝과,

상기 인트라신호를 공간방향으로 서브밴드분할하고, 저주파대역인트라서브밴드와 고주파대역인트라서브밴드를 생성하는 밴드신호공간분할스텝을 가지고,

상기 입력화상신호에 대해서 상기 시간서브밴드분할 스텝과 상기 시간고주파대역서브밴드신호공간분할스텝과 상기 시간저주파대역서브밴드신호공간분할스텝과 상기 밴드신호공간분할스텝이 실행되고,

상기 밴드신호공간분할스텝 후에 얻어진 저주파대역인트라서브밴드를 상기 인트라밴드신호로 하고, 상기 시간서브밴드분할스텝과 상기 시간고주파대역서브밴드신호공간분할스텝과 상기 시간저주파대역서브밴드신호공간분할스텝과 상기 밴드신호공간분할스텝이 재귀적으로 반복되고, 그 때마다, 상기 시간저주파공간저주파대역서브밴드와 상기 시간고주파공간저주파대역서브밴드가, 각각, 직후의 상기 시간서브밴드분할스텝에서 얻어지는 상기 시간저주파대역서브밴드신호와 상기 시간고주파대역서브밴드신호로 치환되는 동화상부호화방법.
제6항에 있어서, 상기 시간서브밴드분할스텝에 있어서, 동일 주파수대역에 있는 2장의 인트라밴드신호에 대해서 시간서브밴드분할을 행할 때에, 얻어진 시간고주파대역서브밴드신호 및 시간저주파대역서브밴드신호의 한 쪽은 과거방향에 있는 밴드신호에 대응화되고, 상기 얻어진 시간고주파대역서브밴드신호 및 상기 시간저주파대역서브밴드신호의 다른 쪽은 미래방향에 있는 밴드신호에 대응화되어 있는 동화상부호화방법.
입력화상신호를 시간방향으로 서브밴드분할함과 동시에 공간방향으로 서브밴드분할하는 3차원서브밴드분할처리를 복수회 실행하는 스텝을 가지고,

상기 3차원서브밴드분할처리는,

입력화상신호에 있어서의 프레임 간 및 상기 입력화상신호를 서브밴드분할하여 얻어지는 저주파대역서브밴드 중 하나의 밴드신호인 인트라밴드신호에 있어서의 밴드 간에서 이동을 나타내는 움직임정보를 산출하는 움직임정보산출스텝과,

상기 입력화상신호 및 상기 인트라밴드신호에 있어서, 상기 움직임정보산출스텝에서 얻어지는 움직임정보에 따라 움직임보상예측처리를 행하여 예측오차신호를 얻는 움직임보상예측스텝과,

상기 예측오차신호를 공간방향으로 서브밴드분할하여, 저주파대역예측오차 서브밴드와 고주파대역예측오차서브밴드를 생성하는 예측오차신호공간분할스텝과,

상기 인트라밴드신호를 공간방향으로 서브밴드분할하여, 저주파대역인트라서브밴드와 고주파대역인트라서브밴드를 생성하는 예측오차신호공간분할스텝을 가지고,

상기 입력화상신호에 대해서 상기 움직임정보산출스텝과 상기 움직임보상예측스텝과 상기 예측오차신호공간분할스텝과 상기 밴드신호공간분할스텝이 실행되고,

상기 밴드신호공간분할스텝 후에 얻어진 저주파대역인트라서브밴드를 상기 인트라밴드신호로서, 상기 움직임정보산출스텝과 상기 움직임보상예측스텝과 상기 예측오차신호공간분할스텝과 상기 밴드신호공간분할스텝이 재귀적으로 반복되고, 그 때마다 상기 예측오차신호공간분할스텝에서 얻어지는 상기 저주파대역예측오차 서브밴드가, 직후의 움직임보상예측부호화스텝에서 얻어지는 상기 예측오차신호로 치환 되는 동화상부호화방법.
제8항에 있어서, 상기 움직임보상예측스텝에 있어서, 동일주파수대역에 있는 2장의 인트라서브밴드신호에 대해서, 과거방향 또는 미래방향의 어느 한 쪽에 있는 밴드신호를 참조신호로 하는 동화상부호화방법
제8항에 있어서, 상기 움직임보상예측스텝에 있어서, 동일주파수대역에 있는 복수의 인트라서브밴드신호에 있어서 1장의 부호화대상밴드신호를 뺀 밴드신호를 참조신호로 하고, 움직임보상처리에 있어서, 상기 복수의 참조신호의 가중평균을 사용하는 동화상부호화방법.
제8항에 있어서, 움직임보상예측스텝에 있어서, 동일주파수대역에 있는 인트라밴드신호의 움직임보상처리 시에, 참조신호가 되는 밴드신호를 하나 혹은 복수의 화소마다 절환하는 동화상부호화방법.
삭제
계층화된 부호화데이터를 복호하는 동화상복호방법으로,

제1움직임정보에 기초해 제1시간방향 필터링 후의 신호인 상위계층시간필터링신호와, 제2움직임정보에 기초해 제2시간방향 필터링으로 얻어지는 시간필터링신호를 공간방향으로 계층분할한 시간필터링하위계층신호와, 상기 제1움직임정보와 상기 제2움직임정보를 복호하는 스텝과,

상위계층시간필터링 신호 및 상기 제1움직임정보로부터 상위계층복호신호를 생성하는 스텝과,

상기 상위계층복호신호와 상기 제2움직임정보로부터 시간필터링상위계층신호를 생성하는 스텝과,

상기 시간필터링상위계층신호와 상기 시간필터링하위계층신호를 합성하여 상기 시간필터링신호를 생성하는 스텝과,

상기 시간필터링신호 및 상기 제2움직임정보로부터 복호화상신호를 생성하는 스텝을 가지는 동화상복호방법.
계층화된 부호화 데이터를 복호하는 동화상복호방법으로,

제1움직임정보에 기초해 제1움직임보상예측처리 후의 신호인 상위계층예측 오차신호와, 제2움직임정보에 기초해 제2움직임보상예측처리로 얻어지는 예측오차신호를 공간방향으로 계층분할한 예측오차하위계층신호와 상기 제1움직임정보와 상기 제2움직임정보를 복호하는 스텝과,

상기 상위계층시간필터링신호 및 상기 제1움직임정보로부터 상위계층복호신호를 생성하는 스텝과,

상기 상위계층복호신호와 상기 제2움직임정보로부터 예측오차상위계층신호를 생성하는 스텝과,

상기 예측오차상위계층신호와 상기 예측오차하위계층 신호를 합성하여 상기 예측오차신호를 생성하는 스텝과,

상기 예측오차신호 및 상기 제2움직임정보로부터 복호화상신호를 생성하는 스텝을 가지는 동화상복호방법.
계층화된 부호화 데이터를 복호하는 동화상복호방법으로,

제1움직임정보에 기초해 제1시간방향 필터링 후의 신호인 상위계층시간필터링신호와, 제2움직임정보에 기초해 제2시간방향 필터링으로 얻어지는 시간필터링신호를 공간방향으로 계층분할한 시간필터링하위계층신호와, 상기 제1움직임정보와 상기 제2움직임정보를 복호하는 스텝과,

상기 상위계층시간필터링 신호와 상기 제1움직임정보로부터 상위계층복호신호를 생성하는 스텝과,

상기 상위계층복호신호와 상기 제2움직임정보신호로부터 시간필터링상위계층신호를 생성하는 스텝과,

상기 시간필터링상위계층신호와 상기 시간필터링하위계층신호를 합성하여 시간필터링신호를 생성하는 시간필터링합성스텝과,

상기 시간필터링신호를 상위계층시간필터링신호로 간주하여 주목하는 계층의 하위계층에 있어서의 움직임정보와 시간필터링하위계층신호를 복호하여 재귀적으로 시간필터링합성스텝을 행한 후, 시간방향역필터링을 행함으로써 복호화상을 얻는 스텝을 가지는 동화상복호방법.
계층화된 부호화데이터를 복호하는 동화상복호방법으로,

제1움직임정보에 기초해 제1움직임보상예측처리 후의 신호인 상위계층예측오차신호와, 제2움직임정보에 기초해 제2움직임보상예측처리로 얻어지는 예측오차신호를 공간방향으로 계층분할한 예측오차하위계층신호와, 상기 제1움직임정보와 상기 제2움직임정보를 복호하는 스텝과,

상기 상위계층예측오차신호와 상기 제1움직임정보로부터 상위계층복호신호를 생성하는 스텝과,

상기 상위계층복호신호와 상기 제2움직임정보로부터 예측오차상위계측신호를 생성하는 스텝과,

상기 예측오차상위계층신호와 상기 예측오차하위계층신호를 합성하여 상기 예측오차신호를 생성하는 예측오차합성처리를 행하는 스텝과,

상기 예측오차신호를 상위계층예측오차 신호로 간주하여 주목하는 계층의 하위계층에 있어서의 움직임정보와 예측오차하위계층신호를 복호하여 재귀적으로 예측오차합성스텝을 행한 후, 움직임보상예측의 역처리를 행함으로써, 복호화상을 얻는 스텝을 가지는 동화상복호방법.
서브밴드신호를 프레임마다 공간방향으로 서브밴드합성한 후, 시간저주파대역서브밴드와 시간고주파대역서브밴드에 시간방향서브밴드합성을 행하는 3차원 서브밴드합성처리에 의해 복호화상신호를 생성하는 스텝을 가지고,

상기 3차원서브밴드합성처리는,

상기 시간고주파대역서브밴드의 공간방향의 저주파대역신호인 시간고주파공간저주파대역신호와, 그 저주파대역신호에 인접하는 고주파대역의 서브밴드인 시간고주파공간고주파대역서브밴드에 더해서, 상기 시간고주파공간저주파대역신호에 대해서 동일주파수대역에 있는 시간저주파공간저주파대역서브밴드와 그 서브밴드신호에 인접하는 고주파대역의 서브밴드인 시간저주파공간고주파대역서브밴드와의 쌍방 혹은 어느 한 쪽과 상기 시간고주파대역서브밴드에 대응하는 움직임보상처리를 규정하는 움직임정보를 참조하여, 합성 시간고주파서브밴드신호를 생성하는 시간고주파서브밴드합성스텝과,

상기 시간저주파공간저주파대역서브밴드와 상기 시간저주파공간고주파대역서브밴드를 합성하는 시간저주파서브밴드공간합성스텝과,

상기 시간저주파대역서브밴드와 상기 시간고주파대역서브밴드에 움직임보상예측처리를 행한 후, 시간방향서브밴드합성을 행하는 시간방향합성스텝을 가지고,

상기 시간고주파대역서브밴드의 최저주파 대역에 있는 시간고주파공간저주파대역신호에 대해서 상기 시간고주파서브밴드합성스텝이 상기 시간저주파대역서브밴드의 최저주파 대역에 있는 시간저주파공간저주파대역서브밴드에 대해서 상기 시간저주파서브밴드공간합성스탭이 행해지며,

상기 시간고주파서브밴드합성스텝에 의해 얻어지는 밴드신호를 새로이 시간고주파공간저주파대역신호, 상기 시간저주파서브밴드공간합성스텝에 의해 얻어지는 밴드신호를 새로이 시간저주파공간저주파대역서브밴드로 간주하고, 상기 시간고주파서브밴드공간합성스텝과 상기 시간저주파서브밴드공간합성스텝이 재귀적으로 반복되어, 상기 시간저주파대역서브밴드 및 시간고주파대역서브밴드가 얻어지는 동화상복호방법
제17항에 있어서, 시간고주파서브밴드합성스텝은,

상기 시간고주파공간저주파대역신호와 동일주파수대역에 있는 시간저주파공간저주파대역서브밴드와 움직임정보를 사용하여 시간고주파공간저주파대역서브밴드를 추정하는 시간고주파서브밴드추정스텝과,

상기 시간고주파서브밴드추정스텝에 의해 얻어지는 추정시간고주파공간저주파대역서브밴드와 그 서브밴드신호에 인접하는 고주파대역서브밴드인 시간고주파공간고주파대역서브밴드를 서브밴드합성하는 시간고주파서브밴드공간합성스텝을 가지는 동화상복호방법.
제18항에 있어서, 시간고주파서브밴드추정스텝에 있어서, 시간고주파서브밴드에 대응하는 움직임보상을 규정하는 움직임정보를 사용하여, 상기 움직임보상에 있어서 생성되는 예측신호 중 저주파대역인트라서브밴드에만 유래하는 신호의 저주파수대역서브밴드와 상기 움직임보상에 있어서의 현 프레임신호의 저주파대역서브밴드와의 시간방향서브밴드분할을 시간고주파공간저주파대역서브밴드의 추정치로 하는 동화상복호방법.
제18항에 있어서, 상기 시간고주파서브밴드추정스텝은,

상기 시간고주파서브밴드에 대응하는 움직임보상을 규정하는 움직임정보를 사용하여, 상기 예측오차신호와 예측오차저주파대역신호와의 밴드 간 해상도비에 비례하여 상기 시간고주파대역성분을 축소하는 스텝과,

축소된 상기 시간고주파대역성분에 대해서 움직임보상처리를 행한 후에 시간방향서브밴드분할을 행하여 얻어진 값을 상기 시간고주파공간저주파대역서브밴드의 추정치로 하는 스텝을 가지는 동화상복호방법.
제17항에 있어서, 상기 시간고주파서브밴드합성스텝은,

상기 시간저주파공간저주파대역서브밴드와 상기 시간저주파공간고주파대역서브밴드와 상기 움직임정보를 사용하여 시간고주파공간저주파대역서브밴드를 추정하는 시간고주파서브밴드추정스텝과,

상기 시간고주파서브밴드추정스텝에 의해 얻어지는 추정시간고주파공간저주파대역서브밴드와 그 서브밴드신호에 인접하는 고주파대역서브밴드인 시간고주파공간고주파대역서브밴드를 서브밴드합성하는 시간고주파서브밴드공간합성스텝을 가지는 것으로 이루어지는 것을 특징으로 하는 동화상복호방법.
제17항 내지 제21항 중 어느 한 항에 있어서, 상기 시간서브밴드합성스텝에 있어서, 동일주파수대역에 있는 2장의 밴드신호에 대해서, 미래방향에 있는 상기 밴드신호와 과거방향에 있는 상기 밴드신호의 어느 한 쪽은 상기 시간고주파대역서브밴드신호와 대응화되고, 상기 미래방향에 있는 밴드신호와 상기 과거방향에 있는 밴드신호 중 다른 쪽은 상기 시간저주파대역서브밴드신호와 대응화되어 시간서브밴드합성이 행해지는 동화상복호방법.
제17항 내지 제21항 중 어느 한 항에 있어서, 상기 시간서브밴드합성스텝은, 상기 움직임보상처리에, 그 밴드신호 이외의 밴드신호의 가중평균처리를 포함하는 동화상복호방법.
제17항 내지 제21항 중 어느 한 항에 있어서, 상기 시간서브밴드합성스텝에 있어서, 밴드신호의 하나 혹은 복수의 화소마다 시간서브밴드합성을 행하는 쌍이 되는 밴드신호가 절환되는 동화상복호방법.
복호화상신호를 생성하는 동화상복호방법으로,

서브밴드신호를 프레임 마다 공간방향으로 서브밴드합성한 후, 상기 합성된 인트라밴드신호와 예측오차신호에 움직임보상처리를 행하는 3차원서브밴드합성처리를 실행하는 스텝을 가지고,

상기 3차원서브밴드합성처리가,

상기 예측오차신호의 저주파대역신호인 예측오차저주파대역신호와, 그 저주파대역신호에 인접하는 고주파대역서브밴드인 고주파대역예측오차서브밴드에 더해서, 상기 예측오차저주파대역신호에 대해서 동일주파수대역에 있는 저주파대역인트라서브밴드와 상기 저주파대역인트라서브밴드에 인접하는 고주파대역의 서브밴드인 고주파대역인트라서브밴드와의 쌍방 혹은 어느 한 쪽과 상기 예측오차신호에 대응하는 움직임보상처리를 규정하는 움직임정보를 참조하여 합성서브밴드예측오차신호를 생성하는 예측오차신호생성스텝과,

상기 저주파대역인트라서브밴드와 상기 고주파대역인트라서브밴드를 합성하는 인트라밴드신호공간합성스텝과,

상기 인트라밴드신호에 움직임보상예측처리를 행하여 상기 합성예측오차신호를 더함으로써 상기 복호화상신호를 얻는 움직임보상복호스텝을 가지고,

상기 예측오차신호의 최저주파 대역에 있는 예측오차저주파대역신호에 대해서 상기 예측오차신호합성스텝이 실행되고,

상기 인트라밴드신호의 최저주파대역에 있는 인트라저주파대역서브밴드에 대해서 상기 인트라밴드신호공간합성스텝이 실행되고,

상기 예측오차신호합성스텝에 의해 얻어지는 밴드신호를 새로이 예측오차저주파대역신호로 간주하고, 상기 인트라밴드신호공간합성스텝에 의해 얻어지는 밴드신호를 새롭게 인트라저주파대역서브밴드로 간주하며, 상기 예측오차신호합성스텝과 상기 인트라밴드신호공간합성스텝을 재귀적으로 반복함으로써, 상기 인트라밴드신호 및 상기 예측오차신호가 얻어지는 동화상복호방법.
제25항에 있어서, 상기 예측오차신호합성스텝은,

상기 예측오차저주파대역신호와 상기 저주파대역인트라서브밴드와 상기 움직임정보를 사용하여, 상기 예측오차신호의 저주파대역서브밴드인 저주파대역예측오차서브밴드를 추정하는 예측오차서브밴드추정스텝과,

상기 예측오차서브밴드추정스텝에 의해 얻어지는 추정예측오차저주파대역서브밴드와 그 서브밴드신호에 인접하는 고주파대역서브밴드인 고주파대역예측오차서브밴드를 서브밴드합성하는 예측오차신호공간합성스텝을 가지는 동화상복호방법.
제26항에 있어서, 상기 예측오차서브밴드추정스텝은 상기 예측오차신호에 대응하는 움직임보상을 규정하는 움직임정보를 사용하여, 상기 움직임보상에 있어서 생성되는 예측신호 중 저주파대역인트라서브밴드에만 유래하는 신호의 저주파대역서브밴드와, 상기 움직임보상에 있어서의 현 프레임신호의 저주파대역서브밴드와의 차이를 저주파대역예측오차서브밴드추정치로 하는 스텝을 가지는 동화상복호방법.
제26항에 있어서, 상기 예측오차서브밴드추정스텝은 상기 예측오차신호에 대응하는 움직임보상을 규정하는 움직임정보를 사용하여, 상기 예측오차신호와 상기 예측오차저주파대역신호에 대해서의 밴드 간 해상도비에 비례하여 축소한 뒤에 움직임정보처리를 행한 결과를 상기 저주파대역예측오차서브밴드의 추정치로 하는 동화상복호방법.
제25항에 있어서, 상기 예측오차신호합성스텝은,

상기 예측오차저주파대역신호와 상기 저주파대역인트라서브밴드와 상기 고주파대역인트라서브밴드와 상기 움직임정보를 사용하여, 상기 예측오차신호의 저주파 대역의 서브밴드인 저주파대역예측오차서브밴드를 추정하는 예측오차서브밴드추정스텝과,

상기 예측오차서브밴드추정스텝에 의해 얻어지는 추정예측오차저주파대역서브밴드와 그 서브밴드신호에 인접하는 고주파대역서브밴드인 고주파대역예측오차서브밴드를 서브밴드합성하는 예측오차신호공간합성스텝을 가지는 동화상복호방법.
제25항 내지 제29항 중 어느 한 항에 있어서, 상기 움직임보상신호스텝에 있어서, 동일주파수대역에 있는 2장의 밴드신호에 대해서, 과거방향 또는 미래방향 중 어느 한 쪽에 있는 밴드신호가 참조신호가 되는 동화상복호방법.
제25항 내지 제29항 중 어느 한 항에 있어서, 상기 움직임보상복호스텝에 있어서, 동일주파수대역에 있는 복수의 밴드신호에 있어서의 움직임보상처리는, 상기 복수의 참조신호의 가중평균을 이용하는 동화상복호방법.
제25항 내지 제29항 중 어느 한 항에 있어서, 움직임보상복호스텝은 동일주파수대역에 있는 밴드신호의 움직임보상처리시에 참조신호가 되는 밴드신호를 하나 또는 복수의 화소마다 절환하는 스텝을 가지는 동화상복호방법.
계층부호화를 행하는 동화상부호화장치로,

입력화상신호에 대해서 제1움직임정보에 기초해 시간방향필터링을 행한 후에 공간방향으로 계층분할하여 얻은 고역주파수에 상당하는 제1신호와 저역주파수에 상당하는 제2신호 중 제1신호만을 부호화하는 시간필터링하위계층신호부호화 수단과,

상기 입력화상신호를 해상도변환필터에 의해 축소한 후에 축소해상도상에서 제2움직임정보에 기초해 시간방향필터링을 행하여 얻은 제3신호를 부호화하는 상위계층시간필터링신호부호화 수단을 가지는 동화상부호화장치.
계층부호화를 행하는 동화상부호화장치로,

입력화상신호에 대해서 제1움직임정보에 기초해 움직임보상처리를 행한 후에 공간방향으로 계층분할하여 얻은 고역주파수에 상당하는 제1신호와 저역주파수에 상당하는 제2신호 중 제1신호만을 부호화하는 예측오차하위계층신호부호화수단과,

상기 입력화상신호를 해상도변환필터에 의해 축소한 후에 축소해상도 상에서 제2움직임정보에 기초해 움직임보상처리를 행하여 얻은 제3신호를 부호화하는 상위계층예측오차신호부호화수단을 가지는 동화상부호화장치.
계층부호화를 행하는 동화상부호화장치로,

입력화상신호에 대해서 제1움직임정보에 기초해 시간방향필터링을 행한 후에 공간방향으로 계층분할하여 고역주파수에 상당하는 제1신호와 저역주파수에 상당하는 제2신호를 생성하는 시간필터링하위계층신호생성수단과,

상기 입력화상신호를 해상도변환필터에 의해 축소한 축소입력화상신호에 대해서 축소해상도상에서 제2움직임정보에 기초해 시간방향필터링을 행하여 제3신호를 상위계층시간필터링신호를 생성하는 상위계층시간필터링신호생성수단을 가지고,

상기 축소입력화상신호에 대해서, 상기 제1신호 내지 제3신호의 생성이 재귀적으로 행해지고, 그 후, 각 계층의 제1신호와 제3신호가 부호화되고 제2신호는 부호화되지 않는 동화상부호화장치.
계층부호화를 행하는 동화상부호화장치로,

입력화상신호에 대해서 제1움직임정보에 기초해 움직임보상예측을 행한 후에 공간방향으로 계층분할하여 고역주파수에 상당하는 제1신호와 저역주파수에 상당하는 제2신호를 생성하는 예측오차하위계층신호생성수단과,

상기 입력화상신호를 해상도변환필터에 의해 축소한 축소입력화상신호에 대해서 축소해상도상에서 제2움직임정보에 기초해 움직임보상예측을 행하여 제3신호를 생성하는 상위계층오차예측신호 생성수단을 가지고,

상기 축소입력화상신호에 대해서 상기 제1신호 내지 제3신호의 생성이 재귀적으로 행해져서, 그 후에, 각 계층의 제1신호와 제3신호가 부호화되고 제2신호는 부호화되지 않는 동화상부호화장치.
입력화상신호를 시간방향으로 서브밴드분할함과 함께 공간방향으로 서브밴드분할하는 3차원 서브밴드분할 처리를 복수회 행하는 동화상부호화장치로,

상기 입력화상신호에 있어서의 프레임 간 및 상기 입력화상신호를 서브밴드분할하여 얻어지는 저주파대역서브밴드 중의 하나의 밴드신호인 인트라밴드신호의 밴드 간에서 이동을 나타내는 움직임정보를 산출하는 움직임정보산출수단과,

상기 입력화상신호 및 상기 인트라밴드신호에 대해서 상기 움직임정보산출 수단으로 얻어진 움직임정보에 따라 움직임보상을 한 후에 시간방향으로 서브밴드분할함으로써 시간저주파대역서브밴드신호와 시간고주파대역서브밴드신호를 얻는 시간서브밴드분할수단과,

상기 시간고주파대역서브밴드신호를 공간방향으로 서브밴드분할하여, 시간고주파공간저주파대역서브밴드와 시간고주파공간고주파대역서브밴드를 생성하는 시간고주파대역서브밴드신호공간 분할수단과,

상기 시간저주파대역서브밴드신호를 공간방향으로 서브밴드분할하여, 시간저주파공간저주파대역서브밴드와 시간저주파공간고주파대역서브밴드를 생성하는 시간저주파대역서브밴드신호 공간분할수단과,

상기 인트라밴드신호를 공간방향으로 서브밴드분할하여, 저주파대역인트라서브밴드와 고주파대역인트라서브밴드를 생성하는 밴드신호공간분할수단을 가지고,

상기 입력화상신호가 상기 시간서브밴드분할수단과 상기 시간고주파대역서브밴드신호공간분할수단과 상기 시간저주파대역서브밴드신호공간분할수단과 상기 밴드신호공간분할수단에 의해 처리되고, 상기 밴드신호공간분할수단으로부터 얻어진 저주파대역인트라서브밴드를 인트라밴드신호로 하고, 상기 시간서브밴드분할수단과 상기 시간고주파대역서브밴드신호공간분할수단과 상기 시간저주파대역서브밴드신호공간분할수단과 상기 밴드신호공간분할수단에 의한 처리가 재귀적으로 반복되고, 그 때마다 상기 시간저주파공간저주파대역서브밴드와 상기 시간고주파공간저주파대역서브밴드가 각각 직후에 상기 시간 서브밴드분할수단에 의해 얻어지는 시간저주파대역서브밴드신호와 시간고주파대역서브밴드신호에 의해 치환되는 동화상부호화장치.
입력화상신호에 움직임보상예측처리를 행함과 동시에 공간방향으로 서브밴드분할하는 3차원서브밴드분할처리를 복수회 행하는 동화상부호화장치로,

상기 입력화상신호에 있어서의 프레임 간 및 상기 입력화상신호를 서브밴드분할하여 얻어지는 저주파대역서브밴드 중의 하나의 밴드신호인 인트라밴드신호에 있어서의 밴드 간에서, 이동을 나타내는 움직임정보를 산출하는 움직임정보산출 수단과,

상기 입력화상신호 및 상기 인트라밴드신호에 대해서 상기 움직임정보산출수단으로 얻어진 움직임정보에 따라 움직임보상예측처리를 행하여 예측오차신호를 얻는 움직임보상예측수단과,

상기 예측오차신호를 공간방향으로 서브밴드분할하여 저주파대역예측오차서브밴드와 고주파대역예측오차서브밴드를 생성하는 예측오차신호공간분할수단과,

상기 인트라밴드신호를 공간방향으로 서브밴드분할하고, 저주파대역인트라서브밴드와 고주파대역인트라서브밴드를 생성하는 밴드신호공간분할수단을 가지고,

상기 입력화상신호가 상기 움직임정보산출수단과 상기 움직임보상예측수단과 상기 예측오차신호공간분할수단과 상기 밴드신호공간분할수단에 의해 처리되고, 상기 밴드신호공간분할수단으로부터 얻어진 저주파대역인트라서브밴드를 인트라밴드신호로 하고, 상기 움직임정보산출수단과 상기 움직임보상 예측수단과 상기 예측오차신호공간분할수단과 상기 밴드신호공간분할수단에 의한 처리가 재귀적으로 반복되고, 그 때마다, 상기 예측오차신호공간분할수단으로 얻어지는 저주파대역예측오차서브밴드가 직후에 상기 움직임보상예측부호화수단에서 얻어지는 예측오차신호로 치환되는 동화상 부호화장치.
계층화된 부호화데이터를 복호하는 동화상복호장치로,

제1움직임정보에 기초해 시간방향필터링 후의 신호인 상위계층시간필터링신호와, 제2움직임정보에 기초해 시간방향필터링으로 얻어지는 시간필터링신호를 공간방향으로 계층분할한 시간필터링하위계층신호와, 상기 제1움직임정보와 상기 제2움직임정보를 복호하는 계층부호복호수단과,

상기 상위계층시간필터링신호와 제1움직임정보로부터 상위계층복호신호를 생성하고 상기 상위계층복호신호와 상기 시간필터링정보로부터 시간필터링상위계층신호를 생성하는 시간필터링상위계층신호생성수단과,

상기 시간필터링상위계층신호와 상기 시간필터링하위계층신호를 합성한 후에 상기 제2시간방향필터링의 역변환을 행하는 시간필터링신호합성수단을 가지는 동화상복호장치.
계층화된 부호화데이터를 복호하는 동화상복호장치로,

제1움직임정보에 기초해 제1움직임보상처리 후의 신호인 상위계층예측오차신호와, 제2움직임정보에 기초해 제2움직임보상 예측으로 얻어지는 예측오차신호를 공간방향으로 계층분할한 예측오차하위계층신호와, 상기 제2움직임보상예측처리를 규정하는 움직임정보를 복호하는 계층부호복호수단과,

상기 상위계층예측오차신호와 상기 제1움직임정보로부터 상위계층복호신호를 생성하고 상기 상위계층복호신호와 상기 제2움직임정보로부터 예측오차상위계층신호를 생성하는 예측오차상위계층신호생성수단과,

상기 예측오차상위계층신호와 상기 예측오차하위계층신호를 합성한 후에 상기 제2움직임보상에 근거하는 합성처리를 행하는 움직임보상합성수단을 가지는 동화상복호장치.
계층화된 부호화데이터를 프레임단위로 계층합성한 후에 시간방향역필터링을 행함으로써 복호화상을 얻는 동화상복호장치로,

제1움직임정보에 기초해 제1시간방향필터링 후의 신호인 상위계층시간필터링신호와, 제2움직임정보에 기초해 제2시간방향필터링으로 얻어지는 시간필터링신호를 공간방향으로 계층분할한 시간필터링하위계층신호와, 상기 제1움직임정보와 제2움직임정보를 복호하는 계층부호복호수단과,

상기 상위계층시간필터링신호와 상기 제1움직임정보로부터 상위계층복호신호를 생성하고 상기 상위계층복호신호와 상기 제2움직임정보로부터 시간필터링상위 계층신호를 생성하는 시간필터링상위계층신호생성수단과,

상기 시간필터링상위계층신호와 상기 시간필터링하위계층신호를 합성하여 합성시간필터링신호를 생성하는 시간필터링신호합성수단을 가지고,

상기 합성시간필터링신호를 상위계층시간필터링신호로 간주하여, 주목하는 계층의 하위계층에 있어서의 움직임정보와 시간필터링하위계층신호를 복호하는 상기 계층부호복호수단에 의한 처리와, 상기 시간필터링상위계층신호생성수단에 의한 처리와 상기 시간필터링신호합성수단에 의한 처리가 재귀적으로 행하여져, 그 후, 시간방향역필터링을 행함으로써 복호화상을 얻는 동화상복호장치.
계층화된 부호화데이터를 프레임단위로 계층합성한 후에 움직임보상합성처리를 행함으로써 복호화상을 얻는 동화상복호장치로,

제1움직임정보에 기초해 제1움직임보상예측 후의 신호인 상위계층예측오차신호와, 제2움직임정보에 기초해 제2움직임보상 예측으로 얻어지는 예측오차신호를 공간방향으로 계층분할한 예측오차하위계층신호와, 상기 제1움직임정보와 상기 제2움직임정보를 복호하는 계층부호복호수단과,

상기 상위계층예측오차신호와 상기 제1움직임정보로부터 상위계층복호신호를 생성하고 상기 상위계층복호신호와 상기 제2움직임정보로부터 예측오차상위계층신호를 생성하는 예측오차상위계층신호 생성수단과,

상기 예측오차상위계층신호와 상기 예측오차하위계층신호를 합성하여 합성 예측오차신호를 생성하는 예측오차신호합성수단을 가지고,

상기 합성예측오차신호를 상위계층예측오차신호로 간주하여, 주목하는 계층의 하위계층에 있어서의 예측오차정보와 예측오차하위계층신호를 복호하는 상기 계층부호복호수단에 의한 처리와, 상기 예측오차상위계층신호생성수단에 의한 처리와 상기 예측오차신호합성수단에 의한 처리가 재귀적으로 행하여져, 그 후, 움직임보상합성처리를 행함으로써 복호화상을 얻는 동화상복호장치.
서브밴드신호를 프레임마다 공간방향으로 서브밴드합성한 후, 시간저주파대역서브밴드와 시간고주파대역서브밴드에 시간방향서브밴드합성을 행하는 3차원서브밴드합성처리에 의해, 복호화상신호를 생성하는 동화상복호장치로,

상기 시간고주파대역서브밴드의 공간방향의 저주파대역신호인 시간고주파공간저주파대역신호와, 그 저주파대역신호에 인접하는 고주파대역서브밴드인 시간고주파공간고주파대역서브밴드에 더해서, 상기 시간고주파공간저주파대역신호에 대해서 동일주파수대역에 있는 시간저주파공간저주파대역서브밴드와 그 서브밴드신호에 인접하는 고주파대역서브밴드인 시간저주파공간고주파대역서브밴드와의 쌍방 혹은 어느 한 쪽과 상기 시간고주파대역서브밴드에 대응하는 움직임보상처리를 규정하는 움직임정보를 참조하여 합성시간고주파서브밴드신호를 생성하는 시간고주파서브밴드합성수단과,

상기 시간저주파공간저주파대역서브밴드와 상기 시간저주파공간고주파대역서브밴드를 합성하는 시간저주파서브밴드공간합성수단과,

상기 시간저주파대역서브밴드와 시간고주파대역서브밴드에 움직임보상예측처리를 행한 후, 시간방향서브밴드합성을 행하는 시간방향합성수단을 가지고,

상기 시간고주파대역서브밴드의 최저주파대역에 있는 시간고주파공간저주파대역신호를 상기 시간고주파서브밴드합성수단에 의해 처리하고,

상기 시간저주파대역서브밴드의 최저주파 대역에 있는 시간저주파공간저주파대역서브밴드를 시간저주파서브밴드공간합성수단에 의해 처리하고,

상기 시간고주파서브밴드 합성수단에 의해 얻어지는 밴드신호를 새로이 시간고주파공간저주파대역신호로 간주하고, 상기 시간저주파서브밴드공간합성수단에 의해 얻어지는 밴드신호를 새로이 시간저주파공간저주파대역서브밴드로 간주하여, 상기 시간고주파서브밴드공간합성수단과 상기 시간저주파서브밴드공간합성수단에 의한 처리를 재귀적으로 반복함으로써, 상기 시간저주파대역서브밴드 및 시간고주파대역서브밴드를 얻는 동화상복호장치.
서브밴드신호를 프레임마다 공간방향으로 서브밴드합성한 후, 상기 합성된 인트라밴드신호를 예측오차신호에 움직임보상처리를 하는 3차원서브밴드합성처리에 의해 복호화상신호를 생성하는 동화상복호장치로,

상기 예측오차신호의 저주파대역신호인 예측오차저주파대역신호와 그 저주파대역신호에 인접하는 고주파대역서브밴드인 고주파대역예측오차서브밴드에 더해서, 상기 예측오차저주파대역신호에 대해서 동일주파수대역에 있는 저주파대역인트라서브밴드와 상기 저주파대역인트라서브밴드에 인접하는 고주파대역의 서브밴드인 고주파대역인트라서브밴드의 쌍방 혹은 어느 한 쪽과 상기 예측오차신호에 대응하는 움직임보상처리를 규정하는 움직임정보를 참조하여 합성서브밴드예측오차신호를 생성하는 예측오차신호합성수단과,

상기 저주파대역인트라서브밴드와 상기 고주파대역인트라서브밴드를 합성하는 인트라밴드신호공간합성수단과,

상기 인트라밴드신호에 움직임보상예측처리를 행하는 상기 합성예측오차신호를 더함으로써 상기 복호화상신호를 얻는 움직임보상복호수단을 가지고,

상기 예측오차신호의 최저주파대역에 있는 예측오차저주파대역신호가 상기 예측오차신호합성수단에 의해 처리되고,

상기 인트라밴드신호의 최저주파대역에 있는 인트라저주파대역서브밴드가 상기 인트라밴드신호공간합성수단에 의해 처리되고,

상기 예측오차신호합성수단에 의해 얻어지는 밴드신호를 새로이 예측오차저주파대역신호로 간주하고, 상기 인트라밴드신호공간합성수단에 의해 얻어지는 밴드신호를 새로이 인트라저주파대역서브밴드로 간주하여 예측오차신호합성수단과 인트라밴드신호공간합성수단에 의한 처리를 재귀적으로 반복함으로써, 상기 인트라밴드신호 및 상기 예측오차신호를 얻는 동화상복호장치.
컴퓨터에 동화상계층부호화를 행하게 하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체로,

상기 컴퓨터에,

입력화상신호에 대해서 제1움직임정보에 기초해 시간필터링을 행한 후에 공간방향으로 계층분할하여 고역주파수에 상당하는 제1신호와 저역주파수에 상당하는 제2신호를 얻는 처리와,

상기 입력화상신호를 해상도변환필터에 의해 축소한 후에 축소해상도상에서 제2움직임정보에 기초해 시간필터링을 행하여 제3신호를 얻는 처리와,

상기 제1신호와 제3신호를 부호화하는 처리를 실행시키고 상기 제2신호는 부호화되지 않는 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체.
컴퓨터에 동화상계층부호화를 행하게 하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체로,

상기 컴퓨터에,

입력화상신호를 상기 입력화상신호에 대해서 제1움직임정보에 기초해 시간 필터링을 행한 후에 공간방향으로 계층분할하여 얻은 고역주파수에 상당하는 제1신호와 저역주파수에 상당하는 제2신호와, 상기 입력화상신호를 해상도변환필터에 의해 축소한 축소입력화상신호에 대해서 축소해상도상에서 제2움직임정보에 기초해 시간필터링을 행하여 얻은 제3신호로 분할하는 시공간계층분할처리를 행하는 처리와,

상기 축소입력화상신호에 대해서 상기 시공간계층분할을 재귀적으로 행한 후에 각 계층의 상기 제1신호와 상기 제3신호를 부호화하는 처리를 실행시키고 각 계층의 상기 제2신호는 부호화하지 않는 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체.
컴퓨터에 동화상계층부호화를 행하게 하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체로,

상기 컴퓨터에,

입력화상신호에 대해서 제1움직임정보에 기초해 움직임보상에측처리를 행한 후 공간방향으로 계층분할하여 고역주파수에 상당하는 제1신호와 저역주파수에 상당하는 제2신호를 얻는 처리와,

상기 입력화상신호를 해상도변환 필터에 의해 축소한 후에 축소해상도상에서 제2움직임정보에 기초해 움직임보상예측처리를 행하여 제3신호를 얻는 처리와,

상기 제1신호와 제3신호를 부호화하는 처리를 실행시키고 상기 제2신호를 부호화하지 않는 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체.
컴퓨터에 계층화된 부호화 동화상 데이터를 복호시키는 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체로,

상기 컴퓨터에,

제1움직임정보에 기초해 제1시간방향필터링 후의 신호인 상위계층시간필터링신호와, 제2움직임정보에 기초해 제2시간방향필터링으로 얻어지는 시간필터링신호를 공간방향으로 계층분할한 시간필터링하위계층신호와 제1움직임정보와 상기 제2움직임정보를 복호하는 처리와,

상기 상위계층시간필터링신호와 상기 제1움직임정보로부터 상위 계층복호신호를 생성하는 처리와,

상기 상위계층복호신호와 상기 제2움직임정보로부터 시간필터링상위계층신호를 생성하는 처리와,

상기 시간필터링상위계층신호와 상기 시간필터링하위계층신호를 합성하여 상기 시간필터링신호를 생성하는 시간필터링합성처리와,

상기 시간필터링신호를 상위계층시간필터링신호로 간주하여 주목하는 계층의 하위계층에 있어서의 움직임정보와 시간필터링하위계층신호를 복호하여 재귀적으로 시간필터링합성스텝을 행한 후, 시간방향역필터링을 행함으로써 복호화상을 얻는 처리를 실행시키는 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체.
컴퓨터에 계층화된 부호화동화상데이터를 복호시키는 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체로,

상기 컴퓨터에,

제1움직임정보에 기초해 제1움직임보상예측처리 후의 신호인 상위계층예측오차신호와, 제2움직임정보에 기초해 제2움직임보상예측처리로 얻어지는 예측오차신호를 공간방향으로 계층분할한 예측오차하위계층신호와 상기 제1움직임정보와 상기 제2움직임정보를 복호하는 처리와,

상기 상위계층예측오차신호와 상기 제1움직임정보로부터 예측오차복호신호를 생성하는 처리와,

상기 상위계층복호신호와 상기 제2움직임정보로부터 예측오차상위계층신호를 생성하는 처리와,

상기 예측오차상위계층신호와 상기 예측오차하위계층신호를 합성하여 상기 예측오차신호를 생성하는 예측오차합성처리와,

상기 합성예측오차신호를 상위계층예측오차신호로 간주하여 주목하는 계층의 하위계층에 있어서의 움직임정보와 예측오차하위계층신호를 복호하여 재귀적으로 예측오차합성처리를 행한 후, 움직임보상예측의 역처리를 행함으로써 복호화상을 얻는 처리를 실행시키는 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체.
컴퓨터에 동화상 계층부호화를 행하게 하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체로,

상기 컴퓨터에,

입력화상신호를 상기 입력화상신호에 대해서 제1움직임정보에 기초해 움직임보상예측처리를 행한 후에 공간방향으로 계층분할하여 얻어지는 제1신호와, 상기 입력화상신호를 해상도변환필터에 의해 축소한 축소입력화상신호에 대해서 축소해상도상에서 제2움직임정보에 기초해 움직임보상예측처리를 행하여 얻어지는 제2신호로 분할하는 시공간계층분할처리를 행하는 처리와,

상기 축소입력화상신호에 대해서 상기 시공간계층분할처리를 재귀적으로 행한 후에 각 계층의 신호를 부호화하는 처리를 실행시키는 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체.